Google Cloud-Speicher: Verwalten von Dateien und Objekten

() translation by (you can also view the original English article)

Im ersten Teil dieser zweiteiligen Tutorial-Serie hatten wir einen Überblick darüber, wie Buckets bei Google Cloud Storage zur Organisation von Dateien verwendet werden. Wir haben gesehen, wie man Buckets in Google Cloud Storage über die Google Cloud Console verwaltet. Es folgte ein Python-Skript, in dem diese Vorgänge programmatisch ausgeführt wurden.

In diesem Teil wird gezeigt, wie Objekte, d. h. Dateien und Ordner, in GCS-Eimern verwaltet werden. Der Aufbau dieses Tutorials ist ähnlich wie der des vorherigen Tutorials. Zunächst werde ich demonstrieren, wie grundlegende Vorgänge im Zusammenhang mit der Dateiverwaltung mithilfe der Google Cloud Console durchgeführt werden können. Anschließend wird ein Python-Skript vorgestellt, mit dem dieselben Vorgänge programmatisch ausgeführt werden können.

So wie es für die Benennung von Eimern in GCS einige Richtlinien und Einschränkungen gab, so folgt auch die Benennung von Objekten einer Reihe von Richtlinien. Objektnamen sollten gültige Unicode-Zeichen und keine Carriage Return- oder Line Feed-Zeichen enthalten. Es wird u. a. empfohlen, Zeichen wie "#", "[", "]", "*", "?" oder unzulässige XML-Steuerzeichen nicht zu verwenden, da sie falsch interpretiert werden und zu Mehrdeutigkeit führen können.

Außerdem folgen die Objektnamen in GCS einem flachen Namensraum. Das bedeutet, dass es in der GCS keine Verzeichnisse und Unterverzeichnisse gibt. Wenn Sie beispielsweise eine Datei mit dem Namen /tutsplus/tutorials/gcs.pdf erstellen, sieht es so aus, als befände sich gcs.pdf in einem Verzeichnis namens tutorials, das wiederum ein Unterverzeichnis von tutsplus ist. Aber laut GCS befindet sich das Objekt einfach in einem Bucket mit dem Namen /tutsplus/tutorials/gcs.pdf.

Schauen wir uns an, wie man Objekte mit Google Cloud Console verwaltet, und springen dann zum Python-Skript, um dasselbe programmatisch zu tun.

Google Cloud Console verwenden

Ich werde dort weitermachen, wo wir im letzten Tutorial aufgehört haben. Beginnen wir mit der Erstellung eines Ordners.

Create a folder or upload files directly to GCS

Um einen neuen Ordner zu erstellen, klicken Sie auf die oben hervorgehobene Schaltfläche Ordner erstellen. Erstellen Sie einen Ordner, indem Sie den gewünschten Namen wie unten gezeigt eingeben. Der Name sollte den Namenskonventionen für Objekte entsprechen.

Lassen Sie uns nun eine Datei in den neu erstellten Ordner hochladen.

Nach der Erstellung listet der GCS-Browser die neu erstellten Objekte auf. Objekte können gelöscht werden, indem Sie sie in der Liste auswählen und auf die Schaltfläche "Löschen" klicken.

Wenn Sie auf die Schaltfläche "Aktualisieren" klicken, wird die Benutzeroberfläche mit allen Änderungen an der Objektliste aktualisiert, ohne dass die gesamte Seite aktualisiert wird.

Programmatische Verwaltung von Objekten

Im ersten Teil haben wir gesehen, wie man eine Compute Engine Instanz erstellt. Ich werde das Gleiche hier verwenden und auf dem Python-Skript aus dem letzten Teil aufbauen.

Schreiben des Python-Skripts

Es gibt keine zusätzlichen Installationsschritte, die für dieses Tutorial befolgt werden müssen. Weitere Einzelheiten zur Installation oder Entwicklungsumgebung finden Sie im ersten Teil.

gcs_objects.py

import sys
from pprint import pprint

from googleapiclient import discovery
from googleapiclient import http
from oauth2client.client import GoogleCredentials


def create_service():
    credentials = GoogleCredentials.get_application_default()
    return discovery.build('storage', 'v1', credentials=credentials)


def list_objects(bucket):
    service = create_service()
    # Create a request to objects.list to retrieve a list of objects.
    fields_to_return = \
        'nextPageToken,items(name,size,contentType,metadata(my-key))'
    req = service.objects().list(bucket=bucket, fields=fields_to_return)

    all_objects = []
    # If you have too many items to list in one request, list_next() will
    # automatically handle paging with the pageToken.
    while req:
        resp = req.execute()
        all_objects.extend(resp.get('items', []))
        req = service.objects().list_next(req, resp)
    pprint(all_objects)


def create_object(bucket, filename):
    service = create_service()
    # This is the request body as specified:
    # https://g.co/cloud/storage/docs/json_api/v1/objects/insert#request
    body = {
        'name': filename,
    }
    with open(filename, 'rb') as f:
        req = service.objects().insert(
            bucket=bucket, body=body,
            # You can also just set media_body=filename, but for the sake of
            # demonstration, pass in the more generic file handle, which could
            # very well be a StringIO or similar.
            media_body=http.MediaIoBaseUpload(f, 'application/octet-stream'))
        resp = req.execute()
    pprint(resp)
    
    
def delete_object(bucket, filename):
    service = create_service()
    res = service.objects().delete(bucket=bucket, object=filename).execute()
    pprint(res)
    
    
def print_help():
        print """Usage: python gcs_objects.py <command>
Command can be:
    help: Prints this help
    list: Lists all the objects in the specified bucket
    create: Upload the provided file in specified bucket
    delete: Delete the provided filename from bucket
"""
if __name__ == "__main__":
    if len(sys.argv) < 2 or sys.argv[1] == "help" or \
        sys.argv[1] not in ['list', 'create', 'delete', 'get']:
        print_help()
        sys.exit()
    if sys.argv[1] == 'list':
        if len(sys.argv) == 3:
            list_objects(sys.argv[2])
            sys.exit()
        else:
            print_help()
            sys.exit()
    if sys.argv[1] == 'create':
        if len(sys.argv) == 4:
            create_object(sys.argv[2], sys.argv[3])
            sys.exit()
        else:
            print_help()
            sys.exit()
    if sys.argv[1] == 'delete':
        if len(sys.argv) == 4:
            delete_object(sys.argv[2], sys.argv[3])
            sys.exit()
        else:
            print_help()
            sys.exit()

Das obige Python-Skript demonstriert die wichtigsten Operationen, die mit Objekten durchgeführt werden können. Dazu gehören:

Erstellung eines neuen Objekts in einem Eimer
Auflistung aller Objekte in einem Eimer
Löschung eines bestimmten Objekts

Schauen wir uns an, wie jeder der oben genannten Vorgänge aussieht, wenn das Skript ausgeführt wird.

$ python gcs_objects.py 
Usage: python gcs_objects.py <command>
Command can be:
    help: Prints this help
    list: Lists all the objects in the specified bucket
    create: Upload the provided file in specified bucket
    delete: Delete the provided filename from bucket
    
$ python gcs_objects.py list tutsplus-demo-test
[{u'contentType': u'application/x-www-form-urlencoded;charset=UTF-8',
  u'name': u'tutsplus/',
  u'size': u'0'},
 {u'contentType': u'image/png',
        resp = req.execute()
  u'name': u'tutsplus/Screen Shot 2016-10-17 at 1.03.16 PM.png',
  u'size': u'36680'}]
  
$ python gcs_objects.py create tutsplus-demo-test gcs_buckets.py 
{u'bucket': u'tutsplus-demo-test',
 u'contentType': u'application/octet-stream',
 u'crc32c': u'XIEyEw==',
 u'etag': u'CJCckonZ4c8CEAE=',
 u'generation': u'1476702385770000',
 u'id': u'tutsplus-demo-test/gcs_buckets.py/1476702385770000',
 u'kind': u'storage#object',
 u'md5Hash': u'+bd6Ula+mG4bRXReSnvFew==',
 u'mediaLink': u'https://www.googleapis.com/download/storage/v1/b/tutsplus-demo-test/o/gcs_buckets.py?generation=147670238577000
0&alt=media',
 u'metageneration': u'1',
 u'name': u'gcs_buckets.py',
 u'selfLink': u'https://www.googleapis.com/storage/v1/b/tutsplus-demo-test/o/gcs_buckets.py',
 u'size': u'2226',
 u'storageClass': u'STANDARD',
 u'timeCreated': u'2016-10-17T11:06:25.753Z',
 u'updated': u'2016-10-17T11:06:25.753Z'}
 
$ python gcs_objects.py list tutsplus-demo-test
[{u'contentType': u'application/octet-stream',
  u'name': u'gcs_buckets.py',
  u'size': u'2226'},
 {u'contentType': u'application/x-www-form-urlencoded;charset=UTF-8',
  u'name': u'tutsplus/',
  u'size': u'0'},
 {u'contentType': u'image/png',
  u'name': u'tutsplus/Screen Shot 2016-10-17 at 1.03.16 PM.png',
  u'size': u'36680'}]
  
$ python gcs_objects.py delete tutsplus-demo-test gcs_buckets.py 
''

$ python gcs_objects.py list tutsplus-demo-test
[{u'contentType': u'application/x-www-form-urlencoded;charset=UTF-8',
  u'name': u'tutsplus/',
  u'size': u'0'},
 {u'contentType': u'image/png',
  u'name': u'tutsplus/Screen Shot 2016-10-17 at 1.03.16 PM.png',
  u'size': u'36680'}]

Schlussfolgerung

In dieser Tutorial-Reihe haben wir gesehen, wie Google Cloud Storage aus der Vogelperspektive funktioniert, gefolgt von einer detaillierten Analyse von Buckets und Objekten. Dann haben wir gesehen, wie man wichtige Bucket- und objektbezogene Operationen über die Google Cloud Console durchführt.

Dann haben wir dasselbe mit Python-Skripten durchgeführt. Es gibt noch mehr, was man mit Google Cloud Storage machen kann, aber das bleibt Ihnen überlassen.