Google Cloud Storage: Mengelola Bucket

() translation by (you can also view the original English article)

Google Cloud Storage (GCS) adalah sebuah penyimpanan obyek yang sangat sederhana dan ampuh yang menawarkan oleh Google sebagai bagian dari Google Cloud Platform (GCP). Itu menyediakan sebuah solusi penyimpanan yang berdaya tahan tinggi, dapat diukur, konsisten dan tersedia bagi pengembang dan merupakan teknologi yang sama yang Google gunakan untuk memperkuat penyimpanan obyeknya sendiri.

Itu berbayar dengan model bayar apa yang kamu gunakan, dan GCP hadir dengan percobaan 60 hari, jadi itu bebas untuk dicoba untuk melihat jika itu sesuai dengan kebutuhan organisasimu. GCS memiliki tingkat pelayanan yang berbeda (juga disebut kelas penyimpanan) yang dapat dipilih sesuai kebutuhan (diskusi lebih detail pada ini diluar lingkup tutorial ini). GCS dapat digunakan untuk berbagai tujuan, seperti melayani konten website statis/dinamis, menyimpan file aplikasi khusus pengguna, penanganan bencana, atau membuat obyek data yang besar dapat didownload bagi pengguna.

Mereka yang telah berkerja pada GCP akan mengetahui bahwa dalam GCP berputar di sekitar project. Tiap project dapat memiliki banyak bucket di sekitar dimana arsitektur Google Cloud Storage dibuat strukturnya. Bucket adalah container dasar pada GCS yang mengandung data yang disimpan. Ini digunakan sebagai blok dasar untuk mengelola datamu dan tampak seperti folder dalam sebuah sistem operasi, namun mereka tidak dapat bersarang.

Tiap bucket dapat berisi sejumlah obyek, yang dapat berapa folder dan / atau file. Sebuah bucket ditentukan kelas penyimpanan dan lokasi geografisnya ketika dibuat. Pengaturan ini dapat ditentukan ketika membuat bucket namun tidak dapat diganti nantinya.

Bucket memiliki konvensi penamaan khusus yang perlu diikuti dengan ketat, jika tidak GCP tidak akan mengijinkanmu untuk membuat sebuah bucket. Nama bucket umumnya unik, sehingga mereka perlu dipilih dalam sebuah cara untuk mencegah konflik. Bagaimana pun juga, sebuah nama yang digunakan oleh bucket yang dihapus tidak dapat digunakan kembali.

Juga, nama tidak dapat diganti setelah itu ditentukan pada sebuah bucket. Satu-satunya solusi jika kamu ingin mengganti itu adalah membuat sebuah bucket baru dengan nama yang diinginkan, memindahkan konten dari bucket sebelumnya ke bucket yang baru, dan kemudian menghapus bucket sebelumnya.

Dalam tutorial ini, saya akan mengcover bagaimana menangani bucket dari Google Cloud Console. Ini diikuti dengan sebuah script Python dimana saya akan mendemonstrasikan melakukan operasi yang sama secara pemrograman.

Menggunakan Google Cloud Console

Pertama-tama, mari kita lihat bagaimana mengelola bucket menggunakan tampilan pengguna web yang disediakan GCP dikenal sebagai Google Cloud Console.

Buka Storage Browser dalam browser web pilihanmu. Jika kamu adalah pengguna pertama, kamu akan diminta untuk membuat sebuah project dahulu. Juga, sebuah pilihan akan ditampilkan untuk mendaftar uji coba gratis. Lanjutkan dengan pendaftaran uji coba gratis, jika tidak kamu tidak akan diijinkan untuk membuat bucket baru. Secara default, GCP hanya menyediakan satu bucket gratis tiap contoh App Engine.

Setelah selesai melakukan smua proses formal ini, mengarahkan ke halaman ini akan membuka halaman yang ditunjukkan di bawah.

Untuk membuat sebuah bucket baru, klik pada tombol Create Bucket yang disorot di atas. Buat sebuah bucket dengan mengisi nama yang diinginkan seperti yang ditunjukkan di bawah. Namanya harus mengikuti konvensi penamaan bucket.

Setelah kamu membuat sebuah bucket, browser GCS akan mendaftarkannya. Bucket dapat dihapus dengan memilihnya dari daftar dan mengklik tombol delete.

Mengklik pada tombol refresh akan mengisi UI dengan perubahan apapun pada daftar bucket tanpa memuat ulang keseluruhan halaman.

Mengelola Bucket Secara Pemrograman

Pertama-tama, mari buat sebuah contoh Google Compute Engine yang akan mengijinkan demonstrasi cepat pada konsep yang ditargetkan daripada berhadapan dengan langkah otentifikasi tambahan pada mesin lokal. Untuk membuat sebuah contoh GCE, buka tautan dan klik pada tombol Create Instance seperti yang ditunjukkan di bawah.

Sebuah form akan muncul meminta detail yang relevan, yang dapat diisi sesuai kenyamananmu. Setelah contoh GCE dibuat, buka SSH client seperti yang ditunjukkan di bawah, yang secara default membuka dalam sebuah jendela browser baru.

Layar SSH client akan tampak seperti yang ditunjukkan di bawah. Semua operasi lebih lanjut dalam tutorial ini akan dilakukan secara langsung pada SSH client itu sendiri.

SSH Client for newly created Compute Engine instance

Menulis Sebuah Script Python

Di bawah adalah perintah yang kamu butuhkan untuk dijalankan untuk mengatur server yang baru dibuat untuk lingkungan pengembangan Python.

1	$ sudo apt-get update
2	$ sudo apt-get install python-dev python-setuptools
3	$ sudo easy_install pip

Di bawah ini adalah dependency yang perlu diinstal untuk menulis script.

1	$ sudo pip install google-api-python-client

Pada sistem produksi, tidak disarankan untuk menginstal libraries menggunakan "sudo". Tolong ikuti penerapan terbaik Python virtualenv untuk hal ini.

gcs_bucket.py

import sys
from pprint import pprint

from googleapiclient import discovery
from googleapiclient import http
from oauth2client.client import GoogleCredentials


def create_service():
    credentials = GoogleCredentials.get_application_default()
    return discovery.build('storage', 'v1', credentials=credentials)
    
    
def list_buckets(project):
    service = create_service()
    res = service.buckets().list(project=project).execute()
    pprint(res)
    
    
def create_bucket(project, bucket_name):
    service = create_service()
    res = service.buckets().insert(
        project=project, body={
            "name": bucket_name
        }
    ).execute()
    pprint(res)
    
    
def delete_bucket(bucket_name):
    service = create_service()
    res = service.buckets().delete(bucket=bucket_name).execute()
    pprint(res)


def get_bucket(bucket_name):
    service = create_service()
    res = service.buckets().get(bucket=bucket_name).execute()
    pprint(res)


def print_help():
        print """Usage: python gcs_bucket.py <command>
Command can be:
    help: Prints this help
    list: Lists all the buckets in specified project
    create: Create the provided bucket name in specified project
    delete: Delete the provided bucket name
    get: Get details of the provided bucket name
"""


if __name__ == "__main__":
    if len(sys.argv) < 2 or sys.argv[1] == "help" or \
        sys.argv[1] not in ['list', 'create', 'delete', 'get']:
        print_help()
        sys.exit()
    if sys.argv[1] == 'list':
        if len(sys.argv) == 3:
            list_buckets(sys.argv[2])
            sys.exit()
        else:
            print_help()
            sys.exit()
    if sys.argv[1] == 'create':
        if len(sys.argv) == 4:
            create_bucket(sys.argv[2], sys.argv[3])
            sys.exit()
        else:
            print_help()
            sys.exit()
    if sys.argv[1] == 'delete':
        if len(sys.argv) == 3:
            delete_bucket(sys.argv[2])
            sys.exit()
        else:
            print_help()
            sys.exit()
    if sys.argv[1] == 'get':
        if len(sys.argv) == 3:
            get_bucket(sys.argv[2])
            sys.exit()
        else:
            print_help()
            sys.exit()

Script Python di atas mendemonstrasikan operasi besar yang dapat dilakukan pada sebuah bucket. Ini mencakup:

pembuatan sebuah bucket baru dalam sebuah project
membuat daftar semua bucket dalam sebuah project
mendapatkan detail sebuah bucket spesifik
menghapus sebuah bucket spesifik

Mari lihat seperti apa operasi ini ketika script ini dijalankan.

$ python gcs_bucket.py 
Usage: python gcs_bucket.py <command>
Command can be:
    help: Prints this help
    list: Lists all the buckets in specified project
    create: Create the provided bucket name in specified project
    delete: Delete the provided bucket name
    get: Get details of the provided bucket name
    
$ python gcs_bucket.py list tutsplus-demo
{u'items': [{u'etag': u'CAE=',
             u'id': u'tutsplus-demo.appspot.com',
             u'kind': u'storage#bucket',
             u'location': u'US',
             u'metageneration': u'1',
             u'name': u'tutsplus-demo.appspot.com',
             u'projectNumber': u'1234567890',
             u'selfLink': u'https://www.googleapis.com/storage/v1/b/tutsplus-demo.appspot.com',
             u'storageClass': u'STANDARD',
             u'timeCreated': u'2016-10-05T15:30:52.237Z',
             u'updated': u'2016-10-05T15:30:52.237Z'}],
 u'kind': u'storage#buckets'}
 
 $ python gcs_bucket.py create tutsplus-demo tutsplus-demo-test
{u'etag': u'CAE=',
 u'id': u'tutsplus-demo-test',
 u'kind': u'storage#bucket',
 u'location': u'US',
 u'metageneration': u'1',
 u'name': u'tutsplus-demo-test',
 u'projectNumber': u'1234567890',
 u'selfLink': u'https://www.googleapis.com/storage/v1/b/tutsplus-demo-test',
 u'storageClass': u'STANDARD',
 u'timeCreated': u'2016-10-07T05:55:29.638Z',
 u'updated': u'2016-10-07T05:55:29.638Z'}
 
 $ python gcs_bucket.py get tutsplus-demo-test
{u'etag': u'CAE=',
 u'id': u'tutsplus-demo-test',
 u'kind': u'storage#bucket',
 u'location': u'US',
 u'metageneration': u'1',
 u'name': u'tutsplus-demo-test',
 u'projectNumber': u'1234567890',
 u'selfLink': u'https://www.googleapis.com/storage/v1/b/tutsplus-demo-test',
 u'storageClass': u'STANDARD',
 u'timeCreated': u'2016-10-07T05:55:29.638Z',
 u'updated': u'2016-10-07T05:55:29.638Z'}
 
 $ python gcs_bucket.py delete tutsplus-demo-test
''

Kesimpulan

Dalam tutorial ini, kamu melihat bagaimana mengelola bucket pada Google Cloud Storage. Ini juga diiringi dengan perkenalan singkat membuat sebuah contoh Google Compute Engine dan menggunakannya via SSH client.

Dalam tutorial selanjutnya, saya akan mengcover bagaimana mengelola obyek, yaitu folder dan file di dalam sebuah bucket.