Advertisement
  1. Code
  2. PHP

Bagaimana Mengeruk Halaman Web Untuk Metadata

Scroll to top
Read Time: 3 mins
This post is part of a series called How to Scrape Web Pages for Metadata.
Using the New York Times API to Scrape Metadata

Indonesian (Bahasa Indonesia) translation by Yosef Andreas (you can also view the original English article)

Final product imageFinal product imageFinal product image
What You'll Be Creating

Pendahuluan

Baru-baru ini saya mulai membangun sebuah situs komunitas pada platform Yii yang saya tulis dalam Pemrograman Dengan Yii2: Membangun Komunitas Dengan Komentar, Sharing dan Voting (Envato Tuts+). Saya ingin membuatnya mudah untuk menambahkan tautan terkait pada konten di situs ini. Sementara mudah bagi orang untuk menempel URL ke dalam form, itu memakan waktu untuk menyediakan juga judul dan sumber informasi.

Di dalam tutorial hari ini, saya akan menunjukkan bagaimana memanfaatkan PHP untuk mengeruk metadata umum dari halaman web untuk membuatnya lebih mudah bagi pengguna untuk berpartisipasi dan membangun layanan yang lebih menarik.

Ingat, saya berpartisipasi dalam komentar di bawah, jadi sampaikan apa yang kamu pikirkan! Kamu juga bisa menghubungi saya di Twitter @lookahead_io.

Memulai

Pertama-tama, saya membuat sebuah form untuk menambahkan tautan dengan menempelkan URL. Saya juga membuat sebuah tombol Lookup untuk menggunakan AJAX untuk meminta halaman web dikeruk informasi metadatanya.

Web Scraping - Create Link form with Lookup buttonWeb Scraping - Create Link form with Lookup buttonWeb Scraping - Create Link form with Lookup button

Menekan Lookup memanggil fungsi Link::grab() via ajax:

Mengeruk Halaman Web

Kode Link::grab() memanggil fetch_og(). Ini meniru sebuah crawler untuk menangkap halaman dan mendapatkan metadata dengan DOMXPath:

Untuk skenario saya, saya mengganti tags og: di atas, namun kode di bawah mencari berbagai jenis tags:

Kamu dapat juga mengeruk tags lainnya seperti keywords, description, dll. jQuery kemudian menambahkan hasil ke form bagi pengguna untuk di-submit:

Web Scraping - Create Link with Resulting Title Filled InWeb Scraping - Create Link with Resulting Title Filled InWeb Scraping - Create Link with Resulting Title Filled In

Melangkah Lebih Jauh

Saya juga mempunyai tabel sumber yang akan saya kembangkan nantinya. Namun pada dasarnya, tiap kali URL baru ditambahkan, kita mengurainya untuk domain website dasar dan menempatkannya di dalam tabel Source:

Untuk saat ini, saya mengupdate secara manual nama-nama sumber sehingga mereka tampak rapi bagi pengguna, misalnya ABC News, BoingBoing, dan Vice:

Web Scraping - Item page with completed links and clean sourcesWeb Scraping - Item page with completed links and clean sourcesWeb Scraping - Item page with completed links and clean sources

Semoga di dalam episode mendatang, saya akan mengulas bagaimana menggunakan API yang tersedia secara gratis untuk mencari nama situs. Aneh bagi saya bahwa tidak ada metatag umum untuk ini; seandainya internet sempurna.

Situs-Situs Paywall

Beberapa situs seperti The New York Times tidak mengijinkanmu mengeruk metadata karena paywall mereka. Namun mereka memiliki API. Itu tidak mudah untuk dipelajari karena dokumentasi yang membingungkan, namun pengembang mereka cepat membantu dalam GitHub. Saya juga berharap untuk menuliskan tentang menggunakan metadata lookup untuk judul New York Times dalam episode mendatang.

Penutup

Saya harap kamu merasa terbantu dengan panduan scraping ini dan menggunakannya dalam projectmu. Jika kamu ingin melihatnya beraksi, kamu dapat mencoba beberapa web scraping pada situs saya, Active Together.

Silahkan bagikan pendapat dan feedback apapun di dalam komentar. Kamu juga dapat menghubungi saya di Twitter @lookahead_io secara langsung. Dan pastikan untuk memeriksa halaman instruktur saya dan seri saya lainnya, Membangun Startup Dengan PHP dan Pemrograman Dengan Yii2.

Tautan Terkait

Advertisement
Did you find this post useful?
Want a weekly email summary?
Subscribe below and we’ll send you a weekly email summary of all new Code tutorials. Never miss out on learning about the next big thing.
Advertisement
Looking for something to help kick start your next project?
Envato Market has a range of items for sale to help get you started.