Bagaimana Mengeruk Halaman Web Untuk Metadata

() translation by (you can also view the original English article)

Final product image — What You'll Be Creating

Pendahuluan

Baru-baru ini saya mulai membangun sebuah situs komunitas pada platform Yii yang saya tulis dalam Pemrograman Dengan Yii2: Membangun Komunitas Dengan Komentar, Sharing dan Voting (Envato Tuts+). Saya ingin membuatnya mudah untuk menambahkan tautan terkait pada konten di situs ini. Sementara mudah bagi orang untuk menempel URL ke dalam form, itu memakan waktu untuk menyediakan juga judul dan sumber informasi.

Di dalam tutorial hari ini, saya akan menunjukkan bagaimana memanfaatkan PHP untuk mengeruk metadata umum dari halaman web untuk membuatnya lebih mudah bagi pengguna untuk berpartisipasi dan membangun layanan yang lebih menarik.

Ingat, saya berpartisipasi dalam komentar di bawah, jadi sampaikan apa yang kamu pikirkan! Kamu juga bisa menghubungi saya di Twitter @lookahead_io.

Memulai

Pertama-tama, saya membuat sebuah form untuk menambahkan tautan dengan menempelkan URL. Saya juga membuat sebuah tombol Lookup untuk menggunakan AJAX untuk meminta halaman web dikeruk informasi metadatanya.

Web Scraping - Create Link form with Lookup button

Menekan Lookup memanggil fungsi Link::grab() via ajax:

$(document).on("click", '[id=lookup]', function(event) {
  $.ajax({
     url: $('#url_prefix').val()+'/link/grab',
     data: {url:   $('#url').val()},
     success: function(data) {
       $('#title').val(data);
       return true;
     }
  });
});

Mengeruk Halaman Web

Kode Link::grab() memanggil fetch_og(). Ini meniru sebuah crawler untuk menangkap halaman dan mendapatkan metadata dengan DOMXPath:

public static function fetch_og($url)
    {
        $options  = array('http' => array('user_agent' => 'facebookexternalhit/1.1'));
        $context  = stream_context_create($options);
        $data = file_get_contents($url,false,$context);
        $dom = new \DomDocument;
        @$dom->loadHTML($data);
        $xpath = new \DOMXPath($dom);
        # query metatags with og prefix
        $metas = $xpath->query('//*/meta[starts-with(@property, \'og:\')]');
        $og = array();
        foreach($metas as $meta){
            # get property name without og: prefix
            $property = str_replace('og:', '', $meta->getAttribute('property'));
            $content = $meta->getAttribute('content');
            $og[$property] = $content;
        }
        return $og;
    }

Untuk skenario saya, saya mengganti tags og: di atas, namun kode di bawah mencari berbagai jenis tags:

$tags = Link::fetch_og($url);
      if (isset($tags['title'])) {
        $title = $tags['title'];
      } else if (isset($tags['metaProperties']['og:title']['value'])) {
        $title=$tags['metaProperties']['og:title']['value'];
      } else {
        $title = 'n/a';
      }
      return $title;
    }

Kamu dapat juga mengeruk tags lainnya seperti keywords, description, dll. jQuery kemudian menambahkan hasil ke form bagi pengguna untuk di-submit:

Web Scraping - Create Link with Resulting Title Filled In

Melangkah Lebih Jauh

Saya juga mempunyai tabel sumber yang akan saya kembangkan nantinya. Namun pada dasarnya, tiap kali URL baru ditambahkan, kita mengurainya untuk domain website dasar dan menempatkannya di dalam tabel Source:

$model->source_id = Source::add($model->url);
...
public static function add($url='',$name='') {
      $source_url = parse_url($url);
      $url = $source_url['host'];
      $url = trim($url,' \\');
      $s = Source::find()
        ->where(['url'=>$url])
        ->one();
      if (is_null($s)) {
        $s=new Source;
        $s->url = $url;
        $s->name = $name;
        $s->status = Source::STATUS_ACTIVE;
        $s->save();
      } else {
        if ($s->name=='') {
          $s->name = $name;
          $s->update();
        }
      }
      return $s->id;
    }

Untuk saat ini, saya mengupdate secara manual nama-nama sumber sehingga mereka tampak rapi bagi pengguna, misalnya ABC News, BoingBoing, dan Vice:

Web Scraping - Item page with completed links and clean sources

Semoga di dalam episode mendatang, saya akan mengulas bagaimana menggunakan API yang tersedia secara gratis untuk mencari nama situs. Aneh bagi saya bahwa tidak ada metatag umum untuk ini; seandainya internet sempurna.

Situs-Situs Paywall

Beberapa situs seperti The New York Times tidak mengijinkanmu mengeruk metadata karena paywall mereka. Namun mereka memiliki API. Itu tidak mudah untuk dipelajari karena dokumentasi yang membingungkan, namun pengembang mereka cepat membantu dalam GitHub. Saya juga berharap untuk menuliskan tentang menggunakan metadata lookup untuk judul New York Times dalam episode mendatang.

Penutup

Saya harap kamu merasa terbantu dengan panduan scraping ini dan menggunakannya dalam projectmu. Jika kamu ingin melihatnya beraksi, kamu dapat mencoba beberapa web scraping pada situs saya, Active Together.

Silahkan bagikan pendapat dan feedback apapun di dalam komentar. Kamu juga dapat menghubungi saya di Twitter @lookahead_io secara langsung. Dan pastikan untuk memeriksa halaman instruktur saya dan seri saya lainnya, Membangun Startup Dengan PHP dan Pemrograman Dengan Yii2.