Membangun Scraper Web Pertama Anda, Bagian 2

Indonesian (Bahasa Indonesia) translation by ⚡ Rova Rindrata (you can also view the original English article)

Dalam tutorial ini, Anda akan belajar bagaimana Anda bisa menggunakan Mechanize untuk mengklik tautan, mengisi formulir, dan mengunggah file. Anda juga akan belajar bagaimana Anda bisa mengiris halaman objek Mechanize dan bagaimana cara mengotomatisasi pencarian Google dan menyimpan hasilnya.

Topik-topik

Halaman Tunggal vs. Paginasi
Mechanize
Agen
Halaman
Metode Nokogiri
Tautan-tautan
Klik
Formulir

Halaman Tunggal vs. Paginasi

Sejauh ini kita telah menghabiskan beberapa waktu mencari tahu bagaimana kita bisa meng-scrape layar satu halaman menggunakan Nokogiri. Ini adalah dasar yang baik untuk melangkah maju dan belajar mengekstrak konten dari banyak halaman.

Bagaimanapun, masalah yang ingin kita selesaikan melibatkan mendapatkan konten dari lebih dari 140 episode—yang lebih banyak konten daripada yang cukup sesuai dengan satu halaman web. Kita harus bekerja dengan paginasi dan perlu mencari cara untuk mengikuti konten di lubang kelincinya.

Di sinilah Nokogiri berhenti dan gem berguna lainnya yang disebut Mechanize ikut bermain.

Mechanize

Mechanize adalah alat lain yang hebat yang memiliki banyak barang untuk ditawarkan. Ini pada dasarnya memungkinkan Anda untuk mengotomatisasi interaksi dengan situs web yang Anda butuhkan untuk mengekstrak kontennya. Dalam hal ini, saya mengingatkan beberapa fungsi yang mungkin Anda ketahui dari pengujian dengan Capybara.

Jangan salah sangka, bermain dengan Nokogiri di satu halaman sangat mengagumkan, tapi untuk pekerjaan ekstraksi data yang lebih pedas, kita memerlukan sedikit tenaga kuda lagi. Pada intinya kita dapat merayap melalui halaman sebanyak yang kita butuhkan dan berinteraksi dengan elemen mereka—meniru dan mengotomatisasi perilaku manusia. Barang yang cukup bagus!

Permata ini memungkinkan Anda mengikuti tautan, mengisi field-field formulir, dan mengirimkan data tersebut—bahkan menangani cookie sudah dipersiapkan. Itu berarti Anda juga dapat meniru login pengguna ke sesi pribadi dan mendapatkan konten dari situs yang hanya Anda yang memiliki aksesnya.

Anda mengisi login dengan kredensial Anda dan memberitahu Mechanize bagaimana cara mengikuti. Karena Anda bisa mengklik tautan dan mengirimkan formulir, sangat sedikit yang tidak dapat Anda lakukan dengan alat ini. Ini memiliki hubungan dekat dengan Nokogiri dan juga bergantung padanya. Aaron Patterson kembali menjadi salah satu pencipta gem yang indah ini.

Instansiasi Agen Mechanize

Sebelum kita bisa mulai melakukan mekanisasi, kita perlu memberi instansiasi agen Mechanize.

some_scraper.rb

require 'mechanize'

agent = Mechanize.new

Agent ini akan digunakan untuk mengambil halaman, mirip dengan apa yang kita lakukan dengan Nokogiri.

some_scraper.rb

require 'mechanize'

agent = Mechanize.new

podcast_url = "http://betweenscreens.fm/"

page = agent.get(podcast_url)

Yang terjadi di sini adalah agen Mechanize mendapatkan halaman podcast dan cookies-nya.

Mengekstrak Konten Halaman

Kita sekarang memiliki halaman yang siap untuk diekstraksi. Sebelum kita melakukannya, saya menyarankan agar kita melihat apa yang terjadi dengan menggunakan metode inspect.

some_scraper.rb

require 'mechanize'

agent = Mechanize.new

podcast_url = "http://betweenscreens.fm/"

page = agent.get(podcast_url)

puts page.inspect

Hasilnya cukup substantif. Lihat dan perhatikan apa arti objek Mechanize::Page. Di sini Anda bisa melihat semua atribut untuk halaman itu.

Bagi saya, ini adalah objek yang sangat berguna untuk mengiris data yang ingin Anda ekstrak.

Keluaran

#<Mechanize::Page
 {url #http://betweenscreens.fm/>}
 {meta_refresh}
 {title "Between | Screens "}
 {iframes
  #<Mechanize::Page::Frame
   nil
   "https://w.soundcloud.com/player/?url=https%3A//api.soundcloud.com/tracks/290328784&color=ff0000&auto...>
  #<Mechanize::Page::Frame
   nil
   "https://w.soundcloud.com/player/?url=https%3A//api.soundcloud.com/tracks/290126141&color=ff0000&auto...>
  #<Mechanize::Page::Frame
   nil
   "https://w.soundcloud.com/player/?url=https%3A//api.soundcloud.com/tracks/289018386&color=ff0000&auto...>
  #<Mechanize::Page::Frame
   nil
   "https://w.soundcloud.com/player/?url=https%3A//api.soundcloud.com/tracks/287425105&color=ff0000&auto...>
  #<Mechanize::Page::Frame
   nil
   "https://w.soundcloud.com/player/?url=https%3A//api.soundcloud.com/tracks/287105342&color=ff0000&auto...>
  #<Mechanize::Page::Frame
   nil
   "https://w.soundcloud.com/player/?url=https%3A//api.soundcloud.com/tracks/221003494&color=ff0000&auto...>
  #<Mechanize::Page::Frame
   nil
   "">https://w.soundcloud.com/player/?url=https%3A//api.soundcloud.com/tracks/218101809&color=ff0000&auto...}
 {frames}
 {links
  #<Mechanize::Page::Link "Logo cube" "/">
  #https://github.com/vis-kid/betweenscreens">
  #<Mechanize::Page::Link "about" "pages/about/">
  #<Mechanize::Page::Link "design" "design/">
  #<Mechanize::Page::Link "code" "code/">
  #<Mechanize::Page::Link "Randy J. Hunt" "episodes/144/">
  #<Mechanize::Page::Link "Jason Long" "episodes/143/">
  #<Mechanize::Page::Link "David Heinemeier Hansson" "episodes/142/">
  #<Mechanize::Page::Link "Zach Holman" "episodes/141/">
  #<Mechanize::Page::Link "Joel Glovier" "episodes/140/">
  #<Mechanize::Page::Link "João Ferreira" "episodes/139/">
  #<Mechanize::Page::Link "Corwin Harrell" "episodes/138/">
  #<Mechanize::Page::Link "Older Stuff »" "page/2/">
  #<Mechanize::Page::Link "Exercise" "/tags/exercise/">
  #<Mechanize::Page::Link "Company benefits" "/tags/company-benefits/">
  #<Mechanize::Page::Link "Tmux" "/tags/tmux/">
  #<Mechanize::Page::Link "FileTask" "/tags/filetask/">
  #<Mechanize::Page::Link "Decision making" "/tags/decision-making/">
  #<Mechanize::Page::Link "Favorite feature" "/tags/favorite-feature/">
  #<Mechanize::Page::Link "Working out" "/tags/working-out/">
  #<Mechanize::Page::Link "Scott Savarie" "/tags/scott-savarie/">
  #<Mechanize::Page::Link "Titles" "/tags/titles/">
  #<Mechanize::Page::Link "Erik Spiekermann" "/tags/erik-spiekermann/">
  #<Mechanize::Page::Link "Newbie mistakes" "/tags/newbie-mistakes/">
  #<Mechanize::Page::Link "Playbook" "/tags/playbook/">
  #<Mechanize::Page::Link "Delegation" "/tags/delegation/">
  #<Mechanize::Page::Link "Heat maps" "/tags/heat-maps/">
  #<Mechanize::Page::Link "Europe" "/tags/europe/">
  #<Mechanize::Page::Link "Sizing type" "/tags/sizing-type/">
  #<Mechanize::Page::Link "Focus" "/tags/focus/">
  #<Mechanize::Page::Link "Virtual assistants" "/tags/virtual-assistants/">
  #<Mechanize::Page::Link "Writing" "/tags/writing/">
  #<Mechanize::Page::Link "Hacking" "/tags/hacking/">
  #<Mechanize::Page::Link "Joel Glovier" "/tags/joel-glovier/">
  #<Mechanize::Page::Link "Corwin Harrell" "/tags/corwin-harrell/">
  #<Mechanize::Page::Link "Mario C. Delgado" "/tags/mario-c-delgado/">
  #<Mechanize::Page::Link "Tom Dale" "/tags/tom-dale/">
  #<Mechanize::Page::Link "Obie Fernandez" "/tags/obie-fernandez/">
  #<Mechanize::Page::Link "Chad Pytel" "/tags/chad-pytel/">
  #<Mechanize::Page::Link "Zach Holman" "/tags/zach-holman/">
  #<Mechanize::Page::Link "Max Luster" "/tags/max-luster/">
  #<Mechanize::Page::Link "Kyle Fiedler" "/tags/kyle-fiedler/">
  #<Mechanize::Page::Link "Roberto Machado" "/tags/roberto-machado/">}
 {forms}>

Jika Anda ingin melihat halaman HTML itu sendiri, Anda dapat memberi tag pada metode body atau content.

some_scraper.rb

...

print page.body

...

Keluaran

<!doctype html>

<html>
  <head>
    <meta charset="utf-8" />
    <meta http-equiv='X-UA-Compatible' content='IE=edge;chrome=1' />
    <meta content="IE=edge,chrome=1" http-equiv="X-UA-Compatible">
    <meta name="viewport" content="initial-scale=1">
    <title>Between | Screens </title>
    <link rel="alternate" type="application/atom+xml" title="Atom Feed" href="/feed.xml" />
    <link href="stylesheets/all-11b45acc.css" rel="stylesheet" />
    <script src="javascripts/all-4c20da82.js"></script>
  </head>

  <body>
    <header>
      <div id="logo">
        <a href="/"><img src="images/Between_Screens_Logo_Cube_Up-539d6997.svg" alt="Logo cube" /></a>
      </div>
      <nav class="navigation">
        <ul class="nav-list"> 
fork">https://github.com/vis-kid/betweenscreens">fork!
          <li><a href="pages/about/">about</a></li>
          <li><a href="design/">design</a></li>
          <li><a href="code/">code</a></li>
        </ul>
      </nav>
    </header>

    <div id="main" role="main">
      <div class='posts'>
        <ul>
          <li>
            <article class="index-article">
              <span class='post-date'>Oct 27 | 2016</span><h2 class='post-title'><a href="episodes/144/">Randy J. Hunt</a></h2>
              <h3 class='topic-list'>Organizing teams | Diversity | Desires | Pizza rule | Effective over clever | Novel solutions | Straightforwardness | Research | Coffeeshop test | Small changes | Reducing errors | Granular diffs</h3>
              <div class='soundcloud-player-small'>
                <iframe width="100%"
                  height="166"
                  scrolling="no"
                  frameborder="no"
                  src="https://w.soundcloud.com/player/?url=https%3A//api.soundcloud.com/tracks/290328784&color=ff0000&...>
              </div>
            </article>
          </li>

          <li>
            <article class="index-article">
              <span class='post-date'>Oct 25 | 2016</span><h2 class='post-title'><a href="episodes/143/">Jason Long</a></h2>
              <h3 class='topic-list'>Open source | Empathy | Lower barriers | Learning tool | Design contributions | Git website | Branding | GitHub | Neovim | Tmux | Design love | Knowing audiences | Showing work | Dribbble | Progressions | Ideas</h3>
              <div class='soundcloud-player-small'>
                <iframe width="100%"
                height="166"
                scrolling="no"
                frameborder="no"
                src="https://w.soundcloud.com/player/?url=https%3A//api.soundcloud.com/tracks/290126141&color=ff0000&...>
              </div>
            </article>
          </li>

          <li>
            <article class="index-article">
              <span class='post-date'>Oct 18 | 2016</span><h2 class='post-title'><a href="episodes/142/">David Heinemeier Hansson</a></h2>
              <h3 class='topic-list'>Rails community | Tone | Technical disagreements | Community policing | Ungratefulness | No assholes allowed | Basecamp | Open source persona | Aspirations | Guarding motivations | Dealing with audiences | Pressure | Honesty | Diverse opinions | Small talk</h3>
              <div class='soundcloud-player-small'>
                <iframe width="100%"
                height="166"
                scrolling="no"
                frameborder="no"
                src="https://w.soundcloud.com/player/?url=https%3A//api.soundcloud.com/tracks/289018386&color=ff0000&...>
              </div>
            </article>
          </li>

          <li>
            <article class="index-article">
              <span class='post-date'>Oct 12 | 2016</span><h2 class='post-title'><a href="episodes/141/">Zach Holman</a></h2>
              <h3 class='topic-list'>Getting Fired | Taboo | Transparency | Different Perspectives | Timing | Growth Stages | Employment & Dating | Managers | At-will Employment | Tech Industry | Europe | Low hanging Fruits | Performance Improvement Plans | Meeting Goals | Surprise Firings | Firing Fast | Mistakes | Company Culture | Communication</h3>
              <div class='soundcloud-player-small'>  
                <iframe width="100%"
                  height="166"
                  scrolling="no"
                  frameborder="no"
                  src="https://w.soundcloud.com/player/?url=https%3A//api.soundcloud.com/tracks/287425105&color=ff0000&...>
              </div>
            </article>
          </li>

          <li>
            <article class="index-article">
              <span class='post-date'>Oct 10 | 2016</span><h2 class='post-title'><a href="episodes/140/">Joel Glovier</a></h2>
              <h3 class='topic-list'>Digital Product Design | Product Design @ GitHub | Loving Design | Order & Chaos | Drawing | Web Design | HospitalRun | Diversity | Startup Culture | Improving Lives | CURE International | Ember | Offline First | Hospital Information System | Designers & Open Source</h3>
              <div class='soundcloud-player-small'>
                <iframe width="100%"
                  height="166"
                  scrolling="no"
                  frameborder="no"
                  src="https://w.soundcloud.com/player/?url=https%3A//api.soundcloud.com/tracks/287105342&color=ff0000&...>
              </div>
            </article>
          </li>

          <li>
            <article class="index-article">
              <span class='post-date'>Aug 26 | 2015</span><h2 class='post-title'><a href="episodes/139/">João Ferreira</a></h2>
              <h3 class='topic-list'>Masters @ Work | Subvisual | Deadlines | Design personality | Design problems | Team | Pushing envelopes | Delightful experiences | Perfecting details | Company values</h3>
              <div class='soundcloud-player-small'>
                <iframe width="100%"
                height="166"
                scrolling="no"
                frameborder="no"
                src="https://w.soundcloud.com/player/?url=https%3A//api.soundcloud.com/tracks/221003494&color=ff0000&...>
              </div>
            </article>
          </li>

          <li>
            <article class="index-article">
              <span class='post-date'>Aug 06 | 2015</span><h2 class='post-title'><a href="episodes/138/">Corwin Harrell</a></h2>
              <h3 class='topic-list'>Q&A | 01 | University | Graphic design | Design setup | Sublime | Atom | thoughtbot | Working location | Collaboration & pairing | Vim advocates | Daily routine | Standups | Clients | Coffee walks | Investment Fridays |</h3>
              <div class='soundcloud-player-small'>
                <iframe width="100%"
                height="166"
                scrolling="no"
                frameborder="no"
                src="https://w.soundcloud.com/player/?url=https%3A//api.soundcloud.com/tracks/218101809&color=ff0000&...>
              </div>
            </article>
          </li>
        </ul>
      </div>

      <section>
        <div class='pagination-link'><a href="page/2/">Older Stuff »</a></div>
      </section>
    </div>

    <footer>
      <div class='footer-tags'>
        <h3>Random Tags</h3>
        <ul class='random-tag-list'>
          <li><a href="/tags/exercise/">Exercise</a></li>
          <li><a href="/tags/company-benefits/">Company benefits</a></li>
          <li><a href="/tags/tmux/">Tmux</a></li>
          <li><a href="/tags/filetask/">FileTask</a></li>
          <li><a href="/tags/decision-making/">Decision making</a></li>
          <li><a href="/tags/favorite-feature/">Favorite feature</a></li>
          <li><a href="/tags/working-out/">Working out</a></li>
          <li><a href="/tags/scott-savarie/">Scott Savarie</a></li>
          <li><a href="/tags/titles/">Titles</a></li>
          <li><a href="/tags/erik-spiekermann/">Erik Spiekermann</a></li>
          <li><a href="/tags/newbie-mistakes/">Newbie mistakes</a></li>
          <li><a href="/tags/playbook/">Playbook</a></li>
          <li><a href="/tags/delegation/">Delegation</a></li>
          <li><a href="/tags/heat-maps/">Heat maps</a></li>
          <li><a href="/tags/europe/">Europe</a></li>
          <li><a href="/tags/sizing-type/">Sizing type</a></li>
          <li><a href="/tags/focus/">Focus</a></li>
          <li><a href="/tags/virtual-assistants/">Virtual assistants</a></li>
          <li><a href="/tags/writing/">Writing</a></li>
          <li><a href="/tags/hacking/">Hacking</a></li>
        </ul>
      </div>

      <div class='recent-posts'>
        <h3>Random Interviewees</h3>
        <ul>
          <li><a href="/tags/joel-glovier/">Joel Glovier</a></li>
          <li><a href="/tags/corwin-harrell/">Corwin Harrell</a></li>
          <li><a href="/tags/mario-c-delgado/">Mario C. Delgado</a></li>
          <li><a href="/tags/tom-dale/">Tom Dale</a></li>
          <li><a href="/tags/obie-fernandez/">Obie Fernandez</a></li>
          <li><a href="/tags/chad-pytel/">Chad Pytel</a></li>
          <li><a href="/tags/zach-holman/">Zach Holman</a></li>
          <li><a href="/tags/max-luster/">Max Luster</a></li>
          <li><a href="/tags/kyle-fiedler/">Kyle Fiedler</a></li>
          <li><a href="/tags/roberto-machado/">Roberto Machado</a></li>
        </ul>
      </div>
    </footer>
  </body>
</html>

Karena podcast ini hanya memiliki sejumlah kecil elemen yang berbeda pada halaman, inilah Mechanize::Page yang akan dikembalikan dari github.com. Ini memiliki variasi konten yang lebih besar untuk dilihat. Saya pikir ini penting untuk Anda rasakan.

Keluaran github.com

#<Mechanize::Page
 {url #https://github.com/>}
 {meta_refresh}
 {title "How people build software · GitHub"}
 {iframes}
 {frames}
 {links
  #<Mechanize::Page::Link "Skip to content" "#start-of-content">
  #https://github.com/">
  #<Mechanize::Page::Link "\n          Personal\n" "/personal">
  #<Mechanize::Page::Link "\n          Open source\n" "/open-source">
  #<Mechanize::Page::Link "\n          Business\n" "/business">
  #<Mechanize::Page::Link "\n          Explore\n" "/explore">
  #<Mechanize::Page::Link "Sign up" "/join?source=header-home">
  #<Mechanize::Page::Link "Sign in" "/login">
  #<Mechanize::Page::Link "Pricing" "/pricing">
  #<Mechanize::Page::Link "Blog" "/blog">
  #https://help.github.com">
  #https://github.com/search">
  #https://help.github.com/terms">
  #https://help.github.com/privacy">
  #<Mechanize::Page::Link "Sign up for GitHub" "/join?source=button-home">
  #<Mechanize::Page::Link
   "\n      \n        \n      \n      \n        A whole new Universe\n        \n          Learn about the exciting features and announcements revealed at this year's GitHub Universe conference.\n        \n      \n    "
   "/universe-2016">
  #<Mechanize::Page::Link "Individuals " "/personal">
  #<Mechanize::Page::Link "Communities " "/open-source">
  #<Mechanize::Page::Link "Businesses " "/business">
  #<Mechanize::Page::Link "NASA" "//github.com/nasa">
  #<Mechanize::Page::Link "Sign up for GitHub" "/join?source=button-home">
  #https://github.com/contact">
  #https://developer.github.com">
  #https://training.github.com">
  #https://shop.github.com">
  #https://github.com/blog">
  #https://github.com/about">
  #https://github.com">
  #https://github.com/site/terms">
  #https://github.com/site/privacy">
  #https://github.com/security">
  #https://status.github.com/">
  #https://help.github.com">
  #<Mechanize::Page::Link "Reload" "">
  #<Mechanize::Page::Link "Reload" "">}
 {forms
  #<Mechanize::Form
   {name nil}
   {method "GET"}
   {action "/search"}
   {fields
    [hidden:0x3feb90f8297c type: hidden name: utf8 value: ✓]
    [text:0x3feb90f827d8 type: text name: q value: ]}
   {radiobuttons}
   {checkboxes}
   {file_uploads}
   {buttons}>
  #<Mechanize::Form
   {name nil}
   {method "POST"}
   {action "/join"}
   {fields
    [hidden:0x3feb90f7be38 type: hidden name: utf8 value: ✓]
    [hidden:0x3feb90f7bbb8 type: hidden name: authenticity_token value: vjRATKj7smXreq6Lt02r+MzW+ewWoi+fRzQXPedFAlOZgwzxQ0dZnChirhDfd7vyWZZZBO+ZFydLNedjIEDsrQ==]
    [text:0x3feb90f7b9d8 type: text name: user[login] value: ]
    [text:0x3feb90f7b7f8 type: text name: user[email] value: ]
    [field:0x3feb90f7b654 type: password name: user[password] value: ]
    [hidden:0x3feb90f7b474 type: hidden name: source value: form-home]}
   {radiobuttons}
   {checkboxes}
   {file_uploads}
   {buttons [button:0x3feb90f7a038 type: submit name:  value: ]}>}>

Kembali ke podcast, Anda juga dapat melihat hal-hal seperti pengkodean, kode tanggapan HTTP, URI, atau header tanggapan.

some_scraper.rb

require 'mechanize'

agent = Mechanize.new

podcast_url = "http://betweenscreens.fm/"

page = agent.get(podcast_url)

puts 'Encodings'
puts page.encodings
puts 'Repsonse Headers'
puts page.response
puts 'HTTP response code'
puts page.code
puts 'URI'
puts page.uri

Keluaran

Encodings
EUC-JP
utf-8
utf-8

Repsonse Headers
{"server"=>"GitHub.com", "date"=>"Sat, 29 Oct 2016 17:56:00 GMT", "content-type"=>"text/html; charset=utf-8", "transfer-encoding"=>"chunked", "last-modified"=>"Fri, 28 Oct 2016 01:48:56 GMT", "access-control-allow-origin"=>"*", "expires"=>"Sat, 29 Oct 2016 18:06:00 GMT", "cache-control"=>"max-age=600", "content-encoding"=>"gzip", "x-github-request-id"=>"501C936D:C723:1631523C:5814E2B0"}

HTTP response code
200

URI
http://betweenscreens.fm/

Ada banyak hal lagi jika Anda ingin menggali lebih dalam. Akan saya tinggalkan seperti itu.

Metode Nokogiri

at
search

Mechanize menggunakan Nokogiri untuk meng-scrape data dari halaman. Anda bisa menerapkan apa yang Anda pelajari tentang Nokogiri di artikel pertama dan menggunakannya di halaman Mechanize juga. Itu berarti Anda umumnya menggunakan Mechanize untuk menavigasi halaman dan metode Nokogiri untuk kebutuhan scrape Anda.

Misalnya, jika Anda ingin mencari satu objek, Anda bisa menggunakan at, sementara search mengembalikan semua objek yang sesuai dengan pemilih pada halaman tertentu. Untuk mengulanginya, metode-metode ini akan bekerja baik pada dokumen Nokogiri dan objek halaman Mechanize.

some_scraper.rb

require 'mechanize'

agent = Mechanize.new

podcast_url = "http://betweenscreens.fm/"

page = agent.get(podcast_url)

first_title = page.at('h2.post-title')

all_titles = page.search('h2.post-title')

all_titles.each do |title|
  puts title
end

puts " * "*33

puts first_title

Keluaran

<h2 class="post-title"><a href="episodes/144/">Randy J. Hunt</a></h2>
<h2 class="post-title"><a href="episodes/143/">Jason Long</a></h2>
<h2 class="post-title"><a href="episodes/142/">David Heinemeier Hansson</a></h2>
<h2 class="post-title"><a href="episodes/141/">Zach Holman</a></h2>
<h2 class="post-title"><a href="episodes/140/">Joel Glovier</a></h2>
<h2 class="post-title"><a href="episodes/139/">João Ferreira</a></h2>
<h2 class="post-title"><a href="episodes/138/">Corwin Harrell</a></h2>
 *  *  *  *  *  *  *  *  *  *  *  *  *  *  *  *  *  *  *  *  *  *  *  *  *  *  *  *  *  *  *  *  * 
<h2 class="post-title"><a href="episodes/144/">Randy J. Hunt</a></h2>

Tautan-tautan

links
link_with
links_with

Kita juga bisa menavigasi seluruh situs sesuai dengan keinginan kita. Mungkin bagian terpenting dari Mechanize adalah kemampuannya untuk membiarkan Anda bermain dengan tautan. Jika tidak, Anda bisa tetap bertahan dengan Nokogiri itu sendiri. Mari kita lihat apa yang kita dapatkan kembali jika kita meminta halaman untuk tautannya.

some_scraper.rb

require 'mechanize'

agent = Mechanize.new

podcast_url = "http://betweenscreens.fm/"

page = agent.get(podcast_url)

puts "#{page.links}"

Keluaran

[#<Mechanize::Page::Link "Logo cube" "/">
, #https://github.com/vis-kid/betweenscreens">
, #<Mechanize::Page::Link "about" "pages/about/">
, #<Mechanize::Page::Link "design" "design/">
, #<Mechanize::Page::Link "code" "code/">
, #<Mechanize::Page::Link "Randy J. Hunt" "episodes/144/">
, #<Mechanize::Page::Link "Jason Long" "episodes/143/">
, #<Mechanize::Page::Link "David Heinemeier Hansson" "episodes/142/">
, #<Mechanize::Page::Link "Zach Holman" "episodes/141/">
, #<Mechanize::Page::Link "Joel Glovier" "episodes/140/">
, #<Mechanize::Page::Link "João Ferreira" "episodes/139/">
, #<Mechanize::Page::Link "Corwin Harrell" "episodes/138/">
, #<Mechanize::Page::Link "Older Stuff »" "page/2/">
, #<Mechanize::Page::Link "Exercise" "/tags/exercise/">
, #<Mechanize::Page::Link "Company benefits" "/tags/company-benefits/">
, #<Mechanize::Page::Link "Tmux" "/tags/tmux/">
, #<Mechanize::Page::Link "FileTask" "/tags/filetask/">
, #<Mechanize::Page::Link "Decision making" "/tags/decision-making/">
, #<Mechanize::Page::Link "Favorite feature" "/tags/favorite-feature/">
, #<Mechanize::Page::Link "Working out" "/tags/working-out/">
, #<Mechanize::Page::Link "Scott Savarie" "/tags/scott-savarie/">
, #<Mechanize::Page::Link "Titles" "/tags/titles/">
, #<Mechanize::Page::Link "Erik Spiekermann" "/tags/erik-spiekermann/">
, #<Mechanize::Page::Link "Newbie mistakes" "/tags/newbie-mistakes/">
, #<Mechanize::Page::Link "Playbook" "/tags/playbook/">
, #<Mechanize::Page::Link "Delegation" "/tags/delegation/">
, #<Mechanize::Page::Link "Heat maps" "/tags/heat-maps/">
, #<Mechanize::Page::Link "Europe" "/tags/europe/">
, #<Mechanize::Page::Link "Sizing type" "/tags/sizing-type/">
, #<Mechanize::Page::Link "Focus" "/tags/focus/">
, #<Mechanize::Page::Link "Virtual assistants" "/tags/virtual-assistants/">
, #<Mechanize::Page::Link "Writing" "/tags/writing/">
, #<Mechanize::Page::Link "Hacking" "/tags/hacking/">
, #<Mechanize::Page::Link "Joel Glovier" "/tags/joel-glovier/">
, #<Mechanize::Page::Link "Corwin Harrell" "/tags/corwin-harrell/">
, #<Mechanize::Page::Link "Mario C. Delgado" "/tags/mario-c-delgado/">
, #<Mechanize::Page::Link "Tom Dale" "/tags/tom-dale/">
, #<Mechanize::Page::Link "Obie Fernandez" "/tags/obie-fernandez/">
, #<Mechanize::Page::Link "Chad Pytel" "/tags/chad-pytel/">
, #<Mechanize::Page::Link "Zach Holman" "/tags/zach-holman/">
, #<Mechanize::Page::Link "Max Luster" "/tags/max-luster/">
, #<Mechanize::Page::Link "Kyle Fiedler" "/tags/kyle-fiedler/">
, #<Mechanize::Page::Link "Roberto Machado" "/tags/roberto-machado/">
]

Holy moly, mari kita rinci ini. Karena kita belum memberi tahu Mechanize untuk mencari tempat lain, kita mendapat banyak tautan dari hanya halaman pertama tersebut. Mechanize pergi melewati halaman itu dalam urutan menurun dan mengembalikan daftar tautan ini dari atas ke bawah. Saya telah membuat gambar kecil dengan pointer hijau ke berbagai tautan yang dapat Anda lihat di keluaran.

Omong-omong, ini sudah menunjukkan hasil akhir dari desain ulang untuk podcast saya. Saya pikir versi ini sedikit lebih baik untuk tujuan demonstrasi. Anda juga bisa melihat sekilas bagaimana hasil akhirnya terlihat dan mengapa saya perlu meng-scrape situs Sinatra lama saya.

Tangkapan Layar

Seperti biasa, kita juga bisa mengekstrak teks saja darinya.

some_scraper.rb

require 'mechanize'

agent = Mechanize.new

podcast_url = "http://betweenscreens.fm/"

page = agent.get(podcast_url)

page.links.each do |link|
  puts link.text
end

Keluaran

Logo cube
fork!
about
design
code
Randy J. Hunt
Jason Long
David Heinemeier Hansson
Zach Holman
Joel Glovier
João Ferreira
Corwin Harrell
Older Stuff »
Exercise
Company benefits
Tmux
FileTask
Decision making
Favorite feature
Working out
Scott Savarie
Titles
Erik Spiekermann
Newbie mistakes
Playbook
Delegation
Heat maps
Europe
Sizing type
Focus
Virtual assistants
Writing
Hacking
Joel Glovier
Corwin Harrell
Mario C. Delgado
Tom Dale
Obie Fernandez
Chad Pytel
Zach Holman
Max Luster
Kyle Fiedler
Roberto Machado

Mendapatkan semua tautan ini dalam jumlah besar bisa sangat berguna atau hanya membosankan. Beruntung bagi kita, kita memiliki beberapa alat untuk menyesuaikan apa yang kita butuhkan.

some_scraper.rb

require 'mechanize'

agent = Mechanize.new

podcast_url = "http://betweenscreens.fm/"

page = agent.get(podcast_url)

focus_link = agent.page.links.find { |link| link.text == 'Focus' }

puts focus_link

Keluaran

Focus

Boom! Sekarang kita mempunyai tujuan! Kita bisa memperbesar tautan tertentu seperti itu. Kita dapat menargetkan tautan yang sesuai dengan kriteria tertentu—seperti teksnya, misalnya—dengan API yang lebih bagus seperti links_with atau link_with. Selain itu, jika ada beberapa tautan Focus, kita dapat memperbesar sejumlah tertentu di halaman yang menggunakan tanda kurung [].

some_scraper.rb

require 'mechanize'

agent = Mechanize.new

podcast_url = "http://betweenscreens.fm/"

page = agent.get(podcast_url)

focus_link = agent.page.links_with(:text => 'Focus')[2]

puts focus_link

Jika Anda tidak mencari teks tautan tapi tautan itu sendiri, Anda hanya perlu menentukan href tertentu untuk menemukan tautannya. Mechanize tidak akan menghalangi Anda. Alih-alih text, Anda memberi feed metodenya dengan href.

some_scraper.rb

page = agent.page.link_with(href: '/episodes/95/')

page = agent.page.links_with(href: '/episodes/95/')

Jika Anda hanya ingin mencari tautan pertama dengan teks yang diinginkan, Anda juga bisa menggunakan sintaks ini. Sangat mudah dan sedikit lebih mudah dibaca.

some_scraper.rb

focus_links = agent.page.link_with(:text => 'Focus')

Bagaimana dengan mengikuti teman tersebut dan melihat apa yang tersembunyi di balik tautan Focus ini? Mari kita klik!

Klik

some_scraper.rb

require 'mechanize'

agent = Mechanize.new

podcast_url = "http://betweenscreens.fm/"

page = agent.get(podcast_url)

focus_links = agent.page.links.find { |link| link.text == 'Focus' }.click.links

puts focus_links

Ini akan membuat daftar panjang lainnya seperti sebelumnya. Lihat betapa mudahnya menggabungkan .click.links. Mechanize mengklik tautan untuk Anda dan mengikuti halaman ke tujuan yang baru. Karena kita juga meminta daftar tautan, kita akan mendapatkan semua tautan yang dapat ditemukan Mechanize di halaman baru tersebut.

Katakanlah saya memiliki dua tautan teks dari yang diwawancarai yang sama—yang mentautkan ke tag dan satu dengan episode terakhir—dan saya ingin mendapatkan tautan dari masing-masing halaman ini.

some_scraper.rb

require 'mechanize'

agent = Mechanize.new

podcast_url = "http://betweenscreens.fm/"

page = agent.get(podcast_url)

links = agent.page.links_with(text: "Some interviewee")

links.each do |link|
  puts link.click.links
end

Ini akan memberi Anda daftar tautan untuk kedua halaman. Anda mengulangi setiap tautan untuk yang diwawancarai, dan Mechanize mengikuti tautan yang diklik dan mengumpulkan tautan yang ditemukannya di halaman baru untuk Anda. Di bawah ini Anda dapat menemukan beberapa contoh di mana Anda dapat membandingkan kombinasi untuk Anda memulai.

some_scraper.rb

agent.page.links.find { |l| l.text == 'Focus' }
agent.page.links.find { |l| l.text == 'Focus' }.click
agent.page.link_with(text: 'Focus')
agent.page.links_with(text: 'Focus')[0]
agent.page.links_with(text: 'Focus')[1].click
agent.page.links_with(text: 'Focus')[2].click.links
agent.page.link_with(href: '/some-href')
agent.page.link_with(href: '/some-href').click
agent.page.links_with(href: '/some-href')
agent.page.links_with(href: '/some-href').click

Formulir

submit
field_with
checkbox_with
radiobuttons_with
file_uploads

Mari kita lihat formulirnya!

some_scraper.rb

require 'mechanize'

agent = Mechanize.new

google_url = "http://google.com/"

page = agent.get(google_url)

forms = page.forms

puts forms.inspect

Keluaran

[#<Mechanize::Form
# Attention!!
 {name "f"}
# Attention!!
 {method "GET"}
 {action "/search"}
 {fields
  [hidden:0x3fea91d2eb08 type: hidden name: ie value: ISO-8859-1]
  [hidden:0x3fea91d2e964 type: hidden name: hl value: es]
  [hidden:0x3fea91d2e7e8 type: hidden name: source value: hp]
  [hidden:0x3fea91d2e5f4 type: hidden name: biw value: ]
  [hidden:0x3fea91d2e428 type: hidden name: bih value: ]
# Attention!!
  [text:0x3fea91d2e248 type:  name: q value: ]
# Attention!!
  [hidden:0x3fea91d2bcb4 type: hidden name: gbv value: 1]}
 {radiobuttons}
 {checkboxes}
 {file_uploads}
 {buttons
  [submit:0x3fea91d2e0f4 type: submit name: btnG value: Buscar con Google]
  [submit:0x3fea91d2be80 type: submit name: btnI value: Voy a tener suerte]}>
]

Karena kita menggunakan metode forms, kita mendapatkan sebuah array yang dikembalikan—bahkan ketika kita hanya memiliki satu formulir yang dikembalikan kepada kita. Sekarang kita tahu bahwa formulirnya memiliki nama "f", kita bisa menggunakan form versi tunggal untuk mengasahnya.

...

{name "f"}

...

some_scraper.rb

require 'mechanize'

agent = Mechanize.new

google_url = "http://google.com/"

page = agent.get(google_url)

search_form = page.form('f')

puts search_form.inspect

Dengan menggunakan form('f'), kita memilih formulir khusus yang ingin kita bekerja dengannya. Akibatnya, kita tidak akan mendapatkan array yang dikembalikan.

Keluaran

#<Mechanize::Form
# Attention!!
 {name "f"}
# Attention!!
 {method "GET"}
 {action "/search"}
 {fields
  [hidden:0x3ffe9ce85ba4 type: hidden name: ie value: ISO-8859-1]
  [hidden:0x3ffe9ce859d8 type: hidden name: hl value: es]
  [hidden:0x3ffe9ce857bc type: hidden name: source value: hp]
  [hidden:0x3ffe9ce85618 type: hidden name: biw value: ]
  [hidden:0x3ffe9ce853e8 type: hidden name: bih value: ]
# Attention!!
  [text:0x3ffe9ce851cc type:  name: q value: ]
# Attention!!
  [hidden:0x3ffe9ce84bdc type: hidden name: gbv value: 1]}
 {radiobuttons}
 {checkboxes}
 {file_uploads}
 {buttons
  [submit:0x3ffe9ce85078 type: submit name: btnG value: Buscar con Google]
  [submit:0x3ffe9ce84e48 type: submit name: btnI value: Voy a tener suerte]}>

Kita juga bisa mengidentifikasi nama field masukan teks (q).

...

[text:0x3ffe9ce851cc type:  name: q value: ]

...

Kita bisa mentargetnya dengan nama itu dan tetapkan nilainya seperti atribut Ruby. Yang perlu kita lakukan adalah memberikannya dengan nilai baru. Anda dapat melihat dari contoh keluaran di atas yang kosong secara default.

some_scraper.rb

require 'mechanize'

agent = Mechanize.new

google_url = "http://google.com/"

page = agent.get(google_url)

search_form = page.form('f')
search_form.q = 'New Google Search'

puts search_form.inspect

Keluaran

#<Mechanize::Form
 {name "f"}
 {method "GET"}
 {action "/search"}
 {fields
  [hidden:0x3fcb85b6a784 type: hidden name: ie value: ISO-8859-1]
  [hidden:0x3fcb85b6a57c type: hidden name: hl value: es]
  [hidden:0x3fcb85b6a3b0 type: hidden name: source value: hp]
  [hidden:0x3fcb85b6a16c type: hidden name: biw value: ]
  [hidden:0x3fcb85b67f20 type: hidden name: bih value: ]
# Attention!!
  [text:0x3fcb85b67d18 type:  name: q value: New Google Search]
# Attention!!
  [hidden:0x3fcb85b67728 type: hidden name: gbv value: 1]}
 {radiobuttons}
 {checkboxes}
 {file_uploads}
 {buttons
  [submit:0x3fcb85b67b9c type: submit name: btnG value: Buscar con Google]
  [submit:0x3fcb85b67994 type: submit name: btnI value: Voy a tener suerte]}>

Seperti yang dapat Anda amati di atas, nilai field teks telah berubah ke New Google Search. Sekarang kita hanya perlu submit formulir dan mengumpulkan hasilnya dari halaman yang dikembalikan Google. Tidak bisa yang lebih mudah. Mari kita cari yang lain kali ini!

some_scraper.rb

require 'mechanize'

agent = Mechanize.new

google_url = "http://google.com/"
page = agent.get(google_url)

search_form = page.form('f')
search_form.q = 'GitHub TouchFart'

page = agent.submit(search_form)

pp page.search('h3.r').map(&:text)

Di sini saya mengidentifikasi header hasil pencarian menggunakan penyeleksi CSS h3.r, memetakan text-nya, dan mencetak hasilnya dengan cantik. Tidak sesulit itu, bukan? Itu adalah contoh yang mudah, tentu, tapi pikirkan kemungkinan tak terbatas yang Anda miliki dengan ini!

Keluaran

["GitHub - hungtruong/TouchFart: A fart app for the new Macbook ...",
 "TouchFart/TouchFart at master · hungtruong/TouchFart · GitHub",
 "Commits · hungtruong/TouchFart · GitHub",
 "Projects · hungtruong/TouchFart · GitHub",
 "Pull Requests · hungtruong/TouchFart · GitHub",
 "Issues · hungtruong/TouchFart · GitHub",
 "TouchFart/license.txt at master · hungtruong/TouchFart · GitHub",
 "Add autoplay attribute to <audio> tag and touchfart (er ... - GitHub",
 "Find file - File Finder · GitHub",
 "Fart app for the new Macbook Pro's Touch... #3860 on topic touchfart ..."]

Mechanize memiliki bidang masukan yang berbeda yang tersedia untuk Anda mainkan. Anda bahkan bisa mengunggah file!

field_with
checkbox_with
radiobuttons_with
file_uploads

Anda juga bisa mengenali tombol radio dan kotak centang dengan nama mereka dan mencentangnya—Anda bisa menebaknya—check.

some_scraper.rb

form.radiobuttons_with(:name => 'gender')[3].check

form.checkbox_with(:name => 'coder').check

Tag option menawarkan pengguna untuk memilih satu item dari daftar drop-down. Sekali lagi, kita targetkan mereka dengan nama dan memilih nomor pilihan yang kita inginkan.

some_scraper.rb

form.field_with(:name => 'countries').options[22].select

Pengunggahan file bekerja sama dengan memasukkan teks ke dalam formulir dengan menyetelnya seperti atribut-atribut Ruby. Anda mengidentifikasi kolom unggahan dan kemudian menentukan path file (nama file) yang ingin Anda transfer. Kedengarannya lebih rumit dari itu. Mari kita lihat!

some_scraper.rb

form.file_uploads.first.file_name = "some-path/some-image.jpg"

Pemikiran Akhir

Lihat, tidak ada keajaiban! Anda sekarang dilengkapi dengan baik untuk bersenang-senang sendiri. Tentu ada sedikit lebih banyak untuk belajar tentang Nokogiri dan Mechanize, tapi bukannya menghabiskan terlalu banyak waktu untuk aspek yang tidak perlu, bermain-main dengannya dan melihat beberapa dokumentasi lagi saat Anda mengalami masalah di luar lingkup artikel pemula.

Saya harap Anda bisa melihat betapa indahnya gem ini dan berapa banyak kekuatan yang ditawarkannya. Seperti yang kita semua tahu dari budaya populer sekarang, ini juga memikul tanggung jawab. Gunakan di dalam kerangka hukum dan bila Anda tidak memiliki akses ke API. Anda mungkin tidak akan sering menggunakan alat ini, tapi sungguh mereka berguna saat Anda memiliki beberapa kebutuhan scraping nyata di depan Anda.

Seperti yang dijanjikan, pada artikel selanjutnya kita akan membahas contoh dunia nyata dimana saya akan meng-scrape data dari situs podcast saya. Saya akan mengekstraknya dari situs Sinatra yang lama dan memindahkannya ke situs Middleman baru saya yang menggunakan file .markdown untuk setiap episode. Kita akan mengekstrak tanggal, nomor episode, nama yang diwawancarai, header, subheader, dan sebagainya. Sampai jumpa!