Sử dụng New York Times API để thu thập dữ liệu

Vietnamese (Tiếng Việt) translation by Dai Phong (you can also view the original English article)

Tuần trước, tôi đã viết bài giới thiệu về thu thập thông tin từ trang web, đề cập đến việc không thể thu thập dữ liệu từ trang web New York Times. Dịch vụ của The Times ngăn chặn nỗ lực để thu thập dữ liệu cơ bản của bạn. Nhưng có một cách giải quyết điều này bằng cách sử dụng New York Times API.

Gần đây tôi đã bắt đầu xây dựng một trang web cộng đồng dựa trên nền tảng Yii, tôi đã viết về nó trong Lập trình với Yii2: Xây dựng trang cộng đồng với bình luận, chia sẻ và bình chọn (Envato Tuts+). Tôi muốn làm cho nó dễ dàng để thêm các liên kết liên quan đến nội dung trên trang web. Mặc dù rất dễ dàng để dán các URL vào form, nhưng nó trở nên mất thời gian để cung cấp thông tin tiêu đề và nguồn.

Vì vậy trong hướng dẫn ngày hôm nay, tôi sẽ mở rộng code thu thập dữ liệu tôi đã viết gần đây để tận dụng New York Times API để thu thập các đề mục khi các liên kết Times được thêm vào.

Hãy nhớ rằng, tôi tham gia vào các chủ đề thảo luận ở dưới đây, vì vậy hãy cho tôi biết những gì bạn nghĩ! Bạn cũng có thể liên hệ với tôi trên Twitter @lookahead_io.

Bắt đầu

Đăng ký một khoá API

New York Times API - API Gallery Home Page

Trước tiên, hãy đăng ký để yêu cầu một khóa API:

Sau khi bạn submit form, bạn sẽ nhận được khóa của bạn trong một email:

Khám phá New York Times API

The Times cung cấp các API trong các thể loại sau:

Archive
Article Search
Books
Community
Geographic
Most Popular
Movie Reviews
Semantic
Times Newswire
TimesTags
Top Stories

Có rất nhiều. Và, từ trang Gallery, bạn có thể nhấp vào bất kỳ chủ đề nào để xem các tài liệu API cho từng thể loại:

New York Times API - Documentation of articlesearch json

The Times sử dụng LucyBot để cup cấp tài liệu API của họ, và có một FAQ hữu ích:

Chúng thậm chí còn giới thiệu với bạn cách làm thế nào để nhanh chóng có được các giới hạn sử dụng API của bạn (bạn cần phải gắn khóa của bạn):

 curl --head 
   https://api.nytimes.com/svc/books/v3/lists/overview.json?api-key=<your-api-key>
    2>/dev/null | grep -i "X-RateLimit"
    X-RateLimit-Limit-day: 1000
    X-RateLimit-Limit-second: 5
    X-RateLimit-Remaining-day: 180
    X-RateLimit-Remaining-second: 5

Ban đầu tôi gặp vấn đề trong việc hiểu tài liệu hướng dẫn—nó là một mô tả dựa trên tham số, không phải là một hướng dẫn lập trình. Tuy nhiên, tôi đăng một số câu hỏi lên trang GitHub của New York Times API, và họ đã nhanh chóng trả lời.

Làm việc với Article Search

Đối với phần hướng dẫn của ngày hôm nay, tôi sẽ tập trung vào việc sử dụng Article Search của NY Times. Về cơ bản, chúng ta sẽ mở rộng form Create Link từ hướng dẫn trước:

New York Times API - Create Link Form with NYT Story URL about Polar Bears

Khi người dùng nhấp vào Lookup, chúng ta sẽ tạo một yêu cầu ajax thông qua Link::grab($url). Dưới đây là jQuery:

$(document).on("click", '[id=lookup]', function(event) {
  $.ajax({
     url: $('#url_prefix').val()+'/link/grab',
     data: {url:   $('#url').val()},
     success: function(data) {
       $('#title').val(data);
       return true;
     }
  });
});

Đây là phương thức controller và model:

// Controller call via AJAX Lookup request
public static function actionGrab($url) {
  Yii::$app->response->format = Response::FORMAT_JSON;
  return Link::grab($url);
}
...
// Link::grab() method
public static function grab($url) {
  //clean up url for hostname
  $source_url = parse_url($url);
  $source_url = $source_url['host'];  
  $source_url=str_ireplace('www.','',$source_url);
  $source_url = trim($source_url,' \\');
  // use the NYT API when hostname == nytimes.com 
  if ($source_url=='nytimes.com') {
   ...

Tiếp theo, hãy sử dụng khóa API của chúng ta để tạo một yêu cầu article search:

    $nytKey=Yii::$app->params['nytapi'];    
    $curl_dest = 'http://api.nytimes.com
        /svc/search/v2/articlesearch.json?fl=headline&fq=web_url:%22'.
        $url.'%22&api-key='.$nytKey;
    $curl = curl_init();
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($curl, CURLOPT_URL,$curl_dest);
    $result = json_decode(curl_exec($curl));
    $title = $result->response->docs[0]->headline->main;
  } else {
    // not NYT, use the standard metatag scraper from last episode
         ...
    }
  }
  return $title;
}

Và nó hoạt động khá trơn tru—đây là tiêu đề kết quả (bằng cách này, biến đổi khí hậu đang giết chết gấu Bắc cực và chúng ta nên quan tâm):

New York Times API - Create Link Form with NYT Story URL and Headline from Article Search API

Nếu bạn muốn biết chi tiết hơn từ yêu cầu API của bạn, chỉ cần thêm các đối số bổ sung vào yêu cầu ?fl=headline chẳng hạn như keywords và lead_paragraph:

Yii::$app->response->format = Response::FORMAT_JSON;
$nytKey=Yii::$app->params['nytapi'];
$curl_dest = 'http://api.nytimes.com/svc/search/v2/articlesearch.json?'.
  'fl=headline,keywords,lead_paragraph&fq=web_url:%22'.$url.'%22&api-key='.$nytKey;
$curl = curl_init();
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
curl_setopt($curl, CURLOPT_URL,$curl_dest);
$result = json_decode(curl_exec($curl));
var_dump($result);

Đây là kết quả:

Có lẽ tôi sẽ viết một thư viện PHP để phân tích tốt hơn NYT API trong phần sắp tới, nhưng code này sẵn dùng cho keywords và lead_paragraph:

Yii::$app->response->format = Response::FORMAT_JSON;
$nytKey=Yii::$app->params['nytapi'];
$curl_dest = 'http://api.nytimes.com/svc/search/v2/articlesearch.json?'.
  'fl=headline,keywords,lead_paragraph&fq=web_url:%22'.$url.'%22&api-key='.$nytKey;
$curl = curl_init();
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
curl_setopt($curl, CURLOPT_URL,$curl_dest);
$result = json_decode(curl_exec($curl));
echo $result->response->docs[0]->headline->main.'<br />'.'<br />';
echo $result->response->docs[0]->lead_paragraph.'<br />'.'<br />';
foreach ($result->response->docs[0]->keywords as $k) {
  echo $k->value.'<br/>';
}

Dưới đây là những gì nó hiển thị cho bài viết này:

Polar Bears’ Path to Decline Runs Through Alaskan Village

The bears that come here are climate refugees, on land because
the sea ice they rely on for hunting seals is receding.

Polar Bears
Greenhouse Gas Emissions
Alaska
Global Warming
Endangered and Extinct Species
International Union for Conservation of Nature
National Snow and Ice Data Center
Polar Bears International
United States Geological Survey

Hy vọng rằng, điều đó bắt đầu mở rộng khả năng sáng tạo của bạn về cách làm thế nào để sử dụng các hàm API này. Thật thú vị với những gì mà bạn có thể làm lúc này.

Tóm lại

New York Times API là một API rất hữu ích, và tôi vui mừng khi thấy họ cung cấp nó cho cộng đồng các nhà phát triển. Nó cũng được làm mới để có được sự hỗ trợ API nhanh chóng thông qua GitHub—tôi chỉ không mong đợi điều này. Hãy nhớ rằng nó là dành cho các dự án phi thương mại. Nếu bạn có một số ý tưởng kiếm tiền, hãy gửi cho họ một bức thư ngắn để xem họ có làm việc với bạn hay không. Các nhà xuất bản đang háo hức với nguồn thu nhập mới.

Tôi hy vọng bạn thấy các bài về thu thập dữ liệu trang web là hữu ích và tận dụng chúng trong các dự án của bạn. Nếu bạn muốn học phần này một cách trực quan hơn, bạn có thể thử một số trang trên trang web của tôi, Active Together.

Xin vui lòng chia sẻ bất kỳ suy nghĩ và phản hồi của bạn trong phần bình luận. Bạn cũng luôn luôn có thể liên hệ trực tiếp với tôi trên Twitter @lookahead_io. Và hãy kiểm tra trang hướng dẫn của tôi và loạt bài khác, Xây dựng Startup của bạn với PHP và Lập trình với Yii2.

Sử dụng New York Times API để thu thập dữ liệu

Bắt đầu

Đăng ký một khoá API

Khám phá New York Times API

Làm việc với Article Search

Tóm lại

Các nguồn tài nguyên liên quan

Envato Tuts+ is now part of Envato Elements

One subscription provides unlimited access to: