Menggunakan Media Sosial untuk Menemukan Lokasi Saksi Mata: Twitter API

() translation by (you can also view the original English article)

Tweet about President Obama taking the stage at Selma

Ini adalah bagian kedua dari serial dua bagian tentang menggunakan media sosial untuk menemukan lokasi para saksi mata kejadian-kejadian penting. Di bagian pertama, saya menunjukkan pada Anda cara menggunakan API Instagram untuk menemukan saksi mata tayangan langsung syuting video Macklemore di Seattle. Di bagian ini, kami akan menggunakan Twitter API untuk menemukan orang yang menghadiri pidato Presiden Obama di Selma, Jembatan Edmund Pettu.

Anda bisa mengunduh kode bagi dua episode tersebut dengan menggunakan tautan yang disimpan di Github, di sidebar. Anda mungkin tertarik dengan seria Tuts+ saya, Membangun dengan API Twitter.

Kapabilitas pencarian geo Twitter lebih terbatas dan oleh karenanya membutuhkan kode yang sedikit lebih detail. Kiriman dengan geotag di Twitter hanya bisa ditemukan dalam tujuh hari terakhir. Dan hanya bisa dicari berdasarkan tanggal (bukan waktu), jadi Anda harus memfilter hasil pencarian API agar presisi.

Saya sungguh akan berpartisipasi dalam diskusi di bawah artikel ini. Jika Anda ada pertanyaan atau usulan topik, silakan kirimkan komentar di bawah ini. Anda juga bisa menghubungi saya di Twitter @reifman atau email saya secara langsung.

Apa yang Kami Bahas di Bagian Pertama

Telepon yang kita bawa di saku merekam setiap pergerakan kita, membagikannya dengan penyedia layanan seluler dan seringkali juga dengan perusaaan perangkat lunak pihak ketiga yang motivasinya berfokus pada keuntungan.

Banyak orang yang tidak menyadari bahwa mereka meninggalkan geotag di aplikasi media sosial mereka, sepenuhnya mempublikasikan lokasinya di tiap kiriman media sosial. Termasuk juga anggota Kongres AS dari Partai Republik Aaron Schock. Dia menggunakan geotag akun instagramnya untuk mengekspos penggunaan dana pembayar pajak untuk penerbangan pribadi yang mewah dan berbagai aktivitas glamor lainnya.

Congressman Aaron Schock in South America

Jadi geotagging bisa digunakan dengan baik. Di serial ini, kami mengeksplorasi cara yang mungkin dilakukan para wartawan dan penegak hukum untuk menemukan lokasi saksi mata potensial terhadap even-even penting seperti kejadian kejahatan atau kecelakaan dengan menggunakan media sosial.

Meskipun demikian, geotangging juga bisa disalahgunakan. Beberapa ilmuwan dan pengajar komputer Berkeley membuat aplikasi Ready or Not? untuk mendemonstrasikan bagaimana geotagging Twitter dan Instagram merekam semua pergerakan kita.

Berikut akun Twitter pendiri Apple Steve Wozniak di aplikasi tersebut:

Ready or Not App Steve Wozniak Twitter Geolocation History

Geotagging di Instagram dan Twitter cukup akurat untuk memungkinkan seseorang dengan mudah menentukan tempat tinggal, tempat kerja, dan rute perjalanan rutin Anda.

Di episode ini, akan saya pandu Anda menggunakan Twitter API. Saya menyediakan suatu tempat di Github (tautannya ada di sidebar) untuk Anda unduh dan coba kodenya. Aplikasi "Eyewitness" saya ditulis dalam Framework Yii untuk PHP, yang bisa Anda pelajari lebih lanjut di seri Pemrograman dengan Yii2 untuk Tuts+ saya.

Jika Anda tidak ingin membagikan lokasi Anda ke publik—atau meninggalkan jejak sejarah dalam perjalanan Anda—aplikasi Ready or Not? menawarkan tautan dan panduan untuk mematikan fitur ini (lihat tautannya di home pagenya). Sejujurnya, saya mematikan punya saya dan saya mendorong Anda untuk melakukannya juga.

Jika Anda adalah agen penegakan hukum atau entitas media yang ingin tahu lebih banyak tentang informasi ini, jangan ragu menghubungi saya secara langsung. Saya juga akan tertarik dengan penggunaan kode ini yang berhasil (untuk kebaikan)—tentu akan membuat cerita tindak lanjut yang menarik.

Apa yang Kami Lakukan dengan Instagram

Di episode terakhir, kami menggunakan Instagram API untuk menemukan saksi mata syuting video langsung Mackelmore 2013 untuk White Cadillac. Dengan cukup mudah, kami berhasil menemukan foto Macklemore keluar dari kendaraannya oleh pengguna Instagram Joshua Lewis (keren, kan?):

Macklemore Arrives Found with the Instagram API

Sekarang mari mulai menggunakan Twitter API.

menggunakan Twitter API

Sama dengan Instagram, Anda harus masuk ke akun Twitter Anda dan mendaftar aplikasi developer. Anda harus mendaftarkan aplikasi seperti ini:

Twitter akan menunjukkan Anda detail aplikasinya:

Berikut halaman pengaturannya:

Berikut adalah kunci dan token akses aplikasinya. Catat dengan baik.

Lalu, tarik ke bawah dan buat token akses untuk akun Anda. Catat juga yang itu.

Masukkan keempat kunci konfigurasi dan rahasianya ke file /var/secure/eyew.ini:

mysql_host="localhost"
mysql_db="eyew"
mysql_un="xxxxxxxxx"
mysql_pwd="xxxxxxxxxxxx"
instagram_client_id = "4xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx7"
instagram_client_secret = "1xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx4"
twitter_key = "zxxxxxxxxxxxxxxxxxxxx2"
twitter_secret ="4xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxp"
twitter_oauth_token="1xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxs"
twitter_oauth_secret="exxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxV"

Lalu, kita akan membuat migrasi Active Record untuk membuat model Twitter kita. Ini akan menyimpan cuitan-cuitan yang kita terima dari panggilan-panggilan API.

<?php

use yii\db\Schema;
use yii\db\Migration;

class m150309_174014_create_twitter_table extends Migration
{
    public function up()
    {
          $tableOptions = null;
          if ($this->db->driverName === 'mysql') {
              $tableOptions = 'CHARACTER SET utf8 COLLATE utf8_unicode_ci ENGINE=InnoDB';
          }

          $this->createTable('{{%twitter}}', [
              'id' => Schema::TYPE_PK,
              'moment_id' => Schema::TYPE_INTEGER . ' NOT NULL',
              'tweet_id' => Schema::TYPE_BIGINT . ' NOT NULL',
              'twitter_id' => Schema::TYPE_BIGINT . ' NOT NULL',
              'screen_name' => Schema::TYPE_STRING . ' NOT NULL DEFAULT 0',
              'text' => Schema::TYPE_TEXT . ' NOT NULL ',
              'tweeted_at' => Schema::TYPE_INTEGER . ' NOT NULL',
              'created_at' => Schema::TYPE_INTEGER . ' NOT NULL',
              'updated_at' => Schema::TYPE_INTEGER . ' NOT NULL',
          ], $tableOptions);          
      $this->addForeignKey('fk_twitter_moment', '{{%twitter}}', 'moment_id', '{{%moment}}', 'id', 'CASCADE', 'CASCADE');     
    }
    
    
    public function down()
    {
      $this->dropForeignKey('fk_twitter_moment','{{%twitter}}');
      $this->dropTable('{{%twitter}}');
    }
}

Seperti yang kita lakukan di bagian pertama, Anda harus menjalankan migrasinya:

./yii migrate/up
Yii Migration Tool (based on Yii v2.0.3)

Total 1 new migration to be applied:
    m150309_174014_create_twitter_table

Apply the above migration? (yes|no) [no]:yes
*** applying m150309_174014_create_twitter_table
    > create table {{%twitter}} ... done (time: 0.008s)
    > add foreign key fk_twitter_moment: {{%twitter}} (moment_id) references {{%moment}} (id) ... done (time: 0.007s)
*** applied m150309_174014_create_twitter_table (time: 0.019s)

Migrated up successfully.

Lalu saya menggunakan generator kode Yii2, Gii, untuk membuat model dan kontroler CRUD bagi model Twitter. Jika Anda memiliki kode repository GitHub yang terbaru dari tautan di sidebar tutorial ini, Anda juga akan memiliki kodenya.

Buat Momen Baru

Karena Twitter membatasi pencarian geolokasi hanya ke pekan terakhir, akhirnya saya memilih pidato Presiden Obama pada Hari Jadi ke-50 Selma di Jembatan Edmunnd Pettus.

Sekali lagi saya menggunakan Google Maps untuk mendapatkan koordinat GPS jembatannya:

Edmund Pettus Bridge Selma Alabama Geolocation

Lalu saya membuat Moment untuk mencari pidatonya. Saya memperbaruinya beberapa kali untuk memperbaiki radius geografis pencariannya (ini sebuah jembatan) dan kisaran waktunya:

Edmund Pettus Bridge Selma Alabama Geolocation Moment

Pencarian Menggunakan Twitter API

Pembatasan pada Twitter API adalah Anda hanya dimungkinkan mencari berdasarkan tanggal, misalnya 2015-03007, sedangkan Instagram diindeks berdasarkan waktu Unix yang tepat. Oleh karena itu, kami mulai pencarian Twitter kami sehari penuh setelahnya dan pencarian sebelumnya.

Karena kita sepertinya akan mendapatkan banyak cuitan di luar kisaran waktu yang diharapkan, kita harus melakukan pemanggilan berulang-ulang ke Twitter API. Twitter mengembalikan 100 cuitan per permintaan API, dan memperbolehkan 180 permintaan per jendela 15 menit.

Saya menggunakan James Mallison's Twitter API Library for PHP. Berikut cara kami mengatur library untuk membuat panggilan:

<?php

namespace app\models;

use Yii;
use yii\db\ActiveRecord;
use app\models\Gram;
use Instagram;
use TwitterAPIExchange;

...

public function searchTwitter() {
   date_default_timezone_set('America/Los_Angeles');       
   Yii::trace('start searchTwitter '.date('y-m-d h:m '));
   // Load your Twitter application keys
   $settings = array(
       'oauth_access_token' => \Yii::$app->params['twitter']['oauth_token'],
       'oauth_access_token_secret' => \Yii::$app->params['twitter']['oauth_secret'],
       'consumer_key' => \Yii::$app->params['twitter']['key'],
       'consumer_secret' => \Yii::$app->params['twitter']['secret'],
   );
   // Connect to Twitter 
   $twitter = new TwitterAPIExchange($settings);

Pada awalnya, kami meminta 100 hasil dari Twitter dengan koordinat GPS kami hingga tanggal tertentu.

public function searchTwitter() {
   date_default_timezone_set('America/Los_Angeles');       
   Yii::trace('start searchTwitter '.date('y-m-d h:m '));
   // Load your Twitter application keys
   $settings = array(
       'oauth_access_token' => \Yii::$app->params['twitter']['oauth_token'],
       'oauth_access_token_secret' => \Yii::$app->params['twitter']['oauth_secret'],
       'consumer_key' => \Yii::$app->params['twitter']['key'],
       'consumer_secret' => \Yii::$app->params['twitter']['secret'],
   );
   // Connect to Twitter 
   $twitter = new TwitterAPIExchange($settings);
   // Query settings for search
   $url = 'https://api.twitter.com/1.1/search/tweets.json';
   $requestMethod = 'GET';
   // rate limit of 180 queries
   $limit = 180;
   $query_count=1;
   $count = 100;
   $result_type = 'recent';
   // calculate valid timestamp range
   $valid_start = $this->start_at;
   // $until_date and $valid_end = // start time + duration
   $valid_end = $this->start_at + ($this->duration*60);
   Yii::trace( 'Valid Range: '.$valid_start.' -> '.$valid_end);
   $until_date = date('Y-m-d',$valid_end+(24*3600)); // add one day 
   $distance_km = $this->distance/1000; // distance in km
   // Unused: &since=$since_date
   // $since_date = '2015-03-05'; 
   // Perform first query with until_date
   $getfield ="?result_type=$result_type&geocode=".$this->latitude.",".$this->longitude.",".$distance_km."mi&include_entities=false&until=$until_date&count=$count";

Kami hanya merekam cuitan dalam kisaran waktu yang tepat serta mengabaikan hasil-hasil lainnya. Seiring kami memroses ini, kami membuat catatan tentang ID cuitan terendah yang diterima.

       $tweets = json_decode($twitter->setGetfield($getfield)
                    ->buildOauth($url, $requestMethod)
                    ->performRequest());
        if (isset($tweets->errors)) {
          Yii::$app->session->setFlash('error', 'Twitter Rate Limit Reached.');
          Yii::error($tweets->errors[0]->message);
          return;
        }
       $max_id = 0;
       Yii::trace( 'Count Statuses: '.count($tweets->statuses));
       Yii::trace( 'Max Tweet Id: '.$max_id);
       foreach ($tweets->statuses as $t) {
         // check if tweet in valid time range
         $unix_created_at = strtotime($t->created_at);         
         Yii::trace('Tweet @ '.$t->created_at.' '.$unix_created_at.':'.$t->user->screen_name.' '.(isset($t->text)?$t->text:''));
         if ($unix_created_at >= $valid_start && $unix_created_at <= $valid_end)
         {
           // print_r($t);
            $i = new Twitter();           $i->add($this->id,$t->id_str,$t->user->id_str,$t->user->screen_name,$unix_created_at,(isset($t->text)?$t->text:''));
         }        
         if ($max_id ==0) {
           $max_id = intval($t->id_str);
         } else {
           $max_id = min($max_id, intval($t->id_str));
         }
       }

Lalu kami loop, melakukan permintaan berulang ke Twitter (sampai 179 kali lagi), meminta rekaman-rekaman tambahan yang lebih awal daripada ID cuitan gelombang sebelumnya. Dengan kata lain, di permintaan berikutnya, alih-alih mencari ke tanggal tertentu, kami membuat kueri ke max_id dari ID cuitan terendah yang kami terima:

Kami berhenti ketika yang dikembalikan kurang dari 100 rekaan atau ketika cuitan yang dikembalikan lebih awal daripada kisaran waktu aktualnya.

Jika Anda butuh mengakses lebih dari 18.000 cuitan, Anda harus mengimplementasikan tugas latar belakang (background task) untuk memanggil Twitter API, sebagaimana yang kami lakukan di seri Twitter API yang lainnya.

Sebagaimana kami memroses hasil-hasil API, kami harus memfilter cuitan-cuitan, hanya merekam yang ada dalam kisaran antara waktu aktual dimulai dan diakhirinya even tersebut.

Catatan: Twitter API punya banyak kekhasan yang membuat frustrasi, yang menjadikan paging lebih sulit daripada seharusnya. Seringkali Twitter tidak mengembalikan hasil apapun tanpa kode kesalahan. Di waktu lainnya, saya mendapati Twitter mengembalikan sejumlah kecil hasil, tetapi tidak berarti permintaan lainnya tidak akan mengembalikan yang lebih banyak. Tidak ada cara yang jelas untuk memhahami kapan Twitter selesai mengembalikan hasilnya untuk Anda. Sifatnya tidak konsisten. Jadi, Anda mungkin mendapati beberapa pemecahan masalah menarik di kode saya, misalnya perhatikan $sount_max_repeats.

       $count_repeat_max =0;
       // Perform all subsequent queries with addition of updated maximum_tweet_id
       while ($query_count<=$limit) {
         $prior_max_id = $max_id;
         $query_count+=1;
         Yii::trace( 'Request #: '.$query_count);
         
         // Perform subsequent query with max_id
         $getfield ="?result_type=$result_type&geocode=".$this->latitude.",".$this->longitude.",".$distance_km."mi&include_entities=false&max_id=$max_id&count=$count";
         
         $tweets = json_decode($twitter->setGetfield($getfield)
                      ->buildOauth($url, $requestMethod)
                      ->performRequest());

          if (isset($tweets->errors)) {
            Yii::$app->session->setFlash('error', 'Twitter Rate Limit Reached.');
            Yii::error($tweets->errors[0]->message);
            return;
          }
          // sometimes twitter api fails
          if (!isset($tweets->statuses)) continue;
          
          Yii::trace( 'Count Statuses: '.count($tweets->statuses));
          Yii::trace( 'Max Tweet Id: '.$max_id);
         foreach ($tweets->statuses as $t) {           
           // check if tweet in valid time range
           $unix_created_at = strtotime($t->created_at);
           if ($unix_created_at >= $valid_start && $unix_created_at <= $valid_end)
           {
              $i = new Twitter();           $i->add($this->id,$t->id_str,$t->user->id_str,$t->user->screen_name,$unix_created_at,(isset($t->text)?$t->text:''));
           } else if ($unix_created_at < $valid_start) {
             // stop querying when earlier than valid_start
             return;
           }
           $max_id = min($max_id,intval($t->id_str))-1;
         }       
         if ($prior_max_id - $max_id <=1 OR count($tweets->statuses)<1) {
           $count_repeat_max+=1;
         }           
         if ($count_repeat_max>5) {           
           // when the api isn't returning more results
           break;
         }
       } // end while 

Salah satu hasil pertama yang dikembalikan termasuk cuitan di bawah ini oleh Fred Davenport yang menunjukkan Presiden Obama di panggung:

The First Results for Selma 50th via the Twitter Search API

Berikut di Twitter:

President Obama in Selma via the Twitter API

Lalu, seiring Anda mencari hasil lebih jauh, Anda bisa menemukan lebih banyak orang membuat cuitan tentang Obama—termasuk media:

Sekarang, mari melakukan pencarian yang lebih lokal.

Sedetik, Pencarian yang Lebih Lokal

Key Arena adalah arena olahraga dan konser besar di Seattle. Pekan terakhir ini ada Turnamen Basket Wanita Pac-12:

mari dapatkan koordinat GPS untuk Key Arena dari Google Maps:

Lalu, saya membuat dan menyesuaikan suatu momen untuk menemukan kisaran waktu yang lebih panjang di akhir pekan untuk cuitan-cuitannya:

Create a moment to search Key Arena Basketball Tournament

Dan, berikut beberapa hasilnya. Favorit saya adalah:

"Saya ingin meninggalkan pertandingan basket ini. Saya benci bola basket."

Twitter Search Results for Key Arena Tournament

Untuk sebagian besarnya, sepertinya Instagram API jauh lebih hebat daripada Twitter dan secara umum hasilnya lebih menarik. Meskipun demikian, itu tergantung pada jenis orang yang Anda cari. Jika Anda hanya ingin mengidentifikasi siapa saja yang ada di sana, API manapun tidak akan bekerja dengan baik.

Apa yang Kami Pelajari

Saya harap Anda menikmati seri ini. Saya mendapati ini sebagai sesuatu yang menyenangkan dan terkesan dengan hasilnya. Tutorial ini sekaligus menyoroti kekhawatiran yang seharusnya kita miliki tentang tingkat privasi kita di zaman digital yang saling terhubung ini.

API untuk Instagram dan Twitter sama-sama bagus dalam menemukan pengguna-pengguna media sosial yang berada di dekat tempat-tempat tertentu pada waktu-waktu tertentu. Informasi ini bisa digunakan untuk tujuan yang baik dan bisa juga disalahgunakan. Seharusnya Anda mempertimbangkan untuk mematikan kiriman geolokasi Anda—ikuti tautan-tautan di aplikasi Ready or Not?.

Anda mungkin juga berkenan mempelajari seri saya di Tuts+ Membangun dengan Twitter API.

Jangan ragu mengirimkan pertanyaan-pertanyaan dan komentar Anda di bawah ini. Anda juga bisa menghubungi saya di Twitter @reifman atau kirimkan email langsung ke saya. Saya pada khususnya mengapresiasi untuk mendengar dari para wartawan dan penegak hukum yang memanfaatkan contoh-contoh ini.

Anda juga bisa menjelajahi halaman instruktur Tuts+ saya untuk melihat tutorial-tutorial lainnya yang telah saya tulis.

Tautan-Tautan Terkait

Twitter API
Instagram API
Ready or Not? (Pembelajaran Privasi)
Bagaimana Kita Menangkap Penulis Majalah Wired yang Hilang Evan Ratliff
Yii2 Developer Exchange