Paggawa ng Twitter API: Pagsuri ng Iyong Tagasunod

() translation by (you can also view the original English article)

Final product image — What You'll Be Creating

Panimula

Welcome sa bagong kabanata ng ating Twitter API series. Sa ating bagong kabanata, gumawa ako ng Twixxr.com kung saan madidiskubre mo ang mga makapangyarihang babae sa Twitter na maaari mong sundan. Ngayon, bibigyan ko ng pansin ang sarili kong mga tagasunod.

Habang hindi ako gumagamit ng Facebook simula pa noong 2013, nanatili naman akong aktibo saTwitter kahit inuulan nila ang aking feed ng ads at nagiging dahilan ng aking pagkairita dahil sa pananamantala ng gamit nito.

Kamakailan, nagsimula akong umani ng tagasunod ng medyo mabilis.Inaasahan ko na makakakita ako ng maraming sagot sa aking mga tweets.Sa totoo lang, nasorpresa ako sa kaunting sagot sa Twitter para sa pangkaraniwang tao.

Mayroon akong halos 1,900 na tagasunod, subalit malimit na may mag-comment o retweet sa mga bagay na sa tingin ko ay importante at interes ng pangkalahatan. Halimbawa, wala ni isa na nagbahagi ng aking piece tungkol sa hindi nailathala na balita sa panggagahasa sa Seattle o komentaryo kay Bill Gates tungkol sa kanyang nakakagulantang na pagkaipokrito.

Sa mahabang panahon nais kong tingnan ng maigi ang aking mga tagasunod sa Twitter at sagutin ang ilang katanungan: Sino talaga ang sumusunod sa akin? At bakit hindi sila aktibo? Posible kaya na 10% ng aking tagasunod ay hindi totoong tao?

Ang Twitter ay may isyu sa paghahanap ng bibili, at maaaring may kinalaman ito dito.

Ang Twitter API ay magandang instrumento para imbestigahan ito. Tama marami itong rate limits na mas nagpapakumplikado sa kahit na simpleng pagsusuri ng iyong tagasunod. Sa kabanata ngayon, ipapakita ko kung paano ko trinabaho ang rate limits para tantyahin at gumawa ng scoreboard ng aking mga tagasunod.

Kung mayroon kayong mga tanong o feedback, paki-post ang mga ito sa baba sa comment o kontakin ako Twitter @reifman.

Suriin ang Iyong Tagasunod sa Twitter

Building With the Twitter API Initial scoreboard

Sa itaas, makikita mo ang aking pangunahing scoreboard na ginawa. Ang kabanata ngayon ay mas pagtutuunan ng pansin ang infrastructure at approach na ginawa ko. Sana magkaroon ako ng pagkakataon na mas mapaganda ang scoring mechanism.

At oo, makikita mo sa taas, mga kilalang gay rights leader at sex advice columnist Dan Savage na sumusunod sa akin subalit hindi nagri-retweets sa kahit na anong aking ibahagi. Kung may oras pa ngayon, susuriin natin ito para sagutin ang importanteng tanong: totoo ba siya, isang robot, o kaya sinusunod lamang ako para sa personal na sex advice? Ano ang matututunan natin sa account niya kung makikisalamuha ba siya sa akin sa Twitter o, sa bagay na iyan, sa ibang mga sumusunod sa akin?

Ang scoreboard ay kadalasan prototype na ginawa ko maliban sa Twixxr code sa huling kabanata, subalit hindi ito live demo para magamit ng tao. Ibinabahagi ko para may matutunan kayo dito at gumawa kayo ng sarili niyo.

Narito ang mga pangunahing element ng code:

Paggawa ng database para ilagay ang aking mga tagasunod at katulad na data.
Pag download ng tagasunod sa pahina ng 20 ng bawat tagasunod.
Pag-track ng cursors para sa mga pahina habang nagda-download ako ng 15 pahina kada rate limited window.
Pagtago ng data na nakuha tungkol sa aking mga tagasunod sa database.
Paggawa ng prototype scoring algorithm para itala lahat ng tagasunod.
Paggawa ng view para makita ang scoreboard.

Pagpunta sa Code

Paggawa ng Database Table Migrations

Gumawa ako ng tatlong magkakaibang tables para itago lahat ng data at para makatulong ito sa akin sa paggawa ng Twitter API rate limiting. Kung hindi niyo kabisado ang Yii database migrations, tingnan ang Paano Gumawa ng Program gamit ang Yii2: Paggawa ng Database at Aktibo na Talaan.

Una, pinahaba ko ang SocialProfile table para ilathala ang maraming data mula sa accounts ng mga tagasunod katulad ng kung ito ay nasuri, ang kanilang lokasyon, at ilang items na kanilang naging paborito:

<?php
use yii\db\Schema;
use yii\db\Migration;

class m161026_221130_extend_social_profile_table extends Migration
{
        public function up()
        {
          $tableOptions = null;
          if ($this->db->driverName === 'mysql') {
              $tableOptions = 'CHARACTER SET utf8 COLLATE utf8_unicode_ci ENGINE=InnoDB';
          }
          $this->addColumn('{{%social_profile}}','social_id',Schema::TYPE_STRING.' NOT NULL');
          $this->addColumn('{{%social_profile}}','name','string NOT NULL');
          $this->addColumn('{{%social_profile}}','screen_name',Schema::TYPE_STRING.' NOT NULL');
          $this->addColumn('{{%social_profile}}','description',Schema::TYPE_TEXT.' NOT NULL');
          $this->addColumn('{{%social_profile}}','url',Schema::TYPE_STRING.' NOT NULL');
          $this->addColumn('{{%social_profile}}','protected',Schema::TYPE_SMALLINT. ' NOT NULL DEFAULT 0');
          $this->addColumn('{{%social_profile}}','favourites_count',Schema::TYPE_BIGINT. ' NOT NULL DEFAULT 0');
          $this->addColumn('{{%social_profile}}','verified',Schema::TYPE_SMALLINT. ' NOT NULL DEFAULT 0');
          $this->addColumn('{{%social_profile}}','location',Schema::TYPE_STRING.' NOT NULL');
          $this->addColumn('{{%social_profile}}','profile_location',Schema::TYPE_STRING.' NOT NULL');
          $this->addColumn('{{%social_profile}}','score',Schema::TYPE_BIGINT. ' NOT NULL DEFAULT 0');
        }

Sumunod, gumawa ako ng indexing table na tinawag na SocialFriend para makita ang mga tagasunod para sa natatanging accounts. Kung mapagdesisyunan ko na gawin itong serbisyo ng pormal sa publiko, kakailanganin koi to. Nili-link nito ang User table sa tagasunod ng gumagamit sa SocialProfile table.

<?php
  use yii\db\Schema;
  use yii\db\Migration;
class m161026_233916_create_social_friend_table extends Migration
{
   public function up()
   {
       $tableOptions = null;
       if ($this->db->driverName === 'mysql') {
           $tableOptions = 'CHARACTER SET utf8 COLLATE utf8_unicode_ci ENGINE=InnoDB';
       }

       $this->createTable('{{%social_friend}}', [
           'id' => Schema::TYPE_PK,
           'user_id' => Schema::TYPE_BIGINT.' NOT NULL',
           'social_profile_id' => Schema::TYPE_BIGINT.' NOT NULL',
       ], $tableOptions);
   }

Sunod, ng Twitter API kailangan na titingnan mo ang requests ng 20 na tagasunod ng paisa isa.Para malaman ang susunod na pahina, kailangan mong hanapin ang cursors, essentially tags, na magmamarka ng susunod na pahina na gagawin.

Dahil hanggang 15 requests lang para sa tagasunod bawat 15 minuto ang ina-allow, kailangan mong itago ang cursors sa database. Ang table ay tinatawag na SocialCursor:

<?php
  use yii\db\Schema;
  use yii\db\Migration;
  class m161027_001026_social_cursor_table extends Migration
{
   public function up()
   {
       $tableOptions = null;
       if ($this->db->driverName === 'mysql') {
           $tableOptions = 'CHARACTER SET utf8 COLLATE utf8_unicode_ci ENGINE=InnoDB';
       }

       $this->createTable('{{%social_cursor}}', [
           'id' => Schema::TYPE_PK,
           'user_id' => Schema::TYPE_BIGINT.' NOT NULL',
           'next_cursor' => Schema::TYPE_STRING.' NOT NULL',
       ], $tableOptions);
   }

Sa kalaunan, gagawa ako ng background cron tasks para gawin lahat anglahat ng ito, subalit para sa prototype sa araw na ito, ginagawa ko ito ng mano mano.

Paglikom ng Tagasunod at Ang Kanilang Account Data

Sumunod, gumawa ako ng method Twitter::getFollowers() para makagawa ng request. Narito ang basics ng code:

public function getFollowers($user_id) {
  $sp = new SocialProfile();
  $next_cursor = SocialCursor::getCursor($user_id);
  ...
  while ($next_cursor>0) {
      $followers = $this->connection->get("followers/list",['cursor'=>$next_cursor]);
      if ($this->connection->getLastHttpCode() != 200) {
        var_dump($this->connection);
        exit;
      }
        if (isset($followers->users)) {
          foreach ($followers->users as $u) {
            $n+=1;
            $users[]=$u;
            $sp->add($user_id,$u);        
          }
        $next_cursor= $followers->next_cursor;
        SocialCursor::refreshCursor($user_id,$next_cursor);
        echo $next_cursor.'<br />';
        echo '======================================================<br />';
      } else {
        exit;
      }
  }

Kumukuha ito next_cursor at paulit ulit na magtatanong ng tagasunod, $followers = $this->connection->get("followers/list",['cursor'=>$next_cursor]), hanggang sa maabot nito ang rate limits.

Ang resulta ay magmumukhang katulad nito habang gumagawa ito sa bawat pahina ng 20 resulta:

1	refresh cursor: 1489380833827620370
2	======================================================
3	refresh cursor: 1488086367811119559
4	======================================================
5	refresh cursor: 1486452899268510188
6	======================================================
7	refresh cursor: 1485593015909209633
8	======================================================
9	refresh cursor: 1485330282069552137
10	======================================================
11	refresh cursor: 1485256983607000799
12	======================================================
13	refresh cursor: 1484594012550322889
14	======================================================
15	refresh cursor: 1483359799854574028
16	======================================================
17	refresh cursor: 1481615590678791493
18	======================================================
19	refresh cursor: 1478424827838161031
20	======================================================
21	refresh cursor: 1477449626282716582
22	======================================================
23	refresh cursor: 1475751176809638917
24	======================================================
25	refresh cursor: 1473539961706830585
26	======================================================
27	refresh cursor: 1471375035531579849
28	======================================================

Ang data ay nakatago ng $sp->add($user_id,$u); na pamamaraan. Ang SocialProfile::add() ay ibang bersyon ng fill() na pamamaraan na galing sa Twixxr na pagtuturo. Itinatago nito ang maraming data at mina-manage ang SocialFriend index:

public static function add($user_id,$profileObject=null) {
      $sp = SocialProfile::find()
        ->where(['social_id'=>$profileObject->id_str])
        ->one();
      if (!isset($profileObject->name) || empty($profileObject->name)) {
        $profileObject->name='Nameless';
      }
      if (!isset($profileObject->url) || empty($profileObject->url)) {
        $profileObject->url='';
      }
      if (!isset($profileObject->screen_name) || empty($profileObject->screen_name)) {
        $profileObject->screen_name='error_sn';
      }
      if (!isset($profileObject->description) || empty($profileObject->description)) {
        $profileObject->description='(empty)';
      }
      if (!isset($profileObject->profile_location) || empty($profileObject->profile_location)) {
        $profileObject->profile_location='';
      }
      if (!isset($profileObject->profile_image_url_https) || empty($profileObject->profile_image_url_https)) {
        $profileObject->profile_image_url_https='';
      }
      if (!is_null($sp)) {
        $sp->social_id = $profileObject->id;
        $sp->image_url = $profileObject->profile_image_url_https;
        $sp->follower_count= $profileObject->followers_count;
        $sp->status_count = $profileObject->statuses_count;
        $sp->friend_count = $profileObject->friends_count;
        $sp->listed_in = $profileObject->listed_count;
        $sp->url=$profileObject->url;
        if ($profileObject->protected) {
            $sp->protected=1;
        } else {
          $sp->protected=0;
        }
        if ($profileObject->verified) {
            $sp->verified=1;
        } else {
          $sp->verified=0;
        }
        $sp->favourites_count=$profileObject->favourites_count;
        $sp->location=$profileObject->location;
        $sp->profile_location=$profileObject->profile_location;
        $sp->name = $profileObject->name;
        $sp->description = $profileObject->description;
        $sp->image_url = $profileObject->profile_image_url_https;
        if ($sp->validate()) {
            $sp->update();
        } else {
          var_dump($sp->getErrors());
        }
      } else {
        $sp = new SocialProfile();
        $sp->social_id = $profileObject->id;
        $sp->score = 0;
        $sp->header_url='';
        $sp->url=$profileObject->url;
        $sp->favourites_count=$profileObject->favourites_count;
        if ($profileObject->protected) {
            $sp->protected=1;
        } else {
          $sp->protected=0;
        }
        if ($profileObject->verified) {
            $sp->verified=1;
        } else {
          $sp->verified=0;
        }     $sp->location=$profileObject->location;
        $sp->profile_location=$profileObject->profile_location;
        $sp->name = $profileObject->name;
        $sp->description = $profileObject->description;
        $sp->screen_name = $profileObject->screen_name;
        $sp->image_url = $profileObject->profile_image_url_https;
        $sp->follower_count= $profileObject->followers_count;
        $sp->status_count = $profileObject->statuses_count;
        $sp->friend_count = $profileObject->friends_count;
        $sp->listed_in = $profileObject->listed_count;
        if ($sp->validate()) {
            $sp->save();
        } else {
          var_dump($sp->getErrors());
        }
      }
      $sf = SocialFriend::find()
        ->where(['social_profile_id'=>$sp->id])
        ->andWhere(['user_id'=>$user_id])
        ->one();
      if (is_null($sf)) {
          $sf = new SocialFriend();
          $sf->user_id = $user_id;
          $sf->social_profile_id = $sp->id;
          $sf->save();
      }
      return $sp->id;
    }

Nakasulat ito para ma-save ang bagong records o i-update ang lumang records para sa mga susunod na pahanon maaari mong makita ang data ng iyong mga tagasunod at i-update ito ng madalas, matatakpan na ang lumang data.

Ang huling kabanatang nito sa dulo ay sisiguraduhin na mayroong SocialFriend index sa pagitan ng User table at SocialProfile table.

$sf = SocialFriend::find()
        ->where(['social_profile_id'=>$sp->id])
        ->andWhere(['user_id'=>$user_id])
        ->one();
      if (is_null($sf)) {
          $sf = new SocialFriend();
          $sf->user_id = $user_id;
          $sf->social_profile_id = $sp->id;
          $sf->save();
      }

Pagtatala ng Tagasunod sa Twitter

Building With the Twitter API - Accounts with huge numbers of friends unlikely to read my tweets

Marami akong layunin para sa pagtatala ng aking Twitter:

Tanggalin ang accounts ng mga sumusunod sa sumusunod sa kanila: Halimbawa, mayroon silang 12,548 na tagasunod at may sinusundan na 12,392 na tao(tingnan ang nasa itaas).
Tanggalin ang accounts na may sinusundan na mahigit 1,500 accounts na imposibleng titingnan man lamang ang aking ibinabahagi. Halimbawa, si Dan Savage ay may sinusundan na 1,536 na tao.
Tanggalin ang accounts na may kakaunting posts o kaya kakaunti lang ang accounts na sinusundan, na parang hindi na aktibong accounts.
Tanggalin ang accounts na may kaunting favorites-maaaring sila ay robots, hindi talaga gumagamit ng app.

Ganoon din, gusto kong i-highlight ang ibang mga positibong aspeto:

Accounts na nasuri
Accounts na maraming tagasunod
Accounts na may hindi bababa sa 1,000 na tao na sinusundan-mas epektibo para sa akin

Narito ang ilang pangunahing code galing sa SocialProfile::score() na pinagtuunan ng pansin ang ilan sa mga positibio:

1	foreach ($all as $sp) {
2	// score sp
3	$score =0;
4	// RULE IN
5	if ($sp->verified==1) {
6	$score+=1000;
7	}
8	// POSITIVE
9	if ($sp->protected==1) {
10	$score+=500;
11	}
12	if ($sp->follower_count > 10000) {
13	$score+=500;
14	} else if ($sp->follower_count > 3500) {
15	$score+=750;
16	} else if ($sp->follower_count > 1100) {
17	$score+=1000;
18	} else if ($sp->follower_count > 1000) {
19	$score+=250;
20	} else if ($sp->follower_count> 500) {
21	$score+=250;
22	}

Narito ang ilang code na magtatanggal ng ilan sa mga pangit na accounts:

  // RULE OUT
        // make this a percentage of magnitude
        $magnitude = $sp->follower_count/1000;
        if ($sp->follower_count> 1000 and abs($sp->follower_count-$sp->friend_count)<$magnitude) {
          $score-=2500;
        }
        if ($sp->friend_count > 7500) {
            $score-=10000;
        } else
        if ($sp->friend_count > 5000) {
            $score-=5000;
        }
         else if ($sp->friend_count > 2500) {
            $score-=2500;
        }else  if ($sp->friend_count > 2000) {
           $score-=2000;
       } else if ($sp->friend_count > 1000) {
            $score-=250;
        } else if ($sp->friend_count > 750) {
          $score-=100;
        }
        if ($sp->follower_count<100) {
          $score-=1000;
        }
        if ($sp->status_count < 35) {
          $score-=5000;
        }

Malinaw naman na maraming pwedeng laruin dito at iba’t ibang paraan para mas mapaganda ito. Sana mas marami akong panahon para bigyan ng oras ito.

Habang gumagana ang pamamaraan na ginamit, ganito ang itsura nito, subalit ina-update nito ang SocialProfile table na may scores habang tumatakbo ito:

DJMany -6300
gai_ltau -7850
Michal92B -900
InvestmentAdvsr -2900
TSSStweets -7500
sandcageapp -1750
dominicpouzin 1950
daletdykaaolch1 -7850
suzamack -8250
writingthrulife -7500
ryvr -1550
RichardAngwin -8300
DanielleMorrill -7300
ReversaCreates 2750
BoKnowsMarkting -7500
TheHMProA -8500
HouseMgmt101 750
itsmeKennethG -1250
drbobbiwegner -8500
Mizzfit_Bianca -7300
wilsonmar 700
CoachVibeke -7300
jhurwitz 0
PiedPiperComms 500
Prana2thePeople -1100
singlemomspower -2250
mouselink -7300
MotivatedGenY -7300
brett7three -7300
JovanWalker 2950
ITSPmagazine 450
RL_Miller -2250

Pagpapakita ng Scoreboard

Ang dati ng Yii’s grid ay mas nagpapadali na ipakita ang SocialProfile table at gawin ang scoreboard columns ayon sa iyong kagustuhan.

Narito ang SocialProfileController::actionIndex():

/**
     * Lists all SocialProfile models.
     * @return mixed
     */
    public function actionIndex()
    {
        $searchModel = new SocialProfileSearch();
        $dataProvider = $searchModel->search(Yii::$app->request->queryParams);

        return $this->render('index', [
            'searchModel' => $searchModel,
            'dataProvider' => $dataProvider,
        ]);
    }

At narito ang grid view customized:

<?php
use yii\helpers\Html;
use yii\grid\GridView;
use yii\widgets\Pjax;
/* @var $this yii\web\View */
/* @var $searchModel frontend\models\SocialProfileSearch */
/* @var $dataProvider yii\data\ActiveDataProvider */
$this->title = Yii::t('frontend', 'Social Profiles');
$this->params['breadcrumbs'][] = $this->title;
?>
<div class="social-profile-index">
    <h1><?= Html::encode($this->title) ?></h1>
    <?php // echo $this->render('_search', ['model' => $searchModel]); ?>
<?php Pjax::begin(); ?>    <?= GridView::widget([
        'dataProvider' => $dataProvider,
        'filterModel' => $searchModel,
        'columns' => [
            ['class' => 'yii\grid\SerialColumn'],
            [
            'label'=>'Name',
              'format' => 'raw',
              'value' => function ($model) {
                      return '<div><span><strong><a href="http://twitter.com/'.$model->screen_name.'">'.$model->name.'</a></strong><br />'.$model->screen_name.'</span></div>';
                  },
          ],
            'score',
            [
            'label'=>'Follows',
              'format' => 'raw',
              'attribute'=>'friend_count',
            ],
            [
            'label'=>'Followers',
              'format' => 'raw',
              'attribute'=>'follower_count',
            ],
            [
            'label'=>'Tweets',
              'format' => 'raw',
              'attribute'=>'status_count',
            ],
            [
            'label'=>'Favs',
              'format' => 'raw',
              'attribute'=>'favourites_count',
            ],
            [
            'label'=>'Listed',
              'format' => 'raw',
              'attribute'=>'listed_in',
            ],
            [
            'label'=>'P',
              'format' => 'raw',
              'attribute'=>'protected',
            ],
          [
          'label'=>'V',
            'format' => 'raw',
            'attribute'=>'verified',
        ],

            // 'location',
            // 'profile_location',
            [
            //'contentOptions' => ['class' => 'col-lg-11 col-xs-10'],
            'label'=>'Pic',
              'format' => 'raw',
              'value' => function ($model) {
                      return '<div><span><img src="'.$model->image_url.'"></span></div>';
                  },
          ],
        ],
    ]); ?>
<?php Pjax::end(); ?></div>

Narito kung ano ang itsura ng top scores gamit ang aking inisyal na paraan:

Building With the Twitter API - Top Scoring Accounts

Maraming paraan para mas mapaganda at i-tune ang scoring. Inaabangan ko iyong panahon na mas malalaro ko ito.

At mas marami akong gustong isulat na code para sa at mas palawakin ang gamit ko ng API, halimbawa:

Gamitin ang PHP gender para tanggalin ang kumpanya sa tao(ang kumpanya ay wala namang masyadong interaksyon).
Tingnan ang dalas ng pag-post na ginagawa ng tao at huling oras na gumamit sila ng Twitter.
Gamitin ang Twitter’s search API para makita sinong tagasunod ang totoong nagkaroon ng interaksyon sa aking content.
Magbigay ng feedback sa scoring para simulant ito.

Pagsasaalang-alang ng Susunod na Hakbang

Sana ay pumukaw sa inyo ang scoring approach. Ang dami pang paraan para mas mapaganda ito. Malaya itong paglaruan at i-post ang iyong ideas sa baba.

Kung mayroon kayong katanungan o suhestyon, maaari lamang na i-post ang mga ito sa comments. Kung nais niyong masundan ang aking susunod na Envato Tuts+ tutorials at iba pang serye, bisitahin lamang ang pahina ng aking guro o sundan @reifman. Siguraduhing tingnan ang aking startup na kabanata at Meeting Planner.