世界のアクセス数ランキングTOP500のURLを一括取得してみる

perl

他に誰かこんなことしたい人がいるのか分からないけど・・・。


使用するサイトはこちら
Alexa Top 500 Global Sites


上記のサイトで人気サイトが分かるのだが、正確にはアクセス数ランキングとはいえないらしい。
Alexaでサイトの世界ランキング情報 :SEOお勧めツール ::SEO塾(情報サイト)
↑のサイトの説明にあるとおり

実際は、Alexaツールバーがインストール済みのInternet Explorerで閲覧されたサイトのデータである。
日本のWebマスターとしては、Alexaを知っていること、ツールバーをインストールできること、少しは英語が分かること、そういったデータの分母としてユーザーの偏りを割り引いて考える必要はあるだろう。


まぁ、とはいえ、人気サイトであることは間違いないでしょう。

Web::Scraperを使うよ
#!/usr/bin/perl

use strict;
use warnings;
use Data::Dumper;
use Web::Scraper;
use URI;

main();

sub main {
    print Dumper get_web_site_ranking();
}


sub get_web_site_ranking {
    my $url = "http://www.alexa.com/topsites/global;";
    my $site_list = [];
    for (my $i = 0; $i < 24; $i++) {
        my $scraper = scraper {
            process '.offsite', 'site[]' => '@href';
        };
        my $uri = new URI($url.$i);
        my $res = $scraper->scrape($uri);
        push @$site_list, @{$res->{'site'}};
    }
    return $site_list;

}


ちょっと汚いけど、まぁ、とりあえず取れたよ。


あとは、このURLをほげほげして、作りたいものを作っていこう。


何を作るのかは、また今度ご報告

では