QA@IT

さくらのクラウドで、一台のサーバに複数IPを割り当てたのですが、ここから複数IPでクローリングするにはどうしたら良いでしょうか?

10427 PV

さくらのクラウドで、一台のサーバに複数IPを割り当てたのですが、ここから複数IPでクローリングするにはどうしたら良いでしょうか?

#ちなみに、複数IPでクローリングしたいのは、TwitterのAPI制限(1分に1回とか)を少し緩和してデータを取得したいからです。5つくらいのIPなので、Twitterへの負荷は大きくないと思います。

今思いつく方法としては、仮想ホスト化?して、1台のマシンを複数のマシンとして扱って、それぞれでクロールのプログラムを走らせることです。
ただ、やりたいのはTwitterのフォローネットワークを辿っていくことで、複数のマシンでプログラムを走らせると、取得するユーザがかなり被ってくると思われるので、別の方法があればそうしたいです。
例えば、走らせるのは一つのプログラムなんだけど、クローリングするときに、プールしてあるIPを毎回変えながらデータを取得するとかできないのでしょうか。

宜しくお願い致します。

ウォッチ

この質問への回答やコメントをメールでお知らせします。