QA@IT

そのギモンは、あなただけのもの?

ITエンジニアが日々遭遇する課題やトラブルはたいてい、1人だけが出合うものではありません。QA@ITで質問・回答を共有しませんか?

タグ crawler で絞り込んだ結果 - 解除

さくらのクラウドで、一台のサーバに複数IPを割り当てたのですが、ここから複数IPでクローリングするにはどうしたら良いでしょうか? #ちなみに、複数IPでクローリングしたいのは、TwitterのAPI制限(1分に1回とか)を少し緩和してデータを取得したいからです。5つくらいのIPなので、Twitterへの負荷は大きくないと思います。 今思いつく方法としては、仮想ホスト化?して、1台のマシンを複...

http://www.example.com/index.php?cmd=backup&page=hoge 上記URIのような、クエリにcmd=backupが指定されているURLに対して検索エンジンのクロールを拒否したいのです。 Livingdeadの日記: ApacheでURLのクエリ文字列によりアクセス制限を参考にして、クエリ付きURLに対してLocationMatchを効かせる方法はわ...