Home > チラシの裏 > Webクローラーのアクセス頻度が酷いので…

Webクローラーのアクセス頻度が酷いので…

Webクローラーのアクセス頻度があまりにも酷いので、今更ながらrobots.txtの見直しを図ってみた。
これで1週間ほど様子を見てみる。

WordPressのやつ

WordPressを使っているのは、このブログと、メモ代わりのnote.clovana.netのやつ。
CMS特有のディレクトリ構成をしているのと、PHPとデータベースを使ってのページ構築なので、不要な領域にはアクセスすらさせない方式に。

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-config.php
Disallow: /wp-cron.php
Disallow: /wp-login.php

# ---- クローラー系Botのアクセス遮断

# Majestic-12 (UK)
User-agent: MJ12bot
Disallow: /

# Ahrefs (SEO Tool)
User-agent: AhrefsBot
Disallow: /

# WebMeUp (SEO Tool)
User-agent: BLEXBot
Disallow: /

# Yandex (Russian)
User-agent: Yandex
Disallow: /

# baidu (百度)
User-agent: baiduspider
Disallow: /

# Semrush (SEO Tool)
User-agent: SemrushBot
Disallow: /

# http://cloudsystemnetworks.com
User-agent: Nimbostratus-Bot
Disallow: /

# ---- クローラー系Botのアクセス頻度指定

User-agent: bingbot
Crawl-delay: 3600

User-agent: Googlebot
Crawl-delay: 600

アクセス解析の結果を見てみると、検索エンジンのMSNサーチ(Bing)で訪れる人はかなり少ないくせにbingbotのアクセスが結構多いので1時間に1回だけ見せてやることに。
逆にGoogleから来る人がたまにいるので、こちらは10分に1回だけ見せてやることにした。
基本的にこの2社のクローラー以外は全部遮断。

LS用ページのやつ

LS用ページの方がWordpressを使っているこっちより酷くて、あっちはほぼすべてがCGIで動いているので、CGIファイルに対して1日4000アクセスくらいある。そのうち99.8%がクローラーBotなので弾いてしまいたい。

# ---- アクセス可能領域の設定

User-agent: *
Disallow: /cgi/bbs/icon/
Disallow: /cgi/bbs/skin/
Disallow: /cgi/bbs/*.cgi
Disallow: /cgi/bbs/*.dat
Disallow: /cgi/bbs/*.log
Disallow: /cgi/mlist/faces/
Disallow: /cgi/mlist/icon/
Disallow: /cgi/mlist/*.cgi
Disallow: /cgi/mlist/*.dat
Disallow: /cgi/mlist/*.log

# ---- クローラー系Botのアクセス遮断

# Majestic-12 (UK)
User-agent: MJ12bot
Disallow: /

# Ahrefs (SEO Tool)
User-agent: AhrefsBot
Disallow: /

# WebMeUp (SEO Tool)
User-agent: BLEXBot
Disallow: /

# Yandex (Russian)
User-agent: Yandex
Disallow: /

# baidu (百度)
User-agent: baiduspider
Disallow: /

# Semrush (SEO Tool)
User-agent: SemrushBot
Disallow: /

# http://cloudsystemnetworks.com
User-agent: Nimbostratus-Bot
Disallow: /

# ---- クローラー系Botのアクセス頻度指定

User-agent: bingbot
Crawl-delay: 3600

User-agent: Googlebot
Crawl-delay: 600

コメント:0

コメントフォーム
Remember personal info

トラックバック:0

このエントリーのトラックバックURL
http://www.clovana.net/wp-trackback.php?p=2969
Listed below are links to weblogs that reference
Webクローラーのアクセス頻度が酷いので… from Clowzy on Vana'diel

Home > チラシの裏 > Webクローラーのアクセス頻度が酷いので…

検索
フィード
メタ情報

Return to page top