• Blogger の robots.txt

という記事を書いたばかりなんですが、昨日みてみたところ、内容が変更されていたのでご報告。
その中身（クリボウの写真日記の場合）がこちら。上が以前のもの、下が新しい内容です。

User-agent: *
Disallow: /search
Sitemap: http://kuribo-photo.blogspot.com/feeds/posts/default?orderby=updated

↓

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search

Sitemap: http://kuribo-photo.blogspot.com/feeds/posts/default?orderby=updated

すべてのロボットに対して /seach 以下のディレクトリ（検索結果ページ、ラベル別投稿一覧ページ、年間投稿一覧ページ）をインデックスしないよう指定しているのは変わりないんですが、1、2 行目で Mediapartners-Google ロボットにだけ、そのインデックス禁止を解除するようになっています。

Mediapartners-Google ロボットって何だろう？と調べてみると、Google AdSense のクローラだということが判明。AdSense のヘルプにも次のような説明がありました。

Google のクローラ以外のロボットに対してはお客様のページへのアクセスを許可せずに、Google のクローラだけにアクセスを許可していただくことができます。robots.txt ファイルの一番上に、次の 2 行のテキストを追加してください。

User-agent: Mediapartners-Google*
Disallow:

この変更を行うと、Google のクローラによってお客様のサイトのコンテンツがインデックスに登録され、コンテンツに最も関連性の高い Google 広告がお客様のページに配信することができます。

Google AdSense ヘルプ センター: Google のクローラにページへのアクセスを許可するにはどうすればよいですか。

この robot.txt 内の指定によって、検索結果ページ、ラベル別投稿一覧ページ、年間投稿一覧ページにも、本文の内容にマッチした AdSense 広告が出るようになるというわけです。該当ページで公共広告ばかり出ていたという人には、ちょっとした朗報かもしれませんね。