Bloggerカスタムrobotsの登録:修正
以前、設定した以下の内容、
さて、どうなるのかしら。
/* Google AdSenseに対して、全てクロール有効にする記述 */
User-agent: Mediapartners-Google
Disallow:
/* Google含む検索エンジンに対して、「/search」から始まるURLに対してアクセス拒否の記述 */
User-agent: *
Disallow: /search
Allow: /
/* サイトマップの場所を記述 */
Sitemap: (サイトのURL)/sitemap.xml
の、最初の箇所
/* Google AdSenseに対して、全てクロール有効にする記述 */
User-agent: Mediapartners-Google
Disallow:
試しに削除してみました。というのも、AdSense クローラによるページのインデックス登録を許可しないようにサイトの robots.txt ファイルを修正している場合、それらのページに Google 広告を掲載できなくなります。と、[Google AdSense ヘルプ]robots.txt ファイルで Google のクローラにアクセスを許可するに記載されていたからです。
クローラのページへのアクセスを許可するように robots.txt ファイルを更新するには、robots.txt ファイルから次の 2 行のテキストを削除します。
User-agent: Mediapartners-Google
Disallow: /
これにより、Google のクローラがウェブサイトのコンテンツをインデックスに登録できるようになり、Google 広告が表示されるようになります。なお、robots.txt ファイルを変更しても、Google のクローラがサイトに再度アクセスするまでインデックスの内容は更新されませんのでご了承ください。
さて、どうなるのかしら。