検索エンジンを操作する robots.txt作成方法

JUGEMテーマ:SEO


検索エンジンを操作する robots.txt作成方法

robots.txtはGoogleなどのサーチエンジンのクローラーが最初に見るページです。

ほぼその内容を見て指示通りにクロールしていきます。

robots.txtで巡回を操作するには、[robots.txt]と言う名前のテキストファイルを作成します。

基本的なコマンド

「User-agent」クローラーの種類を指定します。
「Disallow」クロール拒否
「Allow」クロール許可

robots.txtはメモ帳で作ると簡単です。

メモ帳で作ったrobots.txtの見本はこんな感じです。

robots.txt見本

内容を見てみますと、

User-agent: *はすべての検索エンジン(GoogleもBingも)を指定しています。

Disallow: /abc/ 「abcのディレクトリはクロールしない」

Disallow: /abcd/ 「abcdのディレクトリもクロールしない」

Disallow: /a.html 「a.htmlはクロールしない」

User-agent: msnbot 「Bingのクローラーのみを指定」

Disallow: /bbc/ 「Bingだけbbcのディレクトリをクロールしません。」

Allow: /bbc/b.html 「Bingだけbbcディレクトリの中のb.htmlファイルだけはクロールします。」

Disallow: /c.html 「bingだけc.htmlをクロールしません。」


こんな感じで各検索エンジンを操作する事が可能です。

最終行は必ず一行空白を作っておくことを忘れないで下さい。

作成したrobots.txtはドメインのルートディレクトリ(サイトの一番上の階層)にアップしてください。

User-agentで指定出来る主なロボット

Googlebot-Image 「Google画像検索」
Googlebot-Mobile 「Googleモバイルクローラー」
msnbot  「Bingのクローラー」→bingbotに変更されたみたいです。
Baiduspider  「Baidu(百度)のクローラー」
Yeti  「Naverのクローラー」

サーチエンジンにクロールしてほしくないページやディレクトリを指定して、

動的に生成されるページなど無駄なページを省けるので、インデックスの正常化にも繋がります。

無駄なページをクロールしないように制御する事でサーバーへの負担も軽減出来ます。


コメント
コメントする








   

SEO対策 e-searchの公式ブログ

このブログはSEO対策 e-searchの公式ブログとなります。

様々なSEOに関する情報を公開していくと共に、自分自身の成長にも繋がる様なSEOブログにして行きたいと思っています。

お問い合わせ

SEO対策 e-searchのツイッター
ツイッター

オススメのSEO業者さん達!

最新且つ効果的なSEO対策を提供する
いまどきのSEO対策さん

お気に入りブログ

海外の最新検索エンジンマーケティング情報を配信する
海外SEO情報ブログ

SEO情報や商売・マーケティングのヒントを発信
SEMアドバイザーの揺さBrain!

昨今のSEO対策やSEM(検索エンジンマーケティング)について更新しています
天照SEOブログ

人気記事

新着エントリー

カテゴリ

アーカイブ

プロフィール

ブログ内検索

others

mobile

qrcode

powered

無料ブログ作成サービス JUGEM