WordPressでrobots.txtの作成手順

自サイトのサイトマップを、Google、YAHOO、MSNに送信した後、おそらくrobots.txtの作成に入ろうと思っているはずです。
robots.txtと言うのは、各検索エンジンに対してどのようにクロールするかを示した命令ファイルです。このrobots.txtは、単なるテキスト形式のファイルで、通常は、そのサイトのルートディレクトリに配置します。
たとえば、http://www.example.comに対するrobots.txtの配置方法は、

http://www.example.com/robots.txt

となるようにします。
通常のHTMLで作成したサイトに対しては、このrobots.txtをあらかじめ自分で用意しておかなければならないのですが、WordPressには「KB robots.txt」といった自動的にrobots.txtを生成してくれるプラグインがあります。

まず、WordPressプラグインメニューから新規追加を選択肢、検索ボックスに「KB Robots.txt」と入力して検索します。

検索しても出てこない場合は、「KB Robots.txt」とGoogle にて検索をかければ情報は出てくると思います。
KB robots.txtが見つかり次第、インストールします。

インストールは、通常のWordPressプラグインと同様です。

インストール後、WordPress管理画面の「設定」メニューに、「KB Robots.txt」というメニューが表示されます。それを選択します。
メニューを表示してみると、なにやらテキストエリアが表示されますね。

最初は、おそらく

# This is your robots.txt file. Visit Options->Robots.txt to change this text.

としか表示されていませんね。

すでに表示されているのはコメント行だけですので、設定にはかかわりありません。
消すなら消してもかまいません。 これから設定をしていくわけですが、シナリオとしては、

・すべての検索クローラを対象
・/wordpress/wp-*　はクロール不可

が一番簡単で無難だと思います。（WordPressの場合ですからね） 設定を厳密にしていけばもっといろんなことができますが、ここではまず設定を行うことに注目してやっています。

先ほどのテキストボックスに、

User-agent: *
Disallow: /wordpress/wp-*

と入力し、テキストボックス下の「Submit」ボタンを押します。 これで設定は完了です。 http://www.example.com/robots.txtにアクセスすれば先ほど追記した内容が表示されると思います。 表示されれば設定完了です。