Mac標準のテキストエディットを使ってrobots.txtを書くときの注意点

2014/02/14 2014/02/18

borots.txtの文字コードはUTF-8

borots.txtの文字コードはUTF-8

ある日突然wp-login.php?（wordpressのログインページ）のクロールエラーが大量発生し、検索に影響を及ぼしかねないかなと思いrobots.txtファイルでブロックすることにした。

Mac標準のテキストエディット

macの標準テキストエディットを使って、ブロックする要素を記述した。
ブロックしたいのは１つだったが、毎回クロールエラーで出てくるURLを試験的に記述してみた。

しかし、ここで問題が起こりました。

これをアップしてウェブマスターツールで見てみると下記のようになった。

完全にわけがわからない。

robots.txtによる分析の結果

robots.txtの記述は間違ってないのに「シンタックスが認識されませんでした」や「無効なサイトマップのURLが検出されました」などの結果がでました。

意味がわかりません。未知の領域に突入してしまいました。(*´Д`)ﾊｧﾊｧ

原因は何か？

グーグルはrobots.txtのファイルフォーマットをUTF-8と想定している。

これがEUCやSHIFT-JISになっているとファイルの内容が正しく処理されない可能性があります。

google robots.txtの仕様

ということなので、テキストエディトの設定を確認。
するとエンコーディング（文字コード）が、Shift_JISでした。

テキストエディットはデフォルトでUTF-8らしい。
僕は仕事でwindowsのメモ帳で作成されたファイルをテキストエディットで開くことがよくあるので、その時に設定が変わったのだと思われます。
(変わったていうか、自分で設定を変更してるのを忘れてるかもしれません。）

エンコーディングの設定は、テキストエディト→環境設定→開く/保存→エンコーディング：で変更できます。

エンコーディングを訂正

エンコーディングをUTF-8に訂正して再アップ。
robots.txtが反映されるまで約1日ほど時間を要しましたが、無事処理されました！

まとめ

※2月17日追加、記事中のファイルはリッチテキストなので、これを標準テキストにする必要があります。
テキストエディットのメニューにあるフォーマットから、「標準テキストにする」を選択して保存してください。

robots.txtはファイルフォーマットをUTF-8と想定している。

今回はテキストエディットの設定が、Shift_JISとなっていたためgoogleさんに処理されなかったようだ。

また、テキストエディットに限られたことではないと思うので、robots.txtを書くときはエンコーディングがUTF-8になっているのを確認することをおすすめします。

2014年2月17日　追記
いわどんさんより解説と訂正のご指摘をいただきました。

修正前のrobot.txtはリッチテキストというフォーマットのファイルのようです。Googleのウェブマスターツールでの見え方を見ると、フォント名(CourierやCourier Boldなど)や印刷設定のような文字列が含まれています。テキストエディットのフォーマットメニューを開き「標準テキストにする」というメニュー項目があれば、それを選択肢て標準テキストの状態で保存してください。

また、記事中でUTF-8を設定している部分は、HTMLファイルのための設定です。robot.txtで求められているような標準テキストの設定はその上にある「標準テキストファイルのエンコーディング」と書かれている設定項目です。現在は開く時も保存時も「自動」となっています。

さらに、標準テキストを保存する際には保存ダイアログ上に「標準テキストのエンコーディング」という選択項目が出ますので、そこでUTF-8を選ぶことが出来ます。保存時に「リッチテキスト書類」という選択項目が出ている場合にはそのファイルはリッチテキストですので、上記の通り標準テキストにしてから保存し直すと良いです。

最後に、Shift_JISとUTF-8は今回のrobot.txtで使われている文字の範囲では両者に互換性があり、どちらで保存しても同じ内容になります。違いが出るのは日本語などを使った場合です。そのためですが、おそらくですが今回UTF-8にしただけでは問題は解決しないはずなので、他の部分の設定を変更したのではないかと推察します(上記のように標準テキストにした可能性もあります)。一度ご自身の記事通りに作業をしてみて、再現するかどうかを確認していただけると、記事内容の正確さに繋がるものと愚考いたします。

とても分かりやすく解説してあるので、そのまま引用させていただきました。
いわどんさん、ありがとうございました。