Googleのクローラーbotに自分のサイトのどのページのクロールを許可するのか
その命令を書くテキストがrobots.txtです。
本来、クロールして欲しいページがrobots.txtの書き方が間違っているためクロールができていない事もあります。
そんな時に正しくクロールするURLが指定できているか確認する方法をご紹介いたします。
まずはウェブマスターツールにログイン。
【クロール】の項目に【robots.txtテスター】があります。
枠の中にエラーもしくは警告のあるURLをペーストし【テスト】ボタンをクリック。ボタンが【許可済み】と表示されれば、クロールが許可されている状態です。
【ブロック済み】と表示されていれば、該当するブロック構文がハイライトされます。これは分かりやすいですね。
ウェブマスターツールも機能が充実してますね。アナリティクスでアクセス解析することも重要ですが、それ以上に自分からGoogleにアクションを起こすことも大事です。
Google Analyticsで集客・売上をアップする方法
