Googlebotとは？
Googlebotとは？ GooglebotとはGoogleが開発したクローラーの一つです。インターネット上でアクセスが許可されているすべてのWebページをクロールして、Googleにインデックスします。 Googlebotには、デスクトップ用のGooglebotとモバイル用のGooglebotが存在します。その他、画像用や動画用など...
クロールに関する記事
Web上を巡回してサイトの情報を集め、検索エンジンのデータベースに取り込むロボットをクローラーといい、その作業をクロールといいます。検索結果表示のための第一歩となる「クロール」について発信します。
新着記事
Googleインデックスのプロセスとは
※本記事は、2019年公開当時の情報を基にした記事です。 2019年1月にGoogle Search Consoleの新バージョンが全ユーザーに開放されました。機能も継続的にアップデートされ、多くの方が活用されていると思います。 新しくなったGoogle Search Consoleは「インデックスカバレッジレポート」や「URL検査ツー...
meta robotsの仕様と制御できるものを解説
meta robotsとは、検索エンジンのクローラーを制御するためのmetaタグです。 間違って使用すると、インデックスされないなどの弊害があるため、しっかりとmeta robotsの仕組みや役割を覚えておきましょう。 この記事のポイント meta robotsはクローラーを制御するためのmetaタグ noindex、...
ユーザーエージェントとは？なぜ必要なのか、役割について解説
※本記事は、2018年公開当時の情報を基にした記事です。」 ユーザーエージェント（User Agent）とは、WebサイトにアクセスするWebブラウザの種別やバージョンなどをWebサーバーに伝える情報の1つです。 ここでは、ユーザーエージェントの概要や、robots.txtにユーザーエージェントを記載して検索エンジンのクローラーを指定...
【気をつけて設定しよう】robots.txtの設定目的や書き方について
robots.txtとは robots.txtは検索エンジンのクローラーに、特定のディレクトリ、ページをクロールしないように指示するためのファイルです。 Googleを始めとした主要な検索エンジンはこのrobots.txtを踏まえてサイトのクロールを行います。 気になるrobots.txtの読み方ですが、海外では「ロボッツドットティ...
【徹底解説】アンカーテキストとは?SEOやCV改善に重要な点を解説
アンカーテキストとはWebページのリンクされたテキストで、SEOの観点からも重要です。アンカーテキストを適切な場所に魅力的な文言で設置することで、コンバージョン率（CVR）の改善や向上が期待できます。 そこで本記事ではアンカーテキストの具体的な作成方法やCVR改善につながる最適化だけではなく注意点まで解説しています。SEOを行いたい方や...
クローラーとは？意味や役割を検索エンジンの仕組みとともに解説！SEO対策も！
クローラーとは、インデックスを作成することを目的に、ウェブ上のデータを自動化された方法で取得するプログラムのことです。 クローラーがサイトを巡回し、必要な情報を収集することで検索結果に反映されるため、SEOにとって非常に重要な役割を担っています。 そこで本記事では、 クローラーの仕組みについて SEOのためのクローラー最適...
ロボット型検索エンジンとは？Webクローラー自動巡回の仕組み
ロボット型検索エンジンとは ロボット型検索エンジンとは、WWW(World Wide Web)上のWebサイトのページ情報を自動で収集し、あらかじめデータベース化しておくことで、ユーザーが入力した検索キーワードをもとにデータベースに登録されたページのランキング付けを行い、検索結果を表示する仕組みのことです。 主要な検索エンジンはほぼこ...
【閲覧注意】「クロールバジェット」という言葉について
※本記事は、2014年公開当時の情報を基にした記事です。 何やら「クロールバジェット」という言葉が最近お客様の一般的に使われているのを聞くということで先週くらいに社内でちょいちょい話題になっていました。 ※最後に追記あり、むしろそちらを見て下さい、、 クロールバジェット（Crawl Budget）って何ですか 簡単に言うと、「この...
【初心者向け】クローラビリティを改善し、サイトのコンテンツを検索エンジンに正しく発見・認識させる
SEOの文脈で「クローラビリティ」という言葉を聞いたことがある方は多いと思います。クローラーがどのように情報を発見し、受け取るかを理解することで、サイトの改善に役立ててみて下さい。初心者向け記事として大学生の佐々木くんにまとめてもらいました。 「ナイルのSEO相談室」は業界歴15年超のナイルが運営しているメディアです。S...
