Screaming FrogでテクニカルSEO監査を行う方法 | 完全ガイド

Screaming Frog SEO Spiderとは

Screaming Frog SEO Spiderは、イギリスのScreaming Frog社が開発したデスクトップ型のWebサイトクローラーです。自社サイトやクライアントサイトをクロールし、テクニカルSEOに関するあらゆる問題を自動的に検出します。無料版では最大500URLまでクロール可能で、有料版（年間ライセンス約£199）では無制限のクロールに加え、Google Analytics・Search Consoleとの連携やJavaScriptレンダリングなどの高度な機能が利用できます。

多くのSEOエージェンシーやインハウスSEO担当者にとって、Screaming Frogは日常業務に欠かせないツールとなっています。クラウド型のSEOツールでは実現しにくい詳細なクロールデータの取得と、柔軟なフィルタリング・エクスポート機能により、大規模サイトのテクニカルSEO監査を効率的に実施できます。

初回クロールの設定と実行

Screaming Frogを起動したら、まず対象サイトのURLをアドレスバーに入力してクロールを開始します。ただし、効率的な監査を行うためには、事前にいくつかの設定を調整することが推奨されます。

推奨設定項目

Configuration > Spider：クロール対象のリソースタイプ（画像、CSS、JavaScript等）を選択する。全体像を把握する初回クロールではすべてのリソースを含める
Configuration > Robots.txt：robots.txtの指示に従うか無視するかを設定する。監査目的であればrobots.txtで除外されているページも確認するため「Ignore」を選択する場合がある
Configuration > Speed：クロール速度を調整する。本番サイトに負荷をかけないよう、同時リクエスト数を5以下に設定するのが望ましい
Configuration > User-Agent：クローラーのUser-Agentを設定する。Googlebotとして振る舞うことで、Googleが見ているのと同じコンテンツを取得できる
Configuration > Rendering：JavaScriptレンダリングを有効にすると、SPAやJavaScriptで動的に生成されるコンテンツもクロール対象になる（有料版機能）

主要なSEO問題の検出と対処法

ステータスコードの分析

クロール完了後、「Response Codes」タブでHTTPステータスコードの分布を確認します。特に注意が必要なのは以下のステータスコードです。

301/302リダイレクト：リダイレクトチェーンが発生していないか確認する。3段階以上のチェーンはSEO的に望ましくない
404 Not Found：内部リンクから404ページへのリンクがある場合、ユーザー体験とクロール効率の両方に悪影響がある
500 Internal Server Error：サーバーエラーが発生しているページは早急に修正が必要
soft 404：存在しないページが200ステータスを返している場合、Googleはこれをソフト404として扱い、クロールバジェットを浪費する

タイトルタグとメタディスクリプションの監査

「Page Titles」タブと「Meta Description」タブでは、重複、欠損、長すぎる・短すぎるタイトルタグやメタディスクリプションを一括で検出できます。特にECサイトなど大規模サイトでは、テンプレートによって生成された重複タイトルが数百ページ単位で存在するケースがあり、このツールで効率的に発見できます。

欠損（Missing）：タイトルタグやメタディスクリプションが設定されていないページ
重複（Duplicate）：他のページと同一のタイトルやディスクリプションを持つページ
文字数超過（Over X Characters）：検索結果で切り詰められる長すぎるタイトルやディスクリプション
文字数不足（Below X Characters）：情報量が不十分な短すぎるタイトルやディスクリプション

高度な監査テクニック

カスタム抽出（Custom Extraction）

Screaming Frogの「Custom Extraction」機能を使うと、XPathやCSSセレクタ、正規表現を使って任意の要素をページから抽出できます。例えば、構造化データの特定フィールド値、公開日、著者名、価格情報などを一括で抽出し、コンテンツ監査に活用できます。

クロールデータの可視化

有料版では「Visualisations」メニューからクロールデータをツリーグラフやディレクトリ構造図として可視化できます。サイトの情報アーキテクチャ上の問題点、例えばクリック深度が深すぎるページや孤立したページを視覚的に発見できるため、サイト構造の改善提案に役立ちます。定期的にScreaming Frogでクロールを実行し、前回との差分を比較することで、テクニカルSEOの品質を継続的に維持・向上させることが可能です。