「サイトを検索AIに最適化させたい」と聞かれたら

最近はお客さんから、「AIで表示されやすいサイトにしてほしい」というご要望が多くなってきました。ChatGPTのDeep Researchなど、検索AIを使った方はその精度に驚かれる一方、「今までのSEO手法が通用しなくなってしまうのでは」という心配もあるようです。

検索AI経由のセッション

今回は、そんな疑問に答えるべく、サイトのAI対応に使えるllms.txt についてご紹介します。

llms.txtとは
サイト実際に表示される文字や画像ではなく、サイトを見に来たAIに効率的に情報を伝えるための見えないファイルです。

今までは、サイトを見に来るAIはGoogleの検索エンジン用クローラーがほとんどでしたので、SEO用のrobots.txt というファイルを作成して、クローラーにどのページを見に来て欲しいかなどを指示していました。

llms.txt は、いわばこのrobots.txt のAI版で、マークダウン形式というAIが読み取りやすい形で記述されていることが特徴です。

llms.txtに何を書くか
主に、以下のような情報を記載することが推奨されています。

① AIクローラーの制御
llms.txtでは、特定のAIクローラーに対して「サイトをどのようにクロールしてほしいか」を指示できます。例えば、ChatGPTのDeep ResearchやPerplexity AIなど、サイトの情報を学習・検索に活用するAIが増えているため、それぞれのクローラーへの対応を考えることが重要です。

ChatGPTのクローラーを許可する場合は、

User-agent: ChatGPT-User

のように記載します。

② コンテンツの利用ルール（ライセンス情報）
最近では、AIがサイトのデータを学習し、それを他のユーザーに提供するケースが増えています。そのため、サイトのコンテンツをAIがどのように扱ってよいのかを明記することが重要になります。

AI-training: Allow /public-content/
AI-training: Disallow /members-only/

のように、一部のコンテンツのAI学習許可や、不許可をすることができます。

③ クロール頻度の指定（サーバー負荷対策）
AIクローラーが頻繁にサイトを訪れると、サーバーに負荷がかかる可能性があります。特にトラフィックが多いサイトでは、クロールの頻度を制限することが推奨されます。

Crawl-delay: 10

のように記載することで、過度なクロールの制限が可能です。

④ 正規URLの指定（重複コンテンツの管理）
サイト内に類似ページが複数ある場合、AIがどのページを「正式なページ」として扱うべきかを伝えることができます。

Canonical: https://www.example.com/canonical-page/

llms.txtの設置方法
llms.txtは、サイトのルートディレクトリ（トップ階層）に設置します。
例えば、https://example.com/llms.txt のような形になります。