SEO
sitemapとrobots.txtを正しく使う
sitemapは発見性を助けるファイル、robots.txtはクロール交通整理のファイルです。非公開情報を守るセキュリティ機構として扱ってはいけません。
ui.design: meta-wellknown
まず確認する症状
- 新規ページが内部リンクやsitemapから見つけにくい。
- 非公開にしたいURLをrobots.txtだけで隠している。
- ページは存在するが、検索エンジンやAIが主題、階層、更新日、関連ページを取り出しにくい。
- metadata、H1、パンくず、内部リンク、sitemap、llms.txtの説明がそれぞれ別の内容を指している。
なぜ問題か
- 新しいナレッジページ群はsitemapに含めることで発見されやすくなります。
- robots.txtはアクセス制御ではないため、公開すべきでない情報は公開しない設計が必要です。
- SEOとAI参照性は、1つのタグではなく、HTML本文、内部リンク、構造化データ、sitemapの整合で決まります。
- 機械可読性が弱いと、良い本文があっても検索結果、AI要約、コーディングエージェントの参照に乗りにくくなります。
診断で見る指標
sitemap.xmlの有無
robots.txtのSitemap行
noindex/robotsの矛盾
公開ページの内部リンク
HTML本文とmetadataの一致
canonical/index/noindexの整合
構造化データ検証結果
内部リンクからの到達性
sitemapとrobotsの矛盾
sitemap登録URL
lastModified
robotsのDisallow
noindexとの矛盾
Search Console送信
修正方法
最小修正
sitemapに公開ページを入れる
静的ページとLearn記事をsitemapへ含めます。
推奨修正
robotsの目的を限定する
APIや一時ページを整理し、公開したいLearnページをブロックしないようにします。
さらに改善
Search Consoleで発見状況を見る
送信済みsitemap、検出済みURL、クロールエラーを確認します。
受け入れ条件
- 01PCとスマホの両方で目視確認し、主なCTAまたは操作対象が迷わず見つかる。
- 02キーボード操作、読み上げ補助、または自動検査で再発しやすい項目を確認する。
- 03修正後にui.designで再スキャンし、同じ所見が残る場合は原因を分解する。
- 04HTML本文、title、description、H1、構造化データ、内部リンクの主題が同じページ意図を示している。
- 05公開したいページが通常のHTMLリンクとsitemapから発見でき、robotsやnoindexで塞がれていない。
- 06公開したいページがsitemapに含まれ、robots.txtのSitemap行から発見できる。
- 07非公開やAPIは公開リンクやsitemapに出さず、robots.txtだけを秘密保持の手段にしていない。
コーディングエージェント向け修正指示
目的: sitemap.xmlに公開ページとLearn記事を含め、robots.txtにSitemap行があることを確認してください。公開したいページをDisallowやnoindexで塞がないでください。 追加確認: 新規公開ページを追加したら、HTMLリンク、sitemap、robots、noindex、canonicalをまとめて確認してください。
参考資料
よくある失敗
- robots.txtを認証や秘密保持の代わりに使う。
- 見た目だけを整え、見出し、リンク、フォームラベルなどの意味構造を直さない。
- 1つの指摘だけを直し、同じ原因から出た別画面の再発を確認しない。
- 検索向けの文言だけをmetadataに詰め、画面上の本文やH1と違う約束をする。
- llms.txtやsitemapだけを更新し、実際のHTMLリンクから辿れないページを増やす。