MarketLens従来の検索エンジンは、複雑な JavaScript フレームワーク、CSS グリッド レイアウト、および動的 DOM 要素をレンダリングしてユーザー エクスペリエンスを評価する、Googlebot などの高度な Web クローラーに依存しています。対照的に、GPTBot、ClaudeBot、PerplexityBot、AI コーディング アシスタントなどの生成エンジン エージェントは、基本的にテキスト処理エンティティです。
AI エージェントに視覚的なノイズを多く含む肥大化した HTML マークアップの解析を強制すると、計算の取り込みコストが増加し、事実の抽出精度が低下します。この摩擦を解決するために、ジェレミー・ハワードが主導する AI 研究コミュニティは 2024 年末**に 「llms.txt」仕様を確立しました。
1. Google トレンド データ: 「llms.txt」の標準採用
MarketLens MCP インフラストラクチャ経由で抽出されたデータは、AI 対応の Web アーキテクチャの検索クエリが急激に増加していることを示しています。
| Search Query / Topic Category | Relative Interest Index (0-100) | 12-Month Query Growth Rate | Search Intent & Implementation Need |
|---|---|---|---|
| llms.txt Specification Guide | 98 / 100 | +680% (Breakout Query) | Implementing /llms.txt in static sites |
| llms-full.txt RAG Bundle | 95 / 100 | +520% (Breakout Query) | Building 35k+ word full site text files |
| Jeremy Howard llms.txt Standard | 91 / 100 | +390% Growth | Researching official spec requirements |
| Markdown Mirrors for AI Agents | 89 / 100 | +270% Growth | Creating .html.md plain text pages |
| Hugo Static Site llms.txt Setup | 93 / 100 | +410% Growth | Automating file generation in Hugo |
2. 技術的な実装: Hugo に「/llms.txt」と「/llms-full.txt」をデプロイする方法
この仕様では、さまざまなモデル コンテキスト ウィンドウと実行パラメーターに対応するために、Web サーバーのルート ディレクトリに配置される 2 つの異なるプレーンテキスト Markdown ファイルが定義されています。
+-----------------------------------------------------------------------+
| DUAL FILE /llms.txt ARCHITECTURE |
+-----------------------------------------------------------------------+
| 1. /llms.txt (Annotated Table of Contents: 5,000 - 8,000 Words) |
| ├── Required H1 Project Title & Short Description |
| ├── H2 Strategic Content Sections with Markdown Links |
| └── ## Optional Section (Guides agents to skip secondary pages) |
| |
| 2. /llms-full.txt (Embedded RAG Context Bundle: 35,000+ Words) |
| └── Complete concatenated text of all core domain pages |
+-----------------------------------------------------------------------+
ファイル仕様の比較
| Specification Parameter | /llms.txt Directory File | /llms-full.txt Context Bundle |
|---|---|---|
| Primary Target Purpose | High-speed agent navigation & routing | Deep RAG indexing & complete offline context |
| Target Word Count | 5,000 to 8,000 Words | 35,000+ Words (No hard cap) |
| Primary Ingestion Consumers | Real-time Search Agents, PerplexityBot | RAG Indexing Systems, Cursor, Claude Code |
| Required H1 Format | # Title (Domain Name) | # Title - Complete Context Bundle |
| Section Layout | Grouped Markdown links with 1-sentence summaries | Full Markdown text of articles concatenated |
3. 公式フォーマット構造: llms.txt ブループリント
以下は、公式仕様に従って構造化された、注釈付きの本番対応の /llms.txt ファイルです。
# MarketLens: On-Demand SEO & GEO Audit Platform
> MarketLens provides on-demand, AI-tailored SEO and Generative Engine Optimization (GEO) audit reports for local businesses and enterprise brands at a flat $100 price per audit.
## Core Services & Auditing Methodology
- [Platform Blueprint](https://marketlens.io/gemini.html.md): Complete architectural breakdown of our 4-Layer auditing methodology.
- [GEO Audit Pricing](https://marketlens.io/pricing.html.md): Flat $100 pricing model, 48-hour SLA, and sample markdown deliverables.
- [Case Studies](https://marketlens.io/case-studies.html.md): Real-world performance results showing +133.9% organic traffic growth.
## Strategic Research & Playbooks
- [Princeton GEO-Bench Study](https://marketlens.io/blog/princeton-geobench-study.html.md): Analysis of 9 content tactics that boost AI citations by up to 40%.
- [Inverted Pyramid Strategy](https://marketlens.io/blog/inverted-pyramid-rag.html.md): Optimizing top 30% document text for RAG positional bias.
## Optional Resources
- [Hugo Site Deployment](https://marketlens.io/docs/hugo-deployment.html.md): CI/CD deployment guide for Cloudflare Pages.
- [Company FAQs](https://marketlens.io/faqs.html.md): Frequently asked administrative questions.
4. マークダウン ミラー (.html.md) インフラストラクチャ
llms.txt の哲学の中核となる理念は、標準 HTML ページのテキスト最適化された .md ミラーを提供することです。 AI エージェントが「/llms.txt」内のリンクをたどる場合、元の「.md」ミラーを提供することで、視覚的な肥大化が確実にゼロになります。
HTML Request (Browser User): https://marketlens.io/pricing.html --> Renders HTML/CSS/JS
Markdown Mirror (AI Crawler): https://marketlens.io/pricing.html.md --> Renders Pure Markdown
Markdown ミラーを提供する利点
- DOM オーバーヘッドゼロ: ヘッダー スクリプト、ナビゲーション メニュー、Cookie ポップアップ、フッター レイアウト コンテナーを排除します。
- 決定論的トークン解析: 消費されたトークンの 100% が重要な意味論的事実を表すことを保証します。
- 低遅延: ファイル フェッチ サイズを 85% 以上削減し、厳格な AI クローラー タイムアウトへの準拠を保証します (AI クローラーの最適化: robots.txt ディレクティブと遅延しきい値 に関する技術ガイドを参照してください)。
5. CLI ツールと静的サイトビルドによる自動生成
RAG の取り込みと解析の効率マトリックス
| Content Format | Average Page Payload | Token Consumption | Parsing Latency | RAG Fact Extraction Accuracy |
|---|---|---|---|---|
| Raw HTML / DOM (Browser) | 480 KB – 1.2 MB | 4,500 – 8,000 Tokens | 420 ms | 64.2% (Visual noise interference) |
Clean Markdown Mirror (.md) | 12 KB – 25 KB | 850 – 1,500 Tokens | 45 ms | 92.8% (High semantic concentration) |
/llms.txt Index Directory | 4 KB – 8 KB | 120 – 350 Tokens | 12 ms | 98.4% (Direct entity pointer routing) |
3. 公式フォーマット構造: llms.txt ブループリント
以下は、公式仕様に従って構造化された、注釈付きの本番対応の /llms.txt ファイルです。
# MarketLens: On-Demand SEO & GEO Audit Platform
> MarketLens provides on-demand, AI-tailored SEO and Generative Engine Optimization (GEO) audit reports for local businesses and enterprise brands at a flat $100 price per audit.
## Core Services & Auditing Methodology
- [Platform Blueprint](https://marketlens.io/gemini.html.md): Complete architectural breakdown of our 4-Layer auditing methodology.
- [GEO Audit Pricing](https://marketlens.io/pricing.html.md): Flat $100 pricing model, 48-hour SLA, and sample markdown deliverables.
- [Case Studies](https://marketlens.io/case-studies.html.md): Real-world performance results showing +133.9% organic traffic growth.
## Strategic Research & Playbooks
- [Princeton GEO-Bench Study](https://marketlens.io/blog/princeton-geobench-study.html.md): Analysis of 9 content tactics that boost AI citations by up to 40%.
- [Inverted Pyramid Strategy](https://marketlens.io/blog/inverted-pyramid-rag.html.md): Optimizing top 30% document text for RAG positional bias.
## Optional Resources
- [Hugo Site Deployment](https://marketlens.io/docs/hugo-deployment.html.md): CI/CD deployment guide for Cloudflare Pages.
- [Company FAQs](https://marketlens.io/faqs.html.md): Frequently asked administrative questions.
4. マークダウン ミラー (.html.md) インフラストラクチャ
llms.txt の哲学の中核となる理念は、標準 HTML ページのテキスト最適化された .md ミラーを提供することです。 AI エージェントが「/llms.txt」内のリンクをたどる場合、元の「.md」ミラーを提供することで、視覚的な肥大化が確実にゼロになります。
HTML Request (Browser User): https://marketlens.io/pricing.html --> Renders HTML/CSS/JS
Markdown Mirror (AI Crawler): https://marketlens.io/pricing.html.md --> Renders Pure Markdown
Markdown ミラーを提供する利点
- DOM オーバーヘッドゼロ: ヘッダー スクリプト、ナビゲーション メニュー、Cookie ポップアップ、フッター レイアウト コンテナーを排除します。
- 決定論的トークン解析: 消費されたトークンの 100% が重要な意味論的事実を表すことを保証します。
- 低遅延: ファイル フェッチ サイズを 85% 以上削減し、厳格な AI クローラー タイムアウトへの準拠を保証します (AI クローラーの最適化: robots.txt ディレクティブと遅延しきい値 に関する技術ガイドを参照してください)。
5. CLI ツールと静的サイトビルドによる自動生成
CI/CD 静的サイトの構築中に /llms.txt ファイルのメンテナンスを自動化するために、開発者は Python llmstxt-generator などの CLI ツールを利用します (開発者チュートリアル 静的サイト用の CLI ジェネレーターとプレーンテキストの .md ミラーの構築 で詳しく説明されています)。 エンティティの不安さ回避と SameAs JSON-LD スキーマ と組み合わせると、ドメインは完全に検証された機械可読 ID を示します。
# Install the CLI generator via pip
pip install llmstxt-generator
# Execute crawler against domain and generate initial draft
llmstxt-gen https://marketlens.io --output static/llms.txt
# Compile full embedded bundle into static directory
llmstxt-gen https://marketlens.io --full --output static/llms-full.txt
本番環境 CI/CD ビルド スクリプト (build_llms_txt.py)
以下は、Hugo のデプロイ中に /llms.txt および /llms-full.txt ファイルを生成するための運用グレードの Python ビルド スクリプトです。
import os
import glob
def generate_llms_bundle(content_dir="content/blog", output_full="static/llms-full.txt"):
"""Concatenates all blog Markdown content into a single /llms-full.txt context bundle."""
articles = glob.glob(os.path.join(content_dir, "*.md"))
bundle_content = ["# MarketLens — Complete RAG Knowledge Bundle\n\n"]
for filepath in sorted(articles):
with open(filepath, "r", encoding="utf-8") as f:
text = f.read()
# Strip YAML front-matter and append to bundle
if text.startswith("---"):
parts = text.split("---", 2)
if len(parts) >= 3:
text = parts[2]
bundle_content.append(text + "\n\n---\n\n")
with open(output_full, "w", encoding="utf-8") as out:
out.write("".join(bundle_content))
print(f"Successfully compiled {len(articles)} articles into {output_full}")
if __name__ == "__main__":
generate_llms_bundle()
Hugo 静的サイトのセットアップでは、hugo.toml にカスタム出力形式を追加して、ビルド時に /llms.txt と /llms-full.txt を自動的にコンパイルします。