Création de générateurs CLI et de miroirs `.md` en texte brut pour les sites statiques

Alors que la conception Web visuelle repose sur des mises en page CSS riches, des interactions JavaScript et des ressources multimédias, les robots d’exploration Generative Engine nécessitent des données textuelles impeccables et sans bruit. Pour les équipes de développeurs exploitant des sites statiques construits sur des frameworks tels que Hugo, l’automatisation de la génération de miroirs .md en texte brut et de répertoires /llms.txt constitue l’avantage concurrentiel technique ultime.

En tirant parti des outils CLI tels que llmstxt-generator et des formats de sortie de build Hugo personnalisés, les développeurs peuvent gérer de manière transparente deux interfaces visuelles et textuelles.

1. Données Google Trends : automatisation de site statique et miroirs Markdown

Les données extraites via l’infrastructure MarketLens MCP montrent l’intérêt croissant des développeurs pour les outils automatisés de pipeline de texte d’IA :

2. L’architecture à double rendu (.html vs .html.md)

L’infrastructure GEO moderne sert deux atouts distincts en fonction du client demandeur :

+-----------------------------------------------------------------------+
|                    DUAL-RENDERING STATIC ARCHITECTURE                 |
+-----------------------------------------------------------------------+
| Human User Request   -->  https://marketlens.io/pricing.html          |
|                           (Renders Full HTML / CSS / JS Layout)       |
|                                                                       |
| AI Crawler Request   -->  https://marketlens.io/pricing.html.md       |
|                           (Renders Pure Text Markdown Mirror)         |
+-----------------------------------------------------------------------+

3. Configuration des formats de sortie Hugo pour les miroirs Markdown

Pour configurer Hugo afin qu’il compile automatiquement un miroir Markdown .html.md pour chaque article publié, ajoutez la configuration suivante à votre hugo.toml :

# Hugo Custom Output Format Configuration for Markdown Mirrors
[outputFormats]
  [outputFormats.MarkdownMirror]
    mediaType = "text/markdown"
    baseName = "index"
    isPlainText = true
    fileSuffix = ".html.md"

[outputs]
  home = ["HTML", "RSS", "MarkdownMirror"]
  page = ["HTML", "MarkdownMirror"]
  section = ["HTML"]

Pour les spécifications globales des fichiers, consultez Implémentation de la norme llms.txt pour les agents IA, automatisez les tâches de build avec Automatisation des déploiements Hugo avec GitHub Actions CI/CD, et planifiez l’architecture de site statique dans Migration de WordPress vers les sites statiques Hugo.

Modèle de mise en page pour miroir d’une seule page

Créez un modèle de mise en page unique dans layouts/_default/single.md :

# {{ .Title }}

> Author: {{ .Params.author | default "MarketLens Team" }}
> Date: {{ .Date.Format "2006-01-02" }}
> Canonical URL: {{ .Permalink }}

## Overview
{{ .Description }}

## Content
{{ .RawContent }}

## Frequently Asked Questions
{{ range .Params.faqData }}
### {{ .question }}
{{ .answer }}
{{ end }}

4. Automatisation de /llms.txt via CLI dans les pipelines CI/CD

Les développeurs peuvent automatiser la création des fichiers racine /llms.txt et /llms-full.txt à l’aide du package Python llmstxt-generator pendant l’exécution de la build CI/CD.

Étape du workflow de déploiement des actions GitHub

Ajoutez l’étape suivante à votre pipeline .github/workflows/deploy.yml :

name: Generate AI Text Directory
on:
  push:
    branches: [ main ]

jobs:
  build-and-deploy:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v3

      - name: Set up Python
        uses: actions/setup-python@v4
        with:
          python-version: '3.10'

      - name: Install Generator CLI
        run: pip install llmstxt-generator

      - name: Build Hugo Static Site
        run: hugo --minify

      - name: Compile llms.txt & llms-full.txt
        run: |
          llmstxt-gen public/ --output public/llms.txt
          llmstxt-gen public/ --full --output public/llms-full.txt

      - name: Deploy to Cloudflare Pages
        uses: cloudflare/pages-action@v1
        with:
          apiToken: ${{ secrets.CLOUDFLARE_API_TOKEN }}
          accountId: ${{ secrets.CLOUDFLARE_ACCOUNT_ID }}
          projectName: marketlens
          directory: public

5. Delta de performances : charge utile HTML et miroir Markdown