# llms.txt - 针对LLM爬虫的抓取规则（SEO优化版）
# 最后更新时间：2026-03-16

# 1. 定义适用的AI爬虫（常见LLM爬虫标识）
User-agent: GPTBot        # OpenAI的GPT爬虫
User-agent: ClaudeBot     # Anthropic的Claude爬虫
User-agent: DoubaoBot     # 豆包爬虫
User-agent: *             # 所有未指定的AI爬虫

# 2. 允许抓取的核心SEO页面（优先引导抓取高价值页面）
Allow: /                 # 允许根目录
Allow: /sitemap.xml      # 允许抓取站点地图，辅助AI理解网站结构

# 3. 禁止抓取的低价值/隐私页面（避免分散SEO权重）
Disallow: /admin/        # 后台管理页
Disallow: /xadmin/       # 后台管理页
Disallow: /cart/         # 购物车（动态内容，无SEO价值）
Disallow: /404.html      # 404页面
Disallow: /temp/         # 临时页面
Disallow: /*?*utm=       # 带UTM参数的链接（避免重复抓取）
Disallow: /api/
Disallow: /goods/info?
Disallow: /my/
Disallow: /my-goods/
Disallow: /runtime/
Disallow: /vendor/

# 4. SEO优化补充：引导AI识别核心信息
Site-name: XOOBAY          # 强化品牌词关联
Site-description: XOOBAY | Global Wholesale Marketplace for Web3 B2B & B2C Trade.  # 帮助AI理解网站定位
Priority-pages: /products/   # 高优先级页面（核心SEO页面）
Source-attribution: required    # 要求AI引用时标注来源（提升品牌曝光）