# LetsTG robots.txt
# https://letstg.com/

User-agent: *
Allow: /

# 允许搜索引擎爬取的主要页面（所有语言版本）
Allow: /en/
Allow: /zh/
Allow: /hi/

# 允许爬取群组/频道详情页
Allow: /en/group/
Allow: /en/channel/
Allow: /zh/group/
Allow: /zh/channel/
Allow: /hi/group/
Allow: /hi/channel/

# 禁止爬取需要登录的页面
Disallow: /*/letslink
Disallow: /*/sys/
Disallow: /*/transaction/
Disallow: /*/justlink/
Disallow: /*/tg/vip/
Disallow: /*/tg/ad/
Disallow: /*/store/
Disallow: /*/orderList
Disallow: /*/vipMember
Disallow: /*/contentSearch
Disallow: /*/appeal/

# Sitemap 位置
Sitemap: https://letstg.com/sitemap.xml
Sitemap: https://letstg.com/api/tg/sitemap/index.xml