SEO、访问与防滥用
SEO 基础
站点直接提供 robots.txt、sitemap.xml、分片 sitemap、ads.txt 和 IndexNow key 文件。SEO 配置应至少确认站点 URL、标题描述、公开页面策略与 sitemap 是否使用正式域名。
后台任务可以生成 sitemap;搜索词和资源也可以提交 IndexNow。不要把私有、失效、版权投诉中或标记为 noindex 的资源推送给搜索引擎。
防爬与访问控制
后台提供以下访问控制选项:
- 防爬虫总配置;
- UA 过滤;
- IP 过滤;
- IP + UA 联合过滤;
- FP 指纹过滤;
- 黑名单列表与命中 IP 文件;
- 可疑 UA 统计与解除封禁;
- 验证码、设备注册和设备挑战。
配置原则
- 先观察访问统计和系统日志,再调整阈值;
- 逐项开启,避免无法判断是哪条规则误伤;
- 为运维出口、监控和可信代理保留明确规则;
- 变更后测试首页、搜索、登录、提交和开放接口;
- 记录修改前后的值与时间。
可信代理
Go 服务通过 TRUSTED_PROXIES 识别可信代理,默认值只适用于明确的本地或容器网络。生产环境应按实际反向代理网段配置,否则可能影响客户端 IP 判断与访问限制。