展开手册
关闭手册
广告通
域名
常见问题
数字门户
网站管理
营销管理
客户管理
安全中心
管理设置
常见问题FAQ
全球门户2022/2023
首页概况
营销渠道
数字门户智能客服系统
外贸营销云
多渠道电商
多渠道电商功能介绍手册
渠道
SSL证书
网站管理
基础优化-Robots设置
Robots.txt编辑器
robots是网站跟搜索引擎爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫哪些页面可以抓取,哪些页面禁止抓取
图4:Robots文件编辑
1) 网站上线时会自动生成默认robots.txt文件
2) 用户可以在线编辑、保存robots.txt文件的内容,建议专业人士错误,如果不熟悉robots规则,出现不正确的规则将会影响搜索引擎抓取和收录
有帮助
无帮助