外贸网站的robots.txt写错了,会有什么后果?

外贸网站的robots.txt写错了,会有什么后果? 不少外贸企业把网站交给外部人员改过一次以后,会突然发现搜索流量开始下滑,收录的页面一天比一天少。排查半天找不到原因,问题常常出在一个只有几行字的文件上。robots.txt 藏在网站根目录,平时没人注意,一旦写错,影响面却不小。 robots.txt 是做什么的,放在哪里 robots.txt 是一个纯文本文件,用来说明搜索引擎的抓取程序可以访问网站上的哪些地址、不可以访问哪些地址。它放在网站的根目录,也就是通过域名后面直接加斜杠就能访问到。访问域名下的斜杠加 robots.txt,如果能看到内容,说明文件位置是对的;如果显示找不到页面,那…