2024-11-20

`robots txt` 是一个简单的文本文件，用于告诉网络爬虫（如搜索引擎蜘蛛）如何与您的网站互动。这个文件通常放在网站的根目录下。下面是一