Disallow: /*.php$ #禁止访问php文件
Disallow: /*.css$ #禁止访问css
三、robots.txt文件10个注意事项
01
robots.txt文件名必须全部小写，不要为追求个性写成RoboTs.txt等形式；并且只能放在网站根目录下面。
02
网站未创建robots.txt文件，则代表默认网站所有文件向所有搜索引擎开放爬取。
03
要检查robots.txt文件是否达到了预期的效果，可以通过枫树SEO网站长工具中的robots检测工具测试。
04
一般情况下，robots.txt里只写着两个函数：User-agent和 Disallow；Allow默认搜索引擎是会抓取你网站所有内容的。
05
robtos.txt文件内可以放上Sitemap文件地址，方便告诉搜索引擎Sitemap文件地址。
06
在robots.txt中至少要有一条Disallow，如果都允许收录，则写: Disallow: 如果都不允许收录，则写:Disallow: / （注：只是差一个斜杆）。
07
允许有多个User-agent，如果对所有爬取蜘蛛生效，则用“*”星号表示。
08
有几个禁止，就得有几个Disallow函数，并分行描述。
09
不要使用 robots.txt 文件禁掉敏感数据（比如用户数据）
10
网站运营过程中，可以根据情况对robots.txt文件进行更新，屏蔽一些不要搜索引擎抓取的文件地址。
以上就是robots.txt文件配置和使用方法详解了，掌握了这些也许可以让你的SEO技术再升一级！有关robots.txt文件的写法、用法，如果还有什么疑问，也可以到枫树圈子积极讨论。返回搜狐，查看更多
平台声明：该文观点仅代表作者本人，搜狐号系信息发布平台，搜狐仅提供信息存储空间服务。
阅读 ()