网站SEO问答：如何快速诊断自己的网站？

导读：优质的SEO问题整合，可以让更多站长和SEO人员快速找到自己的问题并解决，或学习到更多的SEO知识点。 问题简写一：在设置robots.txt文件时，到底哪些是不想被抓取的页面? 问：这个问题我一直不解，可能是因为我不会设置robots.txt文件的原因。其他人都说可以用robots去屏蔽不想被搜索引擎抓取的页面，但我很迷糊，到底哪些是不想被抓取的页面，都有哪些呢?求黄老师告知...