通过老虎的sitemap生成器,生成Google的Sitemap.xml很好,强烈支持。建议在以下方面提升:
1、最大的问题是爬行有缺陷,似乎很多重要链接都找不到。有些奇怪。
2、虽然可以设定多个线程,但速度确实很慢,几个小时都还做不完,搞得我半夜2点过还在这里弄。
3、链接的权重建议做修改:根据链接的层数来设定,默认权重,比如:第一层,默认权重是9,第二层默认是8,以此类推,比全部设定一个权重好。
老虎的sitemap地址:http://www.linglihu.com/post/Sitemap0.3.html