本站是一个新站,已经整整一个月了,百度还没有收录内页,博主都开始怀疑百度蜘蛛到底有没有来过了。于是决定查看 Apache 日志分析一下,看百度蜘蛛到底来没来过。
博主的日志在 /var/log/apache2/
日志文件下载到本机后用 baretail (日志分析工具)高亮 baidu.com/search

这说明百度蜘蛛来过。可是,等等,上面的记录是什么鬼?请求中为什么有别人家的网站地址呢?
有人说可能是有人在测试服务器有没有支持正向代理,看了一会儿也没有搞清楚是什么情况,更没有在本地模拟出类似情况来,所以暂时先放一放,若有知道的,望不吝告知,感谢!
既然有人测试,不得不防,想起来我的服务器错误页会返回web 服务器版本信息什么,我得关闭这个功能。
Ubuntu 系统下
vi /etc/apache2/apache2.conf
设置如下,如果没有,自己添加一下。
ServerSignature Off
ServerTokens Prod
记得reload 一下
service apache2 reload
这样错误页面就由之前这样(本地演示哈^_^ )

变成这样了
