近日百度Spider升级了对HTTPS数据的抓取力度,HTTPS数据将更快被Spider抓取到。如网站还在做HTTPS的改造,且网站数据未搭建好,建议网站采取以下措施,避免Spider抓取,以免造成网站流量损失
1、把HTTPS的协议封掉,可把443端口关掉;
2、做HTTPS到http的301;
3、建议站点在改HTTPS没改造好之前,不要提供超链接指向,以免被Spider抓到HTTPS。
HTTPS站点如何做才能让百度蜘蛛抓取
龙卷风可以根据user-agent来判断spider。然后做301/302定向,百度spider引擎定向到HTTP
非百度SPIDER 定向到HTTPS
目前百度的度各个产品使用的user-agent:
龙卷风目前有两种优化方法
第一种方法:可以采用.htaccess 301重定向
RewriteEngine On
# BEGIN Force SSL
RewriteCond %{HTTPS} !on [NC]