問題描述:
頁面每天只(zhi)有幾個IP訪(fang)問,流量卻(que)在短時間(jian)內消耗(hao)殆盡。
問題分(fen)析:
通過流量(liang)統(tong)計報告查看到百(bai)分之八(ba)十的流量(liang)都是來自蜘蛛爬蟲。
>
解決方案:
編寫robots.txt文件上傳到網站根目錄中(zhong)。
使(shi)用類似于“Disallow:/ 禁(jin)止允許”的規則對蜘蛛爬蟲進行禁(jin)止。減少蜘蛛抓取對網頁產生(sheng)的流量(liang)。
注意:這樣做雖(sui)然能(neng)減少不必要的(de)流量(liang)。但是會影響到網(wang)頁(ye)的(de)權重(zhong)值。在設(she)定的(de)時候。請(qing)自行(xing)斟酌取舍(she)。
>?
贊
1
有一點幫助
0
沒有幫助