平時我們在做站羣 SEO 優化的時候,會經常遇到這樣的問題:站羣服務器訪問 CPU 使用率幾乎 100%,而且頁面載入速度特別慢,貌似被 DDOS 攻擊一樣。
在我們的一系列調查中,我們發現自己的目標 WordPress 站羣網站經常被大量不相關的爬蟲類抓住,對於小 WordPress 站羣網站來説可能是彌天大禍。
因此,在優化 WordPress 站羣網站時,需要對特定蜘蛛進行選擇性的指導。
那麼,如何與惡意的蜘蛛暗度陳倉?
針對一些資源密集型 WordPress 站羣網站,每天可能爬行數千次。
這種爬蟲類並不少見。
如果果企業參與你自己的 WordPress 站羣網站,最簡單的策略是在 robots 協議中完全關閉這樣的爬蟲類。
3、內容p>面對惡意內容收集爬蟲類,相對尷尬,對方多采用隱藏狀態。
例如,模擬著名搜索引擎蜘蛛的名字。
對於這樣的問題,我們只能手動判斷審查對方廬山的真面目。
例如,利用 IP 泛解析命令,判斷是否真實。
①Linux 平台:hostip ②Widows 平台:nslookupIP 從而去判斷對方的解析地址,是否為對應的搜索引擎多域名。
?4 、蜘蛛池爬蟲?
沒有合理的蜘蛛爬行和限制,站羣服務器資源被大量佔有,服務提供商容易關閉站羣服務器。
如果你試圖利用這個策略,提升自己頁面收錄,那麼,你可能需要多加註意。
(但是我們不推薦) 、、站羣優化 SEO 是一項細節性的工作,每一步都會影響 WordPress 站羣網站整體的運營狀態,但上述內容只是淺析,適用於中小站長,希望對大家有所幫助。