我們都知道網站最佳化是從網站建設的起初就要做的事情，很多時候我們後期的最佳化不到位的原因就是在於網站建設的過程中有些技術問題導致的。這些技術很多時候被稱為蜘蛛陷阱，不知道您的網站是否有掉進這個陷阱中呢？今天我們就來總結一下蜘蛛陷阱是體現在哪裡的呢？網站技術方面的陷阱：
有的網站整個頁就是一個很大的 flash，這就構成了蜘蛛陷阱。搜尋引擎住宅區的 html 程式碼只有一個鏈向 flash 檔案的連結，沒有其他文字內容。還有網站在頁的 banner 就使用一個 flash，並且新增活動連結，雖然對多使用者來說能夠直觀的看到活動內容，但是對於蜘蛛來說，就無法識別，而且抓取不到 flash 的鏈向地址。由於 javaScript 可以創再出很多吸引人的視覺效果，有些網站喜歡使用 javascript 指令碼生成導航系統。這也是比較嚴重的蜘蛛陷阱之一，雖然搜尋引擎都在嘗試解析 JS 指令碼，不過我們不能寄希望與搜尋引擎自己去客服困難，而要讓搜尋引擎跟蹤爬行連結的工作儘量簡單容易。 jacascritp 連結在 SEO 站群中也有特殊用途，那就是站群站長不希望被收錄的頁面，比希望被百度抓起的連結，可以使用 javascript 指令碼阻止搜尋引擎蜘蛛爬行！很多網站為了實現某種功能，強制使用 cookies, 多使用者瀏覽器如果沒有啟用 cookies，頁面顯示不正常。搜尋引擎蜘蛛就相當於一個禁止了 cookies 的瀏覽器，強制使用 cookies 只能造成搜尋引擎蜘蛛無法正常訪問。雖然現在搜尋引擎在不斷完善他的抓取功能，但是我們也要儘量避免不友好的頁面，不然會給我們的網站帶來不必要的麻煩。
網站佈局方面的陷阱：使用框架結構設計頁面，在網站誕生初期曾經聽流行，但是現在網站已經很少使用框架了，不利於搜尋引擎抓取是框架越來越不流行的重要原因之一，對於搜尋引擎來說，訪問一個使用框架的網址所抓取的 html 只包含呼叫其他 html 檔案的程式碼，並不包含任何文字資訊。搜尋引擎無法判斷這個網址的內容是什麼。總之，如果您的網站還在使用框架，或者您的老闆要使用框架結構，要記住的是，忘記使用框架這回事。和 Flash 一樣，別浪費時間研究怎麼讓搜尋引擎收錄框架結構網站。有些網站的內容需要多使用者登入後才能看到的頁面，這部分內容搜尋引擎是無法看到的。這個要注意確定是否是需要登入以後才能看到。有些網站使用 sission ID（會話 ID）跟蹤多使用者訪問，每個多使用者訪問都會生成一個獨特的 session ID，加在 URL 中。搜尋引擎蜘蛛的每一次訪問也會被當成一個新的多使用者，URL 中會加上一個不同的 session ID，這樣搜尋引，擎每次來訪問時所得到的同一個頁面的 URL 將不一樣，後面帶著一個不一樣的 session ID 。這也是常見的蜘蛛陷阱之一。其他陷阱：除了 301 跳轉以外，搜尋引擎蜘蛛對其他形式的跳轉都比較敏感，如 302 跳轉，javascript 跳轉、 meta refresh 跳轉。如果必須轉向，301 轉向是搜尋引擎推薦的、用於網站更改的轉向，可以吧頁面權重從舊網址轉移到新網址。其他的轉向方式都對蜘蛛爬行不利。所以除非萬不得已，儘量不要使用 301 轉向以外的跳轉。動態 URL 值的是資料庫驅動的網站所生成的、帶有問號、等號及引數的網址。一般來說動態 URL 不利於搜尋引擎蜘蛛爬行，應該儘量避免。雖然百度現在已經能夠識別動態 URL 了，但是也不能保證百分百能識別。
