當 Google 和其他 SEO 站羣搜索引擎索引網站的時候,他們並不執行 JavaScript,這似乎是在向 WordPress 單頁網站靠攏,其中許多 WordPress 單頁網站都依靠 JavaScript——與傳統網站相比存在明顯的劣勢。
  然而,WordPress 單頁網站實際上和傳統的網站相比,在 SEO 站羣搜索引擎優化(SEO 站羣)上的確是有優勢的,因為 Google 和其它網站已經公認了這方面的挑戰。他們已經為 WordPress 單頁網站建立了一個機制——不僅將他們的動態頁面編入索引,還專門針對互聯網爬蟲來優化網站頁面。
在本文中,我們將主要關注 Google,不過其它大型 SEO 站羣搜索引擎如 Yahoo!和 Bing 都支援相同的機制。
  Google 是如何抓取 WordPress 單頁網站的
   當 Google 索引一個傳統網站的時候,它的互聯網爬蟲(稱之為 Googlebot)首先會掃描並檢索頂層 URL 內容。一旦這一步驟完成,互聯網爬蟲就會跟 蹤 WordPress 網頁上的所有連結,同時還會給那些 WordPress 網頁編寫索引。接著就是重複性步驟——繼續跟蹤後續 WordPress 網頁,最終會給此 WordPress 網頁上和相關領域內的所有內容編寫索引。 
        當 Google 試圖檢索一個 WordPress 單頁網站的時候,它所看到的只是一個單一的 HTML 空容器(通常情況下是一個空的 div 或 body tag),所以根本沒有東西可以檢索,也沒有連結可以抓取,更沒辦法索引相應的網站。
  不過這還沒有結束,值得慶幸的是,Google 和其它 SEO 站羣搜索引擎已經意識到 WordPress 單頁網站的重要性,同時為開發者提供工具——為互聯網爬蟲提供搜尋資訊,這可能是比傳統網站優越的地方。
  怎樣製作一個可抓取的 WordPress 單頁網站
   製作一個可抓取的 WordPress 單頁網站的關鍵第一步就是必須意識到:如果一個互聯網爬蟲或者一個使用 Web 瀏覽器的使用者提出需求的時候,網站的站羣服務器必須給出相應的回 復。對於一般的訪客只需要給出正常的回覆即可;但是對於一個互聯網爬蟲,就需要回到優化過的 WordPress 網頁,向互聯網爬蟲展示訪客想要知道的內容,同時還要將格式設定為 互聯網爬蟲輕易就能夠讀出的格式。
        那麼一個優化過後、防互聯網爬蟲的網站主頁看上去像什麼樣子呢?有可能網站 Logo 或者其它的主要圖片會出現在搜尋結果裏,一些 SEO 站羣優化的文字可以解釋你所搜尋的網站是做什麼的,當然了,Google 最好是把 WordPress 網頁上的 HTML 連結編入檢索比較好。
  不過 WordPress 網頁上沒有任何 CSS 樣式或複雜的 HTML 結構,也沒有任何 JavaScript,或者是我們不希望谷歌索引連線到網站區域。下圖所顯示的就是瀏覽器(左)和互聯網爬蟲(右)看的 WordPress 網頁的情形。
   為互聯網爬蟲自定義內容
  通常,WordPress 單頁網站連結到不同的內容會使用符號 (# !) 。另外,這些連結在對待訪客和互聯網爬蟲的時候不會遵循同樣的方式。
   案例:在 WordPress 單頁網站上鍊接到使用者頁面看上去就像/index.htm#!page=user:id,123,互聯網爬蟲可能會看到 #! 並尋找帶有 URL /index.htm?_escaped_fragment_=page=user:id,123 的 WordPress 網頁。由於互聯網爬蟲會遵循這一模式並尋找 URL,所以 開發者可以給站羣服務器編寫程式以回覆帶有 HTML 快照的頁面需求,這在瀏覽器裏也可以很正常的通過 JavaScript 來進行渲染。
      這些快照可能會被 Google 索引,但是在 Google 搜尋結果裏的任何人點選清單都將被送往 /index.htm#!page=user:id,123 。在 WordPress 單頁網站裏 JavaScript 也將從那裏開始接管並按照計劃渲染 WordPress 網頁。這為 WordPress 單頁網站開發 者提供了專門為谷歌和專門為使用者進行調整網站的機會,而不必編寫訪客易讀的、互聯網爬蟲易於理解的文字,頁面可以為訪客和爬蟲進行優化,除此之外不用擔心其 它內容。
  互聯網爬蟲通過網站的路徑是可以被控制的,開發者可以指導訪客從 Google 搜尋結果到一個指定的主頁面。這可能需要在開發過程裏花費更多的工作,但是在搜尋結果位置和客户保留方面可以得到巨大的回報。
  檢測谷歌的互聯網爬蟲
  檢測互聯網爬蟲這可能需要一些命令列,但使用 Chrome Developer Tools 就能將這一檢測變得相當容易,只要點選按鈕、檢查工具框:

開啓 Chrome Developer Tools,點選 Google Toolbar 右邊的帶有三條水平線的按鈕,然後從選單中選擇 Tools,再點選 Developer Tools 。

在螢幕右下角是一個齒輪圖示:點選進去就能看到一些高階開發者選項,例如禁用 WordPress 加速緩存,開啓 XMLHttpRequest 記錄。

第 二個標籤標記為 Overrides,點選 User Agent 標籤旁邊的核取方塊,再從 Chrome 到 Firefox 、 IE 、 iPads 的下拉選單裏選擇任何數量的使用者代理,Googlebot 的代理不是默 認選項。為了使用它,選擇其他複製並貼上使用者代理字串到輸入框裏。

現在,該選項卡本身是當作 Googlebot 的,當我們在網站上開啓任何 URL 的時候,應該能看到互聯網爬蟲頁面。