營銷型網站(zhàn)建設“蜘蛛抓取”

蜘蛛，也叫爬蟲，是将互聯網的信息，抓取并存儲的一種技(jì)術(shù)實現。
 
搜索引擎的信息收錄，很(hěn)多(duō)不明(míng)所以的人(rén)會(huì)有(yǒu)很(hěn)多(duō)誤解，以為(wèi)是付費收錄，或者有(yǒu)什麽其他特殊的提交技(jì)巧，其實并不是，搜索引擎通(tōng)過互聯網一些(xiē)公開(kāi)知名的網站(zhàn)，抓取內(nèi)容，并分析其中的鏈接，然後有(yǒu)選擇的抓取鏈接裏的內(nèi)容，然後再分析其中的鏈接，以此類推，通(tōng)過有(yǒu)限的入口，基于彼此鏈接，形成強大(dà)的信息抓取能力。 有(yǒu)些(xiē)搜索引擎本身也有(yǒu)鏈接提交入口，但(dàn)基本上(shàng)，不是主要的收錄入口，不過作(zuò)為(wèi)創業者，建議了解一下相關信息。百度，google都有(yǒu)站(zhàn)長平台和(hé)管理(lǐ)後台，這裏很(hěn)多(duō)內(nèi)容是需要非常非常認真的對待的。反過來(lái)說，在這樣的原理(lǐ)下，一個(gè)網站(zhàn)，隻有(yǒu)被其他網站(zhàn)所鏈接，才有(yǒu)機會(huì)被搜索引擎抓取。
 
 以營銷型網站(zhàn)建設為(wèi)例，如果這個(gè)網站(zhàn)沒有(yǒu)外部鏈接，或者外部鏈接在搜索引擎中被認為(wèi)是垃圾或無效鏈接，那(nà)麽搜索引擎可(kě)能就不抓取他的頁面。分析和(hé)判斷搜索引擎是否抓取了你(nǐ)的頁面，或者什麽時(shí)候抓取你(nǐ)的頁面，隻能通(tōng)過服務器(qì)上(shàng)的訪問日志(zhì)來(lái)查詢，如果是cdn就比較麻煩。 而基于網站(zhàn)嵌入代碼的方式，不論是cnzz，百度統計(jì)，還(hái)是google analytics，都無法獲得(de)蜘蛛抓取的信息，因為(wèi)這些(xiē)信息不會(huì)觸發這些(xiē)代碼的執行(xíng)。
 
但(dàn)關于蜘蛛的話(huà)題，并不隻基于鏈接抓取這麽簡單，延伸來(lái)說有(yǒu)以下幾個(gè)方面：
        第一，網站(zhàn)擁有(yǒu)者可(kě)以選擇是否允許蜘蛛抓取，有(yǒu)一個(gè)robots.txt的文件是來(lái)控制(zhì)這個(gè)的。
        第二，最早抓取是基于網站(zhàn)彼此的鏈接為(wèi)入口，但(dàn)實際上(shàng)，并不能肯定的說，有(yǒu)可(kě)能存在其他抓取入口，
        第三，無法被抓取的信息，有(yǒu)些(xiē)網站(zhàn)的內(nèi)容鏈接，用一些(xiē)javascript特殊效果完成，比如浮動的菜單等等，這種連接，有(yǒu)可(kě)能搜索引擎的蜘蛛程序不識别，當然，我隻是說有(yǒu)可(kě)能，現在搜索引擎比以前聰明(míng)，十多(duō)年前很(hěn)多(duō)特效鏈接是不識别的，現在會(huì)好一些(xiē)。需要登錄，需要注冊才能訪問的頁面，蜘蛛是無法進入的，也就是無法收錄。
        很(hěn)多(duō)動态頁面是一個(gè)腳本程序帶參數(shù)體(tǐ)現的，但(dàn)蜘蛛發現同一個(gè)腳本有(yǒu)大(dà)量參數(shù)的網頁，有(yǒu)時(shí)候會(huì)給該網頁的價值評估帶來(lái)困擾，蜘蛛可(kě)能會(huì)認為(wèi)這個(gè)網頁是重複頁面，而拒絕收錄。還(hái)是那(nà)句話(huà)，随着技(jì)術(shù)的發展，蜘蛛對動态腳本的參數(shù)識别度有(yǒu)了很(hěn)大(dà)進步，現在基本上(shàng)可(kě)以不用考慮這個(gè)問題。但(dàn)這個(gè)催生(shēng)了一個(gè)技(jì)術(shù)，叫做(zuò)僞靜态化，通(tōng)過對web服務端做(zuò)配置，讓用戶訪問的頁面，url格式看上(shàng)去是一個(gè)靜态頁，其實後面是一個(gè)正則匹配，實際執行(xíng)的是一個(gè)動态腳本。