前方高能——本篇文章是攻城獅們根據(jù)日常收到的case整理而來(lái)，親自編寫，希望站長(zhǎng)親們給個(gè)好評(píng)哦！

  平臺(tái)攻城獅近日接到了百度內(nèi)部用戶的反饋，說(shuō)lvshi.baidu.com站點(diǎn)的收錄情況比較差，希望協(xié)助追查原因。

攻城獅追查的過(guò)程如下：

  首先通過(guò)site語(yǔ)法檢索，發(fā)現(xiàn)收錄量確實(shí)比較少，只有11條，而且還發(fā)現(xiàn)一部分是死鏈數(shù)據(jù)。

  然后根據(jù)用戶反饋的部分url，檢測(cè)發(fā)現(xiàn)這批鏈接在2016年12月26日當(dāng)天已經(jīng)就已經(jīng)抓取回來(lái)了，首次抓取上是沒(méi)有問(wèn)題;緊接著發(fā)現(xiàn)這批網(wǎng)頁(yè)都被百度爬蟲(chóng)判定為空短頁(yè)面，從網(wǎng)頁(yè)庫(kù)中獲取當(dāng)時(shí)的抓取頁(yè)面，檢查發(fā)現(xiàn)這些頁(yè)面抓取回來(lái)的內(nèi)容是一樣的，都是提示讓輸入邀請(qǐng)碼。 

   被百度爬蟲(chóng)判斷為空短頁(yè)面，肯定是不能被百度搜索收錄的。

  有站長(zhǎng)可能會(huì)問(wèn)，那等網(wǎng)站全部開(kāi)放后，是不是就可以收錄了呢？對(duì)于百度爬蟲(chóng)來(lái)說(shuō)，當(dāng)對(duì)一個(gè)網(wǎng)站抓取后發(fā)現(xiàn)大面積都是低值的空短頁(yè)面時(shí)，爬蟲(chóng)會(huì)認(rèn)為這個(gè)站點(diǎn)的整體價(jià)值比較低，那么在后面的抓取流量分布上會(huì)降低，導(dǎo)致針對(duì)該站點(diǎn)的頁(yè)面更新會(huì)比較慢，進(jìn)而收錄也會(huì)比較慢。這里學(xué)院君再次強(qiáng)調(diào)一下，不要讓爬蟲(chóng)給站點(diǎn)畫上不優(yōu)質(zhì)的標(biāo)簽哦，后果很嚴(yán)重！ 

那么該如何避免呢？方法其實(shí)比較簡(jiǎn)單，網(wǎng)站在邀請(qǐng)測(cè)試階段使用robots封禁就可以。