PBN的自我保護（1）

為了我們的月亮女神，我決定定期分享一些pbn的技巧和思路
7 r! q% d' {; U6 Y& A, p0 p$ h' O- F& _
今天說一下，如何讓pbn不被競爭對手察覺

原理：
' O" P. d! ]* u" O8 d7 g不被各種分析工具的蜘蛛給抓到
0 E2 q! x, u# [9 p; E; h+ B
, S2 \( g. O) Z# [方式：
有很多種，，我只說一下robot的寫法

我們先認識一下幾個通用的robot

/ }  n7 n2 k! h" |/ N  T/ i

rogerbot (SEOmoz)
* e/ C# ?1 k* b0 I4 i: ?" |% Aexabot (3ds.com)
MJ12bot (majesticseo.com)
dotbot (dotnetdotcom.org)
gigabot (gigablast.com)
AhrefsBot (ahrefs.com)

我們robot可以這麼寫：

User-agent: rogerbot
1 P. T" n( |$ [: q- \- nDisallow: /
  S+ R/ k8 k0 R& n) H
User-agent: exabot
Disallow: /

& R$ }% `7 F' kUser-agent: MJ12bot
% y% C# N  `& f8 N. p- YDisallow: /
* b2 t- S! o" j6 F: D: d5 ]% ]+ p
/ C" r% h5 B1 R, d  |9 P1 f% FUser-agent: dotbot
* ^4 @' s: |* uDisallow: /

User-agent: gigabot
Disallow: /

' \3 P0 K" J2 F( h1 {1 N4 n1 YUser-agent: AhrefsBot
" @! z* b: W6 H8 M7 F+ N7 xDisallow: /

當然，如果想隱藏的非常好，這些還是不夠的，還需要屏蔽大概幾百個蜘蛛。
8 x( s6 {4 a4 @! ]' z1 o

只要你不屏蔽googlebot，總會露出點蛛絲馬跡的
: m' q+ W6 W7 q/ d- i

支持小黑同學出PBN專輯。。可以好好學習下了。

這個基本上是沒有用的，而且如果每個站都加上這樣的robots本身就是明顯的足跡
9 a$ x- K; v' k

還不如不加。。特意屏蔽掉這幾個。。別人一看就知道。

謝謝樓主的分享，等待後續
. t! u1 H! W- q* I# @# [

謝謝樓主分享經驗      

隱性判斷，不使用robots.
* G+ F  O. f3 u$ j

禁用那麼多，還要去慢慢找，直接寫 僅支持 google等幾個常用的蜘蛛不就可以了？？
6 Q7 L, u. X. e8 y1 A% e/ h# r- t( m

misca 發表於 2014-4-26 21:23
  ]# J9 Z$ y! W# u3 |+ t( J禁用那麼多，還要去慢慢找，直接寫 僅支持 google等幾個常用的蜘蛛不就可以了？？
8 m, k/ E+ i4 m. O. s' h8 H
8 v4 o8 _& ?( S6 v! @ ...

可以的。。。只支持 google、bing等幾個。
; t9 L0 I1 E& K  I' V

User-Agent: Googlebot
Allow: /
! a0 h% o  X5 j6 {% h) wUser-Agent: *
9 q9 o6 d* u4 ]' d7 Q$ [Disallow: /

. v* S# ~1 V$ h% [2 i9 a

' ~1 A$ ~1 l% t9 o9 k9 P7 s  W