搜索引擎的SPIDER不愿意讀取放在cgi-bin目錄下的網(wǎng)頁(yè)，或是URL中包含了符號(hào)“?”的字符。其原因就在于，如果在CGI中提供了“無窮”數(shù)量的URL，那么SPIDER往往就會(huì)因?yàn)閷?duì)這些“無窮”網(wǎng)頁(yè)的檢索而被牢牢套住，陷入死循環(huán)。這就是所謂的蜘蛛陷阱(spider traps)。數(shù)據(jù)庫(kù)程序?qū)�SPIDER亦有可能創(chuàng)建一個(gè)與此類似的情形。因而為避開可能的陷阱，Spider對(duì)于那些帶有符號(hào)“?”的URL中的“?”之后的字符一概不予讀取。
　　倘若Spider被你的服務(wù)器套住，不只是對(duì)Spider本身不妙，Spider對(duì)你網(wǎng)站頁(yè)面的重復(fù)訪問請(qǐng)求也會(huì)導(dǎo)致你的服務(wù)器系統(tǒng)徹底癱瘓。