網(wǎng)絡(luò)爬蟲(chóng)通過(guò)使用http請(qǐng)求的用戶代理(User Agent)字段來(lái)向網(wǎng)絡(luò)服務(wù)器表明他們的身份。網(wǎng)絡(luò)管理員則通過(guò)檢查網(wǎng)絡(luò)服務(wù)器的日志，使用用戶代理字段來(lái)辨認(rèn)哪一個(gè)爬蟲(chóng)曾經(jīng)訪問(wèn)過(guò)以及它訪問(wèn)的頻率。用戶代理字段可能會(huì)包含一個(gè)可以讓管理員獲取爬蟲(chóng)更多信息的URL。郵件抓取器和其他懷有惡意的網(wǎng)絡(luò)爬蟲(chóng)通常不會(huì)留任何的用戶代理字段內(nèi)容，或者他們也會(huì)將他們的身份偽裝成瀏覽器或者其他的知名爬蟲(chóng)。

  對(duì)于網(wǎng)路爬蟲(chóng)，留下用戶標(biāo)志信息是十分重要的；這樣，網(wǎng)絡(luò)管理員在需要的時(shí)候就可以聯(lián)系爬蟲(chóng)的主人。有時(shí)，爬蟲(chóng)可能會(huì)陷入爬蟲(chóng)陷阱或者使一個(gè)服務(wù)器超負(fù)荷，這時(shí)，爬蟲(chóng)主人需要使爬蟲(chóng)停止。對(duì)那些有興趣了解特定爬蟲(chóng)訪問(wèn)時(shí)間網(wǎng)絡(luò)管理員來(lái)講，用戶標(biāo)識(shí)信息是十分重要的。