網絡爬蟲通過使用http請求的用戶代理(User Agent)字段來向網絡服務器表明他們的身份。網絡管理員則通過檢查網絡服務器的日志，使用用戶代理字段來辨認哪一個爬蟲曾經訪問過以及它訪問的頻率。用戶代理字段可能會包含一個可以讓管理員獲取爬蟲更多信息的URL。郵件抓取器和其他懷有惡意的網絡爬蟲通常不會留任何的用戶代理字段內容，或者他們也會將他們的身份偽裝成瀏覽器或者其他的知名爬蟲。

  對于網路爬蟲，留下用戶標志信息是十分重要的；這樣，網絡管理員在需要的時候就可以聯(lián)系爬蟲的主人。有時，爬蟲可能會陷入爬蟲陷阱或者使一個服務器超負荷，這時，爬蟲主人需要使爬蟲停止。對那些有興趣了解特定爬蟲訪問時間網絡管理員來講，用戶標識信息是十分重要的。