網(wǎng)絡(luò)爬蟲通過使用http請(qǐng)求的用戶代理(User Agent)字段來向網(wǎng)絡(luò)服務(wù)器表明他們的身份。網(wǎng)絡(luò)管理員則通過檢查網(wǎng)絡(luò)服務(wù)器的日志，使用用戶代理字段來辨認(rèn)哪一個(gè)爬蟲曾經(jīng)訪問過以及它訪問的頻率。用戶代理字段可能會(huì)包含一個(gè)可以讓管理員獲取爬蟲更多信息的URL。郵件抓取器和其他懷有惡意的網(wǎng)絡(luò)爬蟲通常不會(huì)留任何的用戶代理字段內(nèi)容，或者他們也會(huì)將他們的身份偽裝成瀏覽器或者其他的知名爬蟲。

  對(duì)于網(wǎng)路爬蟲，留下用戶標(biāo)志信息是十分重要的；這樣，網(wǎng)絡(luò)管理員在需要的時(shí)候就可以聯(lián)系爬蟲的主人。有時(shí)，爬蟲可能會(huì)陷入爬蟲陷阱或者使一個(gè)服務(wù)器超負(fù)荷，這時(shí)，爬蟲主人需要使爬蟲停止。對(duì)那些有興趣了解特定爬蟲訪問時(shí)間網(wǎng)絡(luò)管理員來講，用戶標(biāo)識(shí)信息是十分重要的。