クローラー(Crawler)とは

クローラー
クローラーは、インターネット上のWEBページ間のリンクを辿って巡回し、自動的にデータベース化するソフトウェアエージェントです。
スパイダーやロボットとも呼ばれます。

代表的なクローラー
Googlebot (Google)
Yahoo! Slurp (Yahoo!)
※2007年6月6日 Yahoo! Slurpがinktomisearch.comからcrawl.yahoo.netに変更に。
Slurp (Inktomi)
Scooter (AltaVista)
MSNBot (MSN)
Baiduspider(百度)



Copyright 2005 WEBコンサルティング・SEO対策のインフォドット All Right Reserved.