ロボット型検索エンジンがインターネット上でのウェブページを定期的に巡回する際に使用されるプログラムのこと。

クローラーはスパイダー・ロボット・ボットとも呼ばれる。クローラーによって収集されたHTMLデータを扱いやすい検索用語として、データ化し、データベースに登録していくのがインデクサと呼ばれるもの。