検索エンジンは、ユーザーが World Wide Web 上の情報を検索できるようにする Web ベースのツールです。検索エンジンの一般的な例では、ページからページ、サイトからサイトへとリンクをたどって Web 上を移動する自動化されたソフトウェア アプリケーションを利用します。スパイダーによって収集された情報は、Web の検索可能なインデックスを作成するために使用されます。
検索エンジンを設計するのは困難な作業です。検索エンジンは、同程度の数の個別の用語を含む数千万から数億の Web ページのインデックスを作成します。彼らは毎日何千万ものクエリに答えています。ウェブ上での大規模検索エンジンの重要性にもかかわらず、それに関する学術研究はほとんど行われていません。さらに、テクノロジーの急速な進歩と Web の普及により、今日の Web 検索エンジンの作成は 3 年前とは大きく異なります。