Crawling-ul reprezintă etapa inițială a acțiunilor efectuate de motoarele de căutare și începe cu o listă de adrese web provenite din accesări anterioare și cu sitemap-uri furnizate de proprietarii site-urilor. În această fază, fiecare site web este scanat în detaliu pentru a strânge informații relevante precum numărul de pagini, titluri, meta-descrieri, cuvinte cheie, imagini, videoclipuri, link-uri și altele.