Om de zoekresultaten samen te stellen is een zoekmachine voortdurend aan het scannen naar nieuwe pagina’s en websites om deze ook toe te voegen aan de resultaten. Maar hoe gaat een zoekmachine hier mee om? En hoe kan het dat een website soms al binnen enkele minuten in de index is opgenomen terwijl een andere na een aantal weken nog steeds niet is toegevoegd?
Om een antwoord te geven op deze vraag, zullen we eerst moeten weten hoe de zoekrobot een website vindt. Hiervoor gebruikt hij andere websites die al zijn opgenomen in de index. Wanneer op een van deze websites een link is opgenomen naar onze website, dan ziet de zoekrobot deze link en volgt deze. Op deze manier komt een zoekrobot op een website terecht. Dit is tevens de enige manier om een nieuwe website aan te melden bij de zoekmachines.
Nu weet de zoekrobot dat onze website bestaat en zal hij deze volledig scannen en opnemen in zijn index. Dit gaat op dezelfde manier als dat hij onze website heeft gevonden. Als het goed is, staan er op de pagina waar hij naar doorverwezen werd vanaf de andere website namelijk ook links naar achterliggende pagina’s. De zoekrobot volgt weer deze links en vervolgens weer de links op die pagina. Daarmee kan de zoekrobot (als het goed is) de hele website indexeren.
De frequentie waarmee de zoekrobot terug komt om eventuele wijzigingen op de nemen in zijn index, kan door veel verschillende factoren bepaald worden. Zo houdt de zoekrobot in eerste instantie rekening met de update frequentie van jouw website. Als hij na een week ziet dat er nog niets is aangepast sinds de vorige keer, zal hij voortaan langer dan een week tussen de bezoeken laten. Want als de update frequentie laag is, zal de urgentie van de inhoud ook minder belangrijk zijn. En waarom steeds een website scannen waar niets aan veranderd is. Bij het bepalen van wijzigingen wordt ook de plaatsingsdatum van een nieuw bericht meegenomen, indien aanwezig.
Een ander criterium voor het opnieuw scannen van een website is het aantal nieuwe linkverwijzingen naar de website. Wanneer de zoekrobot een nieuwe linkverwijzing tegen komt op een andere website, zal hij deze linkverwijzing weer volgen en op onze website uitkomen. Doordat er een nieuwe linkverwijzing bij is gekomen, zal de inhoud van de achterliggende pagina wellicht interessant of misschien zelfs wel actueel zijn.
