NKB69 - Hoe zoekmachines werken

Wie een zoekmachine gebruikt, verwacht misschien dat de zoekmachine even het hele internet doorzoekt naar de zoektermen die zijn opgegeven. Zo is het natuurlijk niet. In werkelijkheid zoekt u bij een zoekmachine in een database van webpagina’s die ofwel door de gebruikers bij de zoekmachine zijn aangemeld ofwel door de zoekmachine zelf als eerder verzameld zijn. Die database bevat kopieën van de pagina’s op het internet.

Voor het aanleggen van die database maakt de zoekmachine gebruik van zogeheten spiders of crawlers, ook wel gathers genoemd. Dit zijn programma’s die webpagina’s en websites verzamelen. Ze lopen een bestaande website door en maken een lijst op van de aanwezige hyperlinks. Deze pagina’s worden vervolgens opgevraagd en delen ervan opgeslagen. Van al deze pagina’s wordt niet alleen de inhoud, maar onder meer ook het adres, de bestandgrootte en de laatste wijzigingsdatum opgenomen.

Spiders zijn altijd actief en sporen niet alleen nieuwe pagina’s op, maar ook nieuwe informatie op pagina’s en websites die ze al eerder hebben gevonden. Zij zijn het die bepalen welk deel van het internet door een zoekmachine wordt gedekt. De programmeur van een spider kan in zo’n programma namelijk beperkingen hebben aangebracht hoe ver of hoe diep links moeten worden gevolgd. Redenen voor zulke beperkingen kunnen zijn de gedachte dat hoe dieper websites op een hostcomputer verscholen zitten, hoe geringer de kans is dat het een belangrijk document betreft: of de wens om een, door de spider bezochte website, niet al te zeer te belasten. De frequentie waarmee spiders bezochte websites bezoeken verschilt per zoekmachine en website.

De opgehaalde websites worden vervolgens door een indexer geïndexeerd. Zo ontstaat een database van webdocumenten die snel doorzocht kan worden. Zo’n index is in wezen niets anders dan een lijst van woorden uit de geïndexeerde pagina’s, met een opgave van hun plaats in de pagina en met een verwijzing naar de databaserecords waarin die woorden voorkomen. Tevens worden de pagina’s geanalyseerd en samengavat door een summarizer, een programma dat de belangrijkste termen en concepten in de webpagina’s identificeert. De summarizer bepaalt welke informatie de zoekmachine over een pagina verschaft, maakt ingewikkelder zoekacties mogelijk en bepaalt vaak mede de plaats die een webpagina in een zoekresultaat krijgt; dit laatste heet ranken. Wat dit aspect betreft wordt dus ook wel eens gesproken van een ranker. Ook identificeert de summarizer objecten op een webpagina.

Tenslotte zorgt de broker [ook wel query server genoemd] ervoor dat u als gebruiker een gebruikersvriendelijke zoekpagina met allerlei zoekmogelijkheden wordt gepresenteerd. Zo’n broker omvat dus enerzijds de functionele zoek- [‘retrieval’] mogelijkheden en anderzijds de presentatie daarvan [de gebruikersinterface].

Zoekmachine optimalisatie [Search Engine Optimization / SEO]

De methoden om uw website optimaal te ranken zijn zeer divers. Sommige technieken en tactieken zijn regelrecht in strijd met de belangen van de zoekmachines en de internetgebruikers. Zo kunt u zoekmachines beïnvloeden door websites vol te stoppen met voor bezoekers onzichtbare teksten en pagina's. Een nadeel van het gebruiken van deze trucs is echter dat de zoekmachines constant hun beleid aanpassen. Was het vorige maand nog slim om een groot aantal nutteloze links naar een website te laten verwijzen, deze maand worden websites die hun linkpopulariteit kunstmatig verhogen gestraft.

Het grootste nadeel van 'geforceerd geoptimaliseerde' websites is dat een bedrijf de kans loopt in één keer uit de rankings van een zoekmachine te worden verwijderd [Vaak nadat het is aangegeven door de concurrenten]. Met de volgende [etische] tips kunt u de ranking van uw website beïnvloeden:

1. Zoekwoorden  
Onderzoek welke zoekwoorden potentiële klanten gebruiken bij het zoeken naar uw producten of diensten. Deze eerste stap is de belangrijkste. Wanneer deze stap niet goed wordt genomen, hebben de andere stappen geen zin meer.

2. Optimaliseren webcontent
Met deze lijst van zoekwoorden als basis herschrijft u gericht de content van uw website. Favoriete zoekwoorden van uw klanten krijgen nu een prominente plaats op de website.

3. Aanmelden bij zoekmachines  
De derde stap bij het optimaal vindbaar maken van uw website is het aanmelden bij de belangrijkste zoekmachines en directories. Denk aan Google, Ilse en AltaVista maar ook aan MSN, Startpagina, Lycos, Vindex, Hotbot, Zoek, Looksmart en Yahoo.

4. Continuïteit & onderhoud  
Zoekmachines veranderen van tijd tot tijd hun indexerings-algoritme. Dit heeft invloed op de positie van uw website in de zoekmachines. Ook concurrerende websites hebben invloed op de vindbaarheid. Om te voorkomen dat uw website wegzakt in op de ranking zult u regelmatig moeten controleren op de vindbaarheid ervan.

NKB69 - Nedcomp Hosting, 12-4-2003