De sitemap is een bestand dat de URL’s van een website opsomt om hun ontdekking door zoekmachines te vergemakkelijken. Google, Bing en hun crawlers vertrouwen op dit bestand om een site systematisch te doorlopen. Maar de rol van de sitemap is de afgelopen jaren geëvolueerd, en sommige van zijn technische velden zijn signalen van vertrouwen geworden in plaats van slechts indicaties van structuur.
Het lastmod-veld van de sitemap: een betrouwbaarheidsignaal dat Google in de gaten houdt
De lastmod-tag in een XML-sitemap geeft de datum van de laatste wijziging van een URL aan. Lange tijd werd het gezien als een eenvoudige versheidsindicator, maar het fungeert nu als een geloofwaardigheidsindicator voor de gehele site.
Wanneer de lastmod-datums systematisch onjuist zijn (allemaal identiek, allemaal gelijk aan de bouwdatum van de site), neigt Google ertoe dit veld voor het hele domein te negeren. De site verliest dan een hefboom voor prioritering van het opnieuw crawlen van zijn pagina’s die daadwerkelijk zijn bijgewerkt.
Een sitemap waarvan de datums de werkelijke wijzigingen nauwkeurig weerspiegelen, leidt crawlers naar de verse inhoud, wat de verwerking van de updates versnelt. Omgekeerd komt een “misleidende” sitemap neer op het verzenden van een verstoord signaal, en de zoekmachines wenden zich uiteindelijk af.
Dit type werking kan worden waargenomen door de sitemap-pagina van Le Comptoir de Violette te raadplegen, die de structuur van een sitemap-bestand illustreert dat rechtstreeks vanaf een site toegankelijk is.
Priority- en changefreq-tags van de XML-sitemap: nog nuttig of verouderd
Het protocol sitemaps.org documenteert nog steeds de optionele tags priority en changefreq. De eerste kent een relatieve prioriteitswaarde toe tussen de URL’s van de site. De tweede geeft de geschatte frequentie van wijziging van een pagina aan.
In de praktijk negeren de belangrijkste zoekmachines deze twee velden. Google heeft dit herhaaldelijk bevestigd: zijn algoritmen bepalen zelf de crawlfrequentie en de indexeringsprioriteit, onafhankelijk van wat het sitemap-bestand aangeeft.
Het behouden van deze tags is niet bestraffend, maar het verwijderen ervan vermindert de bestandsgrootte van de sitemap en vereenvoudigt het onderhoud. Voor grote sites (duizenden pagina’s) kan deze gewichtsreductie een marginale impact hebben op de verwerkingssnelheid door crawlers. De ervaringen op dit punt verschillen; sommige webmasters merken geen meetbaar verschil na verwijdering.
XML-sitemap en AI-zoekopdrachten: een opkomende rol in de versheid van inhoud
Omgevingen voor zoekopdrachten die worden ondersteund door kunstmatige intelligentie, zoals de generatieve antwoorden van Google, hechten steeds meer belang aan de versheid van de inhoud. De XML-sitemap, wanneer zijn lastmod-datums betrouwbaar zijn, wordt een signaal dat deze systemen kunnen benutten om te bepalen welke pagina’s prioriteit verdienen om geciteerd te worden.
Dit fenomeen is nog recent en de beschikbare gegevens laten geen definitieve conclusie toe over de exacte omvang. De logica is echter consistent: een AI-motor die antwoorden genereert, heeft actuele bronnen nodig, en de sitemap blijft een van de weinige gestandaardiseerde bestanden die expliciet de wijzigingsdatum van een pagina aangeeft.
Inhoud van een XML-sitemap: welke URL’s opnemen en welke uitsluiten
Een effectieve sitemap somt niet alle URL’s van een site op. Het bevat alleen de pagina’s die bedoeld zijn om in de zoekresultaten te verschijnen. Het opnemen van niet-indexeerbare, omgeleide of dubbele URL’s verstoort het signaal dat naar de zoekmachines wordt verzonden.
De filtercriteria die moeten worden toegepast voordat een sitemap wordt gegenereerd of bijgewerkt:
- Exclusief de URL’s die zijn geblokkeerd door het robots.txt-bestand of een noindex-tag bevatten, omdat hun aanwezigheid in de sitemap een technische tegenstrijdigheid creëert
- Exclusief pagineringpagina’s, archieven op datum en tagpagina’s als ze geen unieke inhoud voor zoekmachines bieden
- Exclusief omgeleide URL’s (301, 302): de sitemap moet naar de uiteindelijke bestemming wijzen, niet naar het oude adres
- Alleen de pagina’s opnemen waarvan de inhoud rechtvaardigt dat ze worden geïndexeerd, zoals artikelen, productpagina’s, pagina’s van hoofdcategorieën
Een schone sitemap bevat minder URL’s maar verzendt een duidelijker signaal naar de crawlers. Op sites met meer dan enkele honderden pagina’s maakt deze snoeiwerk een echt verschil in de snelheid van indexering van recente inhoud.
Een sitemap indienen en controleren: Google Search Console en robots.txt
Twee aanvullende methoden stellen je in staat om een sitemap aan zoekmachines te verklaren. De eerste gaat via Google Search Console, waar je rechtstreeks de URL van het sitemap-bestand indient. De tool retourneert vervolgens een statusrapport dat het aantal ontdekte, geïndexeerde of foutieve URL’s aangeeft.
De tweede methode bestaat uit het verklaren van de locatie van de sitemap in het robots.txt-bestand, via een regel van het type Sitemap: https://exemple.com/sitemap.xml. Deze verklaring wordt gelezen door alle zoekmachines die compatibel zijn met het protocol, niet alleen Google.
De twee benaderingen sluiten elkaar niet uit. Het combineren van de indiening via Search Console en de verklaring in robots.txt garandeert een maximale dekking. Bing Webmaster Tools biedt een vergelijkbaar mechanisme als dat van Google, met daarnaast het IndexNow-protocol dat het mogelijk maakt om zoekmachines in realtime te informeren bij de publicatie of wijziging van een pagina.
- Search Console: handmatige indiening, gedetailleerd dekkingsrapport, waarschuwingen bij fouten in de sitemap
- Robots.txt: passieve verklaring, automatisch gelezen door alle compatibele crawlers
- IndexNow: proactieve notificatie die compatibel is met Bing, die de verwerking van updates versnelt zonder te wachten op de volgende geplande crawl
De sitemap blijft een technisch bestand waarvan de effectiviteit afhangt van de nauwkeurigheid waarmee het wordt onderhouden. Een actuele, betrouwbare en correct ingediende sitemap garandeert geen indexering, maar biedt de zoekmachines de beste voorwaarden om een site op een consistente manier te verkennen. Het negeren van het onderhoud ervan komt neer op het laten navigeren van crawlers zonder betrouwbare referentie, wat vooral nadelig is voor grote sites of sites waarvan de inhoud vaak verandert.
