Nieuwe structuur Bigdaddy - een tipje van de sluier

Alle voortekenen wezen er al op, Google doet iets met de status 'gewijzigd' (304) van documenten die het opvraagt.

In het artikel Bigdaddy - nieuwe structuur en problemen wezen we al op problemen die ontstaan met de 304 status die Google krijgt voor een document.

Op zijn weblog bevestigde Matt Cutts dat reeds opgevraagde documenten worden bijgehouden in een soort cache. Deze cache kan gevuld worden door elke robot die een bepaalde pagina van een website bezoekt. Aan de hand van de hierin opgeslagen informatie tracht Google het dataverkeer te beperken. De informatie opgehaald door de zoekrobot Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html), de robot van Mediapartners Mediapartners-Google/2.1 die bekijkt welke advertentie bij de inhoud van een pagina past en een specifiek voor weblogs ingezette robot, wordt hierbij gebruikt.

Echter dringt de informatie die verzameld wordt blijkbaar niet door tot de databanken van Google, waaruit de zoekresultaten worden opgebouwd. Weken lang constateren wij reeds een vrij frequent bezoek van de Media-bot, die ook bij nieuwe pagina's onmiddelijk opduikt om zoveel mogelijk de juiste advertenties te plaatsen. Daar staat tegenover, dat de nieuwe pagina's niet opduiken in de resultaten bij een zoekopdracht.

Nu kunnen er een aantal mogelijke oorzaken voor dit probleem worden aangegeven:

• de cache wordt geleegd na een bezoek van een robot en/of,
• de status gewijzigd brengt de robot in verwarring, hij krijgt een 304 niet gewijzigd als de pagina reeds is bezocht door een andere robot, met als gevolg dat er geen nieuwe informatie wordt doorgegeven aan de databank, of,
• nieuwe data dringt niet tot de databanken door, danwel verdwijnt voor ze kan worden toegevoegd, wat op een software / communicatie fout kan wijzen.

Vanzelfsprekend is eea. slechts een 'gok' en zal de ware oorzaak door Google waarschijnlijk niet worden vrijgegeven, ik geloof echter dat ik er niet zo ver naast zit.

More to come. En dat is zeker!