Bigdaddy een update met hindernissen

Het mag eigenlijk geen 'nieuws' genoemd worden. Het rommelt al een tijdje en er zijn al weken diverse aanwijzingen dat de update niet geheel en al vlekkeloos verliep. Na maanden van testdraaien en een uiteindelijke implementatie op alle datacentra, is nu de update genaamd 'Bigdaddy' (deels ?) teruggezet.

De update die eigenlijk een infrastructurele upgrade is, zou een grote sprong voorwaarts moeten zijn in het verhelpen van een aantal mankementen en ervoor zorgen dat er betere resultaten geleverd zouden worden. De datacentra zouden gevuld worden met 'nieuwe' resultaten, die beter aansluiten bij een zoekopdracht. Problemen voor websites zoals 'duplicate content' door een canonical probleem voor domainnamen zouden verholpen zijn, meer spam zou herkend worden en automatisch gefilterd en websites zouden beter gespiderd worden.

Helaas blijkt de nieuwe zoekrobot, geïntroduceerd als onderdeel van deze update, zich niet naar wens te gedragen. Spiderde de oude robot ongestoord en zonder problemen alle documenten van onze websites door, lijkt de nieuwe een probleem te hebben door op te vragen of het document gewijzigd is. Op zich logisch, als een document niet gewijzigd is, hoef je het ook niet opnieuw op te vragen, dit bespaart veel bandbreedte. Echter lijkt de nieuwe robot (welke zich uitgeeft als "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" ) met de gegeven 304 (document not changed) een probleem te hebben, hij stopt met spideren en verdwijnt voor lange tijd. Daarbij is ook de frequentie van het bezoek door de robot drastisch naar beneden gegaan, waarbij het zéér lang duurt voordat nieuwe pagina's en wijzigingen op reeds bestaande pagina's in de index zijn opgenomen. Lag deze frequentie voorheen op ca. 24 uur, nu duurt het dagen en soms zelfs weken alvorens wijzigingen zijn opgenomen en doorgevoerd.

Dit verschijnsel doet zich niet slechts lokaal voor, bij navraag blijken zeer veel webmasters, over de hele wereld, hier last van te hebben.

Nemen we daarbij de constatering dat zoekresultaten die wijzigden bij de implementatie van Bigdaddy, nu ineens weer de oude zoekresultaten van vóór de update blijken te zijn, kunnen we niet anders dan constateren dat de implementatie niet geheel en al naar wens verlopen is.

Veel websites schijnen uit de index verdwenen, of mijlen ver teruggevallen te zijn zonder verklaring. En we hebben het hier niet over op 'spam' betrapte sites. Veel websites verschijnen nog slechts als 'toegevoegd resultaat' en het lijkt erop dat het probleem alleen maar groter wordt.

Een deel van het probleem zou een 301 Redirect permanent kunnen zijn. Hiermee tracht menig website eigenaar Google te helpen de juiste URL voor een pagina te vinden en te voorkomen dat de website met www. en zonder www. gezien wordt en als 'dubbel' wordt aangemerkt. Sommige bots schijnen hierop vast te lopen en het spideren van de website te staken.

Hoe het ook zij, al wekenlang wordt er over gediscussieerd op het forum van (link niet meer actief) Webmasterworld. In eerste instantie dacht ik, en velen met mij, dat het slechts een probleem van tijdelijke aard zou zijn. Helaas blijkt eea. een grotere impact te hebben en nog wel enkele weken te gaan duren alvorens Google het onder controle krijgt.

Indien u grote verschuivingen in de resultaten ziet, weet u nu iig. wat daarvan de reden kan zijn.

We houden u op de hoogte.