Normaal gesproken geeft Matt Cutts (SEO woordvoerder van Google) tips en vrij algemene uitleg over hoe Google het web doorzoekt en wat u wel of niet zou moeten doen. Nu komt Matt met een publieke oproep om de Google bot uw javascripts en css-files te laten doorzoeken. Dit om 'beter te kunnen begrijpen waar uw site over gaat'.
Veelal worden Javascript files / directories en soms ook die van de CSS in de robots.txt voor zoekrobots als 'verboden gebied' opgegeven. De zoekrobot mag deze bestanden niet doorzoeken en opnemen. Eigenlijk een vrij logische keuze, want wat heeft een zoekrobot immers met de techniek achter de site van doen!?
Een van de door Matt gebruikte argumenten om de googlebot wel deze files te laten doorzoeken is het voorbeeld van middels Javascript geïnclude informatie. Doordat Javascript niet doorzocht kan worden, kan Google dus ook niet aan de zo opgeroepen informatie komen.
Gaat u Google bot toestaan om deze files te doorzoeken?
Of wellicht heeft u middels Javascript of CSS andere informatie aan de zoekrobot gevoerd die uw bezoeker niet te zien krijgt!?
