RSS update frequentie

Deze week schreef techsite Wired over aggregators. Uitgelegd werd dat deze software, die met regelmaat diverse RSS feeds binnenhaalt, voor grote problemen kan zorgen als 'iedereen' aan de aggregator gaat. Immers: als handmatige bezoeker ga je eens of enkele malen per dag, of wellicht zelfs eens per week langs een site waarvan je de inhoud wilt volgen. Een aggregator, zeker als de eigenaar die heeft ingesteld op "ik wil alles weten zodra het gebeurt", gaat doodleuk vier keer in één uur naar een RSS feed en haalt 'm in z'n geheel binnen.

Stel je nou voor dat 20 gebruikers, die gewend zijn om 4x per dag een site te checken op nieuwe inhoud, allemaal overgaan op aggregators. En deze aggregators stellen ze in op 4x per uur. Het aantal bezoeken aan de site stijgt daardoor met een factor 24: in plaats van 80 bezoeken (20x4) per dag, krijgt de site nu 1920 keer per dag die 20 mensen over de vloer. Elke gebruiker haalt 96 keer per dag de feed binnen.

Verandert een site zijn inhoud 96 keer per dag? I don't think so Tim. Is het daarom nodig om zo vaak een feed binnen te halen? No sir. Waarom doen mensen het dan? Heel simpel: ze willen niks missen. Met een update frequentie van 4x per uur komt een nieuwe post op een site binnen een kwartier bij de gebruiker aan. Dat is erg prettig. Echter, zoals Wired beschrijft, kan dit uiteindelijk voor grote problemen gaan zorgen.

Aggregators hebben potentie, ze bieden diensten die veel internetgebruikers nog niet kennen, maar wel zullen gaan gebruiken zodra ze ervan horen. Het gebruik van syndicatie zal daarom ook nog een flinke groei doormaken, en met die groei neemt ook het aantal requests op de diverse RSS feeds enorm toe. Tussen al dit dataverkeer zit veel, heel veel verspilling: inhoud die enkele malen in dezelfde vorm naar dezelfde gebruiker wordt verstuurd, en servers die keer op keer de feed moeten serveren zonder dat deze gewijzigd is ten opzichte van de vorige keer. Dat kost onnodig veel load, zeker bij niet-statische feeds. Wired voorspelt dan ook dat servers het niet zullen gaan trekken, en sites moeten sluiten óf hun feed verwijderen.

Gezocht wordt naar een oplossing voor dit probleem. Maar wat kun je ertegen doen? Feeds verkleinen? Authenticatie voor feeds, zodat sites de feed op de gebruiker kunnen toespitsen (lees: een lege feed sturen voor gebruikers die alles al hebben gelezen), content-negotiation invoeren (ook al ondersteunen niet alle aggregators dit)?

Ik denk dat dit soort dingen snel aangepakt moeten worden, voordat we met een Y2K-probleem opgescheept zitten.