Hoe we testen

Meerdere signalen, één oordeel

Voor elke dienst verzamelen we tot vier onafhankelijke signalen. Elk daarvan kan aan de bel trekken, en het meest ernstige, recente signaal bepaalt wat je ziet. Een bron die stilvalt of veroudert, laten we vallen in plaats van erop te vertrouwen.

Testverzoeken die we zelf sturen

Waar we over API-toegang beschikken, stuurt een bot elke één tot twee minuten een korte streaming prompt rechtstreeks naar de API van de aanbieder en meet hoe snel het eerste token arriveert. Een mislukte poging wordt twee keer herhaald, met twintig seconden ertussen, voordat deze meetelt. Rate-limit-fouten en configuratiefouten aan onze kant worden genegeerd, zodat een gezonde dienst niet onterecht als defect wordt gemarkeerd.

• Grote storing de laatste drie tests op rij zijn mislukt
• Gedeeltelijke storing de helft of meer van de tests in de afgelopen tien minuten is mislukt
• Traag of instabiel minstens één op de vijf tests is mislukt, of het eerste token duurt langer dan 3 seconden én drie keer zo lang als de mediaan van de afgelopen dag

De statuspagina van de aanbieder

We lezen officiële statuspagina's elke minuut uit en kijken alleen naar de onderdelen die ertoe doen voor de betreffende dienst — de ChatGPT-componenten voor ChatGPT, niet alles wat OpenAI draait. Als een pagina al vijftien minuten niet is bijgewerkt, negeren we deze: een vastgelopen statuspagina mag een dienst niet onterecht groen of rood houden.

Echt verkeer via OpenRouter

OpenRouter publiceert hoeveel verzoeken slagen voor elk model bij elke provider. We kijken naar de modellen van een aanbieder die via diens eigen endpoints draaien. Wanneer minstens twee modellen, en minimaal de helft van het totaal, over 30 minuten onder de 80% succes duiken én tien procentpunt onder hun dagwaarde liggen, markeren we de dienst als traag of instabiel; onder de 50% gemiddeld als gedeeltelijke storing.

Als drie of meer aanbieders op hetzelfde moment een dip vertonen, ligt de oorzaak bij OpenRouter zelf. In dat geval negeren we dit signaal voor iedereen.

Meldingen van gebruikers

Elke pagina heeft een knop “Ik ervaar een probleem”. Tien of meer meldingen binnen vijftien minuten, bij minstens vier keer het gebruikelijke tempo voor die dienst, markeren deze als traag of instabiel. Meldingen alleen kunnen een dienst nooit op grote storing zetten, en elke bezoeker telt per dienst maximaal één keer per halfuur mee, met een limiet per uur.

Valse meldingen voorkomen

Het oordeel wordt elke 30 seconden herberekend. Om terug te keren naar “online”, moet een dienst drie volle minuten storingsvrij blijven. Zo voorkomt de pagina dat een haperende API continu heen en weer springt.

De gekleurde balken begrijpen

De 24-uursbalk toont 48 blokjes van elk een half uur; de 30-dagenbalk heeft één blokje per dag. Een blokje krijgt de kleur van de slechtste status in die periode. Grijs betekent dat we toen geen data hadden — niet dat alles goed werkte.

Wat we niet kunnen zien

Onze bots draaien vanuit een datacenter in Europa, waardoor een storing die beperkt is tot één land, één mobiel netwerk of één kantoor ons mogelijk nooit bereikt. We hebben geen inzicht in je accountlimieten of facturatie. En sommige diensten, zoals Midjourney, hebben geen openbare API of statuspagina; daarvoor zijn we volledig afhankelijk van meldingen van bezoekers.

Waar de gegevens vandaan komen

isAIlive is een zusterproject van llmlive.ai, dat de monitoring zelf uitvoert; beide sites gebruiken dezelfde meetgegevens. Deze site toont maar één ding: of de tool die je nodig hebt op dit moment werkt.

llmlive.ai →

Wat de statussen betekenen

• Online Geen enkele bron ziet een probleem.
• Onderhoud De provider heeft gepland onderhoud aangekondigd.
• Traag of instabiel Fouten of vertragingen, maar de meeste verzoeken komen erdoor.
• Gedeeltelijke storing Een groot deel van de verzoeken of een complete functie werkt niet.
• Grote storing De dienst werkt voor de meeste mensen niet.
• Geen data Geen recente data van welke bron dan ook.