Seuils de réussite/échec

Les seuils de réussite/échec fixent les limites qu'un test de charge doit respecter, par exemple un temps de réponse maximal. Vous les définissez une fois sur un test, et chaque exécution est évaluée automatiquement : un PASS vert ou un FAIL rouge, chaque limite étant comparée aux chiffres réels de l'exécution. Les seuils fonctionnent de la même façon pour les tests cloud, JMeter et k6.

Définissez vos seuils

Sur la page de nouveau test, ouvrez Plus d'options, cliquez sur la ligne Critères de réussite/échec et renseignez l'un des champs suivants :

Temps de réponse P95 maximal (ms) : l'exécution échoue si le temps de réponse au 95e centile dépasse cette valeur.
Temps de réponse P99 maximal (ms) : idem, pour le 99e centile.
Taux d'erreur maximal (%) : l'exécution échoue si le taux d'erreur global dépasse cette valeur.
Débit minimal (req/s) : l'exécution échoue si le débit passe en dessous.

Laissez un champ vide pour ignorer cette vérification. Cochez Activer les seuils de réussite/échec pour activer le verdict. Les seuils sont enregistrés par test et par équipe, vous les définissez donc une fois et ils s'appliquent à chaque exécution future.

Deux champs facultatifs comparent une exécution à celle que vous avez définie comme référence sur sa page de résultats : Hausse maximale du P95 par rapport à la référence et Hausse maximale du taux d'erreur par rapport à la référence (points de pourcentage). Tant qu'aucune référence n'est définie, ces vérifications sont ignorées ; une porte qui n'a que ces limites échoue donc avec le statut « non évalué ».

Lisez le verdict

Ouvrez n'importe quel résultat d'un test dont les seuils sont activés. La vue d'ensemble affiche un badge PASS ou FAIL avec une ligne par vérification : la valeur réelle, l'objectif et si elle a réussi. Le badge est évalué avec les mêmes chiffres globaux que ceux affichés sur la page de résultats.

Suivez les tendances entre les exécutions

L'onglet Trend trace le temps de réponse P95, le taux d'erreur et le débit sur les dernières exécutions du test, avec vos seuils tracés en lignes et chaque exécution colorée en vert (réussite) ou rouge (échec). Il se construit à partir de votre historique d'exécutions, ce qui rend une régression progressive facile à repérer.

Conditionnez votre pipeline CI/CD

Le verdict est aussi disponible pour l'automatisation, de sorte qu'un test de charge peut bloquer un déploiement défectueux :

GitHub Actions : le workflow de la page API de tests de charge lance un test, attend qu'il se termine, lit le verdict et fait échouer le job quand un seuil est dépassé ou ne peut pas être évalué.
API de verdict : GET /api/v1/{loadtests|k6tests|jmetertests}/verdict?testrunname=<nom>&testrunid=<id> (avec votre clé d'API loadfocus-auth) renvoie { verdict, checks, metrics, ... } pour que n'importe quel pipeline puisse conditionner selon le résultat. Appelez-la sur une exécution terminée.
API de seuils : définissez ou mettez à jour les limites d'un test depuis un pipeline (SLOs en tant que code) avec PUT /api/v1/{loadtests|k6tests|jmetertests}/thresholds (corps JSON { "testrunname": "...", "p95Ms": 500, "errorRatePct": 1, "minRps": 50 }, avec votre clé d'API loadfocus-auth ; p99Ms et enabled sont aussi acceptés). Un PUT remplace tout l'ensemble, donc un champ omis est effacé. GET sur le même chemin les lit et DELETE les efface.
API d'analyse : GET /api/v1/{loadtests|k6tests|jmetertests}/analysis?testrunname=<nom>&testrunid=<id> renvoie les chiffres derrière le verdict en JSON (percentiles exacts, Apdex, types d'erreur, métriques par requête et par région). Voir API d'analyse des résultats.

Soyez alerté si une exécution ne se termine pas

Si une exécution reste bloquée et ne se termine jamais, LoadFocus envoie automatiquement un e-mail au propriétaire de l'équipe, pour qu'une exécution bloquée ne passe jamais inaperçue.