Seuils de réussite/échec
Les seuils de réussite/échec transforment un test de charge en SLO vérifié. Vous définissez les limites une fois sur un test, et chaque exécution est évaluée automatiquement : un PASS vert ou un FAIL rouge, chaque limite étant comparée aux chiffres réels de l'exécution. Les seuils fonctionnent de la même façon pour les tests cloud, JMeter et k6.
Définissez vos seuils
Sur la page de nouveau test, ouvrez la section Pass/fail thresholds et renseignez l'un des champs suivants :
- Max P95 response time (ms) : l'exécution échoue si le temps de réponse au 95e centile dépasse cette valeur.
- Max P99 response time (ms) : idem, pour le 99e centile.
- Max error rate (%) : l'exécution échoue si le taux d'erreur global dépasse cette valeur.
- Min throughput (req/s) : l'exécution échoue si le débit passe en dessous.
Laissez un champ vide pour ignorer cette vérification. Cochez Enable pass/fail thresholds pour activer le verdict. Les seuils sont enregistrés par test et par équipe, vous les définissez donc une fois et ils s'appliquent à chaque exécution future.
Lisez le verdict
Ouvrez n'importe quel résultat d'un test dont les seuils sont activés. La vue d'ensemble affiche un badge PASS ou FAIL avec une ligne par vérification : la valeur réelle, l'objectif et si elle a réussi. Le badge est évalué avec les mêmes chiffres globaux que ceux affichés sur la page de résultats.
Suivez les tendances entre les exécutions
L'onglet Trend trace le temps de réponse P95, le taux d'erreur et le débit sur les dernières exécutions du test, avec vos seuils tracés en lignes et chaque exécution colorée en vert (réussite) ou rouge (échec). Il se construit à partir de votre historique d'exécutions, ce qui rend une régression progressive facile à repérer.
Conditionnez votre pipeline CI/CD
Le verdict est aussi disponible pour l'automatisation, de sorte qu'un test de charge peut bloquer un déploiement défectueux :
- GitHub Action : l'action de porte de test de charge LoadFocus lance un test, attend qu'il se termine, lit le verdict et se termine avec une valeur non nulle quand un seuil est dépassé (ce qui fait échouer l'étape du workflow). Voir le README de l'action dans le dossier
integrations/github-action. - API de verdict :
GET /api/v1/{loadtests|k6tests|jmetertests}/verdict?testrunname=<nom>&testrunid=<id>(avec votre clé d'APIloadfocus-auth) renvoie{ verdict, checks, metrics, ... }pour que n'importe quel pipeline puisse conditionner selon le résultat. Appelez-la sur une exécution terminée.
Soyez alerté si une exécution ne se termine pas
Si une exécution reste bloquée et ne se termine jamais, LoadFocus envoie automatiquement un e-mail au propriétaire de l'équipe, pour qu'une exécution bloquée ne passe jamais inaperçue.