Pass/Fail-Schwellenwerte
Pass/Fail-Schwellenwerte machen aus einem Lasttest ein geprüftes SLO. Sie legen die Grenzwerte einmal pro Test fest, und jeder Lauf wird automatisch bewertet: ein grünes PASS oder ein rotes FAIL, wobei jeder Grenzwert mit den echten Zahlen des Laufs verglichen wird. Schwellenwerte funktionieren auf dieselbe Weise für Cloud-, JMeter- und k6-Tests.
Schwellenwerte festlegen
Öffnen Sie auf der Seite für neue Tests den Abschnitt Pass/fail thresholds und tragen Sie beliebige der folgenden Werte ein:
- Max P95 response time (ms): Der Lauf schlägt fehl, wenn die 95.-Perzentil-Antwortzeit darüber liegt.
- Max P99 response time (ms): dasselbe für das 99. Perzentil.
- Max error rate (%): Der Lauf schlägt fehl, wenn die Gesamtfehlerrate darüber liegt.
- Min throughput (req/s): Der Lauf schlägt fehl, wenn der Durchsatz darunter liegt.
Lassen Sie ein Feld leer, um diese Prüfung zu überspringen. Aktivieren Sie Enable pass/fail thresholds, um das Verdict einzuschalten. Schwellenwerte werden pro Test und pro Team gespeichert, sodass Sie sie einmal festlegen und sie für jeden zukünftigen Lauf gelten.
Das Verdict lesen
Öffnen Sie ein beliebiges Ergebnis eines Tests mit aktivierten Schwellenwerten. Die Übersicht zeigt ein PASS- oder FAIL-Badge mit einer Zeile pro Prüfung: den tatsächlichen Wert, das Ziel und ob es bestanden wurde. Das Badge wird gegen dieselben Gesamtzahlen ausgewertet, die auf der Ergebnisseite angezeigt werden.
Trends über Läufe hinweg
Der Tab Trend stellt P95-Antwortzeit, Fehlerrate und Durchsatz über die letzten Läufe des Tests dar, mit Ihren Schwellenwerten als Linien und jedem Lauf grün (bestanden) oder rot (fehlgeschlagen) eingefärbt. Er baut sich aus Ihrer Laufhistorie auf, sodass eine schleichende Regression leicht zu erkennen ist.
Ihre CI/CD-Pipeline absichern
Das Verdict steht auch der Automatisierung zur Verfügung, sodass ein Lasttest ein schlechtes Deployment blockieren kann:
- GitHub Action: Die LoadFocus-Load-Test-Gate-Action führt einen Test aus, wartet auf dessen Ende, liest das Verdict und beendet sich mit einem Wert ungleich null, wenn ein Schwellenwert überschritten wird (was den Workflow-Schritt fehlschlagen lässt). Siehe die README der Action im Ordner
integrations/github-action. - Verdict-API:
GET /api/v1/{loadtests|k6tests|jmetertests}/verdict?testrunname=<name>&testrunid=<id>(mit Ihremloadfocus-auth-API-Schlüssel) liefert{ verdict, checks, metrics, ... }, sodass jede Pipeline auf das Ergebnis reagieren kann. Rufen Sie sie bei einem abgeschlossenen Lauf auf. - Thresholds-API: Legen Sie die Limits eines Tests aus einer Pipeline fest (SLOs als Code) mit
PUT /api/v1/{loadtests|k6tests|jmetertests}/thresholds(JSON-Body{ "testrunname": "...", "p95Ms": 500, "errorRatePct": 1, "minRps": 50 }, mit Ihremloadfocus-auth-API-Schlüssel).GETauf demselben Pfad liest sie,DELETEentfernt sie.
Benachrichtigung, wenn ein Lauf nicht endet
Wenn ein Lauf hängt und nie endet, sendet LoadFocus dem Team-Eigentümer automatisch eine E-Mail, sodass ein steckengebliebener Lauf nie unbemerkt bleibt.