Pass/Fail-Schwellenwerte

Pass/Fail-Schwellenwerte legen die Grenzen fest, innerhalb derer ein Lasttest bleiben muss, zum Beispiel eine maximale Antwortzeit. Sie legen sie einmal pro Test fest, und jeder Lauf wird automatisch bewertet: ein grünes PASS oder ein rotes FAIL, wobei jeder Grenzwert mit den echten Zahlen des Laufs verglichen wird. Schwellenwerte funktionieren auf dieselbe Weise für Cloud-, JMeter- und k6-Tests.

Schwellenwerte festlegen

Öffnen Sie auf der Seite für neue Tests Weitere Optionen, klicken Sie auf die Zeile Erfolgs- und Fehlerkriterien und tragen Sie beliebige der folgenden Werte ein:

Max. P95-Antwortzeit (ms): Der Lauf schlägt fehl, wenn die 95.-Perzentil-Antwortzeit darüber liegt.
Max. P99-Antwortzeit (ms): dasselbe für das 99. Perzentil.
Max. Fehlerrate (%): Der Lauf schlägt fehl, wenn die Gesamtfehlerrate darüber liegt.
Min. Durchsatz (req/s): Der Lauf schlägt fehl, wenn der Durchsatz darunter liegt.

Lassen Sie ein Feld leer, um diese Prüfung zu überspringen. Aktivieren Sie Schwellenwerte für Bestanden/Fehlgeschlagen aktivieren, um das Verdict einzuschalten. Schwellenwerte werden pro Test und pro Team gespeichert, sodass Sie sie einmal festlegen und sie für jeden zukünftigen Lauf gelten.

Zwei optionale Felder vergleichen einen Lauf mit dem Lauf, den Sie auf seiner Ergebnisseite als Baseline festgelegt haben: Max. P95-Anstieg gegenüber Referenzwert und Max. Anstieg der Fehlerrate gegenüber Referenzwert (Prozentpunkte). Solange keine Baseline gesetzt ist, werden diese Prüfungen übersprungen; ein Gate, das nur diese Grenzwerte hat, schlägt daher als "nicht ausgewertet" fehl.

Das Verdict lesen

Öffnen Sie ein beliebiges Ergebnis eines Tests mit aktivierten Schwellenwerten. Die Übersicht zeigt ein PASS- oder FAIL-Badge mit einer Zeile pro Prüfung: den tatsächlichen Wert, das Ziel und ob es bestanden wurde. Das Badge wird gegen dieselben Gesamtzahlen ausgewertet, die auf der Ergebnisseite angezeigt werden.

Trends über Läufe hinweg

Der Tab Trend stellt P95-Antwortzeit, Fehlerrate und Durchsatz über die letzten Läufe des Tests dar, mit Ihren Schwellenwerten als Linien und jedem Lauf grün (bestanden) oder rot (fehlgeschlagen) eingefärbt. Er baut sich aus Ihrer Laufhistorie auf, sodass eine schleichende Regression leicht zu erkennen ist.

Ihre CI/CD-Pipeline absichern

Das Verdict steht auch der Automatisierung zur Verfügung, sodass ein Lasttest ein schlechtes Deployment blockieren kann:

GitHub Actions: Der Workflow auf der Seite Lasttest-API führt einen Test aus, wartet auf dessen Ende, liest das Verdict und lässt den Job scheitern, wenn ein Schwellenwert überschritten wird oder nicht ausgewertet werden kann.
Verdict-API: GET /api/v1/{loadtests|k6tests|jmetertests}/verdict?testrunname=<name>&testrunid=<id> (mit Ihrem loadfocus-auth-API-Schlüssel) liefert { verdict, checks, metrics, ... }, sodass jede Pipeline auf das Ergebnis reagieren kann. Rufen Sie sie bei einem abgeschlossenen Lauf auf.
Thresholds-API: Legen Sie die Limits eines Tests aus einer Pipeline fest (SLOs als Code) mit PUT /api/v1/{loadtests|k6tests|jmetertests}/thresholds (JSON-Body { "testrunname": "...", "p95Ms": 500, "errorRatePct": 1, "minRps": 50 }, mit Ihrem loadfocus-auth-API-Schlüssel; p99Ms und enabled werden ebenfalls akzeptiert). Ein PUT ersetzt den gesamten Satz, ein weggelassenes Feld wird also gelöscht. GET auf demselben Pfad liest sie, DELETE entfernt sie.
Analyse-API: GET /api/v1/{loadtests|k6tests|jmetertests}/analysis?testrunname=<name>&testrunid=<id> liefert die Zahlen hinter dem Verdict als JSON (exakte Perzentile, Apdex, Fehlertypen, Kennzahlen pro Request und Region). Siehe Ergebnisanalyse-API.

Benachrichtigung, wenn ein Lauf nicht endet

Wenn ein Lauf hängt und nie endet, sendet LoadFocus dem Team-Eigentümer automatisch eine E-Mail, sodass ein steckengebliebener Lauf nie unbemerkt bleibt.