Pass/Fail-Schwellenwerte
Pass/Fail-Schwellenwerte machen aus einem Lasttest ein geprueftes SLO. Sie legen die Grenzwerte einmal pro Test fest, und jeder Lauf wird automatisch bewertet: ein gruenes PASS oder ein rotes FAIL, wobei jeder Grenzwert mit den echten Zahlen des Laufs verglichen wird. Schwellenwerte funktionieren auf dieselbe Weise fuer Cloud-, JMeter- und k6-Tests.
Schwellenwerte festlegen
Oeffnen Sie auf der Seite fuer neue Tests den Abschnitt Pass/fail thresholds und tragen Sie beliebige der folgenden Werte ein:
- Max P95 response time (ms): Der Lauf schlaegt fehl, wenn die 95.-Perzentil-Antwortzeit darueber liegt.
- Max P99 response time (ms): dasselbe fuer das 99. Perzentil.
- Max error rate (%): Der Lauf schlaegt fehl, wenn die Gesamtfehlerrate darueber liegt.
- Min throughput (req/s): Der Lauf schlaegt fehl, wenn der Durchsatz darunter liegt.
Lassen Sie ein Feld leer, um diese Pruefung zu ueberspringen. Aktivieren Sie Enable pass/fail thresholds, um das Verdict einzuschalten. Schwellenwerte werden pro Test und pro Team gespeichert, sodass Sie sie einmal festlegen und sie fuer jeden zukuenftigen Lauf gelten.
Das Verdict lesen
Oeffnen Sie ein beliebiges Ergebnis eines Tests mit aktivierten Schwellenwerten. Die Uebersicht zeigt ein PASS- oder FAIL-Badge mit einer Zeile pro Pruefung: den tatsaechlichen Wert, das Ziel und ob es bestanden wurde. Das Badge wird gegen dieselben Gesamtzahlen ausgewertet, die auf der Ergebnisseite angezeigt werden.
Trends ueber Laeufe hinweg
Der Tab Trend stellt P95-Antwortzeit, Fehlerrate und Durchsatz ueber die letzten Laeufe des Tests dar, mit Ihren Schwellenwerten als Linien und jedem Lauf gruen (bestanden) oder rot (fehlgeschlagen) eingefaerbt. Er baut sich aus Ihrer Laufhistorie auf, sodass eine schleichende Regression leicht zu erkennen ist.
Ihre CI/CD-Pipeline absichern
Das Verdict steht auch der Automatisierung zur Verfuegung, sodass ein Lasttest ein schlechtes Deployment blockieren kann:
- GitHub Action: Die LoadFocus-Load-Test-Gate-Action fuehrt einen Test aus, wartet auf dessen Ende, liest das Verdict und beendet sich mit einem Wert ungleich null, wenn ein Schwellenwert ueberschritten wird (was den Workflow-Schritt fehlschlagen laesst). Siehe die README der Action im Ordner
integrations/github-action. - Verdict-API:
GET /api/v1/{loadtests|k6tests|jmetertests}/verdict?testrunname=<name>&testrunid=<id>(mit Ihremloadfocus-auth-API-Schluessel) liefert{ verdict, checks, metrics, ... }, sodass jede Pipeline auf das Ergebnis reagieren kann. Rufen Sie sie bei einem abgeschlossenen Lauf auf.
Benachrichtigung, wenn ein Lauf nicht endet
Wenn ein Lauf haengt und nie endet, sendet LoadFocus dem Team-Eigentuemer automatisch eine E-Mail, sodass ein steckengebliebener Lauf nie unbemerkt bleibt.