Baseline-Vergleich zwischen Lasttests

Wenn es um Lasttests geht, ist die Festlegung eines Vergleichsstandards entscheidend. Hier kommt das Konzept einer Baseline ins Spiel. Eine Baseline im Kontext von Lasttests stellt einen bestimmten Testlauf dar, der als Referenzpunkt verwendet wird, mit dem andere Testläufe verglichen werden. Dieser Benchmark ermöglicht es Testern und Entwicklern, Abweichungen in den Leistungsmetriken über verschiedene Testiterationen hinweg zu erkennen.

Warum eine Baseline festlegen?

• Konsistenz: Durch die Festlegung einer Baseline können Teams sicherstellen, dass sie nachfolgende Tests mit einem konsistenten Standard vergleichen. Diese Konsistenz ist entscheidend für fundierte Entscheidungen über erkannte Leistungsabweichungen.

• Leistungstrends: Mit einer definierten Baseline wird es einfacher, Trends zu erkennen, sei es eine Verbesserung durch Optimierungen oder ein Rückgang, der möglicherweise durch neue Codeänderungen oder Infrastrukturanpassungen verursacht wird.

• Auswirkungsanalyse: Führen Sie neue Funktionen ein oder nehmen Sie Backend-Änderungen vor? Durch den Vergleich neuer Testläufe mit der Baseline können Teams schnell die Auswirkungen solcher Änderungen auf die Leistung bewerten.

• Fokussiertes Debugging: Wenn ein bestimmter Testlauf Probleme aufweist, kann der Vergleich mit der Baseline helfen, die spezifischen Bereiche zu identifizieren, in denen der Testlauf abwich, was es einfacher macht, potenzielle Ursachen einzugrenzen.

Baseline festlegen, ändern und entfernen

Der Baseline-Vergleich ist ab dem Essential-Tarif verfügbar.

1. Führen Sie den Test aus und öffnen Sie dann die Ergebnisse des Laufs, den Sie als Referenz verwenden möchten.
2. Klicken Sie auf Als Baseline festlegen. Die Vergleichsprozente und der Text unter dem Testnamen bestätigen, dass es geklappt hat.
3. Jeder spätere Lauf desselben Tests wird nun automatisch mit diesem Lauf verglichen.

Um die Baseline zu ändern, öffnen Sie die Ergebnisse eines anderen Laufs desselben Tests und klicken Sie auf Als Baseline festlegen. Der Lauf, den Sie gerade ansehen, wird zur neuen Baseline, und die Vergleiche werden neu berechnet.

Um sie zu entfernen, öffnen Sie den Lauf, der aktuell die Baseline ist, und klicken Sie auf das grüne Häkchen, das ihn kennzeichnet. Der Test hat dann keine Baseline, und kein Lauf zeigt einen Vergleich an.

Wählen Sie einen Lauf, dem Sie vertrauen und den Sie reproduzieren können, etwa ein bewährtes Release, nicht die schnellste Zahl, die Sie je gemessen haben. Eine Baseline, die auf einem ungewöhnlich guten Lauf gesetzt wurde, lässt jedes spätere Release wie eine Regression aussehen.

Siehe auch Baseline-Vergleich und Performance-Trend.