Engineering Online Experimentation and ML Evaluations Architecture, Statistics and Machine Learning for Production-Scale Systems
Sprache: Englisch
Verlag: Apress, 2026
- Softcover
- Neu
Anbieter: Home-set, Mannheim, DeutschlandHome-set
Verkäufer:in bei ZVAB seit 13. April 2026
Zustand: Neu
EUR 80,24
Anzahl: 3 verfügbar
In den WarenkorbArtikelbeschreibung des Verkäufers
Online experimentation is now essential for modern software and machine learning teams. This book provides an engineer-first, end-to-end guide to building and operating production-ready experimentation platforms.The book begins with Part I establishing the core foundations of credible experimentation, including hypothesis testing, power analysis, sample sizing, metric design, and common pitfalls such as peeking, multiple testing, and novelty or learning effects. Part II focuses on platform engineering?traffic and identity management, mutual exclusion, event and logging design, ETL/ELT pipelines, building a stats engine with SciPy and statsmodels, SRM detection, integrating deployments with feature flags and canaries, and setting up guardrail and health monitoring. Part III presents advanced designs that improve speed and sensitivity: sequential testing with alpha spending, bootstrap intervals for ratios and quantiles, A/B/n testing with ANOVA, interleaving for ranking systems, switchback and geo experiments, and multi-armed bandits. Part IV connects experimentation to ML workflows, covering offline, shadow, canary, and A/B evaluation pipelines; Bayesian optimization for adaptive experimentation; counterfactual and IPS methods for learning from logs; and safe retraining supported by strong governance.What you will learn: - Design trustworthy experiments with proper metrics, guardrails, ?/power/MDE settings, and safeguards against peeking and multiple-testing errors- Build a production-ready experimentation stack with assignment, identity/diversion, logging, ETL/ELT, a stats engine, and SRM checks- Run advanced designs at scale, including sequential tests, bootstrap CIs, interleaving, switchback/geo experiments, and multi-armed bandits- Evaluate ML systems from offline to online, leverage experiment logs for learning, and enable safe retraining with governanceWho this book is for:The primary audience for this book includes Data Engineers, ML Engineers, and Platform or Software Architects. It is also well suited for Product and Data Scientists who want a deeper understanding of experimentation systems and the engineering principles behind them. Sprache: Englisch Gewicht in Gramm: 1018. …
Bestandsnummer des Verkäufers IB-18698808
- Titel
- Engineering Online Experimentation and ML Evaluations Architecture, Statistics and Machine Learning for Production-Scale Systems
- Autor
- Ming Lei
- Verlag
- Apress
- Erscheinungsjahr
- 2026
- Zustand
- Neu
- Einband
- Softcover/Taschenbuch
- Sprache
- Englisch
- ISBN-13
- 9798868827204
- Artikelgewicht
- 1.018 Gramm
Online experimentation is now essential for modern software and machine learning teams. This book provides an engineer-first, end-to-end guide to building and operating production-ready experimentation platforms.
The book begins with Part I establishing the core foundations of credible experimentation, including hypothesis testing, power analysis, sample sizing, metric design, and common pitfalls such as peeking, multiple testing, and novelty or learning effects. Part II focuses on platform engineering—traffic and identity management, mutual exclusion, event and logging design, ETL/ELT pipelines, building a stats engine with SciPy and statsmodels, SRM detection, integrating deployments with feature flags and canaries, and setting up guardrail and health monitoring. Part III presents advanced designs that improve speed and sensitivity: sequential testing with alpha spending, bootstrap intervals for ratios and quantiles, A/B/n testing with ANOVA, interleaving for ranking systems, switchback and geo experiments, and multi-armed bandits. Part IV connects experimentation to ML workflows, covering offline, shadow, canary, and A/B evaluation pipelines; Bayesian optimization for adaptive experimentation; counterfactual and IPS methods for learning from logs; and safe retraining supported by strong governance.
What you will learn:
- Design trustworthy experiments with proper metrics, guardrails, α/power/MDE settings, and safeguards against peeking and multiple-testing errors
- Build a production-ready experimentation stack with assignment, identity/diversion, logging, ETL/ELT, a stats engine, and SRM checks
- Run advanced designs at scale, including sequential tests, bootstrap CIs, interleaving, switchback/geo experiments, and multi-armed bandits
- Evaluate ML systems from offline to online, leverage experiment logs for learning, and enable safe retraining with governance
Who this book is for:
The primary audience for this book includes Data Engineers, ML Engineers, and Platform or Software Architects. It is also well suited for Product and Data Scientists who want a deeper understanding of experimentation systems and the engineering principles behind them.
„Inhaltsangabe“ gehört möglicherweise zu einer anderen Auflage dieses Titels.
Über die Autorin bzw. den Autor
Ming Lei is a data and ML engineering leader with 20 years of experience building end-to-end ML systems for Internet Ads and Search, and experimentation platforms for E-commerce. He has designed large-scale systems that operationalize rigorous statistical methods — such as sequential testing, bootstrapping, multi-armed bandits, and Bayesian optimization — and support ML evaluation from offline analysis to online deployment. His leadership spans roles at eBay, Meta (Facebook), Google, and Appen. He holds multiple US patents and advanced degrees in computer science (UC Riverside) and economics (Clark University), along with a B.S. in physics (Wuhan University). He is based in the Northwest of US.
„Über diesen Titel“ gehört möglicherweise zu einer anderen Auflage dieses Titels.
Home-set
Mannheim, Deutschland
Verkäufer:in bei ZVAB seit 13. April 2026
Versandkosten von Deutschland nach USA
| Artikel | 10 bis 12 Werktage | 8 bis 10 Werktage |
|---|---|---|
| Erster Artikel | EUR 59,98 | EUR 90,27 |
Zahlungsarten
- Vorauskasse
Spezialisierung
BuchUnternehmensdaten der Verkäuferin bzw. des Verkäufers
Home-set
Deutschland
Widerrufsrecht
Wenn Sie Verbraucher sind, können Sie gemäß den folgenden Bestimmungen vom Vertrag zurücktreten. Verbraucher ist jede natürliche Person, die zu Zwecken handelt, die nicht ihrer kaufmännischen, gewerblichen, künstlerischen oder beruflichen Tätigkeit zugerechnet werden können.
Informationen zum Widerrufsrecht
Gesetzliches Widerrufsrecht
Sie haben das Recht, den Vertrag innerhalb von 14 Tagen ohne Angabe von Gründen zu widerrufen.
Die Widerrufsfrist beträgt 14 Tage ab dem Tag, an dem Sie oder ein von Ihnen benannter Dritter, der nicht der Transporteur ist, die letzte Ware oder den letzten Posten oder das letzte Exemplar in Besitz genommen hat.
Um das Widerrufsrecht auszuüben, füllen Sie auf unserer Website unter „Meine Einkäufe" in „Mein Nutzerkonto" eine eindeutige Erklärung elektronisch aus und senden Sie sie ab. Wir werden Ihnen unverzüglich eine Bestätigung über den Eingang eines solchen Widerrufs auf einem dauerhaften Datenträger (z. B. per E-Mail) übermitteln.
Um die Widerrufsfrist einzuhalten, reicht es aus, dass Sie Ihre Mitteilung über die Ausübung des Widerrufsrechts vor Ablauf der Widerrufsfrist absenden.
Auswirkungen des Widerrufs
Wenn Sie diesen Vertrag widerrufen, erstatten wir Ihnen alle Zahlungen, die wir von Ihnen erhalten haben, einschließlich der Lieferkosten (mit Ausnahme der zusätzlichen Kosten, die entstehen, wenn Sie eine andere Art der Lieferung als die von uns angebotene günstigste Standardlieferung gewählt haben).
Wir können einen Abzug von der Rückerstattung für den Wertverlust der gelieferten Waren vornehmen, wenn der Verlust auf eine unnötige Behandlung durch Sie zurückzuführen ist.
Wir werden die Rückerstattung unverzüglich und nicht später als 14 Tage nach dem Tag vornehmen, an dem wir über Ihre Entscheidung, diesen Vertrag zu widerrufen, informiert wurden.
Für die Rückerstattung verwenden wir dasselbe Zahlungsmittel, das Sie für die ursprüngliche Transaktion verwendet haben, es sei denn, Sie haben ausdrücklich etwas anderes vereinbart; in keinem Fall werden Ihnen aufgrund einer solchen Rückerstattung Gebühren berechnet.
Wir können die Rückzahlung verweigern, bis wir die Waren wieder zurückerhalten haben oder Sie den Nachweis erbracht haben, dass Sie die Waren zurückgesandt haben, je nachdem, was eher eintritt.
Sie müssen die Waren unverzüglich und in jedem Fall spätestens 14 Tage ab dem Tag, an dem Sie uns über den Widerruf dieses Vertrags unterrichten, an Home-set, Mannheim, Germany, zurücksenden oder übergeben. Die Frist ist eingehalten, wenn Sie die Ware vor Ablauf der Frist von 14 Tagen zurücksenden. Sie müssen die direkten Kosten der Rücksendung der Waren tragen. Sie haften nur für einen etwaigen Wertverlust der Waren, der auf eine Behandlung zurückzuführen ist, die nicht zur Prüfung der Art, Eigenschaften und Funktionsweise der Waren erforderlich ist.
Ausnahmen vom Widerrufsrecht
Das Widerrufsrecht gilt nicht für:
- Die Lieferung von Zeitungen, Zeitschriften oder Magazinen mit Ausnahme von Abonnementverträgen; und
- Die Lieferung digitaler Inhalte, die nicht auf einem physischen Medium (z. B. auf einer CD oder DVD) geliefert werden, wenn Sie bei Ihrer Bestellung akzeptiert haben, dass wir mit der Lieferung beginnen können und dass Sie nach Beginn der Lieferung den Vertrag nicht mehr widerrufen können.