Building Large Language Models from Scratch
Sprache: Englisch
Verlag: Apress Mai 2026, 2026
- Softcover
- Neu
Anbieter: Books-by-Floh, Paderborn, DeutschlandBooks-by-Floh
AbeBooks-Verkäufer/-in seit 13. März 2026
Zustand: Neu
EUR 87,88
Anzahl: 2 verfügbar
In den WarenkorbArtikelbeschreibung vom Verkäufer
Neuware -This book is a complete, hands-on guide to designing, training, and deploying your own Large Language Models (LLMs)—from the foundations of tokenization to the advanced stages of fine-tuning and reinforcement learning. Written for developers, data scientists, and AI practitioners, it bridges core principles and state-of-the-art techniques, offering a rare, transparent look at how modern transformers truly work beneath the surface.Starting from the essentials, you’ll learn how to set up your environment with Python and PyTorch, manage datasets, and implement critical fundamentals such as tensors, embeddings, and gradient descent. You’ll then progress through the architectural heart of modern models, covering RMS normalization, rotary positional embeddings (RoPE), scaled dot-product attention, Grouped Query Attention (GQA), Mixture of Experts (MoE), and SwiGLU activations, each explored in depth and built step by step in code. As you advance, the book introduces custom CUDA kernel integration, teaching you how to optimize key components for speed and memory efficiency at the GPU level—an essential skill for scaling real-world LLMs. You’ll also gain mastery over the phases of training that define today’s leading models:- Pretraining - Building general linguistic and semantic understanding.- Midtraining - Expanding domain-specific capabilities and adaptability.- Supervised Fine-Tuning (SFT) - Aligning behavior with curated, task-driven data.- Reinforcement Learning from Human Feedback (RLHF) - Refining responses through reward-based optimization for human alignment.The final chapters guide you through dataset preparation, filtering, deduplication, and training optimization, culminating in model evaluation and real-world prompting with a custom TokenGenerator for text generation and inference.By the end of this book, you’ll have the knowledge and confidence to architect, train, and deploy your own transformer-based models, equipped with both the theoretical depth and practical expertise to innovate in the rapidly evolving world of AI.What You’ll Learn- How to configure and optimize your development environment using PyTorch- The mechanics of tokenization, embeddings, normalization, and attention mechanisms.- How to implement transformer components like RMSNorm, RoPE, GQA, MoE, and SwiGLU from scratch.- How to integrate custom CUDA kernels to accelerate transformer computations.- The full LLM training pipeline: pretraining, midtraining, supervised fine-tuning, and RLHF.- Techniques for dataset preparation, deduplication, model debugging, and GPU memory management.- How to train, evaluate, and deploy a complete GPT-like architecture for real-world tasks.Who this book is for:Software developers, data scientists, machine learning engineers and AI enthusiasts looking to build their models from scratch. 556 pp. Englisch.…
Bestandsnummer des Verkäufers 9798868822964
- Titel
- Building Large Language Models from Scratch
- Autor
- Dilyan Grigorov
- Verlag
- Apress Mai 2026
- Veröffentlichungsjahr
- 2026
- Zustand
- Neu
- Einband
- Taschenbuch
- Sprache
- Englisch
- ISBN-13
- 9798868822964
- Artikelgewicht
- 1.032 Gramm
- Abmessungen
- 254x178x30 mm
This book is a complete, hands-on guide to designing, training, and deploying your own Large Language Models (LLMs)—from the foundations of tokenization to the advanced stages of fine-tuning and reinforcement learning. Written for developers, data scientists, and AI practitioners, it bridges core principles and state-of-the-art techniques, offering a rare, transparent look at how modern transformers truly work beneath the surface.
Starting from the essentials, you’ll learn how to set up your environment with Python and PyTorch, manage datasets, and implement critical fundamentals such as tensors, embeddings, and gradient descent. You’ll then progress through the architectural heart of modern models, covering RMS normalization, rotary positional embeddings (RoPE), scaled dot-product attention, Grouped Query Attention (GQA), Mixture of Experts (MoE), and SwiGLU activations, each explored in depth and built step by step in code. As you advance, the book introduces custom CUDA kernel integration, teaching you how to optimize key components for speed and memory efficiency at the GPU level—an essential skill for scaling real-world LLMs. You’ll also gain mastery over the phases of training that define today’s leading models:
- Pretraining - Building general linguistic and semantic understanding.
- Midtraining - Expanding domain-specific capabilities and adaptability.
- Supervised Fine-Tuning (SFT) - Aligning behavior with curated, task-driven data.
- Reinforcement Learning from Human Feedback (RLHF) - Refining responses through reward-based optimization for human alignment.
The final chapters guide you through dataset preparation, filtering, deduplication, and training optimization, culminating in model evaluation and real-world prompting with a custom TokenGenerator for text generation and inference.
By the end of this book, you’ll have the knowledge and confidence to architect, train, and deploy your own transformer-based models, equipped with both the theoretical depth and practical expertise to innovate in the rapidly evolving world of AI.
What You’ll Learn
- How to configure and optimize your development environment using PyTorch
- The mechanics of tokenization, embeddings, normalization, and attention mechanisms.
- How to implement transformer components like RMSNorm, RoPE, GQA, MoE, and SwiGLU from scratch.
- How to integrate custom CUDA kernels to accelerate transformer computations.
- The full LLM training pipeline: pretraining, midtraining, supervised fine-tuning, and RLHF.
- Techniques for dataset preparation, deduplication, model debugging, and GPU memory management.
- How to train, evaluate, and deploy a complete GPT-like architecture for real-world tasks.
Who this book is for:
Software developers, data scientists, machine learning engineers and AI enthusiasts looking to build their models from scratch.
„Inhaltsangabe“ gehört möglicherweise zu einer anderen Auflage dieses Titels.
Über die Autorin bzw. den Autor
Dilyan Grigorov is a software developer with a passion for Python software development, generative deep learning & machine learning, data structures, and algorithms. He is an advocate for open source and the Python language itself. He has 16 years of industry experience programming in Python and has spent 5 of those years researching and testing Generative AI solutions. His passion for them stems from his background as an SEO specialist dealing with search engine algorithms daily. He enjoys engaging with the software community, often giving talks at local meetups and larger conferences. In his spare time, he enjoys reading books, hiking in the mountains, taking long walks, playing with his son, and playing the piano.
„Über diesen Titel“ gehört möglicherweise zu einer anderen Auflage dieses Titels.
Books-by-Floh
Paderborn, Deutschland
AbeBooks-Verkäufer/-in seit 13. März 2026
Versandkosten von Deutschland nach USA
| Artikel | 60 bis 60 Werktage | 60 bis 60 Werktage |
|---|---|---|
| Erster Artikel | EUR 105,00 | EUR 130,00 |
Zahlungsarten
Shop-Beschreibung
Books-by-Floh steht für ein breites, kuratiertes Buchsortiment aus einer Hand. Unser Fokus liegt auf Qualität, Vielfalt und zuverlässiger Abwicklung. Wir führen Romane, Krimis, Thriller, Liebesromane, Lyrik, Anthologien, Mythologie, Fachbücher sowie Werke der Gegenwartsliteratur – für Leserinnen und Leser mit Anspruch. Alle Artikel werden ausschließlich aus Deutschland versendet. Das garantiert kurze Lieferzeiten, transparente Prozesse und einen verlässlichen Service. Unser Anspruch: unkomplizierter Einkauf, Bücher, die man gerne liest – heute und morgen. Books-by-Floh – Bücher. Klar. Verlässlich. …
Spezialisierung
BelletristikUnternehmensdaten der Verkäuferin bzw. des Verkäufers
Books-by-Floh
Deutschland
Verkaufsbedingungen
Impressum:
Florian Gerlach | booksbyfloh.de | Von-Wied-Str. 8b | 33104 Paderborn | Telefon: +4915227781070 | E-Mail: info@booksbyfloh.de | Finanzamt Paderborn | Umsatzsteuer-ID: DE227453788
Books-by-Floh steht für ein breites, kuratiertes Buchsortiment aus einer Hand. Unser Fokus liegt auf Qualität, Vielfalt und zuverlässiger Abwicklung.
Wir führen Romane, Krimis, Thriller, Liebesromane, Lyrik, Anthologien, Mythologie, Fachbücher sowie Werke der Gegenwartsliteratur – für Leserinnen und Leser mit Anspruch.
Alle Artikel werden ausschließlich aus Deutschland versendet. Das garantiert kurze Lieferzeiten, transparente Prozesse und einen verlässlichen Service.
Unser Anspruch: unkomplizierter Einkauf, Bücher, die man gerne liest – heute und morgen.
Books-by-Floh – Bücher. Klar. Verlässlich.
Widerrufsrecht
Wenn Sie Verbraucher sind, können Sie gemäß den folgenden Bestimmungen vom Vertrag zurücktreten. Verbraucher ist jede natürliche Person, die zu Zwecken handelt, die nicht ihrer kaufmännischen, gewerblichen, künstlerischen oder beruflichen Tätigkeit zugerechnet werden können.
Informationen zum Widerrufsrecht
Gesetzliches Widerrufsrecht
Sie haben das Recht, den Vertrag innerhalb von 14 Tagen ohne Angabe von Gründen zu widerrufen.
Die Widerrufsfrist beträgt 14 Tage ab dem Tag, an dem Sie oder ein von Ihnen benannter Dritter, der nicht der Transporteur ist, die letzte Ware oder den letzten Posten oder das letzte Exemplar in Besitz genommen hat.
Um das Widerrufsrecht auszuüben, füllen Sie auf unserer Website unter „Meine Einkäufe" in „Mein Nutzerkonto" eine eindeutige Erklärung elektronisch aus und senden Sie sie ab. Wir werden Ihnen unverzüglich eine Bestätigung über den Eingang eines solchen Widerrufs auf einem dauerhaften Datenträger (z. B. per E-Mail) übermitteln.
Um die Widerrufsfrist einzuhalten, reicht es aus, dass Sie Ihre Mitteilung über die Ausübung des Widerrufsrechts vor Ablauf der Widerrufsfrist absenden.
Auswirkungen des Widerrufs
Wenn Sie diesen Vertrag widerrufen, erstatten wir Ihnen alle Zahlungen, die wir von Ihnen erhalten haben, einschließlich der Lieferkosten (mit Ausnahme der zusätzlichen Kosten, die entstehen, wenn Sie eine andere Art der Lieferung als die von uns angebotene günstigste Standardlieferung gewählt haben).
Wir können einen Abzug von der Rückerstattung für den Wertverlust der gelieferten Waren vornehmen, wenn der Verlust auf eine unnötige Behandlung durch Sie zurückzuführen ist.
Wir werden die Rückerstattung unverzüglich und nicht später als 14 Tage nach dem Tag vornehmen, an dem wir über Ihre Entscheidung, diesen Vertrag zu widerrufen, informiert wurden.
Für die Rückerstattung verwenden wir dasselbe Zahlungsmittel, das Sie für die ursprüngliche Transaktion verwendet haben, es sei denn, Sie haben ausdrücklich etwas anderes vereinbart; in keinem Fall werden Ihnen aufgrund einer solchen Rückerstattung Gebühren berechnet.
Wir können die Rückzahlung verweigern, bis wir die Waren wieder zurückerhalten haben oder Sie den Nachweis erbracht haben, dass Sie die Waren zurückgesandt haben, je nachdem, was eher eintritt.
Sie müssen die Waren unverzüglich und in jedem Fall spätestens 14 Tage ab dem Tag, an dem Sie uns über den Widerruf dieses Vertrags unterrichten, an Books-by-Floh, Paderborn, Germany, zurücksenden oder übergeben. Die Frist ist eingehalten, wenn Sie die Ware vor Ablauf der Frist von 14 Tagen zurücksenden. Sie müssen die direkten Kosten der Rücksendung der Waren tragen. Sie haften nur für einen etwaigen Wertverlust der Waren, der auf eine Behandlung zurückzuführen ist, die nicht zur Prüfung der Art, Eigenschaften und Funktionsweise der Waren erforderlich ist.
Ausnahmen vom Widerrufsrecht
Das Widerrufsrecht gilt nicht für:
- Die Lieferung von Zeitungen, Zeitschriften oder Magazinen mit Ausnahme von Abonnementverträgen; und
- Die Lieferung digitaler Inhalte, die nicht auf einem physischen Medium (z. B. auf einer CD oder DVD) geliefert werden, wenn Sie bei Ihrer Bestellung akzeptiert haben, dass wir mit der Lieferung beginnen können und dass Sie nach Beginn der Lieferung den Vertrag nicht mehr widerrufen können.