Neuware - This book is a complete, hands-on guide to designing, training, and deploying your own Large Language Models (LLMs) from the foundations of tokenization to the advanced stages of fine-tuning and reinforcement learning. Written for developers, data scientists, and AI practitioners, it bridges core principles and state-of-the-art techniques, offering a rare, transparent look at how modern transformers truly work beneath the surface.Starting from the essentials, you ll learn how to set up your environment with Python and PyTorch, manage datasets, and implement critical fundamentals such as tensors, embeddings, and gradient descent. You ll then progress through the architectural heart of modern models, covering RMS normalization, rotary positional embeddings (RoPE), scaled dot-product attention, Grouped Query Attention (GQA), Mixture of Experts (MoE), and SwiGLU activations, each explored in depth and built step by step in code. As you advance, the book introduces custom CUDA kernel integration, teaching you how to optimize key components for speed and memory efficiency at the GPU level an essential skill for scaling real-world LLMs. You ll also gain mastery over the phases of training that define today s leading models:Pretraining - Building general linguistic and semantic understanding.Midtraining - Expanding domain-specific capabilities and adaptability.Supervised Fine-Tuning (SFT) - Aligning behavior with curated, task-driven data.Reinforcement Learning from Human Feedback (RLHF) - Refining responses through reward-based optimization for human alignment.The final chapters guide you through dataset preparation, filtering, deduplication, and training optimization, culminating in model evaluation and real-world prompting with a custom TokenGenerator for text generation and inference.By the end of this book, you ll have the knowledge and confidence to architect, train, and deploy your own transformer-based models, equipped with both the theoretical depth and practical expertise to innovate in the rapidly evolving world of AI.What You ll LearnHow to configure and optimize your development environment using PyTorchThe mechanics of tokenization, embeddings, normalization, and attention mechanisms.How to implement transformer components like RMSNorm, RoPE, GQA, MoE, and SwiGLU from scratch.How to integrate custom CUDA kernels to accelerate transformer computations.The full LLM training pipeline: pretraining, midtraining, supervised fine-tuning, and RLHF.Techniques for dataset preparation, deduplication, model debugging, and GPU memory management.How to train, evaluate, and deploy a complete GPT-like architecture for real-world tasks.

Bestandsnummer des Verk�ufers 9798868822964

Verk�ufer kontaktieren

Diesen Artikel melden

Bibliografische Details

Titel: Building Large Language Models from Scratch : Design, Train, and Deploy LLMs with PyTorch
Verlag: Apress Mai 2026
Erscheinungsjahr: 2026
Sprache: Englisch
ISBN-13: 9798868822964
Einband: Taschenbuch
Zustand: Neu
Abmessungen: Breite: 254 mm, H�he: 178 mm, Tiefe: 30 mm
Gewicht: 1032 Gramm

�ber diesen Titel

Inhaltsangabe

This book is a complete, hands-on guide to designing, training, and deploying your own Large Language Models (LLMs)—from the foundations of tokenization to the advanced stages of fine-tuning and reinforcement learning. Written for developers, data scientists, and AI practitioners, it bridges core principles and state-of-the-art techniques, offering a rare, transparent look at how modern transformers truly work beneath the surface.

Starting from the essentials, you’ll learn how to set up your environment with Python and PyTorch, manage datasets, and implement critical fundamentals such as tensors, embeddings, and gradient descent. You’ll then progress through the architectural heart of modern models, covering RMS normalization, rotary positional embeddings (RoPE), scaled dot-product attention, Grouped Query Attention (GQA), Mixture of Experts (MoE), and SwiGLU activations, each explored in depth and built step by step in code. As you advance, the book introduces custom CUDA kernel integration, teaching you how to optimize key components for speed and memory efficiency at the GPU level—an essential skill for scaling real-world LLMs. You’ll also gain mastery over the phases of training that define today’s leading models:

Pretraining - Building general linguistic and semantic understanding.
Midtraining - Expanding domain-specific capabilities and adaptability.
Supervised Fine-Tuning (SFT) - Aligning behavior with curated, task-driven data.
Reinforcement Learning from Human Feedback (RLHF) - Refining responses through reward-based optimization for human alignment.

The final chapters guide you through dataset preparation, filtering, deduplication, and training optimization, culminating in model evaluation and real-world prompting with a custom TokenGenerator for text generation and inference.

By the end of this book, you’ll have the knowledge and confidence to architect, train, and deploy your own transformer-based models, equipped with both the theoretical depth and practical expertise to innovate in the rapidly evolving world of AI.

What You’ll Learn

How to configure and optimize your development environment using PyTorch
The mechanics of tokenization, embeddings, normalization, and attention mechanisms.
How to implement transformer components like RMSNorm, RoPE, GQA, MoE, and SwiGLU from scratch.
How to integrate custom CUDA kernels to accelerate transformer computations.
The full LLM training pipeline: pretraining, midtraining, supervised fine-tuning, and RLHF.
Techniques for dataset preparation, deduplication, model debugging, and GPU memory management.
How to train, evaluate, and deploy a complete GPT-like architecture for real-world tasks.

Who this book is for:

Software developers, data scientists, machine learning engineers and AI enthusiasts looking to build their models from scratch.

�ber die Autorin bzw. den Autor

Dilyan Grigorov is a software developer with a passion for Python software development, generative deep learning & machine learning, data structures, and algorithms. He is an advocate for open source and the Python language itself. He has 16 years of industry experience programming in Python and has spent 5 of those years researching and testing Generative AI solutions. His passion for them stems from his background as an SEO specialist dealing with search engine algorithms daily. He enjoys engaging with the software community, often giving talks at local meetups and larger conferences. In his spare time, he enjoys reading books, hiking in the mountains, taking long walks, playing with his son, and playing the piano.

��ber diesen Titel� kann sich auf eine andere Ausgabe dieses Titels beziehen.

Anbieterinformationen

Das Unternehmen AHA-BUCH GmbH: Seit der Gr�ndung von AHA-BUCH im Juli 2005 ist unser Hauptziel, zufriedenen Kunden so schnell und so preisg�nstig wie m�glich ihren B�cherwunsch zu erf�llen. Unsere Firma besch�ftigt 16 Mitarbeiter, die nur ein Ziel kennen: den Kunden und seine W�nsche! Auf �ber 3700 m2 Fl�che haben wir �ber 100.000 B�cher, Modernes Antiquariat und Spiele auf Lager.

Zur Homepage des Verk�ufers

Unternehmensdaten des Verk�ufers

AHA-BUCH GmbH
Garlebsen 48, Einbeck, 37574, Germany

Gesch�ftsbedingungen und Versandinformationen

Verkaufsbedingungen

Allgemeine Gesch�ftsbedingungen und Kundeninformationen / Datenschutzerkl�rung

I. Allgemeine Gesch�ftsbedingungen

� 1 Grundlegende Bestimmungen

(1) Die nachstehenden Gesch�ftsbedingungen gelten f�r alle Vertr�ge, die Sie mit uns als Anbieter (AHA-BUCH GmbH) �ber die Internetplattformen AbeBooks und/oder ZVAB schlie�en. Soweit nicht anders vereinbart, wird der Einbeziehung gegebenenfalls von Ihnen verwendeter eigener Bedingungen widersprochen.

(2) Verbraucher im Sinne der nachstehenden Regelungen...

Mehr Information

Widerrufsrecht

Wenn Sie Verbraucher sind, k�nnen Sie gem�� den folgenden Bestimmungen vom Vertrag zur�cktreten. Verbraucher ist jede nat�rliche Person, die zu Zwecken handelt, die nicht ihrer kaufm�nnischen, gewerblichen, k�nstlerischen oder beruflichen T�tigkeit zugerechnet werden k�nnen.

Informationen zum Widerrufsrecht

Gesetzliches Widerrufsrecht

Sie haben das Recht, den Vertrag innerhalb von 14 Tagen ohne Angabe von Gr�nden zu widerrufen.

Die Widerrufsfrist betr�gt 14 Tage ab dem Tag, an dem Sie oder ein von Ihnen benannter Dritter, der nicht der Transporteur ist, die letzte Ware oder den letzten Posten oder das letzte Exemplar in Besitz genommen hat.

Um das Widerrufsrecht auszu�ben, f�llen Sie auf unserer Website unter „Meine Eink�ufe" in „Mein Nutzerkonto" eine eindeutige Erkl�rung elektronisch aus und senden Sie sie ab. Wir werden Ihnen unverz�glich eine Best�tigung �ber den Eingang eines solchen Widerrufs auf einem dauerhaften Datentr�ger (z. B. per E-Mail) �bermitteln.

Um die Widerrufsfrist einzuhalten, reicht es aus, dass Sie Ihre Mitteilung �ber die Aus�bung des Widerrufsrechts vor Ablauf der Widerrufsfrist absenden.

Auswirkungen des Widerrufs

Wenn Sie diesen Vertrag widerrufen, erstatten wir Ihnen alle Zahlungen, die wir von Ihnen erhalten haben, einschlie�lich der Lieferkosten (mit Ausnahme der zus�tzlichen Kosten, die entstehen, wenn Sie eine andere Art der Lieferung als die von uns angebotene g�nstigste Standardlieferung gew�hlt haben).

Wir k�nnen einen Abzug von der R�ckerstattung f�r den Wertverlust der gelieferten Waren vornehmen, wenn der Verlust auf eine unn�tige Behandlung durch Sie zur�ckzuf�hren ist.

Wir werden die R�ckerstattung unverz�glich und nicht sp�ter als 14 Tage nach dem Tag vornehmen, an dem wir �ber Ihre Entscheidung, diesen Vertrag zu widerrufen, informiert wurden.

F�r die R�ckerstattung verwenden wir dasselbe Zahlungsmittel, das Sie f�r die urspr�ngliche Transaktion verwendet haben, es sei denn, Sie haben ausdr�cklich etwas anderes vereinbart; in keinem Fall werden Ihnen aufgrund einer solchen R�ckerstattung Geb�hren berechnet.

Wir k�nnen die R�ckzahlung verweigern, bis wir die Waren wieder zur�ckerhalten haben oder Sie den Nachweis erbracht haben, dass Sie die Waren zur�ckgesandt haben, je nachdem, was eher eintritt.

Sie m�ssen die Waren unverz�glich und in jedem Fall sp�testens 14 Tage ab dem Tag, an dem Sie uns �ber den Widerruf dieses Vertrags unterrichten, an AHA-BUCH GmbH, Einbeck, Germany, zur�cksenden oder �bergeben. Die Frist ist eingehalten, wenn Sie die Ware vor Ablauf der Frist von 14 Tagen zur�cksenden. Sie m�ssen die direkten Kosten der R�cksendung der Waren tragen. Sie haften nur f�r einen etwaigen Wertverlust der Waren, der auf eine Behandlung zur�ckzuf�hren ist, die nicht zur Pr�fung der Art, Eigenschaften und Funktionsweise der Waren erforderlich ist.

Ausnahmen vom Widerrufsrecht

Das Widerrufsrecht gilt nicht f�r:

Die Lieferung von Zeitungen, Zeitschriften oder Magazinen mit Ausnahme von Abonnementvertr�gen; und
Die Lieferung digitaler Inhalte, die nicht auf einem physischen Medium (z. B. auf einer CD oder DVD) geliefert werden, wenn Sie bei Ihrer Bestellung akzeptiert haben, dass wir mit der Lieferung beginnen k�nnen und dass Sie nach Beginn der Lieferung den Vertrag nicht mehr widerrufen k�nnen.

Versandbedingungen

Wir liefern Lagerartikel innerhalb von 24 Stunden nach Erhalt der Bestellung aus.
Barsortimentsartikel, die wir �ber Nacht geliefert bekommen, am darauffolgenden Werktag.
Unser Ziel ist es Ihnen die Artikel in der �konomischten und effizientesten Weise zu senden.

Versandkosten von Deutschland nach USA

Versandkosten von Deutschland nach USA
Bestellmenge	30 bis 40�Werktage	7 bis 14�Werktage
Erster Artikel	EUR 65.16	EUR 75.16

Die Versandzeiten werden von den Verk�uferinnen und Verk�ufern festgelegt. Sie variieren je nach Versanddienstleister und Standort. Sendungen, die den Zoll passieren, k�nnen Verz�gerungen unterliegen. Eventuell anfallende Abgaben oder Geb�hren sind von der K�uferin bzw. dem K�ufer zu tragen. Die Verk�uferin bzw. der Verk�ufer kann Sie bez�glich zus�tzlicher Versandkosten kontaktieren, um einen m�glichen Anstieg der Versandkosten f�r Ihre Artikel auszugleichen.

Impressum & Info zum Verk�ufer