Data Engineering with Apache Spark, Delta Lake, and Lakehouse: Create scalable pipelines that ingest, curate, and aggregate complex data in a timely and secure way
Sprache: Englisch
Verlag: Packt Publishing, 2021
- Softcover
- Gebraucht

Anbieter: medimops, Berlin, Deutschlandmedimops
Verkäufer:in bei ZVAB seit 10. Mai 2010
Zustand: Gebraucht - Gut
EUR 30,72
Anzahl: 1 verfügbar
In den WarenkorbArtikelbeschreibung des Verkäufers
Gut/Very good: Buch bzw. Schutzumschlag mit wenigen Gebrauchsspuren an Einband, Schutzumschlag oder Seiten. / Describes a book or dust jacket that does show some signs of wear on either the binding, dust jacket or pages.
Bestandsnummer des Verkäufers M01801077746-V
- Titel
- Data Engineering with Apache Spark, Delta Lake, and Lakehouse: Create scalable pipelines that ingest, curate, and aggregate complex data in a timely and secure way
- Autor
- Manoj Kukreja
- Verlag
- Packt Publishing
- Erscheinungsjahr
- 2021
- Zustand
- very good
- Einband
- Softcover
- Sprache
- Englisch
- ISBN-10
- 1801077746
- ISBN-13
- 9781801077743
Understand the complexities of modern-day data engineering platforms and explore strategies to deal with them with the help of use case scenarios led by an industry expert in big data
Key Features
- Become well-versed with the core concepts of Apache Spark and Delta Lake for building data platforms
- Learn how to ingest, process, and analyze data that can be later used for training machine learning models
- Understand how to operationalize data models in production using curated data
Book Description
In the world of ever-changing data and schemas, it is important to build data pipelines that can auto-adjust to changes. This book will help you build scalable data platforms that managers, data scientists, and data analysts can rely on.
Starting with an introduction to data engineering, along with its key concepts and architectures, this book will show you how to use Microsoft Azure Cloud services effectively for data engineering. You'll cover data lake design patterns and the different stages through which the data needs to flow in a typical data lake. Once you've explored the main features of Delta Lake to build data lakes with fast performance and governance in mind, you'll advance to implementing the lambda architecture using Delta Lake. Packed with practical examples and code snippets, this book takes you through real-world examples based on production scenarios faced by the author in his 10 years of experience working with big data. Finally, you'll cover data lake deployment strategies that play an important role in provisioning the cloud resources and deploying the data pipelines in a repeatable and continuous way.
By the end of this data engineering book, you'll know how to effectively deal with ever-changing data and create scalable data pipelines to streamline data science, ML, and artificial intelligence (AI) tasks.
What you will learn
- Discover the challenges you may face in the data engineering world
- Add ACID transactions to Apache Spark using Delta Lake
- Understand effective design strategies to build enterprise-grade data lakes
- Explore architectural and design patterns for building efficient data ingestion pipelines
- Orchestrate a data pipeline for preprocessing data using Apache Spark and Delta Lake APIs
- Automate deployment and monitoring of data pipelines in production
- Get to grips with securing, monitoring, and managing data pipelines models efficiently
Who this book is for
This book is for aspiring data engineers and data analysts who are new to the world of data engineering and are looking for a practical guide to building scalable data platforms. If you already work with PySpark and want to use Delta Lake for data engineering, you'll find this book useful. Basic knowledge of Python, Spark, and SQL is expected.
Table of Contents
- The Story of Data Engineering and Analytics
- Discovering Storage and Compute Data Lakes
- Data Engineering on Microsoft Azure
- Understanding Data Pipelines
- Data Collection Stage - The Bronze Layer
- Understanding Delta Lake
- Data Curation Stage - The Silver Layer
- Data Aggregation Stage - The Gold Layer
- Deploying and Monitoring Pipelines in Production
- Solving Data Engineering Challenges
- Infrastructure Provisioning
- Continuous Integration and Deployment (CI/CD) of Data Pipelines
„Inhaltsangabe“ gehört möglicherweise zu einer anderen Auflage dieses Titels.
Über die Autorin bzw. den Autor
„Über diesen Titel“ gehört möglicherweise zu einer anderen Auflage dieses Titels.
medimops
Berlin, Deutschland
Verkäufer:in bei ZVAB seit 10. Mai 2010
Versandkosten von Deutschland nach USA
| Artikel | 10 bis 20 Werktage | 10 bis 20 Werktage |
|---|---|---|
| Erster Artikel | EUR 10,00 | EUR 20,00 |
Zahlungsarten
Shopbeschreibung
**WILLKOMMEN** im AbeBooks Shop von medimops - dein Onlineshop mit der größten Auswahl an Second Hand Büchern. Stöber dich durch über 4 Millionen Artikel und spare bis zu 70 % im Vergleich zum Neupreis. Wir prüfen alle Artikel sorgfältig auf Qualität und Funktionalität. **WELCOME** to the medimop's AbeBooks shop, the online shop with a large range of second-hand books. Browse more than 4 million articles and save up to 70% on the new price. All our articles are quality checked. ** BIENVENUE ** dans la boutique AbeBooks de momox shop! Spécialiste des articles culturels d'occasion, nous vous offrons une gamme diversifiée de livres d'occasion. Découvrez nos offres et économisez jusqu'à 70% du prix neuf! Nous grarantissons tous nos articles en bon état. ** BENVENUTI ** nello shop medimops di AbeBooks, lo shop online per i libri usati. Abbiamo piu´di 4 milioni di articoli e potete risparmiare fino al 70% rispetto al nuovo. Tutti i nostri prodotti sono controllati a mano per garantire la massima qualità. ** BIENVENIDO ** a la tienda de medimops en AbeBooks, la tienda online con una gran oferta de libros de segunda mano. Navegue por más de 4 millones de artículos y ahorre hasta un 70% sobre el precio nuevo. Todos nuestros artículos son de calidad comprobada. …
Unternehmensdaten der Verkäuferin bzw. des Verkäufers
momox SE
Schreiberhauer Straße 30
Berlin, Deutschland 10317
medimops.de ist eine Unternehmung der momox SE | Schreiberhauer Straße 30 | 10317 Berlin
vertreten durch den Vorstand Heiner Kroke (Sprecher) und Christian von Hohnhorst
USt-ID: DE266608643
Handelsregister HRB 236261 B | AG Berlin Charlottenburg
Verkaufsbedingungen
1. Geltungsbereich
Für alle Bestellungen über unseren Shop auf dem AbeBooks Marketplace gelten die nachfolgenden AGB. Soweit nicht anders vereinbart, wird der Einbeziehung gegebenenfalls von Ihnen verwendeter eigener Bedingungen widersprochen.
2. Vertragspartner, Vertragsschluss, Korrekturmöglichkeiten
Der Kaufvertrag kommt zustande mit momox SE.
Gegenstand des Vertrages ist der Verkauf von Waren.
Wird ein Artikel von uns bei AbeBooks eingestellt, liegt in der Freischaltung der Angebotsseite bei AbeBooks das verbindliche Angebot zum Abschluss eines Vertrages zu den in der Artikelseite enthaltenen Bedingungen.
Die Darstellung der Produkte im Online-Shop stellt kein rechtlich bindendes Angebot, sondern einen unverbindlichen Online-Katalog dar. Sie haben die Möglichkeit, den Bestellprozess über das Warenkorbsystem oder die Jetzt-kaufen-Funktion abzuschließen. Sie können unsere Produkte zunächst unverbindlich in den Warenkorb legen und Ihre Eingaben vor Absenden Ihrer verbindlichen Bestellung jederzeit korrigieren, indem Sie die hierfür im Bestellablauf vorgesehenen und erläuterten Korrekturhilfen nutzen. Durch Anklicken des Bestellbuttons geben Sie ein verbindliches Angebot über die im Warenkorb enthaltenen Waren ab. Durch Betätigen des Buttons „Jetzt kaufen“ wird automatisch eine Bestellung erstellt, die an die von Ihnen hinterlegte Lieferadresse versandt wird und für die eine Zahlung mit der angegebenen Zahlungsart erfolgt.
Die Bestätigung des Zugangs Ihrer Bestellung erfolgt per E-Mail unmittelbar nach dem Absenden der Bestellung. Wir nehmen Ihre Bestellung innerhalb von 2 Tagen an, indem wir oder AbeBooks in unserem Namen eine Annahmeerklärung bzw. Versandbestätigung in separater E-Mail abgeben/abgibt oder gegebenenfalls die Zahlungstransaktion durch den Dienstleister oder den ausgewählten Zahlungsdienstleister durchgeführt wird. Der Durchführungszeitpunkt der Zahlungstransaktion richtet sich nach der jeweils ausgewählten Zahlungsart (s. unter „Bezahlung“). Die für Sie relevante Alternative richtet sich danach, welches der aufgezählten Ereignisse als Erstes eintritt.
3. Vertragssprache, Vertragstextspeicherung
Die für den Vertragsschluss zur Verfügung stehende(n) Sprache(n): Deutsch
Wir speichern den Vertragstext auf unseren Systemen, die jedoch für Sie nicht zugänglich sind.
Über Ihren AbeBooks-Account haben Sie jedoch die Möglichkeit, Ihre letzten Bestellungen einzusehen. Der vollständige Vertragstext ist dort nicht zugänglich.
4. Lieferbedingungen
Zuzüglich zu den angegebenen Produktpreisen kommen noch Versandkosten hinzu. Näheres zur Höhe der Versandkosten erfahren Sie bei den Angeboten.
5. Bezahlung
Die Zahlungsabwicklung wird durch AbeBooks durchgeführt. Sie können den Rechnungsbetrag per Kreditkarte bezahlen.
6. Eigentumsvorbehalt
Die Ware bleibt bis zur vollständigen Bezahlung unser Eigentum.
7. Transportschäden
Werden Waren mit offensichtlichen Transportschäden angeliefert, so reklamieren Sie solche Fehler bitte möglichst sofort beim Zusteller und nehmen Sie bitte unverzüglich Kontakt zu uns auf. Die Versäumung einer Reklamation oder Kontaktaufnahme hat für Ihre gesetzlichen Ansprüche und deren Durchsetzung, insbesondere Ihre Gewährleistungsrechte, keinerlei Konsequenzen. Sie helfen uns aber, unsere eigenen Ansprüche gegenüber dem Frachtführer bzw. der Transportversicherung geltend machen zu können.
8. Gewährleistung
Es gilt das gesetzliche Mängelhaftungsrecht.
Kundendienst: Telefonnummer: 0049 (0) 30/488288200
9 bis 18 Uhr, E-Mail: kundenservice@medimops.de
9. Haftung
Für Ansprüche aufgrund von Schäden, die durch uns, unsere gesetzlichen Vertreter oder Erfüllungsgehilfen verursacht wurden, haften wir stets unbeschränkt • bei Verletzung des Lebens, des Körpers oder der Gesundheit • bei vorsätzlicher oder grob fahrlässiger Pflichtverletzung • bei Garantieversprechen, soweit vereinbart, oder • soweit der Anwendungsbereich des Produkthaftungsgesetzes eröffnet ist. Bei Verletzung wesentlicher Vertragspflichten, deren Erfüllung die ordnungsgemäße Durchführung des Vertrages überhaupt erst ermöglicht und auf deren Einhaltung der Vertragspartner regelmäßig vertrauen darf, (Kardinalpflichten) durch leichte Fahrlässigkeit von uns, unseren gesetzlichen Vertretern oder Erfüllungsgehilfen ist die Haftung der Höhe nach auf den bei Vertragsschluss vorhersehbaren Schaden begrenzt, mit dessen Entstehung typischerweise gerechnet werden muss. Im Übrigen sind Ansprüche auf Schadensersatz ausgeschlossen.
10. Streitbeilegung
Die Europäische Kommission stellt eine Plattform zur Online-Streitbeilegung (OS) bereit, die Sie hier finden: https://ec.europa.eu/consumers/odr/. Verbraucher haben die Möglichkeit, diese Plattform für die Beilegung ihrer Streitigkeiten zu nutzen.
Zur Beilegung von Streitigkeiten aus einem Vertragsverhältnis mit einem Verbraucher bzw. darüber, ob ein solches Vertragsverhältnis überhaupt besteht, sind wir zur Teilnahme an Streitbeilegungsverfahren vor einer Verbraucherschlichtungsstelle verpflichtet. Zuständig ist die Universalschlichtungsstelle des Bundes am Zentrum für Schlichtung e.V., Straßburger Straße 8, 77694 Kehl am Rhein, www.verbraucher-schlichter.de. An einem Streitbeilegungsverfahren vor dieser Stelle werden wir teilnehmen.
11. Jugendschutz
Sofern Ihre Bestellung Waren umfasst, deren Verkauf Altersbeschränkungen unterliegt, stellen wir durch den Einsatz eines zuverlässigen Verfahrens unter Einbeziehung einer persönlichen Identitäts- und Altersprüfung sicher, dass der Besteller das erforderliche Mindestalter erreicht hat. Der Zusteller übergibt die Ware erst nach erfolgter Altersprüfung und nur an den Besteller persönlich.
Eine Zustellung an Packstationen ist in diesem Fall nicht möglich.
Widerrufsrecht
Wenn Sie Verbraucher sind, können Sie gemäß den folgenden Bestimmungen vom Vertrag zurücktreten. Verbraucher ist jede natürliche Person, die zu Zwecken handelt, die nicht ihrer kaufmännischen, gewerblichen, künstlerischen oder beruflichen Tätigkeit zugerechnet werden können.
Informationen zum Widerrufsrecht
Gesetzliches Widerrufsrecht
Sie haben das Recht, den Vertrag innerhalb von 14 Tagen ohne Angabe von Gründen zu widerrufen.
Die Widerrufsfrist beträgt 14 Tage ab dem Tag, an dem Sie oder ein von Ihnen benannter Dritter, der nicht der Transporteur ist, die letzte Ware oder den letzten Posten oder das letzte Exemplar in Besitz genommen hat.
Um das Widerrufsrecht auszuüben, füllen Sie auf unserer Website unter „Meine Einkäufe" in „Mein Nutzerkonto" eine eindeutige Erklärung elektronisch aus und senden Sie sie ab. Wir werden Ihnen unverzüglich eine Bestätigung über den Eingang eines solchen Widerrufs auf einem dauerhaften Datenträger (z. B. per E-Mail) übermitteln.
Um die Widerrufsfrist einzuhalten, reicht es aus, dass Sie Ihre Mitteilung über die Ausübung des Widerrufsrechts vor Ablauf der Widerrufsfrist absenden.
Auswirkungen des Widerrufs
Wenn Sie diesen Vertrag widerrufen, erstatten wir Ihnen alle Zahlungen, die wir von Ihnen erhalten haben, einschließlich der Lieferkosten (mit Ausnahme der zusätzlichen Kosten, die entstehen, wenn Sie eine andere Art der Lieferung als die von uns angebotene günstigste Standardlieferung gewählt haben).
Wir können einen Abzug von der Rückerstattung für den Wertverlust der gelieferten Waren vornehmen, wenn der Verlust auf eine unnötige Behandlung durch Sie zurückzuführen ist.
Wir werden die Rückerstattung unverzüglich und nicht später als 14 Tage nach dem Tag vornehmen, an dem wir über Ihre Entscheidung, diesen Vertrag zu widerrufen, informiert wurden.
Für die Rückerstattung verwenden wir dasselbe Zahlungsmittel, das Sie für die ursprüngliche Transaktion verwendet haben, es sei denn, Sie haben ausdrücklich etwas anderes vereinbart; in keinem Fall werden Ihnen aufgrund einer solchen Rückerstattung Gebühren berechnet.
Wir können die Rückzahlung verweigern, bis wir die Waren wieder zurückerhalten haben oder Sie den Nachweis erbracht haben, dass Sie die Waren zurückgesandt haben, je nachdem, was eher eintritt.
Sie müssen die Waren unverzüglich und in jedem Fall spätestens 14 Tage ab dem Tag, an dem Sie uns über den Widerruf dieses Vertrags unterrichten, an medimops, Leipzig, Germany, zurücksenden oder übergeben. Die Frist ist eingehalten, wenn Sie die Ware vor Ablauf der Frist von 14 Tagen zurücksenden. Sie müssen die direkten Kosten der Rücksendung der Waren tragen. Sie haften nur für einen etwaigen Wertverlust der Waren, der auf eine Behandlung zurückzuführen ist, die nicht zur Prüfung der Art, Eigenschaften und Funktionsweise der Waren erforderlich ist.
Ausnahmen vom Widerrufsrecht
Das Widerrufsrecht gilt nicht für:
- Die Lieferung von Zeitungen, Zeitschriften oder Magazinen mit Ausnahme von Abonnementverträgen; und
- Die Lieferung digitaler Inhalte, die nicht auf einem physischen Medium (z. B. auf einer CD oder DVD) geliefert werden, wenn Sie bei Ihrer Bestellung akzeptiert haben, dass wir mit der Lieferung beginnen können und dass Sie nach Beginn der Lieferung den Vertrag nicht mehr widerrufen können.
Datenschutz und Sicherheit
Soweit nachstehend keine anderen Angaben gemacht werden, ist die Bereitstellung Ihrer personenbezogenen Daten weder gesetzlich oder vertraglich vorgeschrieben, noch für einen Vertragsabschluss erforderlich. Sie sind zur Bereitstellung der Daten nicht verpflichtet. Eine Nichtbereitstellung hat keine Folgen. Dies gilt nur soweit bei den nachfolgenden Verarbeitungsvorgängen keine anderweitige Angabe gemacht wird.
"Personenbezogene Daten" sind alle Informationen, die sich auf eine identifizierte oder identifizierbare natürliche Person beziehen.
Erhebung, Verarbeitung und Weitergabe personenbezogener Daten bei Bestellungen
Bei der Bestellung erheben und verarbeiten wir Ihre personenbezogenen Daten nur, soweit dies zur Erfüllung und Abwicklung Ihrer Bestellung sowie zur Bearbeitung Ihrer Anfragen erforderlich ist. Die Bereitstellung der Daten ist für den Vertragsschluss erforderlich. Eine Nichtbereitstellung hat zur Folge, dass kein Vertrag geschlossen werden kann. Die Verarbeitung erfolgt auf Grundlage des Art. 6 Abs. 1 lit. b) DSGVO und ist für die Erfüllung eines Vertrags mit Ihnen erforderlich.
Eine Weitergabe Ihrer Daten erfolgt dabei beispielsweise an die von Ihnen gewählten Versandunternehmen und Dropshipping Anbieter, Zahlungsdienstleister, Diensteanbieter für die Bestellabwicklung und IT-Dienstleister. In allen Fällen beachten wir strikt die gesetzlichen Vorgaben. Der Umfang der Datenübermittlung beschränkt sich auf ein Mindestmaß.
Dauer der Speicherung
Nach vollständiger Vertragsabwicklung werden die Daten zunächst für die Dauer der Gewährleistungsfrist, danach unter Berücksichtigung gesetzlicher, insbesondere steuer- und handelsrechtlicher Aufbewahrungsfristen gespeichert und dann nach Fristablauf gelöscht, sofern Sie der weitergehenden Verarbeitung und Nutzung nicht zugestimmt haben.
Rechte der betroffenen Person
Ihnen stehen bei Vorliegen der gesetzlichen Voraussetzungen folgende Rechte nach Art. 15 bis 20 DSGVO zu: Recht auf Auskunft, auf Berichtigung, auf Löschung, auf Einschränkung der Verarbeitung, auf Datenübertragbarkeit.
Außerdem steht Ihnen nach Art. 21 (1) DSGVO ein Widerspruchsrecht gegen die Verarbeitungen zu, die auf Art. 6 (1) f DSGVO beruhen, sowie gegen die Verarbeitung zum Zwecke von Direktwerbung.
Kontaktieren Sie uns auf Wunsch. Die Kontaktdaten finden Sie in unserem Impressum.
Beschwerderecht bei der Aufsichtsbehörde
Sie haben gemäß Art. 77 DSGVO das Recht, sich bei der Aufsichtsbehörde zu beschweren, wenn Sie der Ansicht sind, dass die Verarbeitung Ihrer personenbezogenen Daten nicht rechtmäßig erfolgt.
Widerspruchsrecht
Beruhen die hier aufgeführten personenbezogenen Datenverarbeitungen auf Grundlage unseres berechtigten Interesses nach Art. 6 Abs. 1 lit. f DSGVO, haben Sie das Recht aus Gründen, die sich aus Ihrer besonderen Situation ergeben, jederzeit diesen Verarbeitungen mit Wirkung für die Zukunft zu widersprechen.
Nach erfolgtem Widerspruch wird die Verarbeitung der betroffenen Daten beendet, es sei denn, wir können zwingende schutzwürdige Gründe für die Verarbeitung nachweisen, die Ihre Interessen, Rechte und Freiheiten überwiegen, oder wenn die Verarbeitung der Geltendmachung, Ausübung oder Verteidigung von Rechtsansprüchen dient.
Erfolgt die personenbezogene Datenverarbeitung zu Zwecken der Direktwerbung, können Sie dieser Verarbeitung jederzeit durch Mitteilung an uns widersprechen. Nach erfolgtem Widerspruch beenden wir die Verarbeitung der betroffenen Daten zum Zwecke der Direktwerbung.