Data engineering with Google Cloud Platform : a practical guide to operationalizing scalable data analytics systems on GCPнаучное издание
База данных: Каталог библиотеки СФУ (005.7 D24)
Библиографическое описание: Widjaja, Adi. Data engineering with Google Cloud Platform : a practical guide to operationalizing scalable data analytics systems on GCP / Adi, Widjaja. - Электрон. текстовые дан. - [S. l. : s. n.], 2022. - 1 online resource. - Загл. с титул. экрана. - ISBN 1800565062. - ISBN 9781800565067 : Б. ц. - Текст : электронный. Print on demand edition. Перевод заглавия: Разработка данных с помощью Google Cloud Platform: практическое руководство по внедрению масштабируемых систем анализа данных на GCP Примечания о происхождении: Коллекция цифровых книг Ebsco ebook (централизованная подписка 2023 г., бессрочный доступ). НБ СФУ
Аннотация: Build and deploy your own data pipelines on GCP, make key architectural decisions, and gain the confidence to boost your career as a data engineer Key Features Understand data engineering concepts, the role of a data engineer, and the benefits of using GCP for building your solution Learn how to use the various GCP products to ingest, consume, and transform data and orchestrate pipelines Discover tips to prepare for and pass the Professional Data Engineer exam Book Description With this book, you'll understand how the highly scalable Google Cloud Platform (GCP) enables data engineers to create end-to-end data pipelines right from storing and processing data and workflow orchestration to presenting data through visualization dashboards. Starting with a quick overview of the fundamental concepts of data engineering, you'll learn the various responsibilities of a data engineer and how GCP plays a vital role in fulfilling those responsibilities. As you progress through the chapters, you'll be able to leverage GCP products to build a sample data warehouse using Cloud Storage and BigQuery and a data lake using Dataproc. The book gradually takes you through operations such as data ingestion, data cleansing, transformation, and integrating data with other sources. You'll learn how to design IAM for data governance, deploy ML pipelines with the Vertex AI, leverage pre-built GCP models as a service, and visualize data with Google Data Studio to build compelling reports. Finally, you'll find tips on how to boost your career as a data engineer, take the Professional Data Engineer certification exam, and get ready to become an expert in data engineering with GCP. By the end of this data engineering book, you'll have developed the skills to perform core data engineering tasks and build efficient ETL data pipelines with GCP. What you will learn Load data into BigQuery and materialize its output for downstream consumption Build data pipeline orchestration using Cloud Composer Develop Airflow jobs to orchestrate and automate a data warehouse Build a Hadoop data lake, create ephemeral clusters, and run jobs on the Dataproc cluster Leverage Pub/Sub for messaging and ingestion for event-driven systems Use Dataflow to perform ETL on streaming data Unlock the power of your data with Data Studio Calculate the GCP cost estimation for your end-to-end data solutions Who this book is for This book is for data engineers, data analysts, and anyone looking to design and manage data processing pipelines using GCP. You'll find this book useful if you are preparing to take Google's Professional Data Engineer exam. Beginner-level understanding of data science, the Python programming language, and Linux commands is necessary. A basic understanding of data processing and cloud computing, in general, will help you make the most out of this book.
Создавайте и развертывайте свои собственные конвейеры обработки данных на GCP, принимайте ключевые архитектурные решения и обретайте уверенность в себе, что поможет вам продвинуться по карьерной лестнице в качестве инженера по обработке данных Ключевые возможности Поймите концепции разработки данных, роль инженера по обработке данных и преимущества использования GCP для создания вашего решения Узнайте, как использовать различные продукты GCP для повышения эффективности работы с данными. в этой книге вы найдете советы по подготовке и сдаче экзамена на профессионального инженера по обработке данных, которые помогут вам получать, использовать и преобразовывать данные, а также организовывать конвейеры., вы поймете, как высокомасштабируемая облачная платформа Google Cloud Platform (GCP) позволяет инженерам по обработке данных создавать сквозные конвейеры обработки данных - от хранения и обработки данных и организации рабочих процессов до представления данных с помощью панелей визуализации. Начав с краткого обзора фундаментальных концепций разработки данных, вы узнаете о различных обязанностях инженера по обработке данных и о том, как GCP играет жизненно важную роль в выполнении этих обязанностей. По мере прохождения глав вы сможете использовать продукты GCP для создания типового хранилища данных с использованием облачного хранилища и BigQuery, а также озера данных с использованием Dataproc. Книга постепенно знакомит вас с такими операциями, как прием данных, очистка данных, преобразование и интеграция данных с другими источниками. Вы узнаете, как разрабатывать IAM для управления данными, развертывать конвейеры ML с помощью Vertex AI, использовать готовые модели GCP в качестве сервиса и визуализировать данные с помощью Google Data Studio для создания убедительных отчетов. Наконец, вы найдете советы о том, как продвинуться по карьерной лестнице в качестве инженера по обработке данных, сдать экзамен на получение сертификата профессионального инженера по обработке данных и подготовиться к тому, чтобы стать экспертом в области разработки данных с помощью GCP. К концу прочтения этой книги по разработке данных вы приобретете навыки, необходимые для выполнения основных задач по разработке данных и построения эффективных конвейеров передачи данных ETL с помощью GCP. Чему вы научитесь: Загружайте данные в BigQuery и материализуйте их для последующего использования; Создавайте конвейерную оркестровку данных с помощью Cloud Composer; Разрабатывайте задания Airflow для организации и автоматизации хранилища данных; Создавайте озеро данных Hadoop, создавайте временные кластеры и выполняйте задания в кластере Dataproc; Используйте Pub/Sub для обмена сообщениями и обработки событий управляемые системы используют Dataflow для выполнения ETL-обработки потоковых данных Раскройте возможности ваших данных с помощью Data Studio Рассчитайте стоимость GCP для ваших комплексных решений для обработки данных Для кого предназначена эта книга Эта книга предназначена для инженеров по обработке данных, аналитикам данных и всем, кто хочет разрабатывать конвейеры обработки данных и управлять ими с помощью GCP. Эта книга будет полезна тем, кто готовится сдавать экзамен Google на профессионального инженера по обработке данных. Необходимо иметь начальное представление о науке о данных, языке программирования Python и командах Linux. Базовые знания об обработке данных и облачных вычислениях в целом помогут вам извлечь максимальную пользу из этой книги.
Создавайте и развертывайте свои собственные конвейеры обработки данных на GCP, принимайте ключевые архитектурные решения и обретайте уверенность в себе, что поможет вам продвинуться по карьерной лестнице в качестве инженера по обработке данных Ключевые возможности Поймите концепции разработки данных, роль инженера по обработке данных и преимущества использования GCP для создания вашего решения Узнайте, как использовать различные продукты GCP для повышения эффективности работы с данными. в этой книге вы найдете советы по подготовке и сдаче экзамена на профессионального инженера по обработке данных, которые помогут вам получать, использовать и преобразовывать данные, а также организовывать конвейеры., вы поймете, как высокомасштабируемая облачная платформа Google Cloud Platform (GCP) позволяет инженерам по обработке данных создавать сквозные конвейеры обработки данных - от хранения и обработки данных и организации рабочих процессов до представления данных с помощью панелей визуализации. Начав с краткого обзора фундаментальных концепций разработки данных, вы узнаете о различных обязанностях инженера по обработке данных и о том, как GCP играет жизненно важную роль в выполнении этих обязанностей. По мере прохождения глав вы сможете использовать продукты GCP для создания типового хранилища данных с использованием облачного хранилища и BigQuery, а также озера данных с использованием Dataproc. Книга постепенно знакомит вас с такими операциями, как прием данных, очистка данных, преобразование и интеграция данных с другими источниками. Вы узнаете, как разрабатывать IAM для управления данными, развертывать конвейеры ML с помощью Vertex AI, использовать готовые модели GCP в качестве сервиса и визуализировать данные с помощью Google Data Studio для создания убедительных отчетов. Наконец, вы найдете советы о том, как продвинуться по карьерной лестнице в качестве инженера по обработке данных, сдать экзамен на получение сертификата профессионального инженера по обработке данных и подготовиться к тому, чтобы стать экспертом в области разработки данных с помощью GCP. К концу прочтения этой книги по разработке данных вы приобретете навыки, необходимые для выполнения основных задач по разработке данных и построения эффективных конвейеров передачи данных ETL с помощью GCP. Чему вы научитесь: Загружайте данные в BigQuery и материализуйте их для последующего использования; Создавайте конвейерную оркестровку данных с помощью Cloud Composer; Разрабатывайте задания Airflow для организации и автоматизации хранилища данных; Создавайте озеро данных Hadoop, создавайте временные кластеры и выполняйте задания в кластере Dataproc; Используйте Pub/Sub для обмена сообщениями и обработки событий управляемые системы используют Dataflow для выполнения ETL-обработки потоковых данных Раскройте возможности ваших данных с помощью Data Studio Рассчитайте стоимость GCP для ваших комплексных решений для обработки данных Для кого предназначена эта книга Эта книга предназначена для инженеров по обработке данных, аналитикам данных и всем, кто хочет разрабатывать конвейеры обработки данных и управлять ими с помощью GCP. Эта книга будет полезна тем, кто готовится сдавать экзамен Google на профессионального инженера по обработке данных. Необходимо иметь начальное представление о науке о данных, языке программирования Python и командах Linux. Базовые знания об обработке данных и облачных вычислениях в целом помогут вам извлечь максимальную пользу из этой книги.
Год издания: 2022
Авторы: Widjaja Adi
Количество экземпляров:
Издание имеется только в электронном виде
Рубрики: Big data,
Cloud computing,
Web services,
Computer organization,
Données volumineuses,
Infonuagique,
Services Web,
Ordinateurs / Conception et construction
Cloud computing,
Web services,
Computer organization,
Données volumineuses,
Infonuagique,
Services Web,
Ordinateurs / Conception et construction
Классификационные коды: УДК 005.7, ГРНТИ 50.05
ISBN: 1800565062
Идентификаторы: полочный индекс 005.7 D24, шифр /D24-870121947