Smart City End to End Realtime Data Engineering Project | Get Hired as an AWS Data Engineer

-


     In this video, you will be building a Smart City End to End Realtime data streaming pipeline covering each phase from data ingestion to processing and finally storage. We'll utilize tools like IOT devices, Apache Zookeeper, Apache Kafka, Apache Spark,  Docker, Python, AWS Cloud, AWS Glue, AWS Athena, AWS IAM, AWS Redshift and finally PowerBI to visualize data on Redshift.


Lưu ý: Đối với dự án này chúng ta sẽ đạt được 2 mục đích chính:

    1.    Cách cấu hình hệ thống với Docker

    2. Cách sử dụng AWS S3 và sử dụng công cụ phân tích dữ liệu ở đây mình đã dùng Loocker Studio.

Link Source code: Github

Link video demo sản phẩm: Youtube Demo

Link full cách làm project: Video hướng dẫn làm full project

Hình ảnh sản phẩm được thực hiện bởi Explore the developer Blog:




Nhận xét

Đăng nhận xét

Cám ơn đã đống góp

Bài đăng phổ biến từ blog này

JAVA WEB APPLICATION (JAVA EE) Networks and HTTP Part 1

-
Networks and HTTP Part 1 Với sự hỗ trợ đến từ kênh Youtube  Explore the developer . Mong các bạn ủng hộ bằng cách đăng ký kênh, like, Share kênh để chúng mình có thêm động lực để cung cấp thêm thông tin về đề tài này nhé.                Internet được hiểu như một mạng kết nối toàn cầu, cho phép các thiết bị giao tiếp với nhau mà không bị giới hạn bởi khoảng cách địa lý. Những kết nối này được quản lý thông qua hệ thống DNS (Domain Name System), hệ thống này chuyển đổi tên miền thành địa chỉ IP để các thiết bị có thể truy cập đúng vào các server cần thiết. DNS được xem như một "danh bạ" của Internet, và các lựa chọn kết nối DNS có thể được cấu hình ở cấp cao nhất trên server để đảm bảo khả năng truy cập và bảo mật cho người dùng.                Ở Part 2 sắp tới chúng ta sẽ đi phần tích rõ ràng về những thành phần của Internet vì chúng ta sẽ làm việc với Java EE nơi chúng ta sẽ tạo web và sử dụ...
Đọc thêm