Tài liệu trình bày Azure Data Factory
Azure Data Factory công cụ low-code chuyển đổi dữ liệu trên nền tảng cloud của Microsoft Azure. Các chức năng chính của Azure Data Factory tập trung vào việc kết nối, phát triển vào thực hiện ETL & ELT theo mô hình low-code, và chức năng ghi kết quả vào một database nào đó (thường là các data warehouse), hoặc các dịch vụ phân tích dữ liệu như Power BI trong môi trường của Microsoft.
Với chức năng kết nối và thâu tóm dữ liêu, cho nên ADF (Azure Data Factory) không những phải có năng lực kết nối với các database thông thường như MS SQL, Oracle, MySQL… và cần phải hỗ trợ thật nhiều, thật nhiều các thể loại dữ liệu muôn hình vạn trạng của khách hàng, và cuối cùng nếu không có kết nối theo kiểu Native được thì dùng tới ODBC hoặc JDBC (tài liệu sau đây cho chúng ta biết là ADF đang hỗ trợ các hệ quản trị cơ sở dữ liệu nào, https://learn.microsoft.com/en-us/azure/data-factory/connector-overview)
Một vấn đề nữa là hiện nay sẽ phải giải quyết bài toán các khách hàng có database ở mô hình On-Premise trong khi bạn ADF của chủng ta chỉ có ở trên mây. Nên bàn toán mà ADF đối mặt là phải kết nối và thâu gôm được dữ liệu của khách hàng ở On-Premise. Và ADF làm tốt việc này, bạn đừng lo lắng gì cả. Khi bạn cần triển khai theo mô hình này, thì cần phải đưa VPN vào nhằm gia tăng tính bảo mật của dữ liệu của bạn trên đường truyền ra Internet, và cũng nên cân nhắc cơ chế mã hoá dữ liệu trước khi trao gửi cho bạn ADF chuyển đi
Trong các sản phẩm về data management của ông bạn nhà giàu Microsoft thì có sản phẩm Microsoft Synapse Analytics cũng có chức năng y choang bạn ADF này, và bạn cần hiểu rõ chức năng và bản chất của 2 bạn ứng dụng này để chọn đúng sản phẩm cho doanh nghiệp của bạn. Chúng tôi sẽ có các bài phân tích sự giống và khác nhau của Azure Data Factory và Microsoft Synapse Analytics sớm trong diễn đàn này
Video sau đây giới thiệu và trình bày cho bạn rất rõ về các chức năng và nhiệm vụ của ứng dụng Azure Data Factory trong công cuộc chuyển đổi dữ liệu thành thông tin của doanh nghiệp
Data Factory provides a data integration and transformation layer that works across your digital transformation initiatives.
- Enable citizen integrators and data engineers to drive business and IT-led Analytics/BI.
- Prepare data, construct ETL and ELT processes, and orchestrate and monitor pipelines code-free. The managed Apache Spark™ service takes care of code generation and maintenance.
- Transform faster with intelligent intent-driven mapping that automates copy activities.
Đọc và tải tài liệu giới thiệu Azure Data Factory tại đây
