Search for answers or browse our knowledge base.
SAP CDC và quy trình vận hành tích hợp dữ liệu
ÁP DỤNG CHO: Azure Data Factory, Azure Synapse Analytics
Mẹo: Hãy thử sử dụng Data Factory trong Microsoft Fabric, một giải pháp phân tích toàn diện cho doanh nghiệp. Microsoft Fabric bao gồm mọi thứ từ di chuyển dữ liệu (data movement) đến khoa học dữ liệu (data science), phân tích thời gian thực (real-time analytics), trí tuệ kinh doanh (business intelligence) và báo cáo (reporting). Tìm hiểu cách bắt đầu bản dùng thử miễn phí tại Microsoft Fabric!
Sau khi bạn tạo một đường ống (pipeline) và luồng dữ liệu ánh xạ (mapping data flow) trong Azure Data Factory bằng bộ kết nối SAP CDC (Change Data Capture), việc quản lý quy trình ETL (Extract, Transform, Load) một cách phù hợp là rất quan trọng.
Chạy đường ống sao chép dữ liệu SAP theo lịch định kỳ
Để chạy đường ống sao chép dữ liệu SAP theo lịch định kỳ với tần suất xác định:
- Tạo một bộ kích hoạt cửa sổ trượt (tumbling window trigger) để chạy đường ống sao chép dữ liệu SAP thường xuyên. Đặt Độ đồng thời tối đa (Max concurrency) thành 1.
Để biết thêm thông tin, xem Create a trigger that runs a pipeline on a tumbling window.
[HÌNH ẢNH SỐ 1 CẦN THÊM]: Giao diện Azure Data Factory hiển thị phần tạo bộ kích hoạt cửa sổ trượt (tumbling window trigger) với các tùy chọn như Tên, Loại, và Độ đồng thời tối đa (Max concurrency).
- Thêm phụ thuộc tự thân (self-dependency) vào bộ kích hoạt cửa sổ trượt để đảm bảo rằng lần chạy đường ống tiếp theo luôn chờ cho đến khi các lần chạy trước đó hoàn tất thành công.
Để biết thêm thông tin, xem Create a tumbling window trigger dependency.
[HÌNH ẢNH SỐ 2 CẦN THÊM]: Giao diện chỉnh sửa bộ kích hoạt (Edit trigger) trong Azure Data Factory, hiển thị các trường như Tên, Mô tả, Loại (TumblingWindowTrigger), Ngày bắt đầu, Tần suất (Recurrence), Phụ thuộc (Dependencies), Độ trễ (Delay), Độ đồng thời tối đa (Max concurrency), và Chính sách thử lại (Retry policy).
Theo dõi luồng dữ liệu SAP CDC
Để theo dõi trạng thái và tiến độ của luồng dữ liệu SAP CDC đang chạy, mở công cụ Theo dõi (Monitor) và chọn lần chạy đường ống của bạn. Chọn biểu tượng Chi tiết luồng dữ liệu (Data flow details) trong bảng hoạt động (activity table) ở phía dưới màn hình.
[HÌNH ẢNH SỐ 3 CẦN THÊM]: Giao diện công cụ Theo dõi (Monitor) trong Azure Data Factory, hiển thị danh sách các lần chạy đường ống (pipeline runs) với bảng hoạt động (activity table) chứa thông tin như Tên hoạt động, Trạng thái, Loại hoạt động, Thời gian bắt đầu, Thời lượng, và biểu tượng Chi tiết luồng dữ liệu (Data flow details).
Việc này sẽ đưa bạn đến trình theo dõi luồng dữ liệu (data flow monitor). Nhấp vào biểu tượng nguồn (source icon) trong sơ đồ luồng dữ liệu ở phía trên sẽ mở phần chẩn đoán nguồn chi tiết (detail source diagnostics) ở phía dưới.
[HÌNH ẢNH SỐ 4 CẦN THÊM]: Giao diện trình theo dõi luồng dữ liệu (data flow monitor) trong Azure Data Factory, hiển thị sơ đồ luồng dữ liệu với biểu tượng nguồn (source icon) được chọn để mở phần chẩn đoán nguồn chi tiết (detail source diagnostics).
Phần “Quy trình thuê bao từ SAP đến giai đoạn” (SAP to stage subscriber process) (không hiển thị đối với tải đầy đủ – full loads) giúp bạn xác định quy trình SAP CDC của mình trong các công cụ theo dõi của hệ thống nguồn SAP.
[HÌNH ẢNH SỐ 5 CẦN THÊM]: Giao diện trình theo dõi luồng dữ liệu (data flow monitor), hiển thị phần Quy trình thuê bao từ SAP đến giai đoạn (SAP to stage subscriber process) với thông tin về quy trình SAP CDC trong hệ thống nguồn SAP.
Phần “SAP đến giai đoạn” (SAP to stage), được cập nhật định kỳ trong khi quá trình trích xuất từ hệ thống nguồn SAP vẫn đang thực thi, hiển thị tiến độ của quá trình trích xuất.
[HÌNH ẢNH SỐ 6 CẦN THÊM]: Giao diện trình theo dõi luồng dữ liệu (data flow monitor), hiển thị phần SAP đến giai đoạn (SAP to stage) với thông tin tiến độ trích xuất như Trạng thái, Thời gian bắt đầu, Thời lượng, và Số hàng đã sao chép (Rows copied).
Khi một lần chạy luồng dữ liệu hoàn tất thành công, trình theo dõi luồng dữ liệu (data flow monitor) hiển thị thông tin chi tiết về quá trình trích xuất từ SAP. Ngoài thông tin thời gian chạy như thời gian bắt đầu và thời lượng, bạn cũng sẽ tìm thấy số lượng hàng đã sao chép từ SAP trong dòng Số hàng đã sao chép (Rows copied) và số lượng hàng được chuyển từ nguồn đến bước chuyển đổi tiếp theo (trong trường hợp này là chuyển đổi đích – sink transformation) trong dòng Số hàng đã tính toán (Rows calculated). Lưu ý rằng Số hàng đã tính toán (Rows calculated) có thể nhỏ hơn Số hàng đã sao chép (Rows copied): sau khi trích xuất các bản ghi dữ liệu thay đổi từ hệ thống SAP, luồng dữ liệu thực hiện khử trùng lặp (deduplication) các hàng thay đổi dựa trên định nghĩa khóa. Chỉ bản ghi mới nhất được chuyển tiếp trong luồng dữ liệu.
[HÌNH ẢNH SỐ 7 CẦN THÊM]: Giao diện trình theo dõi luồng dữ liệu (data flow monitor) sau khi luồng dữ liệu hoàn tất thành công, hiển thị thông tin chi tiết về chuyển đổi nguồn (source transformation) như Trạng thái, Tổng số cột, Số cột mới, Số cột cập nhật, Số cột bị xóa, Số cột trôi dạt, cùng với biểu đồ phân vùng (partition chart) và thông tin dòng như Số hàng đã tính toán (Rows calculated) và Số hàng đã sao chép (Rows copied).
Theo dõi hàng đợi Delta
Bạn có thể xem tất cả các quy trình thuê bao đã đăng ký trong hàng đợi delta hoạt động (operational delta queue – ODQ). Các quy trình thuê bao đại diện cho các lần trích xuất dữ liệu từ luồng dữ liệu ánh xạ (mapping data flow) của Azure Data Factory sử dụng dịch vụ liên kết SAP CDC của bạn. Đối với mỗi đăng ký ODQ, bạn có thể xem chi tiết để thấy tất cả các lần trích xuất đầy đủ (full extractions) và delta (delta extractions). Đối với mỗi lần trích xuất, bạn có thể xem các gói dữ liệu riêng lẻ đã được sử dụng.
[HÌNH ẢNH SỐ 8 CẦN THÊM]: Giao diện Theo dõi hàng đợi Delta (Monitor Delta Queues) trong hệ thống SAP, hiển thị các tab như Đăng ký (Subscriptions), Yêu cầu (Requests), Đơn vị (Units), và danh sách các quy trình thuê bao đã đăng ký trong ODQ.
3. Khi các luồng dữ liệu ánh xạ (mapping data flow) trích xuất dữ liệu SAP không còn cần thiết, bạn nên xóa các đăng ký ODQ của chúng. Khi bạn xóa đăng ký ODQ, các hệ thống SAP có thể ngừng theo dõi trạng thái đăng ký của chúng và xóa các gói dữ liệu chưa được sử dụng khỏi ODQ. Để xóa một đăng ký ODQ, chọn đăng ký và nhấp vào biểu tượng Xóa (Delete).
[HÌNH ẢNH SỐ 9 CẦN THÊM]: Giao diện Theo dõi hàng đợi Delta (Monitor Delta Queues) trong hệ thống SAP, hiển thị danh sách các đăng ký ODQ với biểu tượng Xóa (Delete icon) để xóa đăng ký và chi tiết về các gói dữ liệu chưa được sử dụng.
Khắc phục sự cố thay đổi delta
Bộ kết nối SAP CDC trong Data Factory đọc các thay đổi delta từ khung ODP (Operational Data Provisioning) của SAP. Các thay đổi delta được ghi lại trong các bảng ODQ.
Trong các tình huống mà việc di chuyển dữ liệu hoạt động bình thường (luồng dữ liệu ánh xạ hoàn tất mà không có lỗi), nhưng dữ liệu không được chuyển giao đúng (không có dữ liệu hoặc chỉ một phần dữ liệu mong đợi), bạn nên kiểm tra trước trong ODQMON để xem số lượng bản ghi được cung cấp từ phía SAP có khớp với số lượng hàng được Data Factory chuyển giao hay không. Nếu chúng khớp nhau, vấn đề không liên quan đến Data Factory, mà có thể xuất phát từ cấu hình sai hoặc thiếu trên phía SAP.
Khắc phục sự cố trong SAP bằng ODQMON
Để phân tích dữ liệu mà hệ thống SAP đã cung cấp cho tình huống của bạn, bắt đầu giao dịch ODQMON trong hệ thống phụ trợ SAP (SAP back-end system) của bạn. Nếu bạn đang sử dụng Máy chủ sao chép chuyển đổi cảnh quan SAP (SAP Landscape Transformation Replication Server – SLT) với một máy chủ độc lập, hãy bắt đầu giao dịch tại đó.
Để tìm các ODQ tương ứng với luồng dữ liệu ánh xạ của bạn, sử dụng các tùy chọn bộ lọc. Trong Hàng đợi (Queue), bạn có thể sử dụng ký tự đại diện (wildcards) để thu hẹp tìm kiếm. Ví dụ, bạn có thể tìm kiếm theo tên bảng EKKO.
[HÌNH ẢNH SỐ 10 CẦN THÊM]: Giao diện giao dịch ODQMON trong hệ thống SAP, hiển thị các tùy chọn bộ lọc như Hàng đợi (Queue) với trường tìm kiếm tên bảng (ví dụ: EKKO) và hộp kiểm Tính toán khối lượng dữ liệu (Calculate Data Volume).
Chọn hộp kiểm Tính toán khối lượng dữ liệu (Calculate Data Volume) để xem chi tiết về số lượng hàng và khối lượng dữ liệu (tính bằng byte) chứa trong các ODQ.
Theo dõi đăng ký hàng đợi Delta
Để xem các đăng ký ODQ, nhấp đúp vào hàng đợi. Một ODQ có thể có nhiều thuê bao, vì vậy hãy kiểm tra tên thuê bao mà bạn đã nhập trong dịch vụ liên kết Data Factory. Chọn đăng ký có dấu thời gian gần nhất với thời điểm luồng dữ liệu ánh xạ của bạn chạy. Đối với các đăng ký delta, lần chạy đầu tiên của luồng dữ liệu ánh xạ cho đăng ký được ghi lại ở phía SAP.
Trong đăng ký, danh sách các yêu cầu (requests) tương ứng với các lần chạy luồng dữ liệu ánh xạ (mapping data flow runs) trong Data Factory.
[HÌNH ẢNH SỐ 11 CẦN THÊM]: Giao diện Theo dõi hàng đợi Delta (Monitor Delta Queues) trong hệ thống SAP, hiển thị danh sách các yêu cầu (requests) trong một đăng ký ODQ, với thông tin như dấu thời gian và số lượng hàng, tương ứng với các lần chạy luồng dữ liệu ánh xạ (mapping data flow runs).
Dựa trên dấu thời gian trong hàng đầu tiên, tìm dòng tương ứng với lần chạy luồng dữ liệu ánh xạ mà bạn muốn phân tích. Nếu số lượng hàng hiển thị bằng với số lượng hàng được luồng dữ liệu ánh xạ đọc, bạn đã xác minh rằng Data Factory đã đọc và chuyển giao dữ liệu như được cung cấp bởi hệ thống SAP. Trong trường hợp này, chúng tôi khuyên bạn nên tham khảo ý kiến với nhóm phụ trách hệ thống SAP của bạn.
Nội dung liên quan
Tìm hiểu thêm về các bộ kết nối SAP tại Learn more about SAP connectors.
