Jul 14, 2022

Data Mapping là gì? Những điều cần biết về Data Mapping

1. Định nghĩa

Ở dạng đơn giản nhất, Data Mapping giúp các cơ sở dữ liệu của công ty giao tiếp qua lại với nhau. Trong thực tế, các chuyên gia dữ liệu sẽ liên kết các thuộc tính và giá trị giữa các nguồn dữ liệu lại. Để minh họa, hãy tưởng tượng bạn có thông tin của khách hàng nằm trong hai cơ sở dữ liệu khác nhau. Các nhà phân tích không muốn nền tảng phần mềm của họ đếm hai lần cùng một khách hàng, vì vậy họ tạo một bản đồ kết nối Pete Smith trong cơ sở dữ liệu 1 với Peter Smith trong cơ sở dữ liệu 2 để tránh việc trùng lặp sẽ xảy ra trong tương lai. Việc lập Data Mapping cũng giúp giảm bớt sự dư thừa và đảm bảo việc phân tích trở nên chính xác hơn để mọi người cảm thấy tin tưởng vào kết quả và thông tin chi tiết được tạo ra. Tất nhiên, việc lập Data Mapping phức tạp hơn câu chuyện về Pete Smith được nêu ở phía trên.

Data Mapping đặc biệt có giá trị trong các loại dự án sau:

Chuyển đổi dữ liệu (Data Migration) - Khi dữ liệu gốc được chuyển đổi sang một kho lưu trữ dữ liệu đích mới.
Tích hợp dữ liệu (Data Integration) - Khi dữ liệu gốc được gửi đến một kho dữ liệu đích một cách thường xuyên và hai nguồn dữ liệu này không chia sẻ chung một mô hình dữ liệu (data model). Việc tích hợp có thể diễn ra trong hàng giờ, hàng ngày, hàng tuần, hàng tháng hay thậm chí diễn ra theo thời gian thực như thường được yêu cầu đối với một hệ thống tích hợp.

Hai loại này nghe có vẻ giống nhau, và thật sự đúng là như vậy. Sự khác biệt cơ bản giữa cả hai là sau khi dự án chuyển đổi dữ liệu hoàn tất, dữ liệu gốc ban đầu không còn được sử dụng hoặc được duy trì; còn đối với dự án tích hợp dữ liệu, sau khi hoàn tất, cả hai nguồn dữ liệu đều được duy trì.

2. Các yếu tố chính của Data Mapping

Về cơ bản, để Data Mapping thì cần phải có đặc tả của Data Mapping, đặc tả này sẽ phân tích, trên cơ sở của từng trường (field), cách di chuyển dữ liệu từ hệ thống này sang hệ thống khác. Lấy ví dụ: nếu tôi sắp xếp nguồn cấp dữ liệu từ kho lưu trữ bài viết Bridging the Gap sang công cụ tìm kiếm, tôi sẽ muốn map các thuộc tính chính của bài viết, như tiêu đề, danh mục và nội dung với các thuộc tính được chỉ định của công cụ tìm kiếm. Việc phân tích này đảm bảo rằng mỗi phần thông tin khi kết thúc sẽ ở vị trí thích hợp nhất trong kho dữ liệu đích.

Để đạt được mục tiêu này, đặc tả Data Mapping cần chứa các thuộc tính sau:

Danh sách các thuộc tính của nguồn dữ liệu ban đầu (thường có thông tin bổ sung được lấy từ từ điển dữ liệu (data dictionary).
Danh sách các thuộc tính tương ứng (hoặc thuộc tính được “map”) của kho dữ liệu đích (vẫn là thường có thông tin bổ sung được lấy từ từ điển dữ liệu).
Quy tắc dịch (Translation rule) xác định bất kỳ thao tác dữ liệu (data manipulation) nào cần được xảy ra khi thông tin dữ liệu di chuyển giữa 2 nguồn, chẳng hạn như đặt các giá trị mặc định, kết hợp với các trường, hoặc ánh xạ (map) giá trị.

3. Data Mapping giúp giải quyết các vấn đề tiềm ẩn

Viết đặc tả Data Mapping giúp phát hiện và giải quyết các vấn đề tiềm ẩn trước khi việc Data Mapping diễn ra. Trong quá trình chuyển đổi và tích hợp dữ liệu, bất kỳ sự khác biệt nào giữa cách dữ liệu được lưu trữ đều có thể khiến dữ liệu bị mất hoặc thể hiện sai.

Ví dụ: có thể xảy ra trường hợp dữ liệu gốc của bạn có ở dạng trường văn bản (text field), còn kho lưu trữ mục tiêu của bạn sử dụng ở dạng danh sách liệt kê (enumerated list). Nếu không phân tích dữ liệu và cung cấp logic cho việc map các giá trị văn bản với các giá trị danh sách (hoặc bắt đầu bằng các nỗ lực dọn dẹp dữ liệu thích hợp), bạn có thể gặp phải lỗi không mong muốn trong quá trình chuyển đổi hệ thống.

4. Mẫu template Data Mapping

Dưới đây là một template Data Mapping đơn giản đi kèm với ví dụ giúp bạn có thể hiểu được cách thức hoạt động của nó trong thực tế. Ví dụ giả định rằng chúng ta đang gửi một nguồn cấp dữ liệu từ kho lưu trữ bài viết Bridging the Gap đến công cụ tìm kiếm.

Như bạn có thể thấy, ngay cả một tình huống lập Data Mapping đơn giản cũng có thể gặp phải các vấn đề tiềm ẩn về Data Mapping, mà cách tốt nhất để giải quyết là xử lý một cách chủ động theo hướng tập trung vào doanh nghiệp hơn là xử lý thụ động tập trung vào kỹ thuật.

Một phân tích kinh doanh vững chắc thông qua việc mô hình hóa dữ liệu (data modeling) sẽ ngăn ngừa được những vấn đề này trước khi chúng xảy ra, bằng cách phát hiện trước, làm việc với các bên liên quan trong lĩnh vực kinh doanh và kỹ thuật để tìm ra được giải pháp khả thi, sau đó bắt đầu những nỗ lực dọn dẹp và chuẩn hóa dữ liệu.

5. Chọn kỹ thuật Data Mapping phù hợp

Trước tiên, hãy xem xét kỹ thuật nào phù hợp nhất với hoàn cảnh hoặc nhu cầu của bạn và tổng chi phí để sở hữu nền tảng phân tích thực hiện các tác vụ tích hợp dữ liệu. Cần có một mức độ kiến thức về kỹ thuật nhất định để lập Data Mapping. Một loạt các kỹ thuật Data Mapping từ thủ công hoàn toàn đến tự động hoàn toàn đều có ưu và nhược điểm của nó.

Data Mapping thủ công

Điểm mạnh: Tùy chỉnh hoàn toàn chính xác theo nhu cầu của bạn một cách linh hoạt.

Hạn chế: Thủ công, tốn thời gian, sử dụng nhiều tài nguyên, không có công cụ hỗ trợ và phải phụ thuộc nhiều vào code.

Việc lập Data Mapping thủ công đòi hỏi nhiều nỗ lực thực hiện công việc. Nó liên quan đến việc kết nối các nguồn dữ liệu và ghi lại quy trình dưới dạng tài liệu bằng cách sử dụng code. Thông thường, các nhà phân tích lập Map bằng các ngôn ngữ mã hóa như SQL, C++ hay Java. Người lập Data Mapping có thể sử dụng các kỹ thuật như chức năng Extract (Trích xuất), Transform (Biến đổi) và Load (Tải) (viết tắt là ETLs) để di chuyển dữ liệu trong các cơ sở dữ liệu. Mặc dù, các chuyên gia dữ liệu trong một tổ chức có thể hoàn thành được nhiệm vụ, bạn vẫn có thể tạo Data Mapping với toàn quyền kiểm soát nó.

Data Mapping bán tự động

Điểm mạnh: Có sự cân bằng giữa tính linh hoạt và tính hiệu quả.

Hạn chế: Yêu cầu cần có kiến thức về code, phải liên tục chuyển đổi giữa quy trình làm thủ công và làm tự động, cần sử dụng nhiều tài nguyên.

Một số công ty khác có thể sử dụng phương pháp Data Mapping bán tự động. Việc lập Data Mapping bán tự động sử dụng nhiều biểu diễn đồ họa để liên kết các dữ liệu. Những chuyên gia tạo bản đồ lược đồ ở trong một giao diện trực quan. Ví dụ: người dùng sẽ đối sánh “Tên Sinh Viên” ở cơ sở dữ liệu này với “Tên” trong cơ sở dữ liệu khác bằng cách vẽ các đường thẳng, sử dụng chức năng kéo và thả hoặc chức năng phân nhóm thông minh trong ứng dụng phần mềm như Tableau Prep. Sau đó, có thể có một tập lệnh là đầu ra với Map được viết bằng ngôn ngữ được mã hóa - giống như quy trình thực hiện thủ công ở phía trên. Có được một tập lệnh đầu ra để lưu trữ và có thể hỗ trợ khi bạn muốn chuẩn hóa Map cho các nguồn dữ liệu khác hoặc sử dụng trong trường hợp bạn không có công cụ tự động.

Data Mapping tự động

Điểm mạnh: không có nhiều yêu cầu về kiến thức kỹ thuật, ít rào cản gia nhập, thực hiện nhanh chóng, dễ mở rộng quy mô, lập lịch dễ dàng và triển khai linh hoạt.

Hạn chế: Xu hướng là đào tạo thiên về công cụ hoặc một phần mềm cụ thể, thường một phần mềm là phải đi kèm với một thẻ giá.

Các nền tảng lập Data Mapping hiện đại đang phát triển để trở nên tự động hoàn toàn. Điều này có nghĩa là bất kỳ ai - từ chuyên gia dữ liệu đến người mới làm quen với dữ liệu - đều có thể hoàn thành việc lập Data Mapping mà không cần sử dụng code để sắp xếp dữ liệu theo cách mà họ muốn và làm mới bản phân tích một cách thường xuyên, làm mới theo lịch trình, nhờ đó mà nắm bắt được tất cả các thay đổi xảy ra. Một số nền tảng Data Mapping hiện đang xử lý ngôn ngữ tự nhiên để khớp được với các trường và thuộc tính dữ liệu, mô tả nội dung nằm trong nguồn dữ liệu. Từ đó hiểu được dữ liệu đang muốn nói lên điều gì, giảm các giả định không chính xác.

Hy vọng thông tin của bài viết sẽ đưa bạn tiến xa hơn trong hành trình viết các Data Mapping, đừng quên đón xem các bài viết mới nhất sẽ được cập nhật thường xuyên tại BAC's Blog.

Nguồn tham khảo:
https://www.bridging-the-gap.com
https://www.tableau.com

Nhu cầu đào tạo doanh nghiệp

BAC là đơn vị đào tạo BA đầu tiên tại Việt Nam. Đối tác chính thức của IIBA quốc tế. Ngoài các khóa học public, BAC còn có các khóa học in house dành riêng cho từng doanh nghiệp. Chương trình được thiết kế riêng theo yêu cầu của doanh nghiệp, giúp doanh nghiệp giải quyết những khó khăn và tư vấn phát triển.

Tham khảo chương trình đào tạo:

Các bài viết liên quan Power BI:

Các bài viết liên quan:

TABLEAU - Giải pháp BUSINESS INTELLIGENCE (BI) - click vào đây
Hướng dẫn cài đặt và Sử dụng TABLEAU - click vào đây
Tính năng mới trên tableau - verion 2019.1 - click vào đây

BAC - Biên soạn và tổng hợp nội dung

Click để đọc tiếp

10 Thuật ngữ AI ai cũng nên biết

Khám phá 10 thuật ngữ quan trọng nhất trong lĩnh vực trí tuệ nhân tạo (AI) cùng BAC – từ AI, Machine Learning đến Generative AI, Copilot và hơn thế nữa. Bài viết được biên dịch từ nguồn Microsoft, giúp bạn hiểu rõ cách công nghệ này hoạt động và đang thay đổi thế giới. Một tài liệu nhập môn hoàn hảo cho người mới, chuyên viên công nghệ hay bất kỳ ai muốn bắt kịp làn sóng chuyển đổi số.
Học AI từ con số 0: Lộ trình đơn giản cho người mới bắt đầu

Khám phá lộ trình học AI đơn giản cho người mới bắt đầu cùng BAC. Bạn không cần giỏi lập trình để có thể học AI và trở thành chuyên gia. Những kiến thức này hoàn toàn có thể được tiếp thu và ứng dụng thực tế bởi tất cả mọi người.
Gemini là gì? So sánh Gemini và ChatGPT cho người mới bắt đầu

Gemini là gì? So sánh nhanh Gemini và ChatGPT một cách đơn giản, giúp người mới bắt đầu học AI chọn công cụ phù hợp để học tập, làm việc và sáng tạo nội dung. Mỗi công cụ đều có ưu và nhược điểm riêng, hãy cùng BAC khám phá chi tiết.
AI là gì? Giải thích đơn giản cho người mới bắt đầu

Bài viết này sẽ giúp các bạn tìm hiểu AI theo hướng đơn giản nhất. Bằng cách giải thích ngắn gọn, cô động, súc tích và dễ hiểu, BAC sẽ cho bạn lý giải về cụm từ “AI”. Qua đó, bạn không chỉ hiểu mà còn biết lý do vì sao mình phải học AI.

Bình luận

Lê Anh Tuấn

Chuyên viên HO - Kỹ thuật Ngân hàng số Eximbank

Tôi là nhân sự thuộc Trung tâm Phát triển CNTT – Khối Ngân hàng số, hiện đang đảm nhiệm vai trò kiểm thử phần mềm (tester). Việc tham gia khóa học Business Analyst đã mang lại cho tôi góc nhìn toàn diện và rõ ràng hơn về vai trò của BA trong lĩnh vực ngân hàng.

Khóa học Fundamental Business Analysis tại BAC không chỉ giúp tôi hiểu đúng bản chất công việc BA mà còn hỗ trợ phát triển tư duy nghiệp vụ – từ tiếp cận giải pháp kỹ thuật sang tập trung vào nhu cầu người dùng. Phương pháp giảng dạy kết hợp lý thuyết và thực hành thực tiễn, cùng các hoạt động mô phỏng, thảo luận nhóm đã giúp tôi nâng cao kỹ năng giao tiếp, phân tích và trình bày yêu cầu – những năng lực thiết yếu để phối hợp hiệu quả giữa các bên trong dự án công nghệ.

Xem chi tiết +
Huỳnh Cao Cường

Nhân viên HO - Kỹ thuật Ngân hàng số Eximbank

Tôi hiện đang công tác tại Trung tâm Phát triển CNTT – Khối CNTT, với vai trò là nhân sự chức năng phụ trách mảng Ngân hàng số, chuyên sâu về kiểm thử phần mềm (Tester). Trước khi tham gia khóa học Fundamental Business Analysis do BAC tổ chức, tôi từng hình dung BA chỉ đơn thuần là cầu nối giữa bộ phận kỹ thuật và nghiệp vụ.

Tuy nhiên, quá trình học đã giúp tôi nhận thức rõ hơn về bản chất và tầm quan trọng của vị trí này. BA không chỉ kết nối các bên liên quan, mà còn giữ vai trò định hình yêu cầu, đảm bảo giải pháp được thiết kế đúng mục tiêu và sát với nhu cầu thực tế. Khóa học đã trang bị cho tôi tư duy phân tích bài bản, khả năng diễn đạt yêu cầu rõ ràng, và kỹ năng phối hợp hiệu quả trong môi trường dự án đa chiều.

Với nền tảng công nghệ thông tin sẵn có, khóa học là bước chuyển hướng quan trọng giúp tôi phát triển tư duy nghiệp vụ vững chắc và sẵn sàng theo đuổi lộ trình nghề nghiệp chuyên sâu trong lĩnh vực Business Analysis tại Eximbank.

Xem chi tiết +
Nguyễn Thị Mai Bình

Business Analyst

Với một người ngoại đạo như mình thì những chuyên đề về "kỹ thuật" của BA hết sức quan trọng. Ví dụ như sử dụng các diagram để mô hình hóa requirement, viết User Story/Use case, v...v..

Đến với khóa học Fundamental Business Analysis, mình đã được gặp thầy Lộc, một người người rất nhiệt tình và có tâm. Ngoài việc chia sẻ các kinh nghiệm thực tế trên lớp thì thầy còn dành thời gian ra để tư vấn, hỗ trợ, góp ý CV cho mình. Bên cạnh đó trung tâm và anh Phụng cũng hỗ trợ gửi CV, kết nối học viên tới mạng lưới các công ty đối tác chất lượng, điều này giúp học viên như mình tìm được công việc phù hợp nhất. Cảm ơn BAC.
Xem chi tiết +

Professional Transfer Services in Batumi

Luxury Georgian Transfer Services – Tbilisi & Batumi

Airport Transfers in Georgia

10 Thuật ngữ AI ai cũng nên biết

Học AI từ con số 0: Lộ trình đơn giản cho người mới bắt đầu

Gemini là gì? So sánh Gemini và ChatGPT cho người mới bắt đầu

AI là gì? Giải thích đơn giản cho người mới bắt đầu

CÔNG TY CỔ PHẦN ĐÀO TẠO VÀ TƯ VẤN BAC