Feb 27, 2022

7 “thứ” mà mọi Data Engineer cần phải biết

Trong thời đại hiện nay, mỗi ngày trôi qua các doanh nghiệp lại thu về lượng dữ liệu khổng lồ. Để có được thông tin chi tiết từ dữ liệu này, các công ty cần phải nắm bắt và xử lý chúng thật hiệu quả. Đây chính là lúc các nhà Kỹ sư dữ liệu (Data Engineer) phát huy vai trò của mình. Bài viết này chúng ta sẽ cùng thảo luận về những kỹ năng mà bạn sẽ cần trong vị trí này.

Data Engineer cần nhiều kiến thức và công cụ

1. SQL

SQL hay Structured Query Language là một tiêu chuẩn công nghiệp để giao tiếp với các cơ sở dữ liệu quan hệ. Trong khi cơ sở dữ liệu quan hệ là một trong những tiêu chuẩn để lưu trữ lượng lớn dữ liệu kinh doanh.

Trong các cơ sở dữ liệu quan hệ, dữ liệu được lưu trữ trong các bảng và liên kết với nhau thông qua các trường phổ biến. Ví dụ cơ sở dữ liệu của Uber có một bảng tài xế, một bảng khách hàng và một bảng chuyến xe. Bảng chuyến xe sẽ tham chiếu tới ID tài xế và ID khách hàng tương ứng. Kết nối này giúp bạn lấy ra thông tin chi tiết dễ dàng chỉ bằng một câu truy vấn.

Cơ sở dữ liệu quan hệ là cách tuyệt vời để lưu trữ thông tin về nhiều thứ. Chúng lưu trữ dữ liệu về người dùng mạng xã hội với sở thích và hoạt động của họ. Các bản ghi thông tin khách hàng cùng lịch sử mua hàng, phản hồi với các chiến dịch quảng cáo,.... Ngày càng nhiều công ty sử dụng cơ sở dữ liệu quan hệ, vì thế các Data Engineer có kiến thức và biết cách tương tác hiệu quả với cơ sở dữ liệu quan hệ luôn được đánh giá cao.

Một cuộc khảo sát nhà phát triển hằng năm của Stack Overflow năm 2021 cho thấy SQL nằm trong số các ngôn ngữ lập trình hàng đầu.

2. Python

Sự phổ biến của Python đã tăng vọt trong vài năm qua, bạn có thể thấy rõ trong bảng xếp hạng của Stack Overflow ở trên. Thậm chí nó còn lọt vào top 3 ngôn ngữ lập trình được các nhà phát triển chuyên nghiệp sử dụng.

Phần lớn sự phổ biến của nó đến từ lĩnh vực khoa học dữ liệu và trí tuệ nhân tạo (AI). Xe tự lái, máy dịch thuật và các ứng dụng AI khác đều được thúc đẩy bởi các mô hình học máy được viết bằng Python.

Ngôn ngữ lập trình này đã cách mạng hóa việc phân tích dữ liệu, mô hình thống kê và trực quan dữ liệu. Cú pháp đơn giản và hiệu quả sâu sắc khiến Python trở thành ngôn ngữ lập trình được yêu thích của các nhà nghiên cứu, kỹ sư học máy, nhà phân tích dữ liệu, nhà khoa học dữ liệu và bất kỳ ai muốn tự động hóa công việc hằng ngày của họ.

Không ngạc nhiên khi Python trở thành một công cụ quan trọng của các Data Engineer. Họ thường dùng Python để tạo các đường ống dữ liệu hiệu quả và chuẩn bị dữ liệu cho phân tích và mô hình hóa trong tương lai.

3. Apache Spark

Khi dữ liệu trở nên lớn, các kỹ sư dữ liệu dùng Apache Spark. Đây là một framework nguồn mở dành cho việc phát triển các đường ống xử lý dữ liệu. Apache Spark có thể hỗ trợ họ chuyển đổi dữ liệu khổng lồ một cách hiệu quả bằng cách phân phối quy trình này trên nhiều máy trong một cụm.

Nếu không có nhiều máy, các ứng dụng Spark cũng có thể chạy hiệu quả trên một node mà không cần bất kỳ cơ sở hạ tầng nào. Điều này sẽ giúp bạn linh hoạt khi làm việc trên các dự án nhỏ, quy mô dữ liệu không quá lớn và tận hưởng những lợi ích từ Apache Spark.

Ngoài hiệu quả và tính linh hoạt, Apache Spark còn dễ sử dụng, nó có thể được truy cập tương tác từ các shell Scala, Python, R và SQL. Hơn nữa, nó cho phép kết hợp SQL, streaming và phân tích phức tạp một cách liền mạch trong cùng một ứng dụng.

4. Apache Kafka

Các Data Engineers sử dụng Apache Kafka để nắm bắt dữ liệu thời gian thực thông qua phát trực tuyến sự kiện. Điều đó có ý nghĩa gì?

Trong các cơ sở dữ liệu truyền thống, dữ liệu thường được xem dưới dạng tập hợp các giá trị như khách hàng, sản phẩm, đơn đặt hàng,.... Nếu có bất kỳ liên kết nào đến các giá trị được thu thập, chúng ta có thể dễ dàng cập nhật cơ sở dữ liệu để phản ánh những thay đổi (ví dụ như cập nhật địa chỉ email của khách hàng hay thay đổi số lượng của một sản phẩm).

Tuy nhiên, không phải mọi thứ mà Data Engineer xử lý đều là dữ liệu dạng này. Với mức độ hoạt động của người dùng trực tuyến như hiện nay, các công ty đã bắt đầu quan tâm đến việc thu thập và xử lý thông tin về các hoạt động này. Các hoạt động này là một chuỗi các sự kiện, về cơ bản ở dạng tệp nhật ký được chia tỷ lệ lên hàng triệu hoặc thậm chí hàng tỷ bản ghi.

Hãy hình dung bạn có một ứng dụng với hàng triệu người dùng hằng ngày. Bạn muốn ghi lại hành động của mỗi người dùng - lượt click chuột, rê chuột, di chuyển,... dẫn đến hàng triệu sự kiện hành động của người dùng mỗi giờ. Bạn muốn truy cập các bản ghi này, bạn không cần thay đổi chúng, các sự kiện là không thay đổi và do đó có thể xử lý hiệu quả hơn. Với sự linh hoạt và phản hồi nhanh, Apache Kafka là một trong những công cụ hàng đầu để xử lý các luồng sự kiện.

5. Apache Hadoop

Apache Hadoop là một framework nguồn mở để xử lý Big Data. Nó không phải là một nền tảng đơn lẻ mà là sự kết hợp của các mô-đun hỗ trợ xử lý phân tán các tập dữ liệu lớn trên các cụm máy chủ.

Hadoop Distributed File System (HDFS) cung cấp khả năng truy cập thông lượng cao vào dữ liệu ứng dụng.
Hadoop YARN chịu trách nhiệm lập lịch công việc và quản lý tài nguyên cụm.
Hadoop MapReduce cho phép xử lý song song các tập dữ liệu lớn.

Mặc dù, đây là công cụ mạnh mẽ nhất trong Big Data, Hadoop có một số hạn chế như tốc độ xử lý chậm, cần viết nhiều mã. Dù vậy, nó vẫn được sử dụng rộng rãi bởi các nhà thực hành dữ liệu cho tính toán phân tán đáng tin cậy và có thể mở rộng.

6. Amazon Redshift

Đối với phân tích dữ liệu, bạn thường cần xem dữ liệu trong phạm vi dài theo thời gian, thường được lưu trong một cloud data warehouse. Amazon Redshift là một trong những ứng dụng lưu trữ dữ liệu hàng đầu nhờ tốc độ, khả năng mở rộng và bảo mật.

Với Amazon Redshift, bạn có thể truy vấn và kết hợp các exabyte dữ liệu bằng cách sử dụng SQL tiêu chuẩn, sau đó tận dụng dữ liệu đó trong BI, phân tích phát trực tiếp thời gian thực và mô hình học máy.

Việc quen thuộc với các ứng dụng lưu trữ dữ liệu như Amazon Redshift thường là một bằng cấp bắt buộc trong mô tả công việc kỹ thuật dữ liệu.

7. Snowflake

Tương tự như Redshift ở chỗ Snowflake cũng cung cấp một dịch vụ phân tích và lưu trữ dữ liệu dựa trên đám mây. Tất nhiên, so với Redshift, nó thiếu tích hợp với bộ dịch vụ đám mây phong phú của Amazon. Nhưng nó cũng có một số lợi thế:

Cung cấp khả năng mở rộng quy mô tức thì, mặc dù Amazon Redshift có thể mất vài phút để thêm các node.
Có nhiều chế độ bảo trì tự động hơn.
Hỗ trợ tốt hơn cho các chức năng và truy vấn dựa trên JSON.

Snowflake tuyên bố rằng với công cụ của họ, các Data Engineer không cần mất thời gian quản lý cơ sở hạ tầng, năng lực lập kế hoạch và xử lý đồng thời, họ sẽ làm tất cả. Sự phổ biến của công cụ này chính là một bằng chứng cụ thể nhất.

Trên đây là những điều quan trọng mà các bạn kỹ sư dữ liệu nên quan tâm. Mong rằng những chia sẻ trong bài viết đã mang đến cho bạn đọc các thông tin hữu ích, đừng quên đón xem các bài viết mới nhất tại BAC's Blog.

Nguồn tham khảo:

https://learnsql.com/

Nhu cầu đào tạo doanh nghiệp

BAC là đơn vị đào tạo BA đầu tiên tại Việt Nam. Đối tác chính thức của IIBA quốc tế. Ngoài các khóa học public, BAC còn có các khóa học in house dành riêng cho từng doanh nghiệp. Chương trình được thiết kế riêng theo yêu cầu của doanh nghiệp, giúp doanh nghiệp giải quyết những khó khăn và tư vấn phát triển.

CÁC KHOÁ HỌC BUSINESS ANALYST BACs.VN DÀNH CHO BẠN

Khoá học Online:

Khoá học Offline:

Tại Tp.HCM:

Tại Hà Nội:

Tham khảo lịch khai giảng TẤT CẢ các khóa học mới nhất

Ban biên tập nội dung - BAC

Click để đọc tiếp

Lộ trình nghề nghiệp Business Analyst: Từ fresher đến BA Lead - Bạn đang ở đâu trên hành trình này?

BA là nghề hot trong lĩnh vực công nghệ và chuyển đổi số có vai trò cầu nối giữa kỹ thuật và kinh doanh giúp doanh nghiệp nhận diện rõ vấn đề và đề xuất các giải pháp phù hợp
So sánh CBAP với CCBA đâu mới là chứng chỉ dành cho bạn?

Nếu bạn đang phân vân giữa hai chứng chỉ CBAP và CCBA thì bài viết này của BAC chính xác là câu trả lời dành cho bạn. Hãy dành ít phút để tìm hiểu cũng như kiểm tra năng lực hiện tại của bản thân. Và bạn sẽ tìm được đáp án chính xác nhất cho câu hỏi của mình.
7 lợi ích của việc sở hữu chứng chỉ CBAP trong năm 2025

Chứng chỉ CBAP mang đến nhiều lợi ích cho các Business Analyst (nhà phân tích nghiệp vụ). Bên cạnh sự công nhận, thu nhập, những cách cửa cơ hội thì sự tự tin, trình độ và sự kết nối với cộng đồng những người có cùng mục tiêu với bạn cũng rất đáng chú ý.
Roadmap Business Analyst

Business Analyst (BA) là cầu nối quan trọng giữa nhu cầu kinh doanh và giải pháp kỹ thuật, đảm bảo mọi khía cạnh vận hành hiệu quả. Trong bài viết này, hãy cùng BAC khám phá các công việc chính của một BA dựa theo nhiệm vụ cụ thể, con đường thăng tiến lên vị trí BA Manager.

Bình luận

Lê Anh Tuấn

Chuyên viên HO - Kỹ thuật Ngân hàng số Eximbank

Tôi là nhân sự thuộc Trung tâm Phát triển CNTT – Khối Ngân hàng số, hiện đang đảm nhiệm vai trò kiểm thử phần mềm (tester). Việc tham gia khóa học Business Analyst đã mang lại cho tôi góc nhìn toàn diện và rõ ràng hơn về vai trò của BA trong lĩnh vực ngân hàng.

Khóa học Fundamental Business Analysis tại BAC không chỉ giúp tôi hiểu đúng bản chất công việc BA mà còn hỗ trợ phát triển tư duy nghiệp vụ – từ tiếp cận giải pháp kỹ thuật sang tập trung vào nhu cầu người dùng. Phương pháp giảng dạy kết hợp lý thuyết và thực hành thực tiễn, cùng các hoạt động mô phỏng, thảo luận nhóm đã giúp tôi nâng cao kỹ năng giao tiếp, phân tích và trình bày yêu cầu – những năng lực thiết yếu để phối hợp hiệu quả giữa các bên trong dự án công nghệ.

Xem chi tiết +
Huỳnh Cao Cường

Nhân viên HO - Kỹ thuật Ngân hàng số Eximbank

Tôi hiện đang công tác tại Trung tâm Phát triển CNTT – Khối CNTT, với vai trò là nhân sự chức năng phụ trách mảng Ngân hàng số, chuyên sâu về kiểm thử phần mềm (Tester). Trước khi tham gia khóa học Fundamental Business Analysis do BAC tổ chức, tôi từng hình dung BA chỉ đơn thuần là cầu nối giữa bộ phận kỹ thuật và nghiệp vụ.

Tuy nhiên, quá trình học đã giúp tôi nhận thức rõ hơn về bản chất và tầm quan trọng của vị trí này. BA không chỉ kết nối các bên liên quan, mà còn giữ vai trò định hình yêu cầu, đảm bảo giải pháp được thiết kế đúng mục tiêu và sát với nhu cầu thực tế. Khóa học đã trang bị cho tôi tư duy phân tích bài bản, khả năng diễn đạt yêu cầu rõ ràng, và kỹ năng phối hợp hiệu quả trong môi trường dự án đa chiều.

Với nền tảng công nghệ thông tin sẵn có, khóa học là bước chuyển hướng quan trọng giúp tôi phát triển tư duy nghiệp vụ vững chắc và sẵn sàng theo đuổi lộ trình nghề nghiệp chuyên sâu trong lĩnh vực Business Analysis tại Eximbank.

Xem chi tiết +
Nguyễn Thị Mai Bình

Business Analyst

Với một người ngoại đạo như mình thì những chuyên đề về "kỹ thuật" của BA hết sức quan trọng. Ví dụ như sử dụng các diagram để mô hình hóa requirement, viết User Story/Use case, v...v..

Đến với khóa học Fundamental Business Analysis, mình đã được gặp thầy Lộc, một người người rất nhiệt tình và có tâm. Ngoài việc chia sẻ các kinh nghiệm thực tế trên lớp thì thầy còn dành thời gian ra để tư vấn, hỗ trợ, góp ý CV cho mình. Bên cạnh đó trung tâm và anh Phụng cũng hỗ trợ gửi CV, kết nối học viên tới mạng lưới các công ty đối tác chất lượng, điều này giúp học viên như mình tìm được công việc phù hợp nhất. Cảm ơn BAC.
Xem chi tiết +

Professional Transfer Services in Batumi

Luxury Georgian Transfer Services – Tbilisi & Batumi

Airport Transfers in Georgia

Lộ trình nghề nghiệp Business Analyst: Từ fresher đến BA Lead - Bạn đang ở đâu trên hành trình này?

So sánh CBAP với CCBA đâu mới là chứng chỉ dành cho bạn?

7 lợi ích của việc sở hữu chứng chỉ CBAP trong năm 2025

Roadmap Business Analyst

CÔNG TY CỔ PHẦN ĐÀO TẠO VÀ TƯ VẤN BAC