Big Data đang trở thành nghành nghề dịch vụ phì nhiêu nhất trong lĩnh vực công nghệ tiên tiến. Khối lượng tài liệu khổng lồ mà Big Data mang lại có vai trò to lớn. Nó có thể giúp dự đoán thị trường, nghiên cứu và phân tích xu hướng, dự đoán dịch bệnh, thậm chí tạo điều kiện cho giao thông vận tải tức thời. Vì lượng thông tin lớn này, Big Data không thể được giải quyết và xử lý bằng các công cụ truyền thống. Công nghệ tiên tiến sử dụng các công cụ nghiên cứu và phân tích Big Data chuyên dụng để giải quyết vấn đề phức tạp này. Một trong số đó là Hadoop. Vậy bạn đã biết Hadoop là gì hay chưa? Hãy theo dõi bài viết dưới đây.
Table of Contents
Tìm hiểu Apache Hadoop
Hadoop là một framework, cụ thể là Apache. Apache Hadoop là một mã nguồn mở cho phép sử dụng distributed processing (ứng dụng phân tán) để quản lý và lưu trữ các tệp tài liệu lớn. Hadoop sử dụng MapReduce để giải quyết và xử lý Big Data. MapReduce vốn là một nền tảng được Google tạo ra để quản lý tài liệu của mình. Nhiệm vụ của MapReduce là xử lý các tệp tài liệu lớn bằng cách chia nhỏ chúng thành các phần nhỏ và sắp xếp, trích xuất tài liệu con phù hợp với nhu cầu của người dùng. Đây cũng chính là cách mà công cụ tìm kiếm Google hoạt động trong cuộc sống hàng ngày của chúng ta.
Hadoop cũng là một công cụ mẫu để phân tán dữ liệu theo mô hình này. Do đó, MapReduce được sử dụng như một nền tảng lý tưởng của Hadoop. Hadoop giúp tổng hợp và xử lý lượng thông tin lớn trong thời gian ngắn bằng MapReduce.
Còn với tính năng lưu trữ, Hadoop sử dụng HDFS. HDFS được biết đến như một hệ thống lưu trữ dữ liệu có khả năng truy vấn nhanh và ngân sách thấp. Hadoop được phát triển từ ngôn ngữ lập trình Java, nhưng cũng tương thích với một số ngôn ngữ khác như C++, Python và Pearl nhờ vào chính sách streaming.
Kiến trúc của Hadoop
Vì sử dụng đồng thời MapReduce và HDFS, Hadoop có cấu trúc của cả hai. Hadoop kế thừa cấu trúc của HDFS. Cụ thể, một cụm Hadoop bao gồm một master node (node chủ) và nhiều worker/slave node (node nhân viên cấp dưới). Một cụm cũng bao gồm hai lớp MapReduce và HDFS. Master node bao gồm JobTracker, TaskTracker, NameNode và DataNode. Còn worker/slave node bao gồm DataNode và TaskTracker. Trong một số trường hợp, worker/slave node có thể được sử dụng để làm dữ liệu hoặc giám sát. Hadoop Apache bao gồm 4 module khác nhau.
Hadoop Common
Hadoop Common được sử dụng như một thư viện chứa các tiện ích của Java. Thư viện này cung cấp các tính năng cần thiết cho các module khác sử dụng. Nó cung cấp mạng lưới hệ thống file và các lớp trừu tượng hệ điều hành. Ngoài ra, nó cũng chứa mã lệnh Java để thực hiện quy trình khởi động Hadoop.
Hadoop YARN
Phần này được sử dụng như một framework. Nó hỗ trợ quản lý tài nguyên trong các cụm và triển khai nghiên cứu và phân tích tiến trình. Hiểu rõ cách hoạt động của các module giúp bạn hiểu rõ hơn về khái niệm Hadoop.
Hadoop Distributed File System (HDFS)
HDFS là yếu tố quan trọng nhất của mạng lưới hệ thống nghiên cứu và phân tích Big Data. Không phải mạng lưới hệ thống nào cũng đủ mạnh mẽ để tiếp nhận lượng thông tin khổng lồ như vậy. Vì vậy, vai trò của HDFS là phân tán dữ liệu và cung cấp hiệu suất truy vấn cao cho ứng dụng chủ. Khi HDFS nhận được một tệp tin, nó sẽ tự động chia tệp đó thành các phần nhỏ. Các phần nhỏ này được nhân bản và lưu trữ trên nhiều máy chủ khác nhau để phân tán gánh nặng của tài liệu.
HDFS sử dụng cấu trúc master node và worker/slave node. Trong khi master node quản lý các dữ liệu metafile, thì worker/slave node chịu trách nhiệm lưu trữ dữ liệu. Vì vậy, worker/slave node còn được gọi là data node. Một data node sẽ chứa nhiều phần nhỏ của các tệp tin lớn ban đầu. Dựa trên hướng dẫn từ master node, các data node này sẽ thực hiện thêm và xóa các phần nhỏ của tệp tin.
Hadoop MapReduce
Module này hoạt động dựa trên YARN để giải quyết và xử lý các tệp tài liệu lớn. Hadoop MapReduce cho phép phân tán tài liệu từ một máy chủ sang nhiều máy con. Mỗi máy con sẽ nhận một phần khác nhau của tài liệu và đồng thời giải quyết và xử lý. Sau đó, chúng sẽ gửi kết quả lại cho máy chủ. Máy chủ sẽ tổng hợp thông tin và trích xuất dữ liệu theo nhu cầu của người dùng.
Cách hoạt động phân tán như vậy giúp tiết kiệm thời gian giải quyết và xử lý và giảm gánh nặng lên mạng lưới hệ thống. Nhiệm vụ của máy chủ là quản lý tài nguyên, cung cấp thông tin và lập lịch cho các máy trạm. Các máy trạm sẽ thực hiện theo lịch trình và gửi báo cáo kết quả lại cho máy chủ. Tuy nhiên, đây cũng là điểm yếu của mạng lưới hệ thống này. Nếu máy chủ gặp lỗi, hàng loạt quy trình sẽ bị tạm dừng.
Ưu điểm của Hadoop
Hadoop cho phép người dùng dễ dàng kiểm tra quy trình hoạt động của phân tán. Nhờ sử dụng chính sách xử lý đồng thời của CPU, lượng tài liệu được phân phối và không bị gián đoạn bởi quá tải.
Hadoop không bị ảnh hưởng bởi chính sách chịu lỗi của fault-tolerance and high availability (FTHA). Nó có khả năng xử lý lỗi riêng nhờ vào các thư viện thiết kế để phát hiện lỗi ở các lớp ứng dụng. Do đó, khi xảy ra lỗi, Hadoop có khả năng xử lý nhanh chóng.
Một ưu điểm khác của Hadoop là khả năng triển khai nhiều master/slave song song để xử lý các phần khác nhau. Vì có nhiều máy chủ chủ, công việc không bị trì hoãn nếu một máy chủ gặp sự cố.
Cuối cùng, Hadoop được thiết kế và xây dựng bằng Java, nên nó tương thích với nhiều nền tảng và hệ quản lý khác nhau, từ Windows, Linux đến MacOS.
Đó là một số thông tin cơ bản về Hadoop. Hi vọng rằng bạn đã nắm vững kiến thức và kỹ năng về công cụ phân tích và xử lý Big Data hiệu quả này.