"Mô hình ngôn ngữ sử dụng Mapreduce"

Authors: Vũ, Thị Thanh

Mapreduce là một mô hình lập trình, thực hiện quá tình xử lý tập dữ liệu lớn. Mapreduce gồm 2 pha : map và reduce.
Hàm Map : Các xử lý một cặp (key, value) để sinh ra một cặp (keyI, valueI) - key và value trung gian. Dữ liệu này input vào hàm Reduce.
Hàm Reduce : Tiếp nhận các (keyI, valueI) và trộn các cặp (keyI, valueI) trung gian , lấy ra các valueI có cùng keyI.
Việc của lập trình viên là quan tâm tới 2 hàm Map và Reduce. Còn các vấn đề khác như : phân chia các dữ liệu đầu vào, lịch trình thực thi các machines, handling các machines failure, quản lý việc giao tiếp giữa các machines là việc của hệ thống run-time.
=> Lập trình viên có thể không có kinh nghiệm về hệ thống song song và phân tán vẫn dễ dàng vận hành một hệ thống phân tán lớn.
Áp dụng mô hình MapReduce chạy trên lượng lớn các machine cỡ hàng ngàn machine và data lên đến mức Terabytes...

Title:

Mô hình ngôn ngữ sử dụng Mapreduce
Authors: Vũ, Thị Thanh
Keywords: Mapreduce Mô hình ngôn ngữ
Phần mềm Kỹ thuật
Issue Date: 2016
Publisher: Đại học Quốc gia Hà Nội
Citation: 53 tr.
URI: http://repository.vnu.edu.vn/handle/VNU_123/17420
Appears in Collections:Luận văn - Luận án (LIC)


Nhận xét

Đăng nhận xét

Bài đăng phổ biến từ blog này

Hình ảnh
"Phương pháp sử dụng sách giáo khoa và trích dẫn trong dạy học tâm lý học" Authors:  Đặng, Thị Lan 1. Khái niệm : Theo   Từ điển tiếng Việt của Viện Ngôn ngữ học Việt Nam, sách giáo khoa là sách viết theo một chương trình môn học. Từ điển giáo dục học   của tác giả Bùi Hiền cũng viết: sách giáo khoa  (textbook) là loại  sách  cung cấp kiến thức, được biên soạn với mục đích dạy và học. Thuật ngữ sách giáo khoa còn được hiểu là một loại sách chuẩn cho một ngành học. Sách giáo khoa được viết cho nhiều ngành, nhiều cấp học nên hình thức và cấu trúc của nó cũng khác nhau. Ngoài ra kiến thức ở sách phổ thông sẽ khác nhau khi học ở dạng phân ban nâng cao A B C D và phân ban cơ bản.            2. Phân loại : Dựa theo khái niệm, người ta chia sách giáo khoa thành hai loại: - Theo đối tượng học tập. Do sách giáo khoa có phục vụ cho nhiều đối tượng khác nhau (học sinh, sinh viên, học viên...
Đọc thêm
Hình ảnh
Xử lí tín hiệu số sử dụng kĩ thuật EPGA Authors:  Đặng, Hùng Lê, Quang Thảo Đỗ, Trung Kiên Nghiên cứu, tìm hiểu về kỹ thuật linh kiện logic lập trình (PLD). Tìm hiểu ngôn ngữ mô tả phần cứng (VHDL). Xây dựng quy trình nghiên cứu sử dụng và ứng dụng kỹ thuật mảng cổng logic lập trình (FPGA) trong xử lý tín hiệu số. Kết quả đã thiết kế được bất cứ bộ lọc nào trên môi trường mô phỏng Matlab. Mở ra các nghiên cứu tiếp theo của Bộ môn Vật lí Vô tuyến về kỹ thuật linh kiện lập trình PLD Xây dựng quy trình nghiên cứu sử dụng và ứng dung kỹ thuật FPGA trong xử lý tín hiệu số... Title:  Xử lí tín hiệu số sử dụng kĩ thuật EPGA : Đề tài NCKH. QT.08.07 Authors:  Đặng, Hùng Lê, Quang Thảo Đỗ, Trung Kiên Keywords:  Mạch tích hợp Mạch điện tử số Vật lý vô tuyến Xử lý tín hiệu số Issue Date:  2008 Publisher:  H. : ĐHQGHN Description:  40 tr. URI:  http://repository.vnu.edu.vn/handle/VNU_123/23091 Appears in Collections: Đề tài cấp ĐHQGHN v...
Đọc thêm
Hình ảnh
"Nghiên cứu đối lưu tự nhiên trong miền hai chiều bằng phương pháp số" Authors:  Trần, Thị Thu Duyên Chất lưu là chất có thể chảy được bao gồm các chất lỏng, chất khí, plasma. Hiện tượng đối lưu là sự trao đổi nhiệt bằng các dòng vật chất chuyển động, xảy ra khi có sự trênh lệch nhiệt độ giữa các vùng của chất lưu. Khi có nguồn nhiệt, phần chất lưu gần nguồn nhiệt sẽ nóng hơn các nơi khác, nhiệt độ tăng thì thể tích của phần chất lưu đó cũng tăng và làm cho khối lượng riêng giảm. Lực đẩy Ác-si-mét tác dụng vào phần chất nhẹ, khiến nó nổi lên. Một lượng chất lưu lạnh hơn từ địa điểm gần nguồn nhiệt sẽ di chuyển vào bù lại phần chất lưu nóng đã nổi lên. Trong tự nhiên, hiện tượng đối lưu trên bề mặt Trái Đất tạo ra các dòng biển nóng và lạnh chảy, các cơn gió biển, các dòng khí nóng và lạnh tạo nên xoáy lốc... Trong vũ trụ, plasma chảy thành dòng trong một số ngân hà và tinh vân... Title:  Nghiên cứu đối lưu tự nhiên trong miền hai chiều bằng phương p...
Đọc thêm