"Giải pháp xếp hạng và tính toán song song trên nền tảng Apache Spark"

Authors: Nguyễn, Đông Đức

Apache Spark (gọi tắt Spark) là một trong những công nghệ hot nhất năm 2015, đến mức nhiều người cho rằng nó sẽ là sự thay thế Apache Hadoop trong tương lai. Bài viết này sẽ tập trung mô tả tổng quan về Spark, so sánh nó với Hadoop để đưa ra câu trả lời.
Trong những năm trở lại đây, khi nói về dữ liệu lớn người ta nghĩ ngay đến Apache Hadoop, công nghệ được viết bởi Doug Cutting dựa trên GFS (Google File System) và MapReduce của Google vào năm 2005. Tháng Tư năm 2008, Hadoop trở thành hệ thống nhanh nhất để sắp xếp (sort) 1 terabyte dữ liệu, khi mất 209 giây chạy trên cluster gồm 910 nodes, đánh bại kỷ lục cũ là 297 giây. Tháng 11 năm 2008, Google thông báo hệ thống MapReduce của họ chỉ cần 68 giây để sắp xếp 1 terabyte dữ liệu. Đến tháng 5 năm 2009, Yahoo sử dụng Hadoop chỉ cần 62 giây để làm việc tương tự. Từ đó đến nay, cả một hệ sinh thái đã được xây dựng lấy Hadoop làm nòng cốt để giải quyết những bài toán về dữ liệu lớn...
Title: 

Giải pháp xếp hạng và tính toán song song trên nền tảng Apache Spark
Authors: Nguyễn, Đông Đức
Keywords: Apache Spark Tính toán
Hệ thống thông tin
Issue Date: 2016
Publisher: Đại học Quốc gia Hà Nội
Citation: 52 tr.
URI: http://repository.vnu.edu.vn/handle/VNU_123/17411
Appears in Collections:Luận văn - Luận án (LIC)
 


Nhận xét

Đăng nhận xét

Bài đăng phổ biến từ blog này

Hình ảnh
"Phương pháp sử dụng sách giáo khoa và trích dẫn trong dạy học tâm lý học" Authors:  Đặng, Thị Lan 1. Khái niệm : Theo   Từ điển tiếng Việt của Viện Ngôn ngữ học Việt Nam, sách giáo khoa là sách viết theo một chương trình môn học. Từ điển giáo dục học   của tác giả Bùi Hiền cũng viết: sách giáo khoa  (textbook) là loại  sách  cung cấp kiến thức, được biên soạn với mục đích dạy và học. Thuật ngữ sách giáo khoa còn được hiểu là một loại sách chuẩn cho một ngành học. Sách giáo khoa được viết cho nhiều ngành, nhiều cấp học nên hình thức và cấu trúc của nó cũng khác nhau. Ngoài ra kiến thức ở sách phổ thông sẽ khác nhau khi học ở dạng phân ban nâng cao A B C D và phân ban cơ bản.            2. Phân loại : Dựa theo khái niệm, người ta chia sách giáo khoa thành hai loại: - Theo đối tượng học tập. Do sách giáo khoa có phục vụ cho nhiều đối tượng khác nhau (học sinh, sinh viên, học viên...
Đọc thêm
Hình ảnh
Xử lí tín hiệu số sử dụng kĩ thuật EPGA Authors:  Đặng, Hùng Lê, Quang Thảo Đỗ, Trung Kiên Nghiên cứu, tìm hiểu về kỹ thuật linh kiện logic lập trình (PLD). Tìm hiểu ngôn ngữ mô tả phần cứng (VHDL). Xây dựng quy trình nghiên cứu sử dụng và ứng dụng kỹ thuật mảng cổng logic lập trình (FPGA) trong xử lý tín hiệu số. Kết quả đã thiết kế được bất cứ bộ lọc nào trên môi trường mô phỏng Matlab. Mở ra các nghiên cứu tiếp theo của Bộ môn Vật lí Vô tuyến về kỹ thuật linh kiện lập trình PLD Xây dựng quy trình nghiên cứu sử dụng và ứng dung kỹ thuật FPGA trong xử lý tín hiệu số... Title:  Xử lí tín hiệu số sử dụng kĩ thuật EPGA : Đề tài NCKH. QT.08.07 Authors:  Đặng, Hùng Lê, Quang Thảo Đỗ, Trung Kiên Keywords:  Mạch tích hợp Mạch điện tử số Vật lý vô tuyến Xử lý tín hiệu số Issue Date:  2008 Publisher:  H. : ĐHQGHN Description:  40 tr. URI:  http://repository.vnu.edu.vn/handle/VNU_123/23091 Appears in Collections: Đề tài cấp ĐHQGHN v...
Đọc thêm
Hình ảnh
"Nghiên cứu đối lưu tự nhiên trong miền hai chiều bằng phương pháp số" Authors:  Trần, Thị Thu Duyên Chất lưu là chất có thể chảy được bao gồm các chất lỏng, chất khí, plasma. Hiện tượng đối lưu là sự trao đổi nhiệt bằng các dòng vật chất chuyển động, xảy ra khi có sự trênh lệch nhiệt độ giữa các vùng của chất lưu. Khi có nguồn nhiệt, phần chất lưu gần nguồn nhiệt sẽ nóng hơn các nơi khác, nhiệt độ tăng thì thể tích của phần chất lưu đó cũng tăng và làm cho khối lượng riêng giảm. Lực đẩy Ác-si-mét tác dụng vào phần chất nhẹ, khiến nó nổi lên. Một lượng chất lưu lạnh hơn từ địa điểm gần nguồn nhiệt sẽ di chuyển vào bù lại phần chất lưu nóng đã nổi lên. Trong tự nhiên, hiện tượng đối lưu trên bề mặt Trái Đất tạo ra các dòng biển nóng và lạnh chảy, các cơn gió biển, các dòng khí nóng và lạnh tạo nên xoáy lốc... Trong vũ trụ, plasma chảy thành dòng trong một số ngân hà và tinh vân... Title:  Nghiên cứu đối lưu tự nhiên trong miền hai chiều bằng phương p...
Đọc thêm