Đề cương chi tiết môn Ứng dụng Big Data truyền dữ liệu trong thời gian thực
INFO UTE LIBRARY
ĐỀ CƯƠNG CHI TIẾT MÔN HỌC
ỨNG DỤNG BIG DATA: TRUYỀN DỮ LIỆU TRONG THỜI GIAN THỰC
BIG DATAAPPLICATIONS: REAL-TIME STREAMING
(Ngành Kỹ thuật Dữ liệu - Chương trình đào tạo đại học 132TC)
HCMUTE.EDU.VN - THÁNG 9 NĂM 2019
BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT
THÀNH PHỐ HỒ CHÍ MINH
--------------------
ĐỀ CƯƠNG CHI TIẾT MÔN HỌC
ỨNG DỤNG BIG DATA
Truyền dữ liệu trong thời gian thực
BIG DATA APPLICATIONS: REAL-TIME STREAMING
(Ngành Kỹ thuật Dữ liệu - Chương trình đào tạo đại học 132TC)
HCMUTE.EDU.VN – THÁNG 9 NĂM 2019
LỜI NÓI ĐẦU
Công nghệ thông tin (IT) là một trong những động lực quan trọng
bậc nhất của sự phát triển, cùng với một số ngành công nghệ cao khác
đang làm biến đổi sâu sắc đời sống kinh tế, văn hóa, xã hội của thế giới
hiện đại. Việc ứng dụng và phát triển CNTT ở nước ta đã góp phần giải
phóng sức mạnh vật chất, trí tuệ và tinh thần, thúc đẩy công cuộc đổi
mới, phát triển nhanh và hiện đại hóa các ngành kinh tế, tăng cường năng
lực cạnh tranh của các doanh nghiệp, hỗ trợ có hiệu quả cho quá trình
chủ động hội nhập kinh tế quốc tế, nâng cao chất lượng cuộc sống của
nhân dân, đảm bảo an ninh quốc phòng góp phần thực hiện thắng lợi sự
nghiệp công nghiệp hóa, hiện đại hóa đất nước.
Hiện nay, ngành CNTT là một trong những ngành học được chú
trọng trong hệ thống đào tạo của các trường Đại học trong đó có trường
Đại học Sư phạm Kỹ thuật Tp. Hồ Chí Minh. Nó được xem là ngành đào
tạo mũi nhọn hướng đến sự phát triển của công nghệ và khoa học kỹ
thuật trong thời đại số hóa.
Chương trình đào tạo ngành CNTT trang bị cho người học những
kiến thức nền tảng và chuyên sâu về lĩnh vực công nghệ thông tin để
nâng cao tay nghề nhằm phát triển khả năng sửa chữa, xây dựng, cài đặt,
bảo trì các phần cứng của máy tính cũng như nghiên cứu và phát triển
các ứng dụng phần mềm. Ngoài ra cũng được trang bị kiến thức về an
toàn và bảo mật thông tin mạng, một trong những lĩnh vực quan trọng
được quan tâm hàng đầu trên thế giới hiện nay.
Để đáp ứng nhu cầu tìm kiếm và sử dụng tài liệu học tập các môn
học chuyên ngành “Công nghệ thông tin” của sinh viên. Thư viện Trường
Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh đã biên soạn tài liệu thông
tin về đề cương chi tiết môn học nhằm cung cấp cho sinh viên có thể
nghiên cứu, tìm hiểu, học tập về các môn học chuyên ngành.
Tài liệu thông tin về đề cương chi tiết môn học ngành “Công nghệ
thông tin” nhằm hướng dẫn tìm kiếm và sử dụng tài liệu học tập các môn
học chuyên ngành “Công nghệ thông tin” sẽ mang đến cho sinh viên nắm
được phương pháp học nhanh nhất và đạt hiệu quả.
Mặc dù chúng tôi đã cố gắng, song việc biên soạn tài liệu chắc
chắn không tránh khỏi thiếu sót, rất mong nhận được những ý kiến đóng
góp từ phía người sử dụng để lần biên soạn sau được hoàn chỉnh hơn.
Thư viện ĐHSPKT TP.HCM
028.389 69 920
facebook.com/hcmute.lib
4
GIỚI THIỆU CÁC DỊCH VỤ UTE LIBRARY
Đồng hành cùng độc giả trên con đường chinh phục tri thức
Nơi cung cấp nguồn lực thông tin khoa học kỹ thuật và giáo dục
phục vụ cho nhu cầu đào tạo của Nhà trường.
Cung cấp thông tin
Nội dung phong phú
Đa dạng loại hình
Hình thức phục vụ
Đọc tại chỗ
Mượn về nhà
Cập nhật thường xuyên
Khai thác tài nguyên số 24/24
Các dịch vụ học tập trực tuyến
Các loại hình dịch vụ
1.
2.
3.
4.
Phục vụ trực tiếp tại thư viện: được hướng dẫn tận tình với hệ
thống phòng đọc & Giáo trình mở, có thể tìm đọc tài liệu dạng
giấy, CD-ROM, CSDL trực tuyến,…
Hỗ trợ công tác biên soạn xuất bản giáo trình và tài liệu học tập, kỷ
yếu hội thảo (phục vụ hoạt động NCKH, chương trình đào tạo 150
tín chỉ, bổ sung hồ sơ xét các chức danh khoa học,...).
Thiết kế website phục vụ hoạt động học tập, nghiên cứu khoa học,
hội thảo: Xây dựng template chung, Thiết lập các trang con (sub
pages), Cấp quyền và chuyển giao quyền quản trị trang con.
Xuất bản kỷ yếu hội thảo: Tư vấn, thiết kế, dàn trang, Thiết kế các
hình ảnh, nhãn hiệu liên quan đến hội nghị (logo hội nghị, banner,
poster…), Đăng ký và xin giấy phép xuất bản kỷ yếu, Giám sát các
tài liệu liên quan đến chương trình như thư, thông tin hội nghị, tài
liệu tham khảo,…
5.
6.
Xây dựng các sản phẩm phục vụ hội thảo và các hoạt động học tập:
CD-ROM chương trình và kỷ yếu, Ứng dụng tự chạy giới thiệu tài
liệu, ghi đĩa CD- ROM, DVD, USB,…
Cung cấp thông tin theo yêu cầu (danh mục tài liệu, tài liệu chuyên
ngành, kết quả nghiên cứu khoa học, tiêu chuẩn, phát minh sáng
chế…).
7.
8.
9.
Mô tả, tạo và chọn danh mục “Tài liệu tham khảo” cho luận văn,
luận án, đề tài nghiên cứu khoa học theo chuẩn quốc tế.
Chuyển dạng tài liệu (từ tài liệu dạng giấy sang file PDF, từ file
PDF sang file Word).
Cung cấp các thiết bị hỗ trợ cho việc học tập và nghiên cứu,...
10. Hỗ trợ, tư vấn và phối hợp với Thư viện các trường trong việc phát
triển các sản phẩm đặc thù của từng đơn vị.
5
Với nhiều hình thức phục vụ phong phú, thuận tiện cho người học
NGUỒN TÀI NGUYÊN THÔNG TIN
. CSDL Giáo trình và Tài liệu . CSDL Sách tham khảo Việt
học tập
văn
. CSDL Luận văn, Luận án
. CSDL Sách tham khảo Ngoại
văn
. CSDL các bài báo khoa học (các bài báo nghiên cứu của học viên
theo chương trình đào tạo sau đại học được đăng trên các tạp chí
chuyên ngành)
Địa chỉ liên hệ:
Thư viện Trường Đại học Sư phạm Kỹ thuật Tp. Hồ Chí Minh,
Số 1-3 Võ Văn Ngân, Phường Linh chiểu, Quận Thủ Đức, Tp. Hồ Chí
Minh.
Điện thoại: (+84 028) 3896 9920, 3721223 (nội bộ 8223)
Email: [email protected]
GIỚI THIỆU CÁC WEBSITE PHÁT HÀNH UTE EBOOK
“UTE EBOOK” là những tác phẩm chỉ có thể dùng các công cụ
điện tử như máy vi tính, máy trợ giúp kỹ thuật số cá nhân (thiết bị đọc,
máy tính bảng và điện thoại thông minh như iPhone, iPad, Samsung
Galaxy, HTC Tablet,...) để xem, đọc, và truyển tải.
“UTE EBOOK” là hệ thống phân phối sách điện tử, cung cấp đến người
dùng các nội dung sách,giáo trình, truyện, tạp chí, tài liệu, chuyên đề và
các thể loại văn bản đọc, audio khác trên di động, thông qua các kênh
website, wapsite và client giúp khách hàng có thể cập nhật thông tin kiến
thức mọi lúc mọi nơi.
Tên đơn vị phát
hành
Truy cập nhanh
kho giáo trình
Stt
Website
Nhà Xuất Bản Tổng
Hợp Thành Phố Hồ
Chí Minh
XU
1
Công Ty Cổ Phần
Tin Học Lạc Việt
Công Ty TNHH
Sách Điện Tử Trẻ
(YBOOK)
https://bit.ly/2Zx8Y
Zn
2
Q
3
4
Công Ty Cổ Phần
Dịch Vụ Trực Tuyến
om RM
6
VINAPO
Công Ty Cổ Phần
Thương Mại Dịch
Vụ Mê Kông COM
Thư viện Trường
Đại học Sư phạm Kỹ
thuật TP. HCM
5
6
e.edu.vn/ e.edu.vn/
DỊCH VỤ HỖ TRỢ XUẤT BẢN ĐIỆN TỬ:
Sách chuyên khảo, giáo trình, sách tham khảo, sách hướng dẫn, tài
liệu phục vụ đào tạo, Kỷ yếu hội thảo, tập san, tạp chí
Nhằm hỗ trợ Quý Thư viện các Trường Đại học, Cao đẳng về việc
xuất bản giáo trình, tài liệu học tập điện tử nội sinh,…đạt chất lượng cao
phục vụ hoạt động đào tạo, giảng dạy; Thư viện Trường Đại học Sư
phạm Kỹ thuật TP. Hồ Chí Minh giới thiệu đến Quý Thư viện các
Trường Đại học, Cao đẳng về “Chương trình hỗ trợ xuất bản điện tử:
Sách chuyên khảo, giáo trình, sách tham khảo, sách hướng dẫn, tài liệu
phục vụ đào tạo, Kỷ yếu hội thảo, tập san, tạp chí ”.
1. Cơ sở xây dựng chương trình:
Căn cứ theo công văn Số: 4301/BGDĐT-GDTX ngày 20 tháng 9
năm 2019 của Bộ trưởng Bộ Giáo dục và Đào tạo về việc xây dựng và
2. Thời gian triển khai chương trình hỗ trợ
- Giai đoạn 05 năm (Từ ngày 01/10/2019 đến hết ngày 01/10/2024)
3. Tổ chức chương trình
- Thư viện Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh.
4. Đơn vị công bố phổ biến xuất bản phẩm điện tử
- Thư viện Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh &
Các đơn vị liên kết.
- website các đơn vị liên kết.
5. Cấu trúc của xuất bản điện tử giáo trình, tài liệu học tập nội sinh
Xuất bản điện tử giáo trình, tài liệu học tập nội sinh có cấu trúc như
sau:
- Trang bìa.
- Trang bìa phụ.
- Lời nói đầu: Trình bày đối tượng sử dụng, mục đích yêu cầu khi sử
dụng, cấu trúc nội dung, điểm mới của giáo trình, hướng dẫn cách
sử dụng, phân công nhiệm vụ của tác giả biên soạn.
7
- Mục lục.
- Danh mục các từ viết tắt (nếu có).
- Danh mục hình (nếu có)..
- Danh mục bảng biểu (nếu có)..
- Nội dung chính: Trình bày các chương, mục, tiểu mục và nội dung
chi tiết của từng chương, mục, tiểu mục, nội dung thảo luận
xêmina, câu hỏi ôn tập, bài tập, các nhiệm vụ tự học và tài liệu học
tập từng chương.
- Phụ lục (nếu có).
- Tài liệu tham khảo.
6. Để biết thêm thông tin chi tiết Quý Thầy/Cô liên hệ
- Thư viện Trường Đại Học Sư phạm Kỹ thuật TP. Hồ Chí Minh.
- Số 1-3 Võ Văn Ngân, Phường Linh Chiểu, Quận Thủ Đức, TP. Hồ
Chí Minh.
- Điện thoại: 08.38969920 hoặc 0909836920; 0906836920 (ThS. Vũ
Trọng Luật)
Xin trân trọng giới thiệu đến Quý Thầy/Cô!
8
GIỚI THIỆU CÁC CƠ SỞ DỮ LIỆU TRỰC TUYẾN
TÌM KIẾM VÀ SỬ DỤNG HIỆU QUẢ
Thư viện ĐH SPKT TP. HCM
028.38969920
Nhằm tăng cường năng lực nghiên cứu của tập thể giảng viên và
sinh viên của nhà trường, từng bước nâng cao chất lượng đào tạo và nâng
vị thế của trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh lên tầm
cao mới, xứng đáng là một trong những trường đại học hàng đầu của khu
vực, nhà trường đã tiến hành mua quyền sử dụng tài khoản truy cập các
cơ sở dữ liệu trực tuyến để giảng viên và sinh viên của trường khai thác.
Việc khai thác các tư liệu điện tử, các CSDL trực tuyến sẽ góp phần tạo
thêm nhiều cơ hội tiếp cận với các kho tư liệu học thuật và nghiên cứu có
giá trị cao và được phổ biến trên toàn thế giới.
Để triển khai sử dụng và khai thác các cơ sở dữ liệu trực tuyến
đạt hiệu quả, Thư viện xin thông báo đến Quý Thầy Cô & Các Bạn Sinh
viên về nội dung triển khai và sử dụng CSDL như sau:
Thông tin triển khai sử dụng:
- Truy cập Web, không giới hạn số lượng người sử dụng, hỗ trợ
việc truy cập cho 25.000 sinh viên và gần 1.000 giảng viên, cán bộ viên
chức của nhà trường.
-
-
Sử dụng email do nhà trường cấp để tạo tài khoản đăng ký:
theo địa chỉ email của cán bộ …@hcmute.edu.vn
theo địa chỉ email của sinh viên …@student.hcmute.edu.vn
Hình thức truy cập: Theo IP đăng kí của nhà trường.
Lưu ý: Việc khai thác các CSDL được nhà xuất bản xác minh
người dùng với nhiều lớp bảo mật qua dải địa chỉ IP và
username/password, quý thầy cô và bạn đọc chỉ có thể khai thác
các CSDL này trên hệ thống máy tính được kết nối mạng trong
trường.
-
-
Thông tin hỗ trợ kỹ thuật:
Trong quá trình sử dụng, quý thầy cô và bạn đọc cần hỗ trợ kỹ
thuật xin vui lòng liên hệ:
Cô Trần Thị Ngọc Ý, Số ĐT 0919888975,
email: [email protected].vn
Thư viện trân trọng thông báo đến Quý Thầy Cô và Các Bạn Sinh
viên biết để sử dụng và khai thác các cơ sở dữ liệu trực tuyến đạt hiệu
quả.
Trân trọng!
9
ĐỀ CƯƠNG CHI TIẾT MÔN HỌC
ỨNG DỤNG BIG DATA
Truyền dữ liệu trong thời gian thực
BIG DATA APPLICATIONS: REAL-TIME STREAMING
Học phần này cung cấp cho sinh viên các kiến thức không những về các
ứng dụng trong lĩnh vực Big Data đặc biệt là real-time streaming mà còn am
hiểu về Spark và các kỹ thuật liên quan như NoSQL, Kafka và Flume.Ngoài ra,
sinh viên được trang bị kỹ năng sử dụng các công cụ để tạo ra các ứng dụng về
Real-Time Streaming. Sau khi học xong học phần này, sinh v.iên có khả năng
phân tích, thiết kế và xây dựng các ứng dụng Big Data để xử lý
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT
TP. HỒ CHÍ MINH
Ngành đào tạo: Kỹ thuật Dữ liệu
Trình độ đào tạo: Đại học
KHOA CÔNG NGHỆ THÔNG TIN
Chương trình đào tạo: Kỹ thuật Dữ liệu
Đề cương chi tiết môn học
1.
Tên môn học: ỨNG DỤNG BIG DATA: TRUYỀN DỮ LIỆU
TRONG THỜI GIAN THỰC
Mã học phần: BDAS436177
2.
3.
Tên Tiếng Anh: BIG DATA APPLICATIONS: REAL-TIME
STREAMING
Số tín chỉ: 3 tín chỉ (2/1/4) (2 tín chỉ lý thuyết, 1 tín chỉ thực hành/
thí nghiệm)
Phân bố thời gian: 15 tuần ( 2 tiết lý thuyết + 2 tiết thực
hành + 6 tiết tự học/tuần)
4.
5.
6.
Các giảng viên phụ trách môn học
1/ ……………….
2/ ……………….
Điều kiện tham gia học tập học phần
Môn học tiên quyết
Môn học trước:
Mô tả tóm tắt học phần (Course Description)
Học phần này cung cấp cho sinh viên các kiến thức không những
về các ứng dụng trong lĩnh vực Big Data đặc biệt là real-time streaming
10
mà còn am hiểu về Spark và các kỹ thuật liên quan như NoSQL, Kafka
và Flume.Ngoài ra, sinh viên được trang bị kỹ năng sử dụng các công cụ
để tạo ra các ứng dụng về Real-Time Streaming. Sau khi học xong học
phần này, sinh v.iên có khả năng phân tích, thiết kế và xây dựng các ứng
dụng Big Data để xử lý các luổng dữ liệu trong thời gian thực.
7.
Mục tiêu học phần
(Course Goals)
Mục tiêu
(Goals)
Mô tả
Chuẩn
đầu ra
CDIO
1.1, 1.2,
1.3, 4.1,
4.3
Trình độ
năng lực
(Goal description)
(Học phần này trang bị cho sinh viên:)
Kiến thức về các ứng dụng Big Data, real-time
streaming
1
1
G1
Phân tích, đánh giá các ứng dụng Big Data và 1.1, 1.2,
G2
các kỹ thuật liên quan
1.3, 2.1,
2.5
Kỹ năng làm việc nhóm, giao tiếp và đọc hiểu 3.1, 3.2,
các tài liệu chuyên ngành bằng tiếng Anh. 3.3
Sử dụng các công cụ lập trình để phân tích, 4.3, 4.4,
2
2
G3
G4
thiết kế các ứng dụng real-time streaming
4.5
8.
Chuẩn đầu ra của học phần
Mục
tiêu
Chuẩn
đầu ra
học phần
G1.1
Mô tả
Chuẩn
Trình độ
năng lực
(Sau khi học xong môn học này, người
học có thể:)
Định nghĩa được các thuật ngữ về ứng
dụng Big Data: real-time streaming
đầu ra
CDIO
1.1.2
1
2
1.2.2
G1.2
G1.3
Trình bày được các thành phần nền
tảng về ứng dụng Big Data
1.2.2
1.3.6
4.1.3
4.3.2
1.2.1
1.2.2
1.3.6
4.1.3
4.3.3
1.1.2
1.2.1
1.2.2
1.3.6
2.1.4
2.5.4
G1
Trình bày được quy trình phát triển ứng
dụng real-time streaming
2
2
G2.1
Trình bày được các đặc tính, ưu điểm
của các ứng dụng Big Data
G2
11
G2.2
Trình bày được nội dung của các kỹ
thuật liên quan đến real-time streaming
1.2.1
1.2.2
1.3.5
1.3.6
2.1.3
3.3.4
2
G3.1
G3.2
Đọc hiểu được các tài liệu liên quan
đến Big Data và các kỹ thuật liên quan
1
2
Có khả năng làm việc theo nhóm để
thảo luận và giải quyết các vấn đề liên
quan đến các ứng dụng Big Data
Trình bày báo cáo sử dụng máy tính,
máy chiếu
Mô tả được các yêu cầu để xây dựng
được ứng dụng real-time streaming
Áp dụng các kỹ thuật liên quan đến
real-time streaming để thiết kế ứng
dụng
3.1.1
3.1.2
G3
G4
G3.3
G4.1
G4.2
3.2.1,
3.2.2
4.3.1
2
2
2
4.3.1
4.4.1
G4.3
Sử dụng các công cụ lập trình để cụ thể
hóa ứng dụng streaming
4.5.1
2
9.
Đạo đức khoa học:
Các bài tập ờ nhà và bài tập lớn phải được thực hiện từ chính bản than
sinh viên. Nếu bị phát hiện sao chép thì các sinh viên có liên quan đều
bị xử lý bằng hình thức đánh giá điểm 0 cho điểm quá trình và cuối kỳ.
10. Nội dung chi tiết học phần
Chuẩn
đầu ra
môn
Trìn
h độ
năng
lực
Phươn Phươn
g pháp g pháp
Tuần
Nội dung
dạy
học
đánh
giá
học
Chương 1: Giới thiệu (4/0/8)
A/ Các nội dung và PPGD chính trên
lớp: (4)
Nội dung GD lý thuyết:
Giới thiệu về streaming data:
G1.1
G1.2
G1.3
G3.1
1
1
1
1
Thuyết
trình,
Thảo
luận
nhóm
- Hệ thống real-time là gì?
- Khác biệt giữa hệ thống
real-time và streaming
- Kiến trúc hệ thống
streaming
1
- Bảo mật cho hệ thống
streaming
Thu thập dữ liệu (data
ingestion):
- Các patterns tương tác
chung
12
- Các patterns tương tác
theo tỷ lệ
- Kháng lỗi ( fault
tolerance)
- Các hệ thống streaming
hiện hữu
G3.
1
1
B/ Các nội dung cần tự học ở nhà:
(8)
-
-
Chương 1: [1]
Chương 2: [1]
Tài liệu:.
[2]
A. G. Psaltis, “Streaming Data
- Understanding the real-time
pipeline,”
Chương 2: Truyền tải dữ liệu từ tầng
thu thập và phân tích các dòng dữ
liệu (4/0/8)
G1.1
G1.2
G1.3
G2.1
G3.1
1
Thuyết
trình,
Thảo
luận
A/ Các nội dung và PPGD chính trên
lớp: (4)
Nội dung GD:
2
2
2
1
Truyền tải dữ liệu:
nhóm
- Các khái niệm cốt lõi
- An toàn và các hệ thống
kháng lỗi
- Ứng dụng của các khái
niệm cốt lỗi trong các
ngữ cảnh khác nhau (
business scenarios)
Phân tích các dòng dữ liệu:
- Phân tích in-flight data
- Kiến trúc xử lý luồng
phân tán
- Các tính năng chính của
các framework của
stream-processing
G3.1
B/ Các nội dung cần tự học ở nhà:
(8)
2
-
Chương 3, 4: [1]
Tài liệu:
A. G. Psaltis, “Streaming Data
[1]
- Understanding the real-time
pipeline,”
Chương 3: Thuật toán phân tích dữ
liệu và Spark Streaming (12/12/48)
3 - 8
13
G1.3
G2.1
G2.2
G3.1
G3.2
G3.3
2
2
2
1
2
2
Thuyết
trình,
Thảo
luận
nhóm,
Thực
hành
trên
A/ Các nội dung và PPGD chính trên
lớp: (16)
Nội dung GD lý thuyết:
Các ràng buộc và suy giảm: ( cotraints
& relaxing)
- One-pass
- Concept drift
- Resouce constraints
máy
- Domain constraints
Time:
- Stream time và Event
time
- Windows of time
Tổng quan về Spark:
- Cài đặt/ thực thi
- SparkContext
- Các tập dữ liệu phân phối
linh hoạt (RDDs)
Discretized Streams(Dstreams): Real-
Time RDDS
- Demo đầu tiên về
Streaming
- Streaming Context
- Dstreams
Streams tốc độ cao (High-Velocity):
- Trạng thái song song
(Parallelism)
- Batch Intervals
- Scheduling
- Memory
Lưu trữ dữ liệu đã được thu thập/phân
tích
- Lưu trữ dài hạn (long-
term storage)
- In-memory/flash-
optimized
- Catching System
- Cơ sở dữ liệu và lưới dữ
liệu trên bộ nhớ (In-
memory datatabase và in-
memory data grid)
- Các trường hợp sử dụng
B/ Các nội dung cần tự học ở nhà:
(48)
G3.1
1
-
Chương 5, 6, 11: [2]
14
-
Chương 6,7: [3]
Tài liệu:
M. Guller, Big Data Analytics
[2]
with Spark. Berkeley, CA: Apress,
2015.
[3]
S. Gupta, “Real-Time Big
Data Analytics,”
Chương 4: Phát triển hệ thống Real-
time Streaming(12/12/40)
G1.3
G2.1
G2.2
G4.1
G4.2
G4.3
G3.1
G3.2
G3.3
2
2
2
2
2
2
1
2
2
Thuyết
trình,
Thảo
luận
nhóm,
Thực
hành
trên
A/ Các nội dung và PPGD chính trên
lớp: (12)
Nội dung GD lý thuyết:
Real-Time Route 66: liên kết
với các nguồn dữ liệu ngoài:
- Khái niệm về Smarter
Cities, Smarter Planet và
Smarter Everything
- ReceiverInputDStream
- Sockets
máy
- Message Queue
Telemetry Transport
(MQTT)
- NoSQL
- Flume
- Kafka
- Custom Receiver
Phân phối dữ liệu:
- Các mẫu communication
phổ biến
- Các giao thức truyền tải
dữ liệu
- Các bộ lọc
- Demo: xây dựng Meetup
RSVP streaming API
Side-effect trong các ứng
dụng Spark Streaming
- forreachRDD
- Lưu trữ mở rộng (
Scalable streaming
storage)
- Global State
9 -
14
Các frameworks, công cụ và
kỹ thuật chung cho các ứng
dụng Spark Streaming
- Tachyon (Alluxio)
- Spark Web UI
15
- Logging
- External metrics
- System metrics
- Monitoring và Alerting
Real Time Extract Transform
Load (ELT)
- SQLContext
- Data Frame
- SparkR
Demo: Spark Streaming
Application
PPGD chính:
+ Thuyết trình
+ Trình chiếu Powerpoint
+ Thảo luận nhóm
+ Thực hành trên máy
B/ Các nội dung cần tự học ở nhà:
(40)
G3.1
G3.2
1
2
-
-
Chương 5, 6, 7, 8: [4]
Chương 5, 7: [2]
Tài liệu:
[2]
M. Guller, Big Data Analytics
with Spark. Berkeley, CA: Apress,
2015.
[4]
Z. Nabi, Pro Spark Streaming.
Berkeley, CA: Apress, 2016.
Ôn tập học phần (4/0/8)
G1
G2
G4
1
2
2
Thảo
luận
nhóm,
Hỏi
đáp,
đánh
giá
A/ Các nội dung và PPGD chính trên
lớp: (4)
Nội dung GD:
15
-
Ôn tập toàn bộ kiến thức học
phần.
-
Nhận xét, hỏi đáp và đánh giá.
G4
2
B/ Các nội dung cần tự học ở nhà:
(8)
-
Các nội dung đã học.
11. Đánh giá kết quả học tập
- Thang điểm: 10
- Kế hoạch kiểm tra như sau:
Hình
thức
KT
Chuẩn Trình Phương Công Tỉ lệ
Thời
điểm
Nội dung
đầu ra
độ
pháp
cụ
(%)
đánh
năng
đánh
đánh
16
giá
lực
giá
giá
Bài tập
Demo về Spark
30
10
Tuần G2, G4
7
Thực
hành
Bài
tập
BT#1
BT#2
trên
lớp
Bài
tập
trên
lớp
Chương trình Real- Tuần G2, G4
Time Streaming 12
Thực
hành
20
70
Thi cuối kỳ
- Nội dung bao quát tất
cả các chuẩn đầu ra
quan trọng của môn
học.
G1-G4
Tự luận
- Thời gian làm bài tối
thiểu 60 phút.
.
CĐR
Hình thức kiểm tra
môn học
BT #1
BT #2
Thi
cuối kỳ
G1.1
G1.2
G1.3
G2.1
G2.2
G3.1
G3.2
G4.1
G4.2
G4.3
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
12. Tài liệu học tập
Sách, giáo trình chính:
[1]
A. G. Psaltis, “Streaming Data - Understanding the real-time
pipeline,” 2017.
[2]
2015.
[3]
M. Guller, Big Data Analytics with Spark. Berkeley, CA: Apress,
S. Gupta, “Real-Time Big Data Analytics,” February 2016,
Published by Packt Publishing Ltd.
[4]
Z. Nabi, Pro Spark Streaming. Berkeley, CA: Apress, 2016.
Sách (TLTK) tham khảo:
[5] A. Jain and A. Nalya, Learning Storm: Create Real-Time Stream
Processing Applications with Apache Storm. Birmingham: Packt Pub,
2014.
17
13. Ngày phê duyệt lần đầu:
14. Cấp phê duyệt:
Trưởng khoa
Tổ trưởng BM
Người biên soạn
15. Tiến trình cập nhật ĐCCT
Lấn 1: Nội Dung Cập nhật ĐCCT
(người cập nhật ký và
ghi rõ họ tên)
lần 1: ngày/tháng/năm
Tổ trưởng Bộ môn:
18
GIỚI THIỆU CÁC CHƯƠNG TRÌNH ĐÀO TẠO
1.
Sinh viên có kiến thức chuyên môn vững chắc về lĩnh vực Công
nghệ thông tin (Công nghệ phần mềm, Mạng máy tính, Hệ thống thông
tin); Sinh viên được chú trọng học tập cả về lý thuyết lẫn kỹ năng thực
hành nhằm đảm bảo Sinh viên ra trường có thể tiếp cận và làm việc ngay
tại các công ty.
Ra trường, Sinh viên có thể làm việc tại: Các công ty phần mềm,
các công ty cung cấp giải pháp mạng, các công ty cung cấp giải pháp hệ
thống thông tin trong nước cũng như quốc tế,… Có thể tham gia nghiên
cứu và giảng dạy tại các Viện nghiên cứu, Trường Đại học, Cao đẳng,
Trung cấp chuyên nghiệp, cũng như các Trường phổ thông; có thể làm
việc tại các công ty ngoài lĩnh vực CNTT nhưng có áp dụng triển khai
CNTT trong hoạt động, quản lý, sản xuất.
Hiện nay nhu cầu về kỹ sư phần mềm tại Việt Nam là rất lớn bởi sự
chuyển hướng đầu tư của các công ty nước ngoài vào Việt Nam. Ngoài
ra, SV sau khi hoàn thành chương trình đại học, có khả năng học tiếp lên
các bậc học cao hơn (thạc sỹ, tiến sỹ).
Được đào tạo tại khoa Công nghệ Thông tin và khoa Đào tạo Chất
lượng cao.
2.
Ngành Kỹ thuật dữ liệu trang bị cho sinh viên cho sinh viên kiến
thức cơ sở ngành về công nghệ thông tin, và kiến thức chuyên sâu về
phân tích, thiết kế, xây dựng các mô hình vật lý và mô hình lô-gic cho dữ
liệu, xây dựng hạ tầng dữ liệu (data infrastructure, data sets) và các công
cụ phục vụ việc thiết kế, dự đoán các sản phẩm tương lai.
Các kiến thức được trang bị cho sinh viên như: Cấu trúc dữ liệu và
giải thuật, lập trình hướng đối tượng, lập trình web, trí tuệ nhân tạo, Khai
phá dữ liệu, học máy, mô hình rủi ro tài chính, v.v…
Sinh viên tốt nghiệp có thể làm việc trong các công ty Công nghệ
thông tin, cũng như bộ phận công nghệ thông ty của các công ty ở các
lĩnh vực khác. Các vị trí có thể đảm nhận trong các tổ chức gồm:
- Data Engineer (Kỹ sư dữ liệu).
- Big data Engineer (Kỹ sư quản trị dữ liệu lớn).
- Lập trình viên, chuyên viên phát triển phần mềm.
- Chuyên viên quản trị cơ sở dữ liệu, quản trị web.
- Trưởng dự án phát triển hệ thống thông tin.
19
- Cán bộ nghiên cứu và ứng dụng Công nghệ thông tin ở các viện,
trung tâm nghiên cứu và các trường đại học, cao đẳng.
- Giảng viên Công nghệ thông tin ở các các trường đại học, cao
đẳng, trung học phổ thông, trung học chuyên nghiệp và dạy nghề.
20
Tải về để xem bản đầy đủ
21 trang
09/01/2024
13060
Free
Bạn đang xem 20 trang mẫu của tài liệu "Đề cương chi tiết môn Ứng dụng Big Data truyền dữ liệu trong thời gian thực", để tải tài liệu gốc về máy hãy click vào nút Download ở trên
File đính kèm:
- de_cuong_chi_tiet_mon_ung_dung_big_data_truyen_du_lieu_trong.pdf
