Nhận dạng và phát hiện hành động của người dùng thị giác máy tính
NHẬN DẠNG VÀ PHÁT HIỆN HÀNH ĐỘNG CỦA NGƯỜI DÙNG THỊ
GIÁC MÁY TÍNH
HUMAN’S ACTION RECOGNITION AND DETECTION USING COMPUTER
VISION
Tống Văn Ngọc1, Hoàng Văn Dũng2
Trường Đại học Sư Phạm Kỹ Thuật Tp.HCM
Tóm tắt
Ngày nay các kỹ thuật dự đoán hành động đóng một vai trò rất quan trọng trong nhiều hệ thống
tự động. Trên thế giới đã đề xuất các phương pháp cho việc phát hiện hành động người. Tuy vậy,
Chúng vẫn còn có những hạn chế nhất định như độ chính xác chưa cao, thời gian tính toán chưa
tốt. Trong đề tài này trình bày cách để cải thiện hiệu năng của tác vụ dự đoán hành động. Chúng
ta thực hiện xây dựng bộ phân loại phức hợp sử dụng các đặc trưng không gian và thời gian dựa
trên các đặc trưng tỉ lệ như: HOG, HOF, MBH. Để cải thiện sự chính xác trong dự đoán, 2 lớp
của các mô hình phân loại máy phân loại được nghiên cứu để áp dụng vào các đặc trưng không
gian và thời gian với quá trình trích xuất đối tượng động. Phân lớp đầu tiên dựa trên việc phân
loại không giám sát được đưa ra nhằm xây dựng bộ từ điển các đặc trưng hỗ trợ cho việc phân
loại và đồng bộ các đặc trưng. Công việc tiếp theo đó là sử dụng học máy có giám sát hỗ trợ cho
các quyết định cuối cùng trong việc phân nhóm các hành động. Ở đây, ta dùng các tập dữ liệu
được xây dựng sẵn để đánh giá. Các kết quả mô tả việc cải thiện độ chính xác và hiệu suất của hệ
thống dự đoán.
Từ khóa: BoW, HOG, HOF, MBH, SVM.
Abstract
Nowadays, action prediction techniques play an important role in many automatic systems. A lot
of methods have been proposed for human action detection. However, they still have many
disadvantages such as: limit accuracy, inefficient processing time. This project represents the way
to improve the action recognition result. We construct the classifier using temporospatial features
based on scaleable features such as HOG, HOF, MBH. In order to improve the accuracy for
prediction, 2 classes of classification model are studied to apply into temporospatial features within
object extraction processing. The first class based on unsupervised classification build the
dictionary’s features that support the classification task and synchronize features. Next task, using
supervised machine learning supports the final decision, which is used for classifying actions. In
this thesis, we use the sets of dataset, which are available online for evaluation. The result
demonstrates the prediction system’s accuracy improvement, and performance.
Keywords: BoW, HOG, HOF, MBH, SVM.
1. Giới thiệu
Hiện nay, quá trình phát hiện người cùng các
hệ thống dự đoán hành động dựa trên các cảm
biến thị giác đang được xem là hướng phát
triển có tiềm năng rất lớn trong các lĩnh vực
ứng dụng, đặc biệt là chúng đang được xem là
các công cụ quan trọng trong các hệ thống
thông minh nhân tạo, các hệ thống giám sát,
hệ thống tự động. Chúng liên quan đến việc
truy vấn hình ảnh, hỗ trợ con người tự động và
hệ thống vận chuyển thông minh. Việc nhận
dạng hành động dùng đẻ xác định hành động
của người và các đối tượng chuyển động trong
từng điều kiện khác nhau. Tuy nhiên, vẫn còn
nhiều thách thức trong việc dự đoán hành động
do: sự đa dạng trong hành động, sự đa dạng
trong từng bối cảnh cụ thể, nền phức tạp, cũng
như sự chồng lấp đối tượng. Có nhiều việc
phải làm khi thực hiện việc nhận dạng đối
tượng và phân loại hành động. Ta phân ra 2
việc chính cần phải làm đó là phát hiện
người/vật thể từ một vùng cần chú ý bằng việc
phân tích ngữ cảnh và cấu trúc trong một ảnh,
sau đó chuyển các thành phần được trích xuất
để thực hiện việc dự đoán hành động.
(Marszalek, Laptev, & Schmid), và UCF101
(Soomro, Zamir, & Shah). Hầu hết các tập dữ
liệu là các dữ liệu màu có nhiều thông tin cho
việc trích xuất đặc trưng. Ngày này, các bộ mô
tả đặc trưng cục bộ đang thu hút nhiều nhà
nghiên cứu (González cùng cộng sự., 2015;
Seo, Kim, De Neve, & Ro, 2016; Wang, Li, &
Fang, 2016; Ziaeefard & Bergevin, 2015).
Wang và cộng sự (2016) trình bày một phương
pháp biến đổi các đặc trưng gradient thành các
ghép nối không gian và thời gian với tích chập
Gauss cho việc trích xuất các đặc trưng cục bộ
về không gian với khả năng tăng sự chính xác.
Để thực hiện năng cao hiệu quả tính toán, ta
xử lý các đối tượng có khả năng thay đổi kích
thước trong các bức ảnh hình chóp. Các đặc
trưng có khả năng thay đổi kích thước được
mô tả dựa trên HOG và HOF của các thành
phần chuyển động. Trong quá trình xử lý này,
các đặc trưng HOG và HOF được lưu trong
một cấu trúc đặc biệt, hỗ trợ việc trích xuất đặc
trưng từ các đặc trưng hình tháp mà không cần
phải tính toán lại các thông tin. Để cải thiện độ
chính xác, mô hình phân loại máy giám sát và
không giám sát được sử dụng. Đầu tiên, việc
phân loại không giám sát dùng K-means được
dùng để xây dựng bộ từ điển cho các đặc trưng
nhằm hỗ trợ việc phân nhóm các đặc trưng
giống nhau. Thứ hai, véc-tơ hỗ trợ máy (SVM)
dựa trên học máy có giám sát được dùng để dự
đoán hành động.
Ngược lại, một số nhà nghiên cứu lại tập trung
vào dữ liệu RGBD để nhận diện hành động
(Jia & Fu, 2016; Kong & Fu, 2016; Zhang, Li,
Ogunbona, Wang, & Tang, 2016). Việc nhận
dạng hành động trong video RGBD (Kong &
Fu 2016) được nghiên cứu để cải thiện sự
chính xác bằng việc loại bỏ những thành phần
tương đồng trong ảnh RGB và dụng các thông
tin trường sâu để phân loại tập các hành động.
Một số những cải tiến và hạn chế trong các kỹ
thuật nhận dạng hành động dùng ảnh RGBD
được phân tích và trình bày bởi Zhang cùng
các cộng sự [10]. Sự kết hợp của các thông tin
màu và trường sâu được nghiên cứu và cho ra
các kết quả chấp nhận được nhưng vấn đề tính
toán rất phức tạp.
3. Phương pháp thực hiện
2. Tình hình nghiên cứu
Thực hiện trích xuất các đặc trưng cục bộ
HOG, HOF, MBH [5] dựa trên chuỗi các ảnh
liên tiếp. Sử dụng các ưu điểm của BoW cho
quá trình học máy, đây là quá trình tiền xử lý
để phân biệt đặc tính của các đặc trưng cục bộ
nhằm cải thiện độ chính xác của hệ thống nhận
dạng. BoW thực hiện phân nhóm các đặc trưng
và đưa vào hệ thống nhận dạng. BoW là lớp
đầu tiên của hệ thống máy phân loại để xây
dựng bộ từ điển đặc trưng. Sau đó, ta thực hiện
nhận dạng hành động dự trên hệ thống học
máy có giám sát để phân loại hành động. Để
đánh giá kết quả đạt được, đề tài đã sử dụng
một số tập dữ liệu có sẵn để đánh giá.
Trong những năm gần đây, một số những đóng
góp trong lĩnh vực nhận dạng hành động được
giới thiệu như Liu, Xu, Qing, và Tao (2016),
Shi, Laganière, and Petriu (2016), Stefic và
Patras (2016). Và một báo cáo mới nhất được
thảo luận và trình bày đó là của González và
đồng nghiệp (2015), Ziaeefard và Bergevin
(2015) cùng một số phương pháp được đánh
giá để ứng dụng vào việc nhận dạng hành
động. Một số những ưu điểm cùng hạn chế
được chỉ ra. Bên cạnh đó, một số những tập dữ
liệu chuẩn được đưa ra để làm dữ liệu đánh giá
và kiểm tra như bộ dữ liệu KTH (Schuldt,
Laptev,
&
Caputo),
HOLLYWOOD
trưng không gian và thời gian được xử lý
thông qua các khung hình liên tiếp σt. Tập các
điểm trong khoảng L khung hình được chia
thành n khoảng trong σt khung hình để
trích xuất và xây dựng các đặc trưng. Các
đặc trưng trong n khoảng được biểu diễn
thành một chuỗi của một tập đặc trưng
không gian-thời gian, với số σt là ước của L
khung hình. Đặc trưng về thể tích là σx × σy ×
(L/σt). Dùng các kỹ thuật đơn giản để trích
xuất đặc trưng HOG, HOF, MBH được mô tả
trong bài báo của Dalal và Triggs [3], Dalal,
Triggs và Schmid [5].
Khung hình
1
Khung hình
2
Khung hình
n-3
Khung hình
n-2
Khung hình
n-2
Khung hình
n
L khung hình liên tiếp
L khung hình liên tiếp
L khung hình liên tiếp
Trích xuất các đặc
trưng cục bộ
(HOG, HOF, HMB,...)
Trích xuất
đặc trưng
BoW
B1
B2
….
…
B3
B4
Phân loại
f4
f1
f2
f3
Nhận dạng
hành động
H
Hình 1 Mô hình đề xuất trong đề tài
3.1 Trích xuất các đặc trưng cục bộ
Các điểm đặc trưng của nền cũng được lấy
mẫu và bám theo, điều này ảnh hưởng đến kết
quả dự đoán nên ta phải loại bỏ nó. Qúa trình
tiền xử lý được dùng để thực hiện việc này.
Các vùng đặc trưng bất thường của các vật thể
hoặc nền sẽ được phát hiện và loại bỏ.
Trong đề tài này sử dụng các bộ mô tả đặc
trưng cục bộ để thực hiện nhận dạng mẫu hành
động đó là: HOG, HOF và MBH. Chúng sẽ hỗ
trợ cho việc phân loại và nhận dạng các hành
động như là giúp tăng cường các đặc tính hình
học, việc huấn luyện. Nhưng chúng cũng có
một số hạn chế về thời gian tính toán và độ
chính xác.
3.2 Xây dựng BoW
Ở bước trích xuất BoW: các đặc trưng cục bộ
luôn có không gian lớn và có tương quan qua
lại lẫn nhau rất lớn trong việc biểu diễn số liệu.
Đây là thách thức cho quá trình xử lý ảnh. Ở
đây ta có các bước để xây dựng một bộ từ điển
BoW. Đầu tiên, các đặc trưng cục bộ được
trích xuất từ video, các khung hình liên tiếp
nhau được ghép với nhau thực hiện lấy mẫu lại
các đặc trưng cục bộ tại mỗi khung hình. Một
số loại đặc trưng có thể ghép với nhau để tạo
ra một từ điển. Tuy nhiên, Nó tạo ra một đặc
trưng với không gian lớn và hạn chế về tính
toán. Vì vậy, các đặc trưng riêng sẽ dùng để
tạo từ điển BoW như BoW của HOF, BoW của
HOG và chúng được xử lý riêng. Các không
gian nhỏ của các đặc trưng sẽ nhanh hơn trong
việc phân cụm để xây dựng từ điển BoW. Mỗi
loại đặc trưng sẽ được so sánh về các đặc tính
vật lý và hình học.
Từ một video ta thực hiện trích xuất các đặc
trưng tại vị trí phát hiện chuyển động trong
mỗi khung hình. Sau đó mỗi vị trí đặc trưng
được bám theo trong một khoảng chu kỳ hành
động. Tại mỗi cuối chu kỳ hành động, đặc
trưng không gian -thời gian được xây dựng với
L khung hình liên tiếp. Các đặc trưng này được
đưa vào bước kế tiệp cho quá trình xử lý dự
đoán hành động. Việc trích xuất đặc trưng
được tạo ra bằng các cell. Ảnh đầu vào được
với kích thước cell (cw, ch) với cw, ch lần lượt
là chiều rộng và chiều cao của cell. Các vùng
đặc trưng được trích xuất. Các vùng biểu thị ít
đặc trưng được loại bỏ để tập trung cho trích
xuất đặc cần thiết cho việc bám theo các đặc
trưng trong các khung hình liên tiếp. Tất cả các
vùng đặc trưng cần thiết thu được bằng cách
dùng gradient of intensities và dense Optical
Flow. Dense Optical Flow được trích xuất
dùng giải thuật Farneback, giải thuật này phù
hợp cho việc xử lý thời gian thực dense
Optical Flow. Trong phương pháp này ta tính
toán Optical Flow của 2 hình liên tiếp. Đặc
Do sự đa dạng về hành động nên các đặc trưng
được trích xuất từng khung hình của từng
chuỗi hành động. Các đặc trưng là các véc-tơ
được đưa và bước tiếp theo là bước dự đoán
1
n
2
Việc trích xuất đặc trưng BoW đã có rất nhiều
công trình đã thực hiện. Các công trình thực
hiện việc ghép và tính toán các đặc trưng BoW
như tìm kiếm tuyến tính, phương pháp Brute-
Force, SSD, RANSAC. Trong đó giải thuật
của phương pháp FANN (fast approximate
nearest neighbors) [12] là giải pháp hiệu quả
trong việc trích xuất đặc trưng. Ta sẽ dùng
phương pháp FANN để trích xuất đặc trưng
BoW. Mục tiêu là tối ưu hóa việc tìm ra các từ
gần nhất trong bộ từ điển:
(3.3)
(3.4)
min W + C
i
i=1
w,b,
2
yi (wT
(xi )
(v +b) 1−i ,i 0,i −1,...,n
i
Với
là véc-tơ ánh xạ x sang một không
i
gian lớn hơn cho việc phân chia tuyến tính và
C>0 được điều chỉnh sao cho w thỏa mãn:
ns
w =
yi j(vi )
(3.5)
i=1
Sau bước huấn luyện, các thông số như hệ số
b, tập các véc-tơ hỗ trợ được lưu lại.
Mô hình nhận dạng dùng SVM để thực hiện
phân loại hành động với từng loại đặc trưng
dựa trên các đặc trưng BoW.
2
arg min
x − w
(3.1)
j
wjX
4. Kết quả thực hiện
Với x là mỗi ngõ vào chính là véc-tơ đặc trưng,
wj là thành phần gần nhất với mẫu x. Các đặc
trưng BoW với B(b1, b2,..bk) là các nhóm phân
chia (vote) của tất cả các mẫu trong bộ từ điển
BoW. Các véc-tơ đặc trưng được trích xuất sẽ
được chuẩn hóa theo mẫu:
Trong đề tài này sử dụng 2 cơ sở dữ liệu đánh
giá bao gồm: UCF101, HMDB51.
Quá trình thực nghiệm đầu tiên được xử lý trên
tập dữ liệu từ đại học Central Florida (Soomro
và cộng sự., 2012) được gọi là UCF101 bao
gồm 101 lớp hành động. Tập dữ liệu UCF101
bao gồm các video hành động thực tế được lấy
từ youtube. Tổng cộng ta có 101 tập hành động
với 13,320 video. Tập video này gồm các tư
thế, dáng điệu, tỉ lệ đối tượng, góc nhìn, chồng
lấp tại nền, điều kiện ánh sáng, chuyển động
của camera v.v. Các video đã đồng nhất tốc độ
khung hình 25 khung hình/s và độ phân giải
video là 320 x 240 pixel. Ta phân tập dữ liệu
thành 3 nhóm chính: các hành động chơi nhạc
cụ (12 lớp hành động), các hoạt động hàng
ngày (20 lớp hành động), và 69 hành động
khác (69 lớp).
[b ,b2 ,.....,bk ]
1
f =
(3.2)
k
b
i=1
i
3.3 Huấn luyện nhận dạng
Ta sử dụng phương pháp học có giám sát để
thực hiện áp dụng vào quá trình dự đoán hành
động. Kỹ thuật SVM được sử dụng. SVM đã
được chứng minh và áp dụng ở nhiều lĩnh vực.
Ưu điểm chính của kỹ thuật SVM có khả năng
phân loại tốt. Ở đây ta thực hiện tập trung vào
việc phát hiện và nhận dạng hành động các đối
tượng cần thiết. Với tập huấn luyện gồm D =
{(vi,yi)|i = 1 . . . n}, υi là vector đặc trưng của
các thành phần lấy mẫu ROI hoặc mẫu âm, yi
chỉ định các phân lớp hành động. Để áp dụng
vào việc phân loại nhiều loại dữ liệu hành
động, bộ phân loại tuyến tính phức hợp được
xử lý trong một cấu trúc cascade. Việc huấn
luyện SVM giải quyết được vấn đề tối ưu siêu
phẳng cơ bản để tối đa hóa lề của phân loại cho
mỗi lớp như công thức bên dưới:
Quá trình thực nghiệm thứ hai, tập dữ liệu
HMDB51 bao gồm 51 lớp hành động như tập
thể dục, các hoạt động thể thao, các nhạc cụ
âm nhạc, và các hoạt động hàng ngày khác.
Tổng cộng ta có 6,766 video trong tập 51 hành
động này. Video đã được chuẩn hóa tốc độ
khung hình với 25 khung hình/s và độ phân
giải là 320 x 240 pixel.
bảng 1: Kết quả thực nghiệm với các tập dữ liệu của các để tài
HMDB51
UCF50
UCF Sport
Brendel cùng
Sadanand và cộng
sự [16]
26.9%
29.2%
Kliper-Gross cùng
cộng sự [17]
72.7%
73.7%
77.3%
80.6%
82.7%
cộng sự [31]
Kliper-Gross cùng
cộng sự [17]
Solmaz cùng cộng
sự [21]
Jiang cùng
cộng sự [18]
Jiang cùng cộng sự. 40.7%
Reddy cùng cộng sự 76.9%
Gaido cùng
[18]
[22]
cộng sự [17]
Jain cùng cộng sự.
[19]
52.1%
Shi cùng cộng sự
[23]
83.3%
Jain cùng cộng 83.2%
sự [19]
Wang cùng cộng sự 57.2%
Wang cùng cộng sự 90.5%
Wang cùng
90.2%
[15]
[15]
cộng sự [15]
Hình 2: Một số hành động dùng để đánh giá từ tập dữ liệu UCF-101
Hình 3: Một số hành động dùng để đánh giá từ tập dữ liệu HMDB51
Trong bảng 3 biểu thị kết quả đánh giá trên 2
tập dữ liệu. Kết quả này là kết quả của [13,15]
được lấy kết quả chính từ các bài báo [13,15]
các giá trị dự đoán được trình bày với kết quả
trung bình của tất cả các lớp trong mỗi tập dữ
liệu. Kết quả chỉ ra rằng kết quả thu được tốt
hơn sử dụng MBHD51 bộ phát hiện đơn dùng
các đặc trưng ghép nối truyền thống. Với các
tập dữ liệu phức tạp như UCF101 và HMDB51
thì kết quả thu được trong đề tài này tương đối
tốt. Kết quả thực nghiệm cho ta thấy hiệu quả
dự đoán của hệ thống đạt khá cao. Với tập dữ
liệu UCF12 có độ chính xác 96.7 %. Với tập
dữ liệu UCF20 đạt độ chính xác 88.2%. Còn
với tập UCF69 có độ chính xác 81.2 % ở 5000
từ BoW.
phải có sự đánh đổi khi dùng bộ từ điển lớn
hơn cùng với số mẫu huấn luyện nhiều hơn, đó
là thời gian tính toán và huấn luyện sẽ lâu hơn.
Các đặc trưng liên quan đến bộ mô tả BoW
dùng đặc trưng HOG, HOF, MBH. Quá trình
đánh giá chỉ ra rằng hầu hết các lớp hành động
được nhận dạng có độ chính đương đối cao
trong giữa việc ghép nối tất cả các đặc trưng
và bộ nhận dạng dùng SVM dùng tất cả các
đặc trưng.
Kết quả đánh giá trên 2 tập dữ liệu được trình
bày ở trên. Giá trị dự đoán là giá trị trung bình
của tất cả các lớp của mỗi tập dữ liệu. Kết quả
chỉ ra kết quả của đề tài tốt hơn kết quả sử
dụng bộ phát hiện đơn dùng các đặc trưng
ghép với nhau. Trong đề tài này ta dễ dàng áp
dụng vào các ứng dụng để nhận dạng các hành
động thực tế của những ứng dụng cho các ứng
dụng giám sát an ninh.
Ta nhận thấy kết quả giữa việc dùng bộ từ điển
BoW có số lượng từ khác nhau sẽ khác nhau.
Bộ từ điển BoW càng lớn và càng nhiều mẫu
huấn luyện thì độ chính xác sẽ cao hơn. Nhưng
.
Hình 4: Một số kết quả nhận dạng từ tập đánh giá UCF101
Bảng 2: So sánh các kết quả của quá trình dự đoán hành động dùng các kích
thước BoW với số mẫu khác nhau trong đề tài
Datasets
UCF 12
Bộ từ điển BoW
Độ chính xác (%)
2000
5000
95.2
96.7
UCF20
UCF69
2000
5000
84.1
88.2
2000
5000
76.5
81.2
MBHD51
2000
2000
56.2
58.7
5. Kết luận và hướng phát triển
5.1. Kết luận
Dựa trên mô hình dự đoán có sẵn phát triển
đề tài theo hướng giảm thời gian tính toán
trong việc trích xuất đặc trưng cục bộ: HOG,
HOF, MBH trong các ứng dụng thực tế với
các hệ thống bị giới hạn năng lực xử lý dữ
liệu.
Bộ nhận dạng tăng cường dựa trên các đặc
trưng cục bộ riêng biệt tạo ra kết quả tốt hơn
so với các phương pháp ghép nối đặc trưng
truyền thống trong các trường hợp hoạt động
phức tạp. Hơn nữa, khác với các đóng góp
khác, các vị trí đặc trưng được bám theo
từng khung liên tiếp trong một chuỗi các
hành động. Bộ mô tả BoW giúp giảm kích
thước không gian đặc trưng. Các hành động
phức tạp được dự đoán bằng việc xử lý hành
động liên tục dựa trên kỹ thuật phỏng đoán.
Kết quả thực nghiệm cho thấy phương pháp
nghiên cứu tỏ ra vượt trội so với các phương
pháp truyền thống. Nhược điểm lớn nhất của
việc dự đoán hành động là thời gian tính toán
trong việc trích xuất các đặc trưng cục bộ
không thực sự tốt.
Quá trình dự đoán đã thực hiện kiểm tra
thành công trên một số tập dữ liệu đánh giá
như HMDB51 và UCF101. Đề tài chứng tỏ
phương pháp nghiên cứu đã hoạt động tương
đối tốt trên các tập dữ liệu phức tạp cùng
nhiều hành động khác nhau.
5.2 Hướng phát triển của đề tài
Để ứng dụng hiệu quả trong thực tế thì việc
cải thiện hiệu suất xử lý là điều cần thiết.
TÀI LIỆU THAM KHẢO
[1] Hoàng Lê Uyên Thục. An effective 3D geometric relational feature descriptor for human
action recognition. 2012 IEEE-RIVF International Conference on Computing and
Communication Technologies, Ho Chi Minh city, Vietnam, pp. 270-275, Feb. 2012.
[2] Lê Viết Tuấn. Nhận diện hành động người bằng cập nhật kết quả phân lớp. trang 10-14,
bản tin khoa học & giáo dục, 2014.
vol. 1, DOI: 10.1109/CVPR, 2005.
[4] Heng Wang, Cordelia Schmid. Action Recognition with Improved Trajectories. ICCV -
IEEE International Conference on Computer Vision, Dec 2013, Sydney, Australia. IEEE,
pp.3551-3558, 2013.
[5] Navneet Dalal, Bill Triggs, Cordelia Schmid. Human Detection Using Oriented Histograms
[6] B.K.P. Horn and B.G. Schunck. Determining Optical Flow. Artificial Intelligence, vol 17,
pp 185–203, 1981.
[7] B. D. Lucas and T. Kanade .An iterative image registration technique with an application
to stereo vision. Proceedings of Imaging Understanding Workshop. pp.121-130, 1981.
[8] Bishop, Christopher. Pattern Recognition and Machine Learning. Springer Science +
Business Media, LLC, 2006.
[9] Peng, X., Wang, L., Wang, X., Qiao, Y. Bag of visual words and fusion methods for action
recognition: comprehensive study and good practice. Comput. Vis. Image Underst. 150, 109–
125, 2016.
[10] Zhang, J., Li, W., Ogunbona, P.O., Wang, P., Tang, C. RGB-D-based action recognition
datasets. A survey. Pattern Recognition 60, pp.86-105, 2016.
[11] Muja, M., Lowe, D.G. Fast approximate nearest neighbors with automatic algorithm
configuration. In: VISAPP (1), vol. 2, pp. 331–340, 2009.
[12] Schuldt, C., Laptev, I., Caputo, B.Recognizing human actions: a local SVM approach.
Proceedings of the 17th International Conference on Pattern Recognition, pp. 32–36, 2004.
[13] Wang, H., Kläser, A., Schmid, C., Liu, C.-L. Action recognition by dense trajectories.
IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 3169–3176, 2011.
[14] Kovashka, A., Grauman, K. Learning a hierarchy of discriminative space-time
neighborhood features for human action recognition. IEEE Conference on Computer Vision
and Pattern Recognition (CVPR 2010), pp. 2046–2053, 2010
[15] Wang, H., Schmid, C.: Action recognition with improved trajectories. In: Proceedings of
the IEEE International Conference on Computer Vision, pp. 3551 – 3558, 2013.
[16] S. Sadanand and J. J. Corso. Action bank: A high-level representation of activity in video.
In CVPR, 2012.
[17] O.Kliper-Gross, Y. Gurovich, T. Hassner, and L. Wolf. Motion interchange patterns for
action recognition in unconstrained videos. In ECCV, 2012.
[18] Y.-G. Jiang, Q. Dai, X. Xue, W. Liu, and C.-W. Ngo. Trajectorybased modeling of human
actions with motion reference points. In ECCV, 2012.
[19] M. Jain, H. J´egou, and P. Bouthemy. Better exploiting motion for better action
recognition. In CVPR, 2013.
[20] B. Solmaz, S. M. Assari, and M. Shah. Classifying web videos using a global video
descriptor. Machine Vision and Applications, pages 1–13, 2012.
[21] K. Reddy and M. Shah. Recognizing 50 human action categories of web videos. Machine
Vision and Applications, pages 1–11, 2012.
[22] F. Shi, E. Petriu, and R. Laganiere. Sampling strategies for real-time action recognition.
In CVPR, 2013.
[23] Soomro, K., Zamir, A. R., & Shah. UCF101: A dataset of 101 human actions classes from
videos in the wild. CRCV-TR-12–01, 2012.
[24] Kuehne, H., Jhuang, H., Garrote, E., Poggio, T., Serre, T. HMDB: a large video database
for human motion recognition. International Conference on Computer Vision, pp. 2556–2563,
2011.
[25] Kai Yu, Tong Zhang. Improved Local Coordinate Coding using Local Tangents. ICML'10
Proceedings of the 27th International Conference on International Conference on Machine
Learning, Pages 1215-1222, 2010.
[26] R. Chaudhry, A. Ravichandran, G. Hager, and R. Vidal, “Histograms of oriented optical
flow and binet-cauchy kernels on nonlinear dynamical systems for the recognition of human
actions,” in Computer Vision and Pattern Recognition, 2009. CVPR 2009. IEEE Conference,
pp. 1932–1939, June 2009.
[27] Heng Wang, Alexander Kläser, Cordelia Schmid, Cheng-Lin Liu. Dense trajectories and
motion boundary descriptors for action recognition. Research Report RR-8050, 2012.
[28] Josef Sivic and Andrew Zisserman.Video Google: A Text Retrieval Approach to Object
Matching in Videos. In Computer Vision, International Conference on, pages 1470–1477,
Nice, France, October 2003.
[29] Xiaojiang Peng, Limin Wang, Xingxing Wang, Yu Qiao. Bag of visual words and fusion
methods for action recognition: Comprehensive study and good practice, Computer Vision and
Image Understanding 150, 109–125, 2016.
[30] van Gemert, J., Veenman, C.J., Smeulders, A.W.M., Geusebroek, J.-M. Visual word
ambiguity. IEEE Trans. Pattern Anal. Mach. Intell. 32 (7), 1271–1283, 2010.
[31] W. Brendel and S. Todorovic. Learning spatiotemporal graphs of human activities. In
ICCV, 2011.
Thông tin liên hệ tác giả chính (người chịu trách nhiệm bài viết):
Họ tên: Tống Văn Ngọc
Đơn vị: Trường Đại học Sư Phạm Kỹ Thuật TP.HCM
Điện thoại: 0169 254 7318
Email: [email protected]m
BÀI BÁO KHOA HỌC
THỰC HIỆN CÔNG BỐ THEO QUY CHẾ ĐÀO TẠO THẠC SỸ
Bài báo khoa học của học viên
có xác nhận và đề xuất cho đăng của Giảng viên hướng dẫn
Bản tiếng Việt ©, TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH và TÁC GIẢ
Bảnquyềntác phẩm đã được bảo hộ bởiLuậtxuất bảnvà LuậtSở hữu trí tuệ Việt Nam. Nghiêm
cấm mọi hình thức xuất bản, sao chụp, phát tán nội dung khi chưa có sự đồng ý của tác giả và
Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh.
ĐỂ CÓ BÀI BÁO KHOA HỌC TỐT, CẦN CHUNG TAY BẢO VỆ TÁC QUYỀN!
Thực hiện theo MTCL & KHTHMTCL Năm học 2018-2019 của Thư viện Trường Đại học
Sư phạm Kỹ thuật Tp. Hồ Chí Minh.
10 trang
12/01/2024
13920
Free
Bạn đang xem tài liệu "Nhận dạng và phát hiện hành động của người dùng thị giác máy tính", để tải tài liệu gốc về máy hãy click vào nút Download ở trên
File đính kèm:
- nhan_dang_va_phat_hien_hanh_dong_cua_nguoi_dung_thi_giac_may.pdf
