Đề xuất giải pháp tạo nhanh bản đồ ảnh từ dải ảnh hàng không phục vụ công tác cứu hộ, cứu nạn
Nghiên cứu khoa học công nghệ
ĐỀ XUẤT GIẢI PHÁP TẠO NHANH BẢN ĐỒ ẢNH
TỪ DẢI ẢNH HÀNG KHÔNG PHỤC VỤ CÔNG TÁC
CỨU HỘ, CỨU NẠN
Phạm Văn Quân1*, Lê Vũ Hồng Hải2 Đào Khánh Hoài2
,
Tóm tắt: Bài báo đề xuất giải pháp khớp nhanh dải ảnh hàng không để tạo bản
đồ ảnh phục vụ công tác cứu hộ, cứu nạn trong những tình huống đặc biệt như thiên
tai, lũ lụt, thảm họa… dựa trên việc cải tiến một thuật toán khớp dải ảnh hàng
không theo hướng nâng cao tốc độ cũng như độ ổn định của bài toán khớp ảnh
hàng không. Cách tiếp cận trong bài báo dựa trên những đặc tính kỹ thuật trong
lĩnh vực bay chụp ảnh hàng không cùng với nền tảng tính toán GPU để đưa ra giải
pháp tạo nhanh bản đồ ảnh đảm bảo độ chính xác và ổn định phục vụ kịp thời công
tác cứu hộ cứu nạn tại những khu vực xảy ra thiên tai, sự cố.
Từ khóa: Khớp ảnh tự động, Ảnh hàng không, Ghép ảnh.
1. MỞ ĐẦU
Sau mỗi đợt thiên tai hay những tình huống khẩn cấp tại những khu vực nhất
định, sự cần thiết phải có bản đồ ảnh khu vực đó để phục vụ công tác đánh giá hiện
trạng cũng như đưa ra những giải pháp xử lý là một vấn đề có tính cấp thiết cao. Giải
pháp được sử dụng phổ biến hiện nay là tiến hành khớp nhiều tấm ảnh lại để tạo một
bản đồ ảnh giúp người chỉ huy và các chuyên gia có thể nhanh chóng đưa ra các
quyết định trong điều kiện khẩn cấp.
Đã có nhiều nghiên cứu liên quan đến bài toán khớp tự động dải ảnh hàng
không [1-3] [9-10]. Đặc điểm chung của các nghiên cứu này là đều xử lý bài toán
theo 4 bước cơ bản: 1) Trích chọn đặc trưng trên từng ảnh; 2) Khớp đặc trưng từng
cặp ảnh liền kề; 3) Xác định phép chuyển đổi giữa các cặp ảnh liền kề; 4) Đăng ký
ảnh. Trong đó bước thứ 2 có vai trò quan trọng nhất, ảnh hướng rất lớn tới độ
chính xác cũng như chiếm nhiều thời gian nhất trong quy trình trên. Đặc biệt với
ảnh hàng không thường có độ phân giải cao và kích thước ảnh lớn do đó phải có
những kỹ thuật chuyên biệt để đảm bảo tốc độ xử lý gần với thời gian thực.
Trong nghiên cứu này nhóm tác giả khai thác các đặc tính đặc tính kỹ thuật trong
lĩnh vực bay chụp ảnh hàng không như độ trùm phủ giữa các ảnh liền kề, độ chênh
cao địa hình…để tạo một phương pháp khớp tích hợp giữa vùng giá trị mức xám và
khớp theo đặc trưng để giảm không gian cũng như thời gian xử lý. Đồng thời đưa
tính toán GPU vào từng bước trong quy trình khớp dải ảnh để tăng tốc độ tính toán
với số lượng ảnh có kích thước lớn.
2. LÝ THUYẾT NỀN TẢNG
2.1. Các kỹ thuật khớp ảnh
Hiện nay, các thuật toán khớp tự động cặp ảnh đều dựa trên một trong hai cách
tiếp cận cơ bản: Khớp ảnh theo vùng giá trị mức xám (Area based matching) [6]
hoặc khớp ảnh theo đặc trưng (Feature based matching) [5].
Phương pháp khớp theo vùng giá trị mức xám thường chỉ phát huy hiệu quả khi
được sử dụng riêng trong trường hợp ít thay đổi về độ sáng và độ biến dạng hình học
89
Tạp chí Nghiên cứu KH&CN quân sự, Số 44, 08 - 2016
Công nghệ thông tin & Khoa học máy tính
học giữa hai ảnh nhỏ.
Phương pháp khớp theo đặc trưng xác định mối tương quan giữa các đặc trưng
trên các ảnh. Các đặc trưng trên ảnh có thể là điểm, đường, vùng. Trong đó, đặc
trưngđiểm thường được lựa chọn do các đặc trưng này có khả năng bất biến với
các phép biến đổi trên ảnh như phép quay, phép dịch chuyển…
2.2. Kỹ thuật tháp ảnh
Hình 1. Mô hình tháp ảnh.
Kỹ thuật tháp ảnh (hình 1) được sử dụng khá phổ biến trong lĩnh vực xử lý ảnh và
thị giác máy tính. Kết quả của tháp ảnh là tạo ra một loạt các ảnh nhỏ hơn với độ
phân giải bằng một nửa ảnh trước. Theo lý thuyết đa tỷ lệ của Tony Lindeberg [8] thì
các đặc trưng ảnh sẽ thể hiện rõ nhất ở một tỷ lệ nào đó trong không gian tỷ lệ
Gauss. Vì vậy, đối với bài toán khớp ảnh hàng không kích thước lớn ta có thể áp
dụng kỹ thuật tháp ảnh đến kích thước hợp lý, trích chọn đặc trưng trên ảnh tháp sau
đó quay hồi lên ảnh gốc. Như vậy, khối lượng tính toán sẽ giảm thiểu đáng kể mà
vẫn thỏa mãn bài toán khớp ảnh. Thông thường có hai phương thức tạo ảnh tháp [7].
Trong nghiên cứu này nhóm tác giả sử dụng phép lọc Gauss để tính toán ảnh tháp.
2.3. Nền tảng tính toán GPU
Hình 2. Kiến trúc luồng trong GPU.
Bộ xử lý đồ họa (Graphic Proccessing Unit) gọi tắt là GPU đã trở thành một phần
không thể tách rời của hệ thống máy tính ngày nay. GPU hiện đại không chỉ là một
công cụ xử lý đồ họa mạnh mà còn là một bộ xử lý hỗ trợ lập trình song song ở mức
90
P. V. Quân, L. V. H. Hải, Đ. K. Hoài, “Đề xuất giải pháp… cứu hộ, cứu nạn.”
Nghiên cứu khoa học công nghệ
cao, giúp giải các bài toán số học cần khả năng xử lý số học phức tạp và băng thông
bộ nhớ tăng hơn đáng kể so với CPU cùng loại. Hình 2 mô tả kiến trúc đa luồng
trong mô hình lập trình song song CUDA.
CUDA cho phép đa nhân chạy đồng thời trên một GPU đơn. CUDA coi mỗi
nhân như một lưới (grid). Một lưới là một tập các khối (block). Mỗi khối chạy
cùng nhân nhưng độc lập với nhau. Trong mỗi khối lại chứa nhiều luồng (thread).
Luồng là đơn vị nhỏ nhất trên GPU. Các ứng dụng CUDA được tạo sử dụng ngôn
ngữ lập trình C/C++.
3. XÂY DỰNG GIẢI PHÁP KHỚP NHANH DẢI ẢNH HÀNG KHÔNG
Mô hình của giải pháp đề xuất (hình 3) bao gồm 3 bước chính: Trích chọn đặc
trưng, khớp đặc trưng và đăng ký ảnh.
Thuật toán:
• Đầu vào: Dải ảnh hàng không
• Đầu ra: Bản đồ ảnh (Ảnh toàn cảnh)
Bản đồ ảnh
Hình 3. Mô hình thuật toán khớp dải ảnh hàng không.
91
Tạp chí Nghiên cứu KH&CN quân sự, Số 44, 08 - 2016
Công nghệ thông tin & Khoa học máy tính
3.1. Trích chọn đặc trưng
Trong bước này chúng tôi sẽ lựa chọn một thuật toán dò tìm góc, sử dụng kỹ
thuật tháp ảnh để giảm không gian tìm kiếm đặc trưng.Trong nghiên cứu của Fabio
Remondino - 2006, đã chỉ ra thuật toán Harris phù hợp cho các bài toán tạo ảnh toàn
cảnh ở bước trích chọn đặc trưng.
Không gian tính toán của ảnh gốc được co nhỏ lại bằng cách tạo ra các ảnh tháp
có cấu trúc tương tự ảnh gốc nhưng kích thước đã bị co nhỏ 4 lần giữa các bậc tháp
liền kề nhau. Do ảnh tháp đã bị co nhỏ và mất đi một số thông tin trong quá trình
nhân chập với mặt nạ Gauss nên sau khi tìm được các đặc trưng trên ảnh tháp, tiến
hành quay hồi ngược lại trên ảnh gốc để xác định vùng ROS là vùng sẽ chứa đặc
trưng tương ứng với đặc trưng trên ảnh tháp. Do đó thay vì duyệt toàn bộ ảnh gốc để
tìm đặc trưng thì chỉ cần tìm đặc trưng trên một vùng cửa sổ ROS có kích thước nhỏ
hơn rất nhiều.
Từ công thức tính toán thuận chúng tôi đã đưa ra công thức nghịch cho việc xác
định kích thước cửa sổ tìm kiếm đặc trưng trên ảnh gốc như sau:
(1)
Trong đó: W là kích thước cửa sổ, level là mức ảnh tháp, i = 1,...m (m là số cặp
điểm cùng tên)..
3.2. Khớp đặc trưng
Khớp thô:Sử dụng phương pháp khớp tích hợp giữa khớp theo vùng giá trị mức
xám và khớp theo đặc trưng điểm để tìm các cặp điểm cùng tên trên hai ảnh. Phương
pháp này dựa trên độ phủ giữa hai ảnh: với mỗi điểm đặc trưng (i, j) trên ảnh trái ta
có thể xác định được vùng cửa sổ trên ảnh phải chứa điểm đặc trưng cùng tên tương
ứng. Khi đó sẽ xác định một điểm đặc trưng trong cửa sổ có giá trị độ tương quan
chéo chuẩn hóa lớn nhất (Normalized Cross Correlation) với điểm đặc trưng (i,j).
Khớp chính xác: Sử dụng thuật toán RANSAC để loại bỏ các cặp điểm khớp sai
từ bước khớp thô,tìm một phép xạ ảnh(với 8 tham số chưa biết) để thể hiện mối quan
hệ giữa các ảnh với nhau. Đầu tiên sẽ lựa chọn ngẫu nhiên 4 cặp điểm bất kỳ để tính
ra giá trị của 8 tham số chuyển đổi sau đó dựa vàophép chuyển đổi này để chia tập
dữ liệu thành 2 loại là chính xác và ngoại lai (inlier và outlier); nếu số lượng điểm
inliner đảm bảo đủ lớn sẽ tiến hành tính toán, ước lượng lại 8 tham số bằng cách sử
dụng phương pháp số bình phương nhỏ nhất. Cuối cùng, sử dụng bộ tham số này để
loại bỏ lần cuối những điểm ngoại lai.
Trong phiên bản RANSAC rút gọn đã sử dụng việc lựa chọn ngẫu nhiên các cặp
điểm đặc trưng, do đó nếu các cặp điểm đặc trưng nhận được từ bước trích chọn đặc
trưng không được xử lý qua bước khớp thô sẽ dẫn đến tồn tại rất nhiều cặp điểm
ngoại lai và xác suất dẫn để lựa chọn ngẫu nhiên được 4 cặp điểm chính xác để có
thể tìm ra đủ số lượng cặp điểm chính xác theo yêu cầu chiếm rất nhiều thời gian.
Đây là lí do trong nghiên cứu này chúng tôi lại chia ra làm 2 bước riêng biệt: khớp
thô và khớp chính xác.
3.3. Đăng ký ảnh
Sau khi đã xác định được tất cả các điểm đặc trưng cùng tên trên các cặp ảnh liên
92
P. V. Quân, L. V. H. Hải, Đ. K. Hoài, “Đề xuất giải pháp… cứu hộ, cứu nạn.”
Nghiên cứu khoa học công nghệ
tiếp nhau, tất cả các ảnh trong dải ảnh sẽ được tính toán để chuyển đổi về một hệ tham
chiếu chung ghép thành một bản đồ ảnh. Các bước bao gồm:
Xác định ma trận chuyển đổi giữa các cặp ảnh (Homography Hi,i-1): Sau
bước khớp ảnh chính xác ta xác định được các cặp điểm cùng tên giữa hai ảnh kế
tiếp nhau. Ma trận chuyển đổi giữa các cặp ảnh được xác định theo công thức (2).
(2)
(với i=1,…m: m là số cặp điểm cùng tên; TH - Ma trận đồng ảnh; - vector điểm
đặc trưng ảnh phải; - vector điểm đặc trưng ảnh trái; - ma trận cơ sở).
Đăng ký dải ảnh: Nhiệm vụ chính trong bước này là lựa chọn hệ điểm tham
chiếu sau đó chuyển đổi tất cả dải ảnh vào chung hệ tham chiếu này. Thông thường
sẽ lựa chọn một ảnh trong dải ảnh làm ảnh tham chiếu. Có nhiều cách để lựa chọn
ảnh này (hình 4).
Đặc điểm chung của các mô hình chiếu này là có sai số tích lũy khi tính chuyển
đổi ảnh. Để khắc phục hiện tượng này chúng tôi sử dụng phương pháp được đề xuất
bởi Yuping Lin (2007) [4]. (hình 5)
Điểm mấu chốt của phương pháp được thể hiện ở Bước 3 trong hình 5. Sau khi
chuyển về hệ tham chiếu, các ảnh sẽ phải nhân với một ma trận
để hiệu chỉnh lại
sai sốtích lũy.Ma trận (hình 6) được xác định bằng cách xác định thông qua ma
trận chuyển đổi giữa ảnh Ii và Ui (Mi là ảnh chuyển đổi của Ii sang khung tham
chiếu; Ui là ảnh được chuyển đổi ngược lại từ ảnh chuyển đổi Mi).
Hình 4. Các mô hình tham chiếu.
Hình 6. Xác định ma trận Hԑ.
Hình 5. Mô hình xử lý sai số tích lũy.
93
Tạp chí Nghiên cứu KH&CN quân sự, Số 44, 08 - 2016
Công nghệ thông tin & Khoa học máy tính
Trộn ảnh để loại bỏ sự khác biệt về màu sắc trong khu vực trùng phủ (hình 7).
Với mỗi điểm ảnh P trong khu vực
trùng phủ, giá trị cường độ điểm ảnh
mới của P được xác định theo công
thức (3):
(3)
Trong đó,
là giá trị điểm ảnh P
Hình 7. Trộn ảnh dựa trên khoảng cách.
trong ảnh A, là giá trị điểm ảnh tương ứng của điểm P trong ảnh B, dA và dB là
khoảng cách ngắn nhất tới các cạnh của vùng A, B tương ứng.
(*) Sử dụng nền tảng tính toán GPU tăng tốc độ tính toán.
Trong quy trình thuật toán, chúng tôi sử dụng nền tảng tính toán GPU để tăng tốc
độ thực thi. Cụ thể việc phân chia các bước tính toán trên CPU và GPU như [hình 8]
trong đó những bước tính toán chính, chiếm nhiều thời gian bao gồm: Trích chọn đặc
trưng, Khớp thô NCC, Khớp chính xác RANSAC và đăng ký dải ảnh được thực hiện
trên GPU.
Hình 8. Phân chia tính toán trên CPU và GPU.
Việc tính toán trên GPU được thực hiện như sau: Với mỗi ảnh có kích thước
Width*Hight sẽ được chia ra (width/16)*(height/16) khối. Với mỗi khối ảnh sẽ có 256
luồng xử lý đồng thời. Việc phân chia này nhằm đảm bảo các tính toán độc lập trên
mỗi điểm ảnh sẽ luôn có một luồng xử lý. Qua đó, toàn khối ảnh sẽ được tính toán
đồng thời.
94
P. V. Quân, L. V. H. Hải, Đ. K. Hoài, “Đề xuất giải pháp… cứu hộ, cứu nạn.”
Nghiên cứu khoa học công nghệ
Hình 9. Minh họa tính toán song song GPU.
4. KẾT QUẢ THỬ NGHIỆM VÀ PHÂN TÍCH
Dữ liệu thực nghiệm là ảnh hàng không được chụp từ máy bay không người lái
UAV Trimble UX5 và máy Vecxel Ultracam XP. Kích thước ảnh 4912 × 3264
điểm ảnh, độ phân giải điểm ảnh khoảng 0.2 mét. Độ chính xác yêu cầu trong bước
khớp chính xác nhỏ hơn 3 điểm ảnh.
Bảng 1 hiển thị các thông số thử nghiệm với 12 ảnh UAV. Trong đó totalRMS
là sai số bình phương trung bình của các điểm inlier; Match time là tổng thời gian
của bước khớp thô và khớp chính xác. Từ bảng 1 có thể thấy độ chính xác của
phương pháp đề xuất có độ chính xác cao và thời gian tính toán đảm bảo.
Bảng 1. Các thông số thực nghiệm.
Cặp
ảnh
Số đặc
trưng trái trưng phải
Số đặc
Số cặp khớp totalRMS
Số cặp khớp thô
Match time/s
chính xác
(pixel)
1-2
2-3
118
116
113
112
103
108
121
126
123
120
123
116
113
112
103
108
121
126
123
120
123
120
81
68
67
69
55
59
76
71
75
72
71
68
26
45
50
46
47
45
62
62
55
46
0.769295
0.561021
0.622725
0.660344
0.699872
0.824446
0.819914
0.733032
0.626792
0.596557
0.598303
2.812
2.781
2.672
2.640
2.422
2.516
2.843
2.938
2.891
2.812
2.875
3-4
4-5
5-6
6-7
7-8
8-9
9-10
10-11
11-12
Thời gian đăng ký ảnh: 4.558 (s)
95
Tạp chí Nghiên cứu KH&CN quân sự, Số 44, 08 - 2016
Công nghệ thông tin & Khoa học máy tính
Bảng 2. So sánh phương pháp khớp dải ảnh của Ming Lia 2012
với phương pháp đề xuất.
Trong nghiên cứu này chúng tôi cũng thử nghiệm và so sánh kết quả một cách
tương đối với phương pháp khớp dải ảnh của nhóm nghiên cứu Ming Lia 2012.
Với ảnh đầu vào cùng kích thước và cùng số ảnh. Kết quả và đồ thị tương quan
được hiển thị trong bảng 2. Qua đó cho thấy phương pháp đề xuất tốt hơn cả về
thời gian và độ chính xác. Điều này có nghĩa giải pháp đưa ra hoàn toàn có thể đáp
ứng được các yêu cầu trong những trường hợp khẩn cấp.
Một số hình ảnh kết quả thực nghiệm:
Hình 11. Ảnh toàn cảnh của 15 ảnh
Hình 10. Ảnh toàn cảnh của 12 ảnh UAV.
UAV trước khi trộn ảnh.
96
P. V. Quân, L. V. H. Hải, Đ. K. Hoài, “Đề xuất giải pháp… cứu hộ, cứu nạn.”
Nghiên cứu khoa học công nghệ
Hình 12. Kết quả khớp 28 ảnh không sử dụng Hε.
Hình 13. Kết quả khớp 28 ảnh sử dụng Hε.
Hình 14. Ảnh toàn cảnh với 50 ảnh hàng không.
5. KẾT LUẬN
"Xử lý tự động ảnh hàng không" là một bài toán lớn mà nhóm tác giả đang
nghiên cứu. Bài báo này giải quyết một vấn đề trong bài toán trên. Giải pháp đề
xuất có những điểm mới như sử dụng phương pháp khớp tích hợp, kỹ thuật tháp
ảnh, nền tảng tính toán GPU và trong quá trình tính toán có tính đến các đặc tính
kỹ thuật trong lĩnh vực bay chụp ảnh hàng không nhằm mục đích giảm thời gian
tính toán và đưa ra nhanh bản đồ ảnh khu vực xảy ra thiên tai, lũ lụt, tai nạn nhằm
phục vụ công tác cứu hộ, cứu nạn kịp thời, hiệu quả.
TÀI LIỆU THAM KHẢO
[1]. Dao Khanh Hoai, Vu Van Truong, 2014, “Building the automatically
matching algorithm applicable for aerial image pairs”, Journal of Science
and Technology: The Section on Information and Communication
Technology (JICT), pp.21-33.
97
Tạp chí Nghiên cứu KH&CN quân sự, Số 44, 08 - 2016
Công nghệ thông tin & Khoa học máy tính
[2]. Changming Sun, 1997, “A Fast Stereo Matching Method, Digital Image
Computing: Techniques and Applications”, Massey University, Auckland,
New Zealand, pp.95-100.
[3]. Fabio Remondino, 2006, “Detectors and descriptors for photogrammetric
applications”, Institute for Geodesy and Photogrammetry, ETH Zurich,
Switzerland.
[4]. Yuping Lin, Qian Yu, Gerard Medioni, 2007, “Map-Enhanced UAV Image
Sequence Registration”, Computer Vision and Pattern Recognition, 2007.
CVPR '07. IEEE Conference on, Minneapolis, MN, pp.1 - 7.
[5]. Yue ZHAO, Xiaohong SHANG, Hongqiang DING, “Matching Approach
Based on Cross-Correlation and Affine Transformation”, International
Journal of Digital Content Technology and its Applications. Volume 5,
Number 2, pp. 249-256, February 2011.
[6]. Jyoti Joglekar, Shirish S. Gedam, “Area Based Image Matching Methods – A
Survey”, International Journal of Emerging Technology and Advanced,
Volume 2, Issue 1, pp. 130-136, January 2012.
[7]. Fei Yan, Weian Wang, Shijie Liu, Wen Chen, “A Hierarchical image
matching method for stereo satellite imagery”, International Archives of the
Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol
XL-7/W1, 3rd ISPRS IWIDF 2013, 20 – 22 August 2013.
[8]. Tony Lindeberg, Scale-Space Theory in Computer Vision, The Springer
International Series in Engineering and Computer Science, 1994, 423p.
[9]. R. Szeliski, "Image alignment and stitching: A tutorial", Foundations and
trends in computer graphics and computer vision, 2(1), December 2006.
[10].Barbara Zitova and Jan Flusser, "Image Registration Methods: A Survey",
Image and Vision Computing, 21, 2003, pp. 977-1000.
ABSTRACT
PROPOSING A SOLUTION TO QUICKLY CREATE THE IMAGE MAP
FROM AREALIMAGE SEQUENCE FOR RESCUE WORK
The paper proposes a solution to quickly match joints aerial images to
create the image map serving special situations such as natural disasters,
floods... basing on improving of matching the areal image sequence towards
enhancing speed as well as stability of the problem of areal image joint. The
approach in the article is based on the characteristics of areal photography
acquisitionand GPU computing in order to provide the solutions to quickly
creating image map ensuring the accuracy and stability, allowing timely
rescue in the areas of disaster.
Keywords:Automaticimage matching, Areal images, Image mosaicing.
Nhận bài ngày 06 tháng 07 năm 2016
Hoàn thiện ngày 10 tháng 08 năm 2016
Chấp nhận đăng ngày 17 tháng 08 năm 2016
Địa chỉ: 1 Cục Khoa học quân sự/Bộ Quốc phòng;
2 Học viện Kĩ thuật quân sự.
* Email:[email protected]om
98
P. V. Quân, L. V. H. Hải, Đ. K. Hoài, “Đề xuất giải pháp… cứu hộ, cứu nạn.”
10 trang
13/01/2024
13080
Free
Bạn đang xem tài liệu "Đề xuất giải pháp tạo nhanh bản đồ ảnh từ dải ảnh hàng không phục vụ công tác cứu hộ, cứu nạn", để tải tài liệu gốc về máy hãy click vào nút Download ở trên
File đính kèm:
- de_xuat_giai_phap_tao_nhanh_ban_do_anh_tu_dai_anh_hang_khong.pdf
