Bài giảng Tương tác người máy - Chương 9: Các kỹ thuật đánh giá

Biªn so¹n: L-¬ng M¹nh B¸

Prepared by MSc Luong manh Ba

9.1 Khái niệm và vai trò của đánh giá

trong thiết kế tương tác người máy

Chương 9 Các kỹ thuật đánh giá

• Đánh giá không phải là một giai đoạn trong

qúa trình thiết kế mà là nhiệm vụ trung tâm

của quá trình thiết kế. Nó diễn ra trong suốt

vòng đời của HCI

Nội dung

9.1 Khái niệm và vai trò của đánh giá trong thiết

kế tương tác người máy

• Đánh giá là thu thập dữ liệu kiểm tra về tính

dùng được của thiết kế

• Ba mục đích chính của đánh giá:

i) Khẳng định tính mở rộng các chức năng của hệ

thống

9.2 Các kiểu đánh giá

9.3 Đánh giá thiết kế

9.4 Đánh giá cài đặt

9.5 Lựa chọn phương pháp đánh giá

ii) Khẳng định tính hiệu quả của giao tiếp

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 30

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 31

Prepared by MSc Luong manh Ba

9.1 Khái niệm và vai trò của đánh giá

trong thiết kế tương tác người máy (tiếp)

9.1 Khái niệm và vai trò của đánh giá

trong thiết kế tương tác người máy tiếp)

iii) Xác định một số vấn đề đặc biệt nảy sinh trong quá

trình sử dụng

•

Tính hiệu quả của giao tiếp ND:

- Lượng hoá được các tiêu chí của thiết kế với ND

- Tính dễ học

• Chức năng của HT là quan trọng: có đáp ứng

với đặc tả yêu cầu ND? Thiết kế HT phải có

khả năng đáp ứng các nhiệm vụ đặt ra một

cách dễ dàng:

- Tính sử dụng lại

- Trạng thái của ND

- Xác định các lĩnh vực của TK chất lên người

dùng theo một cách nào đó

- Hành động mà ND cần để thực hiện nhiệm vụ

- Đánh giá khả năng sử dụng của HT với cái mà ND

mong đợi

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 32

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 33

Prepared by MSc Luong manh Ba

9.2 Các kiểu đánh giá

9.1 Khái niệm và vai trò của đánh giá

trong thiết kế tương tác người máy (tiếp)

i) Đánh giá trong PTN

ii) Đánh giá thực nghiệm

iii) Đánh giá trong giai đoạn TK

iv) Đánh giá trong giai đoạn cài đặt

9.2.1 Đánh giá trong PTN

- Nơi tiến hành: trong PTN

- Dùng trong giai đoạn TK

•

Một số vấn đề nảy sinh trong quá trình TK:

- Sắc thái của TK khi chưa được sử dụng có tạo

nên kết quả không mong đợi?

-Về cả 2 vấn đề: chức năng và tính dùng được

- Người TK thực hiện một số khẳng định không

cần/có sự hiện diện của ND.

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 34

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 35

1

Biªn so¹n: L-¬ng M¹nh B¸

Prepared by MSc Luong manh Ba

9.2 Các kiểu đánh giá (tiếp)

- Các trang bị cần thiết có thể được yêu cầu

như thiết bị nghe nhìn, thiết bị ghi,...

- Hạn chế: tiếng ồn, chuyển động => mất tập

trung

8.2.2 Đánh giá trong TN

- Do môi trường tự nhiên nên khách quan

- Dùng trong giai đoạn TK hay cài đặt

- Đánh giá được các hoạt động thường ngày,

tháng, => được ưa chuộng.

- Việc đánh giá thực hiện trong môi trường ND

nhằm đánh giá HT trong hoạt động và trạng

thái ND.

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 36

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 37

Prepared by MSc Luong manh Ba

9.3 Đánh giá trong giai đoạn thiết kế

(tiếp)

Mục đích

Các kỹ thuật

- Dùng trong giai đoạn TK => tránh được một

số sai sót đáng tiếc

- Cognitive WalkThrough

- Đánh giá kiểu Heuristic

- Đánh giá dựa vào mô hình

- Đánh giá dựa vào xem xét lại

- Các sai sót phát hiện được trong giai đoạn

cuối sẽ làm giảm chi phí

- Một số phương pháp đánh giá sẽ được dự

đoán

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 38

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 39

Prepared by MSc Luong manh Ba

9.3.1. Cognitive WalkThrough

4 bước tiến hành

- Là phương pháp có tính dự đoán kiểu Review

nhằm phát hiện vấn đề từ rất sớm

4 bước cần tiến hành:

i) Một mô tả về nguyên mẫu của HT, không cần đầy đủ

song cũng nên khá chi tiết thí dụ như vị trí và ngôn từ

cho menu

- Xây dựng các định nghĩa từ các nhiệm vụ đặc

tả HT hoặc từ màn hình "mock-up": từ màn

hình này qua màn hình khác

ii) Một mô tả về nhiệm vụ mà ND phải thực hiện.

Nhiệm vụ phải mang tính tiêu biểu, cái mà ND hay làm

- Người đánh giá duyệt qua một chuỗi hành

động để kiểm tra tính dùng được. Mục đích

chính của kỹ thuật này là thiết lập tính dễ học

và dễ dùng của hệ thống.

iii) Một danh sách chi tiết các hành động cần thiết để

hoàn thành nhiệm vụ theo nguyên mẫu

iV) Một chỉ dẫn về ND là ai và các tri thức, kinh

nghiệm mà người đánh giá có thể giả định.

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 40

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 41

2

Biªn so¹n: L-¬ng M¹nh B¸

Prepared by MSc Luong manh Ba

9.3.1. Cognitive WalkThrough

4 câu hỏi

4 câu hỏi(tiếp)

=> Với thông tin trên, người đánh giá thực hiện chuỗi các

hành động và đưa ra các ý kiến về tính dùng được. Với

mỗi hành động, người đánh giá cố gắng trả lời 4 câu

hỏi:

i) ND cố tạo ra bất cứ tác động gì trên hành động đó?

Những khẳng định về nhiệm vụ mà hành động được hỗ

trợ đúng theo kinh nghiệm và tri thức của ND trên

tương tác đó.

iii) Khi ND tìm thấy một hành động đúng trên giao tiếp

liệu họ có biết đó là cái duy nhất đúng cho mục đích mà

họ cố tạo ra? Có thể đó là một phím lệnh/ mục menu

quan sát được nhưng liệu ND có biết đó là cái mà họ

cần để hoàn thành nhiệm vụ.

iV)Sau khi hành động tiến hành, ND sẽ hiểu phản hồi

của HT? Giả sử rằng ND đã chọn đúng hành động, họ

sẽ biết tiếp cái gì? Đó là việc hoàn thành chu trình

tương tác đánh giá/thực hiện.

ii) ND có khả năng để ý hành động đúng là có?. Thí dụ,

ND có nhìn thấy phím hay một mục của menu, qua đó

hành động tiếp là đang thực hiện bởi HT. Điều này có

nghĩa là ND sẽ thấy phím đó (hay mục đó) tại thời điểm

họ cần (Không nhất thiết phải biết).

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 42

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 43

Prepared by MSc Luong manh Ba

9.3.1. Cognitive WalkThrough

hình thức tiến hành

9.3.1. Cognitive WalkThrough

hình thức tiến hành (tiếp)

Cognitive Walkthrough start-up sheet:

Interface . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Task . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Next action #: --------------- Description ----

-----

1. Correction goal

Evaluator: . . . . . . . . . . . . . . Date . . . . . . . . . . . . .

Task Description: . . . . . . . . . . . . . . . . . . . . . . . . . . .

Action Sequence: . . . . . . . . . . . . . . . . . . . . . . . . . . .

Anticiopated User: . . . . . . . . . . . . . . . . . . . . . . . . . .

User's inition Goal: . . . . . . . . . . . . . . . . . . . . . . . . . .

2. Problem forming Correction goals

-

3. Problem identifying Action

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 44

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 45

Prepared by MSc Luong manh Ba

9.3.1. Cognitive WalkThrough

hình thức tiến hành (tiếp)

9.3.1. Cognitive WalkThrough

Thí dụ

Mục tiêu: Thiết kế điều khiển từ xa cho Video nhằm cho

phép ND lập trình chọn lựa thời gian ghi

-

Thiết kế ban đầu: hình xxx

- Hình một: tập các phím trong trạng thái sử dụng bình

thường

4. Problem performing the action

-

- Hình hai: phím ghi thời gian được nhấn. Video cho

phép ND lập trình 3 chế độ ghi theo chuỗi khác nhau.

Số hiệu chuỗi tiếp theo có thể đựơc tự động thiết lập.

Chúng ta muốn biết liệu thiết kế của mình có hỗ trợ

nhiệm vụ ND không?

Chúng ta bắt đầu bằng việc xác định nhiệm vụ tiêu biểu.

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 46

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 47

3

Biªn so¹n: L-¬ng M¹nh B¸

Prepared by MSc Luong manh Ba

Thiết kế điều khiển từ xa

Thiết kế điều khiển từ xa (tiếp)

Time: 21:45

Chanel:3

Start: 1800

- Giả sử ND quen thuộc với ghi hình nhưng không

biết thiết kế chuyên dụng này.

End: 1915

Chanel:4

Date:

- Bước tiếp theo của Walkthrough là xác định

chuỗi hành động cần phải tiến hành. Chúng ta

đặc tả điều này theo thuật ngữ hành động ND

(Action) và đáp ứng của HT (System Response):

H

ì

n

h

2

1

4

7

2

5

8

3

6

9

H

ì

n

h

1

4

2

5

3

6

0

7

8

9

0

Action A: Nhấn phím thời gian ghi

<<

>

>>

Đáp ứng A: Chuyển về hiển thị theo mode thời gian. Con

trỏ xuất hiện sau chữ Start

<<

>

>>

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 48

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 49

Prepared by MSc Luong manh Ba

Thiết kế điều khiển từ xa (tiếp)

Action B: Nhấn số 1800

Action F: Nhấn số 4

Đáp ứng B: Mỗi chữ số được hiện ngay sau khi nhấn và

con trỏ chuyển về vị trí tiếp.

Đáp ứng F: Mỗi chữ số được hiện ngay sau khi nhấn và

con trỏ chuyển về vị trí tiếp.

Action C: Nhấn phím ghi thời gian

Đáp ứng C: con trỏ chuyển về sau vị trí End.

Action D: Nhấn số 1915

Action G: Nhấn phím ghi thời gian

Đáp ứng G: con trỏ chuyển về sau vị trí Date.

Action H: Nhấn số 010199

Đáp ứng D: Mỗi chữ số được hiện ngay sau khi nhấn và

con trỏ chuyển về vị trí tiếp.

Đáp ứng H: Mỗi chữ số được hiện ngay sau khi nhấn và

con trỏ chuyển về vị trí tiếp.

Action E: Nhấn phím ghi thời gian

Action I: Nhấn phím ghi thời gian

Đáp ứng E: con trỏ chuyển về sau vị trí Chanel.

Đáp ứng I: Số hiệu chuỗi hiện lên góc phải trên màn hình

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 50

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 51

Prepared by MSc Luong manh Ba

Thiết kế điều khiển từ xa (tiếp)

Giao tiếp không cung cấp chỉ dẫn nào khi ND nhấn phím

ghi thời gian. Tuy nhiên, điều đó chấp nhận được vì giả

thiết là ND quen thuộc với máy ghi Video

Action J: Nhấn phím truyền

Đáp ứng J: Dữ liệu được truyền đi và chuyển về chế độ

bình thường

Câu hỏi 2: ND có khả năng để ý hành động đúng là có?

Phím ghi thời gian có trên điều khiển từ xa.

- Sau khi đã thiết lập chuỗi hành động, tiến hành

đánh giá bởi Walkthrough. Với mỗi action A,

B,... , ta phải trả lời 4 câu hỏi sau và nói về tính

dùng được của HT. Bắt đầu với hành động A:

Câu hỏi 3: Khi ND tìm thấy một hành động đúng trên

giao tiếp liệu họ có biết đó là cái duy nhất đúng cho mục

đích mà họ cố tạo ra?

Action A: Nhấn phím ghi thời gian

Không rõ ràng với phím ghi thời gian. Biểu tượng đồng

hồ trên đ/k từ xa có thể là ứng cử viên, tuy nhiên nó có

thể hiểu là phím dùng để thay đổi thời gian.

Câu hỏi 1: ND có cố gắng tạo nên bất cứ tác động nào khi

hành động xảy ra?

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 52

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 53

4

Biªn so¹n: L-¬ng M¹nh B¸

Prepared by MSc Luong manh Ba

Thiết kế điều khiển từ xa (tiếp)

9.3.2. Kỹ thuật Heuristic

ứng cử viên khác có thể như là phím thứ 4 bên trái

(phím này liên quan tới ghi).

- Là các nguyên tắc chung hay các guidline có

thể trợ giúp một quyết định trong TK

Tóm lại, biểu tượng đồng hồ là lựa chọn đúng, song rất

có thể ND bị nhầm tại điểm này

- Do Jacob Nielsen và Rolf Molich đề xuất

Câu hỏi 4: Sau khi hành động tiến hành, ND sẽ hiểu phản

hồi của HT?

- Dùng trong giai đoạn đầu của TK nhằm cố

định tính dùng được

Ngay sau khi hành động được làm, việc hiện thị đã thay

đổi chế độ và các dòng hiện lên là khá thân thuộc với ND

(Start, End,...)

- ý tưởng chính là nhiều đánh giá độc lập được

tiến hành để kiểm tra tính dùng được

- 9 mưu mẹo và 10 qui định

Cứ theo cách như vậy tiến hành cho các hành động.

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 54

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 55

Prepared by MSc Luong manh Ba

9 heuristics

9 heuristics (tiếp)

1) Đối thoại đơn giản và tự nhiên

- Đơn giản: sử dụng ít thông tin

- Tự nhiên: lệnh gần với yêu cầu

2) Nói ngôn ngữ ND

4) Tính nhất quán

5) Phản hồi thông tin

6) Xử lý tình huống thoát: khi ND gặp 1 tình

huống mà họ không cần => cung cấp lối thoát

- Sử dụng cách nói của ND

- Không dùng thuật ngữ công nghệ đặc biệt

7) Tạo lối tắt: Giúp đỡ người dùng có kinh

nghiệm tránh những đối thoại và thông tin

không cần thiết

3)Giảm tải tối thiểu cho bộ nhớ ND

8)Có thông báo lỗi tốt

- Không bắt ND phải nhớ cho hành động tiếp sau

- Lưu lại thông tin trên mµn h×nh cho đến khi ND

không cần nữa

9) Dự báo lỗi.

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 56

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 57

Prepared by MSc Luong manh Ba

10 Qui định (tiếp)

6)Nhận biết chứ không phải nhớ lại: tạo cho

đối tượng, hành động và các lựa chọn dÔ dàng

nhận biết bởi ND chứ không cần nhớ.

7)Sử dụng hiệu quả và mềm dẻo

Dùng được cho cả ND có/không có kinh nghiệm

8)Thiết kế đơn giản và có thẩm mỹ

9)Trợ giúp ND nhận biết, đối thoại và phục hồi

từ trạng thái lỗi

10) Trợ giúp và tài liệu

1) Thấy được các trạng thái của HT: HT luôn

cho ND thấy cái họ sẽ làm qua thông tin phản

hồi trong thời gian hợp lý

2)Sự tự do và quản lý ND: ND có thể gặp lỗi, do

vậy phải có thoát khẩn cấp

3)Dự báo lỗi

4) Chuẩn hoá và nhất quán

5) Đối sánh HT với thế giới thực

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 58

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 59

5

Biªn so¹n: L-¬ng M¹nh B¸

Prepared by MSc Luong manh Ba

9.3.3. Kỹ thuật dựa vào Review

9.3.4. Kỹ thuật dựa vào mô hình

- Đánh giá kiểu Heuristic do Molich & Nelson

đưa ra 1990: dùng trong các UD nhỏ, thời gian

đánh giá chừng 2h. Tuy nhiên có thể nhiều hơn

nếu UD lớn

Là kỹ thuật đánh giá đòi hỏi:

- Đặc tả chức năng của HT phần có liên quan

- Một phân tích nhiệm vụ chứa danh sách

nhiệm vụ và gán chúng thành các thành phần

- Đánh giá kiểu Discount usability: chi phí

thấp, thời gian và tài nguyên không nhiều.

- Cấu trúc nhiệm vụ từ đơn giản đến phức tạp

- Các thao tác ND có thể đánh giá bằng phương

pháp giải tích

- Mô hình vật lý Keytrock hay được áp dụng

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 60

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 61

Prepared by MSc Luong manh Ba

9.3.4. Kỹ thuật dựa vào mô hình

(tiếp)

9.3.4. Kỹ thuật dựa vào mô hình

(tiếp)

2) Chuyển con trỏ đến menu trên đỉnh màn hình: TP

cộng với thời gian suy nghĩ TM

Thí dụ: " Save File trong MS Word"

- Phương tiện: Dùng chuột và menu pull down

tổng thời gian:

TP+TM

- Giả thiết: Nhiệm vụ bắt đầu bằng thao tác

Homming khi ND đặt tay lên chuột. Thời gian

nhấn phím là 0.35s, thời gian đáp ứng của HT là

1,2s.

- Dãy thao tác:

1) Bắt đầu TH

3) Chọn trên menu File (nhấn File), dịch chuyển con trỏ

rồi chọn Save:

tổng thời gian: TM+ TK(File)+TP+TK (Save )

4) MS Word: nhắc nhập tên tệp: TR , ND nhấn “File-

2.4”,TK(return): TR+ TM+TK (File-2.4)+ TK(return)

Với TH = 0.4, TM = 1.35, TP = 1.1, TK = 0.35, TR = 1.2

=> tổng thời gian: 13.05s

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 62

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 63

Prepared by MSc Luong manh Ba

9.4. Đánh giá cài đặt

9.4.1 Đánh giá thực nghiệm

- Khó thực hiện trong phòng thí nghiệm

- Là một trong các phương pháp quan trọng để

đánh giá TK hay khía cạnh nào đó của TK.

- Cách thức tiến hành: Đề xuất giả thiết đánh

giá thông qua một số biến độc lập/phụ thuộc

và nhằm đánh giá một số khía cạnh đặc trưng

của TK=> Đ/k đánh giá được thay đổi thông

qua giá trị một số biến

-Ba thông số: chủ đề (subjects), biến (variables)

và giả thiết (hypothesis).

- Có sự hiện diện của ND và hệ thống đã được

cài đặt

- Có thể sử dụng mô phỏng hay mẫu thử

- 3 kỹ thuật chính:

i) Đánh giá thực nghiệm

ii) Kỹ thuật quan sát

iii) Kỹ thuật hỏi đáp

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 64

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 65

6

Biªn so¹n: L-¬ng M¹nh B¸

Prepared by MSc Luong manh Ba

9.4.1 Đánh giá thực nghiệm (tiếp)

a) Chủ đề

b) Biến/đại lượng

- Việc lựa chọn chủ đề là quyết định tới thành

công của đánh giá

- Thực nghiệm quản lý và đo các đại lượng

dưới điều kiện được kiểm soát nhằm kiểm tra

giả thiết.

- Hai loại biến: loại quản lý và loại đo. Loại thứ

nhất gọi là biến độc lập, loại thứ hai là phụ

thuộc

- Chủ đề chọn phải sánh được với kỳ vọng của

lớp ND. Lý tưởng là kiểm tra với sự hiện diện

của ND. Tuy nhiên không phải luôn có thể. Nếu

ND không phải là ND thực sự thì phải chọn lớp

tương tự: độ tuổi, tri thức, . . .

- Biến độc lập: là các đặc trưng của thực

nghiệm, nhằm tạo ra các đ/k so sánh như: kiểu

giao tiếp, mức độ trợ giúp, số mức menu, . . .

- Mẫu chọn phải đủ lớn và đặc trưng (ít nhất là

10).

Với các test phức tạp => cần nhiều biến độc lập.

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 66

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 67

Prepared by MSc Luong manh Ba

9.4.1 Đánh giá thực nghiệm (tiếp)

- Mục đích của thực nghiệm là chỉ ra rằng các dự đoán là

chính xác. Người ta thường dùng các số đo thống kê để

so sánh với các các mức độ có nghĩa khác nhau

Thí dụ: đưa ra 2 sơ đồ kiểm tra để đánh giá việc

chọn 1 đoạn VB trong mét hệ STVB: định vị,

chọn, mở rộng => trên cơ sở đó đánh giá.

- Biến phụ thuộc: là các biến có thể đo đếm được

theo nhiều cách. Thí dụ tốc độ lựa chọn menu

d)Thiết kế thực nghiệm

- Để tạo ra kết quả tin cậy được và có tính khái quát,

một thực nghiệm phải được thiết kế cẩn thận

c) Giả thiết

- Qui trình:

- Giả thiết là một số dự đoán kết quả của thực

nghiệm được hình thành từ biÕn độc lập và

biến phụ thuộc: thí dụ như thay đổi giá trị biến

độc lập sẽ tạo nên sự thay đổi trong biến độc

lập.

1- xem xét các yếu tố mà thực nghiệm phải xem xét như

chủ đề, biến và giả thiết

2- Lựa chọn phương pháp: giữa các nhóm và trong nội

bộ nhóm

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 68

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 69

Prepared by MSc Luong manh Ba

Thiết kế thực nghiệm (tiếp)

Thiết kế thực nghiệm(tiếp)

Phương pháp trong nhóm (within group):

Phương pháp giữa các nhóm (random):

- Mỗi ND sẽ thực hiện trong điều kiện khác nhau. Thiết

kế này có thể phải chịu đựng từ việc truyền tác động

học. Tuy nhiên có thể hạn chế được nếu thứ tự trong đó

điều kiện được ND xem xét bị thay đổi.

- Ưu điểm: chi phí thấp do cần ít ND và sẽ hiệu quả nếu có

đào tạo.

Việc lựa chọn phương pháp phụ thuộc vào tài nguyên,

chủ đề tiêu biểu,. . .

Các test khác nhau sẽ tạo nên các khẳng định khác

nhau về dữ liệu và nếu như test lựa chọn không đúng,

thì kết quả có thể không hợp lý.

- Mỗi một chủ đề được gán cho một điều kiện khác nhau.

Phải có ít nhất 2 điều kiện: điều kiện thực nghiệm (các

biến được điều khiển) và điều kiện kiểm tra. Việc kiểm

tra này dùng để khẳng định rằng điều khiển sẽ chịu

trách nhiệm về những cái khác nhau sẽ được đo đếm.

- Số lượng nhóm (>=2) phụ thuộc số lượng biến độc lập

- Ưu điểm: tác động của việc học thu được từ kết quả thực

hiện của ND trong 1 đ/k. Mỗi ND thực hiện trong 1 đ/k

- Nhược điểm: đòi hỏi nhiều chủ đề => sự khác nhau giữa

các nhóm có thể phủ nhận bất cứ kết quả nào.

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 70

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 71

7

Biªn so¹n: L-¬ng M¹nh B¸

Prepared by MSc Luong manh Ba

Số đo thống kê

Số đo thống kê (tiếp)

- Các biến có thể là loại rời rạc hay liên tục. Biến

rời rạc chỉ có thể nhận một tập hữu hạn các giá

trị hay mức độ, thí dụ như màu màn hình: đỏ,

xanh, trắng,... Biến liên tục có thể nhận vô số

giá trị, thí dụ như thời gian hoàn thành nhiệm

vụ. Biến liên tục có thể chuyển về rời rạc bằng

cách phân lớp (thấp, trung bình, cao,...)

Hai luật cho phân tích thống kê là Quan sát và

Lưu trữ dữ liệu:

- Quan sát: dễ dàng thực hiện kiểm tra thống kê

qua đồ thị, lưu đồ hoặc bảng giá trị

- Lưu trữ: quan trọng cho các phương pháp

phân tích về sau

- Việc lựa chọn phương pháp phân tích thống kê

phụ thuộc vào kiểu dữ liệu và câu hỏi mà

chúng ta muốn trả lời.

- Biến phụ thuộc là biến đo được và tuỳ thuộc

vào các biến thể của thực nghiệm ngẫu nhiên.

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 72

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 73

Prepared by MSc Luong manh Ba

Số đo thống kê (tiếp)

- Trong trường hợp biến liên tục và dữ liệu tuân

theo một phân bố đã biết, một số test thống kê

đặc biệt có thể sử dụng. Các test như thế gọi là

test có tham số và phân bố hay được dùng là

phân bố chuẩn. Điều này có nghĩa là khi ta vẽ

biểu đồ của sai số ngẫu nhiên, ta sẽ thu được

dạng hình chuông nổi tiếng.

Sác xuất mà

sai số >1.96

Lược đồ của phân bố

chuẩn

Chi tiết xem [2] từ trang 420 đến 423

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 74

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 75

Prepared by MSc Luong manh Ba

9.4.2 Kỹ thuật quan sát

Think aloud

- Kỹ thuật nhằm mô tả cái ND tin sẽ xảy ra, tại

sao lại hành động như vậy và họ sẽ cố làm cái

gì?

- Ưu điểm của kỹ thuật này là đơn giản, đòi hỏi

ít tri thức để thực hiện và cho sự hiểu thấu đáo

về các vấn đề với mét giao tiếp => hệ thống

đang được sử dụng thế nào.

- Kỹ thuật không hình thức, có thể quan sát

hay dùng video

- Quan sát trực tiếp: quan sát ND ở trạng thái

đang làm việc => hiệu quả, thời gian. Nhược

điểm: ND có thể mất tập trung

- Quan sát gián tiếp: quay video => phân tích

kết quả thu nhận được.

- Thông tin thường là chủ quan và có chọn lọc

- Hay sử dụng kỹ thuật “think aloud” và đánh

giá tập thể (cooperative evaluation)

- Mỗi hành động miêu tả cái mà bạn sẽ làm

thường thay đổi theo cách bạn làm

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 76

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 77

8

Biªn so¹n: L-¬ng M¹nh B¸

Prepared by MSc Luong manh Ba

Đánh giá tập thể

Thể thức phân tích

- Là một biến thể của think aloud, trong đó ND cố gắng

xem mình như một thành viên trong quá trình đánh giá

chứ không đơn thuần là chủ thể bị thực nghiệm.

Có nhiều cách ghi lại hành động ND:

i) Bút và giấy

ii) Ghi âm

iii) Ghi hình

iv) Nhật ký máy tính

v) Sổ tay ND

Thường sử dụng phối hợp các phương pháp.

- Khi bắt đầu tiến hành, người đánh giá có thể hỏi ND

các câu hỏi như: tại sao, cái gì nếu...

- Ưu điểm:

+ Qui trình là ít bị ràng buộc và dễ học bởi người

đánh giá

+ ND cố gắng phê phán HT

+ Người đánh giá có thể chỉ rõ điểm nhầm lẫn ở

thời điểm xẩy ra và cực đại háo hiệu quả.

Sử dụng các công cụ ghi tự động: Experimental

Video Annotator, WorkPlace project,...

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 78

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 79

Prepared by MSc Luong manh Ba

9.4.3 Kỹ thuật hỏi đáp

9.4.3 Kỹ thuật hỏi đáp (tiếp)

- Kỹ thuật phỏng vấn: có cấu trúc, mềm dẻo

- Thí dụ

=> cần xác định một số thông số như số câu hỏi,

các gợi ý.

- Hỏi và giám sát : dùng câu hỏi dạng đóng hay

dạng mở. Câu hỏi đóng có thể dùng như dạng

Multichoice; câu hỏi mở phải có gợi ý.

Bạn có thể sử dụng các lệnh của hệ STVN?

Yes No Don’t know

Duplicate

Paste

- Các dạng trả lời có thể dùng bảng, mẫu điền.

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 80

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 81

Prepared by MSc Luong manh Ba

9.5. Lựa chọn phương pháp đánh giá

8.5. Lựa chọn phương pháp đánh giá

các yếu tố phân biệt

 Tiêu chí

 Các yÕu tố phân biÖt các kỹ thuật đánh giá

- Phụ thuộc sự tham gia của ND trong ngữ

cảnh thực hiện nhiệm vụ hay đánh giá. Mỗi

phương pháp có những ưu điểm và nhược điểm

riêng.

- Có nhiều yếu tố cần phải xem xét khi lựa

chọn các kỹ thuật đánh giá

- Giai đoạn trong vòng đời mà đánh giá thực

hiện

- Hình thức đánh giá

- Mức độ chủ quan hay khách quan của kỹ

thuật

- Kiểu số đo cung cấp

- Thông tin cung cấp

- Mức độ đan xen

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 82

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 83

9

Biªn so¹n: L-¬ng M¹nh B¸

Prepared by MSc Luong manh Ba

Các yếu tố phân biệt các kỹ thuật

8.5. Lựa chọn phương pháp đánh giá

đánh giá (tiếp)

8.5. Lựa chọn phương pháp đánh giá

đánh giá (tiếp)

- Tài nguyên yêu cầu

ii)Phòng TN ngược với thực nghiệm

- Đánh giá trong PTN cho phép kiểm tra thực nghiệm

và quan sát không có mặt ND, không tự nhiên

- Đánh giá Thùc NghiÖm khắc phục điểm yếu trên.

- Lý tưởng là tiến hành cả 2 kiểu trong giai đoạn TK

iii)Khách quan ngược với chủ quan

- Nhiều kỹ thuật mang tính chủ quan như

Walkthrough hay think aloud dựa vào tri thức và kinh

nghiệm của các nhà đánh giá- người phải nhận thức

được và phải hiểu cái ND sẽ làm.

i) Đáh giá ngược với cài đặt

- Trong giai đoạn cài đặt các yếu tố vật lý đã

tồn tại thí dụ như các bản mock-up cho việc cài

đặt đầy đủ và có cái gì đó cụ thể có thể kiểm tra

được

- Đánh giá trong giai đoạn thiết kế có khuynh

hướng chỉ liên quan đến các chuyên gia và

mang tính phân tích, trong khi đó đánh giá cài

đặt xem xét ND như là chủ thể và là thực ghiệm

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 84

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 85

Prepared by MSc Luong manh Ba

Các yếu tố phân biệt các kỹ thuật

8.5. Lựa chọn phương pháp đánh giá

đánh giá (tiếp)

iv)Định lượng ngược với định tính

- Kiểu số đo cung cấp bởi các kỹ thuật đánh giá là một

yếu tố quan trọng

- Hai loại số đo: định tính và định lượng. Số đo định

lượng thường là số và dễ phân tích khi dùng các kỹ

thuật như thống kê; số đo định tính là phi số và khó

phân tích nhưng có thể cung cấp các chi tiết quan trọng

mà không thể xác định bằng số.

- Có thể ánh xạ giữa 2 kiểu số đo, thí dụ như

đánh giá kiểu hỏi đáp là định tính, song định

lượng theo tỉ lệ.

v)Thông tin cung cấp

- Mức độ thông tin yêu cầu cho đánh giá là khá

đa dạng

vi) Đáp ứng tức thời

- Định lượng hay định tính có liên quan đến tính chủ

quan hoặc khách quan của kỹ thuật

- Một số kỹ thuật như Think aloud ghi lại hành

vi của ND tại thời điểm tương tác. Một số kỹ

thuật khác như Walkthrough lại liên quan đến

tập sự kiện của ND.

- Kỹ thuật chủ quan có khuynh hướng cung cấp số đo

định tính; kỹ thuật khách quan cung cấp các số đo định

lượng.Thông tin cung cấp.

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 86

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 87

Prepared by MSc Luong manh Ba

Các yếu tố phân biệt các kỹ thuật

đánh giá (tiếp)

vii) Tính xâm phạm

Phân loại các kỹ thuật đánh giá

(kỹ thuật phân tích)

8.5. Lựa chọn phương pháp đánh giá

Congitive

Heuristic

Review

Based

Model Based

Walkthrough Evaluation

- Một số kỹ thuật đặc biệt là các kỹ thuật cung

cấp số đo trực tiếp có ảnh hưởng đến cách thức

ứng xử của ND

viii)Tài nguyên

- Thiết bị, thời gian, tiền bạc, kinh nghiệm

chuyên gia, ngữ cảnh

- Một số quyết định bị bắt buộc do hạn chế về

tài nguyên thí dụ như phải dùng camera để

đánh giá song lại không có.

Giai ®o¹n Toµn bé

H×nh thøc PTN

Môc ®Ých Kh«ng

Toµn bé

PTN

Kh«ng

§Þnh tÝnh

ThiÕt kÕ

PTN

ThiÕt kÕ

PTN

Nh- TN

Kh«ng

TB-thÊp

ThÊp

Kh«ng

§Þnh tÝnh

M/ ®é thÊp

Nh- TN

Kh«ng

TB

Sè ®o

§Þnh tÝnh

Th«ng tin M/ ®é thÊp M/ ®é cao

Trùc tiÕp N/A

TÝnhGß bã Kh«ng

Thêi gian TB

N/A

Kh«ng

ThÊp

TB

ThiÕt bÞ

Hµn l©m

ThÊp

Cao

ThÊp

Cao

ThÊp

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 88

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 89

10

Biªn so¹n: L-¬ng M¹nh B¸

Prepared by MSc Luong manh Ba

Phân loại các kỹ thuật đánh giá

(kỹ thuật TN và hỏi đáp)

Phân loại các kỹ thuật đánh giá

(kỹ thuật phân tích)

Post-Task

Thùc nghiÖm Pháng vÊn

Hái ®¸p

Suy nghÜ chñ ThÓ thøc

Walkthrough

yÕu

ph©n tÝch

Cµi ®Æt

Giai ®o¹n

H×nh thøc

Môc ®Ých

Sè ®o

Toµn bé

PTN

Cã

Toµn bé

PTN/TN

Kh«ng

§Þnh tÝnh/

§Þnh l-îng

Toµn bé

PTN/TN

Kh«ng

§Þnh tÝnh/

§Þnh l-îng

Giai ®o¹n

H×nh thøc

Môc ®Ých

Sè ®o

Cµi ®Æt

PTN/TN

Kh«ng

§Þnh tÝnh

Cµi ®Æt

PTN/TN

Kh«ng

PTN/TN

Kh«ng

§Þnh tÝnh

Th«ng tin

Trùc tiÕp

TÝnhGß bã Cã

Thêi gian

ThiÕt bÞ

M. ®é

M/ ®é cao

Th«ng tin

M/ ®é thÊp

thÊp/cao

hoÆc cao

Cã

Kh«ng

ThÊp

Kh«ng

TB-thÊp

ThÊp

Trùc tiÕp

TÝnhGß bã Cã

Thêi gian

ThiÕt bÞ

Cã

Cao

Kh«ng

TB

Cao

TB

Cao

ThÊp

TB

ThÊp

Hµn l©m

ThÊp

Hµn l©m

TB

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 90

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 91

Prepared by MSc Luong manh Ba

Kết luận

• Đánh giá là phần tích hợp của quá trình thiết

kế và phải tiến hành trong suốt vòng đời thiết

kế tương tác

• Việc đánh giá trong TK nhằm làm giảm chi phí

và lỗi

• Việc lựa chọn một phương pháp đánh giá phụ

thuộc nhiều vào yêu cầu đánh giá.

HUT, Falt. of IT

 Dept. of SE, August-2002

HCI – Three. 92

11

Bài giảng Tương tác người máy - Chương 9: Các kỹ thuật đánh giá - Lương Mạnh Bá