Giáo trình Nguyên lý ngôn ngữ lập trình - Chương IV: Phân tích cú pháp
CHƯƠNG IV
PHÂN TÍCH CÚ PHÁP
Nội dung chính:
Mỗi ngôn ngữ lập trình đều có các quy tắc diễn tả cấu trúc cú pháp của các chương
trình có định dạng đúng. Các cấu trúc cú pháp này được mô tả bởi văn phạm phi ngữ
cảnh. Phần đầu của chương nhắc lại khái niệm văn phạm phi ngữ cảnh, cách tìm một
văn phạm tương đương không còn đệ quy trái và mơ hồ. Phần lớn nội dung của
chương trình bày các phương pháp phân tích cú pháp thường được sử dụng trong các
trình biên dịch: Phân tích cú pháp từ trên xuống (Top down) và Phân tích cú pháp từ
dưới lên (Bottom up). Các chương trình nguồn có thể chứa các lỗi cú pháp. Trong quá
trình phân tích cú pháp chương trình nguồn, sẽ rất bất tiện nếu chương trình dừng và
thông báo lỗi khi gặp lỗi đầu tiên. Vì thế cần phải có kỹ thuật để vượt qua các lỗi cú
pháp để tiếp tục quá trình dịch - Các kỹ thuật phục hồi lỗi. Từ văn phạm đặc tả ngôn
ngữ lập trình và lựa chọn phương pháp phân tích cú pháp phù hợp, sinh viên có thể tự
mình xây dựng một bộ phân tích cú pháp. Phần còn lại của chương giới thiệu công cụ
Yacc. Sinh viên có thể sử dụng công cụ này để tạo bộ phân tích cú pháp thay vì phải tự
cài đặt. Mô tả chi tiết về Yacc được tìm thấy ở phần phụ lục B.
Mục tiêu cần đạt:
Sau khi học xong chương này, sinh viên phải nắm được:
• Các phương pháp phân tích cú pháp và các chiến lược phục hồi lỗi.
• Cách tự cài đặt một bộ phân tích cú pháp từ một văn phạm phi ngữ cảnh xác
định.
• Cách sử dụng công cụ Yacc để sinh ra bộ phân tích cú pháp.
Kiến thức cơ bản:
Sinh viên phải có các kiến thức về:
• Văn phạm phi ngữ cảnh (Context Free Grammar – CFG), Automat đẩy xuống
(Pushdown Automata – PDA).
• Cách biến đổi từ một CFG về một PDA.
Tài liệu tham khảo:
[1] Automata and Formal Language. An Introduction – Dean Kelley – Prentice
Hall, Englewood Cliffs, New Jersey 07632.
[2] Compilers : Principles, Technique and Tools - Alfred V.Aho, Jeffrey
D.Ullman - Addison - Wesley Publishing Company, 1986.
[3] Compiler Design – Reinhard Wilhelm, Dieter Maurer - Addison - Wesley
Publishing Company, 1996.
[4] Design of Compilers : Techniques of Programming Language Translation
- Karen A. Lemone - CRC Press, Inc, 1992.
[5] Modern Compiler Implementation in C - Andrew W. Appel - Cambridge
University Press, 1997.
65
I. VAI TRÒ CỦA BỘ PHÂN TÍCH CÚ PHÁP
1. Vai trò của bộ phân tích cú pháp
Bộ phân tích cú pháp nhận chuỗi các token từ bộ phân tích từ vựng và xác nhận
rằng chuỗi này có thể được sinh ra từ văn phạm của ngôn ngữ nguồn bằng cách tạo ra
cây phân tích cú pháp cho chuỗi. Bộ phân tích cú pháp cũng có cơ chế ghi nhận các lỗi
cú pháp theo một phương thức linh hoạt và có khả năng phục hồi được các lỗi thường
gặp để có thể tiếp tục xử lý phần còn lại của chuỗi nhập.
token
Biểu diễn
trung gian
Cây
phân tích
cú pháp
Bộ
Phần
còn lại
của front
end
Bộ phân
tích cú
pháp
Chương
trình
nguồn
phân
tích từ
vựng
Lấy token
tiếp
Bảng ký hiệu
Hình 4.1 - Vị trí của bộ phân tích cú pháp trong mô hình trình biên dịch
2. Xử lý lỗi cú pháp
Chương trình nguồn có thể chứa các lỗi ở nhiều mức độ khác nhau:
- Lỗi từ vựng như danh biểu, từ khóa, toán tử viết không đúng.
- Lỗi cú pháp như ghi một biểu thức toán học với các dấu ngoặc đóng và mở
không cân bằng.
- Lỗi ngữ nghĩa như một toán tử áp dụng vào một toán hạng không tương thích.
- Lỗi logic như thực hiện một lời gọi đệ qui không thể kết thúc.
Phần lớn việc phát hiện và phục hồi lỗi trong một trình biện dịch tập trung vào giai
đọan phân tích cú pháp. Vì thế, bộ xử lý lỗi (error handler) trong quá trình phân tích cú
pháp phải đạt mục đích sau:
Ghi nhận và thông báo lỗi một cách rõ ràng và chính xác.
Phục hồi lỗi một cách nhanh chóng để có thể xác định các lỗi tiếp theo.
Không làm chậm tiến trình của một chương trình đúng.
3. Các chiến lược phục hồi lỗi
Phục hồi lỗi là kỹ thuật vượt qua các lỗi để tiếp tục quá trình dịch. Nhiều chiến
lược phục hồi lỗi có thể dùng trong bộ phân tích cú pháp. Mặc dù không có chiến lược
nào được chấp nhận hoàn toàn, nhưng một số trong chúng đã được áp dụng rộng rãi. Ở
đây, chúng ta giới thiệu một số chiến lược :
a. Phương thức "hoảng sợ" (panic mode recovery): Ðây là phương pháp đơn
giản nhất cho cài đặt và có thể dùng cho hầu hết các phương pháp phân tích. Khi một
66
lỗi được phát hiện thì bộ phân tích cú pháp bỏ qua từng ký hiệu một cho đến khi tìm
thấy một tập hợp được chỉ định của các token đồng bộ (synchronizing tokens), các
token đồng bộ thường là dấu chấm phẩy (;) hoặc end.
b. Chiến lược mức ngữ đoạn (phrase_level recovery): Khi phát hiện một lỗi, bộ
phân tích cú pháp có thể thực hiện sự hiệu chỉnh cục bộ trên phần còn lại của dòng
nhập. Cụ thể là thay thế phần đầu còn lại bằng một chuỗi ký tự có thể tiếp tục. Chẳng
hạn, dấu phẩy (,) bởi dấu chấm phẩy (;), xóa một dấu phẩy lạ hoặc thêm vào một dấu
chấm phẩy.
c. Chiến lược dùng các luật sinh sửa lỗi (error production): Thêm vào văn phạm
của ngôn ngữ những luật sinh lỗi và sử dụng văn phạm này để xây dựng bộ phân tích
cú pháp, chúng ta có thể sinh ra bộ đoán lỗi thích hợp để chỉ ra cấu trúc lỗi được nhận
biết trong dòng nhập.
d. Chiến lược hiệu chỉnh toàn cục (global correction): Một cách lý tưởng là trình
biên dịch tạo ra một số thay đổi trong khi xử lý một lỗi. Có những giải thuật để lựa
chọn một số tối thiểu các thay đổi để đạt được một hiệu chỉnh có chi phí toàn cục nhỏ
nhất. Cho một chuỗi nhập có lỗi x và một văn phạm G, các giải thuật này sẽ tìm được
một cây phân tích cú pháp cho chuỗi y mà số lượng các thao tác chèn, xóa và thay đổi
token cần thiết để chuyển x thành y là nhỏ nhất. Nói chung, hiện nay kỹ thuật này vẫn
còn ở dạng nghiên cứu lý thuyết.
II. BIẾN ÐỔI VĂN PHẠM PHI NGỮ CẢNH
Nhiều ngôn ngữ lập trình có cấu trúc đệ quy mà nó có thể được định nghĩa bằng
các văn phạm phi ngữ cảnh (context-free grammar) G với 4 thành phần G (V, T, P, S),
trong đó:
• V : là tập hữu hạn các ký hiệu chưa kết thúc hay các biến (variables)
• T : là tập hữu hạn các ký hiệu kết thúc (terminals).
• P : là tập luật sinh của văn phạm (productions).
• S ∈ V: là ký hiệu bắt đầu của văn phạm (start symbol).
Ví dụ 4.1: Văn phạm với các luật sinh sau cho phép định nghĩa các biểu thức số
học đơn giản (với E là một biểu thức expression) :
E → E A E ⏐ (E) ⏐ - E ⏐ id
A → + ⏐ - ⏐ * ⏐ / ⏐ ↑
1. Cây phân tích cú pháp và dẫn xuất
Cây phân tích cú pháp có thể được xem như một dạng biểu diễn hình ảnh của một
dẫn xuất. Ta nói rằng αAβ dẫn xuất ra αγβ (ký hiệu: αAβ ⇒ αγβ) nếu A → γ là một
luật sinh, α và β là các chuỗi tùy ý các ký hiệu văn phạm.
Nếu α1 ⇒ α2 ⇒ .. .. ⇒ αn ta nói α1 dẫn xuất ra (suy ra) αn
Ký hiệu
⇒ : dẫn xuất ra qua 1 bước
⇒* : dẫn xuất ra qua 0 hoặc nhiều bước.
67
⇒ + : dẫn xuất ra qua 1 hoặc nhiều bước.
Ta có tính chất:
1. α ⇒* α với ∀α
2. α ⇒* β và β ⇒* γ thì α ⇒* γ
Cho một văn phạm G với ký hiệu bắt đầu S. Ta dùng quan hệ ⇒+ để định nghĩa
L(G) một ngôn ngữ được sinh ra bởi G. Chuỗi trong L(G) có thể chỉ chứa một ký
hiệu kết thúc của G. Chuỗi các ký hiệu kết thúc w thuộc L(G) nếu và chỉ nếu S ⇒+ w,
chuỗi w được gọi là một câu của G. Một ngôn ngữ được sinh ra bởi một văn phạm gọi
là ngôn ngữ phi ngữ cảnh. Nếu hai văn phạm cùng sinh ra cùng một ngôn ngữ thì
chúng được gọi là hai văn phạm tương đương.
Nếu S ⇒* α, trong đó α có thể chứa một ký hiệu chưa kết thúc thì ta nói rằng α là
một dạng câu (sentential form) của G. Một câu là một dạng câu có chứa toàn các ký
hiệu kết thúc.
Một cây phân tích cú pháp có thể xem như một biểu diễn đồ thị cho một dẫn xuất.
Ðể hiểu được bộ phân tích cú pháp làm việc ta cần xét dẫn xuất trong đó chỉ có ký
hiệu chưa kết thúc trái nhất trong bất kỳ dạng câu nào được thay thế tại mỗi bước, dẫn
xuất như vậy được gọi là trái nhất. Nếu α ⇒ β trong đó ký hiệu chưa kết thúc trái nhất
trong α được thay thế, ta viết α ⇒* lm β
Nếu S ⇒* lm α ta nói α là dạng câu trái của văn phạm.
Tương tự, ta có dẫn xuất phải nhất - còn gọi là dẫn xuất chính tắc (canonical
derivations)
Ví dụ 4.2: Cây phân tích cú pháp cho chuỗi nhập : - (id + id) sinh từ văn phạm
trong ví dụ 4.1
E
-
E
(
E
+
)
E
E
id
id
Hình 4.2 - Minh họa một cây phân tích cú pháp
Ðể thấy mối quan hệ giữa cây phân tích cú pháp và dẫn xuất, ta xét một dẫn xuất :
α1 ⇒ α2⇒ .. .. ⇒ αn trong đó αi là một ký hiệu chưa kết thúc A.
Với mỗi αi ta xây dựng một cây phân tích cú pháp. Ví dụ với dẫn xuất:
E ⇒ -E ⇒ - (E) ⇒ - (E + E) ⇒ - (id + E) ⇒ - (id + id)
Ta có quá trình xây dựng cây phân tích cú pháp như sau :
68
E
E
E
E ⇒
⇒
⇒
-
E
_
E
-
E
E
(
)
(
E
)
E
E
+
E
E
⇒
_
⇒
E
E
-
(
E
)
(
E
)
E
+
E
E
+
E
id
id
id
Hình 4.3 - Xây dựng cây phân tích cú pháp từ dẫn xuất
2. Loại bỏ sự mơ hồ
Một văn phạm tạo ra nhiều hơn một cây phân tích cú pháp cho cùng một chuỗi
nhập được gọi là văn phạm mơ hồ. Nếu một văn phạm là mơ hồ, ta không thể xác định
được cây phân tích cú pháp nào sẽ được chọn. Vì thế, ta phải viết lại một văn phạm
nhằm tránh sự mơ hồ của nó. Một ví dụ, chúng ta sẽ loại bỏ sự mơ hồ trong văn phạm
sau :
Stmt → if expr then stmt
⏐ if expr then stmt else stmt
⏐ other
Ðây là một văn phạm mơ hồ vì câu nhập if E1 then if E2 then S1 else S2 sẽ có hai
cây phân tích cú pháp :
Stmt
then
if
if
expr
E1
Stmt
elsem
expr
E2
then
Stmt
S1
Stmt
S2
69
Stmt
expr
E1
elsem
then
if
then
if
Stmt
Stmt
S2
expr
E2
Stmt
S1
Hình 4.4 - Hai cây phân tích cú pháp cho một câu nhập
Ðể tránh sự mơ hồ này ta đưa ra nguyên tắc "Khớp mỗi else với một then chưa
khớp gần nhất trước đó". Với qui tắc này, ta viết lại văn phạm trên như sau :
Stmt
→ matched_stmt | unmatched_stmt
matched_stmt → if expr then matched_stmt else matched_stmt
⏐ other
unmatched_stmt → if expr then Stmt
⏐ if expr then matched_stmt else unmatched_stmt
Văn phạm tương đương này sinh ra tập chuỗi giống như văn phạm mơ hồ trên,
nhưng nó chỉ có một cách dẫn xuất ra cây phân tích cú pháp cho từng chuỗi nhập.
3. Loại bỏ đệ qui trái
Một văn phạm là đệ qui trái (left recursive) nếu nó có một ký hiệu chưa kết thúc A
sao cho có một dẫn xuất A ⇒+ Aα, với α là một chuỗi nào đó. Các phương pháp phân
tích từ trên xuống không thể nào xử lý văn phạm đệ qui trái, do đó cần phải dùng một
cơ chế biến đổi tương đương để loại bỏ các đệ qui trái.
Ðệ qui trái có hai loại :
Loại trực tiếp: Dạng A → Aα
Loại gián tiếp: A ⇒i Aα với i ≥ 2
Xét văn phạm như sau:
S → Aa | b
A→ Ac | Sd | ε
Biến S cũng là biến đệ qui trái vì S ⇒ Aa ⇒ Sda, nhưng đây không phải là đệ qui
trái trực tiếp.
. Với đệ qui trái trực tiếp: Luật sinh có dạng:
A → Aα1 | Aα2 | ... | Aαm | β1 | β2 | ... | βn
Sẽ thay thế bởi :
A → β1A’ | β2A’ | ... | βnA’
A' → α1A'| α2A' | ... | αm A' | ε
. Với đệ qui trái gián tiếp (và nói chung là đệ qui trái, ta sử dụng giải thuật sau)
70
Giải thuật 4.1: Loại bỏ đệ qui trái
Input: Văn phạm không tuần hoàn và không có các luật sinh ε (nghĩa là văn phạm
không chứa các dạng A ⇒ +A và A→ ε)
Output: Văn phạm tương đương không đệ qui trái
Phương pháp:
1. Sắp xếp các ký hiệu không kết thúc theo thứ tự A1, A2, ..., An
2. For i:=1 to n do
Begin
for j:=1 to i -1 do
begin
Thay luật sinh dạng Ai → Ajγ bởi luật sinh Ai→ δ1γ | δ2γ | ... | δkγ
trong đó Aj → δ1 | δ2 | ... | δk là tất cả các Ai luật sinh hiện tại;
end;
Loại bỏ đệ qui trái trực tiếp trong số các Ai luật sinh;
End;
Ví dụ 4.3: Áp dụng thuật toán trên cho văn phạm ví dụ trên. Về lý thuyết, thuật
toán 4.1 không bảo đảm sẽ hoạt động được trong trường hợp văn phạm có chứa các
luật sinh ε, nhưng trong trường hợp này luật sinh A → ε rõ ràng là "vô hại".
1. Sắp xếp các ký hiệu chưa kết thúc theo thứ tự S, A.
2. Với i = 1, không có đệ qui trái trực tiếp nên không có điều gì xảy ra.
Với i = 2, thay các S - luật sinh vào A → Sd được: A→ Ac | Aad | bd | ε
Loại bỏ đệ qui trái trực tiếp cho các A luật sinh, ta được :
S→ Aa | b
A→ bdA'
A'→ cA' | adA | ε
4. Tạo ra yếu tố trái
Tạo ra yếu tố trái (left factoring) là một phép biến đổi văn phạm rất có ích để có
được một văn phạm thuận tiện cho việc phân tích dự đoán. Ý tưởng cơ bản là khi
không rõ luật sinh nào trong hai luật sinh khả triển có thể dùng để khai triển một ký
hiệu chưa kết thúc A, chúng ta có thể viết lại các A - luật sinh nhằm "hoãn" lại việc
quyết định cho đến khi thấy đủ nguyên liệu cho một lựa chọn đúng.
Xét văn phạm cho câu lệnh if:
stmt → if expr then stmt else stmt
| if expr then stmt
71
Khi gặp token if, chúng ta không thể quyết định ngay cần chọn luật sinh nào để
triển khai cho stmt. Ðể giải quyết vấn đề này, một cách tổng quát, khi có luật sinh
dạng A → αβ1 | αβ2, ta biến đổi luật sinh thành dạng :
A → αA'
A'→ β1 | β2
Giải thuật 4.2 : Tạo yếu tố trái cho văn phạm
Input: Văn phạm G
Output: Văn phạm tương đương với yếu tố trái.
Phương pháp:
Với mỗi ký hiệu chưa kết thúc A, có các ký hiệu dẫn đầu các vế phải giống nhau, ta
tìm một chuỗi α là chuỗi có độ dài lớn nhất chung cho tất cả các vế phải (α là yếu tố
trái). Giả sử A → αβ1 | αβ2 | ... | αβn | γ, trong đó γ không có chuỗi dẫn đầu chung với
các vế phải khác. Ta biến đổi luật sinh thành :
A → αA' | γ
A'→ β1 | β2 | ... | βn
Với A' là ký hiệu chưa kết thúc mới. Áp dụng lặp đi lặp lại phép biến đổi này cho
đến khi không còn hai khả triển nào cho một ký hiệu chưa kết thúc có một tiền tố
chung.
Ví dụ 4.4: Áp dụng thuật toán 4.2 cho văn phạm sau:
S → i E t S | i E t S eS | α
E → b
Ta có văn phạm tương đương có chứa yếu tố trái như sau :
S → i E t S S' | α
S' → eS | ε
E → b
III. PHÂN TÍCH CÚ PHÁP TỪ TRÊN XUỐNG
Trong mục này, chúng ta giới thiệu các ý niệm cơ bản về phương pháp phân tích
cú pháp từ trên xuống (Top Down Parsing) và trình bày một dạng không quay lui
hiệu quả của phương pháp phân tích từ trên xuống, gọi là phương pháp phân tích dự
đoán (predictive parser). Chúng ta định nghĩa một lớp văn phạm LL(1) (viết tắt của
Left-to-right parse, Leftmost-derivation, 1-symbol lockahead ), trong đó phân tích dự
đoán có thể xây dựng một cách tự động.
1. Phân tích cú pháp đệ qui lùi (Recursive Descent Parsing)
Phân tích cú pháp từ trên xuống có thể được xem như một nỗ lực tìm kiếm một dẫn
xuất trái nhất cho chuỗi nhập. Nó cũng có thể xem như một nỗ lực xây dựng cây phân
tích cú pháp bắt đầu từ nút gốc và phát sinh dần xuống lá. Một dạng tổng quát của kỹ
thuật phân tích từ trên xuống, gọi là phân tích cú pháp đệ quy lùi, có thể quay lui để
72
quét lại chuỗi nhập. Tuy nhiên, dạng này thường rất ít gặp. Lý do là với các kết cấu
ngôn ngữ lập trình, chúng ta hiếm khi dùng đến nó.
2. Bộ phân tích cú pháp dự đoán (Predictive Parser)
Trong nhiều trường hợp, bằng cách viết văn phạm một cách cẩn thận, loại bỏ đệ
qui trái ra khỏi văn phạm rồi tạo ra yếu tố trái, chúng ta có thể thu được một văn phạm
mà một bộ phân tích cú pháp đệ quy lùi phân tích được, nhưng không cần quay lui, gọi
là phân tích cú pháp dự đoán.
Xây dựng sơ đồ dịch cho bộ phân tích dự đoán:
Ðể xây dựng sơ đồ dịch cho phương pháp phân tích xuống, trước hết loại bỏ đệ
qui trái, tạo yếu tố trái cho văn phạm. Sau đó thực hiện các bước sau cho mỗi ký hiệu
chưa kết thúc A :
1. Tạo một trạng thái khởi đầu và một trạng thái kết thúc.
2. Với mỗi luật sinh A → X1X2 ... Xn , tạo một đường đi từ trạng thái khởi đầu
đến trạng thái kết thúc bằng các cạnh có nhãn X1X2 ... Xn
Một cách cụ thể, sơ đồ dịch được vẽ theo các nguyên tắc sau:
1. Mỗi ký hiệu chưa kết thúc tương ứng với một sơ đồ dịch trong đó nhãn
cho các cạnh là token hoặc ký hiệu chưa kết thúc.
2. Mỗi token tương ứng với việc đoán nhận token đó và đọc token kế tiếp
x
3. Mỗi ký hiệu chưa kết thúc tương ứng với lời gọi thủ tục cho ký hiệu đó.
A
4. Mỗi luật sinh có dạng A → α1 | α2 | ... | αn tương ứng với sơ đồ dịch
α1
α2
αn
5. Mỗi luật sinh dạng A → α1 α2.. .. αn tương ứng với sơ đồ dịch
α
α2
αn
Ví dụ 4.5: Xét văn phạm sinh biểu thức toán học
E → E + T | T
T → T * F | F
73
F → (E) | id
Loại bỏ đệ quy trái trong văn phạm, ta được văn phạm tương đương sau :
E → TE ‘
E’ → + TE’ | ε
T → FT ’
T‘ → * FT ’ | ε
F → (E) | id
Một chương trình phân tích cú pháp dự đoán được thiết kế dựa trên sơ đồ dịch
cho các ký hiệu chưa kết thúc trong văn phạm. Nó sẽ cố gắng so sánh các ký hiệu kết
thúc với chuỗi nguyên liệu và đưa ra lời gọi đệ qui mỗi khi nó phải đi theo một cạnh
có nhãn là ký hiệu chưa kết thúc.
Các sơ đồ dịch tương ứng :
+
E’
T
E’
T
3
4
5
0
1
E’
T’
E
6
2
ε
T
F
T‘
*
)
F
T’
7
8
10
9
11
12
13
ε
(
E
F
14
15
16
17
id
Hình 4.5 - Các sơ đồ dịch cho các ký hiệu văn phạm
Các sơ đồ dịch có thể được đơn giản hóa bằng cách thay sơ đồ này vào sơ đồ
khác, những thay thế này tương tự như những phép biến đổi trên văn phạm.
ε
T
+
+
T
⇒ E' :
⇒ E :
3
3
6
6
4
5
4
6
6
E' :
E:
ε
ε
+
T
T
+
T
ε
0
3
0
3
4
ε
Tương tự ta có:
*
⇒ T:
⇒ F:
(
F
)
F
7
ε
14
15
16
8
17
13
ε
Hình 4.6 - Rút gọn sơ đồ dịch
Phân tích dự đoán không đệ qui
74
Chúng ta có thể xây dựng bộ phân tích dự đoán không đệ qui bằng cách duy trì
tường minh một Stack chứ không phải ngầm định qua các lời gọi đệ quy. Vấn đề chính
trong quá trình phân tích dự đoán là việc xác định luật sinh sẽ được áp dụng cho một
biến ở bước tiếp theo. Một bộ phân tích dự đoán sẽ làm việc theo mô hình sau:
INPUT
a
b
$
+
STACK
Chương trình
OUTPUT
X
Y
Z
phân tích
Bảng phân tích M
Hình 4.7 - Mô hình bộ phân tích cú pháp dự đoán không đệ quy
- INPUT là bộ đệm chứa chuỗi cần phân tích, kết thúc bởi ký hiệu $.
- STACK chứa một chuỗi các ký hiệu văn phạm với ký hiệu $ nằm ở đáy Stack.
- Bảng phân tích M là một mảng hai chiều dạng M[A,a], trong đó A là ký hiệu chưa
kết thúc, a là ký hiệu kết thúc hoặc $.
Bộ phân tích cú pháp được điều khiển bởi chương trình hoạt động như sau: Chương
trình xét ký hiệu X trên đỉnh Stack và ký hiệu nhập hiện hành a. Hai ký hiệu này xác
định hoạt động của bộ phân tích cú pháp như sau:
1. Nếu X = a = $ thì chương trình phân tích cú pháp kết thúc thành công.
2. Nếu X = a ≠ $, Pop X ra khỏi Stack và đọc ký hiệu nhập tiếp theo.
3. Nếu X là ký hiệu chưa kết thúc thì chương trình truy xuất đến phần tử M[X,a] trong
bảng phân tích M:
- Nếu M[X,a] là một luật sinh có dạng X → UVW thì Pop X ra khỏi đỉnh Stack
và Push W, V, U vào Stack (với U trên đỉnh Stack), đồng thời bộ xuất sinh ra
luật sinh X → UVW.
- Nếu M[X,a] = error, gọi chương trình phục hồi lỗi.
Giải thuật 4.3 : Phân tích cú pháp dự đoán không đệ quy.
Input: Chuỗi nhập w và bảng phân tích cú pháp M cho văn phạm G.
Output: Nếu w ∈ L (G), cho ra một dẫn xuất trái của w. Ngược lại, thông báo lỗi.
Phương pháp:
Khởi đầu Stack chứa ký hiệu chưa kết thúc bắt đầu (S) trên đỉnh và bộ đệm chứa
câu nhập dạng w$.
Ðặt con trỏ ip trỏ tới ký hiệu đầu tiên của w$ ;
Repeat
Gọi X là ký hiệu trên đỉnh Stack và a là ký hiệu được trỏ bởi ip ;
75
If X là ký hiệu kết thúc hoặc $ then
If X = a then lấy X ra khỏi Stack và dịch chuyển ip
else error ( )
Else // X là ký hiệu chưa kết thúc
If M[X,a] = X → Y1 Y2 .... Yk then
begin
Lấy X ra khỏi Stack;
Ðẩy Yk ,Yk-1, ... ,Y1 vào Stack;
Xuất ra luật sinh X → Y1 Y2 .... Yk;
end
else error ( )
/* Stack rỗng */
Until
X = $
Ví dụ 4.6: Xét văn phạm đã được khử đệ qui trái sinh biểu thức toán học trong ví
dụ 4.5 :
E → TE’
E’ → + TE’ | ε
T → FT’
T’ → * FT’ | ε
F → (E) | id
Bảng phân tích M của văn phạm được cho như sau : (ô trống tương ứng với lỗi)
Ký hiệu chưa
Ký hiệu nhập
kết thúc
id
+
*
(
)
$
E
E → TE’
E → TE’
E'
T
T'
E → +TE’
T’→ ε
E→ ε
E’→ ε
T’→ ε
T → FT‘
F → id
T → FT’
F → (E)
T’→ *FT’
T’→ ε
F
Hình 4.8 - Bảng phân tích cú pháp M cho văn phạm
Quá trình phân tích cú pháp cho chuỗi nhập: id + id * id được trình bày trong bảng
sau :
STACK
INPUT
OUTPUT
$ E
id + id * id $
id + id * id $
$ E' T
E → T E'
76
$ E' T' F
$ E' T' id
$ E' T'
$ E'
id + id * id $
id + id * id $
+ id * id $
+ id * id $
+ id * id $
id * id $
id * id $
id * id $
* id $
T → F T'
F → id
T' → ε
$ E' T +
$ E' T
E' → + T E'
$ E' T' F
$ E' T' id
$ E' T'
$ E' T' F *
$ E' T' F
$ E' T' id
$ E' T'
$ E'
T → F T'
F → id
* id $
T' → * F T'
F → id
id $
id $
$
T' → ε
E' → ε
$
$
$
Cây phân tích cú pháp được hình thành từ output :
E
E'
T
F
T'
T
E'
+
F
T'
ε
id
ε
F
T'
id
*
id
ε
Nhận xét:
- Mỗi văn phạm có một bảng phân tích M tương ứng.
- Chương trình không cần thay đổi cho các văn phạm khác nhau.
3. Hàm FIRST và FOLLOW
FIRST và FOLLOW là các tập hợp cho phép xây dựng bảng phân tích M và phục
hồi lỗi theo chiến lược panic_mode.
Ðịnh nghĩa FIRST(α): Giả sử α là một chuỗi các ký hiệu văn phạm, FIRST(α) là
tập hợp các ký hiệu kết thúc mà nó bắt đầu một chuỗi dẫn xuất từ α.
77
Nếu α ⇒* ε thì ε ∈ FIRST(α).
Cách tính FIRST(X): Thực hiện các quy luật sau cho đến khi không còn có ký
hiệu kết thúc nào hoặc ε có thể thêm vào tập FIRST(X) :
1. Nếu X là kí hiệu kết thúc thì FIRST(X) là {X}
2. Nếu X → ε là một luật sinh thì thêm ε vào FIRST(X).
3. Nếu X → Y1Y2Y3 ...Yk là một luật sinh thì thêm tất cả các ký hiệu kết thúc khác
ε của FIRST(Y1) vào FIRST(X). Nếu ε ∈ FIRST(Y1) thì tiếp tục thêm vào
FIRST(X) tất cả các ký hiệu kết thúc khác ε của FIRST(Y2). Nếu ε ∈
FIRST(Y1) ∩ FIRST(Y2) thì thêm tất cả các ký hiệu kết thúc khác ε ∈
FIRST(Y3) ... Cuối cùng thêm ε vào FIRST(X) nếu ε ∈ ∩ki=1 FIRST(Yi)
Ví dụ 4.7: Với văn phạm sau:
E → T E'
E' → + T E' | ε
T → F T'
T' → * F T' | ε
F → (E) | id
Theo định nghĩa tập FIRST, ta có :
Vì F ⇒ (E) | id ⇒ FIRST(F) = { (, id }
Từ T → F T' và ε ∉ FIRST(F) ⇒ FIRST(T) = FIRST(F)
Từ E → T E' và ε ∉ FIRST(T) ⇒ FIRST(E) = FIRST(T)
Vì E' → ε ⇒ ε ∈ FIRST(E')
Mặt khác do E' → + TE' mà FIRST(+) = {+} ⇒ FIRST(E') = {+, ε }
Tương tự FIRST(T') = {*, ε }
Vậy ta có :
FIRST(E) = FIRST(T) = FIRST(F) = { (, id }
FIRST(E') = {+, ε }
FIRST(T') = {*, ε }
Ðịnh nghĩa FOLLOW(A): (với A là một ký hiệu chưa kết thúc) là tập hợp các ký
hiệu kết thúc a mà nó xuất hiện ngay sau A (bên phía phải của A) trong một dạng
câu nào đó. Tức là tập hợp các ký hiệu kết thúc a, sao cho tồn tại một dẫn xuất
dạng S ⇒* αAaβ. Chú ý rằng nếu A là ký hiệu phải nhất trong một dạng câu nào
đó thì $ ∈ FOLLOW(A) ($ là ký hiệu kết thúc chuỗi nhập ).
Cách tính FOLLOW(A): Áp dụng các quy tắc sau cho đến khi không thể thêm gì
vào mọi tập FOLLOW được nữa.
1. Ðặt $ vào follow(S), trong đó S là ký hiệu bắt đầu của văn phạm và $ là ký hiệu
kết thúc chuỗi nhập.
78
2. Nếu có một luật sinh A→ αBβ thì thêm mọi phần tử khác ε của FIRST(β)vào
trong FOLLOW(B).
3. Nếu có luật sinh A→ αB hoặc A→ αBβ mà ε ∈ FIRST(β) thì thêm tất cả các
phần tử trong FOLLOW(A) vào FOLLOW(B).
Ví dụ 4.8: Với văn phạm trong ví dụ 4.6 nói trên:
Áp dụng luật 2 cho luật sinh F→ (E) ⇒ ) ∈ FOLLOW(E) ⇒ FOLLOW(E) ={$, ) }
Áp dụng luật 3 cho E → TE' ⇒ ), $ ∈ FOLLOW(E') ⇒ FOLLOW(E') ={$, ) }
Áp dụng luật 2 cho E → TE' ⇒ + ∈ FOLLOW(T).
Áp dụng luật 3 cho E' → +TE' , E' → ε
⇒ FOLLOW(E') ⊂ FOLLOW(T) ⇒ FOLLOW(T) = { +, ), $ }.
Áp dụng luật 3 cho T→ FT' thì FOLLOW(T') = FOLLOW(T) ={+, ), $ }
Áp dụng luật 2 cho T→ FT' ⇒ * ∈ FOLLOW(F)
Áp dụng luật 3 cho T' → * F T' , T'→ ε
⇒ FOLLOW(T') ⊂ FOLLOW(F) ⇒ FOLLOW(F) = {*, +, ), $ }.
Vậy ta có: FOLLOW(E) = FOLLOW(E') = { $, ) }
FOLLOW(T) = FOLLOW(T') = { +, ), $ }
FOLLOW(F) = {*,+, ), $ }
4. Xây dựng bảng phân tích M
Giải thuật 4.4 : Xây dựng bảng phân tích cú pháp dự đoán
Input: Văn phạm G.
Output: Bảng phân tích cú pháp M.
Phương pháp:
1. Với mỗi luật sinh A→ α của văn phạm, thực hiện hai bước 2 và 3.
2. Với mỗi ký hiệu kết thúc a ∈ FIRST(α), thêm A→ α vào M[A,a].
3. Nếu ε ∈ FIRST(α) thì đưa luật sinh A→ α vào M[A,b] với mỗi ký hiệu kết
thúc b ∈ FOLLOW(A). Nếu ε ∈ FIRST(α) và $ ∈ FOLLOW(A) thì đưa luật
sinh A→ α vào M[A,$].
4. Ô còn trống trong bảng tương ứng với lỗi (error).
Ví dụ 4.9: Áp dụng thuật toán trên cho văn phạm trong ví dụ 4.6. Ta thấy:
Luật sinh E → TE' : Tính FIRST(TE') = FIRST(T) = {(,id}
⇒ M[E,id] và M[E,( ] chứa luật sinh E → TE'
Luật sinh E'→ + TE' : Tính FIRST(+TE') = FIRST(+) = {+}
⇒ M[E',+] chứa E' → +TE'
79
Luật sinh E' → ε : Vì ε ∈ FIRST(E') và FOLLOW(E') = { ), $ }
⇒ E → ε nằm trong M[E',)] và M[E',$]
Luật sinh T'→ * FT' : FIRST(* FT') = {* }
⇒ T' → * FT' nằm trong M[T',*]
Luật sinh T' → ε: Vì ε ∈ FIRST(T') và FOLLOW(T') = {+, ), $}
⇒ T' → ε nằm trong M[T', +] , M[T', )] và M[T',$]
Luật sinh F→ (E) ; FIRST((E)) = { ( }
⇒ F → ( E) nằm trong M[F, (]
Luật sinh F → id ; FIRST(id) = {id}
⇒ F → id nằm trong M[F, id]
Bảng phân tích cú pháp M của văn phạm được xây dựng như trong hình 4.8.
5. Văn phạm LL(1)
Giải thuật 4.4 có thể áp dụng cho bất kỳ văn phạm G nào để sinh ra bảng phân tích
M. Tuy nhiên, có những văn phạm (đệ quy trái hoặc mơ hồ) thì trong bảng phân tích
M sẽ có thể có những ô đa trị (có chưá nhiều hơn 1 luật sinh).
Ví dụ 4.10: Xét văn phạm sau:
S → iE t S S' | a
S' → eS | ε
E → b
Bảng phân tích cú pháp M của văn phạm như sau :
Ký hiệu chưa Ký hiệu kết thúc
kết thúc
a
b
e
i
T
$
S→ iEtSS'
S
S→ a
S → ε
S' → eS
S'
E
S'→ε
E→b
Hình 4.9 - Bảng phân tích cú pháp M cho văn phạm ví dụ 4.10
Ðây là một văn phạm mơ hồ và sự mơ hồ này được thể hiện qua việc chọn luật
sinh khi gặp ký hiệu e (else). Ô tại vị trí M [S', e] được gọi là ô đa trị.
Một văn phạm mà bảng phân tích M không có các` ô đa trị được gọi là văn phạm
LL(1) với ý nghĩa như sau :
L: Left-to-right parse (mô tả hành động quét chuỗi nhập từ trái sang phải)
L: Leftmost-derivation (biểu thị việc sinh ra một dẫn xuất trái cho chuỗi nhập)
80
1: 1-symbol lookahead (tại mỗi một bước, đầu đọc chỉ đọc trước được một token
để thực hiện các quyết định phân tích cú pháp)
Văn phạm LL(1) có một số tính chất đặc biệt. Không có văn phạm mơ hồ hay đệ
quy trái nào có thể là LL(1). Người ta đã chứng minh rằng một văn phạm G là LL(1)
nếu và chỉ nếu mỗi khi A → α | β là 2 luật sinh phân biệt của G, các điều kiện sau đây
sẽ đúng:
1. Không có một ký hiệu kết thúc a nào mà cả α và β đều dẫn xuất ra các chuỗi bắt
đầu bằng a.
2. Tối đa chỉ có α hoặc chỉ có β có thể dẫn xuất ra chuỗi rỗng.
3. Nếu β ⇒* ε thì α không dẫn xuất được chuỗi nào bắt đầu bằng một ký hiệu kết
thúc thuộc tập FOLLOW(A).
Rõ ràng văn phạm trong ví dụ 4.5 cho các biểu thức số học là LL(1), nhưng văn
phạm trong ví dụ 4.10 là văn phạm mô hình hóa câu lệnh if - then - else không phải là
LL(1).
Vấn đề đặt ra bây giờ là làm thế nào để giải quyết các ô đa trị? Một phương án khả
thi là biến đổi văn phạm bằng cách loại bỏ mọi đệ quy trái, rồi tạo yếu tố trái khi có thể
được với mong muốn sẽ sinh ra một văn phạm với bảng phân tích cú pháp không chứa
ô đa trị nào. Nhưng cũng có một số văn phạm mà không có cách gì biến đổi thành văn
phạm LL(1). Nói chung, không có quy tắc tổng quát nào để biến một ô đa trị thành ô
đơn trị mà không làm ảnh hưởng đến ngôn ngữ đang được nhận dạng bởi bộ phân tích
cú pháp.
Khó khăn chính khi dùng một bộ phân tích cú pháp dự đoán là việc viết một văn
phạm cho ngôn ngữ nguồn. Việc loại bỏ đệ quy trái và tạo yếu tố trái tuy dễ thực hiện
nhưng chúng biến đổi văn phạm trở thành khó đọc và khó dùng cho các mục đích biên
dịch.
6. Phục hồi lỗi trong phân tích dự đoán
Một lỗi sẽ được tìm thấy trong quá trình phân tích dự đoán khi:
1. Ký hiệu kết thúc trên đỉnh Stack không phù hợp với token kế tiếp trong dòng
nhập. Hoặc :
2. Trên đỉnh Stack là ký hiệu chưa kết thúc A, token trong dòng nhập là a nhưng
M[A,a] rỗng.
Phục hồi lỗi theo phương pháp panic_mode là bỏ qua các ký hiệu trong dòng nhập
cho đến khi gặp một phần tử trong tập hợp các token đồng bộ (synchronizing token).
Tính hiệu quả của phương pháp này tùy thuộc vào cách chọn tập hợp các token
đồng bộ. Một số heuristics có thể là:
1. Ta có thể đưa tất cả các ký hiệu trong FOLLOW(A) vào trong tập hợp token
đồng bộ cho ký hiệu chưa kết thúc A.
2. FOLLOW(A) cũng chưa phải là một tập hợp các token đồng bộ cho A. Ví dụ,
các lệnh của C kết thúc bởi ; (dấu chấm phẩy ). Nếu một lệnh thiếu dấu ; thì
từ khóa của lệnh kế tiếp sẽ bị bỏ qua. Thông thường ngôn ngữ có cấu trúc
81
phân cấp, ví dụ biểu thức nằm trong một lệnh, lệnh nằm trong một khối lệnh,
v.v. Chúng ta có thể thêm vào tập hợp đồng bộ của một cấu trúc những ký
hiệu mà nó bắt đầu cho một cấu trúc cao hơn. Ví dụ, ta có thể thêm các từ
khoá bắt đầu cho các lệnh vào tập đồng bộ cho ký hiệu chưa kết thúc sinh ra
biểu thức.
3. Nếu chúng ta thêm các phần tử của FIRST(A) vào tập đồng bộ cho ký hiệu
chưa kết thúc A thì quá trình phân tích có thể hòa hợp với A nếu một ký hiệu
trong FIRST(A) xuất hiện trong dòng nhập.
Ví dụ 4.11: Sử dụng các ký hiệu kết thúc trong tập FOLLOW làm token đồng bộ
hóa hoạt động khá hữu hiệu khi phân tích cú pháp cho các biểu thức trong văn phạm ví
dụ 4.6.
FOLLOW(E) = FOLLOW(E') = { $, )}
FOLLOW(T) = FOLLOW(T') = { +,$, )}
FOLLOW(F) = {*,+, $, )}
Bảng phân tích M cho văn phạm này được thêm vào các ký hiệu đồng bộ "synch",
lấy từ tập FOLLOW của các ký hiệu chưa kết thúc - xác định các token đồng bộ :
Ký hiệu chưa Ký hiệu kết thúc
kết thúc
id
+
*
(
)
$
E
F
synch
synch
E→TE'
E→TE'
E'
T
E'→ +TE'
synch
E'→ ε
synch
T'→ ε
synch
E'→ ε
synch
T'→ ε
synch
T→ FT'
F→ id
T→ FT'
F→ (E)
T'
T'→ ε
T'→ *FT'
synch
synch
Hình 4.10 - Bảng phân tích cú pháp M phục hồi lỗi
Bảng này được sử dụng như sau:
9 Nếu M[A,a] là rỗng thì bỏ qua token a.
9 Nếu M[A,a] là "synch" thì lấy A ra khỏi Stack nhằm tái hoạt dộng quá trình
phân tích.
9 Nếu một token trên đỉnh Stack không phù hợp với token trong dòng nhập thì
lấy token ra khỏi Stack.
Chẳng hạn, với chuỗi nhập : + id * + id, bộ phân tích cú pháp và cơ chế phục hồi
lỗi thực hiện như sau :
STACK
INPUT
OUTPUT
$ E
+ id * + id $ error, nhảy qua +
$ E
id * + id $
id * + id $
E → T E'
T → F T'
$ E' T
82
$ E' T' F
$ E' T' id
$ E' T'
$ E' T' F *
$ E' T' F
$ E' T'
$ E'
id * + id $
id * + id $
* + id $
* + id $
+ id $
+ id $
+ id $
+ id $
id $
F → id
T' → * F T'
error, M[F,+] = synch pop F
T → ε
E' → + T E'
$ E' T +
$ E' T
T' → F T'
F→ id
$ E' T' F
$ E' T' id
$ E' T'
$ E'
id $
id $
T' → ε
E' → ε
$
$
$
$
IV. PHÂN TÍCH CÚ PHÁP TỪ DƯỚI LÊN
Phần này sẽ giới thiệu một kiểu phân tích cú pháp từ dưới lên tổng quát gọi là
phân tích cú pháp Shift -Reduce. Một dạng dễ cài đặt của nó gọi là phân tích cú
pháp thứ bậc toán tử (Operator - Precedence parsing) cũng sẽ được trình bày và cuối
cùng, một phương pháp tổng quát hơn của kỹ thuật Shift - Reduce là phân tích cú
pháp LR (LR parsing) sẽ được thảo luận.
1. Bộ phân tích cú pháp Shift - Reduce
Phân tích cú pháp Shift - Reduce cố gắng xây dựng một cây phân tích cú pháp cho
chuỗi nhập bắt đầu từ nút lá và đi lên hướng về nút gốc. Ðây có thể xem là quá trình
thu gọn (reduce) một chuỗi w thành một ký hiệu bắt đầu của văn phạm. Tại mỗi bước
thu gọn, một chuỗi con cụ thể đối sánh được với vế phải của một luật sinh nào đó thì
chuỗi con này sẽ được thay thế bởi ký hiệu vế trái của luật sinh đó. Và nếu chuỗi con
được chọn đúng tại mỗi bước, một dẫn xuất phải đảo ngược sẽ được xây dựng.
Ví dụ 4.12: Cho văn phạm:
S → a A B e
A→ A b c | b
B → d
Câu abbcde có thể thu gọn thành S theo các bước sau:
a b b c d e
a A b c d e
a A d e
83
a A B e
S
Thực chất đây là một dẫn xuất phải nhất đảo ngược như sau :
S ⇒ rm aABe ⇒rm aAde ⇒rm aAbcde ⇒rm abbcde
(Dẫn xuất phải nhất là chuỗi các thay thế ký hiệu chưa kết thúc phải nhất)
2. Handle
Handle của một chuỗi là một chuỗi con hợp với vế phải của luật sinh và nếu chúng
ta thu gọn nó thành vế trái của luật sinh đó thì có thể dẫn đến ký hiệu chưa kết thúc bắt
đầu.
Ví dụ 4.13: Xét văn phạm sau:
E → E + E
E → E * E
E → (E)
E→ id
Chuỗi dẫn xuất phải :
E ⇒rm E + E
(các handle được gạch dưới)
⇒rm E + E * E
⇒rm E + E * id3
⇒rm E + id2 * id3
⇒rm id1 + id2 * id3
3. Cắt tỉa handle (Handle Pruning)
Handle pruning là kỹ thuật dùng để tạo ra dẫn xuất phải nhất đảo ngược từ chuỗi ký
hiệu kết thúc w mà chúng ta muốn phân tích.
Nếu w là một câu của văn phạm thì w = γn. Trong đó, γn là dạng câu phải thứ n của
dẫn xuất phải nhất mà chúng ta chưa biết.
S ⇒ γ0 ⇒rm γ1 ⇒rm γ2 .. .. ⇒rmγn-1 ⇒rm γn = w
Ðể xây dựng dẫn xuất này theo thứ tự ngược lại, chúng ta tìm handle βn trong γn và
thay thế βn bởi An (An là vế trái của luật sinh An → βn) để được dạng câu phải thứ n -1
là γn-1. Quy luật trên cứ tiếp tục. Nếu ta có một dạng câu phải γ0 = S thì sự phân tích
thành công.
Ví dụ 4.14: Với văn phạm:
E → E + E | E * E | (E) | id
Và câu nhập: id1 + id2 * id3 , ta có các bước thu gọn câu nhập thành ký hiệu bắt
đầu E như sau :
84
Tải về để xem bản đầy đủ
51 trang
12/01/2024
16080
Free
Bạn đang xem 20 trang mẫu của tài liệu "Giáo trình Nguyên lý ngôn ngữ lập trình - Chương IV: Phân tích cú pháp", để tải tài liệu gốc về máy hãy click vào nút Download ở trên
File đính kèm:
- giao_trinh_nguyen_ly_ngon_ngu_lap_trinh_chuong_iv_phan_tich.pdf
