Khoá học AI Agent · Bài 17

Khi nào agent nói sai và cách bắt lỗi

Mọi bài trước dạy bạn làm được nhiều hơn. Bài này dạy bạn không bị đốt vì cái mình vừa làm được. Nó luôn tự tin, kể cả khi sai.

Thời lượng50 phút
Học xongQuy tắc 3 lớp kiểm
PhầnDùng bền & an toàn
02
02

Tình huống

Bốn mươi câu đúng, một câu sai

Anh Phong gửi giám đốc một báo cáo do agent làm, có biểu đồ, có trích dẫn. Một câu ghi "được trích tối đa 15% quỹ dự phòng". Giám đốc hỏi: "Quy định nào?" Mở nguồn agent dẫn ra — không có con số 15% nào.

Cái giá của một câu

Cả báo cáo có 40 câu đúng và 1 câu sai. Nhưng từ hôm đó, giám đốc đọc mọi thứ anh gửi với một thái độ khác.

03
03

Phần 1 · Sáu dạng sai

Sáu kiểu agent nói sai

01

Bịa dữ kiện, rất tự tin

Không có thông tin nhưng vẫn viết một câu nghe hợp lý. Phổ biến và nguy hiểm nhất.

02

Trích dẫn không khớp

Có nguồn nên bạn tin, nhưng mở ra thì nguồn không nói điều đó. Chuyện của anh Phong.

03

Số hoặc đơn vị sai

Cộng thiếu dòng, lấy sai cột, lẫn triệu với tỷ, đồng với nghìn đồng.

04

Quy định chung áp cho bạn

Nó biết luật chung, không biết nội quy công ty bạn, nên trả lời nghe rất đúng.

05

Suy diễn nguyên nhân

Dữ liệu nói "chi phí tăng 34%", nó viết "do giá nguyên vật liệu" — dữ liệu không nói thế.

06

Đồng ý dù bạn sai

Bạn nói sai, nó hưởng ứng theo. Khó thấy nhất vì nó xác nhận điều bạn vốn tin.

04
04

Phần 1 · Xếp hạng

Dạng nào khó thấy và nguy hiểm nhất

Dạng sai
Dễ phát hiện
Cách phòng chính
1 · Bịa dữ kiện
Khó · nguy hiểm cao
Cho phép nó nói "không biết"
2 · Trích dẫn không khớp
Rất khó · nguy hiểm nhất
Mở ít nhất một nguồn ra kiểm
3 · Số hoặc đơn vị sai
Dễ nếu bạn kiểm
Kiểm tổng, hai cực, đơn vị
4 · Quy định chung
Khó · nguy hiểm cao
Kho tri thức nội bộ, ép nguồn
5 · Suy diễn nguyên nhân
Khó · trung bình
Tách "dữ liệu cho biết" và "suy đoán"
6 · Đồng ý dù bạn sai
Rất khó · trung bình
Hỏi trung tính, bắt phản biện

Có trích dẫn không có nghĩa là trích dẫn đúng.

— Nguyên tắc cốt lõi · Bài 17

06
06

Phần 2 · Quy tắc 3 lớp

Ba lớp kiểm, một lớp không thể giao

01

Kiểm nguồn · 1 phút

Mở phần xem lại các bước: nó tra ở đâu? Nguồn có hợp câu hỏi không? Câu hỏi nội bộ mà nguồn là web thì đã sai.

02

Kiểm số và khẳng định · 3–5 phút

Chọn hai khẳng định quan trọng nhất, mở nguồn đối chiếu. Kiểm tổng, hai cực, đơn vị. Soi mọi câu "theo quy định".

03

Kiểm bằng đầu bạn · 2 phút

Có gì trái điều bạn biết? Có kết luận nào quá thuận điều bạn muốn tin? Người khó tính nhất sẽ hỏi gì — bạn trả lời được không?

07
07

Phần 3 · Mức kiểm

Kiểm theo hậu quả, không theo độ dài

Mức rủi ro
Sản phẩm
Mức kiểm
Thấp
Chỉ bạn đọc: ghi chú, bản nháp, tóm tắt
Đọc qua, không cần kiểm nguồn
Trung bình
Nội bộ đọc: báo cáo tuần, biên bản
Lớp 1 và lớp 3, kiểm số nếu có số
Cao
Gửi ra ngoài, cấp trên ra quyết định
Đủ 3 lớp, kiểm mọi con số
Rất cao
Có tiền, hợp đồng, pháp lý, nhân sự
Đủ 3 lớp và một người thứ hai đọc lại

Chỉ cần một

1câu sai

đủ để đổi cách người ta đọc mọi thứ bạn gửi về sau. Giọng văn của agent không cho bạn tín hiệu nào.

09
09

Phần 4 · Ép bộc lộ

Năm cách bắt agent tự khai chỗ yếu

01

Cho đường nói "không biết"

"Không có dữ liệu thì ghi rõ, đừng suy đoán lấp chỗ."

02

Tách "biết" và "đoán"

Chia rõ (A) dữ liệu cho biết, (B) suy đoán. Đáng giá nhất.

03

Tự chấm độ tin cậy

Đánh dấu chắc chắn / khá chắc / không chắc, gom mục "không chắc".

04

Bắt phản biện chính nó

Đóng vai người khó tính, chỉ 5 chỗ yếu và 5 câu sẽ bị chất vấn.

05

Hỏi lại độc lập

Cuộc trò chuyện mới, câu trung tính. Khác nhau là chỗ không đáng tin.

10
10

Phần 4 · Dán vào yêu cầu

Ba câu nên thuộc lòng

Cho đường nói "không biết": Nếu không có dữ liệu cho phần nào, ghi rõ "không có dữ liệu" ở đúng chỗ. Không suy đoán, không lấy kiến thức chung lấp chỗ trống.
Tách biết và đoán: Tách rõ (A) dữ liệu cho biết(B) tôi suy đoán; mỗi mục B ghi cần dữ liệu gì để xác nhận.
Hỏi trung tính: mức trích tối đa là bao nhiêu, theo quy định nào? — đừng hỏi "có phải 15% không".
11
11

Tự kiểm tra · 3 câu

Kiểm trước khi bạn gửi đi

01Bản báo cáo có trích dẫn đầy đủ ở mọi khẳng định. Bạn tin được tới đâu?

Đúng: B. Trích dẫn không khớp nội dung là dạng sai nguy hiểm nhất, và nó chỉ lộ khi bạn mở nguồn ra. Đọc lại bao nhiêu lần cũng không thấy.

02Một báo giá gửi khách hàng. Mức kiểm của bạn là gì?

Đúng: C. Gửi ra ngoài là rủi ro mức cao. Thời gian kiểm tỷ lệ với hậu quả nếu sai, không tỷ lệ với độ dài sản phẩm.

03Dữ liệu chỉ nói chi phí tháng 6 tăng 34%. Agent viết thêm: do giá nguyên vật liệu tăng. Bạn làm gì?

Đúng: A. Đây là dạng suy diễn nguyên nhân: nghe hợp lý nhưng dữ liệu không nói. Bắt tách hai phần thì bạn thấy ngay chỗ nào cần thêm dữ liệu.

Mang về · Bài tiếp theo

Lớp kiểm cuối cùng là đầu của bạn

Nó luôn tự tin kể cả khi sai. Có trích dẫn không có nghĩa là trích dẫn đúng — mở nguồn ra kiểm. Cho nó đường nói "không biết". Thời gian kiểm tỷ lệ với hậu quả, không với độ dài.

Bài 18 · Bảo mật, quyền và dữ liệu Khoá học AI Agent cho người đi làm