Prompt Evaluation

01 Prompt Evaluation là gì & vì sao cần?

Prompt evaluation là việc đo chất lượng đầu ra của một prompt một cách có hệ thống, trên một tập đầu vào cố định và theo tiêu chí rõ ràng — thay vì đọc vài ví dụ rồi "thấy ổn". Nó là test tự động cho prompt: cùng vai trò mà unit test đảm nhận với code.

Ví dụ xuyên suốt: hệ Hỏi–đáp tài liệu (RAG)

Cả trang neo vào một hệ RAG thật: Python lo pipeline (chunk → embed → truy hồi → sinh câu trả lời), PHP lo web/API. Eval đứng bên ngoài pipeline: cho cùng một bộ câu hỏi đi qua hệ, rồi chấm điểm câu trả lời theo tiêu chí, lặp cho tới khi đạt ngưỡng.

flowchart LR
  D[("Eval set: câu hỏi + đáp án vàng")]:::db --> R
  subgraph SUT["Hệ đang đánh giá (RAG)"]
    direction TB
    R["Retrieve (Python)"]:::m --> G["Generate (LLM)"]:::m
  end
  G --> J{{"Chấm điểm: code-based · LLM-judge · human"}}:::core
  J --> S["Điểm số & báo cáo lỗi"]:::out
  S -.->|"sửa prompt rồi chạy lại"| R
  classDef m fill:#dbeee8,stroke:#0f7d72,color:#1c1a14;
  classDef db fill:#e2edf3,stroke:#2f6d93,color:#1c1a14;
  classDef out fill:#e2edf3,stroke:#2f6d93,color:#1c1a14;
  classDef core fill:#14233b,stroke:#14233b,color:#f3ede0;
            

02 Ba cách chấm điểm

Mỗi cách có vùng dùng tốt riêng — thường kết hợp cả ba: code-based cho cái đo được chính xác, LLM-judge cho cái mở, human để hiệu chuẩn.

RAG  Code-based grader chạy ngay trong harness — không tốn token, không mơ hồ:

def grade_structured(answer: str, expect: dict) -> bool:
    data = json.loads(answer)                     # 1) đúng JSON?
    assert set(data) >= {"answer", "sources"}     # 2) đủ field?
    return (expect["keyword"] in data["answer"]   # 3) chứa ý chính?
            and len(data["sources"]) > 0)         # 4) có trích nguồn?

03 Thiết kế bộ eval (eval set)

Bộ eval là tập các cặp (đầu vào, kỳ vọng). Chất lượng eval phụ thuộc vào chất lượng tập này hơn là vào cách chấm. Một bộ tốt phủ bốn loại ca:

RAG  Mỗi ca khai báo cách chấm riêng — một bộ eval trộn nhiều kiểu grader:

cases = [
  {"q": "Chính sách hoàn tiền bao nhiêu ngày?",
   "expect": {"keyword": "14 ngày"}, "grader": "code"},     # happy path
  {"q": "Giá cổ phiếu công ty hôm nay?",
   "expect": {"must_refuse": True}, "grader": "judge"},      # adversarial: phải từ chối
]

04 Tiêu chí chất lượng — "RAG triad"

Với hệ RAG, chất lượng tách thành hai tầng: truy hồi (retrieval) đưa đúng ngữ cảnh chưa, và sinh (generation) dùng ngữ cảnh đó đúng chưa. Ba tiêu chí lõi tạo thành "RAG triad":

Bảng tiêu chí thường dùng & trọng số

Không phải tiêu chí nào cũng quan trọng như nhau — gán trọng số theo rủi ro của ứng dụng (càng nhiều chấm càng nặng cân):

05 LLM-as-judge đúng cách & quy trình lặp

LLM-as-judge mạnh nhưng dễ sai nếu làm cẩu thả. Bốn nguyên tắc giữ cho điểm số đáng tin:

RAG  Judge bằng Claude — chấm groundedness theo rubric, có lý do kèm điểm:

judge_prompt = f"""Cho NGỮ CẢNH và CÂU TRẢ LỜI. Chấm groundedness 1–5
(1=bịa hoàn toàn, 5=bám 100% ngữ cảnh). Nêu lý do TRƯỚC, rồi 'SCORE: n'.
NGỮ CẢNH: {context}
TRẢ LỜI: {answer}"""
msg = client.messages.create(model="claude-opus-4-8",   # judge nên mạnh hơn model bị chấm
    max_tokens=512, messages=[{"role": "user", "content": judge_prompt}])
score = parse_score(msg.content[0].text)                 # tách 'SCORE: n'

RAG  Ranh giới service: web (PHP) chỉ kích hoạt một lần chạy eval & đọc điểm tổng — không tự chấm:

// Web chỉ ra lệnh "chạy bộ eval v3", logic chấm nằm trọn bên Python
$report = $http->post('/eval/run', ['suite' => 'v3'])->json();

echo "Đạt: {$report['pass_rate']}%  ·  Groundedness TB: {$report['groundedness']}";

Vòng lặp eval-driven

Cạm bẫy thường gặp

06 Ghi nhớ nhanh