Deep Dive: Prompt chaining
Tổng quan Orchestration
Prompt chaining là cách đưa prompt engineering vào vùng workflow engineering. Thay vì tối ưu một prompt monolithic, ta chia bài toán thành nhiều call liên tiếp, mỗi call có mục tiêu và đầu ra riêng.
Điểm khác biệt lớn nhất so với CoT là ở chỗ intermediate outputs không nằm “trong đầu model” mà thành artifact thật. Nhờ vậy, con người và hệ thống downstream đều có thể inspect, log, test và branch.
Anthropic gần đây nhấn mạnh rằng explicit prompt chaining vẫn hữu ích khi bạn muốn enforce pipeline structure hoặc quan sát intermediate outputs, dù nhiều model mới có thể tự làm nhiều bước bên trong một call.
| Pipeline property | Ý nghĩa | Tác dụng |
|---|---|---|
| Sequential call | Output bước trước là input bước sau | Kiểm soát tốt hơn |
| Inspectability | Xem được từng artifact trung gian | Debug dễ |
| Branch points | Rẽ nhánh theo output từng bước | Linh hoạt hơn prompt đơn |
Cơ chế Mechanics
Một chain tốt thường có format rõ: extract → normalize → judge → format. Càng nhiều bước có schema khác nhau thì chaining càng có lợi so với một prompt dài.
Điểm cần lưu ý là chain không thay thế cho reasoning nội bộ của model; nó chỉ làm reasoning trở thành một chuỗi service call có thể quản lý.
Three-step prompt chain
Step 1: extract facts from the document
Step 2: normalize and compare extracted facts
Step 3: synthesize a short memo with caveatsKhi dùng Fit
Prompt chaining hợp cho research synthesis, document workflows, classification pipelines, format conversion và các tác vụ có rõ stage boundary.
Nếu task cần user approval hoặc trace audit giữa các bước, chaining thường thắng một prompt monolithic vì artifact trung gian trở thành điểm kiểm tra tự nhiên.
Ưu điểm
- Debug từng bước được
- Có thể branch theo output thực tế
- Dễ đưa vào production pipeline
Nhược điểm
- Latency tăng theo số bước
- Một bước sai có thể lan sang bước sau
- Thiết kế pipeline mất công hơn prompt đơn
Failure modes Risk
Lỗi pipeline thường gặp
- Bước đầu extract sai nhưng downstream không phát hiện.
- Mỗi bước tối ưu local objective nhưng global objective tệ đi.
- Artifact trung gian không có schema nên khó validate.
- Pipeline quá dài mà không có checkpoint hay rollback.
So sánh Compare
| Technique | Khác biệt | Khi nào thắng chaining |
|---|---|---|
| ReAct | Model tự xen action/observation | Khi môi trường cần hành động online |
| Self-refine | Lặp draft → critique → revise | Khi output chủ yếu là văn bản |
| CoT | Một call duy nhất | Khi task nhỏ và latency quan trọng |