Cơ chế tool call
Mô tả ngắn gọn luồng hoạt động
User nhập yêu cầu (prompt) vào Application.
Application gửi request lên LLM, bao gồm:
nội dung prompt của người dùng
danh sách tool definitions (JSON schema mô tả các tool có thể dùng).
LLM phân tích yêu cầu và so sánh với các tool được cung cấp.
Hai trường hợp xảy ra:
Không cần tool: LLM tạo câu trả lời dạng text → gửi về Application → Application hiển thị cho User.
Cần dùng tool: LLM trả về JSON Tool Call (tên tool + tham số). Application đọc JSON này và thực thi tool ở local. Kết quả từ tool được gửi lại cho LLM để tổng hợp. LLM tạo final response → Application hiển thị cho User.
Lưu ý quan trọng: LLM không trực tiếp thực thi code, nó chỉ quyết định và trả về mô tả hành động (JSON); việc chạy tool được thực hiện bởi Application ở local.
Last updated