Pipeline & Microkernel

01 Hai phong cách monolith

Cả hai đều là một đơn vị triển khai (một "lượng tử"), chia điểm mạnh/yếu giống Layered: mạnh chi phí & đơn giản, yếu mở rộng, đàn hồi, chịu lỗi. Điểm phân biệt nằm ở cách tổ chức xử lý.

02 Pipeline: pipes & filters

Topology gồm pipe (ống) & filter (bộ lọc). Pipe là kênh giao tiếp — thường điểm-điểm & một chiều, payload nhỏ để chạy nhanh. Filter tự đóng gói, độc lập, thường stateless, mỗi cái chỉ làm một nhiệm vụ.

Bốn loại filter

Đánh giá đặc tính — Pipeline

03 Microkernel: core & plug-in

Còn gọi là plug-in architecture. Hai phần: core system (chức năng tối thiểu để chạy / "happy path") + các plug-in độc lập chứa xử lý chuyên biệt, hay thay đổi.

Đánh giá đặc tính — Microkernel

04 Dựng RAG theo hai kiểu

Hệ "Hỏi–đáp tài liệu" soi rất rõ qua hai phong cách này — và may mắn là cả hai cùng xuất hiện tự nhiên trong một RAG.

Ingest = một Pipeline kinh điển

RAG  Luồng nạp tài liệu chính là pipes & filters: producer → các transformer/tester → consumer.

flowchart LR
  P["Load tài liệu"]:::prod --> T1["Chunk"]:::tr --> T2["Lọc rác / quá ngắn"]:::test --> T3["Embed"]:::tr --> C[("Lưu Vector Store")]:::cons
  classDef prod fill:#e7ddf2,stroke:#6a4ca8,color:#1c1a14;
  classDef tr fill:#ddd2ef,stroke:#6a4ca8,color:#1c1a14;
  classDef test fill:#f3e6c8,stroke:#9a6712,color:#1c1a14;
  classDef cons fill:#14233b,stroke:#14233b,color:#f3ede0;
            

# mỗi filter là một hàm thuần, stateless — ghép kiểu compositional
for doc in load(path):                 # Producer (source)
    for ch in chunk(doc):              # Transformer (map)
        if is_meaningful(ch):          # Tester (filter)
            store.add(embed(ch))       # Transformer → Consumer (sink)

Vendor LLM/Embedder = Plug-in của Microkernel

RAG  Để "tháng sau đổi sang model khác" (đặc tính extensibility/adaptability ở topic 03), đặt mỗi nhà cung cấp thành một plug-in sau hợp đồng chung; lõi RAG không cần biết bên trong:

class EmbedderPlugin(Protocol):        # CONTRACT chung
    def embed(self, text: str) -> list[float]: ...

REGISTRY = {                           # REGISTRY: tên → plug-in
    "openai":  OpenAIEmbedder(),
    "local":   LocalBGEEmbedder(),     # cắm/gỡ không đụng lõi
}
def get_embedder(name): return REGISTRY[name]   # core chỉ tra registry

05 Ghi nhớ nhanh