DeepSeek V3 & R1: Kiến Trúc MLA, DeepSeekMoE và Cuộc Cách Mạng Reasoning

Bằng cách chia nhỏ expert ra, mỗi expert học một lĩnh vực cực kỳ hẹp và sâu. Router có thể kết hợp 8 micro-experts phù hợp nhất cho từng token thay vì chọn 2 expert to chung chung.

2. Shared Experts — Ngăn Knowledge Collapse:

DeepSeek tách biệt hai loại expert:

• Shared experts (~2 experts): luôn được kích hoạt, học kiến thức nền tảng chung
• Routed experts (Top-6 trong 254): kích hoạt theo nhu cầu, cực kỳ chuyên biệt

Điều này ngăn hiện tượng "Knowledge Collapse" — khi các routed experts học trùng lặp nhau thay vì chuyên hóa.

Kết quả tổng hợp của MLA + DeepSeekMoE:

• 685B tham số total nhưng chỉ ~37B active per forward pass
• Inference cost tương đương model 37B dense
• Quality của model 685B

FP8 Training — Tại sao $5.5M là có thể

DeepSeek V3 là model lớn đầu tiên được train hoàn toàn với FP8 mixed precision:

• FP16 (16-bit): standard hiện tại, 2 bytes per weight
• FP8 (8-bit): 1 byte per weight → giảm 50% memory và bandwidth
• DeepSeek custom framework xử lý gradient communication trong FP8

Kết hợp MLA + MoE + FP8 trên H800 cluster → training cost đột ngột trở nên khả thi ở quy mô công ty vừa.

Phần 2: DeepSeek R1 — Cuộc Cách Mạng Reasoning

Tại sao R1 khác hoàn toàn

Trước R1, tất cả các reasoning model (kể cả o1 của OpenAI) đều có một điểm chung: cần supervised fine-tuning (SFT) với dữ liệu chain-of-thought do con người viết trước. Đây là bottleneck lớn — human annotation rất tốn kém và không scale.

DeepSeek R1 dùng thuần túy Reinforcement Learning:

R1 Training Pipeline:
1. Cold Start: train nhẹ từ V3 với Long-CoT demonstrations
2. RL Stage 1: GRPO với reward = correctness + format
3. Rejection Sampling: lọc lấy high-quality reasoning traces
4. RL Stage 2: SFT + RL kết hợp cho alignment

GRPO (Group Relative Policy Optimization): Thay vì dùng critic model riêng biệt, GRPO đánh giá chất lượng response bằng cách so sánh trong một nhóm (group) response cùng prompt. Response đúng được reward dương, sai được reward âm. Model học tự nhiên cách "suy nghĩ".

Emergent Reasoning Behaviors

Qua RL training, R1 phát triển các hành vi hoàn toàn không được lập trình trước:

• Self-reflection: "Khoan, tôi đã tính sai bước này..."
• Backtracking: quay lại và thử hướng khác khi bị kẹt
• Verification: tự kiểm tra lại kết quả cuối
• Exploration: thử nhiều approach trước khi chọn tốt nhất

Đây là lý do reasoning chain của R1 đôi khi dài hàng nghìn tokens nhưng cuối cùng cho kết quả chính xác.

R1 vs o1 — Benchmark thực tế

R1 thắng ở toán học và coding competitive, o1 nhỉnh hơn ở scientific reasoning. Quan trọng hơn: R1 là open-weight và free — o1 là $15/1M output tokens.

Phần 3: Hướng Dẫn Tự Host R1 — Thực Chiến

Chọn variant phù hợp với hardware của bạn

Sweet spot cho hầu hết builder: R1-Distill-Qwen-14B trên 1× RTX 4090, hoặc R1-Distill-Qwen-32B ở Q4 nếu muốn accuracy cao hơn.

Deploy với Ollama (Dành cho Development)

# Cài Ollama (nếu chưa có)
curl -fsSL https://ollama.com/install.sh | sh

# Chạy R1 14B — tự động download và quantize
ollama run deepseek-r1:14b

# Hoặc 32B cho accuracy tốt hơn
ollama run deepseek-r1:32b

# Expose OpenAI-compatible API
OLLAMA_HOST=0.0.0.0 ollama serve
# API có sẵn tại: http://localhost:11434/v1

Custom Modelfile để tối ưu cho reasoning:

FROM deepseek-r1:14b

# Tăng context window
PARAMETER num_ctx 32768

# Temperature thấp hơn cho reasoning tasks
PARAMETER temperature 0.6

# Giữ full reasoning chain
SYSTEM "You are an expert AI assistant. Think through problems step by step before answering."

ollama create deepseek-r1-reasoning -f Modelfile

Deploy với vLLM (Production)

pip install vllm

# Serve R1-Distill-32B với AWQ quantization
python -m vllm.entrypoints.openai.api_server \
  --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B \
  --tensor-parallel-size 2 \
  --quantization awq \
  --max-model-len 32768 \
  --gpu-memory-utilization 0.92 \
  --served-model-name deepseek-r1

# Test
curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-r1",
    "messages": [{"role": "user", "content": "Solve: find all integer solutions to x² - 5x + 6 = 0"}],
    "temperature": 0.6
  }'

Phần 4: Prompt Engineering cho R1

Kích hoạt Long-CoT reasoning

R1 sử dụng <think> tags để bao bọc reasoning chain. Để khai thác tối đa:

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="none")

# Prompt pattern cho reasoning tasks
response = client.chat.completions.create(
    model="deepseek-r1",
    messages=[
        {
            "role": "system",
            "content": "You are an expert problem solver. Always think through problems carefully before answering."
        },
        {
            "role": "user",
            "content": """
            A startup has 100 users. Every month:
            - 15% of users churn
            - They acquire new_users = current_users × 0.25
            
            After 6 months, how many users will they have? 
            Show your work step by step.
            """
        }
    ],
    temperature=0.6,
    max_tokens=8192  # R1 cần nhiều tokens để reason
)

# Extract final answer (after </think>)
content = response.choices[0].message.content

Phân biệt khi nào dùng R1 vs V3

Tips production cho R1

# 1. Stream để giảm perceived latency (CoT dài)
response = client.chat.completions.create(
    model="deepseek-r1",
    messages=messages,
    stream=True  # Người dùng thấy output ngay
)

# 2. Parse thinking vs answer
def parse_r1_response(content: str) -> dict:
    if "<think>" in content and "</think>" in content:
        think_start = content.index("<think>") + len("<think>")
        think_end = content.index("</think>")
        return {
            "thinking": content[think_start:think_end].strip(),
            "answer": content[think_end + len("</think>"):].strip()
        }
    return {"thinking": "", "answer": content}

# 3. Temperature recommendations
# Math/Logic: 0.0 - 0.3 (deterministic)
# Coding: 0.3 - 0.6
# Creative reasoning: 0.6 - 1.0

Kết Luận

DeepSeek không chỉ là "GPT-4 rẻ hơn" — đây là bằng chứng rằng đổi mới kiến trúc có thể đánh bại scale thuần túy. MLA giải quyết bottleneck KV cache. DeepSeekMoE tối ưu hóa expert utilization. FP8 training cắt giảm chi phí compute. Kết hợp lại, họ đã tạo ra model ngang tầm frontier với fraction của chi phí.

R1 thì còn đáng chú ý hơn: đây là lần đầu tiên RL thuần túy (không cần human-labeled CoT) tạo ra được reasoning model đẳng cấp world-class. Đây không phải kỹ thuật fluke — đây là blueprint cho thế hệ reasoning model tiếp theo.

Bước tiếp theo cho bạn:

1. Thử R1-Distill-14B trên Ollama ngay hôm nay — chạy được trên 1x RTX 4090
2. Benchmark nó với một problem thực trong dự án của bạn
3. So sánh reasoning quality với GPT-4o trên cùng task

Bài tiếp theo: Meta Llama 3.3 70B — tại sao đây là "chiến mã" thực sự cho enterprise, và cách setup production-ready trong 30 phút.