Khi nào dùng 70B?

• Self-host với budget giới hạn: 2× A100 80GB hoặc 1× H100 80GB
• Latency thấp: 70B nhanh hơn 405B khoảng 4–6× trên cùng phần cứng
• Fine-tuning: Dễ fine-tune hơn, ít VRAM hơn
• Edge deployment: Quantized 70B chạy được trên consumer GPU

Khi nào dùng 405B?

• Complex reasoning cần độ chính xác tuyệt đối: Legal analysis, medical QA
• Few-shot learning: 405B mạnh hơn khi cần học từ ít ví dụ
• Multilingual coverage rộng hơn

3. VRAM Requirements và Quantization Strategy

Công thức tính nhanh:

VRAM (GB) = (params × bits_per_weight) / 8 + KV_cache
70B FP16: 70 × 2 = 140GB
70B Q4:   70 × 0.5 ≈ 35GB (+ ~7GB overhead) ≈ 42GB

4. Deploy với Ollama

Cài đặt và Modelfile tùy chỉnh

# Pull model
ollama pull llama3.3:70b

# Tạo Modelfile cho enterprise
cat > Modelfile << 'EOF'
FROM llama3.3:70b
PARAMETER num_ctx 32768
PARAMETER num_gpu 2
PARAMETER temperature 0.7
PARAMETER top_p 0.9
SYSTEM "Bạn là trợ lý AI chuyên nghiệp của Autonow. Trả lời chính xác, ngắn gọn và có cấu trúc."
EOF
ollama create autonow-assistant -f Modelfile
ollama run autonow-assistant

OpenAI-compatible API

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama"  # Required nhưng không dùng
)

response = client.chat.completions.create(
    model="llama3.3:70b",
    messages=[
        {"role": "system", "content": "Bạn là chuyên gia phân tích dữ liệu."},
        {"role": "user", "content": "Phân tích xu hướng AI năm 2026."}
    ],
    temperature=0.7,
    max_tokens=2048
)
print(response.choices[0].message.content)

5. Deploy với vLLM cho Production

Multi-GPU Setup

# 2× A100 80GB
python -m vllm.entrypoints.openai.api_server \
  --model meta-llama/Llama-3.3-70B-Instruct \
  --tensor-parallel-size 2 \
  --gpu-memory-utilization 0.92 \
  --max-model-len 32768 \
  --dtype bfloat16 \
  --port 8000

Docker Compose cho Production

version: "3.8"
services:
  llm-server:
    image: vllm/vllm-openai:latest
    runtime: nvidia
    environment:
      - NVIDIA_VISIBLE_DEVICES=0,1
    command: >
      --model meta-llama/Llama-3.3-70B-Instruct
      --tensor-parallel-size 2
      --gpu-memory-utilization 0.90
      --max-model-len 32768
      --served-model-name llama-3.3-70b
    ports:
      - "8000:8000"
    volumes:
      - ~/.cache/huggingface:/root/.cache/huggingface
    deploy:
      resources:
        reservations:
          devices:
            - capabilities: [gpu]
              count: 2

6. Speculative Decoding: 2.5× Speedup

vLLM hỗ trợ speculative decoding với draft model nhỏ hơn để tăng tốc decode.

# Llama 3.3 70B + draft model Llama 3.2 1B
python -m vllm.entrypoints.openai.api_server \
  --model meta-llama/Llama-3.3-70B-Instruct \
  --speculative-model meta-llama/Llama-3.2-1B-Instruct \
  --num-speculative-tokens 5 \
  --tensor-parallel-size 2 \
  --port 8000

Speculative decoding tăng tốc 1.5–2.5× cho text generation dài, đặc biệt hiệu quả với output có tính lặp cao (code, structured data, templates).

Cách hoạt động:

1. Draft model (1B) generate 5 tokens cùng lúc — rất nhanh
2. Target model (70B) verify toàn bộ 5 tokens song song — nhanh hơn autoregressive
3. Accept tokens đúng, reject từ token sai đầu tiên
4. Net result: throughput cao hơn với cùng output quality

7. Fine-tuning LoRA với Unsloth

LoRA (Low-Rank Adaptation) cho phép fine-tune Llama 3.3 70B trên 1× A100 80GB hoặc 2× RTX 4090.

Cài đặt

pip install unsloth transformers datasets trl peft

Code Fine-tuning

from unsloth import FastLanguageModel
from trl import SFTTrainer
from transformers import TrainingArguments
from datasets import load_dataset

# Load model với 4-bit quantization
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="meta-llama/Llama-3.3-70B-Instruct",
    max_seq_length=4096,
    dtype=None,  # Auto detect
    load_in_4bit=True,
)

# Thêm LoRA adapters
model = FastLanguageModel.get_peft_model(
    model,
    r=16,                    # LoRA rank (8–64)
    target_modules=[
        "q_proj", "k_proj", "v_proj", "o_proj",
        "gate_proj", "up_proj", "down_proj",
    ],
    lora_alpha=16,
    lora_dropout=0.05,
    bias="none",
    use_gradient_checkpointing=True,
    random_state=42,
)

# Trainer
trainer = SFTTrainer(
    model=model,
    tokenizer=tokenizer,
    train_dataset=load_dataset("json", data_files="train.jsonl")["train"],
    dataset_text_field="text",
    max_seq_length=4096,
    args=TrainingArguments(
        output_dir="./llama33-finetuned",
        num_train_epochs=3,
        per_device_train_batch_size=2,
        gradient_accumulation_steps=4,
        learning_rate=2e-4,
        lr_scheduler_type="cosine",
        warmup_ratio=0.05,
        bf16=True,
        logging_steps=10,
        save_steps=100,
    ),
)

trainer.train()

# Export GGUF cho Ollama
model.save_pretrained_merged("./llama33-merged", tokenizer)
model.save_pretrained_gguf("./llama33-gguf", tokenizer, quantization_method="q4_k_m")

Format Data Training

{"messages": [{"role": "system", "content": "Bạn là chuyên gia tư vấn AI tại Autonow."}, {"role": "user", "content": "Làm sao để tích hợp LLM vào pipeline tự động hóa?"}, {"role": "assistant", "content": "Để tích hợp LLM vào pipeline tự động hóa, cần xem xét 3 yếu tố chính..."}]}
{"messages": [{"role": "system", "content": "Bạn là chuyên gia tư vấn AI tại Autonow."}, {"role": "user", "content": "Chi phí self-host Llama 70B?"}, {"role": "assistant", "content": "Chi phí self-host Llama 3.3 70B bao gồm: phần cứng (A100 80GB ~$10k–15k used), điện, và maintenance..."}]}

LoRA Hyperparameter Guide

8. Tool Calling trong Production

tools = [{
    "type": "function",
    "function": {
        "name": "search_database",
        "description": "Tìm kiếm knowledge base nội bộ",
        "parameters": {
            "type": "object",
            "properties": {
                "query": {"type": "string"},
                "top_k": {"type": "integer", "default": 5}
            },
            "required": ["query"]
        }
    }
}]

response = client.chat.completions.create(
    model="llama3.3:70b",
    messages=[{"role": "user", "content": "Tìm thông tin về doanh thu Q4 2025."}],
    tools=tools,
    tool_choice="auto"
)

if response.choices[0].message.tool_calls:
    for call in response.choices[0].message.tool_calls:
        print(f"Function: {call.function.name}")
        print(f"Args: {call.function.arguments}")

9. Production Throughput Benchmarks

Đo trực tiếp trên 2× A100 80GB, vLLM, bf16:

Khuyến nghị production: Batch size 8–16 cho balance tốt giữa throughput và latency cho API serving.

10. Use Cases Phù Hợp Nhất

Tổng Kết

Llama 3.3 70B là lựa chọn tốt nhất khi:

• Cần model open-source với cộng đồng lớn nhất và ecosystem phong phú nhất
• Muốn fine-tune cho domain cụ thể với LoRA
• Cần instruction following chính xác (IFEval 92.1%)
• Budget cho phép 2× A100 hoặc muốn chạy quantized trên 2× RTX 4090

Kết hợp với vLLM speculative decoding (2.5× speedup) và Unsloth LoRA fine-tuning (1× A100 80GB), Llama 3.3 70B là nền tảng vững chắc để xây dựng AI application production-grade cho doanh nghiệp.