মডেল ডিপ্লয়মেন্ট

Local এ FastAPI চলছে — কিন্তু users কোথা থেকে access করবে? Server লাগবে, OS dependency match করতে হবে, Python version মিলবে কিনা — অনেক সমস্যা। Docker সব pack করে একটা container এ — 'work on my machine' problem গায়েব। AWS/GCP/Azure এ deploy করে users এর কাছে।

Model Deployment = trained model কে production environment এ run করা যেন real user access করতে পারে। Stack: (1) Containerize — Docker দিয়ে env + dependency + model একসাথে, (2) Orchestrate — Kubernetes/ECS/Cloud Run, (3) Serve — Cloud (AWS SageMaker, GCP Vertex AI, HuggingFace Inference Endpoint), (4) Monitor — uptime, latency, error rate।

ভাবুন আপনি একটা restaurant chain বানাচ্ছেন — প্রতিটা branch এ same kitchen setup দরকার (Docker = standardized kitchen)। Manager (Kubernetes) decide করে কোন branch এ কত chef রাখতে হবে demand অনুযায়ী। Customer (user) HTTPS এর মাধ্যমে order করে — backend এ Docker container এ model serve হয়, response ফেরত যায়।

• OpenAI API — Kubernetes এ massive GPU cluster।
• HuggingFace Inference Endpoint — managed Docker deployment।
• Self-hosted: AWS EC2 + Docker + Nginx।
• Edge deployment: ONNX, Core ML, mobile inference।
• Serverless: AWS Lambda + EFS এ small model।

# Dockerfile
FROM python:3.11-slim

WORKDIR /app

# System deps (for some HuggingFace tokenizers)
RUN apt-get update && apt-get install -y --no-install-recommends \
    build-essential git && rm -rf /var/lib/apt/lists/*

# Install Python deps first (better cache)
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt

# Pre-download model at build time (faster cold start)
RUN python -c "from transformers import pipeline; pipeline('sentiment-analysis')"

# Copy app code
COPY . .

EXPOSE 8000

CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "8000", "--workers", "2"]

# ---- requirements.txt ----
# fastapi==0.115.0
# uvicorn[standard]==0.32.0
# transformers==4.45.0
# torch==2.4.0
# pydantic==2.9.0

# ---- Build + Run ----
# docker build -t nlp-api:v1 .
# docker run -p 8000:8000 nlp-api:v1

# ---- Deploy to Google Cloud Run ----
# gcloud builds submit --tag gcr.io/PROJECT/nlp-api:v1
# gcloud run deploy nlp-api --image gcr.io/PROJECT/nlp-api:v1 \
#   --memory 4Gi --cpu 2 --port 8000 --allow-unauthenticated

• Model runtime এ download — first request 30+ second।
• Image size huge (5GB+) — slim base + multi-stage build দরকার।
• .dockerignore না দেওয়া — venv, .git copy হয়।
• GPU dependency CPU image এ — runtime crash।
• Secrets Dockerfile এ hardcode — security disaster।

1. Multi-stage Dockerfile লিখে image size কমান।
2. Docker Compose দিয়ে API + Redis + Postgres স্ট্যাক।
3. GitHub Actions দিয়ে CI/CD pipeline।
4. AWS Lambda container দিয়ে serverless deploy।

• Deployment = model কে users এর কাছে পৌঁছানো।
• Docker দিয়ে env/dependency standardize।
• Cloud Run / ECS / K8s — orchestration choice।
• Pre-download model, multi-stage build, secrets manager।
• CI/CD দিয়ে continuous deployment automate।