প্রিট্রেইনিং বনাম ফাইন-টিউনিং

একটা 175B parameter model কে scratch থেকে train করতে $5M+ লাগে। কিন্তু আপনি নিজের ছোট data এ adapt করতে পারেন সেই model কে কয়েক ঘণ্টায়, কয়েক ডলারে। এই magic এর নাম Pretraining vs Fine-tuning — modern NLP এর core paradigm।

Pretraining = massive unlabeled corpus এ general purpose task (MLM, next token prediction) এ scratch থেকে train। এতে model ভাষার general knowledge শেখে। Fine-tuning = pretrained weights দিয়ে শুরু করে নিজের task-specific small labeled data এ further train। PEFT (LoRA, prefix-tuning) দিয়ে কম parameter update করেও কাজ চলে।

ভাবুন একজন graduate student — সে ১৬ বছর general education পেয়েছে (pretraining), এখন PhD তে একটা specific topic এ ২-৩ বছর গভীরভাবে কাজ করছে (fine-tuning)। Scratch থেকে শেখানোর চেয়ে এটা অনেক efficient। LoRA এর idea: graduate এর পুরো মাথা পরিবর্তন না করে, কিছু small 'adapter' যোগ — original knowledge অক্ষত, task-specific skill যোগ।

• ChatGPT = GPT-3/4 pretrain + RLHF fine-tune।
• Domain-specific model: BioBERT, FinBERT, LegalBERT।
• LoRA দিয়ে LLaMA এর custom variant — Alpaca, Vicuna।
• Customer support chatbot — own data এ fine-tuned LLM।
• Code model: CodeLlama = LLaMA + code fine-tune।

from transformers import (
    AutoTokenizer, AutoModelForSequenceClassification,
    TrainingArguments, Trainer,
)
from datasets import Dataset
import numpy as np

texts = [
    "I love this product, amazing quality!",
    "Worst experience ever, total waste.",
    "Pretty good, would buy again.",
    "Not great, broke in two days.",
    "Absolutely fantastic, five stars!",
    "Terrible, do not recommend at all.",
]
labels = [1, 0, 1, 0, 1, 0]

tokenizer = AutoTokenizer.from_pretrained("distilbert-base-uncased")
model = AutoModelForSequenceClassification.from_pretrained(
    "distilbert-base-uncased", num_labels=2
)

def tokenize(batch):
    return tokenizer(batch["text"], padding="max_length", truncation=True, max_length=64)

dataset = Dataset.from_dict({"text": texts, "label": labels}).map(tokenize, batched=True)

args = TrainingArguments(
    output_dir="./out",
    num_train_epochs=3,
    per_device_train_batch_size=2,
    learning_rate=2e-5,
    logging_steps=2,
    report_to="none",
)

def compute_metrics(pred):
    preds = np.argmax(pred.predictions, axis=1)
    acc = (preds == pred.label_ids).mean()
    return {"accuracy": acc}

trainer = Trainer(
    model=model, args=args, train_dataset=dataset,
    eval_dataset=dataset, compute_metrics=compute_metrics,
)
trainer.train()
print(trainer.evaluate())

• Pretraining আর fine-tuning এর learning rate same রাখা — fine-tune এ অনেক ছোট লাগে।
• Full fine-tune করা যেখানে LoRA যথেষ্ট ছিল — GPU memory waste।
• Validation set না রাখা — overfit বোঝা যায় না।
• Catastrophic forgetting — খুব বেশি epoch বা lr এ original knowledge হারায়।

1. DistilBERT fine-tune করুন IMDB এ — 3 epoch।
2. PEFT (LoRA) দিয়ে same task করুন, parameter count compare।
3. Domain-specific (BioBERT) এ medical text classify।
4. Learning rate 5e-5, 2e-5, 5e-6 — accuracy এ effect।

• Pretraining = general knowledge, massive unlabeled data।
• Fine-tuning = task-specific adaptation, small labeled data।
• Modern NLP এর foundational workflow।
• PEFT (LoRA) = parameter-efficient, cheap fine-tune।
• Phase 5 complete! আপনি এখন Transformer, BERT, GPT, fine-tuning — সব master।