বার্ট

Transformer দারুণ, কিন্তু একটা সমস্যা — train করতে massive labeled data দরকার। ২০১৮ — Google BERT publish করল একটা genius idea নিয়ে: massive unlabeled text এ pretrain করো 'মাস্কড word predict' task এ, তারপর small labeled data দিয়ে fine-tune করো। Result? প্রায় সব NLP benchmark এ state-of-the-art।

BERT (Bidirectional Encoder Representations from Transformers) একটি encoder-only transformer যা দুটো task এ pretrain করা হয়েছে: (1) Masked Language Modeling — random 15% token mask করে predict, (2) Next Sentence Prediction — দুটো sentence consecutive কিনা। 'Bidirectional' কারণ মাস্কড word predict এ left + right দুই context ই দেখে।

GPT (decoder) শুধু left-to-right পড়ে — 'The cat sat on the ___' এ পরের word predict। BERT bidirectional — 'The cat ___ on the mat' এর mask দুই দিক থেকে context দেখে fill করে। এই bidirectional context BERT কে সব classification, NER, QA task এ powerful বানায়। Fine-tuning এ pretrained model এর উপর small head লাগিয়ে দিলেই হয়।

• Google Search ranking (২০১৯ থেকে)।
• Question answering — SQuAD benchmark।
• Sentiment classification — production grade।
• Named entity recognition।
• Sentence similarity, Sentence-BERT — semantic search।

from transformers import AutoTokenizer, AutoModel
import torch

tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
model = AutoModel.from_pretrained("bert-base-uncased")

sentences = [
    "NLP is transforming the world of AI.",
    "I love learning about transformers.",
]

inputs = tokenizer(sentences, padding=True, truncation=True, return_tensors="pt")
print("Input ids shape:", inputs["input_ids"].shape)

with torch.no_grad():
    outputs = model(**inputs)

last_hidden = outputs.last_hidden_state
cls_embeddings = last_hidden[:, 0, :]
print("Last hidden:", last_hidden.shape)
print("CLS embedding (sentence rep):", cls_embeddings.shape)

• Pretrained model কে scratch থেকে train করার চেষ্টা — fine-tune করতে হয়।
• Learning rate বেশি (1e-3) দেওয়া — BERT এ 2e-5 / 3e-5 standard।
• Special token ([CLS], [SEP]) manually যোগ না করা — tokenizer auto করে।
• Bangla text এ english BERT — multilingual বা banglabert দরকার।

1. bert-base-uncased দিয়ে IMDB sentiment fine-tune করুন।
2. csebuetnlp/banglabert দিয়ে bangla text classify।
3. Sentence-BERT দিয়ে semantic similarity বের করুন।
4. BERT এর masked token predict করে দেখুন pipeline('fill-mask') দিয়ে।

• BERT = bidirectional encoder, pretrain + fine-tune paradigm।
• MLM + NSP দিয়ে massive unlabeled corpus এ trained।
• Bidirectional context = classification/NER/QA তে strong।
• [CLS] vector = sentence-level representation।
• Pretrain + fine-tune workflow modern NLP কে define করেছে।