হাগিংফেস ট্রান্সফরমার

একটা library — যেখান থেকে আপনি BERT, GPT-2, T5, LLaMA, Whisper — শতশত pretrained model মাত্র দুই লাইনে download করে use করতে পারেন। নাম: HuggingFace Transformers — modern NLP এর de facto standard library।

HuggingFace Transformers হলো একটি Python library যা PyTorch, TensorFlow, JAX — সব framework এ pretrained transformer model এর unified API দেয়। তিনটা core abstraction: AutoTokenizer (text → token), AutoModel (architecture), pipeline() (end-to-end task ready)। Hub এ ১ লক্ষ+ model, dataset, demo।

ভাবুন App Store — যেখানে শত শত ready-made app আছে, install করলেই use। HuggingFace Hub সেটাই NLP model এর জন্য। আপনাকে architecture জানতে হবে না, weight download করতে হবে না, training লাগবে না — শুধু from_pretrained('model-name') লিখলেই production-ready model হাতে।

• Startup, enterprise, research — সবাই HuggingFace ব্যবহার করে।
• Google, Meta, Microsoft — নিজেদের model HuggingFace Hub এ release করে।
• Streamlit/Gradio দিয়ে demo deploy।
• Inference Endpoint — managed model hosting।
• Datasets library দিয়ে ১০,০০০+ dataset access।

from transformers import pipeline

classifier = pipeline("sentiment-analysis")
ner = pipeline("ner", grouped_entities=True)
summarizer = pipeline("summarization", model="sshleifer/distilbart-cnn-12-6")
translator = pipeline("translation_en_to_fr", model="Helsinki-NLP/opus-mt-en-fr")

print(classifier("HuggingFace makes NLP so simple!"))

text = "Sundar Pichai, the CEO of Google, announced new AI features in Mountain View."
print(ner(text))

article = (
    "Natural Language Processing has evolved dramatically over the past decade. "
    "From rule based systems to deep learning and transformer architectures, "
    "the field has been revolutionized. Today, large language models power "
    "chatbots, translators, and writing assistants used by millions of people."
)
print(summarizer(article, max_length=40, min_length=15, do_sample=False))

print(translator("Hello, how are you?"))

• Model size না দেখে download — কিছু model 10GB+।
• GPU available থাকলেও CPU তে চালানো — device=0 দিতে ভুলে যাওয়া।
• Batch না করে এক এক করে inference — slow।
• Cache directory manage না করা — disk full হয়ে যায়।

1. 5টা different pipeline task চালিয়ে output compare করুন।
2. Custom model name দিয়ে pipeline override করুন।
3. Bangla model (csebuetnlp/banglabert) দিয়ে fill-mask।
4. Datasets library দিয়ে IMDB load করে first 10 sample দেখুন।

• HuggingFace Transformers = NLP এর App Store।
• pipeline() = zero-config task-ready inference।
• AutoTokenizer + AutoModel = fine control।
• 100K+ pretrained model, 10K+ dataset।
• Modern NLP workflow এর center।