ব্যাগ অফ ওয়ার্ডস

Computer অংক জানে, ভাষা না। তাহলে আমরা যদি ভাষাকে অংকে রূপান্তর করতে পারি — computer ভাষা বুঝবে। সবচেয়ে সহজ recipe: প্রতিটা document কে গুনে দেখুন কোন word কতবার আছে — এটাই Bag of Words। নাম শুনে মনে হবে ছেলেমানুষি, কিন্তু এটা ছিল NLP এর প্রথম বিপ্লব।

Bag of Words (BoW) হলো text কে numeric vector এ রূপান্তর করার সবচেয়ে সহজ technique। প্রথমে পুরো corpus থেকে unique words এর একটা vocabulary বানানো হয়। তারপর প্রতিটা document কে একটা vector হিসেবে represent করা হয় — যেখানে প্রতিটা position এ সেই vocabulary-word টা ওই document এ কতবার এসেছে তার count।

ভাবুন আপনার কাছে অনেকগুলো ব্যাগ আছে, প্রতিটায় বিভিন্ন রঙের মার্বেল। প্রতিটা ব্যাগের 'identity' হলো — কোন রঙের মার্বেল কতটা আছে। Word order, grammar, context — কিছুই matter করে না, শুধু count। সেজন্যই 'bag' — order ভুলে যান, শুধু গণনা গোনেন। 'I love NLP' আর 'NLP love I' — BoW এর কাছে identical!

• Spam filter — spam email এ কোন word কতবার আসে তার pattern শেখে।
• Document classification — news article কোন category তে।
• Sentiment analysis — review এ positive/negative word এর count।
• Search engine এর foundation — modern search ও BoW থেকে শুরু।
• Topic detection — কোন document কোন topic এ — word frequency দিয়ে।

from sklearn.feature_extraction.text import CountVectorizer
import pandas as pd

corpus = [
    "I love NLP and machine learning",
    "Machine learning is fun",
    "NLP is a part of machine learning",
    "I love Bangla NLP",
]

vectorizer = CountVectorizer()
X = vectorizer.fit_transform(corpus)

# Vocabulary
vocab = vectorizer.get_feature_names_out()
print("Vocabulary:", vocab)

# Document-Term Matrix
df = pd.DataFrame(X.toarray(), columns=vocab)
print("\nDocument-Term Matrix:")
print(df)

# Single document encoding
new_text = ["I love machine learning"]
encoded = vectorizer.transform(new_text).toarray()
print("\nEncoded:", encoded)

# With stop word removal + lowercase + bigrams
v2 = CountVectorizer(stop_words="english", ngram_range=(1, 2))
X2 = v2.fit_transform(corpus)
print("\nWith bigrams vocab:", v2.get_feature_names_out())

• Word order হারিয়ে যায় — sentiment এ 'not good' vs 'good not' একই হয়ে যায়।
• Vocab খুব বড় হলে sparse matrix বিশাল — memory সমস্যা।
• নতুন document এ fit_transform call করা — পুরোনো model এর vocab নষ্ট হয়। শুধু transform use করুন।
• Stop words না removed — common word 'the', 'is' কে বেশি weight দেয়।
• Rare word এর শক্তি ignore করা — TF-IDF এ এটা সমাধান হয়।

1. ৫টা movie review দিয়ে BoW matrix বানান। কোন word সবচেয়ে frequent?
2. একই corpus এ unigram (1-word) এবং bigram (2-word) দুটো compare করুন।
3. BoW দিয়ে document similarity বের করার চেষ্টা করুন — vector এর difference দিয়ে।

• BoW = text কে word-count vector এ রূপান্তর।
• সহজ, fast, interpretable — কিন্তু order এবং context হারায়।
• Spam detection, classification এর starting point।
• Improvement: TF-IDF (পরের chapter) — শুধু count না, importance ও measure করে।