টিএফ-আইডিএফ

BoW তে 'the' সবচেয়ে frequent — কিন্তু এটা কি important? না! আসল গুরুত্বপূর্ণ সেই word যেটা এই document এ আছে, কিন্তু অন্য document এ নেই। এই 'rare-but-relevant' word খুঁজে বের করার গণিত — TF-IDF।

TF-IDF (Term Frequency - Inverse Document Frequency) হলো একটা score, যা বলে — একটা word একটা specific document এ কতটা important। TF = এই document এ word টা কতবার আছে। IDF = পুরো corpus এ এই word কতটা rare। দুটোর গুণফলই TF-IDF। যত বেশি TF এবং যত বেশি rare — তত বেশি score।

ভাবুন একটা সংবাদপত্র — সব article এ 'the', 'is' আছে। তাই এগুলোর IDF কম, importance কম। কিন্তু একটা specific article এ 'volcano' word ১০ বার আছে এবং অন্য article এ নেই — তাহলে 'volcano' সেই article এর identity। TF-IDF এর কাজ এই identity-word গুলো highlight করা। Formula: TF-IDF = TF × log(N / DF), যেখানে N = total documents, DF = এই word যে কয়টা document এ আছে।

• Search engine — query এর word এর TF-IDF দিয়ে relevant document rank করা হয়।
• Keyword extraction — article থেকে important keyword বের করতে।
• Document similarity — TF-IDF vector দিয়ে cosine similarity।
• Recommendation system — content-based filtering এর foundation।
• Plagiarism detection — দুই document এর TF-IDF compare করে।

from sklearn.feature_extraction.text import TfidfVectorizer
import pandas as pd

corpus = [
    "Bangla NLP is amazing and growing fast",
    "NLP and machine learning power AI",
    "I love Bangla language and culture",
    "Machine learning is the future",
]

tfidf = TfidfVectorizer(stop_words="english")
X = tfidf.fit_transform(corpus)

vocab = tfidf.get_feature_names_out()
df = pd.DataFrame(X.toarray(), columns=vocab, index=[f"Doc{i+1}" for i in range(len(corpus))])
print("TF-IDF Matrix (rounded):")
print(df.round(3))

# Top keyword per document
print("\nTop keyword per document:")
for i, row in enumerate(X.toarray()):
    top_idx = row.argmax()
    print(f"Doc{i+1}: '{vocab[top_idx]}' (score={row[top_idx]:.3f})")

# IDF values (rarer = higher)
import numpy as np
idf_df = pd.DataFrame({"word": vocab, "idf": tfidf.idf_})
print("\nIDF (high = rare word):")
print(idf_df.sort_values("idf", ascending=False).head(10))

• TF-IDF কে probability ভাবা — এটা একটা importance weight, probability না।
• Test data এ fit_transform call করা — train data এর vocab/idf এই freeze থাকা উচিত।
• Stop words না সরানো — এদের IDF কম, কিন্তু TF অনেক বেশি, false high score আসতে পারে।
• TF-IDF কে magic ভাবা — semantic similarity বুঝতে পারে না (e.g., 'car' vs 'automobile')।
• Sparse vector কে dense এ convert করে memory নষ্ট করা — sparse matrix ই keep করুন।

1. ৫টা news headline দিয়ে TF-IDF matrix বানান। প্রতিটা headline এর top keyword বের করুন।
2. Bangla text এ TF-IDF apply করুন (custom tokenizer ব্যবহার করে)।
3. একই corpus এ BoW এবং TF-IDF compare করুন — important word এর order কতটা বদলায়?

• TF-IDF = TF × IDF — frequency এবং rarity এর smart combination।
• Common word (the, is) এর score কম, rare word এর বেশি।
• Search, keyword extraction, similarity — সবার core।
• Limitation: semantic বোঝে না — সেটা solve করে Embedding (পরের chapter)।