সিমিলারিটি পরিমাপ

দুটো sentence কতটা একই মানে বহন করে — মানুষ instantly বুঝতে পারে। Computer কে এটা শেখাতে চাই একটা গণিত — যেটা দুই vector দেখে বলবে এরা কতটা কাছাকাছি। সেই গণিতের রাজা: Cosine Similarity।

Similarity Measure হলো দুই vector (text এর numerical representation) এর মধ্যে closeness measure করার গণিতিক উপায়। NLP তে সবচেয়ে জনপ্রিয়: Cosine Similarity (দুই vector এর angle এর cosine, -1 থেকে 1)। Euclidean distance, Dot product, Jaccard similarity — অন্যান্য variants।

Cosine similarity এর intuition সহজ: দুই vector কে arrow হিসেবে কল্পনা করুন। এদের মাঝে কত ডিগ্রী angle? 0° হলে cosine = 1 (perfectly similar)। 90° হলে cosine = 0 (unrelated)। 180° হলে cosine = -1 (opposite)। সবচেয়ে বড় সুবিধা — vector এর length এ effect পড়ে না, শুধু direction matter করে। মানে দুটো document এর length আলাদা হলেও cosine ঠিক compare করে।

• Search engine ranking — query vs document এর cosine।
• Recommendation — 'similar products', 'similar users'।
• Plagiarism detection — দুই document কত মিল।
• Chatbot — user question vs FAQ এর match।
• Vector database (Pinecone, FAISS) — billion-vector এর nearest neighbor search এ cosine।
• RAG system (ChatGPT এর custom data version) — কোন chunk relevant তা cosine দিয়ে বের করে।

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

documents = [
    "I love Bangla NLP and machine learning",
    "Machine learning is a part of artificial intelligence",
    "Bangla is a beautiful language with rich literature",
    "Cricket is the most popular sport in Bangladesh",
]

# Step 1: TF-IDF vectors
tfidf = TfidfVectorizer(stop_words="english")
vectors = tfidf.fit_transform(documents)

# Step 2: Cosine similarity matrix
sim_matrix = cosine_similarity(vectors)
print("Cosine Similarity Matrix:")
for i, row in enumerate(sim_matrix):
    print(f"Doc{i+1}: {[round(s, 3) for s in row]}")

# Step 3: Semantic search example
query = "AI and machine learning"
query_vec = tfidf.transform([query])
sims = cosine_similarity(query_vec, vectors).flatten()

print(f"\nQuery: '{query}'")
for idx in sims.argsort()[::-1]:
    print(f"  Score={sims[idx]:.3f} | {documents[idx]}")

# Modern approach: sentence-transformers (semantic, not just keyword)
# pip install sentence-transformers
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("all-MiniLM-L6-v2")

sent1 = "The cat sits on the mat"
sent2 = "A feline rests on a rug"
emb = model.encode([sent1, sent2])
print(f"\nSemantic similarity (Transformer): {cosine_similarity([emb[0]], [emb[1]])[0][0]:.3f}")

# Compare with TF-IDF (keyword-based)
tfidf2 = TfidfVectorizer()
v = tfidf2.fit_transform([sent1, sent2])
print(f"TF-IDF similarity (keyword): {cosine_similarity(v[0], v[1])[0][0]:.3f}")

• Cosine similarity = distance ভাবা — এটা similarity, distance = 1 - similarity।
• Negative score পেয়ে confused হওয়া — কিছু embedding এ possible, TF-IDF এ negative হয় না (সব 0+)।
• Vector length এ confused হওয়া — cosine length-independent, এটাই এর শক্তি।
• Keyword matching expect করে semantic similarity পেতে চাওয়া — সেজন্য Sentence Transformer ব্যবহার করুন।
• Million vectors এ brute-force cosine চালানো — production এ FAISS, Annoy, Pinecone ব্যবহার করুন।

1. Cosine formula হাতে calculate করুন: A=[1,2,3], B=[2,4,6] — score কী হবে? (Hint: 1)
2. Sentence-Transformer দিয়ে ৫টা sentence এর similarity matrix বানান।
3. Euclidean distance এবং cosine similarity এর result compare করুন একই vector pair এ।
4. একটা FAQ list বানান (১০টা QA pair)। User একটা query দিলে cosine দিয়ে best match return করুন।

• Cosine Similarity = দুই vector এর angle এর cosine (1 = same, 0 = unrelated)।
• Length-independent — তাই text length আলাদা হলেও কাজ করে।
• TF-IDF + cosine = keyword similarity। Sentence Transformer + cosine = semantic similarity।
• Search, recommendation, RAG, vector database — সবার heart।
• Phase 2 complete! আপনি এখন text কে number এ convert করে compare করতে পারেন — Classical NLP এর master।