METODOLOJİ BÖLÜM 02

Semantik Temsil

Makale metinlerinin multilingual MPNet modeli ile yüksek boyutlu semantik vektörlere dönüştürülmesi ve embedding kıyaslama analizleri.

1. Metin Temsilinin Oluşturulması

Embedding aşamasında, veri hazırlama sürecinden elde edilen makale başlığı, özet ve anahtar kelimeleri birleştirilerek her yayın için tek bir metin gövdesi oluşturulmuş ve bu metinler, içerikler arasındaki anlamsal ilişkilerin sayısal olarak incelenebilmesi amacıyla yüksek boyutlu vektör temsillerine dönüştürülmüştür.

Her makale için oluşturulan metin bloğu; Türkçe ve İngilizce gibi çok dilli akademik terminolojiyi, araştırma yöntemlerini ve disiplin bağlamını içeren birleşik bir anlamsal yapı sunar.

2. Embedding Modeli ve Parametreleri

Yapılan model karşılaştırmaları sonucunda sentence-transformers/paraphrase-multilingual-mpnet-base-v2 modeli tercih edilmiş ve her makale için 768 boyutlu, L2 normalize edilmiş bir embedding vektörü üretilmiştir.

  • Model: paraphrase-multilingual-mpnet-base-v2
  • Vektör Boyutu: 768 boyut (dense vector)
  • Normalizasyon: normalize_embeddings = True (L2 normalizasyonu)
  • Mesafe / Benzerlik Metriği: Kosinüs Benzerliği (Cosine Similarity) — L2 normalize edilmiş vektörlerde iki vektörün iç çarpımı (dot product) doğrudan kosinüs benzerliğine karşılık gelmektedir.

Elde edilen vektörler, sonraki aşamalarda makaleler arasındaki semantik benzerliklerin hesaplanması, yerel komşuluk ilişkilerinin oluşturulması ve kümeleme analizlerinin gerçekleştirilmesi için ortak temsil olarak kullanılmıştır.

3. Embedding Modeli Seçim Deneyleri

Model seçimi, 6.964 makale ve 195 alt alan üzerinde yürütülen kontrollü kümeleme kıyaslamasıyla ampirik olarak doğrulanmıştır:

Model Vektör Boyutu Silhouette Skoru Davies-Bouldin Calinski-Harabasz Tekil Küme (Singleton) Süre (s)
paraphrase-multilingual-mpnet-base-v2 768 +0.0049 2.8914 19.9917 18 169.72
multilingual-e5-base 768 -0.0384 3.1420 12.8741 42 210.45
bge-m3 1024 -0.0504 3.3105 11.2304 55 452.18
Karşılaştırma Değerlendirmesi: MPNet, test edilen modeller arasında pozitif Silhouette üreten tek model olmuş, en düşük Davies-Bouldin indeksini ve en az izole singleton (tek elemanlı) kümeyi oluşturmuştur. Ayrıca 169.72 saniyelik üretim süresiyle hesaplama verimliliği açısından da en optimum sonucu vermiştir.