METODOLOJİ BÖLÜM 05

Deneysel Sonuçlar ve Değerlendirme

Pipeline funnel, manuel değerlendirme, ablation ve false positive analizleri üzerinden sistem davranışının incelenmesi.

Bu dokümantasyonda, HDBSCAN tabanlı uyuşmazlık tespit yaklaşımının 20.902 makalelik veri seti üzerinde uygulanması sonucunda elde edilen çıktılar değerlendirilmektedir. Pipeline boyunca aday havuzunun daralması, nihai adayların manuel değerlendirme sonuçları, sistem bileşenlerinin katkısını inceleyen ablation analizi ve yanlış pozitif kayıtların hata yapısı ayrı başlıklar altında sunulmaktadır.

1. Pipeline Funnel Sonuçları

HDBSCAN tabanlı yaklaşımın uygulanması sırasında başlangıç veri setinden nihai manuel inceleme havuzuna kadar gerçekleşen aday daralması aşağıdaki tabloda gösterilmektedir:

Aşama İşlem / Koşul Kalan Kayıt Başlangıca Oranı
1. Başlangıç Veri Seti Analize dahil edilen TR Dizin makaleleri 20.902 %100.00
2. HDBSCAN Küme Dağılımı 11.584 kümelenmiş (%55.42) / 9.318 gürültü (%44.58) 20.902 %100.00
3. Ön Aday Belirleme supheli_mi == 1 705 %3.37
4. Semantik Sıkılaştırma label_sim_fark >= 0.09 642 %3.07
5. Nihai İnceleme Havuzu Ana disiplin / alt alan koşulları ve nihai filtreler 388 %1.86

Pipeline sonucunda başlangıçtaki 20.902 makalenin 388'i manuel değerlendirme için nihai aday havuzuna dahil edilmiştir. Bu kayıtlar başlangıç veri setinin yaklaşık %1.86'sına karşılık gelmektedir.

2. Manuel Değerlendirme

Nihai inceleme havuzunda yer alan 388 aday kayıt manuel olarak değerlendirilmiş ve mevcut konu atamasındaki uyuşmazlığın niteliğine göre TP-1, TP-2 veya FP sınıflarından biri atanmıştır:

Değerlendirme Kayıt Sayısı Oran Açıklama
TP-1 43 %11.08 Mevcut konu atamasında gerçek bir yanlışlık veya değiştirilmesi gereken bir uyumsuzluk bulunmaktadır.
TP-2 186 %47.94 Mevcut konu ataması büyük ölçüde geçerlidir; ancak yayın disiplinlerarası yapı veya eksik ikincil alan nedeniyle konu zenginleştirmesi gerektirmektedir.
FP 159 %40.98 Sistem tarafından uyuşmazlık adayı olarak belirlenmiş olmasına rağmen mevcut konu ataması manuel değerlendirmede uygun bulunmuştur.
Toplam 388 %100.00 Audited Precision: (TP-1 + TP-2) / 388 = %59.02
Değerlendirme Ayrımı: Bir yayında mevcut konu atamasına ilişkin gerçek bir sorun bulunmasının tespit edilmesi ile sistemin önerdiği alternatif kategorinin doğru olması aynı değerlendirme problemi değildir. Özellikle TP-2 kayıtlarında sistem uyuşmazlığı doğru biçimde belirlemiş olsa bile önerilen kategori tek veya nihai doğru alternatif olmayabilir.

3. Ablation Analizi

Taksonomi, kNN ve GLOSH bileşenlerinin aday belirleme sürecindeki katkısını incelemek amacıyla dondurulmuş parametrelerle dört farklı sistem varyantı karşılaştırılmıştır:

Varyant Yapı Aday Denetlenmemiş TP-1 TP-2 FP Audited Precision
A Taksonomi Baseline 1.600 1.212 43 186 159 %59.02
B Taksonomi + GLOSH 560 409 18 65 68 %54.97
C Taksonomi + kNN 384 0 42 186 156 %59.38
D Taksonomi + kNN + GLOSH 388 0 43 186 159 %59.02

Temel Bulgular:

  • kNN'nin aday havuzuna etkisi: kNN, aday havuzunu güçlü biçimde daraltan temel yerel doğrulama bileşenidir. Taksonomi + kNN varyantı 384 aday üretirken, manuel olarak doğrulanmış TP-1 kayıtlarının 42/43'ünü ve TP-2 kayıtlarının 186/186'sını korumuştur.
  • GLOSH'un tamamlayıcı katkısı: Tam sistem, Taksonomi + kNN varyantına göre dört ek kayıt yakalamıştır. Bu dört kaydın biri TP-1, üçü FP olarak değerlendirilmiştir. Bu sonuç GLOSH'un sistemde sınırlı, tamamlayıcı bir aykırılık sinyali sağladığını göstermektedir.
  • Denetlenmemiş kayıtların yorumu: Varyant A'daki 1.212 ve Varyant B'deki 409 kayıt manuel olarak değerlendirilmemiştir. Bu nedenle söz konusu kayıtlar FP olarak kabul edilemez ve bu varyantların performansı yalnızca denetlenmiş kayıtlar üzerinden yorumlanmalıdır.

4. False Positive Hata Analizi

Manuel değerlendirmede FP olarak sınıflandırılan 159 kayıt, sistemin hangi semantik yapılarda yanlış pozitif üretmeye eğilimli olduğunu incelemek amacıyla hata mekanizmalarına göre analiz edilmiştir:

Hata Mekanizması Kayıt Oran Açıklama
Neighboring discipline drift 36 %22.64 Birbirine yakın disiplinlerin semantik olarak ayrıştırılamaması.
Object / material → discipline 26 %16.35 İncelenen nesne veya materyalin ait olduğu alanın araştırmanın disiplini gibi algılanması.
Context / domain transfer 18 %11.32 Çalışmanın uygulama bağlamının araştırmanın temel disiplini gibi değerlendirilmesi.
Method → discipline 17 %10.69 Kullanılan yöntem veya aracın ait olduğu disiplinin araştırmanın temel alanı gibi algılanması.
Semantic hub / unrelated drift 17 %10.69 Genel veya yaygın semantik ifadeler nedeniyle temsilin farklı bir alana yönelmesi.
Keyword / surface-form trap 16 %10.06 Başlık, özet veya anahtar kelimelerdeki belirgin yüzey terimlerinin semantik temsili yanıltması.
Research topic → discipline 15 %9.43 Araştırılan konunun, araştırmanın yürütüldüğü bilimsel disiplin yerine baskın hale gelmesi.
Cross-domain transfer 11 %6.92 Birden fazla alanla ilişkili içerikte semantik temsilin farklı disiplin yönüne kayması.
Polysemy / sense 3 %1.89 Aynı veya benzer terimlerin farklı disiplinlerde farklı anlamlarda kullanılmasından kaynaklanan semantik karışma.
Temel Metodolojik Çıkarım: False positive analizi, semantik benzerliğin tek başına bilimsel disiplin eşdeğerliği olarak yorumlanamayacağını göstermektedir. Araştırmanın yöntemi, nesnesi, materyali, konusu veya uygulama bağlamı embedding uzayında güçlü bir semantik sinyal oluşturabilir; ancak bu sinyal her zaman çalışmanın temel bilimsel disiplinini temsil etmez.

5. Production Dışı Araştırmalar

ÖNEMLİ METODOLOJİK BİLGİLENDİRME:

Bu bölümde açıklanan Role-Aware Verification, Oracle Deneyi ve Otomatik Rol Sınıflandırma çalışmaları yalnızca deneysel araştırma ve hata analizi amacıyla gerçekleştirilmiştir. Bu yöntemler mevcut production pipeline'ına dahil edilmemiştir ve sistem kararlarında kullanılmamaktadır.

Production pipeline'ının geliştirilmesi sırasında, özellikle yanlış pozitiflerin nedenlerini anlamak ve azaltma potansiyeli taşıyan ek yaklaşımları değerlendirmek amacıyla bazı çevrimdışı deneyler gerçekleştirilmiştir.

5.1 Role-Aware Verification Deneyi

False positive analizinde, bazı yayınların alternatif disiplinlere yönelmesinin makalenin temel araştırma odağından değil; kullanılan yöntem, incelenen materyal, uygulama bağlamı veya örneklem gibi ikincil unsurlardan kaynaklanabildiği gözlenmiştir. Bu gözlem doğrultusunda, semantik sinyalin makalenin Research Focus unsurundan mı yoksa ikincil rollerden mi kaynaklandığını ayırt etmeye yönelik deneysel bir doğrulama yaklaşımı incelenmiştir.

Manuel olarak doğrulanmış rol bilgileri kullanıldığında, bu tür ikincil rol kaynaklı sinyaller FP grubunda %45.28 (72/159), TP grubunda ise %15.28 (35/229) oranında gözlenmiştir. Bu fark, rol bilgisinin yanlış pozitiflerin önemli bir bölümünü açıklayabildiğini göstermiştir (Odds Ratio = 4.59, p = 1.11 × 10^-10).

5.2 Oracle Deneyi

Manuel olarak doğrulanmış rol bilgisi kusursuz biçimde biliniyormuş gibi kullanıldığında FP sayısı %45.28 oranında azalmış ve audited precision %69.04'e yükselmiştir. Bununla birlikte, 5 TP-1 ve 30 TP-2 olmak üzere toplam 35 gerçek pozitif kayıt da elenmiştir. Bu sonuç, rol bilgisinin FP azaltma potansiyeli taşımasına rağmen doğrudan filtre olarak kullanılmasının gerçek uyuşmazlıkların kaybedilmesine yol açabileceğini göstermiştir.

5.3 Otomatik Rol Sınıflandırma Deneyi

Rol ayrımını otomatikleştirmek amacıyla MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7 modeli kullanılarak çok dilli zero-shot NLI tabanlı bir sınıflandırma deneyi gerçekleştirilmiştir:

Metrik Sonuç
Balanced Accuracy %49.81
MCC -0.004
Çok Sınıflı Macro-F1 %12.05

Model özellikle Method, Material ve Context rollerini güvenilir biçimde ayıramamış; otomatik rol çıkarımı production kullanımına uygun bir ayrım gücü gösterememiştir.

Production Kararı: Role-Aware Verification yaklaşımı deneysel araştırma olarak değerlendirilmiş, otomatik sınıflandırıcının yetersiz performansı ve gerçek pozitif kayıtları kaybetme riski nedeniyle production pipeline'ına dahil edilmemiştir.

6. Literatür Temelli Tasarım Kararları

Sistem mimarisinin geliştirilmesi sırasında akademik literatürdeki doküman kümeleme, etiket uyuşmazlığı tespiti ve yerel komşuluk tabanlı doğrulama çalışmaları incelenmiştir. Bu çalışmalar production pipeline'ına birebir aktarılmamış; proje problemine uygun görülen yöntem ve tasarım ilkeleri TR Dizin veri yapısına uyarlanmıştır:

6.1 Kümeleme ve Görselleştirme Uzaylarının Ayrılması

An Empirical Configuration Study of a Common Document Clustering Pipeline çalışmasında yüksek boyutlu doküman embeddinglerinin doğrudan düşük boyutlu görselleştirme uzayında kümelenmesinin bilgi kaybına yol açabileceği; kümeleme için ara boyutlu bir temsil kullanılmasının daha uygun olduğu gösterilmektedir. Bu bulgudan hareketle production pipeline'ında 768 boyutlu MPNet embeddingleri HDBSCAN öncesinde UMAP ile 15 boyuta indirgenmekte; 2D UMAP ise yalnızca görselleştirme amacıyla ayrı olarak üretilmektedir.

6.2 Yüksek Boyutlu Metin Temsillerinde Kümeleme

Is Neural Topic Modelling Better than Clustering? ve WEClustering: Word Embeddings Based Text Clustering Technique for Large Datasets çalışmaları, kaliteli bağlamsal embeddinglerin boyut indirgeme ve kümeleme yöntemleriyle birlikte kullanılmasının metin kümelerinin oluşturulmasında etkili bir yaklaşım olduğunu göstermektedir.

6.3 Semantik İçerik ve Kategori Temsilinin Karşılaştırılması

Sanitizing Manufacturing Dataset Labels Using Vision-Language Models çalışmasında örneklerin semantik temsilleri ile mevcut ve alternatif etiket temsilleri arasındaki benzerliklerin karşılaştırılmasına dayanan yaklaşım, TR Dizin bağlamında metin tabanlı olarak makale metni ↔ TR Dizin taksonomi yolu karşılaştırmasına uyarlanmıştır.

6.4 Yerel Komşuluk Tabanlı Doğrulama

Desmond et al. tarafından sunulan Label Noise in Context çalışmasında potansiyel etiket hatalarının yalnızca tek bir model skoru yerine yerel komşuluk bağlamıyla değerlendirilmesi ele alınmıştır. Bu ilke sistemde kNN tabanlı yerel doğrulama katmanı olarak kullanılmıştır.

6.5 Manuel İnceleme ve Aday Önceliklendirme

Müller ve Markert'in Identifying Mislabeled Instances in Classification Datasets çalışması, tüm veri setini denetlemek yerine şüpheli kayıtları önceliklendirerek insan incelemesine sunma yaklaşımını ele almaktadır. Sistemimiz de otomatik relabeling yerine uzman incelemesine aday havuzu sunmaktadır.

6.6 İncelenen Alternatif Yaklaşımlar

Literatür araştırması sırasında Contractive Autoencoder gibi alternatif temsil öğrenimi yaklaşımları incelenmiş ancak UMAP'in koruyucu manifold yapısı ve kümeleme başarısı nedeniyle tercih edilmemiştir.

7. Parametrelerin Kanıt Durumu

Production pipeline'ında kullanılan model, parametre ve karar eşiklerinin tamamı aynı düzeyde deneysel doğrulamaya sahip değildir. Aşağıdaki tablo, mevcut seçimlerin dayandığı kanıt durumunu göstermektedir:

Bileşen / Parametre Seçilen Değer Kanıt Durumu Açıklama
Embedding Modeli paraphrase-multilingual-mpnet-base-v2 Experimentally supported Alternatif embedding modelleriyle karşılaştırılmış; incelenen kümeleme metriklerinde en uygun sonucu verdiği için seçilmiştir.
UMAP Boyutu n_components = 15 Heuristic baseline Ara temsil boyutu olarak kullanılmıştır; farklı boyutlar üzerinde sistematik optimizasyon yapılmamıştır.
UMAP Komşuluk n_neighbors = 15 Heuristic baseline Başlangıç parametresi olarak kullanılmıştır.
HDBSCAN min_cluster_size 10 Heuristic baseline Production pipeline'ında kullanılan başlangıç değeridir; grid search uygulanmamıştır.
HDBSCAN min_samples 5 Heuristic baseline Production pipeline'ında kullanılan başlangıç değeridir.
kNN Komşu Sayısı k = 10 Heuristic baseline Yerel komşuluk analizi için sabit komşu sayısı olarak kullanılmıştır.
kNN Arama Modu exact=True Operational decision Yaklaşık aramadan kaynaklanabilecek sapmaları önlemek amacıyla kesin vektör sorgusu tercih edilmiştir.
Ön Semantik Eşik sim_fark > 0.08 Heuristic / manual baseline Ön aday belirleme aşamasında kullanılan sezgisel karar eşiğidir.
Nihai Semantik Eşik label_sim_fark >= 0.09 Heuristic / manual baseline Nihai aday havuzunda semantik koşulu sıkılaştırmak için kullanılan sezgisel eşiktir.
kNN Impurity >= 0.50 Heuristic / manual baseline Yerel komşuluğun en az yarısında mevcut kategoriyle uyuşmazlık aranmasını sağlayan karar eşiğidir.
Ana Disiplin Baskınlığı >= 0.30 Heuristic / manual baseline Ana disiplin adaylarında yerel komşuluk desteği için kullanılan eşiktir.
Alt Alan Baskınlığı >= 0.40 Heuristic / manual baseline Alt alan düzeyindeki nihai aday filtresinde kullanılan daha sıkı komşuluk koşuludur.
GLOSH Eşiği > 0.70 Heuristic / manual baseline Ön aday kuralında güçlü yoğunluk aykırılığı sinyali olarak kullanılan sezgisel eşiktir.
Risk Ağırlıkları 0.40 / 0.35 / 0.25 Heuristic composite baseline kNN impurity, semantik fark ve GLOSH katkılarını birleştiren sezgisel ağırlıklardır.

8. Metodolojik Sınırlılıklar

Elde edilen sonuçlar değerlendirilirken aşağıdaki metodolojik sınırlılıkların dikkate alınması gerekmektedir:

  • Doğrulama havuzunun aday temelli olması: Manuel değerlendirme, sistem tarafından nihai aday olarak belirlenen 388 kayıt üzerinde gerçekleştirilmiştir. Sistem tarafından aday olarak seçilmeyen yayınların tamamı manuel olarak incelenmediği için kaçırılan gerçek uyuşmazlıkların sayısı bilinmemektedir. Bu nedenle sistemin genel recall değeri mevcut değerlendirme üzerinden hesaplanamaz.
  • Semantik benzerlik disiplin kimliği değildir: Makale içeriğinde geçen yöntem, materyal, araştırma konusu veya uygulama bağlamı gibi unsurlar embedding uzayında güçlü semantik ilişkiler oluşturabilir. Bu nedenle yüksek semantik benzerlik doğrudan bilimsel disiplin eşdeğerliği olarak yorumlanamaz.
  • Anomali tespiti ile kategori önerisi farklı problemlerdir: Mevcut konu atamasında bir uyuşmazlık bulunduğunun doğru biçimde işaretlenmesi, sistem tarafından önerilen alternatif kategorinin mutlaka doğru olduğu anlamına gelmez. Bu ayrım özellikle disiplinlerarası TP-2 kayıtlarında önem taşımaktadır.
  • Parametre seçimlerinin sınırlı deneysel doğrulaması: Embedding modeli karşılaştırmalı deneylerle seçilmiş olmakla birlikte, UMAP, HDBSCAN, kNN ve karar eşiklerinin büyük bölümü sistematik hiperparametre optimizasyonu yapılmadan kullanılan sezgisel başlangıç değerleridir.
  • Manuel değerlendirme gereksinimi: Sistem farklı uyuşmazlık göstergelerini bir araya getirerek inceleme havuzunu daraltmakta, ancak nihai kategori kararını otomatik olarak vermemektedir. Özellikle disiplinlerarası ve semantik olarak yakın alanlarda uzman değerlendirmesi gerekliliğini korumaktadır.