Veri Hazırlama

1. Veri Hazırlama Süreci

Veri hazırlama aşamasında, TR Dizin sisteminden elde edilen akademik yayın verileri analiz sürecine uygun hale getirilmiştir. Belirli konu alanlarının veri setinde aşırı temsil edilmesini azaltmak ve farklı disiplinlerin analiz sürecinde yeterli düzeyde temsil edilmesini sağlamak amacıyla konu bazlı dengeli örnekleme yaklaşımı uygulanmıştır. Ardından yayınların metinsel içerikleri ve konu/taksonomi bilgileri düzenlenmiş, eksik veya kullanılamayacak kayıtlar filtrelenerek sonraki semantik temsil ve analiz aşamalarında kullanılacak standart veri yapısı oluşturulmuştur.

2. Veri Kaynağı ve Örnekleme

Üretim pipeline'ı toplam 20.902 makale üzerinde yapılandırılmıştır. Veri seti iki temel veri tablosu üzerinden yönetilmektedir:

• data/balanced_articles.csv: Makale üstverilerini, dil seçimlerini, başlık, özet ve birleştirilmiş metin temsillerini tutan ana veri tablosu.
• data/article_subjects.csv: Makalelerin TR Dizin taksonomisindeki konu atamalarını içeren ilişki tablosu.

Veri toplama sürecinde TR Dizin REST API kotalarını aşmamak ve sunucuyu aşırı yüklemeden dengeli bir konu temsili elde etmek amacıyla konu başına hedef makale sayısı, sayfa büyüklüğü ve istekler arası bekleme süreleri belirlenmiştir. Bu ayarlar metodolojik parametreler olmayıp, operasyonel veri toplama kurallarıdır.

3. Metin Alanlarının Hazırlanması

Her yayının semantik içeriğini temsil etmek amacıyla başlık, özet ve anahtar kelimeler birleştirilerek tek bir metin gövdesi (embedding_text) oluşturulmuştur. Bu birleştirme işlemi aşağıdaki standart kurala göre derlenmektedir:

Metin alanlarının hazırlanmasında uygulanan temel veri temizleme ve seçim kriterleri şunlardır:

• Dil Tercihi: Makalede hem Türkçe hem İngilizce üstveri bulunması durumunda öncelikle Türkçe (TUR) kayıt seçilir; Türkçe metin yoksa İngilizce (ENG), o da bulunmuyorsa ilk kullanılabilir kayıt tercih edilir.
• Filtreleme ve Temizlik: Başlıksız kayıtlar, başlık ve özeti aynı anda boş olan makaleler ve birleştirilmiş embedding metni oluşturulamayan kayıtlar analize dahil edilmez.
• Tekilleştirme (Deduplication): external_id alanı üzerinden tekilleştirme yapılarak her makalenin veri setinde yalnızca bir adet benzersiz kayıtla temsil edilmesi sağlanır.

4. Taksonomi Bilgilerinin Hazırlanması

TR Dizin taksonomisinde bir makale birden fazla disipline veya alt alana atanabilmektedir (çoklu etiketlilik / multi-label). Bu hiyerarşik yapı data/article_subjects.csv tablosunda normalize biçimde saklanmaktadır:

Pipeline çalıştırılırken her makalenin atanmış olduğu tüm taksonomi yolları external_id bazında gruplanarak boru (|) karakteri ile birleştirilmektedir. Böylece bir makalenin birden fazla alana ait geçerli atamaları sonraki semantik uyum ve komşuluk analizlerinde eksiksiz olarak dikkate alınmaktadır.