NER sistemler…

Daha önce Information Extraction ve Named Entity Recognition ile ilgili bir yazı yazmıstım.

NER (Named Entity Recognition) sistemler ile ilgili araştırmalara devam ederken bu adresteki yazıyla karşılaştım. Burada bir NER sistemi oluşturulurken karşılaşabileceğimiz durumların ve dikkate almamız gereken bir takım soruların açıklandığı bir e-mail bulunmakta. İçerisindeki bilgiler gerçekten yararlı ve dikkate almaya değer türden. Bu maddelerin burada kısaca üzerinden geçmek istiyorum. (Maddelerin bir kısmı projeyle ilgili özel noktaları içeriyor, ben NER sistemi ile ilgili daha genel noktalar ile ilgili kısımlara değineceğim.)

- NER sistemler genellikle non-fiction diye tabir edilen yaşanmış olayları içeren metinler üzerinde daha başarılı sonuçlar elde etmekte. NER sistemler için kullanılan sözlükler gerçek hayat varlıklarını içerdiği için kurgusal metinleri işlemek için kullanıldığında eşleşen sözcükler az olacaktır bu sebeple başarı oranı yaşanmış hikayelere göre daha az olacaktır.

Örneğin:

Bir hikayede geçen Humpty-Dumpty ismi ile gerçekte bir insan mı, coğrafi bir yer adı mı ifade edildiğini anlamak zor olcaktır ve elimizdeki sözlükler bunun için doğru sonucu bize vermeyebilir.

- Bir alan üzerinde yapılmış NER çalışmaları başka bir konudaki metinler için başarılı sonuçlar çıkarmayabilir. Tıp ile ilgili metinlerde geçen terimleri doğru olarak bulan bir sistem günlük haberler için doğru sonuçlar vermeyebilir. Ancak sistemler farklı alanlar için eğitilebilir.

- Bazı NER sistemleri part-of-speech tagging yapılmış metinlerle çalışırken bazıları istatistiksel modeller kullanabilir. Bazıları seçilen dilin kurallarına göre işlem yapabilir.

- Düşünülmesi gereken başka bir nokta varlık isimleri bir kere bulunduktan sonra nasıl yapılarda saklanmalı sorusu. Yakalanan varlık isimleri daha sonra sorgulanabilen ve sorgulara yanıt verebilecek şekilde tutulmalı. (Bunun için bir kaç örnek var orjinal metinde)

- Bir başka problem olarak şunun üzerinde durulmuş. Gerçek bir insan okuyucu bir metinde geçen özel ismin kişi ismi mi yoksa coğrafi bir yer ismi mi olduğunu ayırt edemezse, bunu bir NER sistemin de ayırt etmesi imkansız olacaktır.