Açıklanabilirlik
Açıklanabilir Yapay Zekâ’nın Tanımı ve Önemi
Açıklanabilir Yapay Zekâ (AYZ - Explainable Artificial Intelligence/XAI) terimi, karmaşık yapay zekâ sistemlerinin karar verme gerekçelerinin insan tarafından anlaşılabilir çıktılar kümesine dönüştürülmesini ifade eder. Bu tür çıktılar, kural kümelerinden girdi görüntülerinin ısı haritalarına kadar değişebilir ve örneğin görseller için genellikle bir YZ modelinin karar vermek için kullandığı görsel bölümlerini belirtir.
Kullanıcı dostu olma ve şeffaflık gibi AYZ ile ilgili terimler onlarca yıldır tartışılsa da derin öğrenmeye dayalı YZ algoritmalarının hızlı gelişmesiyle birlikte, daha karmaşık açıklanabilirlik yöntemlerine ve bununla ilgili terimlerin daha net tanımlarına ihtiyaç duyulmuştur. Bu gereksinimin arkasındaki neden, derin sinir ağlarının içsel yapısıyla güçlü bir şekilde ilişkilidir. Bu tür ağlar, çok sayıda veriyi birçok iterasyonda işleyerek ağ ağırlıklarını (girdiye dayalı olarak ağın amacını gerçekleştiren ağ parametreleri) değiştiren algoritmalar temelinde eğitilir. Parametre sayısı genellikle milyonlardan milyarlara kadar değişmektedir.
AYZ'nin Amaçları
Yukarıda bahsedilen nedenlerden ötürü, derin sinir ağlarının davranışını insanlar tarafından açıklamak neredeyse imkansızdır. İçsel karar verme kuralları insan anlayışına kapalı olan bu tür açıklanması zor (veya neredeyse imkansız) YZ modelleri, kara kutu modelleri olarak adlandırılır. YZ günlük hayatımızda giderek daha etkili hale geldikçe, finans, sağlık hizmetleri ve otonom sürüş gibi kritik alanlarda kullanılan uygulamaların sayısı artmaktadır. Bu durum, hem kullanıcıların hem de geliştiricilerin YZ tarafından verilen kararların altında yatan gerekçeleri açıklamak istemesi nedeniyle AYZ'ye olan ihtiyacı daha da önemli hale getirmektedir.
Kimlerin Neden AYZ'ye İhtiyacı Var?
AYZ özellikle üç grup için önemlidir[1]:
- YZ sistemini kullanan kişiler
- YZ kararlarından etkilenen kişiler
- YZ algoritmalarının geliştiricileri
Birinci gruba örnek olarak, otomatik olarak oluşturulan tanı raporları öneren bir YZ sistemini kullanan tıp doktorları verilebilir. Alan uzmanı olarak bir tıp doktoru, genellikle daha ileri incelemeler yapmak için tanının arkasındaki gerekçeyi anlamak isteyecektir. İkinci grup, yukarıdaki senaryoda hasta olan veya YZ tabanlı bir karar verme sistemi tarafından kredisi reddedilen kişi gibi YZ uygulamasının son kullanıcılarından oluşur. Bu kullanıcılar da kararın hayatlarını doğrudan etkilemesi nedeniyle gerekçesini anlamak isteyeceklerdir. Son olarak, üçüncü gruptaki YZ sistemlerinin geliştiricileri, modellerinin sağlamlığını artırmak ve zayıf yönlerini tespit etmek için davranışlarını anlamak isteyeceklerdir. Geliştiriciler tarafından bir diğer kullanım senaryosu ise verilerdeki ön yargıyı tespit etmek ve nasıl ortadan kaldırılacağını bilmektir.
DÜZENLEME VE POLİTİKA
DARPA'nın AYZ Programı
2017'de önerilen program, 2017-2021 yılları arasında gerçekleştirilmiştir. Programın temel amacı, "daha açıklanabilir modeller üreten" ve "insan kullanıcıların ortaya çıkan yapay zekâlı ortakları anlamasını, uygun şekilde güvenmesini ve etkili bir şekilde yönetmesini sağlayan" makine öğrenimi teknikleri geliştirmekti. Program temel olarak açıklanabilir öğreniciler geliştirmeye, açıklanabilirliği iyileştirmek için insan psikolojisini anlamaya ve AYZ tekniklerini değerlendirmeye odaklanmıştır. Çeşitli araştırma gruplarının katılımı ve değerlendirme prosedürlerine katkıda bulunan birçok kullanıcı ile yapılan çalışmalarla, AYZ hakkında önemli iç görüler elde edilmiştir (Ayrıntılı bilgi için bkz[2]).
