Bir banka veya kredi kartı şirketinden kredi başvurusunda bulunan ve geri çevrilen kişilerin, bunun neden olduğunu açıklamaya borçludurlar. Bu iyi bir fikir - çünkü insanlara zarar görmüş kredilerini nasıl onaracaklarını öğretmeye yardımcı olabilir - ve federal bir yasa Eşit Kredi Fırsatı Yasası. Cevap almak, insanların bu kararları aldıkları geçmiş yıllarda sorun değildi. Ancak günümüzde, yapay zeka sistemleri, kredi kararları alan kişilere giderek daha fazla yardım ettiği veya yerini aldığı için bu açıklamaları almak çok daha zor hale geldi.

Geleneksel olarak, bir başvuruyu reddeden bir kredi memuru, bir borçlunun gelir seviyelerinde veya istihdam geçmişinde bir sorun olduğunu söyleyebilir. sorun neyse. Ancak karmaşık kullanan bilgisayarlı sistemler makine öğrenme modelleri uzmanlar için bile açıklamak zor.

Tüketici kredisi kararları bu sorunun ortaya çıkmasının bir yoludur. Benzer endişeler içinde var sağlık hizmeti, online pazarlama ve hatta ceza adaleti. Bu alana olan ilgim, keşfedildiğim bir araştırma grubuyla başladım. Çevrimiçi reklamların nasıl hedeflendiğine dair cinsiyet önyargıları, ama neden olduğunu açıklayamadım.

Bütün bu endüstriler ve süreçleri analiz etmek ve kararlar almak için makine öğrenmeyi kullanan birçok kişi, sistemlerinin nasıl çalıştığını açıklamak için bir yıldan biraz daha fazla süreye sahip. Mayıs ayında 2018, yeni Avrupa Birliği Genel Veri Koruma Yönetmeliği insanlara hayatlarını etkileyen otomatik kararlar hakkında açıklama yapma hakkı veren bir bölüm de dahil olmak üzere yürürlüğe girer. Bu açıklamalar hangi şekli almalı ve biz gerçekten bunları sağlayabilir miyiz?

Anahtar sebeplerin belirlenmesi

Otomatikleştirilmiş bir kararın neden ortaya çıktığını açıklamanın bir yolu, kararda en etkili olan faktörleri belirlemektir. Başvuranın yeterli para kazanmadığı veya geçmişte kredileri geri ödemede başarısız olduğu için ne kadar bir kredi reddi kararı vardı?

Carnegie Mellon Üniversitesi'ndeki araştırma grubum, doktora öğrencisi Shayak Sen ve sonradan doktora sonrası Yair Zick dahil bağıl etkiyi ölçmek Her faktörün. Buna Nicel Girdi Etkisi diyoruz.

Bireysel bir kararın daha iyi anlaşılmasının yanı sıra, ölçüm aynı zamanda bir grup kararın üzerine de ışık tutabilir: Bir algoritma, bir başvuru sahibinin zaten başka borçlara ne kadar borçlu olduğu gibi finansal endişeler nedeniyle kredileri reddetti mi? Veya başvuru sahibinin ZIP kodu daha mı önemliydi - ırk gibi daha basit demografik yapıların ortaya çıkabileceğini mi ima ediyorsunuz?

Nedensellik yakalama

Bir sistem birden fazla faktöre dayalı kararlar verdiğinde, hangi faktörlerin kararlara neden olduğunu ve göreceli katkısını belirlemek önemlidir.

Örneğin, yalnızca iki girdi alan bir başvuru sahibinin borç / gelir oranı ve ırkı olan ve yalnızca Kafkasyalılar için kredi onayladığı gösterilmiştir. Her bir faktörün karara ne kadar katkıda bulunduğunu bilmek, meşru bir sistem mi yoksa ayrımcılık mı yaptığını anlamamıza yardımcı olabilir.

Bir açıklama sadece girdilere ve sonuca bakabilir ve korelasyonu gözlemleyebilir - Kafkasyalı olmayanlar kredi alamazlardı. Ancak bu açıklama çok basit. Kredileri reddedilen Kafkasyalı olmayanların da, başvuruları başarılı olan Kafkasyalılardan çok daha düşük gelire sahip olduğunu varsayalım. Öyleyse bu açıklama bize başvuranların ırklarının veya borç / gelir oranlarının inkarlara neden olup olmadığını söyleyemez.

Bizim yöntemimiz bu bilgiyi sağlayabilir. Farkı söylemek demek, başvuru sahibinin finansmanı gibi sistemin haksız yere ayrımcılık yapıp yapmadığını veya yasal kriterlere bakıp bakmadığını gösterebileceğimiz anlamına gelir.

Yarışın belirli bir kredi kararındaki etkisini ölçmek için borç / gelir oranını aynı tutarak ancak başvuru sahibinin yarısını değiştirerek başvuru sürecini yineliyoruz. Yarışı değiştirmek sonucu etkiliyorsa, yarışın karar verici bir faktör olduğunu biliyoruz. Olmazsa, algoritmanın sadece finansal bilgilere baktığını söyleyebiliriz.

Sebep olan faktörleri belirlemeye ek olarak, karar üzerindeki göreceli nedensel etkilerini ölçebiliriz. Bunu, faktörü (örneğin, ırkı) rastgele değiştirerek ve sonucun değişme olasılığını ölçerek yapıyoruz. Olasılık olasılığı arttıkça faktörün etkisi de artar.

Toplayıcı etki

Bizim yöntemimiz birlikte çalışan birden fazla faktörü de içerebilir. Üç kriterden ikisini karşılayan başvuru sahiplerine kredi veren bir karar sistemi göz önünde bulundurun: 600'in üstündeki kredi puanı, bir aracın mülkiyeti ve başvuru sahibinin bir ev kredisini tamamen geri ödeyip ödeyemediği. Diyelim ki bir başvuru sahibi, 730 kredi notuna sahip olan ve hiçbir araç ya da ev kredisi almayan Alice kredisinin reddedildiğini söyleyin. Otomobil mülkiyeti statüsünün veya konut kredisi geri ödeme geçmişinin asıl neden olup olmadığını merak ediyor.

Bir benzetme, bu durumu nasıl analiz ettiğimizi açıklamaya yardımcı olabilir. Kararların alındığı, hakemlerden birinin muhafazakar, biri liberal, üçüncüsü ise, herhangi bir meslektaşı ile taraf olabilecek birinin seçebileceği üç hakem heyetinin oyuyla karar verildi. Bir 2-1 muhafazakar kararında, salıncak hakimi, sonuçta liberal hakime göre daha büyük bir etkiye sahipti.

Kredi örneğindeki faktörler üç yargıç gibi. İlk yargıç genel olarak kredi lehine oy kullanır, çünkü birçok başvuru sahibi yeterince yüksek bir kredi puanına sahiptir. İkinci yargıç hemen hemen her zaman krediye karşı oy kullanır, çünkü çok az sayıda başvuru sahibi bir evi ödedi. Bu yüzden karar, Alice'in davasında bir arabasına sahip olmadığı için kredisini reddeden salıncak hakemine verilir.

Bu akıl yürütmeyi kesin olarak kullanarak yapabiliriz. kooperatif oyun teorisifarklı faktörlerin tek bir sonuca nasıl katkıda bulunduğunu daha spesifik bir analiz sistemi. Özellikle, göreceli nedensel etki ölçümlerimizle Shapley değeriBu, etkinin birden fazla faktöre nasıl bağlanacağını hesaplamanın bir yoludur. Bunlar birlikte, Nicel Girdi Etkisi ölçümümüzü oluşturur.

Şimdiye kadar yöntemlerimizi ortak makine öğrenme algoritmalarını gerçek dünya veri setleri ile eğiterek yarattığımız karar sistemleri konusunda değerlendirdik. Gerçek dünyada işteki algoritmaları değerlendirmek, gelecekteki çalışmalar için bir konudur.

Açık bir mücadele

Analiz ve algoritmaların kararları nasıl verdiğinin açıklanması, faktörlerin insanlar tarafından kolayca anlaşıldığı ortamlarda - borç / gelir oranı ve diğer finansal kriterler gibi - en yararlıdır.

Bununla birlikte, daha karmaşık algoritmaların karar verme sürecini açıklamak önemli bir sorun olmaya devam etmektedir. Örneğin, bir görüntü tanıma sistemi kullanın. tümörleri tespit etmek ve izlemek. Belirli bir görüntünün değerlendirmesini tek tek piksellere dayalı olarak açıklamak çok kullanışlı değildir. İdeal olarak, görüntüdeki spesifik tümör özelliklerini belirlemek gibi, karara ek bir bakış açısı sağlayan bir açıklama istiyoruz. Nitekim, bu tür otomatik karar alma görevleri için açıklamalar yapmak birçok araştırmacısını tutmaktadır. meşgul.

Yazar hakkında

Anupam Datta, Bilgisayar Bilimi ve Elektrik ve Bilgisayar Mühendisliği Doçenti, Carnegie Mellon University

Bu yazı orijinalinde Konuşma. Okumak Orijinal makale.

İlgili Kitaplar

at InnerSelf Pazarı ve Amazon