Yüz tanıma algoritmaları genellikle beyaz yüzler kullanılarak test edilir ve bu da teknolojinin ırksal bireyler arasında ayrım yapamamasına neden olur. (Shutterstock)
Detroit polisi, Ocak 2020'de Robert Julian-Borchak Williams'ı haksız yere tutukladı iki yıl önce meydana gelen bir mağaza hırsızlığı olayı için. Williams'ın olayla hiçbir ilgisi olmamasına rağmen, Michigan Eyalet Polisi tarafından kullanılan yüz tanıma teknolojisi, yüzünü bir mağaza içi gözetim videosundan elde edilen grenli bir görüntüyle "eşleştirdi" ve başka bir Afrikalı Amerikalı'nın 3,800 ABD doları değerinde saat aldığını gösterdi.
İki hafta sonra, savcılığın talebi üzerine dava reddedildi. Ancak, hatalı eşleşmeye dayanarak, polis Williams'ı ailesinin önünde kelepçelemiş ve tutuklamış, onu bir kupa fotoğrafı, parmak izleri ve DNA örneğini vermeye zorlamış, sorgulamış ve bir gecede hapse atmıştır.
Uzmanlar, Williams'ın yalnız olmadığını ve başkalarının da benzer adaletsizliklere maruz kaldığını öne sürüyor. Clearview AI'nın polis kullanımı ile ilgili devam eden tartışma, kesinlikle yüz tanıma teknolojisinin oluşturduğu gizlilik risklerinin altını çiziyor. Ama bunun farkına varmak önemli hepimiz bu riskleri eşit olarak taşımıyoruz.
Irkçı algoritmaları eğitmek
Yüz tanıma teknolojisi Kafkas yüzlerine göre eğitilmiş ve ayarlanmış ırkçı bireyleri sistematik olarak yanlış tanımlar ve yanlış etiketler: çok sayıda araştırma, yüz tanıma teknolojisinin "renkli insanlara karşı kullanıldığında önemli ölçüde daha yüksek hata oranlarıyla kusurlu ve önyargılı".
Bu ırkçı kişilerin bireyselliğini ve insanlığını baltalıyor suçlu olarak yanlış tanımlanma olasılığı daha yüksek olan Teknoloji - ve yaptığı tanımlama hataları - ırkçılık, cinsiyetçilik, homofobi, yerleşimci-sömürgecilik ve diğer kesişen baskılarla derinden iç içe geçmiş sosyal bölünmeleri yansıtıyor ve daha da güçlendiriyor.
{vembed Y=vSuDE6wvQlU}
Yüz tanıma teknolojisindeki ırksal önyargı üzerine bir France24 araştırması.
Teknoloji kullanıcıları nasıl sınıflandırır?
Ezber bozan 1993 kitabında, Panoptik SıralamaAkademisyen Oscar Gandy, "bireyler ve gruplar hakkında günlük yaşamları boyunca üretilen bilgilerin toplanmasını, işlenmesini ve paylaşılmasını içeren karmaşık teknolojinin ... yaşamı tanımlayan ürünlere ve hizmetlere erişimlerini koordine etmek ve kontrol etmek için kullanıldığı" konusunda uyardı. modern kapitalist ekonomi. " Kolluk kuvvetleri, şüphelileri genel halktan koparmak için kullanır ve özel kuruluşlar, bu gibi şeylere erişimimiz olup olmadığını belirlemek için kullanır. bankacılık ve iş.
Gandy, kontrol edilmezse, bu "sibernetik triyaj" biçiminin eşitlik arayan toplulukların üyelerini katlanarak dezavantajlı duruma getireceği konusunda uyarmıştı. kendilerini nasıl anlayabileceklerini.
Yaklaşık 25 yıl sonra, şimdi steroidler üzerinde panoptik türle yaşıyoruz. Williams'ın yanlış tanımlanması gibi, eşitlik arayan topluluklar üzerindeki olumsuz etkilerine dair çok sayıda örnek var.
Önceden var olan önyargı
Algoritmaları kullanan bu sınıflandırma, günlük yaşamın en temel yönlerine sızarak hem doğrudan hem de yapısal şiddete neden olur.
Williams'ın maruz kaldığı doğrudan şiddet, tutuklanmasını ve gözaltına alınmasını çevreleyen olaylarda hemen kendini gösteriyor ve yaşadığı bireysel zararlar apaçıktır ve tutuklama yapmak için teknolojinin “eşleşmesine” güvenmeyi seçen polisin eylemlerine kadar uzanabilir. Daha sinsi yapısal şiddet yüz tanıma teknolojisi ile gerçekleştirildi ve diğer dijital teknolojiler bu, bireyleri önceden var olan ayrımcı kalıpları büyüten şekillerde derecelendirir, eşleştirir, sınıflandırır ve sınıflandırır.
Yapısal şiddetin zararları daha az açık ve daha az doğrudandır ve sistematik güç, kaynak ve fırsat reddi yoluyla eşitlik arayan gruplara zarar verir. Aynı zamanda, bu grupların bireysel üyelerine yönelik doğrudan riski ve zararı artırır.
Tahmine dayalı polislik kullanımları yeni suçların ne zaman ve nerede meydana gelebileceğini tahmin etmek için geçmiş verilerin algoritmik olarak işlenmesi, polis kaynaklarını buna göre tahsis eder ve genellikle düşük gelirli ve ırksal mahallelerdeki topluluklara gelişmiş polis gözetimi yerleştirir. Bu, herhangi bir suç faaliyetinin - aksi takdirde polis müdahalesine yol açmayacak daha az ciddi suç faaliyeti de dahil olmak üzere - tespit edilip cezalandırılması olasılığını artırır ve sonuçta bu ortamda yaşayan insanların yaşam şanslarını sınırlar.
Ve diğer sektörlerdeki eşitsizliklerin kanıtı artmaya devam ediyor. Birleşik Krallık'ta yüzlerce öğrenci felaket sonuçlarına karşı 16 Ağustos'ta protesto Ofqual, Birleşik Krallık hükümetinin hangi öğrencilerin üniversiteye hak kazanacağını belirlemek için kullandığı kusurlu bir algoritma. 2019'da Facebook'un mikro hedefleme reklam hizmeti onlarca kamu ve özel sektör işverenine yardım etti yaşa ve cinsiyete göre insanların iş ilanı almasını engelleyin. ProPublica tarafından yürütülen araştırma belgelendi çevrimiçi ürünler için ırk temelli fiyat ayrımcılığı. Ve arama motorları düzenli olarak ırkçı ve cinsiyetçi sonuçlar üretir.
Sürekli baskı
Bu sonuçlar önemlidir çünkü ırk, cinsiyet ve yaş gibi özelliklere dayalı olarak önceden var olan eşitsizlikleri devam ettirir ve derinleştirir. Ayrıca önemlidirler çünkü kendimizi ve çevremizdeki dünyayı bazen nasıl tanımaya başladığımızı derinden etkilerler. bilgilerin önceden seçilmesi basmakalıp algıları pekiştiren şekillerde alırız. Teknoloji şirketlerinin kendileri bile, Algoritmaların ayrımcılığı devam ettirmesini durdurmanın aciliyeti.
Bugüne kadar teknoloji şirketlerinin kendileri tarafından yürütülen ad hoc araştırmaların başarısı tutarsızdı. Zaman zaman, ayrımcı sistemler üreten şirketler, bunları piyasadan geri çeker. Clearview AI, Kanada'da artık yüz tanıma teknolojisi sunmayacağını duyurdu. Ancak genellikle bu tür kararlar, yalnızca düzenleyici incelemelerden veya kamuoyunun tepkisinden kaynaklanır sonra eşitlik arayışındaki toplulukların üyeleri zaten zarar gördü.
Düzenleyici kurumlarımıza sorunu çözmek için ihtiyaç duydukları araçları vermenin zamanı geldi. Verilerin şirketler tarafından toplanmasını ve başka bir amaçla kullanılmasını sağlamak için bireysel rıza alınmasına dayanan basit gizlilik korumaları, bu kullanımın ayrımcı sonuçlarından ayrı tutulamaz. Bu, özellikle çoğumuzun (teknoloji şirketlerinin kendileri dahil) algoritmaların ne yaptığını veya neden belirli sonuçlar ürettiklerini tam olarak anlayamazlar.
Gizlilik bir insan hakkıdır
Çözümün bir kısmı, mahremiyet ve insan haklarını ayrı sorunlar olarak ele alan mevcut düzenleyici siloların yıkılmasını gerektiriyor. İzne dayalı bir veri koruma modeline güvenmek, mahremiyet ve eşitliğin her ikisinin de ihale edilemeyecek insan hakları olduğu şeklindeki temel ilkeye aykırıdır.
Hatta Kanada'nın Dijital Şartı - federal hükümetin dijital ortamın mevcut durumunun eksikliklerine yanıt vermeye yönelik son girişimi - bu kavramsal ayrımları sürdürüyor. Nefret ve aşırılık, kontrol ve rıza ile güçlü demokrasiyi ayrı kategoriler olarak ele alır.
Algoritmik ayrımcılığı ele almak için, hem mahremiyeti hem de eşitliği insan hakları olarak tanımalı ve çerçevelemeliyiz. Ve her ikisine de eşit derecede özenli ve uzman bir altyapı oluşturmalıyız. Bu tür çabalar olmadan, matematiğin ve bilimin parlak parlaklığı, AI'nın ayrımcı önyargılarını kamufle etmeye devam edecek ve Williams'a uygulanan gibi travestilerin çoğalması beklenebilir.
Yazarlar Hakkında
Hukuk Profesörü ve eQuality Projesi Eş Lideri Jane Bailey, L'Université d'Ottawa / Ottawa Üniversitesi; Jacquelyn Burkell, Yardımcı Başkan Yardımcısı, Araştırma, Western Universityve Valerie Steeves, Profesör, L'Université d'Ottawa / Ottawa Üniversitesi
Bu makale şu adresten yeniden yayınlandı: Konuşma Creative Commons lisansı altında. Okumak Orijinal makale.
Amazon'un En Çok Satanlar listesinden Eşitsizlik Üzerine Kitaplar
"Kast: Hoşnutsuzluklarımızın Kökenleri"
tarafından Isabel Wilkerson
Bu kitapta Isabel Wilkerson, Amerika Birleşik Devletleri de dahil olmak üzere dünyanın dört bir yanındaki toplumlardaki kast sistemlerinin tarihini inceliyor. Kitap, kastın bireyler ve toplum üzerindeki etkisini araştırıyor ve eşitsizliği anlamak ve ele almak için bir çerçeve sunuyor.
Daha fazla bilgi veya sipariş için tıklayın
"Hukukun Rengi: Hükümetimizin Amerika'yı Nasıl Ayırdığına Dair Unutulmuş Bir Tarih"
tarafından Richard Rothstein
Bu kitapta Richard Rothstein, Amerika Birleşik Devletleri'nde ırk ayrımcılığını yaratan ve pekiştiren hükümet politikalarının tarihini araştırıyor. Kitap, bu politikaların bireyler ve topluluklar üzerindeki etkisini inceliyor ve süregelen eşitsizliği ele almak için bir eylem çağrısı sunuyor.
Daha fazla bilgi veya sipariş için tıklayın
"Toplamımız: Irkçılığın Herkese Maliyeti Nedir ve Birlikte Nasıl Başarılı Olabiliriz"
tarafından Heather McGhee
Bu kitapta Heather McGhee, ırkçılığın ekonomik ve sosyal maliyetlerini araştırıyor ve daha eşitlikçi ve müreffeh bir toplum için bir vizyon sunuyor. Kitap, eşitsizliğe meydan okuyan bireylerin ve toplulukların hikayelerinin yanı sıra daha kapsayıcı bir toplum yaratmak için pratik çözümler içeriyor.
Daha fazla bilgi veya sipariş için tıklayın
"Açık Efsanesi: Modern Para Teorisi ve Halk Ekonomisinin Doğuşu"
kaydeden Stephanie Kelton
Bu kitapta Stephanie Kelton, hükümet harcamaları ve ulusal açık hakkındaki geleneksel fikirlere meydan okuyor ve ekonomi politikasını anlamak için yeni bir çerçeve sunuyor. Kitap, eşitsizliği ele almak ve daha eşitlikçi bir ekonomi yaratmak için pratik çözümler içeriyor.
Daha fazla bilgi veya sipariş için tıklayın
"Yeni Jim Crow: Renk Körlüğü Çağında Toplu Hapsedilme"
Michelle Alexander tarafından
Bu kitapta Michelle Alexander, ceza adaleti sisteminin özellikle Siyah Amerikalılara karşı ırksal eşitsizliği ve ayrımcılığı sürdürme yollarını araştırıyor. Kitap, sistemin ve etkisinin tarihsel bir analizini ve ayrıca reform için bir eylem çağrısı içeriyor.
