Amazon son zamanlarda teklif vermeye başladı aynı gün teslimat seçilen metropol bölgelerde. Bu, birçok müşteri için iyi olabilir, ancak sunum, bilgisayarlı karar vermenin de nasıl güçlü bir ayrımcılık sunabileceğini göstermektedir.

Makul bir şekilde, şirket, aynı gün teslimat için sık sık ürün alımlarını mümkün kılacak kadar yüksek gelir seviyelerine sahip, mevcut Amazon müşterileri için yoğun nüfuslu yerlerin ZIP kodlarını belirleyerek, teslimat maliyetlerinin düşük olacağı alanlarda hizmet vermeye başladı. Şirket, müşterilere aynı gün içinde teslimatın yapılıp yapılmadığını görmek için posta kodlarını girmelerini sağlayan bir web sayfası sağladı. Bloomberg News’deki araştırmacı gazeteciler bu sayfayı Aynı gün teslimat için Amazon'un servis alanı haritaları oluşturun.

Bloomberg analizi, birçok yoksul kentsel alanın hizmet alanından çıkarıldığını ve daha zengin komşu alanların da dahil edildiğini ortaya koydu. Bu hariç tutulan fakir alanların çoğuna ağırlıklı olarak azınlıklar yerleşmiştir. Örneğin, Boston’daki Roxbury’nin dışındaki tüm yerler kaplandı; New York Şehri kapsama alanı, dört ilçenin neredeyse tamamını içeriyordu, ancak Bronx'u tamamen dışladı; Şikago'nun kapsama alanı, yoksul olan Güney Yakası'nı terk ederken, esasen zengin kuzey ve batı banliyölerine uzanıyordu.

Veriye dayalı kararların tarafsız olduğuna inanmak çekici olsa da, araştırma ve bilimsel tartışma bunu göstermeye başlıyor adaletsizlik ve ayrımcılık devam ediyor. Benim .. De veri etiği çevrimiçi kursu, öğrenciler bunu öğrenir algoritmalar ayırt edebilir. Ancak bir miktar gümüş astar olabilir: Bloomberg araştırmasının önerdiği gibi, verilere dayanan kararlar yanlılığın ne zaman ortaya çıktığını tespit etmeyi de kolaylaştırabilir.

Önyargı istemeden olabilir

Böyle bir haksızlık Amazon'un teslimat politikasında bunun da dahil olduğu birçok nedenden ötürü ortaya çıkabilir. gizli önyargılar - nüfusların eşit dağıldığı varsayımları gibi. Algoritma tasarımcıları muhtemelen ayrımcılık yapmak niyetinde değiller ve bir sorunun çözdüğünü bile fark edemezler.

Amazon, Bloomberg'e ayrımcı bir amacı olmadığını ve bu iddiaya inanmak için her türlü neden olduğunu söyledi. Bloomberg raporuna cevap olarak, Şehir yetkilileri ve diğer politikacılar Amazon'a bu sorunu çözmesi için çağrıda bulundu. Şirket eklemek için hızlı bir şekilde taşındı başlangıçta yoksul kentsel ZIP kodlarını hizmet alanına dahil etmedi.

Benzer bir soru oldu Uber istediBu, daha yüksek oranda beyaz insanın yaşadığı alanlara daha iyi hizmet veriyor gibi görünüyor. Gelecekte keşfedilen kasti olmayan algoritmik ayrımcılığa ilişkin daha fazla perakende ve hizmet sektörü örneği olması muhtemeldir.

Çok fazla algoritma mı soruyorsunuz?

Algoritmik kararların gereğinden fazla talep edip etmediğimizi düşünmek için bir dakikayı duraklatmalıyız. Tuğla ve harç mağazaları işleten şirketler, Amazon'unkinden farklı olmayan kriterleri göz önünde bulundurarak her zaman konum kararları alırlar. Mağazalar, harcayacakları para ile büyük bir potansiyel müşteri havuzu için uygun konumlara sahip olmaya çalışır.

Sonuç olarak, birkaç mağaza şehir içi zavallı semtlerde yer bulmayı tercih ediyor. Özellikle marketler bağlamında, bu fenomen kapsamlı olarak incelenmiştir ve “yemek çölü”Sakinleri taze yiyeceklere kolay erişimi olmayan kentsel alanları tanımlamak için kullanılıyor. Bu konum önyargısı Genel olarak perakende mağazaları için daha az çalışılmıştır.

Gösterge örneği olarak, kapsamlı ve kapsamlı bir perakende zinciri olan Target'in 55 Michigan lokasyonlarına baktım. Her Michigan ZIP kodunu, ortalama gelirinin ilk yarı mı yoksa alt yarı yarıya mı olduğuna göre sıraladığımda, Hedef mağazaların yalnızca 16'inin (yüzde 29) düşük gelir grubundan gelen ZIP kodları olduğunu gördüm. 39 mağazalarının iki katından fazlası, daha zengin olan yarısından itibaren ZIP kodlarına yerleştirildi.

Ayrımcılığın belirlenmesi

Üstelik, Detroit şehrinde hedef mağazalar yok, ancak (zengin) varoşlarında da var. Oysa, Target’ın mağaza yer kararlarında fakir insanlara adaletsiz bir şekilde ayırımcılık yaptığı iddiasıyla popüler bir saldırı yaşanmadı. Amazon hakkındaki endişelerin haklı gösterilmesinin iki ana nedeni var: katılık ve baskınlık.

Sertliğin hem çevrimiçi perakendecinin karar verme süreçleriyle hem de sonuç ile ilgisi var. Amazon hangi ZIP kodlarının servis alanında olduğuna karar verir. Bir müşteri Amazon tarafından belirlenen sınırın hemen karşısında yaşıyorsa, hizmet alanının dışındadır ve bu konuda çok az şey yapabilir. Buna karşılık, Hedef Mağazası olmadan bir ZIP kodunda yaşayan birileri hala Hedef'te alışveriş yapabilir - ancak oraya ulaşmak daha uzun sürebilir.

Ayrıca bir perakendecinin tüketicilerin kafasında ne kadar baskın olduğunu da önemli. Amazon, bir çok fiziksel mağaza zincirinden sadece bir tanesi iken Amazon web perakendecisi olarak pazar üstünlüğüve bu nedenle daha fazla dikkat çekiyor. Bu egemenlik bugünün bir özelliğidir kazanan hepsini alır web işletmeleri.

Sertlikleri ve hâkimiyetleri, çevrimiçi işletmeler hakkında daha fazla endişeye yol açsa da, ayrımcılığını tespit edebilmemiz için tuğla ve harç dükkanları için olduğundan daha iyiyiz. Geleneksel bir zincir mağaza için, tüketicilerin ne kadar uzağa seyahat etmek istediklerini tahmin etmeliyiz. Aynı zamanda zamanın farkında olmamız gerekebilir: Bir sonraki otoyol çıkışına beş mil, sıkışık sokaklardan şehrin diğer tarafına beş mil ile aynı şey değildir. Ayrıca, seyahat zamanının kendisi günün saatine bağlı olarak büyük ölçüde değişebilir. Bir mağazanın hizmet verdiği muhtemel alanları belirledikten sonra, yarış veya gelir hakkında istatistik sahibi olduğumuz coğrafi birimlerle düzgün şekilde eşleşmeyebilirler. Kısacası, analiz dağınık ve çok çaba gerektirir.

Buna karşılık, Bloomberg’deki gazetecileri Amazon’un hizmet bölgesi haritasını geliştirmek ve onu gelir ya da ırkla ilişkilendirmek için birkaç saat sürebilirdi. Amazon bunu dahili olarak yapsaydı, aynı analizi birkaç dakika içinde yapabilirlerdi - ve belki de sorunları fark ettiler ve aynı gün hizmet başlamadan önce düzelttiler.

İnsanlar nasıl karşılaştırır?

Aynı noktaların geniş çapta nasıl uygulandığını görmek için bize çok farklı bir örneğe bakalım. Son zamanlarda, ProPublica yayınlandı mükemmel bir ırk ayrımcılığı analizi bir suçlunun tekrar kırılma olasılığını öngören bir algoritma ile. Algoritma düzinelerce faktörü göz önünde bulundurur ve olasılık tahminini hesaplar. ProPublica'nın analizi, ırk dikkate alınan belirli faktörler arasında olmamasına rağmen, önemli sistematik ırk yanlılığı tespit etti.

Algoritma olmadan, bir insan yargıcı bir cümle veya şartlı tahliye kararının bir parçası olarak benzer bir tahminde bulunacaktır. İnsan kararında, suçlunun mahkeme salonu tavrı gibi daha zengin bir dizi faktör göz önünde bulundurulabilir. Ama biz biliyoruz psikolojide çalışmalarBu insan karar verme önyargı ile doludurAdil olmak için elimizden gelenin en iyisini yaptığımızda bile.

Ancak, insan hakimlerinin kararlarındaki önyargılardan kaynaklanan hataların, hakimler arasında ve hatta aynı hakimin verdiği farklı kararlar için farklı olması muhtemeldir. Toplamda, nedeniyle ırk ayrımcılığı olabilir bilinçaltı önyargı, ancak bunu kesin olarak ortaya koymak zordur. Bir ABD Adalet Bakanlığı çalışmasında güçlü kanıtlar bulundu beyaz ve siyah mahkumları mahkum etmedeki eşitsizliklerAncak, bu kararlarda ırkın kendisinin bir faktör olup olmadığını açıkça belirleyemedi.

Buna karşılık, ProPublica'nın incelediği aynı algoritma birçok eyalette binlerce durumda kullanılmaktadır. Sertliği ve geniş hacmi, ayırt edilip edilmeyeceğini belirleme işini kolaylaştırır - ve sorunu etkin bir şekilde düzeltmek için yollar sunar.

Bilgi teknolojisinin kullanımı, çizgileri daha parlak, farklılıkları daha açık ve bunların tümü hakkındaki verileri daha kolay erişilebilir hale getiriyor. Dün halının altına fırçalanabilecek olan şey, şimdi dikkatini çekiyor. Veriye dayalı algoritmalar için gittikçe daha fazla kullanım buldukça, özellikle yeni bir veri tabanlı hizmet sunmadan önce, adaletlerini analiz etmek henüz yaygın değildir. Bunu yapmak, gittikçe artan bu önemli bilgisayarlı hesaplamaların adilliğini ölçmek ve iyileştirmek için uzun bir yol kat edecektir.

Yazar hakkında

HV Jagadish, Bernard A Galler, Elektrik Mühendisliği ve Bilgisayar Bilimleri Profesörü, Michigan Üniversitesi

Bu yazı orijinalinde Konuşma. Okumak Orijinal makale.

İlgili Kitaplar

at InnerSelf Pazarı ve Amazon