İngiltere Başbakanı Boris Johnson'ın eski başdanışmanı Dominic Cummings'e göre uzmanlar bunu feci şekilde yanlış anladılar. Cummings tartıştı Birleşik Krallık hükümetinin Mart 2020'deki resmi bilimsel tavsiyesinin pandeminin nasıl gelişeceğini büyük ölçüde yanlış anladığını ve bu da binlerce cana mal olan bir kilitleme gecikmesine yol açtı.

Cummings'e göre, bu noktada daha doğru tahminler verenler, veri bilimcisi Ben Warner, yapay zeka araştırmacısı DeepMind'den Demis Hassabis ve matematikçi Tim Gowers gibi pandemi veya tıp hakkında daha az bilgiye sahip belirli uzmanlardı.

Cummings aynı zamanda bir fan of Süper tahmin Philip Tetlock, gelecekteki olayları çoğundan daha güvenilir bir şekilde tahmin eden insanlar hakkında bir kitap. Bazı süper tahminciler övüldü pandemi ile ilgili tahminleri için, diğerleri de uzmanları eleştiren kayıt.

Öyleyse hükümetler bilimsel uzmanlara güvenmek yerine süper tahmincileri daha fazla kullanmalı mı? Kanıtlar o kadar net değil. Ancak hükümetlerin süper tahminlerden öğrenebilecekleri şeyler olduğu kesin gibi görünüyor.

İçinde ünlü amerikan çalışması 2014'te yayınlanan süper tahminlerde, seçkin bir ekiptiler. Jeopolitik tahmin turnuvasında yarışmacıların sadece ilk% 2'si şampiyonluğu kazanacak kadar iyi performans gösterdi. Görevleri, onlarca soruya olası yanıtlara olasılıklar atamaktı.

Araştırmacılar birkaç açıklayıcı örnek veriyor. 2012'de Rusya'nın cumhurbaşkanı kim olacak? Kuzey Kore önümüzdeki üç ay içinde başka bir nükleer silah patlatacak mı? Önümüzdeki yıl kaç mülteci Suriye'den kaçacak?

Tabii ki, birinin bir yıl başarılı olması onun diğerlerinden daha yetenekli olduğunu kanıtlamaz. Belki sadece şanslıydılar. Gerçekten ne kadar “süper” olduklarını değerlendirmek için sonraki yıllarda ne kadar başarılı olduklarına bakmamız gerekiyor.

Etkileyici bir şekilde, bu süper tahminciler, turnuva üç yıl daha devam ederken üstünlüklerini sürdürdüler. Aslında, yalnızca diğer en iyi performans gösterenleri içeren “süper tahmin ekipleri”nde birleştikten sonra, performansları önemli ölçüde arttı. Araştırmacılar ayrıca, ekip halinde çalışmanın ve ilgili eğitim almanın, kontrol durumundaki tahmincilere kıyasla diğer tahminciler için performansı iyileştirdiğini buldular.

Takımlar ve eğitim

Cummings'in Birleşik Krallık'ın pandemi planlamasının “klasik bir grup düşünce balonundan” muzdarip olduğuna dair sözüne inansak da katılmasak da, ekiplerin her zaman akıllıca kararlar vermediğini biliyoruz. ABD araştırmasında ekipleri daha başarılı yapan şey neydi?

Kesin olarak söylemek zor, ancak araştırmacılar, belirli bir tahmini destekleyen kanıtlar hakkında daha net düşünmeyi teşvik etmek, “mevcut tahmininizle çelişen kanıtları aramak” ve yapıcı bir şekilde alternatif bakış açıları sunmak için ekipleri özellikle kesin sorular sormaya teşvik etti. .

Böyle bir tartışma iyi olabilir toplu yargıyı geliştirmek ve grup düşüncesine karşı koruma. Ekip üyelerinin bir fikir birliğine varması da gerekmiyordu. Bilgi ve görüşleri paylaşmalarına rağmen yine de algoritma ile birleştirilmiş bireysel tahminler yapıyorlardı. Özellikle süper tahmin ekipleri son derece meşgul, diğer ekip üyeleriyle sık sık bilgi paylaşmak ve onlara sorular sormak.

Bir başka çalışmada hangi özel eğitim tekniklerinin en çok yardımcı olduğunu daha yakından inceledi. Üç teknik özellikle daha yüksek doğrulukla ilişkilendirildi. Birincisi, sözde karşılaştırma sınıflarının kullanılmasıydı.

Örneğin, Benedict Cumberbatch ve Sophie Hunter'ın beş yıl sonra hala birlikte olma olasılığını tahmin etmeye çalışıyorsam, konuyla ilgili diğer "sınıflar" hakkında düşünmek yardımcı olabilir - örneğin ünlü evlilikleri sınıfı, hatta genel olarak evlilikler Bu, tahminlerimi desteklemek için tarihe bakmamı sağlıyor: Herhangi bir beş yıllık dönemde ünlü evliliklerinin yüzde kaçı sona eriyor?

İkincisi, mümkün olduğunda, birinin görüşlerini bildirmeye yardımcı olmak için matematiksel ve istatistiksel modellerden yararlanmaktı. Üçüncüsü, "doğru soruları seçmekti" - konuyla ilgili diğerlerinden daha fazla bilgi sahibi olduğunuz veya ek araştırmaların yararlı olabileceği sorulara yanıtları tahmin etmek için daha fazla zaman harcamak için bir öneri. Ancak araştırmacılar, tüm bileşenlerinin Eğitim daha iyi performansa bütünsel olarak katkıda bulunmuş olabilir.

Araştırma ayrıca şunu göstermiştir: geçmiş performansımızı takip ettiğimizde doğruluk artar - ama geri bildirim türü önemlidir. Olacağını düşündüğünüz sonuçlar zamanın %20'sinde gerçekten %20'sinde mi gerçekleşti? Peki ya zamanın %90'ında olacağını düşündüğünüz sonuçlar? Bu tür bilgileri alanlar için performans artar.

Hükümetler daha iyisini yapabilir mi?

Birleşik Krallık hükümeti, süper tahmincilerden oluşan ekiplerden girdi talep ederek COVID-19 konusunda daha iyisini yapabilir miydi? Mümkün. Süper tahminciler İyi Yargı Açık ve uygulamalı tahminciler Metakülüs (katıldığım) her biri, Metaculus'un sahip olduğunu iddia etmesiyle birlikte, COVID-19'da başarılı görünüyor. üstün performans gösteren uzmanlar Haziran 2020'de. son seri COVID-19 ile ilgili tahminler arasında, eğitimli tahminciler her zaman uzmanlardan daha doğru değildi. Anketin arkasındaki araştırmacılar, alan uzmanlarından ve eğitimli tahmincilerden gelen tahminleri bir "fikir birliği tahmini" olarak birleştirmenin yollarını deniyorlar.

Süper olmayanların daha iyi tahminler yapmasına yardımcı olan eğitimin bile faydalı olacağı makul görünüyor. Örneğin Cummings, epidemiyolojik modellere çok dikkat edilmesine rağmen, modellerin varsayımlarıyla çelişen kanıtların -yoğun bakım üniteleri tarafından rapor edilen veriler gibi- göz ardı edildiğini iddia etti. “Şu anki öngörünüzle çelişen kanıtları aramak” üzere eğitilmiş birinin bunu daha önce fark etmiş olması kesinlikle makul görünüyor.

Elbette, literatürdeki tüm tavsiyeler hükümet ortamlarında pratik değildir. Teoride, hükümetler bu tür tavsiyeleri kendileri için test edebilir ve faydalı görünenleri benimseyebilir. Ne yazık ki ölçmediğiniz şeyi iyileştiremezsiniz.

In Süper tahminTetlock, tahminlerini iyileştirme konusunda ciddi olan herhangi bir kuruluşun, en azından dahili olarak somut rakamlar eklemesi gerektiğini vurguluyor. “Ciddi ihtimal” gibi bir ifade, bir kişi için %20, bir başkası için %80 şans anlamına gelebilir.

Bu neredeyse kesinlikle Cummings'in bahsettiği şeydi. o söylediğinde: "Phil Tetlock adında bir adam bir kitap yazmış ve o kitapta herkesin kafasını karıştırdığı için makul, olası ve muhtemel gibi kelimeleri kullanmaman gerektiğini söylemişti." Tahminlerini değerlendirilebilecek şekilde yapmayan kuruluşların, onları nasıl daha iyi hale getireceklerini öğrenecek donanıma sahip olmaması belki de bizi şaşırtmamalı. Geliştirmek için önce denemek gerekir.