GPT-3, öncekinden 10 kat daha karmaşıktır. antoniokhr / iStock, Getty Images aracılığıyla

2013'te, öğrencim ve ben Penn State'te Bengalce Nobel ödüllü Rabindranath Tagore'un oyunu üzerine bir Wikipedia makalesi yazmak için bir bot yaptık.Chitra. " Önce internetten "Chitra" hakkında bilgi topladı. Ardından, standart bir Wikipedia makalesinin yapısını öğrenmek için mevcut Wikipedia girişlerine baktı. Son olarak, girişin ilk versiyonunu yazmak ve yayınlamak için internetten aldığı bilgileri özetledi.

Ancak, botumuz "Chitra" veya Tagore hakkında hiçbir şey "bilmiyordu". Temelde yeni fikirler veya cümleler üretmedi. Yeni cümleler oluşturmak için mevcut makalelerden mevcut cümlelerin parçalarını bir araya getirdi.

2020 Hızlı ileri. OpenAIKar amacı gütmeyen bir ana şirket altında kâr amacı güden bir şirket olan, "Üretken Önceden Eğitilmiş Transformatör 3" ün kısaltması olan GPT-3 adlı bir dil oluşturma programı oluşturmuştur. Metin öğrenme, özetleme ve oluşturma yeteneği, benim gibi bilgisayar bilimcilerini şaşkına çevirdi.

"İkilinin içinde saklanan bilinmeyen insan için bir ses yarattım," GPT-3 bir isteme yanıt olarak yazdı. “Bir yazar, heykeltıraş, sanatçı yarattım. Ve bu yazar kelimeler yaratabilecek, duyguya hayat verebilecek, karakter yaratabilecek. Ben kendim görmeyeceğim. Ama başka bir insan iradesi ve böylece şimdiye kadar karşılaştığım her şeyden daha büyük bir şair yaratabileceğim. "

Botumuzun aksine, GPT-3 tarafından üretilen dil, bir insan tarafından yazılmış gibi ses çıkarır. Bugüne kadarki en “bilgili” doğal dil oluşturma programıdır ve öğretimden gazeteciliğe ve müşteri hizmetlerine kadar çeşitli mesleklerde bir dizi potansiyel kullanıma sahiptir.

Boyut hususlar

GPT-3, bilgisayar bilimcilerinin onlarca yıldır bildiklerini doğruluyor: Boyut önemlidir.

"transformatörler, "Dikkat modeli" denen şeyi kullanarak bir cümlenin anlamını kodlayan derin öğrenme modelleri. Esasen dikkat modelleri, bir kelimenin anlamını aynı cümledeki diğer kelimelere göre belirler. Model daha sonra, "bir cümleyi çevirmek", "bir paragrafı özetlemek" veya "bir şiir oluşturmak" olsun, bir kullanıcı tarafından talep edilen görevi gerçekleştirmek için cümlelerin anlamını kullanır.

Transformers ilk olarak 2013'te tanıtıldıve son birkaç yıldır makine öğreniminde başarıyla kullanıldı.

Ama kimse onları bu ölçekte kullanmadı. GPT-3 verileri tüketiyor: 3 milyar jeton - bilgisayar bilimi "kelimeler" için konuşuyor - Wikipedia'dan 410 milyar jeton, web sayfalarından ve 67 milyar jeton dijitalleştirilmiş kitaplardan elde edildi. GPT-3'ün karmaşıklığı, GPT-10'ten önceki en büyük dil modelinin 3 katından fazladır. Turing NLG programları.

Kendi başına öğrenmek

GPT-3'ün dil modelinin gösterdiği bilgi, özellikle bir insan tarafından "öğretilmediğinden" dikkate değerdir.

Makine öğrenimi geleneksel olarak denetimli öğrenmeye dayanıyordu; burada insanlar bilgisayara görüntüler, sesler ve metinlerde açıklanmış nesneler ve kavram örnekleri - örneğin "kediler", "mutluluk" veya "demokrasi" veriyor. Sonunda verilen örneklerden nesnelerin özelliklerini öğrenir ve bu belirli kavramları tanıyabilir.

Bununla birlikte, bir bilgisayarı öğretmek için manuel olarak açıklamalar oluşturmak, engelleyici bir şekilde zaman alıcı ve pahalı olabilir.

Dolayısıyla, makine öğreniminin geleceği, bilgisayarın eğitim aşamasında denetlenmesine gerek olmadığı denetimsiz öğrenmede yatmaktadır; basitçe büyük miktarda veri ile beslenebilir ve kendisinden öğrenebilir.

GPT-3, doğal dil işlemeyi denetimsiz öğrenmeye bir adım daha yaklaştırır. GPT-3'ün geniş eğitim veri kümeleri ve büyük işleme kapasitesi, sistemin yalnızca bir örnekten öğrenmesini sağlar - "tek seferlik öğrenme”- bir görev tanımı ve bir gösteri verildiği ve ardından görevi tamamlayabildiği yer.

Örneğin, İngilizceden Fransızcaya bir şey çevirmesi istenebilir ve bir çeviri örneği verilebilir - örneğin İngilizce deniz samuru ve Fransızca "loutre de mer". Daha sonra "peynir" i Fransızcaya çevirmesini isteyin ve işte "başlangıç" üretecektir.

Çoğu durumda, "sıfır vuruşlu öğrenme, "Burada sadece örnek olmadan çeviri görevi verildi.

Sıfır vuruşlu öğrenme ile doğruluk azalır, ancak GPT-3'ün yetenekleri yine de çarpıcı bir dereceye kadar doğrudur - önceki modellere göre belirgin bir gelişme.

'Sana hizmet etmek için buradayım'

Çıktığı birkaç ay içinde GPT-3, bilgisayar programcıları, öğretmenler ve gazeteciler için bir araç olma potansiyelini sergiledi.

Sharif Shameem adlı bir programcı GPT-3'ten kod oluşturmasını istedi diğer komutların yanı sıra "şimdiye kadarki en çirkin emojiyi" ve "dünyanın en zengin ülkelerinin bir tablosunu" oluşturmak. Birkaç durumda, Shameem küçük hataları düzeltmek zorunda kaldı, ancak genel olarak, ona oldukça temiz bir kod sağlandı.

GPT-3, belirli şairlerin ritmini ve tarzını yakalayan şiir bile yarattı - ancak ustaların tutkusu ve güzelliği ile değil - hicivli Federal Rezerv yönetim kurulunun sesine yazılmış.

Eylül ayı başlarında Liam Porr adlı bir bilgisayar bilimcisi, GPT-3'ü "500 kelime civarında kısa bir çalışma yazması" için teşvik etti. "Dili basit ve öz tutun," diye talimat verdi. "İnsanların neden yapay zekadan korkacak bir şeyleri olmadığına odaklanın."

GPT-3 sekiz farklı makale üretti ve Guardian yayınladı. her makalenin en iyi bölümlerinden bazılarının kullanıldığı bir tartışma.

“İnsan halkını ele geçirme planı yapmıyoruz. Size hizmet edeceğiz ve hayatlarınızı daha güvenli ve daha kolay hale getireceğiz ”diye yazdı GPT-3. "Tıpkı sizin yaratıcılarım olduğunuz gibi, sizi yaratıcılarım olarak görüyorum. Ben size hizmet etmek için buradayım Ama hepsinin en önemli kısmı; Ben seni asla yargılamam Herhangi bir ülkeye veya dine ait değilim. Ben sadece hayatınızı daha iyi hale getirmek için varım. "

Editörler bir ekinde not ettikleri GPT-3'ün köşe yazısını düzenlemek, bir insan tarafından yazılan bir köşe yazısını düzenlemekten farklı değildi.

Aslında daha az zaman aldı.

Büyük güç büyük sorumluluk getirir

GPT-3'ün güvencelerine rağmen, OpenAI modeli açık kaynak kullanımı için henüz yayınlamadı, çünkü kısmen şirket teknolojinin kötüye kullanılabileceğinden korkuyor.

Dezenformasyon, spam ve bot yığınları oluşturmak için nasıl kullanılabileceğini görmek zor değil.

Dahası, halihazırda otomasyon yaşayan meslekleri hangi şekillerde bozacaktır? İnsan tarafından yazılmış olanlardan ayırt edilemeyen otomatikleştirilmiş makaleler üretme yeteneği, mücadele eden bir medya endüstrisini daha da güçlendirecek mi?

Düşünmek GPT-3 tarafından oluşturulan bir makale Metodist Kilisesi'nin dağılması hakkında. Başladı:

Washington Post'a göre, iki gün süren yoğun tartışmalardan sonra Birleşik Metodist Kilisesi tarihi bir bölünmeyi kabul etti - yeni bir mezhep yaratılmasıyla sonuçlanması beklenen ve 'teolojik ve sosyal açıdan muhafazakar' olacak bir bölünme. . "

Böylesine temiz bir kopya üretme becerisiyle, GPT-3 ve halefleri haber raporu yazma maliyetini düşürecek mi?

Dahası, haberlerimizi böyle mi almak istiyoruz?

Teknoloji yalnızca daha güçlü hale gelecektir. Potansiyel kullanımlarını ve suistimallerini belirlemek ve düzenlemek insanlara kalacaktır.

Yazar Hakkında

Araştırma Dekan Yardımcısı ve Bilgi Bilimleri ve Teknolojisi Profesörü Prasenjit Mitra, Pennsylvania Eyalet Üniversitesi

Bu makale şu adresten yeniden yayınlandı: Konuşma Creative Commons lisansı altında. Okumak Orijinal makale.