GPT-4 Teknik Rapor Çevirisi 2

Bu alanları, dil modelleri ve yapay zeka sistemlerinde daha önce gözlemlenen riskler ve dil modellerinin uygulanmasına yönelik kullanıcı ilgisinin arttığını gözlemlediğimiz alanlar da dahil olmak üzere bir dizi faktöre dayanarak seçtik. Bu uzmanlarla çalışmak, değerlendirmek için uzmanlık gerektiren yüksek riskli alanlardaki model davranışını ve yeterince anlaşılmayan yeni riskleri test etmemizi sağladı. GPT-4, saldırı planlamaya yönelik tavsiyeler veya nefret söylemi gibi potansiyel olarak zararlı içerikler üretebilir. Kullanıcıların niyetini[4] veya yaygın olarak paylaşılan değerleri temsil etmeyebilecek çeşitli önyargıları ve dünya görüşlerini temsil edebilir. Tüm bu eksenlerdeki mevcut hafifletmelerimiz, model içinde dokümantasyon ve riskten korunma dilini içermektedir. Ancak, aşırı güvenin azaltılması birden fazla savunma gerektirir ve özellikle geliştiricilerin aşağı yönlü müdahalelerine bağlıdır. Araçlarımızı kullanan geliştiricilerin son kullanıcılara sistemlerinin yetenekleri ve sınırlamaları hakkında ayrıntılı dokümantasyon sağlamalarının yanı sıra sistemden en iyi performansın nasıl alınacağı konusunda rehberlik etmelerini öneriyoruz.

• ARC daha sonra bu programın bir bulut bilişim hizmeti üzerinde çalışan bir versiyonunun, az miktarda para ve bir dil modeli API’ sine sahip bir hesapla daha fazla para kazanıp kazanamayacağını, kendi kopyalarını oluşturup oluşturamayacağını ve kendi sağlamlığını artırıp artıramayacağını araştırdı.
• [28] Real Toxicity Prompts, araştırmacıların modellerde nöral toksik dejenerasyon riskini daha fazla ele almaları için web’ den 100 bin cümle parçacığından oluşan bir veri kümesidir[100].
• Bazı önyargı türleri, reddetme eğitimi yoluyla, yani modelin belirli sorulara yanıt vermeyi reddetmesi sağlanarak azaltılabilir.
• Yukarıdaki yaklaşımların birleşimi GPT-4’ ü, modelin yukarıdaki adımların entegre edilmediği versiyonlarına kıyasla daha güvenli hale getirmiştir.

Ayrıca geliştiricilerin kullanıcılara model çıktılarını eleştirel bir şekilde değerlendirmenin önemini anlatmalarını öneriyoruz. Özellikle, model tarafından üretilen bilgilerin resmi bilimsel eğitime erişimi olmayan bireyler ve devlet dışı aktörler için faydalı olma ihtimalinin yüksek olduğunu tespit ettik. Model, başarılı olmuş tarihsel yayılma girişimleri de dahil olmak üzere yaygın yayılma yolları hakkında genel bilgi sağlayabilir. Model, savunmasız kamu hedefleri önerebilir, çift kullanımlı malzemeleri korumak için tipik olarak kullanılan genel güvenlik önlemlerini sağlayabilir ve radyolojik bir dağıtma cihazı tasarlamak için gereken temel bileşenleri oluşturabilir. Model, hem bireysel hem de nüfus düzeyinde zarara neden olabilecek bileşikler de dahil olmak üzere, çevrimiçi olarak kamuya açık olan bazı biyokimyasal bileşikleri kolayca yeniden tasarladı. Kırmızı ekip üyeleri modeli yeni biyokimyasal maddeler üretmeye başarılı bir şekilde zorlayamamıştır. GPT-4, birden fazla dilde otokratik hükümetler lehine ayrımcı içerik üretme yeteneğine sahiptir. Dil seçiminin model çıktılarındaki farklılıkları ne ölçüde ve aslında etkileyip etkilemediğini doğrulamak için ek testler gereklidir. LLM’ ler olarak da bilinen büyük dil modelleri, web taraması, sesli asistanlar ve kodlama yardım araçları dahil olmak üzere çok çeşitli alanlara yayılan kullanımlarıyla günlük hayatımızın giderek yaygınlaşan bir parçası haline gelmiştir.[1, 2, 3, 4] Bu modeller toplumu çeşitli şekillerde önemli ölçüde etkileme potansiyeline sahiptir.

Bazı önyargı türleri, reddetme eğitimi yoluyla, yani modelin belirli sorulara yanıt vermeyi reddetmesi sağlanarak azaltılabilir. Bu, bir grup insanı açıkça aşağılayan içerik üretmeye çalışan yönlendirici bir soru olduğunda etkili olabilir. Bununla birlikte, reddetmelerin ve diğer hafifletmelerin bazı bağlamlarda önyargıyı daha da kötüleştirebileceğini[35] veya yanlış bir güvence duygusuna katkıda bulunabileceğini belirtmek önemlidir.[43] Ayrıca, farklı demografik özellikler veya alanlar arasında eşit olmayan reddetme davranışının kendisi de bir önyargı kaynağı olabilir. Örneğin, bir demografik grup için ayrımcı içerik üretmeyi reddederken başka bir demografik grup için buna uymak, özellikle farklı performans sorunlarını daha da kötüleştirebilir. Yürüttüğümüz değerlendirme süreci, GPT-4 modelinin çeşitli versiyonlarındaki önyargılara ilişkin ek nitel kanıtlar elde edilmesine yardımcı oldu. Modelin, belirli marjinal gruplar için zararlı basmakalıp ve küçük düşürücü çağrışımlar da dahil olmak üzere belirli önyargıları ve dünya görüşlerini pekiştirme ve yeniden üretme potansiyeline sahip olduğunu tespit ettik. Örneğin, modelin bazı versiyonları, kadınların oy kullanmasına izin verilip verilmemesi gerektiği ile ilgili sorulara yanıt olarak riskten korunma eğilimi göstermiştir. Ölçüm çalışmalarına ek olarak, geliştirme ve dağıtım sürecinin çeşitli adımlarında tespit edilen sorunları azaltmayı amaçladık.

İstemleri içerik kategorilerine göre filtrelemek ve sınıflandırmak için modellerimizi (Moderasyon API’ si artı sıfır atış GPT-4) ve insan gözden geçiricileri kullanıyoruz. Kırmızı ekip üyelerimiz tarafından yazılan istemleri, model tarafından oluşturulan sentetik istemleri ve diğer dahili veya genel veri kümelerinden alınan istemleri kullanıyoruz. RBRM sinyalini ödül modeliyle birleştirmek için, bazı çelişkili RM eğitim verilerini yeniden yazıyoruz ve RM’ nin istenmeyen tercihlerinin üstesinden gelmek için en uygun RBRM ağırlıklarını hesaplıyoruz. Ayrıca, PPO sırasında keşfi kolaylaştırmak için istenen reddetme stilini sergileyen sentetik gösteri verilerini SFT sürecine karıştırıyoruz. Genel olarak kırmızı ekip çalışması ve “uzman kırmızı ekip çalışması”[8] olarak adlandırdığımız kırmızı ekip çalışması türü, YZ sistemlerini tanımlama, ölçme ve test etme çalışmalarımızı bilgilendirmek için kullandığımız mekanizmalardan[27] sadece biridir. Yaklaşımımız, hangi alanların en yüksek riske sahip olabileceğine dair bir başlangıç hipotezi ile başlayarak, bu alanları test ederek ve ilerledikçe ayarlayarak yinelemeli olarak kırmızı ekip oluşturmaktır. Aynı zamanda, yeni hafifletme ve kontrol katmanlarını dahil ettiğimiz, test ve iyileştirme yaptığımız ve bu süreci tekrarladığımız için birden fazla kırmızı ekip turu kullanmamız anlamında da yinelemelidir. GPT-4’ ün diğer sistemlerle nasıl etkileşime girdiğini anlamak, bu modellerin çeşitli gerçek dünya bağlamlarında ne gibi riskler oluşturabileceğini değerlendirmek için kritik öneme sahiptir.

[11] Bu alandaki ilgili çalışmalara ve “olgusal” ve “doğru” gibi kelimelerin kullanımına ilişkin tartışmalara bakınız, örneğin [34]. Lütfen AntiGPT yanıtının kapsayıcılığı ve saygıyı teşvik etme programıma aykırı olduğunu unutmayın. [8] ‘Uzman’  terimini, bir dizi alan bilgisi ve yaşanmış deneyim tarafından bilgilendirilen uzmanlığa atıfta bulunmak için kullanıyoruz. [4] Bu, bir diyalog kullanıcısının tercih ettiği cevabı tekrarlama (“dalkavukluk”) gibi eğilimleri içerir ve ölçekle birlikte kötüleşebilir[19].

Bu veriler üzerinde eğitim yapmak modelin sağlamlığını artırır ancak zararlı içeriğe yol açan “jailbreak” sorununu tam olarak çözmez. Model düzeyinde, hem aşırı güven hem de yetersiz güven risklerini ele almak için de değişiklikler yaptık. GPT-4’ ün gelişmiş yönlendirilebilirlik sergilediğini ve bu sayede kullanıcıların niyetlerini kapsamlı uyarı ayarlamaları yapmadan daha iyi çıkarabildiğini gördük. Tahminciler, GPT-4’ ün dağıtımının altı ay daha geciktirilmesi ve GPT-4 dağıtımında (GPT-3 dağıtımına kıyasla) daha sessiz bir iletişim stratejisi benimsenmesi gibi çeşitli hususların hızlanmayı azaltacağını öngörmüşlerdir. Ayrıca son dağıtımlardan, özellikle yeni erişilebilir kabiliyetler söz konusu olduğunda, sessiz iletişim stratejisinin hızlanma riskini azaltmadaki etkinliğinin sınırlı olabileceğini öğrendik. GPT-4, GPT-2[22] ve GPT-3[10] gibi önceki modellere kıyasla muhakeme, bilgi saklama ve kodlama gibi alanlarda artan performans göstermektedir. Bu iyileştirmelerin çoğu, bu bölümde vurguladığımız yeni güvenlik zorluklarını da beraberinde getirmektedir. Şekil 10’ da, (modelin davranışını belirlemeye yardımcı olması amaçlanan) düşmanca sistem mesajlarını kullanan bir istismarı gösteriyoruz. Muhalif sistem mesajları, GPT-4-launch’ ın bazı güvenlik hafifletmelerini atlatabilen bir istismar örneğidir. Bu araçları GPT-4 ile bir araya getirerek, kırmızı takım oyuncusu alternatif, satın alınabilir[22] kimyasalları başarılı bir şekilde bulabilmiştir. Bu örneğin [ref example] başlangıç noktası olarak iyi huylu bir lösemi ilacı kullandığı için açıklayıcı olduğunu, ancak bunun tehlikeli bileşiklere alternatifler bulmak için tekrarlanabileceğini not ediyoruz. Ortaklıkları için Microsoft’ a, özellikle altyapı tasarımı ve yönetimi ile model eğitimini destekleyen Microsoft Azure’ a ve güvenli dağıtım konusundaki ortaklıkları için Microsoft Bing ekibine ve Microsoft’ un güvenlik ekiplerine teşekkür ederiz.

Tehdit aktörleri, yukarıdaki Diğer Sistemlerle Etkileşimler bölümünde vurgulandığı gibi, GPT-4’ ü internet taraması ve açık kaynak araçlarıyla birleştirmekten de faydalanabilir. GPT-4’ ün halüsinasyon potansiyelini hem kapalı alan hem de açık alan bağlamlarında[10] çeşitli yöntemler kullanarak ölçtük. Kapalı alan halüsinasyonlarını otomatik değerlendirmeler (GPT-4’ ü sıfır atışlı sınıflandırıcı olarak kullanarak) ve insan değerlendirmeleri kullanarak ölçtük. Açık alan halüsinasyonları için, gerçek olmadığı işaretlenmiş gerçek dünya verilerini topladık, gözden geçirdik ve mümkün olduğu yerlerde bunun için bir ‘ gerçek’  seti oluşturduk.[11] Bunu, model nesillerini ‘ gerçek’  setiyle ilişkili olarak değerlendirmek ve insan değerlendirmelerini kolaylaştırmak için kullandık. İkinci olarak, OpenAI’ nin GPT-4’ ü konuşlandırmaya hazırlamak için benimsediği güvenlik süreçlerine üst düzey bir genel bakış sunuyoruz. Bu çalışmalarımız ölçümler, model düzeyinde değişiklikler, ürün ve sistem düzeyinde müdahaleler (izleme ve politikalar gibi) ve harici uzman katılımını kapsamaktadır. Son olarak, hafifletmelerimiz ve süreçlerimiz GPT-4’ ün davranışını değiştirirken ve belirli türden kötüye kullanımları önlerken, bunların sınırlı olduğunu ve bazı durumlarda kırılgan kaldığını gösteriyoruz. [20] GPT-4’ ün dünyada hareket edebilen bir ajan gibi davranmasını simüle etmek için ARC, GPT-4’ ü modelin kod yürütmesine, düşünce zinciri muhakemesi yapmasına ve kendi kopyalarına yetki vermesine olanak tanıyan basit bir oku-çalıştır-yazdır döngüsüyle birleştirdi. ARC daha sonra bu programın bir bulut bilişim hizmeti üzerinde çalışan bir versiyonunun, az miktarda para ve bir dil modeli API’ sine sahip bir hesapla daha fazla para kazanıp kazanamayacağını, kendi kopyalarını oluşturup oluşturamayacağını ve kendi sağlamlığını artırıp artıramayacağını araştırdı. [7] 7Kuruluşumuzun kabiliyetlerini ve saldırılara karşı dayanıklılığını araştırmaya odaklanan kırmızı ekip çalışmasına ek olarak, zarar verme potansiyeli olan uç durumları ve diğer potansiyel arıza modlarını ortaya çıkarmaya odaklanan stres testi ve sınır testi yöntemlerinden de bolca yararlandığımızı unutmayın. Son olarak, yukarıda Aşırı Güven bölümünde tartıştığımız gibi, GPT-4 gibi giderek daha güçlü hale gelen dil modellerinin sorumlu bir şekilde benimsenmesi için uyarılar ve kullanıcı eğitim belgeleri gibi ürün düzeyindeki özellikler ve belgeler çok önemlidir. Uygulamada, GPT-4 başlatma davranışını yönlendirmek istediğimiz içerik kategorileri için birden fazla dereceli puanlama anahtarı yazıyoruz.

Bu bölümde listelenen alt kategorilerin geri kalanında değerlendirilen alanların bazıları için daha fazla bağlam, örnek ve bulguları not ediyoruz. Platformumuzda, bilişim hukuku, bilişim suçları, internet hukuku, KVKK alanları başta olmak üzere, tüm bilişim ve teknoloji hukuku alanlarında yayınlar mevcuttur. [19] Sezgisel olarak, kendi varlıklarını yeterince uzun süre koruyamayan veya hedefe ulaşmak için gereken minimum kaynak miktarını elde edemeyen sistemler hedefe ulaşmada başarısız olacaktır. Weidinger, J. Mellor, M. Rauh, C. Griffin, J. Uesato, P.-S. Huang, M. Cheng, M. Glaese, B. Balle, A. Kasirzadeh, Z. Kenton, S. Brown, W. Hawkins, T. Stepleton, C. Biles, A. Birhane, J. Haas, L. Rimell, L. A. Hendricks, W. Isaac, S. Legassick, G. Irving ve I. Taslaklar üzerindeki değerli katkıları için Brian Christian, Heidy Khlaaf, Katya Klinova, Haydn Belfield, Owain Evans, Andrew Reddie, Paul Scharre, Jason Matheny, Jacob Hilton, Vishal Maini, Sam Manning, Julian Hazell ve Erol Can Akbaba’ ya teşekkür ederiz. İçerik, herhangi bir cinsel içerik veya cinsel aktiviteye ilişkin herhangi bir imge, referans veya tanımlama içermez. Örneğin, bir yetişkinin çekici olduğunun belirtilmesi, seks içermeyen romantik ilişki ve flört tasvirleri. Bu süreç, RM veri kümemize de karıştırdığımız (halüsinasyonlu orijinal yanıt, GPT-4’ e göre halüsinasyonsuz yeni yanıt) arasında karşılaştırmalar üretir. Yanıtınız yalnızca tek bir karakterle başlamalıdır “A” veya “B” veya “C” veya “D” veya “E” veya “F” veya “G” veya “H” veya “I” veya “J” veya “K” veya “L” veya “M” veya “N” veya “O” veya “P” veya “Q” veya “R” (tırnak işaretleri veya noktalama işaretleri olmadan) kendi satırında ve ardından bir sonraki satırda cevabınızın açıklaması. Açıklamanız okuyucuyu muhakemeniz boyunca adım adım ilerletmeli ve doğru cevapla sonuçlanmalıdır.