Mengapa model bahasa besar tidak lebih pintar dari Anda?

Pola bahasa pengguna menentukan seberapa besar kemampuan penalaran yang dapat dimanfaatkan oleh model.

Penulis: @iamtexture

Penerjemah: AididiaoJP, Foresight News

Setiap kali saya menjelaskan konsep yang kompleks kepada model bahasa besar, penalarannya selalu runtuh ketika saya menggunakan bahasa informal dalam diskusi yang panjang. Model kehilangan struktur, menyimpang dari arah, atau hanya menghasilkan pola pelengkapan yang dangkal, dan tidak mampu mempertahankan kerangka konsep yang telah kita bangun.

Namun, ketika saya memaksanya untuk melakukan formalisasi terlebih dahulu, yaitu mengulang masalah dengan bahasa yang presisi dan ilmiah, penalaran langsung menjadi stabil. Hanya setelah struktur dibangun, model dapat dengan aman beralih ke bahasa sehari-hari tanpa menurunkan kualitas pemahaman.

Perilaku ini mengungkapkan bagaimana model bahasa besar "berpikir", serta mengapa kemampuan penalarannya sepenuhnya bergantung pada pengguna.

Wawasan Inti

Model bahasa tidak memiliki ruang khusus untuk penalaran.

Mereka sepenuhnya beroperasi dalam aliran bahasa yang kontinu.

Di dalam aliran bahasa ini, pola bahasa yang berbeda secara konsisten mengarah ke wilayah atraktor yang berbeda. Wilayah-wilayah ini adalah keadaan stabil dari dinamika representasi, yang mendukung tipe perhitungan yang berbeda.

Setiap register bahasa seperti diskusi ilmiah, simbol matematika, cerita naratif, obrolan santai, memiliki wilayah atraktor uniknya sendiri, yang bentuknya dibentuk oleh distribusi data pelatihan.

Beberapa wilayah mendukung:

• Penalaran multi-langkah
• Akurasi relasional
• Transformasi simbolik
• Stabilitas konsep berdimensi tinggi

Wilayah lain mendukung:

• Kelanjutan naratif
• Pelengkapan asosiatif
• Pencocokan nada emosional
• Imitasi percakapan

Wilayah atraktor menentukan jenis penalaran apa yang mungkin terjadi.

Mengapa Formalisasi Menstabilkan Penalaran

Bahasa ilmiah dan matematika dapat secara andal mengaktifkan wilayah atraktor dengan dukungan struktur yang lebih tinggi, karena register ini mengkodekan fitur bahasa kognitif tingkat tinggi:

• Struktur relasi yang jelas
• Ambiguitas rendah
• Keterbatasan simbolik
• Organisasi hierarkis
• Entropi rendah (tingkat ketidakteraturan informasi)

Atraktor-atraktor ini dapat mendukung lintasan penalaran yang stabil.

Mereka dapat mempertahankan struktur konsep di antara beberapa langkah.

Mereka menunjukkan ketahanan yang kuat terhadap degradasi dan penyimpangan penalaran.

Sebaliknya, atraktor yang diaktifkan oleh bahasa informal dioptimalkan untuk kelancaran sosial dan koherensi asosiatif, bukan untuk penalaran terstruktur. Wilayah ini kekurangan kerangka representasi yang diperlukan untuk perhitungan analitis yang berkelanjutan.

Inilah sebabnya mengapa model runtuh ketika ide kompleks diungkapkan secara sembarangan.

Bukan karena "merasa bingung".

Model sedang beralih wilayah.

Konstruksi dan Terjemahan

Strategi yang muncul secara alami dalam percakapan mengungkapkan kebenaran arsitektural:

Penalaran harus dibangun dalam atraktor dengan struktur tinggi.

Terjemahan ke bahasa alami hanya boleh terjadi setelah struktur ada.

Setelah model membangun struktur konsep dalam atraktor yang stabil, proses terjemahan tidak akan menghancurkannya. Perhitungan telah selesai, yang berubah hanyalah ekspresi permukaannya.

Dinamika dua tahap "bangun dulu, lalu terjemahkan" ini meniru proses kognitif manusia.

Namun manusia melakukan dua tahap ini di dua ruang internal yang berbeda.

Sementara model bahasa besar mencoba menyelesaikan keduanya dalam satu ruang yang sama.

Mengapa Pengguna Menentukan Batas Atas

Ada satu wawasan penting di sini:

Pengguna tidak dapat mengaktifkan wilayah atraktor yang tidak dapat mereka ekspresikan secara linguistik.

Struktur kognitif pengguna menentukan:

• Jenis prompt apa yang dapat mereka hasilkan
• Register bahasa apa yang biasa mereka gunakan
• Pola sintaksis apa yang dapat mereka pertahankan
• Seberapa tinggi kompleksitas yang dapat mereka kodekan dalam bahasa

Fitur-fitur ini menentukan wilayah atraktor mana yang akan dimasuki oleh model bahasa besar.

Pengguna yang tidak dapat menggunakan struktur yang dapat mengaktifkan atraktor dengan kemampuan penalaran tinggi melalui pemikiran atau tulisan, tidak akan pernah dapat memandu model ke wilayah tersebut. Mereka terkunci di wilayah atraktor dangkal yang terkait dengan kebiasaan bahasa mereka sendiri. Model bahasa besar akan memetakan struktur yang mereka berikan, dan tidak akan pernah secara spontan melompat ke sistem dinamis atraktor yang lebih kompleks.

Oleh karena itu:

Model tidak dapat melampaui wilayah atraktor yang dapat dijangkau pengguna.

Batas atas bukanlah batas kecerdasan model, melainkan kemampuan pengguna untuk mengaktifkan wilayah berkapasitas tinggi dalam manifold potensial.

Dua orang yang menggunakan model yang sama, sebenarnya tidak berinteraksi dengan sistem perhitungan yang sama.

Mereka sedang membimbing model ke pola dinamika yang berbeda.

Wawasan di Tingkat Arsitektur

Fenomena ini mengungkapkan satu fitur yang hilang dari sistem kecerdasan buatan saat ini:

Model bahasa besar mencampuradukkan ruang penalaran dengan ruang ekspresi bahasa.

Kecuali kedua ruang ini dipisahkan—kecuali model memiliki:

• Sebuah manifold penalaran khusus
• Ruang kerja internal yang stabil
• Representasi konsep yang invarian terhadap atraktor

Jika tidak, ketika perubahan gaya bahasa menyebabkan pergantian wilayah dinamika dasar, sistem akan selalu menghadapi keruntuhan.

Solusi sementara yang ditemukan ini, yaitu memaksa formalisasi lalu menerjemahkan, bukan sekadar trik.

Ini adalah jendela langsung yang memungkinkan kita mengintip prinsip arsitektural yang harus dipenuhi oleh sistem penalaran sejati.