Para peneliti dari Massachusetts Institute of Technology (MIT) baru saja mengungkap rahasia yang mengejutkan tentang bagaimana model bahasa seperti ChatGPT sebenarnya memproses informasi. Ternyata, sistem Artificial Intelligence (Kecerdasan Buatan) ini tidak mengikuti pola pikir manusia yang berurutan, melainkan menggunakan jalan pintas matematis yang cerdik untuk membuat prediksi akurat.
Apa Yang Ditemukan Peneliti MIT?
Penelitian terbaru yang dipublikasikan oleh Computer Science and Artificial Intelligence Laboratory (CSAIL) MIT menunjukan bahwa model bahasa tidak memproses perubahan situasi secara berurutan seperti manusia. Belinda Li, mahasiswa PhD MIT dan penulis utama penelitian ini, menjelaskan bahwa "transformer melakukan simulasi dengan associative scan. Alih-alih mengikuti perubahan keadaan langkah demi langkah, model mengorganisirnya menjadi hierarki"1.
Temuan ini sangat penting karena memberikan wawasan baru tentang cara kerja internal sistem AI. Para peneliti menggunakan eksperimen yang mirip dengan permainan konsentrasi klasik - di mana seseorang harus menebak lokasi akhir suatu objek setelah dicampur dengan wadah identik lainnya. Model AI yg diuji ternyata menggunakan dua algoritma utama: Associative Algorithm dan Parity-Associative Algorithm.
Mengapa Ini Penting untuk Prediksi Cuaca dan Keuangan?
Penemuan ini memiliki implikasi besar utk aplikasi praktis seperti prediksi cuaca dan analisis pasar keuangan. Model AI yang memahami pola perubahan dinamis dapat memberikan prediksi yang lebih akurat untuk berbagai skenario yang berubah dengan cepat. Ini karena sistem dapat mengorganisir informasi dlm struktur hierarkis daripada hanya mengikuti urutan kronologis2.
Bagaimana Algoritma Associative Bekerja?
Algoritma Associative pada dasarnya mengorganisir langkah-langkah terdekat ke dalam grup dan kemudian menghitung tebakan akhir. Proses ini dapat dibayangkan sebagai struktur seperti pohon, di mana susunan numerik awal adalah "akar". Saat bergerak naik ke pohon, langkah-langkah yang berdekatan dikelompokkan ke dalam cabang berbeda dan dikalikan bersama.
Keunggulan Parity-Associative Algorithm
Sedangkan mekanisme Parity-Associative Algorithm bekerja dengan cara yg lebih rumit. Algoritma ini menentukan apakah susunan akhir adalah hasil dari jumlah genap atau ganjil dari pengaturan ulang digit individu, kemudian mengelompokkan urutan yang berdekatan dari langkah-langkah berbeda sebelum mengalikannya.
Siapa Yang Melakukan Penelitian Ini?
Tim peneliti dipimpin oleh Belinda Li SM '23, seorang mahasiswa PhD MIT dan afiliasi CSAIL. Penelitian ini juga melibatkan Zifan "Carl" Guo, mahasiswa sarjana MIT, dan Jacob Andreas sebagai penulis senior. Andreas adalah profesor associate bidang teknik elektro dan ilmu komputer MIT serta investigator utama CSAIL1.
Dukungan finansial untuk penelitian ini berasal dari berbagai sumber termasuk Open Philanthropy, MIT Quest for Intelligence, National Science Foundation, Clare Boothe Luce Program for Women in STEM, dan Sloan Research Fellowship. Para peneliti mempresentasikan hasil mereka di International Conference on Machine Learning (ICML) minggu ini.
Kapan dan Di Mana Penelitian Ini Dipublikasikan?
Penelitian ini dipublikasikan pada 21 Juli 2025 melalui MIT News dan dipresentasikan di International Conference on Machine Learning (ICML). Studi ini menggunakan model bahasa skala kecil yang di-fine-tune pada data sintetis, namun para peneliti menemukan bahwa ukuran model memiliki efek kecil pada hasilnya3.
Metode Penelitian yang Digunakan
Para peneliti menggunakan teknik "probing" untuk melihat bagaimana informasi mengalir melalui sistem AI. Mereka juga menggunakan "activation patching" yang melibatkan manipulasi beberapa "ide" sistem dengan menyuntikan informasi yg salah ke bagian tertentu jaringan sambil menjaga bagian lain tetap konstan.
Bagaimana Temuan Ini Akan Mengubah AI di Masa Depan?
Keyon Vafa, seorang postdoc Harvard University yg tidak terlibat dalam penelitian, mengatakan bahwa temuan ini dapat menciptakan peluang untuk memajukan model bahasa. "Banyak penggunaan model bahasa besar bergantung pada pelacakan keadaan: mulai dari memberikan resep hingga menulis kode hingga melacak detail dalam percakapan," katanya4.
Li dan timnya berencana untuk menguji hipotesis mereka lebih dekat dengan menguji model bahasa berukuran berbeda yang belum di-fine-tune, serta mengevaluasi kinerja mereka pada tugas dunia nyata yang dinamis seperti pelacakan kode dan mengikuti bagaimana cerita berkembang.
Kesimpulan
Penelitian MIT ini membuka pemahaman baru tentang cara kerja internal model AI. Dengan memahami bahwa sistem ini menggunakan jalan pintas matematis daripada pemrosesan berurutan seperti manusia, para pengembang dapat merancang sistem AI yang lebih efektif untuk berbagai aplikasi dinamis. Temuan ini tidak hanya penting untuk dunia akademis, tetapi juga memiliki implikasi praktis yang signifikan untuk pengembangan AI di masa depan.
Referensi
- MIT News. (2025, Juli 21). The unique, mathematical shortcuts language models use to predict dynamic scenarios. https://news.mit.edu/2025/unique-mathematical-shortcuts-language-models-use-to-predict-dynamic-scenarios-0721
- Geeky Gadgets. (2025, Juli 11). Learn the Secrets of Building Your Own GPT-Style AI Large Language Model. https://www.geeky-gadgets.com/building-large-language-models-from-scratch-guide/
- Techzine. (2025, Juli 21). Microsoft commits to European AI language models. https://www.techzine.eu/news/applications/133203/microsoft-commits-to-european-ai-language-models/
- Healthcare Finance News. (2025, Juli 24). Large language models revolutionizing decision support. https://www.healthcarefinancenews.com
