Peneliti MIT mengembangkan CodeSteer, asisten AI yang membantu model bahasa besar beralih antara teks dan kode untuk meningkatkan akurasi hingga 30 persen
Peneliti dari Massachusetts Institute of Technology (MIT) telah menciptakan sebuah terobosan dlm dunia Artificial Intelligence (Kecerdasan Buatan) yang dapat merevolusi cara kerja model bahasa besar atau Large Language Models (LLM). Inovasi bernama CodeSteer ini berperan sebagai "pelatih pintar" yg memandu LLM untuk beralih antara penalaran tekstual dan generasi kode, meningkatkan akurasi hingga lebih dari 30 persen 1.
Mengapa LLM Butuh Pelatih?
Model bahasa besar seperti GPT-4 atau Claude memang unggul dalam memahami konteks dokumen dan memberikan jawaban logis melalui penalaran tekstual. Namun, model-model ini sering kali kesulitan menjawab soal matematika sederhana sekalipun. Misalnya, ketika ditanya angka mana yg lebih besar antara 9.11 atau 9.9, LLM seringkali memberikan jawaban yang salah jika menggunakan penalaran tekstual 2.
Chuchu Fan, profesor aeronautika dan astronautika MIT sekaligus peneliti utama di MIT Laboratory for Information and Decision Systems (LIDS), menjelaskan bahwa ada perlombaan untuk mengembangkan model yang lebih baik dan mampu melakukan segalanya. "Tapi kami mengambil pendekatan komplementer. Peneliti telah menghabiskan bertahun-tahun mengembangkan teknologi dan alat efektif untuk mengatasi masalah di banyak domain. Kami ingin memungkinkan LLM memilih alat dan metode yg tepat," ungkapnya 3.
Cara Kerja CodeSteer
Sistem Pelatihan yang Terinspirasi Manusia
CodeSteer bekerja seperti pelatih olahraga profesional. Sama seperti pelatih yang mungkin tidak lebih baik dari atlet bintang di timnya, namun tetap bisa memberikan saran berharga untuk memandu atlet tersebut, CodeSteer juga beroperasi dengan prinsip serupa 4. Yongchao Chen, mahasiswa pascasarjana LIDS dan penulis utama penelitian ini, mengatakan bahwa mereka terinspirasi oleh manusia dlm mengembangkan sistem ini.
Prosesnya dimulai dengan CodeSteer yang meninjau kueri dan menentukan apakah teks atau kode lebih cocok untuk masalah tersebut, serta jenis kode apa yg akan bekerja paling baik. Kemudian ia menghasilkan prompt untuk LLM yang lebih besar, memberitahunya untuk menggunakan metode pengkodean atau penalaran tekstual untuk menjawab kueri 5.
Iterasi dan Perbaikan Berkelanjutan
Yang menarik dari CodeSteer adalah kemampuannya untuk melakukan evaluasi berkelanjutan. Jika jawaban tidak benar, CodeSteer akan terus mendorong LLM untuk mencoba hal-hal berbeda yg mungkin dapat memperbaiki masalah, seperti memasukkan algoritma pencarian atau kendala ke dalam kode Python-nya, hingga jawaban benar 6. Sistem ini juga dilengkapi dengan pemeriksa simbolik yang mengevaluasi kompleksitas kode dan mengirimkan sinyal ke CodeSteer jika terlalu sederhana atau tidak efisien.
Dataset dan Pengujian SymBench
Dalam mengembangkan CodeSteer, para peneliti tidak dapat menemukan dataset simbolik yg cocok untuk melakukan fine-tuning dan menguji model, karena banyak benchmark yang ada tidak menunjukkan apakah kueri tertentu paling baik diselesaikan dengan teks atau kode. Oleh karena itu, mereka mengumpulkan korpus 37 tugas simbolik kompleks, termasuk penalaran spasial, matematika, penalaran urutan, dan optimisasi, serta membangun dataset mereka sendiri yang disebut SymBench 7.
Hasil pengujian menunjukkan bahwa CodeSteer mengungguli sembilan metode baseline yg dievaluasi dan meningkatkan akurasi rata-rata dari 53,3 persen menjadi 86,4 persen. Yang lebih mengesankan lagi, sistem ini mempertahankan kinerja serupa bahkan pada tugas-tugas yang belum pernah dilihat sebelumnya dan pada berbagai LLM 8.
Dampak untuk Indonesia
Perkembangan ini sangat relevan untuk Indonesia yg sedang giat mengembangkan ekosistem AI nasional. Seperti yg dilaporkan berbagai media, Indonesia telah memiliki inisiatif pengembangan LLM dalam bahasa Indonesia seperti Sahabat-AI yang dikembangkan GoTo dan Indosat dengan kapasitas 70 miliar parameter 9. Teknologi seperti CodeSteer dapat membantu meningkatkan kemampuan model-model bahasa Indonesia ini dlm menyelesaikan tugas-tugas komputasional yang kompleks.
Selain itu, dengan semakin banyaknya perguruan tinggi di Indonesia yang mulai mengadopsi kebijakan penggunaan AI, seperti UIN Jakarta yang menjadi pelopor kebijakan penggunaan kecerdasan buatan di perguruan tinggi Islam 10, teknologi seperti CodeSteer bisa menjadi solusi untuk meningkatkan efektivitas penggunaan AI dlm penelitian dan pendidikan.
Masa Depan dan Tantangan
Para peneliti berencana untuk merampingkan CodeSteer agar dapat mempercepat proses prompting iteratifnya. Selain itu, mereka juga sedang mempelajari cara untuk secara efektif melakukan fine-tuning pada model terpadu dengan kemampuan untuk beralih antara penalaran tekstual dan generasi kode, daripada mengandalkan asisten terpisah 11.
Jinsung Yoon, ilmuwan peneliti senior di Google Cloud AI yang tidak terlibat dlm penelitian ini, berkomentar bahwa penulis menyajikan solusi elegan untuk tantangan kritis pemanfaatan alat dalam LLM. "Metode sederhana namun berdampak ini memungkinkan LLM canggih mencapai peningkatan kinerja signifikan tanpa memerlukan fine-tuning langsung," katanya 12.
Kesimpulan
CodeSteer merepresentasikan pendekatan inovatif dalam meningkatkan kemampuan LLM tanpa perlu melakukan pelatihan ulang pada model besar. Dengan menggunakan model yang lebih kecil sebagai "pelatih pintar", teknologi ini membuka jalan bagi aplikasi AI yg lebih robust dan serbaguna dlm skenario dunia nyata yang kompleks. Bagi Indonesia yang sedang membangun ekosistem AI nasional, teknologi seperti ini dapat menjadi kunci untuk mengoptimalkan performa model bahasa Indonesia dan meningkatkan daya saing teknologi AI nasional di kancah global.
