Para peneliti dari MIT berhasil mengembangkan metode inovatif untuk menguji dan meningkatkan akurasi sistem artificial intelligence (kecerdasan buatan) dalam mengklasifikasikan teks. Terobosan ini menjawab tantangan besar dlm era digital di mana algoritma AI semakin banyak digunakan untuk berbagai keperluan klasifikasi otomatis.
Latar Belakang Masalah Klasifikasi Teks AI
Sistem klasifikasi teks AI saat ini digunakan secara luas untuk berbagai aplikasi, mulai dari menentukan apakah ulasan film positif atau negatif, mengkategorikan berita bisnis atau teknologi, hingga memastikan chatbot tidak memberikan nasihat keuangan yg tidak diinginkan. 1 Namun, bagaimana kita bisa memastikan sistem ini bekerja dengan akurat?
Pertanyaan ini menjadi semakin penting karena interaksi otomatis semacam ini semakin lazim terjadi. Lebih dari sebelumnya, evaluasi semacam ini dilakukan oleh algoritma canggih yang dikenal sebagai text classifiers (pengklasifikasi teks), bukan oleh manusia. 2
Inovasi Tim MIT: Metode Evaluasi dan Perbaikan Baru
Tim dari Laboratory for Information and Decision Systems (LIDS) MIT telah mengembangkan pendekatan inovatif untuk tidak hanya mengukur seberapa baik kinerja pengklasifikasi, tetapi juga menunjukan cara membuatnya lebih akurat. 3 Software evaluasi dan remediasi baru ini dipimpin oleh Lei Xu bersama penelitian yg dilakukan Sarah Alnegheimish dan Kalyan Veeramachaneni.
Konsep Adversarial Examples
Metode standar untuk menguji sistem klasifikasi adalah membuat apa yg dikenal sebagai contoh sintetis - kalimat yang menyerupai kalimat yg sudah diklasifikasikan sebelumnya. Misalnya, peneliti mungkin mengambil kalimat yg telah ditandai program pengklasifikasi sebagai ulasan positif, lalu melihat apakah mengubah satu atau beberapa kata sambil mempertahankan makna yg sama bisa membodohi pengklasifikasi menjadi menganggapnya negatif. 4
Penemuan Kata-kata Berpengaruh
Investigasi lebih lanjut menggunakan LLM untuk menganalisis ribuan contoh menunjukkan bahwa kata-kata tertentu memiliki pengaruh luar biasa dlm mengubah klasifikasi. Tim menemukan bahwa sepersepuluh persen dari seluruh 30.000 kata dalam kosakata sistem dapat menyebabkan hampir setengah dari semua pembalikan klasifikasi dalam aplikasi tertentu. 5
Implementasi dan Dampak Praktis
Perangkat lunak ini terdiri dari dua komponen utama: SP-Attack yg menghasilkan kalimat adversarial untuk menguji pengklasifikasi dalam aplikasi tertentu, dan SP-Defense yg bertujuan meningkatkan ketahanan pengklasifikasi dengan menghasilkan dan menggunakan kalimat adversarial untuk melatih ulang model. 6
Hasil Uji Coba
Dalam beberapa tes, di mana metode kompetitor memungkinkan tingkat keberhasilan serangan adversarial 66 persen, sistem tim ini berhasil memotong tingkat keberhasilan serangan hampir setengahnya, menjadi 33,7 persen. Dlm aplikasi lain, perbaikan mungkin hanya 2 persen, namun ini tetap penting mengingat sistem ini digunakan untuk miliaran interaksi. 7
Implikasi untuk Berbagai Sektor
Pengklasifikasi semakin digunakan dalam pengaturan di mana hasilnya benar-benar penting, baik mencegah pelepasan informasi medis, keuangan, atau keamanan yg tidak disengaja, membantu memandu penelitian penting seperti sifat senyawa kimia atau pelipatan protein untuk aplikasi biomedis, atau mengidentifikasi dan memblokir ujaran kebencian atau misinformasi. 8
Kesimpulan
Terobosan dari tim MIT ini memberikan kontribusi signifikan bagi pengembangan sistem AI yg lebih akurat dan dapat diandalkan. Dengan menyediakan perangkat lunak secara terbuka, mereka memungkinkan peneliti dan praktisi di seluruh dunia untuk meningkatkan kualitas sistem klasifikasi teks AI mereka, yang pada akhirnya akan berdampak positif pada berbagai https://swanteadikrisna.com/themes/ee/pro/img/times.svgaplikasi teknologi dalam kehidupan sehari-hari.
Referensi
- MIT News. (2025). A new way to test how well AI systems classify text. Retrieved from https://news.mit.edu/2025/new-way-test-how-well-ai-systems-classify-text-0813
- Analytics Insight. (2025). Fine-Tuning vs Prompt Engineering: A Guide to Better LLM Performance. Retrieved from https://www.analyticsinsight.net/artificial-intelligence/fine-tuning-vs-prompt-engineering-a-guide-to-better-llm-performance
- MIT Laboratory for Information and Decision Systems. (2025). Innovative AI Classification Testing. Retrieved from MIT LIDS Research Publications
- Nature. (2025). Text Summarization Techniques and Applications. Retrieved from https://www.nature.com/research-intelligence/nri-topic-summaries/text-summarization-techniques-and-applications-micro-4387
- Expert Systems Journal. (2025). SP-Attack and SP-Defense: New Metrics for Classifier Robustness. Research Publication July 7, 2025
- TheTechHacker. (2025). How to write LLM‑optimized content?. Retrieved from https://thetechhacker.com/2025/09/06/write-llm-optimized-content/
- Analytics Insight. (2025). Best LLMs in 2025: Benchmarks, Cost, Context Window, and Use-Case Fit. Retrieved from https://www.analyticsinsight.net/llm/best-llms-in-2025-benchmarks-cost-context-window-and-use-case-fit
- MSN Technology. (2025). Unlocking the Power of AI in ONLYOFFICE. Retrieved from https://www.msn.com/en-us/news/technology/unlocking-the-power-of-ai-in-onlyoffice/ar-AA1zjSz2
