Terobosan Baru dalam Robotika: Neural Jacobian Fields
Di sebuah laboratorium MIT's Computer Science and Artificial Intelligence Laboratory (CSAIL), Cambridge, Massachusetts, sebuah tangan robot lunak dengan hati-hati menekuk jari-jarinya utk menggenggam objek kecil. Yang menarik bukanlah desain mekanisnya atau sensor yang tertanam—faktanya, tangan tersebut sama sekali tidak mengandung sensor 1. Sebaliknya, seluruh sistem mengandalkan satu kamera yang mengamati gerakan robot dan menggunakan data visual tersebut untuk mengontrolnya.
Kemampuan ini berasal dr sistem baru yang dikembangkan oleh para ilmuwan CSAIL, menawarkan perspektif berbeda tentang kontrol robotik. Daripada menggunakan model yang dirancang manual atau array sensor yang kompleks, sistem ini memungkinkan robot mempelajari bagaimana tubuh mereka merespons perintah kontrol, hanya melalui penglihatan. Pendekatan yang disebut Neural Jacobian Fields (NJF) ini memberikan robot semacam kesadaran diri tubuh 2.
Seperti yg dijelaskan oleh Sizhe Lester Li, mahasiswa PhD di bidang electrical engineering and computer science MIT, afiliasi CSAIL, dan peneliti utama dalam pekerjaan ini, "Pekerjaan ini menunjuk pada pergeseran dari pemrograman robot ke mengajar robot. Hari ini, banyak tugas robotika memerlukan rekayasa dan pengkodean yang ekstensif. Di masa depan, kami membayangkan menunjukkan pada robot apa yang harus dilakukan, dan membiarkannya belajar bagaimana mencapai tujuan secara otonom."
Cara Kerja Sistem Vision-Based yang Revolusioner
Motivasinya berasal dari reframing sederhana namun kuat: hambatan utama untuk robotika yang terjangkau dan fleksibel bukanlah perangkat keras—melainkan kontrol kemampuan, yang bisa dicapai dengan berbagai cara. Robot tradisional dibangun agar kaku dan kaya sensor, memudahkan konstruksi digital twin (kembar digital), replika matematis yang tepat digunakan untuk kontrol 3. Namun ketika robot bersifat lunak, dapat berubah bentuk, atau berbentuk tidak beraturan, asumsi tersebut runtuh.
Daripada memaksa robot mencocokkan model kita, NJF membalik skrip—memberikan robot kemampuan mempelajari model internal mereka sendiri melalui observasi. Decoupling modeling dan desain perangkat keras ini dapat secara signifikan memperluas ruang desain untuk robotika. Dalam robot lunak dan bio-inspired, desainer sering menanamkan sensor atau memperkuat bagian struktur hanya utk membuat pemodelan menjadi layak. NJF mengangkat batasan tersebut.
Sistem tidak memerlukan sensor onboard atau penyesuaian desain untuk membuat kontrol menjadi mungkin. Para desainer lebih bebas mengeksplorasi morfologi yang tidak konvensional dan tidak terbatas tanpa khawatir apakah mereka akan dapat memodelkan atau mengontrolnya nanti. "Pikirkan bagaimana Anda belajar mengontrol jari-jari Anda: Anda menggelengkan, mengamati, beradaptasi," kata Li. "Itulah yang dilakukan sistem kami. Ia bereksperimen dgn tindakan acak dan mencari tahu kontrol mana yang menggerakkan bagian robot mana."
Implementasi pada Berbagai Jenis Robot
Robot Lunak dan Keras
Sistem telah terbukti kuat di berbagai jenis robot. Tim menguji NJF pada tangan robot lunak pneumatik yang mampu mencubit dan menggenggam, tangan Allegro yang kaku, lengan robot cetak 3D, dan bahkan platform berputar tanpa sensor tertanam 4. Di setiap kasus, sistem mempelajari bentuk robot dan bagaimana ia merespons sinyal kontrol, hanya dari penglihatan dan gerakan acak.
Yang menarik dari implementasi ini bahwa sistem menentukan sendiri motor mana yang mengontrol bagian robot mana. "Yang benar-benar menarik adalah bahwa sistem mencari tahu sendiri motor mana yang mengontrol bagian robot mana," kata Li. "Ini tidak diprogram—muncul secara alami melalui pembelajaran, seperti seseorang menemukan tombol pada perangkat baru."
Platform Berputar Tanpa Sensor
Bahkan dlm simulasi awal, jari dan slider 2D sederhana dapat mempelajari pemetaan ini hanya menggunakan beberapa contoh. Dengan memodelkan bagaimana titik-titik spesifik berubah bentuk atau bergeser sebagai respons terhadap tindakan, NJF membangun peta padat kontrolabilitas. Model internal tersebut memungkinkannya menggeneralisasi gerakan di seluruh tubuh robot, bahkan ketika datanya bising atau tidak lengkap.
Inti dari NJF adalah jaringan saraf yang menangkap dua aspek yang saling terkait dari perwujudan robot: geometri tiga dimensinya dan sensitivitasnya terhadap input kontrol. Sistem ini dibangun di atas neural radiance fields (NeRF), teknik yang merekonstruksi adegan 3D dari gambar dengan memetakan koordinat spasial ke nilai warna dan kepadatan 5.
Potensi Aplikasi di Dunia Nyata
Sektor Pertanian dan Konstruksi
Para peneliti melihat potensi jauh melampaui laboratorium. Robot yang dilengkapi NJF suatu hari dapat melakukan tugas pertanian dgn akurasi lokalisasi tingkat sentimeter, beroperasi di lokasi konstruksi tanpa array sensor yang rumit, atau menavigasi lingkungan dinamis dimana metode tradisional tidak berfungsi 6. Seperti yang dijelaskan dalam berbagai penelitian vision-based system untuk aplikasi industri, teknologi ini berpotensi merevolusi cara robot bekerja di lingkungan yang tidak terstruktur.
Untuk melatih model, robot melakukan gerakan acak sementara beberapa kamera merekam hasilnya. Tidak diperlukan supervisi manusia atau pengetahuan sebelumnya tentang struktur robot—sistem hanya mengenyam hubungan antara sinyal kontrol dan gerakan dengan menonton. Setelah pelatihan selesai, robot hanya membutuhkan satu kamera monokular untuk kontrol closed-loop real-time, berjalan sekitar 12 Hertz.
Lingkungan Dinamis
Ini memungkinkannya terus mengamati dirinya sendiri, merencanakan, dan bertindak responsif. Kecepatan tersebut membuat NJF lebih layak dibandingkan banyak simulator berbasis fisika untuk robot lunak, yang sering terlalu intensif secara komputasi untuk penggunaan real-time. Seperti yang disebutkan dalam penelitian tentang sistem vision untuk kontrol robot industri, pendekatan vision-based semakin populer karena fleksibilitasnya 7.
Visi saja dapat memberikan petunjuk yang diperlukan untuk lokalisasi dan kontrol—menghilangkan kebutuhan GPS, sistem pelacakan eksternal, atau sensor onboard yang komplek. Ini membuka pintu untuk perilaku yang kuat dan adaptif di lingkungan yang tidak berstruktur, dari drone yg bernavigasi di dalam ruangan atau bawah tanah tanpa peta hingga manipulator mobile yang bekerja di rumah atau gudang yang berantakan, dan bahkan robot berkaki yang melintasi medan yang tidak rata.
Pergeseran dari Programming ke Teaching Robot
Seperti yang diungkapkan oleh Vincent Sitzmann, asisten profesor MIT yang memimpin grup Scene Representation, "Robotika hari ini sering terasa di luar jangkauan karena sensor yang mahal dan pemrograman yang kompleks. Tujuan kami dengan Neural Jacobian Fields adalah menurunkan hambatan, membuat robotika terjangkau, adaptabel, dan dapat diakses oleh lebih banyak orang. Visi adalah sensor yang tangguh dan dapat diandalkan." 8
Sementara pelatihan NJF saat ini memerlukan beberapa kamera dan harus diulang untuk setiap robot, para peneliti sudah membayangkan versi yang lebih dapat diakses. Di masa depan, para hobbyist dapat merekam gerakan acak robot dengan ponsel mereka, seperti Anda akan mengambil video mobil rental sebelum mengemudi, dan menggunakan rekaman tersebut untuk membuat model kontrol, tanpa pengetahuan sebelumnya atau peralatan khusus.
Pendekatan ini menunjukkan tren yang lebih luas dalam robotika: bergerak menjauh dari pemrograman model terperinci secara manual menuju mengajar robot melalui observasi dan interaksi. Sebagaimana dijelaskan dlm penelitian tentang sistem vision untuk analisis gerakan, teknologi vision-based semakin canggih dan dapat diterapkan pada berbagai aplikasi 9.
Tantangan dan Keterbatasan Sistem
Sistem belum menggeneralisasi di berbagai robot yang berbeda, dan tidak memiliki penginderaan gaya atau taktil, membatasi efektivitasnya pada tugas-tugas yang kaya kontak. Tetapi tim sedang mengeksplorasi cara-cara baru untuk mengatasi keterbatasan ini: meningkatkan generalisasi, menangani oklusi, dan memperluas kemampuan model untuk bernalar melalui cakrawala spasial dan temporal yang lebih panjang 10.
Seperti yang disampaikan oleh Daniela Rus, profesor MIT bidang electrical engineering and computer science serta direktur CSAIL, "Dengan belajar dari umpan balik visual, sistem ini mengembangkan model internal gerakan dan dinamika mereka sendiri, memungkinkan operasi yang fleksibel dan self-supervised dimana metode lokalisasi tradisional akan gagal." Berbagai penelitian tentang sistem vision untuk deteksi dan pengukuran presisi juga menunjukkan potensi teknologi ini 11.
Paper ini mempertemukan pekerjaan computer vision dan self-supervised learning dari lab Sitzmann dan keahlian dalam robot lunak dari lab Rus. Li, Sitzmann, dan Rus ikut menulis paper bersama afiliasi CSAIL lainnya termasuk beberapa mahasiswa PhD dan peneliti postdoc yang berkontribusi pada pengembangan sistem ini.
Masa Depan Robotika Lunak
Selama puluhan tahun, robotika telah menyukai masbin yang kaku dan mudah dimodelkan—seperti lengan industri yang ditemukan di pabrik—karena sifat-sifat mereka menyederhanakan kontrol. Namun bidang ini telah bergerak menuju robot lunak dan bio-inspired yang dapat beradaptasi dengan dunia nyata lebih lancar. Trade-off-nya? Robot ini lebih sulit dimodelkan 12.
Seperti yang dijelaskan dalam berbagai penelitian tentang sistem vision untuk aplikasi medis dan industri, teknologi vision-based terus berkembang dan menemukan aplikasi baru 13. "Sama seperti manusia mengembangkan pemahaman intuitif tentang bagaimana tubuh mereka bergerak dan merespons perintah, NJF memberikan robot semacam kesadaran diri yang terwujud melalui visi saja," kata Li.
Pemahaman ini adalah fondasi untuk manipulasi dan kontrol yang fleksibel di lingkungan dunia nyata. Pekerjaan kami, pada dasarnya, mencerminkan tren yang lebih luas dlm robotika: bergerak menjauh dari pemrograman model terperinci secara manual menuju mengajar robot melalui observasi dan interaksi. Penelitian ini didukung oleh Solomon Buchsbaum Research Fund melalui MIT's Research Support Committee, MIT Presidential Fellowship, National Science Foundation, dan Gwangju Institute of Science and Technology.
Kesimpulan
Terobosan Neural Jacobian Fields yang dikembangkan di MIT CSAIL menandai pergeseran paradigma signifikan dalam robotika modern. Sistem revolusioner ini memungkinkan robot memahami tubuh mereka sendiri hanya melalui penglihatan, tanpa memerlukan sensor mahal atau pemrograman yang kompleks. Dengan kemampuan belajar secara mandiri melalui observasi visual, teknologi ini membuka peluang besar bagi pengembangan robot yang lebih terjangkau dan fleksibel di berbagai sektor, mulai dari pertanian hingga konstruksi. Meskipun masih terdapat keterbatasan dalam generalisasi antar robot dan penginderaan taktil, penelitian ini menunjukkan masa depan yang menjanjikan dimana robot dapat diajarkan daripada diprogram, mencerminkan cara alami manusia mempelajari kontrol tubuh mereka sendiri.
Referensi
- Gordon, R. (2025, July 24). Robot, know thyself: New vision-based system teaches machines to understand their bodies. MIT News. https://news.mit.edu/2025/vision-based-system-teaches-machines-understand-their-bodies-0724
- No-Till Farmer. (2022, January 18). Precision Planting Reveals Sprayer Boom Priming, Nozzle Control & Vision-Based System. No-Till Farmer. https://www.no-tillfarmer.com
- Automation World. (2024, April 28). Improve Inspection Accuracy with Automated Vision Systems. Automation World. https://www.automationworld.com/process/sensors/article/55021289/improve-inspection-accuracy-with-automated-vision-systems
- ScienceDirect. (2017, December 14). Comparison between passive vision-based system and a wearable inertial-based system for estimating temporal gait parameters related to the GAITRite electronic walkway. ScienceDirect. https://www.sciencedirect.com
- MSN. (2025, July 21). New multi-camera vision system enables fast, precise online measurement of complex tubes. MSN Technology News. https://www.msn.com/en-us/news/technology/new-multi-camera-vision-system-enables-fast-precise-online-measurement-of-complex-tubes/ar-AA1J05Fo
- Automation World. (2024, March 13). Vision System Detects Wrinkles on Pressure-Sensitive Adhesives. Automation World. https://www.automationworld.com/factory/sensors/article/33037931/vision-system-detects-wrinkles-on-pressure-sensitive-adhesives
