Pembelajaran Bahasa Isyarat Berbasis Cloud dan Machine Learning di PUSBISINDO

Abstract

Keterbatasan media pembelajaran interaktif untuk Bahasa Isyarat Indonesia (BISINDO) menyulitkan proses belajar mandiri huruf abjad isyarat (A-Z), khususnya bagi pemula yang tidak memiliki akses langsung ke pengajar atau komunitas Tuli. Kegiatan PKM ini menghasilkan aplikasi web pembelajaran BISINDO yang memungkinkan pengguna mempelajari 26 huruf abjad isyarat secara mandiri dan mempraktikkannya langsung di depan kamera, dengan umpan balik otomatis dari model pengenalan gestur tangan. Sistem dibangun dengan arsitektur client-side: model klasifikasi citra MobileNetV3-Large yang di-fine-tune dari bobot ImageNet1K diekspor ke format ONNX dan dijalankan sepenuhnya di peramban (browser) pengguna melalui ONNX Runtime Web (WebAssembly), sehingga tidak memerlukan server inferensi dan menjaga privasi video pengguna karena tidak ada gambar yang dikirim keluar perangkat. Deteksi keberadaan tangan menggunakan MediaPipe HandLandmarker sebagai gerbang (gate) sebelum citra diteruskan ke model klasifikasi, mengurangi prediksi palsu saat tidak ada tangan di depan kamera. Proses pengembangan model melalui beberapa iterasi signifikan: perbaikan skema pembagian data (split) yang semula bocor akibat duplikasi augmentasi menaikkan akurasi validasi dari 27,6% menjadi 84,0%, dan penambahan pemotongan (crop) citra pada area bounding box tangan menaikkannya lebih lanjut hingga 90,4% (validasi) dan 84,7% (uji) untuk arsitektur Large. Aplikasi diuji secara fungsional pada mode latihan interaktif, di mana pengguna diberi umpan balik visual dan audio ketika berhasil memperagakan huruf target. Hasil kegiatan ini menunjukkan bahwa kombinasi model klasifikasi ringan berbasis mobile-oriented CNN dan inferensi on-device dapat menjadi solusi pembelajaran BISINDO yang ringan, dapat diakses melalui perangkat apa pun tanpa instalasi, dan tidak bergantung pada infrastruktur cloud untuk komputasi model.