Use Case
Ishara dirancang untuk mendekatkan masyarakat umum dengan bahasa isyarat Indonesia (BISINDO) melalui pendekatan belajar yang menyenangkan. Dengan sistem gamifikasi — poin, level, dan tantangan harian — pengguna terdorong untuk terus berlatih hingga mahir mengenali dan mempraktikkan gestur tangan.
Fitur Utama
- Deteksi gestur real-time — model TensorFlow Lite berjalan sepenuhnya di perangkat (on-device), mengenali bentuk tangan pengguna melalui kamera tanpa memerlukan koneksi internet
- Modul pembelajaran bertahap — materi diorganisir dari huruf dasar, angka, hingga kata dan kalimat sederhana
- Sistem gamifikasi — poin XP, streak harian, lencana pencapaian, dan papan peringkat untuk menjaga motivasi
- Umpan balik instan — setelah setiap gestur terdeteksi, pengguna langsung mendapat konfirmasi benar/salah beserta animasi koreksi
- Mode latihan & kuis — mode bebas untuk eksplorasi dan mode kuis terstruktur untuk evaluasi kemampuan
Tantangan Teknis
Model klasifikasi gestur dilatih menggunakan dataset gestur BISINDO yang dikurasi secara manual, kemudian dikonversi ke format .tflite dan dioptimasi dengan kuantisasi INT8 agar dapat berjalan dengan latensi rendah (<50ms) di perangkat Android kelas menengah. MediaPipe digunakan untuk ekstraksi landmark tangan sebelum data dikirim ke model klasifikasi.