Proses Pengembangan Aplikasi

1. Persiapan & Setup.Tahap ini diawali dengan diskusi tim untuk memahami karakteristik linguistik BISINDO sebagai bahasa alami komunitas Tuli di Indonesia. Tim akan mempersiapkan lingkungan pengembangan berbasis Python dan kerangka kerja MediaPipe, yang terbukti efektif untuk pelacakan landmark tubuh secara real-time (Samaan et al., 2022). Studi kelayakan juga dilakukan untuk memastikan infrastruktur komputasi memadai guna menangani pemrosesan video yang intensif (Putra & Rakun, 2025).

2. Pengumpulan Data. Perekaman data akan melibatkan lima peraga berbeda untuk menciptakan variasi gestur yang signer-independent, sebuah pendekatan yang penting untuk generalisasi model (Myagila et al., 2025). Setiap peraga akan merekam 20 kelas kata BISINDO sebanyak lima kali dalam format video HD 720p pada 30 fps untuk menjaga kualitas visual gerakan (Putra & Rakun, 2025). Proses ini dilakukan di berbagai kondisi pencahayaan dan latar belakang guna memastikan ketahanan sistem terhadap gangguan visual (Aljabar & Suharjito, 2020).

3. Pra-pemrosesan Data. Video yang direkam akan disegmentasi menjadi urutan frame, di mana hanya frame genap yang diambil dan ukurannya dinormalisasi untuk efisiensi komputasi (Sutjiadi, 2023). Teknik augmentasi data, seperti horizontal flip, diterapkan untuk mengakomodasi variasi pengguna kidal dan meningkatkan keragaman data latih (Myagila et al., 2025). Selain itu, penyesuaian kecerahan dan rotasi acak dilakukan untuk memperkaya variasi visual dataset (Sutjiadi, 2023).

4. Ekstraksi Fitur. Sistem akan menggunakan MediaPipe Holistic untuk mendeteksi titik-titik referensi tubuh dari setiap frame gambar RGB. Proses ini menghasilkan total 522 titik fitur yang mencakup 21 titik tangan, 468 titik wajah, dan 33 titik pose tubuh untuk merepresentasikan gerakan isyarat secara detail (Samaan et al., 2022). Fitur-fitur ini kemudian disimpan sebagai data sekuensial yang siap dimasukkan ke dalam model machine learning.

5. Perancangan Model. Arsitektur model dibangun menggunakan dua lapisan Gated Recurrent Unit (GRU) dengan 128 unit, yang dipilih karena efisiensi komputasinya dibandingkan LSTM (Myagila et al., 2025). Penggunaan fungsi aktivasi ELU (Exponential Linear Unit) diterapkan untuk mempercepat konvergensi pelatihan dan menangani masalah vanishing gradient (Myagila et al., 2025).

6. Pelatihan Model. Dataset dibagi dengan rasio 70:15:15 untuk data latih, validasi, dan uji guna mencegah overfitting dan memastikan evaluasi yang objektif (Sutjiadi, 2023). Pelatihan menggunakan optimizer Adam dan fungsi kerugian categorical cross-entropyyang efektif untuk klasifikasi multi-kelas (Myagila et al., 2025). Model akan dilatih selama 50–200 epoch dengan pemantauan learning rate 0,001 untuk mencapai performa optimal.

7. Evaluasi Model. Kinerja model dievaluasi menggunakan metrik akurasi, presisi, recall, dan F1-score untuk memastikan keandalan prediksi di setiap kelas kata (Myagila et al., 2025). Target akurasi ditetapkan sebesar 80%, dan analisis confusion matrix digunakan untuk mengidentifikasi kesalahan klasifikasi antar gestur yang mirip (Myagila et al., 2025). Hasil evaluasi ini menjadi dasar untuk penyetelan ulang hyperparameter jika target belum tercapai.

8. Optimization & Deployment. Model yang telah dilatih dikonversi ke format TFLite melalui teknik kuantisasi untuk mengurangi ukuran file agar ringan dijalankan pada perangkat seluler Android (Sutjiadi, 2023). Aplikasi dikembangkan dengan kemampuan tangkapan kamera real-time yang terintegrasi dengan fitur Text-to-Speech (TTS) untuk komunikasi dua arah. Pengujian teknis dilakukan untuk memastikan latensi rendah dan kestabilan FPS saat aplikasi digunakan secara langsung.

9. Field Testing & User Study.Pengujian lapangan melibatkan partisipasi langsung pengguna dari komunitas Tuli untuk memvalidasi kegunaan sistem dalam skenario dunia nyata (Putra & Rakun, 2025). Metode System Usability Scale (SUS) dan wawancara digunakan untuk mengumpulkan umpan balik kualitatif mengenai antarmuka dan akurasi penerjemahan. Hasil pengujian ini digunakan untuk iterasi perbaikan fitur agar lebih inklusif dan mudah diakses.

10. Dokumentasi. Dokumentasi teknis lengkap disusun mencakup arsitektur sistem dan panduan pengguna, serta source code disimpan secara terstruktur untuk transparansi pengembangan. Publikasi ini bertujuan untuk berkontribusi pada literatur teknologi bantu bagi penyandang disabilitas.

Luaran Kegiatan. Luaran dari kegiatan ini mencakup: (1) Dataset BISINDO terstandarisasi berupa kumpulan 500 rekaman video untuk 20 kelas gestur BISINDO Solo, dilengkapi anotasi koordinat landmark dalam format JSON; (2) Model GRU dalam bentuk bobot terlatih, laporan evaluasi kuantitatif, serta kode inferensi yang terdokumentasi; (3) Mobile MVP aplikasi sebagai prototipe Android dengan deployment model GRU dalam format TFLite; (4) Dokumentasi teknis mencakup desain sistem, dokumentasi API, panduan pengguna, serta panduan deployment; (5) Laporan field testing dan temuan user study yang merangkum hasil uji coba sistem di lapangan bersama komunitas.