Deteksi Gestur Sistem Isyarat Bahasa Indonesia Menggunakan Metode Deep learning SSD MobileNet V2 FPNLite

Abstract

Penyandang disabilitas tunarungu memiliki keterbatasan pada indra pendengaran yang mengakibatkan hambatan dalam perkembangan bahasa sehingga memerlukan bimbingan dan pendidikan khusus. Penyandang disabilitas dengan usia 15 tahun ke atas sebagian besar baru mampu menyelesaikan pendidikan dengan tamatan SD berdasarkan data dari Badan Pusat Statistik. Tantangan lainnya yakni masih terdapat kesenjangan komunikasi antara tunarungu dan non-tunarungu karena tidak sedikit yang masih tidak mengerti bahasa isyarat. Seiring berkembangnya waktu, teknologi diadopsi untuk menyelesaikan permasalahan ini, salah satunya sistem deep learning yang mampu mendeteksi gestur SIBI (Sistem Isyarat Bahasa Indonesia). Penelitian ini menggunakan Arsitektur Model Pre-Trained SSD MobileNet V2 FPNLite dan Framework TensorFlow Object Detection untuk mendeteksi 15 gestur SIBI (Huruf Vokal A, I, U, E, O dan 10 kata yakni Baik, Bangku, Bel, Dia, Meja, Pramuka, Sakit, Saya, Teman, dan Tugas).  Penelitian ini melibatkan dataset berjumlah 15.000 gambar yang dibagi menjadi 80% data pelatihan, 10% data validasi, dan 10% data pengujian. Kumpulan data mencakup variasi sudut, kamera, warna, latar belakang, jenis kelamin, maupun usia. Model dilatih selama 40.000 steps dengan batch size 16. Hasil evaluasi menunjukkan bahwa model berhasil mendeteksi 15 gestur SIBI tersebut dengan nilai akurasi model mAP @ 0.5:0.05:0.95 sebesar 89,93% dan nilai loss sebesar 0.1434.