Model Deep Learning untuk Penerjemah Bahasa Isyarat SIBI dengan Arsitektur Transfer Learning

Fikri Pratama Al Fajri; Ahmad Rio Adriansyah; Sirojul Munir

doi:10.54914/dbesti.v2i1.1476

Penulis

Fikri Pratama Al Fajri Sekolah Tinggi Teknologi Terpadu Nurul Fikri
Ahmad Rio Adriansyah Sekolah Tinggi Teknologi Terpadu Nurul Fikri
Sirojul Munir Sekolah Tinggi Teknologi Terpadu Nurul Fikri

DOI:

https://doi.org/10.54914/dbesti.v2i1.1476

Kata Kunci:

CNN, Deep Learning, MobileNetV2, SIBI, Transfer Learning

Abstrak

Orang-Orang dengan disabilitas tuna wicara serta tunarungu memiliki kesulitan ketika berkomunikasi dengan orang non disabilitas dikarenakan mereka menggunakan bahasa isyarat yang jarang dipelajari secara umum. Untuk menyelesaikan permasalahan ini diperlukan suatu model deep learning yang dapat mendeteksi gerakan tangan bahasa isyarat yang selanjutnya dapat dibuat aplikasi penerjemah bahasa isyarat yang bisa mempermudah komunikasi orang non disabilitas dengan orang disabilitas. Tujuan dari penelitian ini adalah membuat model deep learning yang mampu mendeteksi gerakan tangan bahasa isyarat berjenis SIBI alfabet dengan akurasi yang baik. Model algoritma CNN menggunakan Transfer Learning arsitektur MobilenetV2 dan metode transfer learning. Hasil penelitian ini menunjukkan evaluasi model mencapai 95,45% dan model selanjutnya dapat diterapkan pada aplikasi penerjemah isyarat, untuk pengembangan lanjutan diharapkan penggunaan dataset yang lebih banyak agar model mendapatkan banyak variasi saat proses training.

Unduhan

Data unduhan belum tersedia.

Referensi

[1] N. Sman, “Pemerolehan Bahasa Penderita Tuna Rungu Dan Tuna Wicara (Kajian Pragmatik Pada Kosakata Dan Fonetis ),” Vol. 1, No. 1, 2021.

[2] “Kamus SIBI.” Accessed: Mar. 13, 2024. [Online]. Available: https://pmpk.kemdikbud.go.id/sibi/profil

[3] M. F. Supriadi, E. Rachmawati, And A. Arifianto, “Pembangunan Aplikasi Mobile Pengenalan Objek Untuk Pendidikan Anak Usia Dini,” Vol. 8, No. 2, Pp. 357–364, 2021, Doi: 10.25126/Jtiik.202184363.

[4] S. Apendi and M. W. Paryasto, “Deteksi Bahasa Isyarat Sistem Isyarat Bahasa Indonesia Menggunakan Metode Single Shot Multibox Detector,” 2023.

[5] R. Pradono Iswara, T. Informatika, F. Sains Dan Teknologi, U. Syarif Hidayatullah Jakarta, And S. Gotong Royong Jakarta, “Pengembangan Algoritma Unsupervised Learning Technique Pada Big Data Analysis Di Media Sosial Sebagai Media Promosi Online Bagi Masyarakat,” Jurnal Teknik Informatika, Vol. 12, No. 1, 2019.

[6] J. T. Terpadu, I. Arifin, R. Fakhran Haidi, And M. Dzalhaqi, “Penerapan Computer Vision Menggunakan Metode Deep Learning Pada Perspektif Generasi Ulul Albab,” Jurnal Teknologi Terpadu, Vol. 7, No. 2, Pp. 98–107, 2021, [Online]. Available: Https://Journal.Nurulfikri.Ac.Id/Index.Php/Jtt

[7] A. Raup, W. Ridwan, Y. Khoeriyah, Q. Yuliati Zaqiah, and U. Islam Negeri Sunan Gunung Djati Bandung, “Deep Learning dan Penerapannya dalam Pembelajaran.” [Online]. Available: http://Jiip.stkipyapisdompu.ac.id

[8] D. M. Wonohadidjojo, “Perbandingan Convolutional Neural Network pada Transfer Learning Method untuk Mengklasifikasikan Sel Darah Putih,” Ultimatics : Jurnal Teknik Informatika, vol. 13, no. 1, p. 51, 2021.

[9] Pane Yosefan Yeremia And Shimbing Jordan Jeremia, “Klasifikasi Jenis Burung Menggunakan Metode Transfer Learning,” Jurnal Teknologi Terpadu, Vol. 9, No. 2, Pp. 89–94, 2023, Accessed: Jul. 31, 2024. [Online]. Available: https://journal.nurulfikri.ac.id/index.php/jtt

[10] A. S. Riyadi, I. P. Wardhani, D. S. Widayati, And K. Kunci, “Klasifikasi Citra Anjing Dan Kucing Menggunakan Metode Convolutional Neural Network (Cnn),” Universitas Gunadarma Jl. Margonda Raya No, Vol. 5, No. 1, P. 12140, 2021.

[11] M. Rijal, Yani Muhammad Andi, And Rahman Abdul, “Deteksi Citra Daun Untuk Klasifikasi Penyakit Padi Menggunakan Pendekatan Deep Learning dengan Model Cnn,” Jurnal Teknologi Terpadu, Vol. 10, No. 1, Pp. 56–62, 2024, Accessed: Jul. 31, 2024. [Online]. Available: Https://Journal.Nurulfikri.Ac.Id/Index.Php/Jtt

[12] N. Nufus et al., “Sistem Pendeteksi Pejalan Kaki Di Lingkungan Terbatas Berbasis SSD MobileNet V2 Dengan Menggunakan Gambar 360° Ternormalisasi,” Prosiding Seminar Nasional Sains Teknologi dan Inovasi Indonesia (SENASTINDO), vol. 3, pp. 123–134, Dec. 2021, doi: 10.54706/senastindo.v3.2021.123.

[13] M. Sandler, A. Howard, M. Zhu, A. Zhmoginov, And L.-C. Chen, “Mobilenetv2: Inverted Residuals And Linear Bottlenecks,” Jan. 2019, [Online]. Available: Http://Arxiv.Org/Abs/1801.04381

[14] T. Bayu Sasongko And A. Amrullah, “Analisis Efek Augmentasi Dataset Dan Fine Tune Pada Algoritma Pre-Trained Convolutional Neural Network (Cnn),” Vol. 10, No. 4, Pp. 763–768, 2023, Doi: 10.25126/Jtiik.2023106583.

[15] Karlina Surya Witanto, Ngurah Agus Sanjaya Er, Aain Eka Karyawati, I Gusti Agung Gede Arya Kadyanana, I Ketut Gede Suhartana, And Luh Gede Astutia, “Implementasi Lstm Pada Analisis Sentimen Review Film,” Jurnal Elektronik Ilmu Komputer Udayana, Vol. 10, No. 4, 22ad.