Pengembangan Aplikasi Emoticon Recognition dan Facial Recognition menggunakan Algoritma Local Binary Pattern Histogram (LBPH) dan Convolutional Neural Network (CNN)

Haeruddin Haeruddin; Herman Herman; Patrick Pratama Hendri

doi:10.54914/jtt.v9i1.613

Penulis

Haeruddin Universitas Internasional Batam
Herman Universitas Internasional Batam
Patrick Pratama Hendri Universitas Internasional Batam

DOI:

https://doi.org/10.54914/jtt.v9i1.613

Kata Kunci:

AI, CNN, CRISP-DM, LBPH, Machine Learning

Abstrak

Pada zaman modern sekarang teknologi facial recognition sudah dapat ditemukan dalam kehidupan sehari-hari, akan tetapi teknologi ini masih memiliki satu masalah besar yaitu deepfake, dimana sebuah deepfake dapat mengelabui sistem keamanan yang dikembangkan berbasis facial recognition, salah satu aspek wajah yang belum dapat di replikasi dengan sempurna oleh deepfake adalah emosi yang dapat dilihat berdasarkan ekspresi wajah, oleh karena itu emosi dapat digunakan sebagai sebuah alat untuk mendeteksi sebuah deepfake, oleh karena itu dibutuhkan sebuah aplikasi yang dapat mendeteksi wajah dan emosi secara bersamaan untuk menambahkan keamanan teknologi facial recognition, penulis berhasil mengembangkan sebuah aplikasi yang dapat melakukan emotion recognition dan facial recognition secara bersamaan menggunakan algoritma LBPH (Local Binary Pattern Histogram) dengan data yang didapatkan menggunakan teknik purposive sampling untuk aspek facial recognition dengan keakuratan 67.5% dan algoritma CNN (Convolutional Neural Network) dengan menggunakan dataset FER2013 (Facial emotion Recognition 2013) untuk aspek emotion recognition dengan keakuratan 58.4%, menggunakan metode CRISP-DM yang dapat menghasilkan rata-rata keakuratan sebesar 63%, diakarenakan belum banyak penelitian yang menggabungkan facial recognition menggunakan algoritma LBPH (Local Binary Pattern Histogram) dengan emotion recognition menggunakan algoritma CNN (Convolutional Neural Network) secara bersamaan.

Unduhan

Data unduhan belum tersedia.

Referensi

M. I. Zarkasyi, M. R. Hidayatullah, and E. M. Zamzami, “Literature Review : Implementation of Facial Recognition in Society,” J. Phys. Conf. Ser., vol. 1566, no. 1, 2020, doi: 10.1088/1742-6596/1566/1/012069.

N. B. Aherwadi, D. Chokshi, S. Pande, and A. Khamparia, “Criminal Identification System using Facial Recognition,” SSRN Electron. J., 2021, doi: 10.2139/ssrn.3884827.

Y. Zhong and H. C. Moon, “Investigating Customer Behavior of Using Contactless Payment in China: A Comparative Study of Facial Recognition Payment and Mobile QR-Code Payment,” Sustain., vol. 14, no. 12, 2022, doi: 10.3390/su14127150.

S. Bussa, A. Mani, S. Bharuka, and S. Kaushik, “Smart Attendance System using OPENCV based on Facial Recognition,” Int. J. Eng. Res., vol. V9, no. 03, pp. 54–59, 2020, doi: 10.17577/ijertv9is030122.

I. Arifin, R. F. Haidi, and M. Dzalhaqi, “Penerapan Computer Vision Menggunakan Metode Deep Learning pada Perspektif Generasi Ulul Albab,” J. Teknol. Terpadu, vol. 7, no. 2, pp. 98–107, 2021, doi: 10.54914/jtt.v7i2.436.

M. Westerlund, “The emergence of deepfake technology: A review,” Technol. Innov. Manag. Rev., vol. 9, no. 11, pp. 39–52, 2019, doi: 10.22215/TIMREVIEW/1282.

P. Korshunov and S. Marcel, “Vulnerability assessment and detection of Deepfake videos,” 2019 Int. Conf. Biometrics, ICB 2019, 2019, doi: 10.1109/ICB45273.2019.8987375.

J. M. López-Gil, R. Gil, and R. García, “Do Deepfakes Adequately Display Emotions? A Study on Deepfake Facial Emotion Expression,” Comput. Intell. Neurosci., vol. 2022, p. 1332122, 2022, doi: 10.1155/2022/1332122.

B. Hosler et al., “Do deepfakes feel emotions? A semantic approach to detecting deepfakes via emotional inconsistencies,” IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit. Work., pp. 1013–1022, 2021, doi: 10.1109/CVPRW53098.2021.00112.

T. Dhawle, U. Ukey, and R. Choudante, “IRJET- Face Detection and Recognition using OpenCV and Python,” Int. Res. J. Eng. Technol., vol. 7, no. 10, 2020.

F. Deeba, A. Ahmed, H. Memon, F. A. Dharejo, and A. Ghaffar, “LBPH-based enhanced real-time face recognition,” Int. J. Adv. Comput. Sci. Appl., vol. 10, no. 5, pp. 274–280, 2019, doi: 10.14569/ijacsa.2019.0100535.

R. Pathar, A. Adivarekar, A. Mishra, and A. Deshmukh, “Human Emotion Recognition using Convolutional Neural Network in Real Time,” Proc. 1st Int. Conf. Innov. Inf. Commun. Technol. ICIICT 2019, pp. 1–7, 2019, doi: 10.1109/ICIICT1.2019.8741491.

F. Martinez-Plumed et al., “CRISP-DM Twenty Years Later: From Data Mining Processes to Data Science Trajectories,” IEEE Trans. Knowl. Data Eng., vol. 33, no. 8, pp. 3048–3061, 2021, doi: 10.1109/TKDE.2019.2962680.

L. Wang and A. A. Siddique, “Facial recognition system using LBPH face recognizer for anti-theft and surveillance application based on drone technology,” Meas. Control (United Kingdom), vol. 53, no. 7–8, pp. 1070–1077, 2020, doi: 10.1177/0020294020932344.

J. T. Springenberg, A. Dosovitskiy, T. Brox, and M. Riedmiller, “Striving for simplicity: The all convolutional net,” 3rd Int. Conf. Learn. Represent. ICLR 2015 - Work. Track Proc., pp. 1–14, 2015.

L. Zahara, P. Musa, E. Prasetyo Wibowo, I. Karim, and S. Bahri Musa, “The Facial Emotion Recognition (FER-2013) Dataset for Prediction System of Micro-Expressions Face Using the Convolutional Neural Network (CNN) Algorithm based Raspberry Pi,” 2020 5th Int. Conf. Informatics Comput. ICIC 2020, vol. 7, 2020, doi: 10.1109/ICIC50835.2020.9288560.

S. Nidhra, “Black Box and White Box Testing Techniques - A Literature Review,” Int. J. Embed. Syst. Appl., vol. 2, no. 2, pp. 29–50, 2012, doi: 10.5121/ijesa.2012.2204.