“MigAsystent” – how artificial intelligence helps deaf people
Antoni Ciesielski
Zespół Szkół Technicznych im. Waldemara Gostomczyka w Ostrowie Wielkopolskim
e-mail: antekciesielski2007@gmail.com
dr Paweł Sobczak
Zespół Szkół Technicznych im. Waldemara Gostomczyka w Ostrowie Wielkopolskim
Akademia Nauk Stosowanych w Koninie
Streszczenie: „MigAsystent” to prototyp nowoczesnego urządzenia wspomagającego komunikację zrealizowanego z myślą o osobach niesłyszących oraz instytucjach publicznych. Projekt ten umożliwia tłumaczenie gestów języka migowego [4] (ASL) na mowę i tekst w czasie rzeczywistym, eliminując bariery w kontaktach z osobami niemigającymi. System opiera się na głębokiej sieci neuronowej ResNet-50, kamerze HD, ekranie dotykowym oraz syntezatorze mowy. Rozpoznane gesty są przetwarzane lokalnie, dzięki czemu urządzenie może działać offline, bez konieczności dostępu do sieci Internet. MigAsystent wyróżnia się kompaktową konstrukcją, wielojęzyczną obsługą oraz dostępnością w formie aplikacji na komputery i smartfony. Projekt ten jest przykładem zastosowania sztucznej inteligencji i przetwarzania obrazu w służbie dostępności i integracji społecznej.
Słowa kluczowe: język migowy, komunikacja alternatywna, ResNet-50, rozpoznawanie gestów, urządzenie wspomagające, AI, syntezator mowy, inkluzywność, technologia dostępności
Abstract: “MigAssistant” is a prototype of a modern communication device designed for deaf people and public institutions. It helps translate American Sign Language (ASL) gestures into speech and text in real time. This removes communication barriers between deaf and hearing people. The system uses a deep neural network (ResNet-50), an HD camera, a touch screen, and a speech synthesizer. It works offline, without needing the internet, because all gesture recognition is done locally. MigAssistant is compact, supports many languages, and is also available as an app for computers and smartphones. This project shows how artificial intelligence and image processing can support accessibility and social inclusion.
Keywords: sign language, alternative communication, ResNet-50, gesture recognition, assistive device, artificial intelligence, speech synthesis, accessibility technology, inclusiveness
Literatura
[1] Deep Residual Learning for Image Recognition – ResNet-50K aiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun Konferencja: CVPR 2016 https://arxiv.org/abs/1512.03385
[2] Deep Learning with Python (Second Edition) François Chollet, https://www.manning.com/books/deep-learning-with-python-second-edition
[3] Sign Language Recognition using Convolutional Neural Networks
Lionel Pigou, Sander Dieleman, Pieter-Jan Kindermans, Benjamin Schrauwen https://arxiv.org/abs/1412.4616
[4] Neural Sign Language Translation Necati Cihan Camgoz, Oscar Koller, Simon Hadfield, Richard Bowden CVPR 2018 https://openaccess.thecvf.com/content_cvpr_2018/html/Camgoz_Neural_Sign_Language_CVPR_2018_paper.html
[5] SignAll – Automatic Sign Language Translation System, Oficjalna strona systemu SignAll : https://signall.world/
[6] Google Translate https://translate.google.com/
