Aplikacja Huawei pomaga osobom niewidomym „zobaczyć” emocje

Aplikacja Facing Emotions sprawia, że smartfon skanuje twarz osoby, z którą osoba niewidoma lub niedowidząca rozmawia, identyfikuje jej emocje i przekłada na charakterystyczny dźwięk. Aplikacja jest dostępna w Huawei AppGallery i Google Play i działa wyłącznie na smartfonie Huawei Mate 20 Pro, który wyposażony jest w podwójny chipset obsługujący sztuczną inteligencję.

Jak działa Facing Emotions?

Aplikacja sprawia, że obiektyw znajdujący się na tylnej ściance smartfona skanuje twarz osoby, z którą rozmawia osoba niewidoma i identyfikuje mimikę twarzy. Sztuczna inteligencja wbudowana w procesor Kirin 980 w smartfonie Mate 20 Pro przetwarza zidentyfikowane emocje na określony dźwięk słyszalny w telefonie (lub w słuchawce, którą nosi osoba niewidoma). Odbywa się to w czasie rzeczywistym i w trybie offline – bez połączenia z siecią. Aplikacja rozpoznaje siedem uniwersalnych emocji: zdziwienie, smutek, radość, strach, niesmak, pogardę i złość. Każda emocja ma przypisany określony, charakterystyczny dźwięk.

– Facing Emotions to projekt, dzięki któremu chcemy przesunąć granicę wykorzystania telefonów w codziennym życiu. Wykorzystujemy innowacyjną technologię sztucznej inteligencji drzemiącą w procesorze mobilnym Kirin 980 i tworzymy aplikację, która osobom z dysfunkcją wzroku pozwala doświadczyć nowych emocji. Dzieję się to dzięki kreatywnej pracy wielu ludzi z różnych dziedzin, m. in. muzyków, designerów, a także dzięki ogromnemu wsparciu osób niewidomych i Polskiego Związku Niewidomych – mówi Dorota Haller, dyrektorka marketingu, komunikacji i digitalu w Huawei Consumer Business Group Polska.

Robert Lewandowski w kampanii Banku Pekao S.A. przedstawia „Ekspercki przepis na rozwój”

Geneza powstania projektu

Aplikacja Facing Emotions powstała przy wsparciu społeczności osób niewidomych i organizacji pozarządowej – przy jej opracowaniu Huawei nawiązał współpracę z Polskim Związkiem Niewidomych. Kluczową rolę odegrała grupa niewidomych testerów, którzy byli zaangażowani w najważniejsze etapy tworzenia aplikacji. W ramach współpracy przeprowadzono wywiady z przedstawicielami społeczności osób niewidomych na temat ich potrzeb i w oparciu o te spostrzeżenia opracowano rozwiązania, które były następnie przez te osoby testowane.

Ludzkie emocje na język dźwięków przełożył niewidomy kompozytor Tomasz Bilecki, twórca Niewidzialnej Wystawy, wyjątkowej interaktywnej podróży w niewidzialny świat. Aby uchwycić każdą z siedmiu podstawowych ludzkich emocji, dźwięki musiały być krótkie, proste i nieinwazyjne dla użytkownika i jego otoczenia. Unikalne spojrzenie kompozytora na naturę dźwięku pozwoliło mu przekazać emocje innym osobom niewidzącym. Próbki dźwięku były następnie testowane przez zespół niewidomych konsultantów, którzy oceniali ich przydatność w codziennym życiu.

– Dźwięki, które chciałem stworzyć, musiały być specyficzne dla każdej emocji, nie mogły natomiast odwracać uwagi użytkowników od samej rozmowy – mówi Tomasz Bilecki, kompozytor.

Podczas tworzenia aplikacji okazało się, że osobom niewidzącym potrzebne jest, poza aplikacją, urządzenie umożliwiające korzystanie z niej w nieabsorbujący sposób. W odpowiedzi na to, wielokrotnie nagradzany projektant Janek Kochański zaprojektował specjalny uchwyt na smartfon Mate 20 Pro – holder, który można wydrukować na drukarce 3D.

– Dla mnie jako projektanta najważniejsza jest przede wszystkim funkcjonalność przedmiotu, a jego forma jest pochodną tej potrzeby. Najpierw muszą być spełnione wymagania użytkowe, dopiero wtedy można zadbać o walory estetyczne i wizualne. Telefon, dla którego przeznaczony jest uchwyt, Huawei Mate 20 Pro, jest bardzo nowoczesny i stylowy, i tak samo jest w przypadku holdera – mówi designer, Janek Kochański.