Ľudské afekty, ako sú emócie, nálady, pocity, sa čoraz viac považujú za kľúčový parameter na zlepšenie interakcie človeka s rôznymi strojmi a systémami.
Profesor Jiyun Kim a jeho výskumný tím z Katedry materiálovej vedy a inžinierstva UNIST vyvinuli prelomovú technológiu, ktorá dokáže rozpoznávať ľudské emócie v reálnom čase. Táto inovatívna technológia je pripravená priniesť revolúciu do rôznych odvetví vrátane nositeľných systémov novej generácie, ktoré poskytujú služby založené na emóciách. Pochopenie a presné získavanie emocionálnych informácií bolo dlho výzvou vzhľadom na abstraktnú a nejednoznačnú povahu ľudských afektov, ako sú emócie, nálady a pocity.
Na vyriešenie tohto problému výskumný tím vyvinul multimodálny systém rozpoznávania ľudských emócií, ktorý kombinuje verbálne a neverbálne údaje o výraze s cieľom efektívne využiť komplexné emocionálne informácie. Jadrom tohto systému je systém personalizovaného rozhrania integrovaného do pokožky tváre (PSiFI), ktorý je samonosný, ľahký, roztiahnuteľný a transparentný. Je vybavený prvým obojsmerným triboelektrickým snímačom napätia a vibrácií svojho druhu, ktorý umožňuje súčasné snímanie a integráciu údajov o verbálnom a neverbálnom výraze.
Systém je plne integrovaný s obvodom na spracovanie údajov na bezdrôtový prenos údajov, čo umožňuje rozpoznávanie emócií v reálnom čase. S využitím algoritmov strojového učenia demonštruje vyvinutá technológia presné úlohy rozpoznávania ľudských emócií v reálnom čase, a to aj vtedy, keď majú jednotlivci na sebe masky. Systém bol úspešne použitý aj v aplikácii digitálneho vrátnika v prostredí virtuálnej reality (VR).
Technológia je založená na fenoméne, pri ktorom sa objekty pri trení rozdeľujú na kladné a záporné náboje. Je pozoruhodné, že systém je samočinný, nevyžaduje externý zdroj energie ani zložité meracie zariadenia na rozpoznávanie údajov. Profesor Kim uviedol: „Na základe týchto technológií sme vyvinuli systém rozhrania pre tvár integrovaného do pokožky (PSiFI), ktorý sa dá prispôsobiť jednotlivcom.“ Tím využil na výrobu priehľadného vodiča pre trecie nabíjacie elektródy.
Okrem toho bola vytvorená personalizovaná maska pomocou techniky snímania pod viacerými uhlami, ktorá kombinuje pružnosť, elasticitu a transparentnosť. Výskumný tím úspešne integroval detekciu deformácie tvárových svalov a vibrácií hlasiviek, čo umožnilo rozpoznávanie emócií v reálnom čase. Schopnosti systému boli demonštrované v aplikácii „digitálneho vrátnika“ vo virtuálnej realite, kde sa poskytovali služby na mieru na základe emócií používateľov.
Jin Pyo Lee, prvý autor štúdie, uviedol: „Vďaka tomuto vyvinutému systému je možné implementovať rozpoznávanie emócií v reálnom čase len s niekoľkými krokmi učenia a bez zložitého meracieho zariadenia. To otvára možnosti pre prenosné zariadenia na rozpoznávanie emócií a služby digitálnej platformy novej generácie založené na emóciách v budúcnosti.“ Výskumný tím uskutočnil experimenty s rozpoznávaním emócií v reálnom čase, pričom zbieral multimodálne údaje, ako je deformácia tvárových svalov a hlas.
Systém vykazoval vysokú presnosť rozpoznávania emócií s minimálnym tréningom. Jeho bezdrôtová a prispôsobiteľná povaha zabezpečuje nositeľnosť a pohodlie. Okrem toho tím aplikoval systém na VR prostredia a využil ho ako „digitálneho vrátnika“ pre rôzne prostredia vrátane smart home, súkromných kín a inteligentných kancelárií. Schopnosť systému identifikovať jednotlivé emócie v rôznych situáciách umožňuje poskytovať personalizované odporúčania pre hudbu, filmy a knihy.
Profesor Kim zdôraznil: „Na efektívnu interakciu medzi ľuďmi a strojmi musia byť zariadenia rozhrania človek-stroj (HMI) schopné zhromažďovať rôzne typy údajov a spracovávať komplexné integrované informácie. Táto štúdia je príkladom potenciálu využitia emócií, ktoré sú komplexnou formou ľudských informácií, v nositeľných systémoch novej generácie.“
Výskum sa uskutočnil v spolupráci s profesorom Lee Pui See z Nanyang Technical University v Singapure a bol podporený Kórejskou národnou výskumnou nadáciou (NRF) a Kórejským inštitútom pre materiály (KIMS) pod ministerstvom vedy a IKT. Štúdia bola uverejnená 15. januára online v časopise Nature Communications.
