Жестовете заговарят с глас

Жестовете заговарят с глас | StandartNews.com

Хората с увреден слух ще могат да комуникират с думи чрез специална гривна, разработена от наши студенти

Представете си, че вие почти никого около себе си не разбирате и почти никой не ви разбира. Сложно е. Защото в ежедневнието постоянно споделяме, а когато мислим, водим вътрешен диалог. Но как тези диалози – дори и вътрешния, могат да са без думи!
Всъщност ние срещаме такива хора всеки ден. Става въпрос за хората с увреден слух. Въпреки че сега има много възможности, които позволяват да водим диалог - независимо от разстоянията и езиците, все още съществува бариера между хората с увреден слух и всички останали.
Според Световната здравна организация, нечуващи и слабочуващи са около 360 милиона души! Това означава, че не можем да разберем над 360 милиона истории, да узнаем над 360 милиона идеи. За България няма точна статистика, но членовете на Съюза на глухите са 6500 души, над 10-12 000 са с висока степен на увреждане на слуха и близо 25 000 са с някаква увреденост.
Слуховите апарати решават част от проблема - и то само на част от засегнатите хора. Но остава нерешен проблемът с "говоренето" на хората с увреден слух или с увреден речеви апарат. Така огромен брой хора остават откъснати от пълноценно общуване с останалия свят, което води до трудности при кариерното им развитие и в крайна сметка - до социална непълноценност.
Технологии, които са на границата между наука и изкуство, помагат да се преодолее този рубикон на комуникацията.
По свой път, с ясно намерение да се помогне на нечуващите, тръгна преди година екип от български студенти - BrainHUB Lab. Те си поставиха задача да направят система за разпознаване на жестове. Първото предизвикателство за BrainHUB Lab била разработката на устройство, което да прихваща жестовете в реално време. След няколко месеца усилена работа направили няколко прототипа, първият от които е бил грамадна ръкавица. А последният е дланна гривна със сензори, които се закачват на пръстите.
Сегашният им прототип е все по-ергономичен и позволява отчитане на жестовете в реално време. Браслетът е безжичен и със сравнително компактни размери, като още на този етап вече позволява да се визуализират жестовете.
„Предстои да превърнем това устройство в по-удобен инструмент за всекидневно ползване", казва Олег Каменщик, единият от разработчиците. Екипът вече е започнал работа и по второто предизвикателство, което е мобилно приложение с име „VELAR" - за превод на жестов език в акустична реч.
Жестовете на човека с увреден слух се прихващат от гривната и се изпращат на смартфона му, където се обработват с алгоритми и се възпроизвеждат в акустична реч, т. е. събеседникът на глухонемия чува думи, генерирани от жестовете. Гласът на втория събеседник ще се улавя от същия смартфон и ще се превежда в анимация на жест и текст, разбираеми за човека с увреден слух.
Приложението ще може да се адаптира към жестовете на своя потребител, които ще се възприемат като уникален почерк с персонални особености.
Немаловажна част от приложението е и образователната платформа за изучаване на жестов език. Тя представлява интерфейс за обучение на стъпки, като например се започва от букви - обучаващият се вижда анимация с жест на съответната буква и ако повтори жеста правилно, преминава към следващата буква. А ако не успее - остава на същата стъпка. И така – до цели думи и изречения.
За да се случи всичко това, е необходимо един така артистичен и емоционален феномен като жеста да придобие обвивка на математически модел, за да може компютърът да го разбере и преведе.
Първите резултати, които екипът на BrainHUB Lab получи при разпознаването на жест, са между 72 до 96 %, което е добро постижение за този етап на разработката.
Преди броени седмици бе и първото представяне на BrainHUB Lab пред публика, в което екипът възпроизведе целия процес на създаване на системата. Подробно беше показано как работи приложението, а създателите му представиха плановете си за в бъдеще на двудневно състезание от типа „хакатон", организирано от Асоциацията за развитиe на София. Екипът на BrainHUB Lab зае второ място.
"Въпреки че сме възпроизвели цялата си няколкомесечна работа досега за 24 часа, спестявайки споделяне на десетки провалени експерименти, преживяхме наново създаването на цялата идея. И бяхме възнаградени с емоционално-положителната реакция на публиката", отбеляза Владислав Тимофеев, един от разработчиците на проекта.

 

Екипът на "BrainHub Lab" търси
средства за разработката


Екипът на "BrainHub Lab" се състои от няколко програмисти, промишлен дизайнер, икономист и котка. През последните месеци те са посветили цялото време на устройството за детектиране на жестове, а след това – на създаването на изкуствен интелект, който да превърне жестовете в звук.
Според думите на Георги Пеев, това предизвикателство е било едно от най-интересните занимания от практиката му като разработчик на софтуер.
Друг вълнуващ факт е, че големите предизвикателства пред тях изискват компетенции от различни сфери и те са получили възможността не само да създадат нещо полезно за света, но и да научат много нови неща. Сред тях е опознаването на света на глухите хора. Осъзнаването на това как ежедневието, светоусещането и мирогледът могат да бъде кардинално различни, ако човек бъде лишен от възможността свободно да общува...
В началото всичките решения са изглеждали почти невъзможни за осъществяване. Днес пътят от идеята до материализирането й е извървян. Преживяването, което изпитаха членовете на екипа при сработване след дълги седмици на неуспешни експерименти, ги мотивира да продължат. И да дадат възможност и други хора да се потопят в този свят.
Разработваното от BrainHub Lab приложение е с име «Velar». То е взето от лингвистиката, където веларните звуци се отбелязват с гръцката буква «гама», която на свой ред в Кирило-Методиевата глаголица означава «глаголи» - т.е. «казвам, говоря».
Важна е мобилността на устройството и удобството, което може да предостави - това го прави "gadget", който всеки нуждаещ се може да ползва навсякъде. Velar предоставя възможност за двупосочна комуникация, т.е. не само превод на жестомимичния език в реч, но и обратeн превод - на реч в текст и/или в анимирани жестове. Всичко това цели да създаде пълноценен диалог между двама събеседници - и това прави устройството допълнително привлекателно за пазара.
Гъвкавостта, която предоставя решението в гамата на езиците, които устройството ще може да превежда, позволява продуктът да бъде разпространен в цял свят. Допълнителна, но не по-малко важна полезност за ресоциализация на хората с увреждания: устройството ще поддържа модул за обучение или за подобряване на знанията на жестови езици. Този модул позволява продуктът да бъде инкорпориран в образователните среди и да стане неотменима част от методиките на обучение на хората с увреждания.
Екипът е стигнал до работещ прототип, с което е прекрачено само първото стъпало в тяхната разработка.
Тъй като амбициите на екипа са насочени към това да докарат продукта си до нуждаещите се хора, сега те стартираха прекрачването на следващото стъпало – а именно да доведат прототипа си до устройство, което може да се ползва в ежедневието, както и приложението им да позволява свободен превод в реално време.
Преодоляването на това стъпало обаче е възможно само ако екипът бъде съсредоточен върху този проект, а не да го прави в свободното време. Затова екипът на "BrainHub Lab" е стартирал кампания по привличане на средства за разработката.
"Привличането на капитал ще позволи разработката да бъде доведена до логичния й край", казва Димитър Банков, един от основателите на "BrainHub Lab".
Разбира се, ентусиазмът в екипа на "BrainHub Lab" няма да спре участниците в случай, че не успеят да привлекат необходимите средства. И те са сигурни, че макар и по-бавно, тяхната идея ще стигне до света.

Вижте всички актуални новини от Standartnews.com

Коментирай