De bio-ingenieurs van UCLA ontwierpen een handschoenachtig apparaat dat de Amerikaanse gebarentaal in realtime kan vertalen naar het Engels via een smartphone-applicatie.
Bringen van doven en stommen uit hun isolatie.
Het leven in deze wereld is een uitdaging voor doven en stommen. Er zijn maar een paar plaatsen die als gastvrij kunnen worden beschouwd. Menselijke interactie is ook moeilijk omdat velen de gebarentaal niet kennen. Gelukkig zijn er mensen die zich inzetten om de wereld beter te maken.
We hopen dat dit mensen die gebarentaal gebruiken in staat zal stellen om direct met anderen te communiceren zonder dat iemand anders hoeft te vertalen, » zei Jun Chen, assistent-professor bio-engineering aan UCLA’s Samueli School of Engineering en hoofdonderzoeker van het onderzoek. « Bovendien hopen we dat het meer mensen kan helpen om zelf gebarentaal te leren ».
Hoe werkt het?
Het systeem bevat een paar handschoenen met dunne, rekbare sensoren die de lengte van elk van de vijf vingers zijn. Deze sensoren, gemaakt van elektrisch geleidende draden, vangen handbewegingen en vingerplaatsingen op die letters, cijfers, woorden en zinnen voorstellen.
Het apparaat zet de vingerbewegingen vervolgens om in elektrische signalen, die worden verzonden naar een printplaat ter grootte van een muntstuk die om de pols wordt gedragen. De kaart geeft deze signalen draadloos door aan een smartphone, die ze met een snelheid van ongeveer één woord per seconde naar spraak vertaalt.
Een licht en goedkoop apparaat.
Searchers hebben ook zelfklevende sensoren toegevoegd op de gezichten van de testers, tussen de wenkbrauwen en aan één kant van de mond, om gelaatsuitdrukkingen te detecteren die deel uitmaken van de Amerikaanse gebarentaal.
De oudere handheld systemen die de vertaling van de Amerikaanse gebarentaal aanboden, werden beperkt door omslachtige en zware apparaten of waren ongemakkelijk om te dragen, zei Chen. Het door het UCLA-team ontwikkelde apparaat is gemaakt van lichtgewicht, goedkope polymeren die duurzaam en uitbreidbaar zijn. De elektronische sensoren zijn ook zeer flexibel en goedkoop.
Aanpassingen moeten nog worden gedaan.
Om het apparaat te testen, werkten de onderzoekers met vier dove mensen die Amerikaanse gebarentaal gebruiken. > De dragers herhaalden elk handgebaar 15 keer. Een aangepast leeralgoritme transformeerde deze gebaren in de letters, cijfers en woorden die ze vertegenwoordigden.
Het systeem herkende 660 tekens, inclusief elke letter van het alfabet en nummers van 0 tot en met 9. UCLA heeft een patent op de technologie aangevraagd. Een bedrijfsmodel dat gebaseerd is op deze technologie zou extra woordenschat vereisen en een nog snellere vertaaltijd, zei Chen. Hun onderzoek is gepubliceerd op de Nature Electronics website.