Hogeschool van Amsterdam

Thomas kan niet praten maar communiceert via innovatie studenten

3 jul 2017 11:15 | Afdeling Communicatie

De 20-jarige Thomas begrijpt wat mensen tegen hem zeggen, maar kan zelf door de aandoening dystonie niet praten. Vier HvA-studenten van de minor Zorgtechnologie ontwikkelen voor hun leeftijdsgenoot ‘de handschoen voor Thomas’, een sensorensysteem op zijn hand, dat zijn belangrijkste gebaren direct omzet in spraak. Dit systeem moet ervoor zorgen dat Thomas gemakkelijker contact kan leggen met voorbijgangers, bijvoorbeeld als hij op pad gaat om vogels te spotten.

De ouders van Thomas Hofmeester zochten contact met de minor Zorgtechnologie van de HvA, met het verzoek een communicatiemiddel te ontwikkelen voor hun zoon.
Vanwege de aandoening dystonie is Thomas halfzijdig verlamd en heeft hij regelmatig spasmes. De aandoening is ontstaan nadat Thomas op tweejarige leeftijd hersenontsteking kreeg. Omdat ook de spraakspieren zijn aangetast, kan hij zelf niet praten. Wel begrijpt hij alles wat gezegd wordt, en is hij sterk betrokken bij de gesprekken om hem heen.

Vogelspotten

Een van de favoriete hobby’s van Thomas is vogelspotten, en eropuit trekken in de natuur. Precies daarvoor is een innovatie is nodig, die de gebaren van Thomas omzet in spraak als hij op pad gaat. Tijdens het vogelspotten wil Thomas namelijk graag voorbijgangers aanspreken, maar het huidige systeem op zijn rolstoel schiet daarvoor tekort. Momenteel heeft hij een dashboard met knoppen op zijn rolstoel, als hij op een knop drukt kan hij de voice-app een ingeprogrammeerde boodschap laten oplezen.

Maar dit systeem is niet zo handig.  Want omdat Thomas ook zijn rolstoel bedient met één hand, duurt het te lang voor de voice-app iets laat horen. Als Thomas dan eenmaal voorbijgangers ‘aanspreekt’, zijn zij alweer doorgelopen.

De oplossing: een handschoen

De vader van Thomas kwam daardoor op het idee: hoe mooi zou het zijn als Thomas een handschoen aantrekt, die zijn gebaren ‘leest’, herkent en vervolgens direct omzet in spraak?  Zo wordt het eerste contact sneller gelegd. Daarna kan Thomas dan de voice-app inschakelen.

Thomas heeft namelijk een aantal vaste gebaren ontwikkeld om zich uit te drukken. Maar omdat hij spasmes heeft, zijn de gebaren voor derden lastig om te interpreteren. Zo’n handschoen zou het eerste contact vergemakkelijken.

Student HBO-ICT Kamal Djoemai programmeerde Thomas' bewegingen in de minicomputer (Arduino) samen met TB-student Hadid Hotaki

Een studententeam van de minor Zorgtechnologie van de opleidingen Ergotherapie, HBO-ICT, Oefentherapie en Technische Bedrijfskunde hebben het afgelopen halfjaar de opdracht voor Thomas uitgewerkt en presenteerden deze week het eerste resultaat: geen echte handschoen, maar een systeem dat op de hand van Thomas kan worden aangebracht, dat zijn belangrijkste gebaren herkent en ze omzet in taal.

Het communicatiemiddel  (We Talk) van de studenten, een sensor,  kan op de hand van Thomas worden bevestigd. Deze sensor op Thomas’ hand staat in verbinding met een minicomputer waarin verschillende bewegingen van Thomas zijn gekoppeld aan betekenisvolle tekst.

De We Talk

Het communicatiemiddel  (We Talk) van de studenten, een sensor,  kan op de hand van Thomas worden bevestigd. Deze sensor op Thomas’ hand staat in verbinding met een minicomputer waarin verschillende bewegingen van Thomas zijn gekoppeld aan betekenisvolle tekst.

Student HBO-ICT Kamal Djoemai demonstreert zelf hoe dit werkt: op het beeldscherm van de computer verschijnt de betekenis van een gemaakte beweging. Strekt hij zijn hand achter het hoofd, dan verschijnt er ‘nee’ op het scherm. Een tik op de leuning van de stoel betekent ‘Ja’. Een bepaalde zwaai betekent: ‘stel gesloten vragen’.

Thomas Hofmeester met zijn ouders Hans en Lidy

 

Vervolg

Zowel Thomas zelf als zijn ouders zijn blij met dit eerste resultaat. ‘Het is mooi dat studenten het idee daadwerkelijk hebben opgepakt en uitgewerkt. Een 'echte' handschoen is te warm voor dit weer, dus een sensor op zijn hand is een goede oplossing,’ aldus Lidy Hofmeester, de moeder van Thomas. ‘Hij zou het dan ’s  ochtends bij het aankleden aan kunnen doen, net zoals anderen bijvoorbeeld hun telefoon standaard meenemen.'

De volgende stap is om de sensor verder af te maken. Hoewel de studenten al klaar zijn met de minor, wil het viertal er zelf naast hun studie mee door en het product uiteindelijk afmaken met de juiste look & feel. Ze denken erover om dit in een student-onderneming te doen.

Thomas en zijn ouders blijven nauw aangehaakt. ‘Over een paar weken gaan we op vakantie- het zou mooi zijn als het apparaat ook Italiaans praat’, grapt de vader van Thomas.

Student Oefentherapie Ricardo Damburg en studente Ergotherapie Lysanne Manshande onderzochten het afgelopen half jaar bij Thomas thuis welke gebaren hij heeft ontwikkeld, en hoeveel energie deze hem kosten. Zij vroegen hem na elke beweging hoe inspannend het was, op een schaal van een tot tien. Ook interviewden zij Thomas’ ouders over de belangrijkste gebaren en over de wensen voor het communicatiemiddel, de ‘handschoen’. Op basis van de thuisbezoeken en interviews is bepaald welke vijf gebaren de ‘handschoen’ (de WeTalk) herkent en vertaalt.

Het communicatiemiddel, de WeTalk/handschoen voor Thomas, bevat een gyroscoop, die de beweging meet vanaf de hand van Thomas, en een accelerometer, die versnelling meet. Ict-student Kamal Djoemai integreerde dit in het communicatiemiddel. Student Technische Bedrijfskunde Hadid Hotaki heeft hier ook aan bijgedragen, evenals aan het programmeren van de bewegingen in de minicomputer. Omdat het om een prototype gaat zet het computertje dit vooralsnog om in geschreven tekst, de volgende stap is dat de studenten de voice-app hieraan koppelen.

Neem voor meer informatie over het project contact op met Margriet Pol, coördinator van de minor Zorgtechnologie: m.c.pol@hva.nl/ 06-21156542