Hogeschool van Amsterdam

Thomas kan niet praten maar communiceert via innovatie studenten

3 jul 2017 11:15 | Afdeling Communicatie

De 20-jarige Thomas begrijpt wat mensen tegen hem zeggen, maar kan zelf door de aandoening dystonie niet praten. Vier HvA-studenten van de minor Zorgtechnologie ontwikkelen voor hun leeftijdsgenoot ‘de handschoen voor Thomas’, een sensorensysteem op zijn hand, dat zijn belangrijkste gebaren direct omzet in spraak. Dit systeem moet ervoor zorgen dat Thomas gemakkelijker contact kan leggen met voorbijgangers, bijvoorbeeld als hij op pad gaat om vogels te spotten.


De ouders van Thomas Hofmeester zochten contact met de minor Zorgtechnologie van de HvA, met het verzoek een communicatiemiddel te ontwikkelen voor hun zoon.

Vanwege de aandoening dystonie is Thomas halfzijdig verlamd en heeft hij regelmatig spasmes. De aandoening is ontstaan nadat Thomas op tweejarige leeftijd hersenontsteking kreeg. Omdat ook de spraakspieren zijn aangetast, kan hij zelf niet praten. Wel begrijpt hij alles wat gezegd wordt, en is hij sterk betrokken bij de gesprekken om hem heen.

Vogelspotten

Zijn spasticiteit en spraakbeperking weerhouden Thomas er niet van om enthousiast en opgewekt in het leven te staan. ‘Thomas is een bezige bij en heeft een druk sociaal leven,’ zeggen de HvA-studenten die hem regelmatig interviewen. De 20-jarige gaat er graag op uit- met zijn ouders of alleen. Het liefst gaat hij vogelspotten in de natuur.

Spot Thomas een vogel of wil hij iets anders kwijt, dan kon hij tot nu toe de belangrijkste mededelingen aangeven via een dashboard op zijn rolstoel. Een voice-app op zijn iPad leest vervolgens de ingeprogrammeerde tekst op.

Een praktisch bezwaar hiervan is dat Thomas graag voorbijgangers wil aanspreken. Omdat hij zowel de rolstoel als zijn dashboard zelf bedient met één hand, duurt het te lang voor de voice-app is ingeschakeld. Dat maakt het voor Thomas lastig om voorbijgangers aan te spreken, omdat zij dan alweer zijn doorgelopen.

De oplossing: een handschoen

De vader van Thomas kwam daardoor op het idee: hoe mooi zou het zijn als Thomas een handschoen aantrekt, die zijn gebaren ‘leest’, herkent en vervolgens direct omzet in spraak?  Zo hoort een voorbijganger meteen wat Thomas wil zeggen, en is het eerste contact gelegd. Daarna kan Thomas dan de voice-app inschakelen.

Thomas heeft namelijk een aantal gebaren ontwikkeld om zich uit te drukken. Omdat hij spasmes heeft, zijn de gebaren voor derden lastig om te interpreteren. Zo’n handschoen zou het eerste contact vergemakkelijken.

ICT-student Kamal Djoemai met sensoren op zijn hand, via draden verbonden. Achter zijn laptop laat hij zien hoe het communicatiemiddel voor Thomas werkt.

Student HBO-ICT Kamal Djoemai programmeerde Thomas' bewegingen in de minicomputer (Arduino) samen met TB-student Hadid Hotaki


De opdracht ‘een handschoen voor Thomas’ legden zijn ouders neer bij de minor Zorgtechnologie van de HvA. Vier studenten van de opleidingen Ergotherapie, HBO-ICT, Oefentherapie en Technische Bedrijfskunde hebben het afgelopen halfjaar de opdracht uitgewerkt en presenteerden deze week het eerste resultaat: geen echte handschoen, maar een systeem dat op de hand van Thomas kan worden aangebracht, dat zijn belangrijkste gebaren herkent en ze omzet in taal.

De We Talk

Het communicatiemiddel  (We Talk) van de studenten, een sensor,  kan op de hand van Thomas worden bevestigd. Deze sensor op Thomas’ hand staat in verbinding met een minicomputer waarin verschillende bewegingen van Thomas zijn gekoppeld aan betekenisvolle tekst.

Student HBO-ICT Kamal Djoemai demonstreert zelf hoe dit werkt: op het beeldscherm van de computer verschijnt de betekenis van een gemaakte beweging. Strekt hij zijn hand achter het hoofd, dan verschijnt er ‘nee’ op het scherm. Een tik op de leuning van de stoel betekent ‘Ja’. Een bepaalde zwaai betekent: ‘stel gesloten vragen’.

Thomas lachend in zijn rolstoel met naast hem zijn ouders.

Thomas Hofmeester met zijn ouders Hans en Lidy

 

Vervolg

Zowel Thomas zelf als zijn ouders zijn blij met dit eerste resultaat. ‘Het is mooi dat studenten het idee daadwerkelijk hebben opgepakt en uitgewerkt. Een 'echte' handschoen is te warm voor dit weer, dus een sensor op zijn hand is een goede oplossing,’ aldus Lidy Hofmeester, de moeder van Thomas. ‘Hij zou het dan ’s  ochtends bij het aankleden aan kunnen doen, net zoals anderen bijvoorbeeld hun telefoon standaard meenemen.'

De volgende stap is om de sensor verder af te maken. Hoewel de studenten al klaar zijn met de minor, wil het viertal er zelf naast hun studie mee door en het product uiteindelijk afmaken met de juiste look & feel. Ze denken erover om dit in een student-onderneming te doen.

Thomas en zijn ouders blijven nauw aangehaakt. ‘Over een paar weken gaan we op vakantie- het zou mooi zijn als het apparaat ook Italiaans praat’, grapt de vader van Thomas.

Studenten Hadid en Lysanne naast Kamal, die met zijn handen aan het sensorensysteem sleutelt

Student Oefentherapie Ricardo Damburg en studente Ergotherapie Lysanne Manshande onderzochten het afgelopen half jaar bij Thomas thuis welke gebaren hij heeft ontwikkeld, en hoeveel energie deze hem kosten. Zij vroegen hem na elke beweging hoe inspannend het was, op een schaal van een tot tien. Ook interviewden zij Thomas’ ouders over de belangrijkste gebaren en over de wensen voor het communicatiemiddel, de ‘handschoen’. Op basis van de thuisbezoeken en interviews is bepaald welke vijf gebaren de ‘handschoen’ (de WeTalk) herkent en vertaalt.

Het communicatiemiddel, de WeTalk/handschoen voor Thomas, bevat een gyroscoop, die de beweging meet vanaf de hand van Thomas, en een accelerometer, die versnelling meet. Ict-student Kamal Djoemai integreerde dit in het communicatiemiddel. Student Technische Bedrijfskunde Hadid Hotaki heeft hier ook aan bijgedragen, evenals aan het programmeren van de bewegingen in de minicomputer. Omdat het om een prototype gaat zet het computertje dit vooralsnog om in geschreven tekst, de volgende stap is dat de studenten de voice-app hieraan koppelen.

Neem voor meer informatie over het project contact op met Margriet Pol, coördinator van de minor Zorgtechnologie: m.c.pol@hva.nl/ 06-21156542