Het kost veel tijd om deze gegevens te analyseren en om de antwoorden te lezen, labelen en categoriseren. In het tijdperk van digitalisering kan artificial intelligence (AI) een uitkomst bieden. Simone Cammel, Customer Engineer Google, bekeek samen met Hileen Boosman, Programmamanager VBHC deelprogramma Wetenschap, LUMC, naar de bruikbaarheid van Natural Language Processing (NLP) om deze analyse (semi)-automatisch uit te voeren en zo verbeterpunten op te sporen.
Wat hebben Simone en Hileen gedaan?
Om de bruikbaarheid van NLP, niet te verwarren met neurolinguistisch programmeren, te onderzoeken keken ze naar de open antwoorden van 23.000 patiënten op de vragen ‘wat ging opvallend goed tijdens uw opname?’ en ‘wat ging minder goed tijdens uw opname?’. Vervolgens keken ze of de gebruikte NLP-methode ook toe te passen is op de antwoorden van 2600 patiënten die behandeld zijn in een ander ziekenhuis: het Haaglanden Medisch Centrum (HMC).
Hoe hebben Simone en Hileen dit gedaan?
De kwaliteit van de data speelt een grote rol in de kwaliteit van de resultaten; ‘garbage in is garbage out’. Een eerste belangrijke stap was dan ook het verhogen van de kwaliteit. Dit houdt onder andere het automatisch corrigeren van spelfouten en het verwijderen van niet-tekstuele tekens in. Door middel van sentimentanalyse labelden de onderzoekers ieder antwoord op een schaal van heel positief tot heel negatief. Vervolgens is ‘topic modelling’ gebruikt om onderwerpen te destilleren uit de opgeschoonde antwoorden. Hierbij is rekening gehouden met het feit dat sommige woorden vrijwel hetzelfde betekenen, zoals ‘dokter en ‘arts. Omdat onderwerpen die bestaan uit slechts één woord (bijv. ontslag) vaak te algemeen zijn om richting te geven aan kwaliteitsverbetering, is daarnaast gekeken naar zogenaamde ‘n-grams’. Een n-gram is een combinatie van woorden die het subonderwerp weergeven (zie voorbeeld). Om inzicht te krijgen in de belangrijkste onderwerpen voor het vieren (behouden wat je doet), verbeteren of monitoren (checken of het goed blijft gaat) hebben de onderzoekers de indicator ‘impact’ gebruikt. Deze indicator is gebaseerd op een combinatie van waarschijnlijkheid (frequentie) en ernst (sentiment).
Voorbeeld: N-gram analyse term operatie
Operatie: 4 N-grams:
1. Narcose oog operatie;
2. Wachtruimte operatie;
3. Onzekerheid gedurende tijd van operatie;
4. Het uur voor de operatie.
Als laatste stap is de NLP-methode gebruikt om de ervaringen van patiënten uit het HMC in kaart te brengen. Naast vergelijkbare onderwerpen kon het model ook unieke onderwerpen opsporen die door patiënten uit het LUMC niet genoemd waren. Het lijkt er dan ook op dat niet elk ziekenhuis een eigen team van datawetenschappers nodig heeft, maar dat het mogelijk is NLP-methoden te delen.
Conclusie van de studie
NLP kun je gebruiken om onderwerpen te distilleren uit vrije tekstvelden in vragenlijsten over patiëntervaringen. Op basis hiervan krijg je snel inzicht in ervaringen om te vieren, verbeteren of monitoren. De formulering van de open vraag speelt een belangrijke rol in de uitkomsten van de analyse. Daarom wordt in het LUMC momenteel geëxperimenteerd met alternatieve vraagstellingen die mogelijk meer geschikt zijn voor analyse met NLP.
Auteurs
Simone Cammel, Customer Engineer Google
Hileen Boosman, Programmamanager VBHC deelprogramma Wetenschap, LUMC
Contact
Hileen Boosman | h.boosman@lumc.nl
Referentie volledige artikel
Cammel, S.A., De Vos, M.S., van Soest, D. et al. How to automatically turn patient experience free-text responses into actionable insights: a natural language programming (NLP) approach. BMC Med Inform Decis Mak 20, 97 (2020). https://doi.org/10.1186/s12911-020-1104-5