(Statistisch) Analyse Plan

Wat is een SAP?

Een SAP is een meer technisch document dan het onderzoeksprotocol en bevat gedetailleerde procedures voor het uitvoeren van statistische analyses. Hoewel een SAP oorspronkelijk bedoeld was voor klinische proeven, kunnen ook andere soorten onderzoeksopzet baat hebben bij transparante analyseplannen. Zo zal de analyse van kwalitatieve gegevens waarschijnlijk baat hebben bij een schriftelijk plan, waarin de onderliggende (filosofische) benadering wordt beschreven en details worden behandeld van bijvoorbeeld triangulatie, criteria voor verzadiging en de selectie van citaten.

Waarom een SAP schrijven?

1. Het opstellen van een SAP dwingt je na te denken over welke gegevens je in welk formaat wilt verzamelen, wat dan een leidraad kan zijn voor je beslissingen over bv. meetinstrumenten en timing van (herhaalde) metingen. Het kan je er ook op attenderen dat je misschien van plan bent meer gegevens te verzamelen dan je in je analyses zult gebruiken. Dit kan de deelnemers belasten en ertoe leiden dat zij (selectief) afhaken, wat de algemene geldigheid van jouw studie. Hier is een link naar een kader dat je helpt de minimaal vereiste set van confounding factoren te selecteren voor een valide data-analyse. Een recent voorbeeld leerde ons dat voor het statistisch herstellen van bias door slechte therapietrouw in een trial herhaaldelijk meten van tijdsafhankelijke confounders nodig zou zijn geweest. Helaas was men dit vergeten en werd correctie voor therapietrouw onmogelijk. Merk op dat het onnodig verzamelen van persoonsgegevens onwettig is.
2. SAP-ontwikkeling kan je erop wijzen dat de nodige hulpmiddelen of statistische technieken niet beschikbaar zijn (in je favoriete software). SAP ontwikkeling kan ook signaleren dat er (meer) statistische ondersteuning georganiseerd moet worden.
3. Een goed SAP, en het vasthouden daaraan, kan je veel tijd besparen die anders besteed zou worden aan het analyseren van de gegevens op lukrake en datagestuurde manieren (het voorkomt "data-dredging" waarbij gegevens geselecteerd worden op basis van gewenste uitkomsten).
4. Een goede reden om je SAP samen met je onderzoeksprotocol al in een vroeg stadium openbaar te maken is dat de wens (helaas nog lang niet verdwenen) om statistisch significante resultaten te produceren veel onderzoekers ertoe brengt hun gegevens te martelen tot ze bekennen (P-hacking ). Deze aanpak verstoort jouw werk (en vervolgens reviews, richtlijnen en patiëntenzorg of -diensten, en het algemene wetenschappelijke dossier als geheel) en moet koste wat kost worden vermeden. Deze kwestie wordt nader toegelicht in het hoofdstuk over preregistratie .
5. Gezien de invloed van statistische beslissingen op studieconclusies, is goed gedocumenteerd en transparant statistisch handelen van essentieel belang.

Hoe schrijf je een SAP?

Wordt aan gewerkt, zie intussen hier .