Een Bayesiaans multi level model voor het vaststellen van verandering

Om bewijs te leveren dat clienten zijn veranderd na een interventie is vaak meer nodig dan het simpelweg rapporteren van de geobserveerde scores. Immers, geobserveerde scores bestaan vaak uit een mix van ware scores en random meetfout. Wanneer verandering over de tijd geobserveerd wordt is het dus de vraag of deze geobserveerde verandering door een ware verandering komt of door random meetfouten. Verschillende analysemethoden zijn al ontwikkeld om ware verandering te onderscheiden van random meetfouten. Echter, geen van deze methoden geeft aan wat het formele bewijs (de ‘formal evidence’) is in de data voor verandering na een interventie. Hoewel de uitkomsten van deze analyses vaak wel zo worden geinterpreteerd (e.g., “een p waarde kleiner dan .05 betekent dat er bewijs is voor ware verandering”), is er geen gegronde reden om dit zo te interpreteren. De zogenaamde Bayesiaanse benadering maakt het berekenen van formeel bewijs in de data voor verandering na interventies wel mogelijk. Wij hebben daarom Bayesiaanse modellen ontwikkeld die het verschil tussen scores voor en na de interventie modelleren. Op basis van deze modellen kunnen statistics worden berekend die aangeven wat het bewijs in de data is voor ware verandering, ten opzichte van verandering door random meetfouten. In het eerste paper presenteren we deze modellen en statistics en laten we de eigenschappen zien in een simulatiestudie. Daarnaast zou het een leuke toevoeging zijn om de modellen ook op een empirische data set toe te passen, wat de aanleiding is van deze aanvraag. Het tweede paper zal meer vanuit de data worden geschreven en gericht zijn op wat de data ons vertellen over mogelijke interventie effecten en hoe de kwaliteit van de data verbeterd zou kunnen worden.