Ez az IMHO összetett kérdés, és szeretnék három megjegyzést fűzni ehhez a helyzethez.

Először és általában inkább arra összpontosítanék, hogy szembesüljön-e egy megerősítő vizsgálattal egy sor jól formált érvelési kontextusban vagy magyarázó tanulmányban meghatározott hipotézisek, amelyek során sok valószínű indikátor figyelhető meg, mint az, hogy tervezik-e vagy sem (mert egyszerűen megtervezheti az összes lehetséges összehasonlítást).

Másodszor arra is összpontosítanék, hogy a kapott p-értékeket miként tárgyalják meg. Egyenként használják-e egy sor végleges következtetés kiszolgálására, vagy közösen tárgyalják őket bizonyítékként és bizonyíték hiányában?

Végül megvitatnám annak lehetőségét, hogy a> 15 különálló khi-négyzet tesztből származó> 15 hipotézis valójában egyetlen hipotézis (esetleg egyetlen) kifejezése, amelyeket összefoglalhatunk.

Általánosabban, függetlenül attól, hogy a hipotézis előre meg van-e határozva, vagy sem, a több összehasonlítás javítása vagy sem, az az, hogy mi szerepel az I. típusú hibában. Azáltal, hogy nem javítja ki az MC-t, csak az I. összehasonlítási típusú hibaarány-vezérlőt tartja meg. Tehát számos összehasonlítás esetén magas az I. típusú hibaaránya családonként, és így hajlamosabbak a hamis felfedezésekre.

Ha az „előre megfontolt” szót helyettesíti a „tervezett” szóval, ez segíthet eloszlatni a szerzők által felvetett érvet. Tekintsük ugyanazon adatok két különböző statisztikai elemzését:

1. „előre megfontolt bűncselekmény”, amelyben minden lehetséges hipotézistesztet kombinatív módon előre lefektet egy „statisztikai bűnügyi ötletgazda”, a terv az, hogy megpróbálja mindegyiket szisztematikusan, és válassza ki a legkisebb p-értékű tesztet a „kulcsfontosságú megállapításnak”, amelyet elő kell mozdítania a cikk Eredmények, Beszélgetés és Következtetés szakaszában, sőt a címben is.
2. A ' szenvedély bűncselekménye ", amelyben a kezdeti szándék csupán az volt, hogy szembeállítsa az adatokat egy hipotézissel, de" hát ... egy dolog máshoz vezet ", és több ad hoc hipotézis teszt" csak megtörténik "a tudományos szenvedély forrósága, hogy "valamit ... bármit! " megtanuljon az adatokból.

Akárhogy is, ez „gyilkosság” - a kérdés az, hogy első vagy második fokozatú-e. Nyilvánvaló, hogy az első morálisan problémásabb. Számomra úgy hangzik, mintha az itt szereplő szerzők megpróbálnának állítani valamit arról, hogy nem gyilkosság volt, mert előre megfontolt volt.

Tekintettel a frissítésre a tervezéssel kapcsolatban, azt javaslom, hogy végezzenek valamilyen log-lineáris modellt az összes adat egyszerre történő felhasználására.Az általuk végzett darabos elemzések elvégzése (a) hatástalannak (b) tudománytalannak tűnik, mivel 15 hipotézist tesztel, ahol biztosan kevesebb a valós hipotézis.reflex, de ebben az esetben, ha elutasítanak egy mélyebb elemzési megközelítést, akkor azt javaslom, hogy javítsanak.

Ez a cikk közvetlenül foglalkozik a kérdésével: http://jrp.icaap.org/index.php/jrp/article/view/514/417

(Frane, A. V., "A tervezett hipotézis tesztek nem feleslegesen mentesek a multiplicitás kiigazítása alól", Journal of Research Practice, 2015)