Asiantuntijapaneelin arviointi ja testaus

Luennon pitäjä Markus Karttunen puhuin meille terveystieteiden maisteri opiskelijoille asiantuntijapaneelista. Asiantuntijat ovat osana kehittämisprosessia, tässä tapauksessa mittarin kehittämistä. No mikä on mittari? Sillä halutaan mitata jotain asiaa, luonnollisesti. Esimerkiksi kirjallisuuskatsauksen lopputulemana on, että jokin asia kaipaa lisää tutkimusta, sieltä on noussut ns gap eli musta aukko tiedossa. Joten sitä halutaan tutkia ja siihen tarvitaan mittari, millä sitä voidaan luotettavasti tutkia. Erilaisia mittareita voidaan kehittää mittaamaan erilaisia asioita. Tämä ei kuitenkaan synny yksin, vaan siihen tarvitaan asiantuntijoita, jotka omaavat tietyn koulutustason ja mahdollisesti myös kliinistä asiantuntijuutta juuri siitä osa-alueesta miltä halutaan asiantuntijuutta. Asiantuntijan ei välttämättä tarvitse osata kaikkia mittarilla haluttuja alueita, vaan hän voi olla asiantuntija tietyllä osa-alueella mittarista. Hänellä pitäisi olla julkaisuja ja esityksiä aiheesta, ja hän on tutkinut asiaa eli on perehtynyt syvällisesti asiaan. He voivat myös edustaa eri näkökulmia aiheesta, kuten asiantuntija voi toimia tilastotieteilijä, joka osaa katsoa tiettyjä osa-alueita tutkimuksessa.

 Kuinka paljon on hyvä määrä asiantuntijoita paneelissa? Kaksikin voi olla riittävä määrä, jos varsinkin kyse on hyvin speliaalista asiasta, mutta kymmenenkin voi olla. Kuitenkaan ei liikaa, koska sitten alkaa olemaan hajontaa asiantuntijoiden mielipiteissä. Miksi asiantuntijapaneelia tarvitaan? He ovat se ryhmä jotka vahvistavat ymmärrystä ilmiöstä, tarkistavat, ehdottavat, huomioivat ja auttavat ennen kaikkea mittarin kehittämisessä, jotta siitä tulee hyvä ja luotettava.

Kuinka ohjeistaa paneelia toimimaan oikein juuri minun tutkimukseni kohdalla? Heille täytyy kertoa mitä tutkit, tutkimuksen tarkoitus ja tavoite ja tutkimuskysymykset, ja myös heidän osuus eli tehtävä tässä asiantuntijuuspaneelissa. Heidän tarvitsee tietää tutkittava ilmiö ja sen tarkoitus ja heidän oma tehtävänsä siinä. He helpottavat tutkijan taakkaa, joten heitä täytyy kohdella kunnioittavasti ja arvostavasti. Kuitenkin tutkijan täytyy helpottaa myös heidän taakkaa tekemällä tunnollista ja hyvää työtä siinä vaiheessa, kun kehittelee mittariin kysymyksiä.

Siinä oli hieman asiantuntijapaneelista tekstiä. Seuraavaksi hieman luotettavuusindeksiä ja sen merkitystä ja mistä se kostuu.
Luotettavuusindeksi CVI (content validity index)

• yhden kysymyksen luotettavuusindeksi I-CVI
• koko kyselylomakkeen luotettavuusindeksi S-CVI

Sen laskeminen

• I-CVI lasketaan yhdelle kysymykselle indeksi, jotta tiedetään onko se relevantti mittariin. Asiantuntijat arvioivat jokaisen kysymyksen erikseen ja heidän antamista vastauksista lasketaan indeksiluku. Jos asiantuntijoita on alle viisi henkilö, tavoitellaan lukua 1. Jos taas asiantuntijoita on viisi tai enemmän, tavoitellaan lukua > 0.78.
• S-CVI keskiarvon laskeminen kaikista kysymyksistä, kertoon koko kyselylomakkeen luotettavuuden. Otetaan edellinen luku I-CVI arvot yhteen ja jaetaan väittämien määrällä ja tässä tavoitteena on > 0.90.

Luennolla tuli puhetta, kuinka rehellisiä vastaajat ovatkaan? Tai kuinka aktiivisia he ovat vastaamaan? Tai kuinka paneutuneita he ovat asiaan ja haluat vastata hyvin ja perusteellisesti, eikä vain ns. "pelata lottoa".  Tähän ei taida löytyä yhtä oikeaa vastausta, vaan jokaisen tutkijan on mietittävä nämä asiat oman tutkimuksen kohdalla. Tutkija voi yrittää vaikuttaa vastausprosenttiin, laittamalla houkuttimia, kuten pullakahvit parhaalla yksikölle, jonka vastausprosentti on suurin tai muuta. Kuitenkin tutkijan on muistettava, että he eivät saa vaikuttaa vastaajiin millään tavalla, vaan on pystyttävä objektiivisena.


Lähde: Markus Karttunen, sh, TtM, TtT-opiskelija
Kuvat: wikipedia, ibusinessangel