Czy pracujesz w dziale HR? Czy korzystasz w swojej pracy z testów, np. w procesach selekcji czy rozwoju pracowników? Jeżeli tak, to pewnie niejednokrotnie kontaktowali się z Tobą rozmaici sprzedawcy, oferujący Ci różnego rodzaju testy. W tym artykule podzielę się z Tobą magicznym zaklęciem, które pozwoli Ci szybko zorientować się, z którymi sprzedawcami testów warto rozmawiać.
Psychometria to dział psychologii, zajmujący się pomiarem różnych właściwości psychologicznych człowieka. Określa ona różne kryteria, jakie musi spełniać każdy test psychologiczny. Jest ich sporo, a należą do nich m.in.:
- Rzetelność (spójność wewnętrzna, spójność wyników w czasie)
- Trafność (treściowa, zewnętrzna, kryterialna, konwergencyjna i dywergencyjna)
- Obiektywność
- Standaryzacja
- Normalizacja
Jednakże praktycy, nawet ci stosujący na co dzień testy w biznesie, rzadko są świadomi istnienia powyższych kryteriów, nie mówiąc już o umiejętności sprawdzenia, czy dany test je spełnia. Fakt ten skrzętnie wykorzystują twórcy rozmaitych testów biznesowych: wiele narzędzi, nawet tych bardzo popularnych, nie spełnia podstawowych kryteriów psychometrycznych i ma z testami niewiele wspólnego. Ich popularność napędzana jest działaniami marketingowymi, oraz umiejętnym wykorzystaniem efektu Barnuma.
Jak więc rozpoznać, czy dany sprzedawca proponuje nam dobry test? Na ten temat powstało już kilka wartościowych tekstów (np. ten). Ja natomiast zdradzę Ci dziś pewne magiczne zaklęcie, które sprawi, że w kilka sekund ocenisz, czy ktoś próbuje sprzedać Ci pseudo-test. To zaklęcie to taki psychometryczny papierek lakmusowy. Oto ono:
Czy dla tego testu była badana trafność kryterialna? Jeżeli tak, to jak była ona badana i co wyszło z tych badań?
Co to jest trafność kryterialna i dlaczego – w mojej ocenie – warto w pierwszej kolejności pytać właśnie o nią? Otóż trafność kryterialna określa czy (oraz w jakim stopniu), wynik testu jest powiązany z jakimś zewnętrznym kryterium. Przykładowo: osoby, które uzyskują wysokie wyniki w teście kompetencji sprzedażowych, powinny faktycznie lepiej sobie radzić w sprzedaży, np. osiągać wyższe wyniki finansowe. Jeżeli dany test miał zbadaną trafność kryterialną, i przeszedł te badania pomyślnie, oznacza to, że wynik uzyskany w tym teście ma jakiś realny związek z rzeczywistością. Jeżeli nie było takich badań, lub nie wykazały one istotnego związku z żadnym zewnętrznym kryterium, to wszelkie deklaracje na temat użyteczności testu pozostają w sferze myślenia życzeniowego.
Zaklęcie przetestowałem wiele razy, mogę więc Ci powiedzieć co się stanie, jeżeli go użyjesz. Są 3 możliwe scenariusze:
Scenariusz 1: ucieczka
Jak za dotknięciem czarodziejskiej różdżki, Twój rozmówca ulotni się w kłębach kolorowego dymu. Nie będzie już więcej do Ciebie pisał, a może nawet przestanie odpowiadać na Twoje pytania.
Scenariusz 2: dywersja
Próba odwrócenia uwagi to zdecydowanie najczęściej spotykany scenariusz. Występuje w dwóch odmianach:
- Sprzedawca będzie Cię przekonywał, że akurat ten test nie musi przechodzić badań trafności – bo jest testem biznesowym a nie psychologicznym, bo jest testem ipsatywnym a nie normatywnym itp. itd. Warto zadać sobie wówczas pytanie: po co Ci test (biznesowy, psychologiczny, zoologiczny, czy jakikolwiek inny), który nie ma potwierdzonego związku z rzeczywistością?
- Sprzedawca prześle Ci raport, rzekomo potwierdzający trafność testu, ale w raporcie znajdziesz wyłącznie dane dotyczące współczynnika alfa Cronbacha. Współczynnik ten mówi nam, czy pytania w teście są ze sobą nawzajem powiązane (w większości testów powinny być). Jest to wskaźnik łatwy do policzenia, nie wymaga przeprowadzania żadnych badań i dość łatwo uzyskać w nim wysokie wyniki. Oczywiście nie mówi nam on nic, o trafności kryterialnej testu, czyli o jego związku z rzeczywistością.
Scenariusz 3: nadzieja
Zdecydowanie najrzadszy scenariusz: sprzedawca prześle Ci raport, w którym znajdziecie sensowny opis badania trafności kryterialnej testu. Przykładowo, raport będzie zawierał opis badania, z którego będzie wynikało, że osoby zdiagnozowane w teście jako kandydaci na menedżerów, radzą sobie w tej roli lepiej, niż osoby, których profil sugerował inną rolę. Albo też przeczytacie, że handlowcy, którzy uzyskali wysokie wyniki w teście kompetencji sprzedażowych, sprzedawali więcej, szybciej i za wyższe stawki, niż ich koleżanki i koledzy z niskim wynikiem w teście. W przypadku testu osobowości badanie może dotyczyć tego, że osoby z wysokim poziomem sumienności wykazują się w pracy dużą skrupulatnością i odnajdują znacznie więcej błędów w analizowanych dokumentach, niż osoby o niskim wyniku na skali sumienności. Możliwych sposobów badania trafności kryterialnej jest wiele.
Liczę, że moje zaklęcie oszczędzi Twój czas i pozwoli Ci uniknąć rozczarowań, a także że przyczyni się choć w niewielkim stopniu do poprawy jakości dostępnych na rynku testów. Życzę Ci również, żeby w efekcie użycia zaklęcia, jak najczęściej spotykał Cię scenariusz 3!
Podsumowanie tl;dr:
- Jakie kryteria musi spełnić narzędzie, aby mogło być uznane za test psychologiczny?
Takie narzędzie musi mieć zbadaną rzetelność i trafność, musi być obiektywne, wystandaryzowane i znormalizowane. - Jak brzmi zaklęcie, które pozwoli szybko ocenić, czy mamy do czynienia z pseudo-testem?
„Czy dla tego testu była badana trafność kryterialna? Jeżeli tak, to jak była ona badana i co wyszło z tych badań?” - Dlaczego warto pytać o trafność kryterialną testu?
Trafność kryterialna określa, czy wynik testu jest powiązany z jakimś zewnętrznym kryterium. Jeżeli dany test miał zbadaną trafność kryterialną, i przeszedł te badania pomyślnie, oznacza to, że wynik uzyskany w tym teście ma jakiś realny związek z rzeczywistością. - Co się stanie, jak spytam o trafność kryterialną testu?
W większości przypadków Twój rozmówca zakończy rozmowę, lub będzie próbował Cię przekonać, że akurat ten test nie musi mieć potwierdzonego związku z rzeczywistością. Czasem zdarzy się, że otrzymasz raport potwierdzający trafność testu, ale będzie on zawierał jedynie współczynniki alfa Cronbacha. Dzieje się tak, ponieważ te współczynniki są łatwe do policzenia, ale nie mówią nam one nic o trafności testu. W rzadkich przypadkach jednak, Twój rozmówca faktycznie przekaże Ci dane, świadczące o tym, że trafność kryterialna testu została zbadana. Z taką osobą warto dalej rozmawiać!