Badania ankietowe stanowią jedno z częściej wykorzystywanych przeze mnie narzędzi. Niejednokrotnie, rozpoczynając współpracę z nową organizacją, otrzymuję do analizy wyniki przeprowadzonych w niej wcześniej badań. W ankietach tych bardzo często można natrafić na pewien poważny, ale dość łatwy do uniknięcia błąd.
Ten błąd to tworzenie tzw. stwierdzeń podwójnych, choć jak się za chwilę okaże, trafniejszą nazwą byłyby stwierdzenia wielokrotne.
Omówmy błąd na przykładzie. W pierwszej kolejności przyjrzyjmy się prawidłowo skonstruowanemu stwierdzeniu:
Mój bezpośredni przełożony regularnie komunikuje wartości naszej firmy
Powyższe stwierdzenie z powodzeniem możemy umieścić w ankiecie czy kwestionariuszu i poprosić respondenta o ocenę stopnia w jakim się z nim zgadza. Można do tego celu użyć np. skali 5-stopniowej, gdzie odpowiedź 1 oznacza „zdecydowanie się nie zgadzam”, a odpowiedź 5 – „zdecydowanie się zgadzam”. Im wyższą liczbę zaznacza respondent, tym bardziej zgadza się, że przełożony regularnie komunikuje wartości firmy.
Przyjrzyjmy się teraz błędnie skonstruowanemu stwierdzeniu:
Mój bezpośredni przełożony rozumie i regularnie komunikuje wartości naszej firmy
Różnica jest niewielka, ale dodanie tego jednego dodatkowego wyrazu „rozumie” sprawia, że powyższe stwierdzenie staje się klasycznym przykładem stwierdzenia podwójnego. Tak naprawdę mamy tu dwa odrębne stwierdzenia, połączone w jedno:
- Na ile mój bezpośredni przełożony rozumie wartości naszej firmy
- Na ile mój bezpośredni przełożony regularnie komunikuje wartości naszej firmy
Problem z tego typu stwierdzeniami jest związany z ich interpretacją. Jak bowiem interpretować sytuację, w której respondent zaznaczył liczbę „3” na 5-stopniowej skali? Taka odpowiedź może oznaczać między innymi to, że:
- Respondent w średnim stopniu zgadza się z tym, że przełożony rozumie wartości firmy (3/5) ORAZ w średnim stopniu zgadza się z tym, że przełożony te wartości komunikuje (3/5)
- Respondent w bardzo dużym stopniu zgadza się z tym, że przełożony rozumie wartości firmy (5/5) ALE w bardzo małym stopniu zgadza się z tym, że przełożony te wartości komunikuje (1/5)
- Respondent w bardzo małym stopniu zgadza się z tym, że przełożony rozumie wartości firmy (1/5) ALE w bardzo dużym stopniu zgadza się z tym, że przełożony jakieś wartości komunikuje (5/5)
- Respondent zauważył niejednoznaczność stwierdzenia i zaznaczył odpowiedź „3” jako neutralną, niejako w formie ucieczki przed udzieleniem jednoznacznej odpowiedzi
Stwierdzenia podwójne są praktycznie niemożliwe do trafnego zinterpretowania. Dlatego też, jeżeli trafiają do mnie dane z ankiety która tego typu stwierdzenia zawierała, zazwyczaj całkowicie wykluczam te dane z analizy. Jeżeli ankieta składała się w większości z tego typu stwierdzeń, to może się okazać, że dane zebrane z jej pomocą nadają się w całości do wyrzucenia, a wysiłek włożony w badanie poszedł na marne.
Wróćmy jeszcze do kwestii stwierdzeń wielokrotnych. Czasem w ankietach można natrafić na stwierdzenia, które brzmią mniej więcej tak:
Menedżerowie – zarówno w naszym zespole jak i w innych zespołach – rozumieją oraz regularnie komunikują cele i wartości naszej firmy
To nie jest stwierdzenie podwójne, ani nawet potrójne. Gdybym miał nadać mu nazwę, określiłbym je mianem stwierdzenia ośmiokrotnego. Każdy fragment stwierdzenia, który zawiera kolejną alternatywę, podwaja bowiem liczbę możliwych kombinacji odpowiedzi. W rezultacie, aby rzetelnie zebrać wszystkie informacje zawarte w tym jednym stwierdzeniu, należałoby rozbić je na osiem osobnych stwierdzeń:
- Menedżerowie w naszym zespole rozumieją cele naszej firmy
- Menedżerowie w innych zespołach rozumieją cele naszej firmy
- Menedżerowie w naszym zespole regularnie komunikują cele naszej firmy
- Menedżerowie w innych zespołach regularnie komunikują cele naszej firmy
- Menedżerowie w naszym zespole rozumieją wartości naszej firmy
- Menedżerowie w innych zespołach rozumieją wartości naszej firmy
- Menedżerowie w naszym zespole regularnie komunikują wartości naszej firmy
- Menedżerowie w innych zespołach regularnie komunikują wartości naszej firmy
Z danymi zebranymi przy użyciu stwierdzenia ośmiokrotnego, czy nawet potrójnego można zrobić tylko jedno – wyrzucić je z analizy. Żadne zaawansowane algorytmy obliczeniowe nie sprawią, że będziemy w stanie trafnie ocenić co respondent próbował nam powiedzieć, zaznaczając którąkolwiek z dostępnych odpowiedzi. Dlatego też przygotowując stwierdzenia do kwestionariusza czy ankiety warto dopilnować, żeby pojedyncze stwierdzenie dotyczyło zawsze jednej kwestii. W przeciwnym razie, możemy zagwarantować sobie porażkę naszego badania, zanim jeszcze na dobre się rozpocznie.
Podsumowanie tl;dr:
- Co jest najczęściej popełnianym błędem, w badaniach ankietowych?
Umieszczanie w ankietach stwierdzeń wielokrotnych (np. podwójnych, potrójnych). Są to takie stwierdzenia, które dotyczą więcej niż jednego aspektu. - Jakie konsekwencje niesie za sobą używanie stwierdzeń wielokrotnych w ankietach?
Wyniki zebrane przy pomocy tego typu stwierdzeń są zwykle trudne, lub wręcz niemożliwe, do poprawnego zinterpretowania. Z kolei próba ich interpretacji prowadzi zazwyczaj do błędnych wniosków, a w konsekwencji do podejmowania błędnych decyzji. - Jak można uniknąć błędów związanych ze stwierdzeniami podwójnymi w ankietach?
Należy zadbać o to, aby każde stwierdzenie dotyczyło tylko jednej kwestii. Stwierdzenia wielokrotne należy rozbijać na kilka stwierdzeń, z których każde dotyczy jednego tylko aspektu.