Stosując badania ankietowe w organizacjach, co jakiś czas spotykam się z przekonaniem, że pozwalają one jedynie na poznanie subiektywnych odczuć respondentów i w związku z tym – tam gdzie to możliwe – należy zastępować je analizą danych obiektywnych, na przykład pochodzących z firmowych systemów informatycznych. Wyższość takich danych nad danymi pochodzącymi z ankiet nie jest jednak aż tak bezdyskusyjna jak mogłoby się na pierwszy rzut oka wydawać. Badanie odczuć i percepcji respondentów ma bowiem pewne nieoczywiste zalety.
Jakiś czas temu, wspólnie z kilkoma współpracownikami, miałem okazję planować proces badawczy dla pewnej organizacji. Jednym z celów tego procesu miało być stworzenie rekomendacji dotyczących sąsiedztw, czyli rozlokowania stref poszczególnych zespołów w nowej przestrzeni biurowej, do której firma ta miała się wkrótce przeprowadzić.
Zaproponowałem, abyśmy w ramach planowanego badania ankietowego spytali respondentów wprost, jakie inne zespoły powinny być ich zdaniem ulokowane w pobliżu ich zespołu. Jeden z moich współpracowników (na potrzeby niniejszego tekstu nazwiemy go „Artur”) stwierdził wówczas, że nie jest zwolennikiem badań ankietowych. Zdaniem Artura, dane z tego typu badań to jedynie zbiór subiektywnych odczuć, obciążonych różnego rodzaju „zakłóceniami”, na przykład osobistymi sympatiami i uprzedzeniami respondentów. Zaproponował, abyśmy całkowicie zrezygnowali z badania ankietowego, a w zamian wykorzystali tylko „twarde”, obiektywne dane, pochodzące z firmowych systemów.
Podczas spotkania roboczego na bieżąco przedyskutowaliśmy kilka zaproponowanych przez Artura pomysłów, z których każdy był – jego zdaniem – lepszy, niż bazowanie na subiektywnych opiniach, zbieranych przy pomocy ankiet.
Co zamiast badania ankietowego?
W pierwszej kolejności Artur zaproponował, abyśmy sprawdzili możliwość wykorzystania danych pochodzących z firmowej poczty elektronicznej. Moglibyśmy sprawdzić jak często członkowie poszczególnych zespołów wysyłają do siebie maile i na tej podstawie określić natężenie komunikacji pomiędzy różnymi zespołami. Im intensywniejsza komunikacja mailowa, tym bliżej siebie dane zespoły powinny zostać umieszczone. Pojawił się jednak pewien problem. Przy takim podejściu do tematu otrzymalibyśmy zawyżone wyniki w przypadku osób, których rola w organizacji polega na regularnym informowaniu pracowników o różnych wydarzeniach i inicjatywach – szkoleniach, biurowych awariach, czy chociażby wizytach cateringu.
Drugim pomysłem Artura było posłużenie się danymi z połączeń telefonicznych i sprawdzenie, które zespoły najczęściej do siebie telefonują. Połączenia telefoniczne stanowiły jednak mało istotny kanał komunikacji w tej organizacji. Bazowanie na częstości połączeń telefonicznych byłoby zatem odzwierciedleniem schematów komunikacji bardzo wąskiej i mało reprezentatywnej grupy pracowników. Takie dane nie byłyby dobrą podstawą do zaplanowania struktury sąsiedztw.
Kolejna sugestia Artura dotyczyła wykorzystania danych z firmowego kalendarza. Umożliwiłyby one sprawdzenie, jak często przedstawiciele poszczególnych zespołów uczestniczą we wspólnych spotkaniach. Spotkania firmowe mają jednak to do siebie, że często zapraszanych jest na nie więcej osób, niż jest to konieczne, a to że ktoś był zaproszony na spotkanie jeszcze nie oznacza, że się na nim pojawił. Ponadto, w dobie pracy hybrydowej, wiele osób z powodzeniem uczestniczy w spotkaniach zdalnie. Sąsiedztwo danego zespołu w przestrzeni biurowej nie ma dla takich osób większego znaczenia. Takie dane także są więc obarczone błędem, a odbywanie wspólnych spotkań przez osoby z różnych zespołów nadal nie zapewnia nam wystarczającego zakresu danych, aby zaplanować strukturę sąsiedztw.
Omawiając kolejne propozycje Artura zauważyliśmy jeszcze jeden istotny problem, który dotyczył wszystkich zaproponowanych przez niego rozwiązań. Zespoły, które potrzebują regularnej współpracy i aktualnie sąsiadują ze sobą w obecnym biurze, regularnie komunikują się ze sobą bezpośrednio, twarzą w twarz. To z kolei sprawia, że rzadko korzystają z innych form komunikacji, takich jak poczta elektroniczna czy rozmowy telefoniczne. Analiza danych z firmowych systemów wykazałaby zatem – niezgodnie z prawdą – że te zespoły rzadko się ze sobą komunikują i w związku z tym nie potrzebują być ulokowane blisko siebie w przyszłości. Tymczasem jest dokładnie na odwrót!
Jako że badana organizacja wdrożyła właśnie system rezerwacji współdzielonych biurek, ostatnią propozycją Artura było wykorzystanie danych z tego systemu. Dzięki nim można byłoby sprawdzić które zespoły pojawiają się w biurze w te same dni i na tej podstawie wyciągać wnioski o potrzebie wzajemnego kontaktu. Tak się złożyło, że kilka tygodni wcześniej miałem okazję wykonać tego typu analizę w innym projekcie. Powiązania które wówczas znalazłem wynikały nie z chęci regularnego kontaktu pomiędzy zespołami, a z podobnego rytmu pracy, związanego np. z cyklem sprawozdawczości finansowej. Niejednokrotnie też okazywało się, że pojawianie się dwóch zespołów w biurze w tym samym czasie to czysty przypadek, wynikający np. z tego, że oba zespoły odbywają swoje wewnętrzne spotkania koordynacyjne w ten sam dzień tygodnia.
Konkluzja naszego spotkania roboczego była taka, że każdy z wymienionych rodzajów danych pozwalał wprawdzie na bardzo precyzyjną i obiektywną analizę, ale obejmującą bardzo wąski wycinek rzeczywistości, całkowicie niewystarczający lub kompletnie nieadekwatny do celu, jakim było zaplanowanie ułożenia sąsiedztw zespołów.
Jednak ankieta?
Dlaczego zatem – w mojej ocenie – badanie ankietowe było lepszym rozwiązaniem? Otóż gdy pytamy respondentów o zdanie, sięgamy do jednego z najbardziej obszernych źródeł informacji o firmie – do wiedzy jej pracowników. Wiedza ta obejmuje znacznie szerszy zakres, niż tylko komunikacja, która była centralnym aspektem analizy w większości opisanych powyżej metod. Respondent ankiety, spytany o pożądane sąsiedztwo, może wziąć pod uwagę to, które zespoły mają zbliżony do niego styl pracy (np. wymagający ciszy), z którymi zespołami powinien zacząć współpracować, pomimo że aktualnie tego nie robi, oraz wiele innych kryteriów. Stosując badanie ankietowe uwzględniamy zatem bardzo szeroki zakres informacji, w tym również takich, o których istnieniu autorzy badania mogą nie mieć pojęcia, na etapie planowania procesu badawczego.
Opisany powyżej problem ze stosowaniem obiektywnych i subiektywnych wskaźników nie jest niczym nowym. Zjawisko to nosi nazwę „criterion deficiency” i jest znane chociażby z obszaru oceny pracowników. O „criterion deficiency” w kontekście oceny pracowników mówimy wtedy, gdy obiektywne wskaźniki efektywności dotykają jedynie wycinka rzeczywistości i nie uwzględniają istotnych aspektów efektywności pracy. Przykładowo, patrząc na identyczne wyniki finansowe dwóch przedstawicieli handlowych możemy uznać, że pomiędzy efektywnością ich pracy nie ma istotnej różnicy. Jeżeli natomiast poprosimy przełożonych o subiektywną ocenę efektywności pracy poszczególnych przedstawicieli handlowych, możemy dowiedzieć się np. tego, że jeden z nich działa w regionie, w którym zapotrzebowanie na sprzedawany przez nich produkt jest znacznie mniejsze a uzyskanie porównywalnego wyniku finansowego wymaga znacznie większego wysiłku, umiejętności i nakładu pracy. Oceniając swoich podwładnych, przełożony ma możliwość uwzględnienia szerokiego spektrum informacji, przez co taka subiektywa ocena może być trafniejszym źródłem wiedzy na temat efektywności poszczególnych przedstawicieli handlowych, niż analiza obiektywnego wskaźnika finansowego.
Nie samą ankietą…
Czy zatem konkluzja tego tekstu jest taka, że należy zrezygnować z poszukiwania obiektywnych danych i zamiast tego opierać się wynikach badań ankietowych? Odpowiedź oczywiście brzmi: nie. Artur miał bowiem rację kiedy twierdził, że dane z ankiet są obciążone różnego rodzaju „zakłóceniami”. Nie mamy pewności, na ile kryteria którymi kierują się respondenci ankiety są adekwatne do celów naszego projektu oraz w jakim stopniu na wyniki wpływają np. relacje osobiste pomiędzy członkami zespołów. Artur przeoczył jednak fakt, że bazowanie na obiektywnych danych też ma różne istotne ograniczenia.
W opisanym powyżej przykładzie przewagą badania ankietowego nie jest obiektywizm, a możliwość uchwycenia bardzo szerokiego zakresu informacji w krótkim czasie. Ceną jaką musimy za to zapłacić jest konieczność bazowania na subiektywnych danych, obarczonych różnego rodzaju zakłóceniami. Z kolei przewagą opierania się na „twardych” danych z firmowych systemów jest wykluczenie obecnych w ankietach zakłóceń oraz duży poziom precyzji. Odbywa się to jednak kosztem zawężenia zakresu badania, ponieważ tego typu dane dotyczą zazwyczaj bardzo ograniczonego wycinka rzeczywistości. Stosując obiektywne dane musimy mieć zatem pewność, że są one wystarczające do naszych celów i że nie umknęły nam żadne istotne aspekty interesującego nas zjawiska. Niestety w badaniach organizacyjnych rzadko mamy taki komfort.
Na koniec warto zaznaczyć, że opisany powyżej problem jest zazwyczaj możliwy do rozwiązania: tam gdzie to możliwe warto łączyć dane pochodzące z różnych źródeł. Warto bazować zarówno na obiektywnych danych, pochodzących z firmowych systemów, jak również na danych pochodzących z badań ankietowych. Takie podejście ma dwa istotne atuty. Po pierwsze, umożliwia połączenie szerokiego spojrzenia, pochodzącego z badania percepcji pracowników, z precyzyjnym pomiarem wybranych aspektów. Po drugie, analiza danych z różnych źródeł ujawnia czasem rozbieżności i niespójności. Pogłębiona analiza takich rozbieżności sama w sobie może nam bardzo dużo powiedzieć o interesującym nas zjawisku. Całkowite zaniechanie badania percepcji respondentów może natomiast skutkować uzyskaniem bardzo precyzyjnych i obiektywnych wyników, ale z perspektywy celów naszego badania – kompletnie bezużytecznych.
Podsumowanie tl;dr:
- Czy poleganie na danych „obiektywnych” (np. pochodzących z systemów informatycznych) zawsze są lepsze od danych „subiektywnych” (np. wyników ankiet)?
Niekoniecznie. Oba rodzaje danych mają swoje zalety i ograniczenia. - Jakie są zalety i wady stosowania danych „obiektywnych”?
Tego typu dane są zazwyczaj pozbawione różnego rodzaju zakłóceń, obecnych w badaniach opinii. Z drugiej jednak strony, dotyczą one zazwyczaj bardzo wąskiego wycinka rzeczywistości – często zbyt wąskiego, aby możliwe było wyciągnięcie użytecznych wniosków (zjawisko „criterion deficiency”). - Co to jest „criterion deficiency”?
Ze zjawiskiem tym mamy do czynienia, kiedy miary, których używamy do oceny danego zjawiska, pomijają ważne aspekty tego zjawiska. W rezultacie, uzyskujemy niepełny, często błędny obraz sytuacji. - Jakie są zalety i wady stosowania danych „subiektywnych” (np. zebranych przy użyciu ankiet)?Stosowanie danych tego typu pozwala sięgnąć do wiedzy pracowników na temat organizacji. Dzięki temu można uwzględnić bardzo szeroki zakres informacji, które mogą nie być nigdzie ujęte w formie danych „obiektywnych”. Jednocześnie, w danych tego rodzaju zazwyczaj występuje szum informacyjny, oraz różnego rodzaju zakłócenia, wynikające z indywidualnych przekonań i preferencji uczestników badania.
- Na jakich danych – obiektywnych czy subiektywnych – należy polegać, przeprowadzając badania w organizacjach?
Najlepszym rozwiązaniem jest łączenie danych obiektywnych i subiektywnych, aby uzyskać pełniejszy obraz sytuacji i zminimalizować ryzyko wystąpienia „criterion deficiency”. Takie łączenie danych ujawnia również różnego rodzaju rozbieżności i niespójności, co samo w sobie może prowadzić do głębszego zrozumienia badanych zjawisk.