Beurteilung der Gebrauchstauglichkeit, Verständlich- und Handhabbarkeit, Teilnahmemotivation und emotionalen Reaktion bei der Evaluierung psychischer Belastung aus Sicht von Evaluierenden und Beschäftigten
verfasst von:
Jochen Prümper, Prof. Dr. Dipl. Psych., Tom Schneeberg, M.Sc., Alina Marie Prümper, B.Sc.
In Kleinstbetrieben werden Arbeitsplatzevaluierungen/Gefährdungsbeurteilungen – insbesondere zur psychischen Belastung – seltener umgesetzt als in größeren Betrieben.
Ziel der Arbeit
Mit EVALOG existiert seit jüngstem ein Verfahren zur Evaluierung psychischer Belastung in Kleinstbetrieben. EVALOG beruht auf dem KFZA (Kurzfragebogen zur Arbeitsanalyse), der im Rahmen der Gefährdungsbeurteilung psychischer Belastung als Standardinstrument gilt. Der vorliegende Beitrag geht der Frage nach, ob EVALOG die Gütekriterien der Gebrauchstauglichkeit gem. EN ISO 10075‑3 (2004) erfüllt und wie die Verständlichkeit, Handhabbarkeit, Teilnahmemotivation und emotionale Reaktion aus Sicht von Evaluierenden und Beschäftigten beurteilt wird.
Material und Methoden
Die Studie wurde durch standardisierte Fragebögen im Feld erhoben sowie mithilfe deskriptiver sowie inferenzstatistischer Verfahren ausgewertet. Es nahmen 19 Evaluierer/-innen und 27 Mitarbeiter/-innen aus 19 österreichischen Kleinstbetrieben teil.
Ergebnisse
Der EVALOG wurde eine hohe Gebrauchstauglichkeit attestiert, die Informationen zur Evaluierung waren eingängig und gut verständlich und die einzelnen Schritte der Evaluierung einfach umzusetzen. Zudem waren die Teilnehmer/-innen der Studie hoch motiviert den Evaluierungsdialog durchzuführen und fühlten sich nach dem Dialog positiv gestimmt.
Diskussion
Mit EVALOG liegt ein wissenschaftliches fundiertes, standardisiertes, leitfadenorientiertes ökonomisches, dialogorientiertes und anwendungsfreundliches Verfahren zur Evaluierung psychischer Belastung vor, welches von Kleinstbetrieben eigenständig zum Einsatz gebracht werden kann.
Hintergrund
Die Betrachtung der längerfristigen Entwicklung des Arbeitsunfähigkeitsgeschehens zeigt, dass psychische Störungen den mit Abstand deutlichsten Anstieg verzeichnen. Die Zahl der Krankenstandstage aufgrund dieser Diagnose hat sich in westlichen Industrieländern wie Deutschland oder Österreich in den vergangenen 10 Jahren mehr als verdoppelt. Während z. B. in Deutschland im Jahr 2008 aufgrund psychischer Störungen 1270 Arbeitsunfähigkeitstage (AU-Tage) je 1000 Beschäftigte zu verzeichnen waren, entfielen im Jahr 2018 bereits 2914 AU-Tage je 1000 Beschäftigte auf diese Diagnose ([17]; für die Entwicklung und Verteilung der psychisch bedingten Krankenstände in Österreich s. z. B. [20]).
Steigenden psychischen Störungen und daraus entstehende Fehlzeiten [23] aufgrund arbeitsbedingter, negativ ausgeprägter psychischer Belastungen [25] kommt daher eine zunehmend hohe Bedeutung zu. Der Zusammenhang zwischen der Ausprägung psychischer Belastung und entsprechenden Beanspruchungen und Beanspruchungsfolgen auf Seiten von Beschäftigten ist empirisch bestätigt [3, 32] und fester Bestandteil internationaler Normen. Gemäß der EN ISO 10075‑1 [9] ist die psychische Belastung die „Gesamtheit aller erfassbaren Einflüsse, die von außen auf einen Menschen zukommen und diesen psychisch beeinflussen“, die psychische Beanspruchung die „unmittelbare Auswirkung der psychischen Belastung im Individuum in Abhängigkeit von seinem aktuellen Zustand“ [9] sowie die unmittelbaren, direkten Folgen der psychischen Beanspruchung, welche einerseits Anregungseffekte und andererseits beeinträchtigende Auswirkungen wie psychische Ermüdung und/oder ermüdungsähnliche Zustände umfassen [9].
Anzeige
Zur Prävention psychischer Fehlbelastungen sind Betriebe gesetzlich dazu verpflichtet, im Rahmen von Gefährdungsbeurteilungen auch eine Evaluierung psychischer Belastung durchzuführen. Dies fordert beispielsweise in Österreich das ArbeitnehmerInnenschutzgesetz (ASchG) in § 4 „Festlegung von Maßnahmen (Arbeitsplatzevaluierung)“ oder in Deutschland das Arbeitsschutzgesetz (ArbSchG) in § 5 „Beurteilung der Arbeitsbedingungen“ (Gefährdungsbeurteilung).
Die Gefährdungsbeurteilung, respektive Arbeitsplatzevaluierung, ist – neben dem Aufbau einer geeigneten Arbeitsschutzorganisation – die zentrale Säule eines erfolgreichen Arbeitsschutzes. Sie ist die systematische Ermittlung und Beurteilung aller möglichen Gefährdungen der Beschäftigten, einschließlich der Festlegung der erforderlichen Maßnahmen für Sicherheit und Gesundheit bei der Arbeit. Als Arbeitsschutzinstrument trägt sie somit insbesondere durch den gesetzlichen Anspruch sowie auch als Steuerungsinstrument i. S. eines betrieblichen Frühwarnsystems [14] für das betriebliche Gesundheitsmanagement bei. Studien zeigen, dass organisationale Interventionen, welche auf die Veränderung von Arbeits- und Organisationsmerkmalen abzielen, das Wohlbefinden der Mitarbeiter steigern und Stresserleben mindern können [1, 5, 19, 22, 29, 33].
Da mit der zunehmenden Verbreitung von Arbeitsplatzevaluierungen auch steigende inhalts- und prozessbezogene Anforderungen gestellt werden [7], ist die Durchführung von Gefährdungsbeurteilungen besonders erfolgreich, wenn Beschäftigte an diesem Prozess beteiligt werden [28]. Auffällig ist jedoch, dass Gefährdungsbeurteilungen in Kleinstbetrieben (bis 9 Beschäftigte) deutlich seltener umgesetzt werden als in mittelgroßen (bis 249 Beschäftige) oder großen Betrieben (ab 250 Beschäftige) und dass der Anteil der Betriebe, die in ihren Arbeitsplatzevaluierungen auch psychische Belastung berücksichtigen, deutlich geringer ist als der Anteil der Betriebe, die die Durchführung von Gefährdungsbeurteilungen überhaupt angehen [4, 12].
Vor diesem Hintergrund besteht ein besonderer Bedarf zur Etablierung von Verfahren zur Arbeitsplatzevaluierung/Gefährdungsbeurteilung psychischer Belastung in Kleinstbetrieben.
Anzeige
EVALOG – Evaluierung psychischer Belastung im Dialog
Mit EVALOG (Evaluierung psychischer Belastung im Dialog) publizierten Prümper und Vowinkel [31] ein derartiges Verfahren zur Arbeitsplatzevaluierung/Gefährdungsbeurteilung arbeitsbedingter psychischer Belastung in Kleinstbetrieben mit ein bis maximal neun Beschäftigten. Neben dem Einsatz in kleinen Betrieben kann EVALOG auch zur Arbeitsplatzevaluierung sehr kleiner Tätigkeitsbereiche in größeren Organisationen zum Einsatz gebracht werden.
Bei EVALOG findet die Evaluierung im Dialog zwischen einem/einer Evaluierer/-in und 1–3 Beschäftigten aus einer Tätigkeitsgruppe mit maximal 5 Arbeitnehmer/-innen statt. Bei mehreren Tätigkeitsgruppen wird der Dialog entsprechend wiederholt.
Das Verfahren deckt alle sieben Evaluierungsphasen sowie die Dokumentation ab (Abb. 1). Dabei bearbeiten die Evaluierer/-innen die blauen Teile 1 „Arbeitsbereiche und Tätigkeiten festlegen“ und 5 „Maßnahmen durchführen“ alleine und die grauen Teile 2 „Psychische Belastung ermitteln“, 3 „Psychische Belastung beurteilen“, 4 „Maßnahmen festlegen“, 6 „Wirksamkeit überprüfen“ und 7 „Evaluierung anpassen“ gemeinsam mit den Beschäftigten.
Abb. 1
Sieben Schritte der Arbeitsplatzevaluierung/Gefährdungsbeurteilung psychischer Belastung
×
Qualitätsgrundsätze von EVALOG
Der Aufbau von EVALOG orientiert sich an den „Qualitätsgrundsätzen für Instrumente/Verfahren zur Gefährdungsbeurteilung psychischer Belastung“ der GDA [11]. Hierzu wird in einem den Einsatz des Verfahrens begleitenden „Wegweiser“ beschrieben, für welche Einsatzbereiche das Verfahren geeignet ist, wie Tätigkeiten und Ausführungsbedingungen berücksichtigt und die Beschäftigten in den Prozess der Gefährdungsbeurteilung einbezogen werden können. Darüber hinaus beinhaltet der Wegweiser Methoden bzw. Hilfestellungen zur Beurteilung, ob Maßnahmen zur Minderung von Gefährdungen durch psychische Belastung erforderlich sind oder nicht. Das „Herzstück“ von EVALOG ist der KFZA (Kurzfragebogen zur Arbeitsanalyse; [30]), der im Rahmen der Gefährdungsbeurteilung psychischer Belastung als „Standardinstrument“ gilt [2], „das keine zu hohen fachlichen Anforderungen an die Anwender stellt“ [13] und mit dem „reliabel und valide Problemfelder“ [34] erkannt werden können. Damit beruht EVALOG auf einem methodisch geprüften und ausgewiesenen Verfahren, welches alle relevanten Belastungsfaktoren berücksichtigt. Zur Sicherstellung, ob sich der KFZA im Rahmen einer mehr oder weniger Einzelfalldiagnostik eignet, wurde der Einsatz bei Referenzbetrieben überprüft.
Beschreibung von EVALOG
Die EVALOG besteht aus fünf Teilen, die zur besseren Orientierung durch farbige Seitenränder gekennzeichnet sind.
Der erste Teil „Evaluierung psychischer Belastung im Dialog“ liefert einen Überblick über das Verfahren sowie eine detaillierte Erläuterung der sieben Umsetzungsschritte der Evaluierung (Abb. 1). Zudem erfolgt eine kurze Einführung in die wichtigsten Themen rund um die Evaluierung und es wird – bereichert um Hinweise, Beispiele und Verweise auf Zusatzmaterial – eine praxisgerechte Anleitung zur Umsetzung der Evaluierung gegeben. Damit die Evaluierer/-innen gut auf den Evaluierungsdialog vorbereitet sind, ist die Lektüre dieses Teils des Wegweisers für sie unabdingbar.
Im zweiten Teil „Weiterführende Informationen zur Evaluierung“ werden Hinweise zu Grundlagen einer guten Gesprächsführung (z. B. Mindeststandards, Grundhaltungen und Techniken) sowie dem arbeitspsychologischen Hintergrund (z. B. Belastungs-Beanspruchungs-Modell, persönlichkeitsförderliche Arbeitsgestaltung) und arbeitsrechtlichen Hintergrund (z. B. gesetzliche Anforderungen, Beteiligungsrechte) vermittelt.
Im dritten Teil „Kontaktstellen zur Unterstützung rund um die Evaluierung“ finden sich Adressen zu Institutionen in Österreich, die bei der Evaluierung und insbesondere psychischen Problemen im Betrieb bei Bedarf unterstützen.
Anzeige
Der vierte Teil „Informationsblätter“ enthält Hinweise für Evaluierer/-innen und Arbeitnehmer/-innen zum Hintergrund und zur Durchführung der Evaluierung. Informationsblatt 1 enthält zur Vorbereitung für die Beschäftigten eine „Information für Arbeitnehmerinnen und Arbeitnehmer“, Informationsblatt 2 zur Vorbereitung für die Evaluierer/-innen einen „Kurzleitfaden zur Umsetzung der Evaluierung“. Informationsblatt 3 einen „Kurzleitfaden zur Gesprächsführung“, Informationsblatt 4 eine „Übersicht über die wichtigsten gesetzlichen Anforderungen“, Informationsblatt 5 Hinweise zum „Ermitteln und Beurteilen psychischer Belastung“, Informationsblatt 6 entsprechende „Hintergründe und grundsätzliche Gestaltungsempfehlungen“ und Informationsblatt 7 zum Festlegen und Umsetzen von Maßnahmen Hinweise und Erläuterungen zu „TOP-Prinzip und SMART-Formel“. Diese Informationsblätter erleichtern den Betrieben die Umsetzung der Evaluierung und können nach Bedarf kopiert oder ausgedruckt werden. Zum Download stehen sie bereit unter www.eval.at/evalog.
Der fünfte Teil enthält die „Arbeitsblätter“, die zur Durchführung und Dokumentation der Evaluierung entsprechend den gesetzlichen Anforderungen benötigt werden und die damit die Bearbeitung der „sieben Schritte der Evaluierung“ (Abb. 1) formal unterstützen. Neben einem Arbeitsblatt 1 zum „Festlegen von Arbeitsbereich und Tätigkeiten“ wird mit Arbeitsblatt 2 der KFZA zum „Ermitteln und Beurteilen von psychischer Belastung“ zur Verfügung gestellt (Abb. 2). Selbiger besteht aus 26 Fragen und Aussagen (Items), die die psychische Belastung aus den Merkmalen der Arbeitstätigkeit erfassen (für eventuelle Ergänzungen stehen in dem Arbeitsblatt einige Freifelder zur Verfügung). Die Items orientieren sich an der EN ISO 10075‑1, Anhang A [9] in Verbindung mit ASchG § 7, Abs. 4a „Grundsätze der Gefahrenverhütung“ sowie ArbSchG § 4, Abs. 4 „§ 4 Allgemeine Grundsätze“ und lassen sich den dort beschriebenen vier Komponenten psychischer Belastung aus der Arbeitssituation „Arbeitsaufgaben und Tätigkeiten“ (z. B. Arbeitsinhalt „Vielseitigkeit“), „Sozial- und Organisationsklima“ (z. B. Ressource „Soziale Unterstützung“), „Arbeitsumgebung“ (z. B. Stressor „Umgebungsbelastung“,) und „Arbeitsabläufe und Arbeitsorganisation“ (z. B. Stressor „Qualitative Arbeitsbelastung“) zuordnen.
Abb. 2
Arbeitsblatt 2 mit den Schritten „Ermitteln psychischer Belastung“ und „Beurteilen psychischer Belastung“ (Auszug)
×
In Abgrenzung zu allfälligen wissenschaftlichen Studien stehen im Rahmen der vorliegenden, praxisorientierten Gefährdungsbeurteilung psychischer Belastung in Kleinstbetrieben jedoch nicht einzelne latente Konstrukte und damit Skalen (wie z. B. „Vielseitigkeit“), sondern einzelne Items (z. B. „Können Sie bei Ihrer Arbeit Neues dazulernen?“) im Fokus der Evaluierung. Im Rahmen des vierten Evaluierungsschrittes „Maßnahmen festlegen“ werden die betrieblichen Praktiker/-innen sogar dazu ermutigt, falls es sich anbietet, entsprechende Maßnahmen konstruktübergreifend zu entwickeln (s. hierzu das Beispiel in [31, S. 25] aus der Innungsgruppe „Gärtner und Floristen“ in der das Item „Können Sie bei Ihrer Arbeit Neues dazulernen?“ aus der Skala „Vielseitigkeit“ mit dem Item „Meine Arbeit ist so gestaltet, dass ich die Möglichkeit habe, ein vollständiges Arbeitsprodukt [eine vollständige Arbeitsaufgabe] von Anfang bis Ende herzustellen“ aus der Skala „Ganzheitlichkeit“ in der Maßnahme „Training für Auszubildende: Fertigung von Sträußen und Gestecken“ mündete).
Darüber hinaus stehen mit dem Arbeitsblatt 3„Festlegen und Umsetzen von Maßnahmen und Überprüfen der Wirksamkeit“, dem Arbeitsblatt 4 „Teilschritte für die Umsetzung der Maßnahme“, dem Arbeitsblatt 5 „Auseinandersetzung mit der Maßnahme, wenn die erwünschte Wirkung ausbleibt“, dem Arbeitsblatt 6 „Anpassen der Evaluierung“ und dem Arbeitsblatt 7 „Evaluierung psychischer Belastung im Dialog: Dokumentation gemäß Dokumentationsverordnung (DOK-VO)“ weitere Dokumente für die Durchführung und Dokumentation der Evaluierung entsprechend den gesetzlichen Anforderungen zur Verfügung.
Anzeige
Ziel der Arbeit
Während die testtheoretische Qualität des KFZA unter den Aspekten Reliabilität und Validität bereits in zahlreichen Studien nachgewiesen wurde [2, 15, 16, 18, 21, 24, 27], soll im Folgenden insbesondere das Augenmerk darauf gelegt werden, ob der Einsatz des KFZA im Rahmen von EVALOG auch die Gütekriterien der Gebrauchstauglichkeit gem. EN ISO 10075‑3 [10] erfüllt und wie die Verständlich- und Handhabbarkeit, Teilnahmemotivation und emotionale Reaktion bei der Evaluierung psychischer Belastung aus Sicht von Evaluierenden und Beschäftigten beurteilt wird.
Methode
Forschungsdesign
Die Gebrauchstauglichkeit des Wegweisers sowie die Beurteilung der Verständlich- und Handhabbarkeit, Teilnahmemotivation und emotionalen Reaktion aus Sicht von Evaluierer/-innen und Beschäftigten wurde hinsichtlich der ersten vier Schritte der Evaluierung (Abb. 1) mit österreichischen Kleinstbetrieben durch standardisierte Fragebögen im Feld erhoben und mithilfe deskriptiver sowie inferenzstatistischer Verfahren im Zeitraum von April 2018 bis Juni 2019 analysiert.
Die Akquisition der Kleinstbetriebe erfolgte mit Unterstützung der AUVA (Allgemeine Unfallversicherungsanstalt) sowie der WKO (Wirtschaftskammer Österreich) durch eine zufällige Auswahl aus allen Kleinstbetrieben mit einem/r bis neun Beschäftigten aus allen neun österreichischen Bundesländern aller sieben Wirtschaftskammern. Im Vorfeld wurden die Betriebe schriftlich über das Vorgehen und den Ablauf sowie über den Sinn, Zweck und Nutzen der Teilnahme informiert. Die Teilnahme war freiwillig und es erfolgte keine Aufwandsentschädigung.
Nach Durchführung der Evaluierung beantworteten die Teilnehmenden (Evaluierer/-innen und Beschäftigte) zu den im Fokus stehenden Kriterien (Gebrauchstauglichkeit, Verständlich- und Handhabbarkeit, Teilnahmemotivation und emotionale Reaktion) einen Fragebogen (wahlweise Papier/Bleistift oder Online).
Anzeige
Stichprobe
Insgesamt umfasst die Stichprobe (Tab. 1) 19 Kleinstbetriebe aus 13 verschiedenen Innungsgruppen (Min = 1, Max = 4) und 6 der 9 Regionen Österreichs. In diesen 19 Betrieben arbeiten insgesamt 105, durchschnittlich ca. 6 Beschäftigte (Min = 1, Max = 9). In diesen 19 Betrieben wurden 19 Evaluierungen von 19 Evaluierer/-innen (davon 12 Inhaber/-innen und 7 Kollegen/-innen) bei 27 Evaluierten mit durchschnittlich zwei Evaluierten (Min = 1, Max = 3) durchgeführt (12 Evaluierungen mit 1 Beschäftigten, 6 Evaluierungen mit 2 Beschäftigten, 1 Evaluierung mit 3 Beschäftigten).
Tab. 1
Stichprobe
Innungsgruppe
Bundesland
Beschäftigte
Evaluierte
Berufsausbildung
Tirol
6
1
Elektro‑, Gebäude‑, Alarm- und Kommunikationstechniker
Niederösterreich
5
2
Fahrzeugtechnik
Kärnten
5
1
Garagen‑, Tankstellen- und Serviceunternehmungen
Kärnten
5
1
Garagen‑, Tankstellen- und Serviceunternehmungen
Kärnten
6
2
Garagen‑, Tankstellen- und Serviceunternehmungen
Kärnten
6
1
Gärtner und Floristen
Wien
8
3
Gärtner und Floristen
Niederösterreich
6
2
Gärtner und Floristen
Niederösterreich
3
2
Gärtner und Floristen
Kärnten
9
1
Gesundheitsberufe
Tirol
4
1
Güterbeförderungsgewerbe
Niederösterreich
6
2
Immobilien- und Vermögenstreuhänder
Wien
8
1
Lebensmittelgewerbe
Oberösterreich
5
1
Maler und Tapezierer
Oberösterreich
5
2
Spedition und Logistik
Kärnten
4
1
Tischler und Holzgestalter
Oberösterreich
4
1
Unternehmensberatung, Buchhaltung und Informationstechnologie
Oberösterreich
5
1
Unternehmensberatung, Buchhaltung und Informationstechnologie
Salzburg
5
1
–
–
105
19
Von den 46 Proband/-innen (19 Evaluierer/-innen und 27 Beschäftigte) waren 28 weiblich und 15 männlich. Drei Teilnehmende erteilten keine Auskunft über ihr Geschlecht. Die Altersgruppe der 50- bis 59-Jährigen (n = 13) macht den größten Teil der Proband/-innen aus, gefolgt von der Gruppe der 40- bis 49-Jährigen (n = 12), der Gruppe der 30- bis 39-Jährigen (n = 7), der Gruppe der unter 30-Jährigen (n = 6) sowie der Gruppe der über 60-Jährigen (n = 4).
Instrumente
Gebrauchstauglichkeit
Unter Gebrauchstauglichkeit wird das Ausmaß verstanden, „in dem ein Produkt durch bestimmte Benutzer in einem bestimmten Nutzungskontext genutzt werden kann, um bestimmte Ziele effektiv, effizient und zufriedenstellend zu erreichen“ [10]. Gemäß EN ISO 10075‑3 [10] müssen Messverfahren „effektiv und effizient sein und die Anforderungen der Anwender erfüllen, d. h. sie müssen bei minimalem Aufwand oder Mitteleinsatz das erwartete Präzisionsniveau im beabsichtigten Messbereich erreichen und zu den gewünschten Ergebnissen führen“ [10]. Die Gebrauchstauglichkeit wurde – differenziert nach den Unterkonstrukten Effektivität, Effizienz und Zufriedenheit – mit jeweils 4 Items pro Unterkonstrukt auf einer 5‑stufigen Likert-Skala von 1 = „stimme nicht zu“ bis 5 = „stimme sehr zu“ erhoben.
Effektivität.
Gemäß EN ISO 9241-11 [8] ist Effektivität die „Genauigkeit, Vollständigkeit und das Nichtvorhandensein negativer Folgen, mit denen Benutzer bestimmte Ziele erreicht haben“ [8]. „Die Effektivität eines Messverfahrens wird durch dessen psychometrische Eigenschaften bestimmt, insbesondere durch seine Zuverlässigkeit“ [8]. Die Skala der Effektivität wurde durch folgende vier Items abgedeckt: „EVALOG ist eine … (1) effektive, (2) überzeugende, (3) schlüssige und (4) plausible Methode zur Evaluierung psychischer Belastungen in der Arbeitssituation.“ Die interne Konsistenz der Skala Effektivität betrug α = 0,84.
Effizienz.
Gemäß EN ISO 9241-11 [8] ist Effizienz das „Verhältnis zwischen dem erreichten Ergebnis und den eingesetzten Ressourcen“ [8]. „Die Effizienz eines Messverfahrens ist ein relatives Konzept, abhängig von seiner Effektivität (z. B. dem Präzisionsniveau) und dem Aufwand, der zur Durchführung, Analyse und Interpretation der Messung und ihrer Ergebnisse erforderlich ist“ [10]. Die Skala der Effizienz wurde durch folgende vier Items abgedeckt: „EVALOG ist eine … (1) effiziente, (2) zeitsparende, (3) praktikable und (4) griffige Methode zur Evaluierung psychischer Belastungen in der Arbeitssituation“. Die interne Konsistenz der Skala Effizienz betrug α = 0,81.
Zufriedenheit.
Die EN ISO 9241-11 [8] versteht unter Zufriedenheit – auch „Zufriedenstellung“ – „positive Einstellungen, Emotionen und/oder Wohlbefinden, die sich aus der Nutzung eines Systems, Produkts oder einer Dienstleistung ergeben“. „Ein Messverfahren sollte nicht nur effektiv und effizient sein, sondern darüber hinaus auch die Anforderungen der jeweiligen Anwender erfüllen. […] Unter der Zielsetzung der Verfahrensverbesserung ist es daher wichtig, Messverfahren im Hinblick auf die Anforderungen der Anwender zu bewerten und die dabei gewonnenen Ergebnisse zu dokumentieren“ [10]. Die Zufriedenheitsskala bestand aus den vier Items: „EVALOG … (1) verdeutlicht in der Einleitung zufriedenstellend ihren Nutzen, (2) macht einen soliden wissenschaftlichen Eindruck, (3) vermittelt glaubwürdig, dass die erhobenen Daten vertraulich behandelt werden und (4) lässt sich problemlos bearbeiten.“ Die interne Konsistenz der Skala Zufriedenheit betrug α = 0,51.
Verständlichkeit und Handhabbarkeit
Bei der Beurteilung der Verständlichkeit geht es um die Eigenschaft von Texten – im konkreten Fall die der „Weiterführenden Informationen zur Evaluierung“ hinsichtlich (1) der „Gesprächsführung“, (2) des „Arbeitspsychologischen Hintergrundes“ sowie (3) des „Arbeitsrechtlichen Hintergrundes“ – bezgl. Leserlichkeit, Lesbarkeit und weiteren Merkmalen wie Gegliedertheit und Stimulanz.
Bei der Beurteilung der Handhabbarkeit geht es um die Eigenschaft eines Gegenstands, Werkzeugs, Apparats – im konkreten Fall um die „Arbeitsblätter“ die zur Durchführung und Dokumentation der Evaluierung zum (1) „Festlegen von Arbeitsbereichen“, (2) „Ermitteln psychischer Belastung“, (3) „Beurteilen psychischer Belastung“ und (4) „Festlegen von Maßnahmen“ benötigt werden (die Schritte 5–7 der Evaluierung konnten zum aktuellen Zeitpunkt noch nicht einer Überprüfung unterzogen werden).
Entsprechende wurden die Versuchsteilnehmer/-innen im Anschluss an den Evaluierungsdialog gefragt „Haben Sie alles gut verstanden? Was fanden Sie einfach? Was schwierig? Können Sie die Schwierigkeit einschätzen?“ Für die Evaluierer/-innen war diesen Fragen noch zusätzlich die Aufforderung vorgeschaltet „Bitte schätzen Sie ein, wie leicht bzw. schwer es Ihnen gefallen ist, den Teilnehmer/-innen die relevanten Hintergrundinformationen für die Evaluierung zu übermitteln“.
Die Einschätzung der Verständlichkeit der „Weiterführenden Informationen zur Evaluierung“ sowie die der Handhabbarkeit der „Arbeitsblätter“ erfolgte jeweils auf einer ungeradzahligen Likert-Skala von 1 = „sehr leicht“ bis 5 = „sehr schwierig/kompliziert“. Die interne Konsistenz der Skala Verständlichkeit betrug α = 0,62, die der Handhabbarkeit1α = 0,80.
Teilnahmemotivation
Teilnahmemotivation ist definiert als die Motivation, an dem Evaluierungsdialog mittels EVALOG zu partizipieren. In Anlehnung an Deci und Ryan [6] lässt sich die Teilnahmemotivation inhaltlich in die drei, für die vorliegende Fragestellung wesentlichen Motivationstypen „identifizierte Regulation“ (Verhalten als geschätztes Mittel zum Zweck; Beispielitem: „Weil es gut für mich und meinen Betrieb ist.“) „extrinsische Motivation“ (Verhalten wegen externer Belohnung oder zur Vermeidung negativer Konsequenzen; Beispielitem: „Weil es gesetzlich vorgeschrieben ist.“) und „intrinsische Motivation“ (Verhalten als Selbstzweck; Beispielitem: „Weil ich mich gut fühle, wenn ich daran teilnehme.“) differenzieren. Für die Erfassung der Teilnahmemotivation schätzten die Proband/-innen neun Teilnahmegründe (jeweils 3 Items pro Subkonstrukt) auf einer ungeradzahligen Likert-Skala von 1 = „trifft gar nicht zu“ bis 5 = „trifft völlig zu“ ein. Die interne Konsistenz der Skala „identifizierte Regulation“ betrug α = 0,72, die der „extrinsischen Motivation“ α = 0,49 und die der „intrinsischen Motivation“ α = 0,69.
Emotionale Reaktion
Unter emotionaler Reaktion wird die psychophysische (geistige und körperliche) Bewegtheit verstanden, die durch die Wahrnehmung eines Ereignisses oder einer Situation ausgelöst wird. Die emotionale Reaktion schätzten die Proband/-innen auf einer ungeradzahligen Likert-Skala von 1 (negativer Pol) bis 5 (positiver Pol) mittels eines semantischen Differentials ein. Die Skala bestand aus den 3 Items: „Wie fühlen Sie sich nach der Evaluierung im Dialog? (1) angespannt – entspannt, (2) unzufrieden – zufrieden und (3) schlapp – voll Energie“. Die interne Konsistenz der Skala emotionale Reaktion betrug α = 0,85.
Statistische Auswertung
Um die Evaluierer/-innen und Beschäftigten zu vergleichen, wurde ein „matching sample“ der verbundenen Messwerte der beiden Gruppen erstellt. Dafür wurden die Daten der Evaluiertengruppen (für die sieben Betriebe mit n > 1 evaluierten Beschäftigten) je Betrieb aggregiert. Nachdem in jedem Betrieb zunächst mittels Arbeitsblatt 1 „Festlegen von Arbeitsbereich und Tätigkeiten“ Beschäftigte mit gleichartigen Arbeitsbedingungen zu Tätigkeitsgruppen zusammengefasst wurden, handelt es sich bei den jeweils Evaluierten um homogene Einheiten; sodass tätigkeitsspezifische Varianzen weitestgehend ausgeschlossen werden können.
Für alle Fragestellungen ergab die visuelle Überprüfung durch Q‑Q-Plots, dass die Voraussetzungen für ein parametrisches Verfahren nicht erfüllt waren. Folglich wurde mittels Wilcoxon-Tests für abhängige Stichproben überprüft, ob sich die Mittelwerte der Evaluierer/-innen und Beschäftigten hinsichtlich der im Fokus stehenden abhängigen Variablen unterschieden. Die Berechnung der Effektstärke für die Mittelwertsunterschiede erfolgte bei gleichgroßem n nach Pearson’s r, bei unterschiedlich großem n nach Cohen’s d.
Bei Vorliegen von Unterkonstrukten wurde mittels Friedman-Test untersucht, ob es für die jeweilige Untersuchungsgruppe Unterschiede zwischen den zentralen Tendenzen gab. Nachfolgend wurden Post-hoc-Tests durchgeführt, um zu bestimmen, welche Unterkonstrukte sich signifikant unterschieden.
Um einen Fehler 1. Art beim multiplen Testen entgegenzuwirken, wurde die Bonferroni-Holm-Korrektur angewendet.
Zur Bestimmung der internen Konsistenzen wurde für die vorliegende Stichprobe das jeweilige Cronbach’s α berechnet. Fälle mit >30 % fehlenden Werten wurden ausgeschlossen.
Datenverarbeitung und -analyse erfolgte mittels IBM SPSS Statistik 24.
Ergebnisse
Gebrauchstauglichkeit
Die Gebrauchstauglichkeit wurde sowohl von den Evaluierer/-innen als auch von den Beschäftigten insgesamt, als auch über alle drei Skalen sehr positiv bewertet (Tab. 2). Selbige betrug – für beide Gruppen zusammen – für die Gebrauchstauglichkeit gesamt M = 4,32 (SD = 0,54) und für die Unterkonstrukte Effektivität M = 4,30 (SD = 0,61), Effizienz M = 4,29 (SD = 0,54) und Zufriedenheit M = 4,48 (SD = 0,38). Die Evaluierer/-innen beurteilten die Effektivität, Effizienz und Zufriedenheit signifikant höher (asymptotischer Wilcoxon-Test; p < 0,05) als die Beschäftigten. Die Effektstärke lag für die Effektivität bei r = 0,57 (mittlerer Effekt), für die Effizienz bei r = 0,95 (starker Effekt) und für die Zufriedenheit bei r = 0,69 (mittlerer Effekt).
Tab. 2
Beurteilung der Gebrauchstauglichkeit von Evaluierer/-innen und Beschäftigten
Proband/-innen
Test
Skala
Evaluierer/-innen
Beschäftigte
Wilcoxon-Test
n
MW
SD
n
MW
SD
z
p
Pkor
Gebrauchstauglichkeit (gesamt)
19
4,52
0,47
19
4,12
0,53
−2,87
0,004
0,012
Effektivität
19
4,47
0,60
19
4,12
0,62
−2,25
0,014
0,028
Effizienz
19
4,53
0,49
19
4,05
0,52
−3,13
0,002
0,008
Zufriedenheit
19
4,61
0,44
19
4,34
0,34
−1,98
0,047
0,047
Skalierung: 1 = „stimme nicht zu“ bis 5 = „stimme sehr zu“
MW Mittelwert. SD Standardabweichung. z Z-Wert. p asymptotische Signifikanz. pkorp-Werte nach Bonferroni-Holm-Korrektur
Die Unterkonstrukte der Gebrauchstauglichkeit unterschieden sich weder bei den Evaluierer/-innen (Friedman-Test: χ2[2] = 1,64, p = 0,44, n = 19) noch bei den Beschäftigten (Friedman-Test: χ2[2] = 6,0, p = 0,05, n = 19) signifikant.
Verständlich- und Handhabbarkeit
Sowohl die Verständlichkeit der weiterführenden Informationen zur Evaluierung (M = 1,97; SD = 0,63) als auch die Handhabbarkeit der Schritte der Evaluierung (M = 1,93; SD = 0,74) wurde von beiden Gruppen zusammen als eher leicht eingestuft. Der Wilcoxon-Test ergab für die einzelnen Fragen keine signifikanten Unterschiede zwischen den Gruppen (Tab. 3 und 4).
Tab. 3
Verständlichkeit aus der Sicht von Evaluierer/-innen und Beschäftigten hinsichtlich der weiterführenden Informationen zur Evaluierung
Proband/-innen
Test
Skala
Evaluierer/-innen
Beschäftigte
Wilcoxon-Test
N
MW
SD
n
MW
SD
z
p
Pkor
Weiterführende Informationen zur Evaluierung (gesamt)
17
2,00
0,46
15
1,93
0,74
−0,63
0,529
0,999
Gesprächsführung
17
2,00
0,61
15
1,93
0,80
−1,41
0,157
0,628
Arbeitspsychologischer Hintergrund
18
1,72
0,75
18
1,72
1,19
−0,56
0,577
0,999
Arbeitsrechtlicher Hintergrund
17
2,24
0,83
14
2,32
0,85
−0,32
0,739
0,999
Skalierung: 1 = „sehr leicht“ bis 5 = „sehr schwierig/kompliziert“. Die Berechnung der Skalenmittelwerte erfolgte auf Basis von mind. zwei gültigen Antworten
MW Mittelwert. SD Standardabweichung. z Z-Wert. p asymptotische Signifikanz. pkorp-Werte nach Bonferroni-Holm-Korrektur
Tab. 4
Handhabbarkeit aus der Sicht von Evaluierer/-innen und Beschäftigten hinsichtlich der Schritte der Evaluierung
Proband/-innen
Test
Skala
Evaluierer/-innen
Beschäftigte
Wilcoxon-Test
N
MW
SD
n
MW
SD
z
p
Pkor
Schritte der Evaluierung
(gesamt)
19
1,77
0,57
18
2,09
0,87
−1,09
0,278
0,834
Festlegen von Arbeitsbereichen
17
1,47
0,80
/
/
/
/
/
/
Ermitteln psychischer Belastung
19
1,95
0,71
18
2,06
0,98
−0,31
0,756
0,999
Beurteilen psychischer Belastung
19
1,89
0,74
18
1,97
1,05
−0,24
0,811
0,999
Festlegen von Maßnahmen
18
1,83
1,04
16
2,53
1,06
−1,52
0,129
0,516
Skalierung: 1 = „sehr leicht“ bis 5 = „sehr schwierig/kompliziert“; das „Festlegen von Arbeitsbereichen“ oblag lediglich den Evaluierer/-innen und wurde somit nicht von den Beschäftigten beurteilt. Die Berechnung der Skalenmittelwerte erfolgte auf Basis von mind. zwei gültigen Antworten
MW Mittelwert. SD Standardabweichung. z Z-Wert. p asymptotische Signifikanz. pkorp-Werte nach Bonferroni-Holm-Korrektur
Die Items der „Weiterführenden Informationen zur Evaluierung“ unterschieden sich bei den Evaluierer/-innen nicht untereinander (Friedman-Test: χ2 [2] = 1,78, p = 0,41, n = 17). Bei den Beschäftigten unterschieden sich die Items marginal signifikant (Friedman-Test: χ2[2] = 5,40, p = 0,07, n = 14).
Die Items zu den „Schritten der Evaluierung“ unterschieden sich untereinander weder bei den Evaluierer/-innen (Friedman-Test: χ2[2] = 5,30, p = 0,15, n = 16) noch bei den Beschäftigten (Friedman-Test: χ2[2] = 1,20, p = 0,55, n = 16).
Teilnahmemotivation
Die Teilnahmemotivation betrug für beide Gruppen zusammen M = 3,86 (SD = 0,65) und für die Unterkonstrukte identifizierte Regulation M = 4,26 (SD = 0,74), intrinsische Motivation M = 3,81 (SD = 0,88) und extrinsische Motivation M = 3,51 (SD = 1,07). Wie die Ergebnisse zeigen (Tab. 5), haben die Evaluierer/-innen und die Beschäftigten ihre intrinsische Motivation zur Teilnahme sowie die extrinsische Motivation der Teilnahme an EVALOG nicht signifikant unterschiedlich bewertet. Die identifizierte Regulation wurde von den Evaluierer/-innen signifikant höher als von den Beschäftigten bewertet; asymptotischer Wilcoxon-Test: z = −2,32, p = 0,02, n = 13, Effektstärke nach Cohen mit einem mittleren Effekt: d = 0,59. Nach Berechnung der Bonferroni-Holm-Korrektur lag das Alphaniveau bei p = 0,08.
Tab. 5
Teilnahmemotivation von Evaluierer/-innen und Beschäftigten
Proband/-innen
Test
Skala
Evaluierer/-innen
Beschäftigte
Wilcoxon-Test
N
MW
SD
N
MW
SD
z
p
Pkor
Teilnahmemotivation (gesamt)
18
3,88
0,53
13
3,83
0,77
−1,26
0,209
0,627
Identifizierte Regulation
18
4,44
0,62
13
4,00
0,84
−2,32
0,021
0,084
Intrinsische Motivation
18
3,89
0,76
13
3,69
1,04
−1,18
0,240
0,627
Extrinsische Motivation
18
3,31
1,09
13
3,78
0,94
−1,07
0,286
0,627
Skalierung: 1 = „trifft gar nicht zu“ bis 5 = „trifft völlig zu“
MW Mittelwert. SD Standardabweichung. z Z-Wert. p asymptotische Signifikanz. pkorp-Werte nach Bonferroni-Holm-Korrektur
Bei den Evaluierer/-innen unterschieden sich die Unterkonstrukte der Teilnahmemotivation signifikant untereinander (Friedman-Test: χ2[2] = 13,01, p = 0,02, n = 18). Nachfolgende Post-hoc-Tests (Dunn-Bonferroni-Tests) ergaben, dass die identifizierte Regulation von den Evaluierer/-innen signifikant besser als die extrinsische Motivation (z = 3,25, pangepasst = 0,01, Effektstärke nach Cohen mit starkem Effekt: d = 1,27) sowie auf einem Signifikanzniveau von p = 0,10 besser als die intrinsische Motivation (z = 2,25, pangepasst = 0,07; Effektstärke nach Cohen: d = 0,79) bewertet wurde. Die Beschäftigten wiederum haben die Unterkonstrukte nicht signifikant unterschiedlich bewertet.
Emotionale Reaktion
Die emotionale Reaktion lag für beide Gruppen zusammen bei M = 4,23 (SD = 0,79). Sowohl Evaluierer/-innen als auch Beschäftigte fühlten sich nach dem Evaluierungsdialog weitestgehend „entspannt“, „zufrieden“ und „voller Energie“. Der asymptotische Wilcoxon-Test: z = −1,86, p = 0,06, n = 18, ergab einen marginal signifikanten Unterschied zwischen den Gruppen (Tab. 6).
Tab. 6
Emotionale Reaktion von Evaluierer/-innen und Beschäftigten
MW Mittelwert. SD Standardabweichung. z Z-Wert. p asymptotische Signifikanz
Diskussion
Die Ergebnisse der Studie zeigen, dass sowohl die Evaluierer/-innen als auch die Beschäftigten die Gebrauchstauglichkeit von EVALOG unter den Aspekten der Effektivität, Effizienz und Zufriedenheit sehr positiv bewerten. EVALOG erfüllt damit unter allen drei geforderten Aspekten der Gebrauchstauglichkeit und für unterschiedliche Nutzer/-innengruppen die Gütekriterien der Gebrauchstauglichkeit gem. EN ISO 10075‑3 [10]. Die Tatsache, dass die Gebrauchstauglichkeit von den Evaluierer/-innen signifikant höher bewertet wird als von den Beschäftigten, lässt sich auf den „Mere-exposure-Effekt“ [26] zurückführen. Selbiger beschreibt den Sachverhalt, dass alleine die wiederholte Beschäftigung mit einer Sache (die Vorbereitung zur Durchführung von EVALOG verlangte von den Evaluierer/-innen eine deutlich intensivere Auseinandersetzung mit dem Verfahren als von den Beschäftigten) eine positivere Bewertung zur Folge hat.
Allerdings fällt die Datengrundlage bezüglich der Anzahl von Beschäftigten (N = 46), der Anzahl an Kleinstbetrieben (N = 19) sowie der Anzahl der Innungsgruppen (N = 13) zu gering aus, um die Ergebnisse generalisieren zu können. Zukünftige Untersuchungen sollten daher an größeren Stichproben wiederholt werden.
Die weiterführenden Informationen zur Evaluierung sind sowohl für die Evaluierer/-innen als auch für die Beschäftigten leicht verständlich; die Bearbeitung der einzelnen Schritte der Evaluierung für beide Gruppen leicht handhabbar. Dies spricht für eine gut verständliche, praxisgerechte Aufbereitung der Informationsblätter, als auch für eine gute Handhabbarkeit der Arbeitsblätter.
Die Teilnahmemotivation stellt sich für beide Gruppen auf einem soliden bis hohen Niveau dar. Während sich Evaluierer/-innen und Beschäftigte hinsichtlich ihrer intrinsischen und extrinsischen Motivation der Teilnahme an EVALOG nicht unterscheiden, hat in diesem Zusammenhang für die Evaluierer/-innen insbesondere die Teilnahme als Mittel zum Zweck (identifizierte Regulation) mehr Bedeutung als für die Beschäftigten. Hier schlägt sich die Tatsache nieder, dass die Evaluierungen von den Inhaber/-innen selbst oder von ihnen entsandten, nahestehenden und häufig langgedienten Mitarbeiter/-innen durchgeführt wurden. Selbige identifizieren sich – aufgrund einer höheren Nähe zu dem Betrieb, aber auch bedingt durch die tiefere Auseinandersetzung mit dem Verfahren und dem Wissen um dessen Mehrwert – stärker mit der Zielsetzung der Evaluierung psychischer Belastung. Kritisch erwähnt werden sollte jedoch in diesem Zusammenhang, dass – im Gegensatz zu den durchaus akzeptablen Skalen der „identifizierten Regulation“ und „intrinsischen Motivation“ – die interne Konsistenz der Skala der „extrinsischen Motivation“ relativ gering ausfällt. Diesbezüglich wären möglicherweise Revisionen oder weitere Studien mit größeren Stichproben induziert.
Bezüglich der emotionalen Reaktion sind sowohl Evaluierer/-innen als auch Beschäftigte nach der Evaluierung entspannt, zufrieden und energievoll. Ein erfreuliches Ergebnis – gerade bei einer derartig anspruchsvollen und sensiblen Thematik, wie der Arbeitsplatzevaluierung/Gefährdungsbeurteilung psychischer Belastung. Die Evaluierer/-innen sind in diesem Zusammenhang tendenziell noch etwas entspannter, zufriedener und energievoller als die Beschäftigten.
Fazit für die Praxis
EVALOG (Evaluierung psychischer Belastung im Dialog) ist ein Verfahren zur Evaluierung arbeitsbedingter psychischer Belastung in Kleinstbetrieben mit ein bis maximal 9 Beschäftigten.
Die Ergebnisse der vorliegenden Studie zeigen, dass dem Verfahren sowohl von Evaluierer/-innen als auch von Beschäftigten eine hohe Gebrauchstauglichkeit gem. von EN ISO 10075‑3 (2004) attestiert wird.
Die in dem Wegweiser zu EVALOG enthaltenen weiterführenden Informationen zur Evaluierung (Gesprächsführung, arbeitspsychologischer Hintergrund, arbeitsrechtlicher Hintergrund) sowie die Bearbeitung der einzelnen Schritte der Evaluierung (Festlegen von Arbeitsbereichen, Ermitteln psychischer Belastung, Beurteilen psychischer Belastung, Festlegen von Maßnahmen) sind eingängig und gut verständlich.
Sowohl Evaluierer/-innen als auch Beschäftigte sind motiviert, an dem Evaluierungsdialog mittels EVALOG zu partizipieren und fühlen sich nach dem Dialog positiv gestimmt.
Einhaltung ethischer Richtlinien
Interessenkonflikt
J. Prümper, T. Schneeberg und A. M. Prümper geben an, dass kein Interessenkonflikt besteht.
Für diesen Beitrag wurden von den Autoren keine Studien an Menschen oder Tieren durchgeführt. Für die aufgeführten Studien gelten die jeweils dort angegebenen ethischen Richtlinien.
Open Access Dieser Artikel wird unter der Creative Commons Namensnennung 4.0 International Lizenz veröffentlicht, welche die Nutzung, Vervielfältigung, Bearbeitung, Verbreitung und Wiedergabe in jeglichem Medium und Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle ordnungsgemäß nennen, einen Link zur Creative Commons Lizenz beifügen und angeben, ob Änderungen vorgenommen wurden.
Die in diesem Artikel enthaltenen Bilder und sonstiges Drittmaterial unterliegen ebenfalls der genannten Creative Commons Lizenz, sofern sich aus der Abbildungslegende nichts anderes ergibt. Sofern das betreffende Material nicht unter der genannten Creative Commons Lizenz steht und die betreffende Handlung nicht nach gesetzlichen Vorschriften erlaubt ist, ist für die oben aufgeführten Weiterverwendungen des Materials die Einwilligung des jeweiligen Rechteinhabers einzuholen.
Das Item „Festlegen von Arbeitsbereichen“ wurde nicht in die Berechnung der internen Konsistenz einbezogen, da es lediglich von den Evaluierer/-innen und nicht von den Beschäftigten beurteilt wurde.
EVALOG Beurteilung der Gebrauchstauglichkeit, Verständlich- und Handhabbarkeit, Teilnahmemotivation und emotionalen Reaktion bei der Evaluierung psychischer Belastung aus Sicht von Evaluierenden und Beschäftigten
verfasst von
Jochen Prümper, Prof. Dr. Dipl. Psych. Tom Schneeberg, M.Sc. Alina Marie Prümper, B.Sc.
Akuter Schwindel stellt oft eine diagnostische Herausforderung dar. Wie nützlich dabei eine MRT ist, hat eine Studie aus Finnland untersucht. Immerhin einer von sechs Patienten wurde mit akutem ischämischem Schlaganfall diagnostiziert.
Wenn unter einer medikamentösen Hochdrucktherapie der diastolische Blutdruck in den Keller geht, steigt das Risiko für schwere kardiovaskuläre Ereignisse: Darauf deutet eine Sekundäranalyse der SPRINT-Studie hin.
Beginnen ältere Männer im Pflegeheim eine Antihypertensiva-Therapie, dann ist die Frakturrate in den folgenden 30 Tagen mehr als verdoppelt. Besonders häufig stürzen Demenzkranke und Männer, die erstmals Blutdrucksenker nehmen. Dafür spricht eine Analyse unter US-Veteranen.
