5.3.1 Evaluationsergebnisse

Wichtig

Die Beschreibungen zu den Ergebnissen der Arbeitspakete werden mit der Anfertigung des Abschlussberichts final formuliert. Die Arbeitsergebnisse selbst sind in den Abschnitten "Die MOOCs im Projekt" sowie "Forschungsfragen" zu finden.

Evaluationsergebnisse des pMOOCs "Projektmanagement"[]

Für den pMOOC zum Projektmanagement wurde dabei eine Untersuchung zum Kursbeginn und eine zum Projektende durchgeführt. Diese Evaluationen lieferten folgende Ergebnisse:

Die Teilnehmenden verteilen sich gleichmäßig über beide Geschlechter und decken eine große Breite an Geburtsjahrgängen ab, die nicht nur deutlich breiter streut als unter klassisch Studierenden, sondern auch im Mittel ein wesentlich höheres Lebensalter aufweist. Auch wenn der Großteil der Teilnehmenden Deutschland als aktuellen Wohnsitz angibt, waren auch etliche von ihnen in anderen Ländern wohnhaft.
Bei der Untersuchung von Bildungsstand und Tätigkeit zeigt sich eine sehr hohe Zielgruppenerreichung: Mehr als 60% der Teilnehmenden hat mindestens einen akademischen Abschluss vorzuweisen, der Großteil der restlichen Personen eine abgeschlossene Berufsausbildung. Nahezu alle von Ihnen gehen einer dauerhaften Beschäftigung nach, nur jeder achte ordnet sich der Zielgruppe „Studierende“ – für ein akademisches und kostenfreies Weiterbildungsangebot einer Hochschule ist dies ein beachtenswertes Ergebnis.
Bzgl. der Einschreibung in den Kurs zeigt sich dabei, dass das breite Informationskonzept wirkungsvoll ist: Sowohl die Kanäle in den sozialen Medien, insbesondere Twitter, als auch Online-Werbung, Newsletter von Bildungsträgern und die Google-Suche als auch klassische Weiterempfehlungen und bereits laufende berufsbegleitende Studiengänge sind die wesentlichen Faktoren, die zur Einschreibung führten.
Die Vorerfahrungen mit digitalen Lernkonzepten sind dabei ebenso unterschiedlich wie die inhaltlichen Vorkenntnisse, die jeweils die gesamte Bandbreite des Möglichen abbilden.
Es hat sich gezeigt, dass die Teilnehmenden in hohem Maße intrinsisch zur einer Teilnahme motiviert sind, mehr als 50% äußern privates Interesse am Thema, sieben von acht erhoffen sich konkrete berufliche Hilfestellungen. Das Interesse an Zertifikaten fällt mit knapp 40% der Teilnehmenden dagegen deutlich geringer aus.
Während das Videomaterial, das weiterführende Material und die Lernergebnisüberprüfungen für nahezu alle Teilnehmenden von hoher Relevanz sind, sind Diskussions- und Projektarbeit nur für grob die Hälfte der Eingeschriebenen wichtig. Auch die Zufriedenheit mit Material und Medien ist äußerst hoch: Sowohl der Medienwechsel wie auch die Videoqualität, die genutzte Plattform und die eingebauten Fragen werden von bis zu 96% der Teilnehmenden positiv erwähnt.
Die Gesamtzufriedenheit mit dem Kurs ist sehr hoch. So sind 95% mit dem Kursaufbau und 93% mit der Organisation sowie 86% mit dem nötigen Zeitaufwand zufrieden oder sehr zufrieden. Mit der Betreuung waren 77% zufrieden, weitere 17% gaben an, diese nicht einschätzen zu können. Außerdem entsprach der Lernfortschritt für mehr als 80% der Teilnehmenden mindestens den eigenen Erwartungen und wurde teilweise deutlich übertroffen.
Auch die Einschätzungen zu wissenschaftlichem Niveau, der vom Kurs ausgehenden Lernmotivation und die Materialqualität werden sehr breit gelobt. Das Feedback zu den direkten Benachrichtigungen und den Austausch in den Foren fällt passend zu den geäußerten Erwartungen aus: Nicht alle empfinden diese Stufe der Aktivität als sinnvoll, positive Gesamturteile überwiegen aber auch hier deutlich.
Einen hohen Motivationsfaktor stellte außerdem das potentielle Zertifikat des Kurses (wenn auch ohne Anrechnungsmöglichkeit) dar. Ebenso wurden die Badges als Motivationsfaktor von der deutlichen Mehrzahl der Teilnehmenden genannt.
Für die detaillierteren Auswertung, auch zu Erwartungshaltung, Kompetenzerwerb und Wahrnehmung des Kurses und den einzelnen im Freitext genannten Verbesserungsvorschlägen und die Auswertung der Zahlungsbereitschaft für einen solchen Kurs sei an dieser Stelle auf die noch zu veröffentlichenden Evaluationsergebnisse verwiesen.

Zahlen und Fakten[]

Insgesamt hatten sich am ersten Tag des offiziellen Kursdurchlaufs des pMOOCs zum Projektmanagement im April 2015 390 Teilnehmende eingeschrieben, bis zum Ende im Juni hat sich die Zahl auf 1.020 erhöht, zum Ende des Berichtszeitraums auf 1.337. Diese hatte die Möglichkeit insgesamt sechs thematische Kapitel zu bearbeiten, 38 Überprüfungsfragen zu nutzen, ein großes individuelles Projekt zu untersuchen und drei Badges sowie ein Zertifikat zu erwerben. Bis Ende der offiziellen Laufzeit haben 127 der 1.020 Teilnehmenden diese Möglichkeit genutzt, nachdem sie vorher die entsprechenden Kompetenzen im Kurs nachgewiesen hatten. Diese Quote (12,5% Anteil) liegt deutlich über den in offenen und kostenfreien, oftmals intrinsisch und nicht abschlussorientiert besuchten Kursen .

Evaluationsergebnisse des pMOOCs "Netzwerksicherheit"[]

Im pMOOC zur Netzwerksicherheit kam es 2016 zu folgenden wesentlichen Evaluationsergebnissen:

Die Teilnehmenden sind zu deutlich mehr als 90% männlich und decken eine große Breite an Geburtsjahrgängen ab, die nicht nur deutlich breiter streut als unter klassisch Studierenden, sondern auch im Mittel ein wesentlich höheres Lebensalter ausweist. Auch wenn der Großteil der Teilnehmenden Deutschland als aktuellen Wohnsitz angibt, waren auch etliche von ihnen in anderen Ländern wohnhaft. Die demographischen Faktoren haben sich dabei über die Kurslaufzeit kaum verändert.
Bei der Untersuchung von Bildungsstand und Tätigkeit zeigt sich eine sehr hohe Zielgruppenerreichung: Nur rund ein Viertel der Teilnehmenden hat mindestens einen akademischen Abschluss vorzuweisen, der Großteil verortet sich in der Berufspraxis, wobei eine relative Mehrheit angibt, in der IKT-Branche zu arbeiten. Nahezu alle von Ihnen gehen einer dauerhaften Beschäftigung nach, nur jeder kostenfreies Weiterbildungsangebot einer Hochschule ist dies ein beachtenswertes Ergebnis.
Bzgl. der Aufmerksamkeit für das Angebot zeigt sich, dass neben den hochschuleigenen Kanälen insbesondere die unabhängige Empfehlung eines Fachportals Teilnehmende generiert hat, während Bildungsportale und persönliche Empfehlungen nur eine untergeordnete Rolle spielen. Der pMOOC wurde oftmals ohne Vergleich mit anderen Angeboten oder Anbietern ausgewählt.
Sehr interessant ist auch die angegebene Motivation der Teilnehmenden: Neben einem hohen privaten Interesse äußern 69%, dass sie sich Hilfe für die Berufspraxis erhoffen. Mehr als jede/r Vierte gab vorab außerdem an, Zertifikat oder Credit Points durch die Teilnahme erwerben zu wollen. Für ein knappes Drittel war außerdem das neuartige Kursformat Motivationsfaktor zur Teilnahme.
Die Selbsteinschätzung der Teilnehmenden zeigt eine hohe Vorerfahrung mit dem Thema bei zugleich bestehendem Bewusstsein für die Weiterentwicklung dieser Kompetenzen im privaten wie im beruflichen Bereich.
Die Teilnehmenden haben bzgl. der eigenen Aktivität sehr unterschiedliche Erwartungen an ihre Teilnahme, einen sich aber in der Zuneigung zu Video-, Quiz- und anderem Material sowie insbesondere den Praxisprojekten, aber auch in der Abneigung zum Austausch in sozialen Medien.
Die Liste der Erwartungen der Teilnehmenden verweist auf eine Vielzahl intrinsischer Motive. Neben Erwerb und Auffrischung von Kenntnissen für Berufspraxis und Privatleben nennen auch einzelne Personen gezielt die Vorbereitung auf ein Studium als ihr Ziel der Teilnahme.
Nach dem Kursdurchlauf zeigt sich eine hohe Gesamtzufriedenheit der Teilnehmenden mit dem Angebot. Besonders zu nennen sind dabei u.a. der Kursaufbau (91% Zufriedenheit), die Kursorganisation (94%), aber auch wissenschaftliches Niveau und Kursbetreuung, die nur von einer bzw. zwei Personen negativ bewertet werden.
Bzgl. der Motivation waren insbes. die neuen Kursinhalte, die Badges und die Möglichkeit des Zertifikatsabschluss relevante Faktoren, aber Experteninterviews und inhaltliche Nachrichten sowie der Austausch mit anderen Teilnehmenden wirkten auf die große Mehrheit der Probandinnen und Probanden motivierend.
Zu den technischen Möglichkeiten befragt, äußern sich die Teilnehmenden insbes. zu Videos, Fachinhalten und interaktiven Quizzes sowie den Praxisaufgaben positiv, während Experteninterviews und Foren von rund einem Viertel als nicht hilfreich bewerten werden und eine ähnlich große Gruppe angibt, diese Möglichkeiten gar nicht genutzt zu haben.
Bei mehr als 90% der Probandinnen und Probanden hat sich zum Kursende ein Lernfortschritt ergeben, der mindestens den vorherigen Erwartungen entsprach und auch der angesetzte Zeitaufwand entsprach recht genau den vorherigen Planungen.
Die Teilnehmenden geben zum Abschluss an, sowohl für das Privatleben wie auch für den Beruf inhaltliche Lehren aus dem Kurs gezogen zu haben und zugleich Motivation für eine weitere Beschäftigung mit dem Thema und dem Kursformat gefunden zu haben. Einzelne Personen sehen diesen pMOOC außerdem als Einstieg in diese berufliche Richtung.
Die in einem Freitextfeld angegebene Begeisterung am Kurs zeigt dabei eine große Bandbreite auf, die sich insbes. auf die Medien und Tools im Kurs, aber auch die Praxisaufgaben und die Motivationseffekte sowie die Abschlussmöglichkeiten beziehen. Besonders erwähnenswert sind auch die genannte Überlegenheit des pMOOCs zu anderen offenen Formaten und die Bedeutung eines solchen Kurses zur Bildung auf Hochschulniveau ohne Einschreibung in ein Studium.
Die überwiegende Mehrheit der Teilnehmenden gibt an, gar keine Probleme mit dem Kurs gehabt zu haben. Die genannten Schwierigkeiten sind oftmals inhaltlicher (Lösung einzelner Aufgaben) oder technischer (Nutzung bestimmter Tools auf eigenen Geräten) Natur. Außerdem werden Hinweise zur weiteren Verbesserung der Usability und der Videoumsetzung gegeben. Erwartungsgemäß geben verschiedene Personen außerdem an, nicht alle Inhalte benötigt zu haben.
Die Probandinnen und Probanden äußern eine lange Liste mit Wünschen für Themen weiterer Kurse und geben außerdem an, einen noch stärkeren Praxisanteil in einem künftigen pMOOC zu erhoffen. Fast alle der Teilnehmenden können sich außerdem vorstellen, weitere pMOOCs zu besuchen.
Zur Monetarisierung befragt äußern sich die Probandinnen und Probanden unterschiedlich. Neben vielen zweistelligen Summen werden aber auch höhere Werte bis € 500,- für einen solchen Kurs genannt.
Rund jede/r Dritte äußert außerdem Interesse an der Anrechenbarkeit der Kursteilnahme. Aufgrund anderer Termine haben aber nicht alle diese Möglichkeit wahrgenommen. Zudem zeigt sich eine in diesem Bereich noch große Unsicherheiten.