5.3.1 Evaluationsergebnisse

Wichtig

Die Beschreibungen zu den Ergebnissen der Arbeitspakete werden mit der Anfertigung des Abschlussberichts final formuliert. Die Arbeitsergebnisse selbst sind in den Abschnitten "Die MOOCs im Projekt" sowie "Forschungsfragen" zu finden.

Evaluationsergebnisse des pMOOCs "Projektmanagement"[]

Für den pMOOC zum Projektmanagement wurde dabei eine Untersuchung zum Kursbeginn und eine zum Projektende durchgeführt. Diese Evaluationen lieferten folgende Ergebnisse:

Die Teilnehmenden verteilen sich gleichmäßig über beide Geschlechter und decken eine große Breite an Geburtsjahrgängen ab, die nicht nur deutlich breiter streut als unter klassisch Studierenden, sondern auch im Mittel ein wesentlich höheres Lebensalter aufweist. Auch wenn der Großteil der Teilnehmenden Deutschland als aktuellen Wohnsitz angibt, waren auch etliche von ihnen in anderen Ländern wohnhaft.
Bei der Untersuchung von Bildungsstand und Tätigkeit zeigt sich eine sehr hohe Zielgruppenerreichung: Mehr als 60% der Teilnehmenden hat mindestens einen akademischen Abschluss vorzuweisen, der Großteil der restlichen Personen eine abgeschlossene Berufsausbildung. Nahezu alle von Ihnen gehen einer dauerhaften Beschäftigung nach, nur jeder achte ordnet sich der Zielgruppe „Studierende“ – für ein akademisches und kostenfreies Weiterbildungsangebot einer Hochschule ist dies ein beachtenswertes Ergebnis.
Bzgl. der Einschreibung in den Kurs zeigt sich dabei, dass das breite Informationskonzept wirkungsvoll ist: Sowohl die Kanäle in den sozialen Medien, insbesondere Twitter, als auch Online-Werbung, Newsletter von Bildungsträgern und die Google-Suche als auch klassische Weiterempfehlungen und bereits laufende berufsbegleitende Studiengänge sind die wesentlichen Faktoren, die zur Einschreibung führten.
Die Vorerfahrungen mit digitalen Lernkonzepten sind dabei ebenso unterschiedlich wie die inhaltlichen Vorkenntnisse, die jeweils die gesamte Bandbreite des Möglichen abbilden.
Es hat sich gezeigt, dass die Teilnehmenden in hohem Maße intrinsisch zur einer Teilnahme motiviert sind, mehr als 50% äußern privates Interesse am Thema, sieben von acht erhoffen sich konkrete berufliche Hilfestellungen. Das Interesse an Zertifikaten fällt mit knapp 40% der Teilnehmenden dagegen deutlich geringer aus.
Während das Videomaterial, das weiterführende Material und die Lernergebnisüberprüfungen für nahezu alle Teilnehmenden von hoher Relevanz sind, sind Diskussions- und Projektarbeit nur für grob die Hälfte der Eingeschriebenen wichtig. Auch die Zufriedenheit mit Material und Medien ist äußerst hoch: Sowohl der Medienwechsel wie auch die Videoqualität, die genutzte Plattform und die eingebauten Fragen werden von bis zu 96% der Teilnehmenden positiv erwähnt.
Die Gesamtzufriedenheit mit dem Kurs ist sehr hoch. So sind 95% mit dem Kursaufbau und 93% mit der Organisation sowie 86% mit dem nötigen Zeitaufwand zufrieden oder sehr zufrieden. Mit der Betreuung waren 77% zufrieden, weitere 17% gaben an, diese nicht einschätzen zu können. Außerdem entsprach der Lernfortschritt für mehr als 80% der Teilnehmenden mindestens den eigenen Erwartungen und wurde teilweise deutlich übertroffen.
Auch die Einschätzungen zu wissenschaftlichem Niveau, der vom Kurs ausgehenden Lernmotivation und die Materialqualität werden sehr breit gelobt. Das Feedback zu den direkten Benachrichtigungen und den Austausch in den Foren fällt passend zu den geäußerten Erwartungen aus: Nicht alle empfinden diese Stufe der Aktivität als sinnvoll, positive Gesamturteile überwiegen aber auch hier deutlich.
Einen hohen Motivationsfaktor stellte außerdem das potentielle Zertifikat des Kurses (wenn auch ohne Anrechnungsmöglichkeit) dar. Ebenso wurden die Badges als Motivationsfaktor von der deutlichen Mehrzahl der Teilnehmenden genannt.
Für die detaillierteren Auswertung, auch zu Erwartungshaltung, Kompetenzerwerb und Wahrnehmung des Kurses und den einzelnen im Freitext genannten Verbesserungsvorschlägen und die Auswertung der Zahlungsbereitschaft für einen solchen Kurs sei an dieser Stelle auf die noch zu veröffentlichenden Evaluationsergebnisse verwiesen.

Zahlen und Fakten (Projektmanagement)[]

Insgesamt hatten sich am ersten Tag des offiziellen Kursdurchlaufs des pMOOCs zum Projektmanagement im April 2015 390 Teilnehmende eingeschrieben, bis zum Ende im Juni hat sich die Zahl auf 1.020 erhöht, zum Ende des Berichtszeitraums auf 1.337. Diese hatte die Möglichkeit insgesamt sechs thematische Kapitel zu bearbeiten, 38 Überprüfungsfragen zu nutzen, ein großes individuelles Projekt zu untersuchen und drei Badges sowie ein Zertifikat zu erwerben. Bis Ende der offiziellen Laufzeit haben 127 der 1.020 Teilnehmenden diese Möglichkeit genutzt, nachdem sie vorher die entsprechenden Kompetenzen im Kurs nachgewiesen hatten. Diese Quote (12,5% Anteil) liegt deutlich über den in offenen und kostenfreien, oftmals intrinsisch und nicht abschlussorientiert besuchten Kursen .

Evaluationsergebnisse des pMOOCs "Netzwerksicherheit"[]

Im pMOOC zur Netzwerksicherheit kam es 2016 zu folgenden wesentlichen Evaluationsergebnissen:

Die Teilnehmenden sind zu deutlich mehr als 90% männlich und decken eine große Breite an Geburtsjahrgängen ab, die nicht nur deutlich breiter streut als unter klassisch Studierenden, sondern auch im Mittel ein wesentlich höheres Lebensalter ausweist. Auch wenn der Großteil der Teilnehmenden Deutschland als aktuellen Wohnsitz angibt, waren auch etliche von ihnen in anderen Ländern wohnhaft. Die demographischen Faktoren haben sich dabei über die Kurslaufzeit kaum verändert.
Bei der Untersuchung von Bildungsstand und Tätigkeit zeigt sich eine sehr hohe Zielgruppenerreichung: Nur rund ein Viertel der Teilnehmenden hat mindestens einen akademischen Abschluss vorzuweisen, der Großteil verortet sich in der Berufspraxis, wobei eine relative Mehrheit angibt, in der IKT-Branche zu arbeiten. Nahezu alle von Ihnen gehen einer dauerhaften Beschäftigung nach, nur jeder kostenfreies Weiterbildungsangebot einer Hochschule ist dies ein beachtenswertes Ergebnis.
Bzgl. der Aufmerksamkeit für das Angebot zeigt sich, dass neben den hochschuleigenen Kanälen insbesondere die unabhängige Empfehlung eines Fachportals Teilnehmende generiert hat, während Bildungsportale und persönliche Empfehlungen nur eine untergeordnete Rolle spielen. Der pMOOC wurde oftmals ohne Vergleich mit anderen Angeboten oder Anbietern ausgewählt.
Sehr interessant ist auch die angegebene Motivation der Teilnehmenden: Neben einem hohen privaten Interesse äußern 69%, dass sie sich Hilfe für die Berufspraxis erhoffen. Mehr als jede/r Vierte gab vorab außerdem an, Zertifikat oder Credit Points durch die Teilnahme erwerben zu wollen. Für ein knappes Drittel war außerdem das neuartige Kursformat Motivationsfaktor zur Teilnahme.
Die Selbsteinschätzung der Teilnehmenden zeigt eine hohe Vorerfahrung mit dem Thema bei zugleich bestehendem Bewusstsein für die Weiterentwicklung dieser Kompetenzen im privaten wie im beruflichen Bereich.
Die Teilnehmenden haben bzgl. der eigenen Aktivität sehr unterschiedliche Erwartungen an ihre Teilnahme, einen sich aber in der Zuneigung zu Video-, Quiz- und anderem Material sowie insbesondere den Praxisprojekten, aber auch in der Abneigung zum Austausch in sozialen Medien.
Die Liste der Erwartungen der Teilnehmenden verweist auf eine Vielzahl intrinsischer Motive. Neben Erwerb und Auffrischung von Kenntnissen für Berufspraxis und Privatleben nennen auch einzelne Personen gezielt die Vorbereitung auf ein Studium als ihr Ziel der Teilnahme.
Nach dem Kursdurchlauf zeigt sich eine hohe Gesamtzufriedenheit der Teilnehmenden mit dem Angebot. Besonders zu nennen sind dabei u.a. der Kursaufbau (91% Zufriedenheit), die Kursorganisation (94%), aber auch wissenschaftliches Niveau und Kursbetreuung, die nur von einer bzw. zwei Personen negativ bewertet werden.
Bzgl. der Motivation waren insbes. die neuen Kursinhalte, die Badges und die Möglichkeit des Zertifikatsabschluss relevante Faktoren, aber Experteninterviews und inhaltliche Nachrichten sowie der Austausch mit anderen Teilnehmenden wirkten auf die große Mehrheit der Probandinnen und Probanden motivierend.
Zu den technischen Möglichkeiten befragt, äußern sich die Teilnehmenden insbes. zu Videos, Fachinhalten und interaktiven Quizzes sowie den Praxisaufgaben positiv, während Experteninterviews und Foren von rund einem Viertel als nicht hilfreich bewerten werden und eine ähnlich große Gruppe angibt, diese Möglichkeiten gar nicht genutzt zu haben.
Bei mehr als 90% der Probandinnen und Probanden hat sich zum Kursende ein Lernfortschritt ergeben, der mindestens den vorherigen Erwartungen entsprach und auch der angesetzte Zeitaufwand entsprach recht genau den vorherigen Planungen.
Die Teilnehmenden geben zum Abschluss an, sowohl für das Privatleben wie auch für den Beruf inhaltliche Lehren aus dem Kurs gezogen zu haben und zugleich Motivation für eine weitere Beschäftigung mit dem Thema und dem Kursformat gefunden zu haben. Einzelne Personen sehen diesen pMOOC außerdem als Einstieg in diese berufliche Richtung.
Die in einem Freitextfeld angegebene Begeisterung am Kurs zeigt dabei eine große Bandbreite auf, die sich insbes. auf die Medien und Tools im Kurs, aber auch die Praxisaufgaben und die Motivationseffekte sowie die Abschlussmöglichkeiten beziehen. Besonders erwähnenswert sind auch die genannte Überlegenheit des pMOOCs zu anderen offenen Formaten und die Bedeutung eines solchen Kurses zur Bildung auf Hochschulniveau ohne Einschreibung in ein Studium.
Die überwiegende Mehrheit der Teilnehmenden gibt an, gar keine Probleme mit dem Kurs gehabt zu haben. Die genannten Schwierigkeiten sind oftmals inhaltlicher (Lösung einzelner Aufgaben) oder technischer (Nutzung bestimmter Tools auf eigenen Geräten) Natur. Außerdem werden Hinweise zur weiteren Verbesserung der Usability und der Videoumsetzung gegeben. Erwartungsgemäß geben verschiedene Personen außerdem an, nicht alle Inhalte benötigt zu haben.
Die Probandinnen und Probanden äußern eine lange Liste mit Wünschen für Themen weiterer Kurse und geben außerdem an, einen noch stärkeren Praxisanteil in einem künftigen pMOOC zu erhoffen. Fast alle der Teilnehmenden können sich außerdem vorstellen, weitere pMOOCs zu besuchen.
Zur Monetarisierung befragt äußern sich die Probandinnen und Probanden unterschiedlich. Neben vielen zweistelligen Summen werden aber auch höhere Werte bis € 500,- für einen solchen Kurs genannt.
Rund jede/r Dritte äußert außerdem Interesse an der Anrechenbarkeit der Kursteilnahme. Aufgrund anderer Termine haben aber nicht alle diese Möglichkeit wahrgenommen. Zudem zeigt sich eine in diesem Bereich noch große Unsicherheiten.

Zahlen und Fakten (Netzwerksicherheit)[]

Der pMOOC zur Netzwerksicherheit hatte am ersten Tag der Erprobung 609 Teilnehmende, am letzten 4.099 und zum Jahresende 2016 mehr als 4.400. An der erprobten Klausur haben 20 Personen teilgenommen, wobei der Notendurchschnitt nur minimal von dem der parallel dieselbe Klausur schreibenden Masterstudenten abweicht. Weitere 83 Personen haben innerhalb der Kurslaufzeit das Teilnahmezertifikat heruntergeladen, wobei sich auch hier die Erfahrung des ersten pMOOCs wiederholt: Nur etwa jede/r zweite Absolvent/in nutzt auch den Download.

Evaluationsergebnisse des pMOOCs "Mathe endlich verstehen"[]

Im pMOOC zur Mathematik kam es 2016 zu folgenden wesentlichen Evaluationsergebnissen:

Die Teilnehmenden verteilen sich ungleichmäßig über beide Geschlechter, eine deutliche Mehrheit gibt an, männlich zu sein, und decken eine große Breite an Geburtsjahrgängen ab, die nicht nur deutlich breiter streut als unter klassisch Studierenden, sondern auch im Mittel ein wesentlich höheres Lebensalter ausweist. Auch wenn der Großteil der Teilnehmenden Deutschland als aktuellen Wohnsitz angibt, waren auch einzelne von ihnen in anderen Ländern verortet.
Die Anzahl der Akademikerinnen und Akademiker macht nur rund 20% der Teilnehmenden aus, während u.a. auch 7,5% Arbeitssuchende und einzelne Schüler und Rentner erreicht wurden. Erwartungskonform ist die Anzahl der Studierenden in diesem Kurs recht hoch, da sich das Thema besonders für den Einstieg ein Studium eignet. Erstaunlicherweise nimmt Anteil dieser zum Ende des Kurses deutlich ab.
Anders als im pMOOC zur Netzwerksicherheit ist die Aufmerksamkeit für diesen Kurs insbesondere über den Dozenten und persönliche Weiterempfehlungen sowie YouTube geweckt worden. Eine große Gruppe der Probandinnen und Probanden gibt an, über Vorkenntnisse zum Inhalt zu verfügen.
Die Motivation zur Kursteilnahme ist zur deutlichen Mehrheit privat geweckt und basiert auch auf der Vorerfahrung mit anderen offenen Kursen sowie der Bekanntheit des Dozenten. Nach vergleichbaren Angeboten anderer Anbieter haben nur wenige der Teilnehmenden gesucht.
Die Probandinnen und Probanden gehen schon vor Beginn des Kurses von einer unterdurchschnittlichen eigenen Aktivität, insbesondere bzgl. der Interaktivität mit anderen, aus, während nahezu alle planen, Videos und Quizzes zu bearbeiten.
Die Erwartungen der Teilnehmenden beinhalten dabei erfreulich oft die Vorbereitung auf ein Präsenz- oder Fernstudium und belegen damit die Zielgruppenerreichung. Außerdem oft genannt werden intrinsische Faktoren wie die Auffrischung und Erweiterung eigener Kenntnisse und Kompetenzen.
Nach der Zielerreichung befragt, geben die Probandinnen und Probanden nach dem Kurs mehrheitlich an, ihre Ziele erreicht zu haben, sich zeitgleich neben zusätzlichen Aufgaben vor allem eine längere Kurslaufzeit zu wünschen (rund 40%).
Die Mehrheit der Teilnehmenden gibt außerdem an, dass sich das Lernen in pMOOCs deutlich oder sehr deutlich von anderen Formaten unterscheidet. Zugleich äußern sie sehr hohe Zufriedenheiten von über 90% mit Kursaufbau und -organisation sowie Betreuung und wissenschaftlichem Niveau.
Während die Kursinhalte einen hohen Motivationsfaktor für die Probandinnen und Probanden hatten, kommen andere Elemente der pMOOCs sehr unterschiedlich an. So fühlen sich knapp 30% durch die Badges überhaupt nicht, über 40% dagegen sehr motiviert. Etwas abgeschwächt zeigt sich dieses Bild auch bei den Zertifikaten.
Nahezu alle technischen Bestandteile des Kurses und der Plattform werden außerordentlich positiv bewertet, während die Interaktionsmöglichkeiten im Kurs und Navigation bei 10 bis 20% auf negative Kritik stoßen.
Beim Lernfortschritt zeigt sich ein zum Kritik an der Kurslaufzeit passendes Bild: Jede/r Dritte gibt an, weniger als erwartet geschafft zu haben und führt dies insbesondere auf die Kürze dieses pMOOCs zurück.
Begeisterungsfaktoren in diesem Kurs waren neben den Medien und den verwendeten Beispielen insbesondere der den Kurs durchführende Dozent.
Die wenigen benannten Probleme beziehen sich auf einzelne technische Schwierigkeiten, die für viele Probandinnen und Probanden zunächst ungewohnte Navigation im Kurs sowie die Planbarkeit der Kursteilnahme in Bezug auf einen parallelen Studienbeginn. Nahezu alle Rückmeldungen äußern die Bereitschaft zu weiteren Kursteilnahmen.
Zur Monetarisierung befragt äußern sich die Probandinnen und Probanden unterschiedlich. Neben vielen zweistelligen und niedrigen dreistelligen Summen werden aber auch höhere Werte bis € 500,- für einen solchen Kurs genannt.

Zahlen und Fakten (Mathe endlich verstehen)[]

Der pMOOC zur Mathematik hatte am ersten Kurstag 584 Einschreibungen, am letzten 884 und zum Jahresende 2016 mehr als 1.500. Innerhalb der Kurslaufzeit haben nur 13 Personen von der Möglichkeit des Zertifikatsdownloads nach erfolgreichem Absolvieren des Kurses Gebrauch gemacht. Die angebotene Klausur wurde von niemandem wahrgenommen, der einzige angemeldete Teilnehmer hat kurzfristig abgesagt.