Community-legitimated e-testing

Basis for successful, sustainable e-learning

http://www.pubzone.org/dblp/conf/csedu/NestleN09

Der Ist-Zustand

Die Gewichtungen von e-learning und e-testing entsprechen nicht der Bedeutung der beiden Vorgänge für optimale Lernorganisation. Google findet ca. 200 mal so viele Beiträge für e-learning wie für e-testing. Daraus kann man schließen, dass das Gewicht und die Art der Bildungsziele weniger Diskussion auslösen als die Formen der Lernorganisation. Normung im Bereich von Bildungszielen wird vielfach als 'teaching to the test' verteufelt.

Die üblichen Formen der Lernorganisation stützen sich überwiegend auf ein Modell des schulischen Lernens, bei dem im Sekundarbereich Unterricht und Messung des Unterrichtserfolgs ohne nennenswerte Standardisierung in handwerklicher Einzelarbeit für Gruppen von 10 bis 50 Lernende organisiert werden. Die gelernten Inhalte und die Bewertung dieses Lernens unterliegen daher bei Betrachtung aus der Sicht der Lernenden dem Zufall, und sie erscheinen willkürlich – und sind es auch, wie vielfach nachgewiesen worden ist.

In vielen Ländern wie zum Beispiel in Deutschland werden auf Grund dieser willkürlichen Bewertung Berechtigungen wie zum Beispiel für den Hochschulzugang verliehen oder verweigert. Den Schulen ist hierfür ein Monopol verliehen worden, das fast ohne Ausnahme durchgesetzt wird. Von Chancengleichheit und demokratischen Lernmöglichkeiten kann da keine Rede sein. Gerade in Deutschland wird für den Hochschulzugang eine Mindestlernzeit, nicht jedoch ein Minimalkanon an Bildung gefordert. In anderen Ländern wie zum Beispiel in Brasilien wird dagegen der Hochschulzugang durch Prüfungen an den einzelnen Hochschulen, den Vestibularexamina, geregelt. Dabei wird nicht gefragt, wie der einzelne Kandidat seine Kenntnisse erworben hat. Das ist insgesamt gerechter, auch wenn manche Privatschulen besser auf das Vestibularexamen vorbereiten als manche Schulen der öffentlichen Hand; aber auch die Vorbereitung in selbstorganisiertem Lernen ist erfolgreich möglich.

Die Bedeutung von Normen

In der ersten Hälfte des letzten Jahrhunderts sind für viele Bereiche der industriellen Produktion Normen entwickelt worden (1917 DIN Normen, 1926 ISA Normen, 1947 ISO Normen der UN). Die Normung nach ISO erfolgt in einem neunschrittigenVerfahren. Die Normen beziehen sich nicht nur auf Werkstoffeigenschaften oder Schraubengewinde, sondern beispielsweise auch auf abstraktere Vorgänge wie die Kennzeichnung von Verlagserzeugnissen nach

ISO 2108 International standard book numbering (ISBN),

die Gestaltung von Dokumenten nach

ISO 2145 Numbering of divisions and subdivisions in written documents oder in

ISO 2788 auf Dokumentationsprobleme (Richtlinien für die Erstellung und Entwicklung einsprachiger Thesauren), sowie auf eine Vielzahl von Prüfungs- und Zertifizierungssystemen.

Normen fördern die intersubjektive Vergleichbarkeit im Bereich der produzierenden Wirtschaft; zum Teil ermöglichen sie diese erst. Normen sind zugleich die Grundlage für den Austausch von Wirtschaftsgütern über größere Entfernungen. Dem Kunden können definierte Eigenschaften von Waren zugesichert werden. Das gilt in gleicher Weise, wenn es sich nur um Schuhe handelt, oder bei komplizierten Werzeugmaschinen. Der Kunde hat zudem in der Regel die Wahl zwischen verschiedenen Produkten und ist nicht gezwungen, das in handwerklicher Einzelarbeit gefertigte Objekt abzunehmen: Beim Schuhkauf von industriell hergestellten Schuhen können diese vor dem Kauf angesehen und anprobiert werden. Die Auswahl ist dabei riesengroß.

Im Bereich des Bildungswesens sind Normen noch die große Ausnahme. Ansätze zur Normung liefert beispielsweise in USA das NCTM (The National Council of Teachers of Mathematics is a public voice of mathematics education, providing vision, leadership, and professional development to support teachers in ensuring mathematics learning of the highest quality for all students.) Neben verbalen Formulierungen bietet das NCTM auch Beispiele für e-examples (http://standards.nctm.org/document/eexamples/chap6/6.1/index.htm#applet). NCTM orientiert sich hauptsächlich an den Bedürfnissen von Lehrern, nicht an denen von Schülern. Die Standardisierung der Mathematikkenntnisse wird von NCTM wenig gefördert. Dagegen sind Prüfungen wie der TEOFL in USA oder ESOL (Universität Cambridge, UK) auf den quantifizierten und zertifizierten Nachweis von Englischkenntnissen spezialisiert.

Wo es keine überprüfbaren Standards gibt, ist auch keine objektive Bewertung von Lernleistungen und noch weniger von Lernergebnissen leistbar. Dann gibt es für den Lernenden selbst kaum eine Chance, das eigene Lernen und seinen Erfolg zu messen. Selbstorganisiertes Lernen ist unter diesen Umständen fast unmöglich. Andererseits ist selbstorganisiertes Lernen häufig effektiver als schulisches Lernen. Letzteres zeitigt insbesondere nur geringe Nachhaltigkeit:

In Ländern wie Deutschland, in denen die schulische Abschlussprüfung das Recht auf den Hochschulzugang verleiht, müssen derzeit in vielen Studienfächern von den Hochschulen sogenannte Vorsemester eingerichtet werden, in denen die fehlenden elementaren Schulkenntnisse soweit nachgeholt werden konnten, dass eine rudimentäre Studierfähigkeit erreicht wird. Die Schule selbst hat diese Grundkenntnisse nicht nachhaltig vermittelt. Bei deutschen Schulabgängern, die von der Schule unmittelbar in einen Beruf oder eine Lehre übergehen, veranstalten die Industrie-und Handwerkskammern Zugangsprüfungen. Auch auf diesem Niveau zeigen sich erhebliche Defizite. Die Zugangsprüfungen sind nicht landeseinheitlich und die Aufgaben nicht öffentlich

So ergibt sich die paradoxe Situation, dass in der produzierenden Wirtschaft die Vormaterialien nach ISO zertifiziert sind, während bei neuen Mitarbeitern keine Auskunft über gesicherte Kenntnisse und Fähigkeiten vorliegt.

Abhilfe schafft die Entwicklung von themenbezogenen Testmodulen.

Themenbezogene Testmodule als Definition für Bildungsziele.

Der überwiegende Teil der Qualifikationen, die mit dem Sekundarschulbesuch erreicht werden sollen, kann mit geeigneten Fragen (Items) überprüft werden. Ja, es ist sogar wohl zweckmäßiger, Qualifikationsziele durch Klassen von Aufgaben zu definieren als solche durch verbale Beschreibungen festzulegen.

Psychologen entwickeln dazu Vorstellungen von Tests, die aus einem Itempool auf der Grundlage eines Testmodells ausgewählt werden. Die korrekte Anwendung des Testmodells wird als korrekte Auswahl der Aufgaben nicht in Frage gestellt. In einer wissenschaftlichen Arbeit der Sechzigerjahre des vergangenen Jahrhunderts zum Thema mastery learning musste so die Frage „Was ist 8*0?“ aus einem elementaren Mathematiktest für 8 bis 11-jährige aussortiert werden, weil die scheinbar objektiven Kriterien des Testmodells für diese Frage nicht erfüllt waren. Stumpfsinnige Statistik hat in diesem Fall fachdidaktische Kompetenz besiegt. Dabei zeigt sich die unverstandene Multipliation mit Null auch über die Sekundarstufe hinaus in den MINT-Studiengängen an den Hochschulen als häufige Quelle von Kapitalfehlern.

Die Aufgaben, die die Evaluation mit positivem Ergebnis überstanden haben, werden bei psychologischen Tests als Geheimsache behandelt, weil ja sonst die Probanden Ergebnisse „lernen“ könnten. Leider wird diese Geheimhaltung der Aufgaben unkritisch von vielen Schulpädagogen für den Bereich des schulischen Lernens übernommen, obwohl im Sekundarbereich gerade Lernen das eigentliche Ziel ist. Geheime Lernziele sind daher kontraproduktiv.

Wir schlagen daher für das Sekundarschulwesen und Teile des tertiären Bereichs Lernerfolgskontrollen vor, die sich in zwei wesentlichen Punkten vom konventionellen Vorgehen unterscheiden. Auf der einen Seite halten wir es für besser, wenn die Prüfungsaufgaben stets öffentlich zugänglich sind, auf der anderen Seite soll die Evaluation der Aufgaben nicht abstrakten Modellen nach den zugehörigen Parametern vorgenommen werden. Ein angemessenes Vorgehen lässt sich mit Web-2.0-Methoden realisieren.

Mit Web 2.0 bezeichnet man die Weiterentwicklung des Internets vom passiv rezipierbaren Webseiten zum interaktiven Netz, in dem der einzelne Nutzer die Seiteninhalte verändern und bewerten kann.

Das klingt zunächst nach reiner Utopie. Mutige Menschen haben indessen mit Web-2.0-Methoden Riesenerfolge erzielt. Beispiele dafür sind Wikipedia, Linux und OpenOffice.

Wikipedia ist in wenigen Jahren zu einem weltweit in vielen Sprachen vorliegenden Universallexikon geworden, das es nach verbreiteter Meinung mit etablierten Lexika wie der Enzyklopedia Britannica oder dem deutschen Brockhaus aufnehmen kann. Wikipedia ist nicht nur frei zugänglich. Vielmehr kann jeder Nutzer jeden Beitrag verändern oder ergänzen oder er kann neue Einträge initiieren, wenn er mit dem Inhalt nicht einverstanden oder auf Lücken gestoßen ist. Dabei unterliegt er der Kontrolle der anderen Nutzer, die eine solche Änderung in dokumentiertem Vorgehen rückgängig machen können. Dabei hat sich gezeigt, dass Versuche großer Firmen, Einträge im eigenen Interesse zu manipulieren, sofort von anderen Nutzern aufgedeckt worden sind. Sie haben damit also das Gegenteil erreicht. Einträge in Wikipedia werden also von der community der Nutzer evaluiert und legitimiert.

Linux ist ein Computerbetriebssystem wie das Microsoftprodukt Windows, OpenOffice eine Alternative zu den Microsoftprodukten Word, Excel und Powerpoint. Während Windows von Tausenden von hauptamtlichen Entwicklern weiterentwickelt wird, tragen zur Verbesserung der Linuxversionen und von OpenOffice Zehntausende bei, die mit der Nutzung verbundenen Fehlreaktionen der Programme beseitigen.

Ein gemeinsames Merkmal der genannten Web-2.0-Produkte ist die Tatsachen, dass sie kostenfrei unter der GNU-Lizenz benützt werden können. Das schließt auf der einen Seite Spenden an die Entwicklercommunity nicht aus, auf der anderen Seite kann auch mit solchen Programmen Geld verdient werden. Manche Mitmenschen brauchen für die Nutzung von OpenOffice eine Schulung, wie sie auch für Microsoft Word angeboten wird. Solche Schulungen kann man sich auch bei der Arbeit unter der GNU-Lizenz entsprechend wie bei den Microsoft-Anwender-Kursen honorieren lassen.

Die Vision

Entsprechend zur Entstehung von Wikipedia, Linux oder OpenOffice können wir uns im Internet den Aufbau von Itemdatenbanken zu wichtigen Lerninhalten vorstellen. Sie könnte My-wikilearn heißen. Dabei müssen am Ende wichtige Voraussetzungen erfüllt sein:

Aufgaben

a1 Zu jedem Thema müssen genügend Aufgaben vorliegen. Beim Aufruf der Datenbank wird zufällig eine Aufgabe aus dem Themenbereich ausgewählt. Durch die Zahl der Aufgaben kann das Auswendiglernen von Ergebnissen beliebig erschwert werden.

a2 Die Aufgaben müssen vom Computer auswertbar sein. (Das schränkt die Formulierung von Aufgaben nur unwesentlich ein. Je nach Thema kommen einfache Lückentexte, auch Cloze, oder Auswahlantwortaufgaben (multiple choice) in Frage oder es werden gebundene Freiantworten – auch mit Alternativen – gefordert.) In die Auswertung geht auch die jeweilige Bearbeitungszeit ein. Dann kann für die Bearbeitung ein Score zugewiesen werden. In einem Themenbereich werden zwei Scorelisten geführt; eine Gesamtscoreliste und eine Scoreliste des Monats, die jeden Monat leer begonnen wird.

a3 Zu jeder Aufgabe kann nach der Bearbeitung ein vorstrukturierter Kommentar abgegeben werden. Dieses Rating ersetzt die Aufgabenevaluation durch ein statistisches Modell, das heißt, die Legitimation der Aufgaben erfolgt durch die Benutzer. Es gibt Autorensysteme zur Aufgabengenerierung, die diese Möglichkeit automatisch anbieten. (Hier nach Annahme ein Hinweis auf e-exercise)

Zugang

Der Zugang ist gegen eine kleine jährliche Grundgebühr frei. Auf diese Grundgebühr kann unter Umständen verzichtet werden, wenn bezahlte Werbung zugelassen wird. Es gibt unterschiedliche Rechte beim Zugang:

z1 Mit einem anonymen Zugang ist das Recht verbunden, Aufgaben zu bearbeiten, Rückmeldungen zur Bearbeitung zu lesen, einen Kommentar abzugeben oder einen Aufgabenvorschlag einzureichen.

z2 Wer seine Bearbeitung zertifizieren lassen will, muss sich registrieren. Zertifizierte Bearbeitungen sind nur in einer Umgebung möglich, in der die Identität des Bearbeiters gesichert werden kann. Zertifizierte Bearbeitungen aus dem Schulstoff werden dem Nachweis über einen entsprechenden Unterricht gleichgestellt.

z3 Wer eine Aufgabe verändern will, muss sich gleichfalls registrieren, damit eine Zuordnung zur Person, die die Änderungen vornimmt, möglich ist.

z4 Registrierung ist auch dann nötig, wenn jemand einen neuen Themenbereich öffnen will.

z5 Schließlich muss noch ein registrierter Zugang vorgesehen werden, der das Recht verleiht, Aufgaben zu löschen oder einem anderen Themenbereich zuzuordnen. Für diese Art Zugang ist der Nachweis einschlägiger Kompetenz nötig. Löschungen sind vier Wochen lang vorläufig. Wenn in dieser Zeit von niemand eine Wiederherstellung verlangt wird, wird die Löschung endgültig.

Speicherung

Grundsätzlich wird jede Eingabe zu einer Aufgabe gespeichert, sobald vom Aufrufenden eine Eingabe erfolgt ist.

Konsequenzen

Die Existenz einer solchen Datenbank hat vielfältige Konsequenzen:

Für Lehrer

In der Schule von heute wird von den Lehrern schier Unmenschliches gefordert. Er soll Inhalte für den Unterricht aufbereiten, er soll sich über die Fortschritte in seinen Fächern auf dem Laufenden halten, er soll den Erfolg seiner Arbeit bei den Schülern und für die Schüler bewerten, er soll erzieherisch tätig sein, um nur einige Punkte zu nennen.

Allein die Bewertung der Schülerleistungen nimmt rund ein Fünftel der Lehrerarbeitszeit in Anspruch. Der Ermessensspielraum ist dabei riesig. Das hat zur Folge, dass verschiedene Lehrer eine bestimmte Schülerleistung ganz verschieden bewerten können. Es gibt also keine Chancengerechtigkeit für die Lernenden; vielmehr hängt der Schulerfolg eines Schülers in hohem Maß vom zufälligen Lehrer ab.

Die Datenbank erleichtert die Aufgabe der Lehrer außerordentlich. Zusammenstellung und Korrektur der schriftlichen Lernkontrollen entfallen. Damit entfällt auch der Druck von Elternseite, gute Noten zu geben, weil die Bewertung für alle Schüler nach vorgegebenen Maßstäben erfolgt. Andererseits wird natürlich auch sichtbar, in welchem Maß der Lehrer seine Schüler auf die Lernerfolgskontrolle vorbereitet hat.

Wenn die Bewertung nicht in der Hand des Lehrers liegt, so ändert sich auch dessen Funktion. Er ist in einem System mit externen Bewertungen der Helfer, der den Lernenden kompetent auf die Anforderungen der Prüfung, die er selbstg nicht beeinflussen kann, vorbereitet. Die oft mühsamen und anstrengenden Korrekturen entfallen

Für Schüler

Schüler können ihr Wissen und Können selbst ohne Zuschauer überprüfen. Lernerfolgskontrolle wird ein intimer Vorgang. Die Gefahr, sich vor der Klasse zu blamieren, verschwindet nahezu. Vor allem kann jeder Schüler die Intensität seines Übens selbst steuern, wie er das vom außerschulischen Lernen gewohnt ist.

Schüler werden dadurch selbst für ihr Lernen verantwortlich; sie können die Lernorganisation selbst bestimmen. Auch der inhaltliche Schwerpunkt des Lernens kann in gewissen Grenzen selbst gewählt werden; er ist nicht auf einen oftmals nicht zeitgemäßen, vom Staat verordneten Kanon beschränkt.

Wenn zertifizierte Lernleistungen auch ohne staatliche Prüfung anerkannt werden, entsteht eine motivationsfördernde Freiheit des Lernens.

Für die Gesellschaft

Zertifizierte Prüfungen haben eine weitaus größere Objektivität als Schulnoten. Die Zertifikate sind daher aussagekräftiger.

Ohne langdauernde Auseinandersetzung mit einem starren Schema der Kultusbürokratie kann jede gesellschaftliche Gruppe ein neues Thema als Lernziel etablieren ohne zugleich die Schule mit einem neuen Schulfach zu überfordern.

Ein Beispiel für einen derartigen Inhalt ist das Thema Wirtschaft. Erst in Zeiten einer Wirtschaftskrise wird offenkundig, wie wenig die grundlegenden Kenntnisse über das Funktionieren der Wirtschaft verbreitet sind. Das erleichtert es vor allem den Demagogen, mit unerfüllbaren Forderungen Politik zu machen.

Die Datenbank schafft daher Flexibilität in Bezug auf die Lerninhalte.

Ein erfolgreiches Modell für eine Lernzieldatenbank

In der Schule ist es mühsam, die natürliche Lernmotivation über das zwölfte Lebensjahr hinaus zu erhalten. Wo indessen die oben genannten Gesichtspunkte konsequent berücksichtigt werden, entstehen umfassende communities, deren Glieder außerordentlich viel Zeit und Engagement in die communitiy investieren: Computerspiele.

Im Kampf um die Aufmerksamkeit der Lernenden haben sie in kurzer Zeit die Nase vorn gegenüber Inhalten aus dem Schulkanon. Ein Beispiel: In weniger als vier Jahren ist es dem Spiel „World of Warcraft“ gelungen, weltweit 10 Millionen Spieler anzuwerben, die eine nicht unbeträchtliche monatliche Gebühr zahlen. Der durchschnittliche Spieler sitzt für das Spiel 20 bis 50 Stunden pro Woche am Computer.

Google findet zu 'play world of warcraft“ am 10. Januar 2009 mehr als 600 000 Beiträge, zu 'learn mathematics' nur rund 300 000. Auch 'learn math' liegt mit rund 1,2 Millionen Fundstellen in einem vergleichbaren Rahmen. Die Anziehungskraft eines einzelnen Computerspiels ist also mit der einer mehr als 2 000 Jahre alten Kulturtechnik vergleichbar!

Wenn man sich näher mit World of Warcraft beschäftigt, findet man viele Ähnlichkeiten mit der von uns als Vision geschilderten Datenbank und deren Nutzung. Der einzelne Spieler bearbeitet quests; er kann selbst neue quests vorschlagen oder vorhandene bewerten. Durch erfolgreiche Bearbeitung von quests kann er in der community der Spieler aufsteigen. Er erhält Anerkennung für den erreichten level und die für die Bearbeitung der quests verliehene Ausstattung (Waffen oder Reittiere. Ganz offenkundig bedient World of Warcraft menschliche Sehnsüchte, die beim klassischen schulischen Lernen unter den Tisch fallen. Während lernsüchtige Schüler kein quantitatives Problem darstellen, ist das Suchtproblem bei World of Warcraft durchaus ernst zu nehmen.

Wann startet My-wikilearn?

Im Augenblick ist My-wikilearn eine Vision. Viele Visionen bleiben Utopien. My-wikilearn braucht keine Utopie zu bleiben, wenn wir uns Wikipedia zum Vorbild nehmen oder My-wikilearn in Wikipedia integrieren können.

My-wikilearn ist nicht unsere originäre Idee. 1993 schrieb Richard Stallmann

„...

Since we hope that teachers and students at many colleges around the world will join in writing contributions to the free encyclopedia, let's not leave this to chance. There are already scattered examples of what can be done. Let's present these examples systematically to the academic community, show the vision of the free universal encyclopedia, and invite others to join in writing it.

...

Courses in the learning resource are a generalization to hypertext of the textbooks used for teaching a subject to yourself or to a class. The learning resource should eventually include courses for all academic subjects, from mathematics to art history, and practical subjects such as gardening as well, to the extent this makes sense. (Some practical subjects, such as massage or instrumental ensemble playing, may not be possible to study from a "book" without a human teacher—these are arguably less useful to include.) It should cover these subjects at all the levels that are useful, which might in some cases range from first grade to graduate school.“

http://www.gnu.org/encyclopedia/free-encyclopedia.html

Es dauerte dann noch einige Jahre, bis Wikipedia einen hinreichenden Umfang erreicht hatte.

Wir räumen ein, dass wir mit unseren Modulen zur Erzeugung von e-testing-Modulen und -items noch nicht den Wiki-Komfort erreicht haben, aber was nicht ist, kann noch werden! Wer hilft mit?

In der Druckfassung stehen hier noch Quellen, die Rückschlüsse auf die Autoren erlauben.