https://frosthead.com

Kann ein Computer einen Aufsatz wirklich benoten?

In Zukunft werden Computer unsere Ärzte, unsere Soldaten, unsere Feuerwehrleute und unsere Lehrer sein. Sie werden Krankheiten diagnostizieren, unsere Babys ernähren, unsere Häuser schützen und unsere Kinder unterrichten. Ein Unternehmen entwickelt bereits ein Computerprogramm zur Bewertung von Aufsätzen, mit dem Professoren und standardisierte Testbenoter entlastet werden können. Aber kann ein Computer wirklich einen sorgfältig ausgearbeiteten Aufsatz bewerten?

Das Unternehmen edX ist davon überzeugt. Sie bieten bereits Online-Kurse für Institutionen sowie ein System für künstliche Intelligenz an, das studentische Aufsätze bewertet. John Markoff von der New York Times erklärt:

Anant Agarwal, ein Elektrotechniker, der Präsident von EdX, sagte voraus, dass die Software zur sofortigen Einstufung ein nützliches pädagogisches Werkzeug sein würde, mit dem die Schüler Tests ablegen und Aufsätze immer wieder schreiben und die Qualität ihrer Antworten verbessern können. Er sagte, die Technologie biete deutliche Vorteile gegenüber dem traditionellen Klassenzimmersystem, bei dem die Schüler oft tagelang oder wochenlang auf Noten warten.

"Es ist sehr wichtig, mit sofortigem Feedback zu lernen", sagte Dr. Agarwal. "Die Schüler sagen uns, dass sie mit sofortigem Feedback viel besser lernen."

Ob dieses sofortige Feedback von hoher Qualität ist oder nicht, ist eine andere Frage. Skeptiker dieser Computer-Grader sind nicht schwer zu finden. Eine Gruppe, die sich als Experten gegen maschinelles Scoring von studentischen Aufsätzen im High-Stakes-Assessment bezeichnet, hat eine Erklärung abgegeben und sammelt Unterschriften, um sich gegen die Übergabe der Bewertung an einen Computer auszusprechen. Sie schreiben:

Stellen wir uns den Realitäten der automatischen Bewertung von Aufsätzen. Computer können nicht „lesen“. Sie können nicht das Wesentliche einer effektiven schriftlichen Kommunikation messen: Richtigkeit, Argumentation, Angemessenheit der Beweise, Vernunft, ethische Haltung, überzeugendes Argumentieren, sinnvolle Organisation, Klarheit und Wahrhaftigkeit, unter anderem.

In der Petition wird der Gesetzgeber aufgefordert, sich nicht mehr auf Computer zu verlassen, um die Noten zu vergeben, und die Schulen aufgefordert, sich nicht mehr für die automatisierten Bewertungssysteme zu entscheiden.

Agarwal räumt ein, dass die Software besser sein könnte und hofft, dass es besser wird, einen guten von einem mittelmäßigen Aufsatz zu unterscheiden. "Dies ist maschinelles Lernen und es ist noch ein langer Weg, aber es ist gut genug und der Gewinn ist enorm", sagte er der New York Times . Außerdem, sagt er, täuscht sich jeder, der Lehrer für konsequent hält. „Wir haben festgestellt, dass die Qualität der Benotung der von Ausbilder zu Ausbilder unterschiedlichen Qualität entspricht.“

In der Tat haben einige Studien darauf hingewiesen, dass Computer und Lehrer die gleiche Variabilität in Punktzahlen erzeugen. Eine Studie von Mark Shermis an der Universität von Akron kam zu dem Schluss, dass „die Bewertung von automatisierten Aufsätzen in der Lage ist, Noten zu erzielen, die den menschlichen Noten für Schreibgegenstände mit längerer Reaktionszeit bei gleicher Leistung für das quellenbasierte und das traditionelle Schreibgenre ähneln.“ Shermis 'Studie jedoch wurde nie in einer Zeitschrift veröffentlicht, und andere Forscher haben ihre Behauptungen in Frage gestellt. Les C. Perelman vom MIT schrieb in einer Antwort auf das Shermis-Papier: "Eine genaue Untersuchung der Methodik des Papiers und der verwendeten Datensätze zeigt, dass eine solche Behauptung durch die Daten in der Studie nicht gestützt wird."

Die Gruppe von Fachleuten zitiert auch mehrere Artikel, die darauf hinweisen, dass Computer nicht so gut wie Lehrer bei der Bewertung von Schülern sind.

Dies ist höchstwahrscheinlich eine Frage der Frage, ob diese Computer noch gut genug für die Einstufung sind oder nicht und ob dies jemals der Fall sein wird. Aber es sind nicht nur Lehrer, die mehr Hightech bekommen, sondern auch Schüler. Wenn die Schüler lernen, wonach das Programm sucht, können sie einfach selbst ein Programm schreiben, um dann den perfekten Aufsatz auf der Grundlage der Softwarespezifikationen zu schreiben. Vielleicht werden in Zukunft computergesteuerte Lehrer computergesteuerte Schüler benoten.

Mehr von Smithsonian.com:

Estland lehrt 100 Prozent seiner Erstklässler, zu kodieren
Cops das Sehen beibringen

Kann ein Computer einen Aufsatz wirklich benoten?