Feedback mit KI - Was geht und was nicht?

00:00:00: Und ein wahnsinniger Benefit ist natürlich einfach, dass ich mir sehr zeitnah Feedback zu verschiedenen Aufgaben eignen kann und es enorm ökonomisch ist.

00:00:19: Herzlich willkommen zur neuen Folge von GreideKI-Klartext!

00:00:24: Ich freue mich ganz besonders, dass wir heute zwei tolle Gäste hier haben.

00:00:29: Hendrik Haferkamp ist Lehrer und Koordinator für Digitalität am Evangelischen Stiftsgymnasium Gütersloh, Leiter des VK Kiva – was es genau bedeutet packen wir in die Schornhauts!

00:00:41: Und Mitgründer von Fellowfish einem KI Feedback-Tool, das sicherlich einige hier auch kennen.

00:00:47: Und Kira Weber ist Professorin für Erziehungswissenschaften an der Uni Hamburg.

00:00:53: Und heute geht es um ein Thema, das gerade viele in Schule und sicherlich auch Hochschule umtreibt.

00:00:59: Nämlich Feedback durch künstliche Intelligenz!

00:01:02: Ich freue mich sehr, dass wir euch zwei als Gäste hier haben.

00:01:07: Ich habe euch jetzt ganz kurz vorgestellt aber es ist viel schöner noch mal von euch zu hören wer ihr seid und was ihr macht.

00:01:14: Deswegen bevor wir loslegen stelle ich doch bitte einmal kurz vor Hendrik du zuerst und dann Kira.

00:01:21: Ja, vielen Dank, liebe Diana.

00:01:23: Also du hast ja schon ganz viel über mich gesagt Lehrkraft in Gütersloh an einem Gymnasium was sehr digital affin ist und als vielleicht digitale Vorreiter Schule gelten kann.

00:01:34: Und das hat mich wirklich mit dem Thema KI auch tatsächlich zusammengebracht Als unser Schulleiter vor sechs sieben Jahren aus dem Silicon Valley kommend nach Gütersloo gekommen.

00:01:44: Es hat uns das gepackt des thema und habe mich jetzt nicht mehr da wieder losgelassen.

00:01:51: Und da war es dann ein schöner Zufall, dass Doris Wessels mich ins VK Kiva geholt hat.

00:01:57: Wo ich jetzt als Co-Leiter den schulischen Bereich vor allen Dingen betreue und da habe ich dann auch meinen Co-Grundermalte Hecht kennengelernt mit dem ich zusammen Fellowfish gegründet habe und mache ja auch noch so ein Podcast zusammen mit Benedikt Wischnevski der sich auch um das Thema KI dreht, KompassKI also bin auf ganz vielen Hochzeiten unterwegs.

00:02:19: Okay, dann würde ich mal weitermachen.

00:02:21: Ja von mir auch vielen Dank für die Einladung!

00:02:23: Ich freue mich dabei zu sein.

00:02:25: Genau, ich bin Professorin hier an der Universität Hamburg bei einem Bereich berufliche Bildung und lebenslanges Lernen und beschäftige mich schon sehr lange mit dem Thema Feedback.

00:02:34: also seit um zehn Jahren würde ich sagen bin ich so dabei und habe früher viel zum Thema videobasiertes Feedback gemacht also wo ich mit Studierenden Videos geguckt hab und haben sich reflektiert und gegenseitig Feedback gegeben immer auch versucht viel mit Expertinnen Feedback zu arbeiten.

00:02:51: Das war eben sehr, sehr schwierig weil da einfach wenig Ressourcen sind.

00:02:54: das kostet unfassbar viel Zeit.

00:02:56: und dann wurde ChatGbt released und ich dachte ah cool!

00:02:59: Das wäre doch eine gute Möglichkeit jetzt tatsächlich ein bisschen ökonomischer Feedback gegeben und fand es einfach ganz spannend mal zu gucken was kann denn das eigentlich?

00:03:08: Und bin da so ein bisschen in dieses Thema KI-Feedback reingeschlittert und beschäftige mich damit jetzt seit ja jetzt auch schon vier Jahren würde ich sagen genau Das ist vielleicht dazu.

00:03:19: Super spannend!

00:03:20: Da werden wir nachher noch ganz viel darüber sprechen, da bin ich mir sicher.

00:03:24: Bevor wir jetzt richtig einsteigen würde uns erstmal interessieren wie setzt ihr KI bei euch eigentlich ein im Unterricht beziehungsweise in der Lehre?

00:03:35: Hendrik, vielleicht fängst du mal an wie du KI oder Feedback und KI im Unterrecht einsetzt.

00:03:43: Wir nutzen KI bei uns in der Schule tatsächlich sehr, sehr vielfältig und sehr regelmäßig.

00:03:48: Weil wir gemerkt haben dass das unglaublich lernförderlich ist für die Schülerinnen und Schüler.

00:03:52: Das können eben spezielle Feedback-Apps wie FellowFish sein.

00:03:56: aber wir nutzen zum Beispiel auch die KI Suite von FOBIS und richten da sozusagen auch KI Agenten oder KI Assistenten ein mit denen unsere Schülerinnen und Schüler dann gemeinsam lernen können.

00:04:09: Also das ist im Prinzip wirklich eine ganz bunte Mischung von Bild- und Textgenerierung über regelmäßig sich Feedback abholen, und das machen wir tatsächlich wirklich sehr häufig im Unterricht.

00:04:23: Und Kira wie ist es bei euch an der Hochschule?

00:04:27: Also vielleicht generell an der kommt es jetzt ein bisschen, aber es gibt immer noch viele Lehrende die sich gar nicht so viel mit dem Thema beschäftigt haben.

00:04:37: Und ich versuche das aber tatsächlich sehr gezielt jetzt auch schon länger auch sehr divers einzusetzen.

00:04:43: also wirklich von einfach mal fragt doch mal KI was sie dazu sagen würde hinzu.

00:04:48: Ich mache dann immer sowas schreiben mit KI.

00:04:50: wie kann ich jetzt KI nutzen?

00:04:51: Dann wenn ich Abschuss arbeite schreibe oder Hausarbeiten Wie kann mir das helfen?

00:04:56: und ich habe im letzten Jahr Dann auch ein Projektprojekt durchgeführt mit Zukunft digital, wo die Studierenden gemeinsam mit Lehrkräften an so KI-Projekten gearbeitet haben und ganz konkrete Produkte im Endeffekt entwickelt haben.

00:05:08: dann für die Schule.

00:05:10: Also schon noch mal bisschen größer und generell versuche ich immer wirklich einfach viel darüber zu diskutieren, viel zu gucken.

00:05:16: wie kann ich es nutzen?

00:05:17: Wie kann ich das nicht nutzen?

00:05:18: was sind eben ja Herausforderungen dabei bei dem Umgang damit?

00:05:22: genau das mache ich so quasi in allen meinen Seminaren irgendwie so quer liegend.

00:05:30: Ich finde es super spannend, schon mal zu hören wie ihr alle so damit arbeitet.

00:05:34: Übrigens ganz leise Side Note hier von mir.

00:05:37: normalerweise sitzt Judith an meiner Stelle heute bin ich dabei sind ja auch aus dem Phobis Team und darf heute ein paar Fragen stellen die ich gern fragen würde, ist mit einem Schritt zurückgegangen bevor wir weiter über KI reden.

00:05:51: Was denn eigentlich gutes Feedback für euch bedeutet?

00:05:55: Also wie ihr das definieren würdet?

00:05:57: Kira da würde ich gerne mit dir anfangen was aus Forschungssicht so ein bisschen vielleicht Kennmerkmale sind was für dich vielleicht auch gutes Feedbag persönlich ausmacht und dann natürlich daran geknüpft die Frage was ein Sprachmodell überhaupt leisten kann und was vielleicht auch nicht.

00:06:15: Ja, genau.

00:06:16: Spannende Frage und ich habe ja schon gesagt, ich beschäftige mich schon lange mit dem Thema Feedback und je mehr ich mich damit beschäftige, desto mehr merke ich es ist sehr komplex.

00:06:23: also gutes Feedback ist wirklich vielschichtig Und wir haben so ein Modell aufgestellt.

00:06:29: wo wir gesagt haben erst mal muss ein gutes Feed-Back wirklich sehr konkret sein auf eine bespielsziefische Situation bezogen Es muss aktivierend sein.

00:06:36: Also ich muss irgendwie auch Fragen stellen in so einen Dialog reinkommen zum Nachdenken anregen Das muss natürlich korrekt sein und vor allem auch empathisch.

00:06:45: Und dann natürlich aber auch noch auf verschiedenen Ebenen, also ich kann Feedback geben zu einer Aufgabe.

00:06:50: was am besten funktioniert ist selbst regulatives Feedback.

00:06:52: also ja auf so einer Meta-Ebene zu arbeiten.

00:06:56: Genau das ist ganz spannend da zu überlegen Was kann jetzt KI?

00:06:59: Und was kann es nicht?

00:07:00: Und KI kann tatsächlich sehr gut... Es ist ein Sprachmodell.

00:07:04: also zum Beispiel Texte überarbeiten irgendwie wenn man sagt oh wie könnte meine Struktur sein in der Hausarbeit eben auch personalisiertes Feedback geben.

00:07:13: Und ein wahnsinniger Benefit ist natürlich einfach, dass ich mir sehr zeitnah Feedback zu verschiedenen Aufgaben ein und kann, um es enorm ökonomisch ist.

00:07:21: Also wir haben da ja auch Studien zu gemacht und festgestellt Menschen brauchen für schriftliches Feedback einer kleinen Aufgabe so zwanzig Minuten und die KI macht das in paar Sekunden.

00:07:32: Das ist natürlich schon enorm!

00:07:34: Ich glaube der liegt ein großer Benefit.

00:07:35: Einfach, dass man immer als Möglichkeit hat, so als Sparingpartner zunutzen und sich immer Feedback einzuholen zu bestimmten Dingen.

00:07:43: Genau, wo es aber eben natürlich nicht so hilfreich ist, ist dann bei diesem Faktor wirklich den Menschen dahinterzusehen.

00:07:50: also das wissen wir ja auch ich mache viel zum Thema Gesundheit und wir Menschen brauchen ja auch dieses Gefühl.

00:07:56: Ich werde da wirklich als Mensch gesehen und da ist jemand der nimmt sich die Zeit vielleicht mir dieses Feedback zu geben und das ist ein großer Faktore glaube ich denen wir nicht unterschätzen sollten Wenn ich als Schüler sitze, meine Lehrkraft nimmt sich halt die Zeit mit mir in so ein Feedbackgespräch zu gehen oder ich sehe das auch bei meinen Studierenden.

00:08:14: Sie schätzen das sehr dass ich dann mir die Zeit nehme mit denen zu reden und da ist nochmal eine andere Komponente drin, die KI eben nicht bedienen kann.

00:08:22: und auch gerade dieser Punkt zum Beispiel wir sitzen gegenüber, da sitzt jemand und ich kann die Körpersprache lesen, kann gucken okay wie geht's der Person grad damit?

00:08:30: Und kann es immer so ein bisschen justieren.

00:08:32: Das kann KI MedFactern auch nicht leisten.

00:08:37: Apropos was KI nicht so leisten kann gegebenenfalls, wie siehst du denn auch die Kritik an Feedback durch KI?

00:08:45: Also zum Beispiel dass das Feedback das dann ausgegeben wird nicht immer gleich ist.

00:08:50: Das heißt natürlich auf dem Wahrscheinlichkeit beruhendes System ist, dass dann entsprechend unterschiedliche Antworten kommen auf eigentlich dasselbe Ergebnis, dass man eingegeben hat oder dass man prüfen lassen wollte.

00:09:00: Wie siehst Du das?

00:09:01: Das fühle ich gerade super spannend, weil wir haben eine Studie dazu durchgeführt wo wir uns angeguckt haben Unterschied zwischen KI und Expertenfeedback.

00:09:08: Wir haben bei den Expertinnen viel mehr Varianz.

00:09:11: also das ist tatsächlich so.

00:09:13: Also genau dieser Punkt ja es ist immer ein bisschen anders aber beim Menschen ist es doch auch immer anders als wenn wir in die Schule gucken keine Lehrkraft gibt dasselbe Feedback.

00:09:23: So das heißt von daher dieser Punkt den würde ich echt ausklammern weil das KI eigentlich sogar das konstantere Feedback gibt.

00:09:32: Genau, schwierig wird es natürlich so ein bisschen bei diesem Halluzinieren und also... Es gibt einen schönen Artikel.

00:09:37: ChatGbt ist only good for experts!

00:09:39: Ich finde das einfach... Das passt so gut weil ich eigentlich auch nur das gut nutzen kann wenn ich schon ein bisschen Wissen habe Also wenn ich auch weiß okay dass was die Meda erzählt das stimmt oder das stimmt eben auch nicht?

00:09:51: Ich muss das beurteilen können und ich glaube das ganz wichtig wenn wir damit arbeiten eben dann auch Schülerinnen oder bei mir Studierende zu befähigen das einfach beurteilten zu können Was die KI-Mail da zählt, stimmt oder stimmt nicht?

00:10:02: Andererseits haben wir es auch wieder bei Menschen.

00:10:04: Wir Menschen sind auch nicht unfähbar.

00:10:05: Auch wir erzählen vielleicht manchmal was das gar nicht stimmt!

00:10:09: Ja, vielen Dank.

00:10:10: Ich finde es tatsächlich auch nochmal spannend – das hat sich ja auch zu Beginn bei deinen Kriterien gesagt – dass ihr Wert darauf legt, dass die KI empathisch reagiert.

00:10:19: und auch das wie du ja richtig gesagt hast ist nicht unbedingt was menschlich gegeben sein muss, je nachdem wie man vielleicht auch so dem Schüler der Schülerin steht, wie viel Sympathie mitschwingt

00:10:28: usw.,

00:10:29: insofern ganz ganz ganz spannend.

00:10:32: Hendrik, er hat dich gefragt….

00:10:34: Ich würde mich natürlich auch noch mal interessieren, was du als Lehrer beschreiben würdest als gutes Feedback.

00:10:44: Ich kann mich erstmal natürlich anschließen an das, was Kira gesagt hat.

00:10:48: Das ist alles glaube ich für Lehrkräfte total relevant und lässt sich auch gut für Lehrräfte adaptieren und anwenden.

00:10:54: Was man vielleicht noch ergänzen könnte ist dass Feedback ja gar nicht per se lernförderlich ist.

00:10:58: also ungefähr dreißig Prozent aller Feedback in Interventionen sind sogar schädlich und führen dazu der Schülerinnen und Schülern nicht unbedingt besser lernen.

00:11:07: Da muss man sich natürlich fragen, okay was kann denn alles schief laufen eigentlich beim Feedback im Klassenzimmer.

00:11:12: Und da ist es ganz oft so dass man vielleicht dann als Lehrkraft manchmal dazu neigt das Feedback auf die Person zu beziehen und nicht so sehr auf die Sache.

00:11:21: Das hast du gut gemacht oder bist begabt oder bist faul?

00:11:24: Und das sind so teilweise selbstwertankratzende Äußerungen, die eben eher zu so einer Abwehrhaltung vielleicht auch bei Schülerinnen und Schülern führen.

00:11:34: Das heißt ich muss eigentlich zwischen Person- und Arbeitsprodukt strikt trennen und muss eben eine Feedback geben zur Aufgabe oder zu den Lösungsstrategien.

00:11:44: Und das zweite ist dass im Prinzip so ein Häkchen, so einen Gut oder Aufkleber wo ein Daumen hochzusehen ist, da sind eben ja im Prinzip Low Information Feedback Geschichten den Status quasi anschauen, aber die eben auch nicht dazu anregen zu überlegen.

00:12:05: Welche Fehlkonzepte liegen jetzt vielleicht hier diesem Fehler zugrunde oder mit welcher Strategie lässt sich das jetzt beheben?

00:12:11: Das heißt wir brauchen im Prinzip ein High Information Feedback und nicht so ein kurzes Gut.

00:12:18: Und das Dritte was man vielleicht noch sagen kann ist dass Feedback für Schülerinnen und Schülern wie so ein Navigationsgerät sein muss.

00:12:25: Das heißt sie müssen im Prinzip erkennen können, wo sie stehen und vor allen Dingen wie Sie sozusagen diesen nächsten Schritt gehen können um dann vielleicht diesen Zielzustand zu erreichen.

00:12:39: Also sie müssen im Prinzip dieses Feed Forward kommen, sie brauchen eine Anleitung oder welche die nächsten Handlungsschritte sind.

00:12:47: diese gehen müssen um sozusagen diese Lücke zum Lernziel zu schließen.

00:12:52: Ich glaube, das sind so drei Dinge die Lehrkräfte in ihrem Unterricht unabhängig von KI berücksichtigen können.

00:13:01: Und wie lässt sich das dann meiner Meinung nach mit KI gut abbilden?

00:13:06: Du hast ja vorhin gerade kurz erwähnt ein bisschen wie ihr in Schule mit KI arbeitet.

00:13:09: Da hast du auch Assistenten erwähnen.

00:13:10: Spielt das da auch noch Rolle?

00:13:12: also wie setzt ihr es um bei euch?

00:13:15: Ja ich glaube dass sie sich tatsächlich ganz gut bewerkstelligen.

00:13:22: Man kann ja diese Assistenten oder eben diese KI Feedback Tools ja auch so einstellen, dass sie eben keine Lösungen verraten sondern eben tatsächlich nur Hinweise auf die nächsten Handungsschritte geben.

00:13:34: Das Gute ist ja, dass diese Assistenzen und auch die KI-Systeme keine Informationen haben über die Schülerinnen und Schüler.

00:13:41: Die wissen also nicht welche Person jetzt vor ihnen sitzt und können da relativ unabhängig und ohne Bayes sozusagen darauf reagieren Und für viele Schülerinnen und Schüler ist es tatsächlich auch entlastend.

00:13:57: Kira sprach ja von dieser empathischen Haltung, das kann man natürlich diesen KI-Systeme auch einimpfen, dass sie eben empathisch sein sollen, dass sich auf die Sache reagieren soll, dass Sie keine Lösung verraten sollen.

00:14:09: Damit sind das im Prinzip schon ganz gute Lernbegleiter, die Schülerinnen oder Schüler dabei unterstützen ihre nächsten Lernschritte zu gehen.

00:14:21: Ja, super spannend.

00:14:22: Jetzt haben wir viel auf die über Feedback und die Wirkung von Feedback gesprochen.

00:14:27: Jetzt würde mich noch interessieren wenn wir mal an die Rolle der Lehrkräfte oder der Lehrenden denken.

00:14:33: Da ändert sich ja auch ganz viel, wenn auf einmal so ein technisches System so ganz ganz wichtige Aufgaben potenziell übernehmen kann.

00:14:42: Und Kira was ist denn aus deiner Sicht in der Hochschullehre?

00:14:46: Wie verändert sich denn die Rolle Hochschulderzentin oder der Lehrenden in der Uni, wenn KI solche Aufgaben übernehmen kann.

00:14:55: Also ich finde ja das ist eine total tolle Chance dass wir Dinge so ein bisschen auslagern.

00:15:01: also was wir sagen arbeitet doch mal ein bisschen mehr hier mit der KI fragt doch mal nach geht er in den Dialog rein also diese Idee jetzt wirklich als sparing Partner zu nutzen?

00:15:11: Und generell, finde ich ja sollten wir Wohnjahres leeren dann der Hochschule als auch als Lehrkräfte an der Schule weggehen von dieser Idee als Wissensvermittler.

00:15:18: Das passt gar nicht mehr eigentlich zu der aktuellen Zeit.

00:15:22: Wir sind ja in so einer Zeit die sehr schnelllebig ist und haben so viel gesellschaftlichen Wandel.

00:15:28: Worauf wir Schüler und Studierende vorbereiten müssen, ist irgendwie damit auch umzugehen.

00:15:32: Und mit Unsicherheiten auch umgehen zu können.

00:15:34: Und sich immer wieder eigentlich Dinge neu aneignen zu können.

00:15:39: also das heißt wir müssen viel mehr befähigen selber zu lernen er sich selber Dinge zu erschließen und weg gehen von dem.

00:15:46: ich erzählte jetzt wie das ist so dass funktioniert einfach nicht mehr.

00:15:51: Genau, da finde ich ist wirklich eine große Chance drin wenn wir sie benutzen.

00:15:54: Dass wir sagen wir sind wirklich eher so Lernbegleiter, Lerncoaches und vor allem sind wir auch einfach da als Menschen.

00:16:00: Ich sehe das ganz ganz doll und ich mache es auch ganz viel bei mir in der Lehre dass sich zum Beispiel einfach auch anbiete mit jedem Studierende mal einen Kaffee trinken zu gehen wo's auch ein persönlicher Team geht also wo die auch einfach... Wir wissen das auch Studierenden und Schülerinnen und Schülern die struggling haben psychische Probleme Da sind viele Unsicherheiten da Und das ist total wichtig, sich da mal hinzusetzen und sagen ich sehe das.

00:16:24: Ich höre das!

00:16:25: Ich bin da und habe vielleicht nicht die Lösung aber zumindest kannst du mit mir darüber reden.

00:16:31: Das müssten wir eigentlich viel mehr machen also vielmehr auf diese sozialemotionale Ebene gehen uns als Menschen irgendwie mehr begegnen und dafür ist oft so wenig Raum wenn wir immer versuchen jetzt alles fachliche darunter zu bringen.

00:16:46: Ich wollte noch mal sagen, ich habe in meinem einen Seminar nämlich tatsächlich auch Fellowfisch verwendet und hab den Studierenden quasi gesagt hier holt euch doch mal Feedback ein erstmal.

00:16:55: Und dann konnte ich mir die Zeit nehmen und konnte mit jedem einzelnen Studierender nochmal persönlich auch reden.

00:17:00: über die Arbeit fand ich auch total cool.

00:17:03: Also das hat total gut funktioniert irgendwie, dass die quasi in der Zeit damit gearbeitet haben und dann auch schon so ein bisschen vorbereitend dieses Feedback-Gespräch gegangen sind mit mir und ich dann nochmal sagen konnte okay wie war es denn für dich die Erstarbeit zu schreiben?

00:17:15: Was waren so Schwierigkeiten dabei?

00:17:16: Wie hast du dich dabei gefühlt eher noch mal solche Punkte aufzunehmen?

00:17:21: und ja deshalb... Ich find's toll!

00:17:24: Wie toll, wie schön.

00:17:26: Das war im Vorfeld wusste ich nicht, dass du das schon kennst und auch nutzt.

00:17:31: Und du hast gerade auch den Bereich mit dem du dich ja auch ganz viel beschäftigst noch mal angesprochen.

00:17:36: Ich glaube so in den Gesundheitsförderungen

00:17:38: usw.,

00:17:39: auch super wichtig.

00:17:40: also toll, dass Du das machst und dir da die Zeit nimmst.

00:17:45: Jetzt wissen wir ja alle, dass die Beschäftigung Erst mal ganz viel Zeit kostet, man muss sich einarbeiten.

00:17:53: Das geht alles wahnsinnig schnell!

00:17:56: Wie ist das für dich Hendrik?

00:17:58: Wirst du oder werden grundsätzlich Lehrkräfte wirklich entlastet durch KI?

00:18:04: Oder wie ... also ich meine, du bist schon einen Schritt weiter und du bist so relativ früh dabei gewesen.

00:18:09: aber wie ist dein Eindruck auch für andere Lehrkräften?

00:18:15: Ja Das ist natürlich ein wichtiger Punkt, den du da ansprichst.

00:18:19: Diese Entlastung die erfährt natürlich erst wenn man sich eingearbeitet hat das heißt man muss eigentlich im Prinzip erstmal in Vorleistungen gehen und diese Dividende die man dann raus bekommt die bekommen halt erst ein bisschen später.

00:18:30: Ich erlebe aber mittlerweile dass viele Kolleginnen und Kollegen Wenn sie erstmal diesen Schritt gegangen sind Und sich tatsächlich mal hingesetzt haben und meinen ersten prompt eingegeben haben Dass Sie dann relativ schnell eigentlich merken okay?

00:18:45: eine Arbeitsendlastung.

00:18:46: Und das natürlich etwas, womit du Lehrkräfte ködern kannst und dann erfolgt danach oft eine freiwillige Beschäftigung mit dem Thema.

00:18:57: aber es dauert natürlich bis sage ich mal sich so etwas dann tatsächlich durchgesetzt hat bis eine Schule vielleicht wirklich ein neues Tool implementiert hat bis alle darauf zurückgreifen.

00:19:07: Dann ist natürlich schön wenn so ne Schule das eben gemeinsam macht die Assistenten oder Prompt Bibliotheken miteinander teilen kann, wenn man Aufgaben, die man vielleicht in Fellowfish erstellt hat und den anderen Kollegen zur Verfügung stellen kann.

00:19:25: Und dann gibt es so einen Domino-Effekt dass auch die Kolleginnen und Kollegen, die am Anfang eher skeptisch sind tatsächlich aufgeschlossener dem Thema KI gegenüberstehen, dann auch bald Dinge ausprobieren und dann auch tatsächlich erste Schritte wagen.

00:19:41: Super.

00:19:42: Ja, dieses Thema Kollaboration wird glaube ich auch in Zeiten von KI immer wichtiger weil nicht jeder muss das Rad neu erfinden und ganz viele Dinge kann man ja wieder verwenden und teilen.

00:19:54: Genau, Cynthia dann darfst du einmal

00:19:57: weiter machen!

00:19:59: Ja, ich würde tatsächlich gerne noch mal auf das Thema Forschung zu Feedback durch KI eingehen wollen.

00:20:04: Darüber wird ja sehr viel gesprochen und auch sehr viel auf so einer Gefühlebene.

00:20:11: Die Studienlage ist darüber ja noch überschaubar.

00:20:14: wir sprechen hier einfach von dem Thema was für uns in dieser Form recht jung ist zumindest im KI-Kontext und seiner Zugänglichkeit wie wir sie jetzt kennen.

00:20:23: Und Hendrik, du machst ja zusammen mit Benedikt Wichniewski – das ist ja vorhin gerade gesagt auch im Podcast.

00:20:29: Zusammen wo ihr über Studien rund um KI und Bildung sprecht den ich übrigens überaus spannend finde und auch immer sehr spannend zu sehen wie kritisch ihr mit den Studien auch umgeht also sprich zu schauen was tatsächlich davon gut verwertbar ist oder was man tatsächlich ernst nehmen kann und was vielleicht nicht aufgrund des Studiendesigns.

00:20:50: Ich würde aber interessieren, was ich jetzt von dem, was es schon gibt so ein bisschen über KI und Feedback sagen lässt.

00:20:56: Und was vielleicht auch noch überhaupt nicht in irgendeiner Art und Weise aussagekräftig ist?

00:21:02: Ja wir haben uns in Folge sieben.

00:21:04: Haben wir uns tatsächlich mal eine Feedback-Meterstudie vorgenommen die einen Vierziestudien zusammenfasst mit über viertausend achthundert Lernenden.

00:21:13: Da war die Frage wie gut ist KI Feedback eigentlich?

00:21:16: Ist das im Prinzip... besser oder schlechter als menschliches Feedback.

00:21:21: Und da gibt es glaube ich so drei, vier Ergebnisse die man vielleicht nennen kann.

00:21:26: das erste ist dass wenn man sich die Lernleistung anschaut dann gibt es quasi keinen großen Unterschied bei den Schülerinnen und Schülern und bei den Studierenden.

00:21:38: also ist es da fast egal ob sie von dem Menschen KI Feedback bekommen haben bekommen haben.

00:21:49: Das heißt, dass KI potentiell so effektiv menschliches Feedback ist aber es eben auch nicht unbedingt besser.

00:21:58: Das zweite was man vielleicht da sehen kann ist die Wahrnehmung des Feedbacks sowie neben Schülerinnen und Schülern.

00:22:06: das KI Feedback war im Vergleich zum menschlichen Feedback Auch da gibt's keine großen signifikanten Unterschiede.

00:22:12: also die Wahrnehmbung ist da auch relativ ähnlich Bei der Motivation, also ob das jetzt motivieren dafür sie ist oder nicht.

00:22:20: Das war die Studienlage relativ uneinheitlich.

00:22:23: Also für einige ist es motivierender, für andere was weniger motivierend.

00:22:27: sich dann mit ihrem Text nochmal auseinanderzusetzen muss allerdings auch sagen wenn man jetzt von Es gibt keinen signifikanten Unterschied spricht bedeutet es nicht dass Gleichwertig ist, es gibt schon Unterschiede zwischen KI Feedback und menschlichem Feedback.

00:22:45: Kira hat das ja vorhin auch schon angedeutet.

00:22:48: So was wie Empathie, Ermutigung oder auch so tiefes Kontextwissen über meine Schülerinnen und Schülern – das hat eine KI eben nicht!

00:22:58: Und da hat der Mensch sicherlich seine Vorteile.

00:23:01: wenn es aber vielleicht um Routine-Aufgaben geht... mit klaren Feedback-Kriterien, dann ist vielleicht wieder sozusagen die KI im Vorteil.

00:23:13: Und man kann eben sagen das vermutlich und das zeigt diese Studie auch es sehr sinnvoll ist von so einem übrigen Ansatz auszugehen sprich dass eine Kombination aus KI und Mensch vielleicht am effektivsten ist und wenn man da sozusagen das Beste aus beiden Welten miteinander kombiniert dann hat man wahrscheinlich den größten Lernfortschritt bei seinen Schülerinnen und Schülern erreicht.

00:23:42: Ja, ich finde manchmal sogar dass eine KI einfach eine ganz schöne Hilfe dabei sein kann wenn es darum geht irgendwie neue Perspektiven nochmal zu eröffnen.

00:23:49: Die vielleicht die Lehrkraft in dem Moment auch nicht so auf dem Schirm hat und kann auch weil's nur eine Person ist mit ihrer eigenen Perspektive und ihr wissen was super wertvoll ist Und das ergänzt durch die Perspektiv von der KI die da noch mal auf einer anderen Weise darauf blickt.

00:24:01: Genau das stelle ich mir tatsächlich auch recht wertvoll vor.

00:24:04: Jetzt ist es mir aber trotzdem so dass mich einhundertprozentig klar ist inwiefern wie in welchem Umfang und in welche Intensität KI Feedback wertvoll ist.

00:24:13: Warum hältst du es trotzdem für richtig und wertvoll KI-Feedback einsersetzen, Hendrik?

00:24:18: Das würde mich mal noch

00:24:19: interessieren.".

00:24:21: Naja also wenn ich da jetzt sozusagen demnächst in meiner Klasse stehe und meine Schülerinnen und Schüler unterrichtet dann habe ich dafür um zwanzig manchmal sogar dreißig Kinder sitzen und ich kann vielleicht zwei oder drei eine Rückmeldung geben Und bei neunzig Prozent der Klasse weiß ich einfach gar nicht, ob die das verstanden haben und kann ihn eben aus Ressourcengründen gar keine vernünftige Rückmeldung geben.

00:24:47: Da glaube ich dass es dieses Ressoursenproblem ganz gut lösen kann wenn ich den KI einsetze.

00:24:54: Es ist doch besser wenn alle Schülerinnen und Schüler dann von mir auch ein KI Feedback bekommen als das eben neunzig Prozent der klasse leer ausgeht.

00:25:04: Oft hilft mir eben auch diese, helft mir diese Auswertungsdashboards bei diesen KI-Tools dann auch zu erkennen welche Schülerinnen und Schüler brauchen wirklich meine Hilfe.

00:25:13: Wo muss ich jetzt meine Ressourcen hinlenken?

00:25:15: Wo muss sich das persönliche Gespräch suchen?

00:25:17: Es geht ja gar nicht darum dass die Lehrkraft ersetzt werden soll und es finde ich super wie Kira das zum Beispiel macht, dass sie sich Zeit nimmt mit ihren Studierenden in sich zu treffen.

00:25:27: Das ist natürlich dann eben auch ganz gut möglich.

00:25:29: Ich sehe wer meine Hilfe braucht Und ich kann dann eben gezielt auch mein menschliches Feedback und meine Zuneigung und meine Empathie den Kindern schenken, die es wirklich benötigen.

00:25:44: Dieses Dilemma löst im Prinzip KI-Feedbacks.

00:25:48: Es gibt ganz interessante Studien, die zeigen dass Lehrkräfte wissen das Feedback sehr lernwirksam sein kann aber ist für sie extrem anstrengend um dieses Dilema aufzulösen.

00:26:00: Das wäre natürlich großartig, wenn wir eben einfach häufiger Feedback geben können und wenn es eben eine Kombination aus persönlichen Feedback, Peelfeedback und KI-Feedback ist.

00:26:11: Dann ist glaube ich eingeholfen!

00:26:14: Ich finde den Gedanken so schön, dass man dadurch auch sichtbar macht wo Hilfe gebraucht wird.

00:26:20: Dass einfach sonst im ganzen Stressen Druck in all den Tobelnaufgaben die Leckkräfte haben in unserem System.

00:26:26: Dass dadurch einfach diese Möglichkeit geschaffen wird sehen zu können wo es tatsächlich hakt über solche Tolls weil es sonst einfach untergehen würde und dann Schüler in Hilfe kommen.

00:26:36: ich war selber eine Schülerin die bei sowas im Untergegang ist ja nicht gerade die lauteste und kann das deshalb.

00:26:41: also ich wäre dankbar gewesen wenn der Kräften etwas an handgegeben worden wäre, mit dem sie zumindest sehen können wo es vielleicht dann eben auch die menschliche Unterstützung richtig braucht und die Zuwendung.

00:26:53: Das finde ich richtig schön!

00:26:55: Und mag deswegen auch Kira dein Ansatz total?

00:26:58: dich mit deinen Studierenden da auch mal auseinanderzusetzen auf dieser zwischenmenschlichen Ebene.

00:27:03: Und ich glaube gerade diese menschliche Ebene wird durch KI ja dann umso relevanter, mich würde mal interessieren Kira ob du noch weitere Einblicke dann irgendwie aus der Forschung oder beziehungsweise aus dem Hochschulkontext hast wo du sagst da wird eine Wirkung entfaltet oder da siehst du den Mehrwert drin und auch die Relevanz in der Nutzung von KI-Tools für Feedback.

00:27:26: Also erstmal muss ich sagen, ich würde alles unterstreichen was Henrik gesagt hat.

00:27:30: Das ist tatsächlich also das was in der Schule gilt.

00:27:33: es haben wir an der Hochschule halt genauso und teilweise fast noch schlimmer weil wir dann in Vorlesung sitzen irgendwie bei zweihundert Studierenden.

00:27:42: da ist gar kein Feedback möglich.

00:27:43: und ich hatte letztens ein Studierendin im Master und er meinte Ich habe das erste Mal meinem Studium Feedback bekommen nach Vierinhalb Jahre Studium und ich war echt erschrocken.

00:27:54: Und das wissen wir aber auch aus Studien, es gibt sehr, sehr wenig Feedback an der Hochschule.

00:27:59: Da sind gar keine Ressourcen für da und das ist auch gar nicht... Na ja, das trennziert sich nicht vor uns Dutzierende.

00:28:07: Wir investieren da sehr viel Zeit rein.

00:28:08: Es wird eigentlich nicht wirklich gedankt oder da ist gar kein Raum dafür, da das zu machen.

00:28:12: Wir geben immer nur Noten wo wir auch wissen, dass bringt eigentlich nichts sondern was wir brauchen ist formatives Feedback.

00:28:18: Und genau wie Hendrik gesagt hat so, ich finde das ist eine tolle Möglichkeit einfach mal Feedback zu geben.

00:28:24: Also KI-Feedback ist besser als kein Feedback!

00:28:27: Das können wir glaube ich auf jeden Fall festhalten.

00:28:30: und was die Studienanlage angeht auch das hat Hendrika schon gesagt es ist ein bisschen... Ja, wir wissen ein bisschen was und es kann auch lernförderlich sein.

00:28:39: Aber da ist eine hohe Heterogenität in den Studien, viel Varianz.

00:28:43: Das ist wirklich einfach ein neues Forschungsfeld.

00:28:45: Wir wissen noch nicht viel.

00:28:46: Es ist gerade viel ausprobieren, viel mal gucken, was ist so?

00:28:49: Es entwickelt sich ja auch ständig weiter.

00:28:51: Wir haben immer neue Tools.

00:28:53: das macht es sehr schwer für die Forschung muss man auch sagen also der gute Studien genau durchzuführen.

00:29:00: Das is unfassbar schwierig Und einfach alles sehr schnell lebe ich.

00:29:04: manchmal sind dann die Studienergebnisse, die wir vor einem Jahr hatten irgendwie gar nicht mehr aktuell.

00:29:10: Genau also von daher glaube ich sind wir auch immer noch in so einer Phase wo wir ein bisschen rumprobieren müssen und ein bisschen gucken ja was kann es?

00:29:19: Was kanns nicht?

00:29:22: Wir haben hier noch nicht eine richtige Evidenzbasierung in dem Feld.

00:29:25: das wird auch glaube ich noch ein bisschen dauern bis wir da wirklich etwas zu sagen können.

00:29:29: Und ich fand deinem Punkt auch total spannend.

00:29:31: hinterher, was du meinst ist mit dem noch mal eine neue Perspektive reinbringen.

00:29:34: Wenn wir uns diese Therapiebereich beispielsweise gucken, ist es total wichtig dass wir auch mal den Therapeuten oder die Therapeutin wechseln.

00:29:41: So wenn wir immer jahrelang nur mit einer Person arbeiten dann steckt man irgendwann wieder fest so ein bisschen wie mit Selbstreflektion und Selbstreflexion ist toll.

00:29:49: aber irgendwann drehe ich mich im Kreis und das mache ich auch wenn ich immer nur mit der Person arbeite.

00:29:54: Und da die Möglichkeit zu haben, immer mehr noch mal neue Perspektiven geben zu lassen und sagen hey wie siehst du das denn?

00:29:59: Das finde ich total cool.

00:30:01: Also ich nutze es tatsächlich auch und sage manchmal so hey kannst du mir ein Tipp geben?

00:30:05: oder wie könnte ich das dann sehen?

00:30:06: und kommen dann nochmal auf andere Gedanken.

00:30:08: so und dafür finde ich ist das eine ganz tolle Möglichkeit die wir jetzt haben.

00:30:14: Ja super spannend!

00:30:16: Danke für die Einblicke.

00:30:18: richtig richtig toll.

00:30:21: Kira, du hattest eben ein Artikel genannt.

00:30:23: Irgendwie Chatchivity is only good for experts oder irgendwie so?

00:30:26: Ich hab den Titel nicht genau mir gemerkt.

00:30:28: aber das ist ja glaube ich auch ein ganz wichtiges Thema wie in vielen Bereichen dass die starken gestärkt werden und es ist ja so unglaublich wichtig dass wir mit diesem Thema alle erreichen weil ja auch ganz viel Hoffnung gesetzt wird darauf dass wir's eben schaffen können durch diese neue Technologie eben auch wirklich viel individuell zu unterstützen und zu fördern.

00:30:55: Was denke ich, wie schaffen wir es wirklich alle mitzunehmen?

00:30:58: Alle zu erreichen?

00:30:59: oder vielleicht Hendrik, wie machst du das?

00:31:01: Du bist zwar in dem Gymnasium aber trotzdem wird's da auch Unterschiede geben.

00:31:06: was sind eure Ansätze oder auch Ideen um vor allem auch diejenigen zu erreichen und zu unterstützen von KI zu profitieren die vielleicht noch nicht so viel Fachwissen Urteilsvermögen oder auch nicht so gute sprachliche Fähigkeiten mitbringen?

00:31:20: Ja, das ist ein ganz wichtiges und spannendes Thema.

00:31:23: Du musst ja denken wir haben im Prinzip so eine doppelte Bildungsschere.

00:31:25: Wir haben einmal Schülerinnen und Schüler die können sich die teuren Tools leisten und haben da irgendwelche großen Abuchs abgeschlossen und wir haben auf der anderen Seite Schülerin und Schüler, die können das eben nicht.

00:31:38: Und wir haben dann auch noch mal Schülerin und Schüler und da sind es vor allem die Leistungsstärkeren Die durch KI wirklich nochmal richtig einen Boost kriegen und befeuert werden Und wir haben eben Schülerinnen und Schüler, die vielleicht keine hohe Affinität zum Lernen haben.

00:31:52: Und die dann eben KI eher als Ghostwriter nutzen und eben kopieren.

00:31:58: Das ist eine ganz ungute Kombination, die einem wirklich Sorgen bereiten sollte.

00:32:05: Schulen sind glaube ich gut beraten wenn sie ihren Schüllerinnen und Schülern KI-Tools zur Verfügung stellen.

00:32:12: Wir haben das bereits vor drei Jahren gemacht dass wird zb allen Schülerinnen eine Facharbeit schreiben mussten in der Oberstufe.

00:32:21: Ein eigenes KI-Tools-Verführung gestellt haben, sodass sie eben nicht abhängig davon waren ob sich Mama oder Papa hier den Proplan von GCPT leisten können.

00:32:32: und was sich auch zeigt ist dass man einfach sagen muss das man Schülerinnen und Schüler tatsächlich auch fit machen muss.

00:32:40: also AI Literacy ist ein ganz großes Stichboard.

00:32:43: d.h.,

00:32:43: wenn Schülerinnen was KI kann und was KI nicht kann.

00:32:50: Und an welchen Stellen sie klug beraten sind, selbst zu denken oder in welchen stellen man vielleicht eben auch auf KI-Ergebnisse bauen kann?

00:32:59: Dann ist das schon mal ein großer Fortschritt!

00:33:00: Das heißt wir versuchen unsere Schülerinnen und Schülern wirklich auch zu fördern und zu ermächtigen solche Tools zu nutzen und ihnen eben aufzuzeigen... ...was Sie tun können damit einfach damit Sie so den Horizont haben das zu tun.

00:33:17: Und ein letzter Gedanke vielleicht noch, gerade wenn es sich um das Thema Feedback dreht.

00:33:25: Das zeigt sich auch in der Feedbackforschung.

00:33:27: ungefähr vierzig Prozent aller Schülerinnen und Schülern nehmen das Feedback gar nicht an.

00:33:33: Und das ist aber völlig unabhängig davon ob das von ihrer Lehrkraft kommt, von ihren Mitschülerinnen und Mitschülern oder vom KI-Feedback.

00:33:40: Und es liegt meiner Meinung nach vor allen Dingen daran – und das ist ja auch etwas was Kira grade gesagt hat Das gilt vielleicht für die Hochschule, vielleicht noch stärker als für die Schule.

00:33:49: Aber in der Schule im Besonderer Weise auch, dass wir eigentlich keine Feedback-Kultur haben.

00:33:54: Das heißt Schülerinnen und Schüler sind gar nicht gewohnt ihre Texte zu überarbeiten weil die Lehrkräfte so unter Druck stehen um Stoff weiterzukommen das einfach oft gar nicht die Zeit gegeben wird.

00:34:05: dann mit den Texten zur Arbeiten Die zu über arbeiten Und das ist ja etwas was wirklich Schleurin und Schüler Ja, vor der Herausforderung stellt.

00:34:16: mache ich das jetzt zu Hause freiwillig noch on top oder lass es einfach sein und das kann eigentlich nicht sein.

00:34:22: Also das heißt wir brauchen feste Feedbackzeiten in der Schule wo Schülerinnen und Schüler an ihren Texten arbeiten und feilen können.

00:34:31: Und wenn das fehlt ja dann haben wir eben im Prinzip diesen großen Gap dass die starken immer stärker werden und die schwachen gar nicht so sehr davon profitieren.

00:34:43: Ich fand das total spannend, ja darf ich ganz kurz.

00:34:45: Ich fand es total spannend weil ich habe das vorhin gerade schon gedacht als du auch über die Studienergebnisse gesprochen hattest dass es oft gar keinen Unterschied macht von wem des Feedback stand.

00:34:55: und dann dachte ich auch, dass hier das Problem eigentlich woanders liegen müsste nämlich das ist eigentlich gar nicht richtig.

00:35:01: klar ist wie Feedback entsprechend genutzt werden, verarbeitet werden kann.

00:35:07: Weil wir grundsätzlich zu spät nicht korrekt an der falschen Stelle im falschen Umfang eine Feedback-Kultur etablieren mit den Schülerinnen und Schülern.

00:35:15: Und das da eigentlich auch ein entscheidender Hebel ist für die Nutzung von KI.

00:35:18: Feedback weil... die Grundlage der Ursprung irgendwie erstmal angegangen werden sollte.

00:35:24: in dem Kontext.

00:35:25: Fand ich gerade ganz spannend, wollte ich nur kurz einschieben und nochmal anmerken weil ich das super Bemerkungswert finde dass sich das da dann auch widerspiegelt ins Studienergebnis, den es jetzt gibt

00:35:35: Total und das was Kira eben sagte, dass es an der Hochschule oft überhaupt gar kein Feedback gibt.

00:35:41: Diese Geschichte von dem Student im vierten oder fünften Semester oder ja sogar ein Masterstudium.

00:35:48: Wahnsinn.

00:35:49: also da gibt's dann hoffentlich gutes oder gibt es Potenzial wie man das noch verbessern kann.

00:35:55: Hendrik hat es gerade schon so wunderbar ausgeführt mit dieser Schere.

00:35:59: Aber vielleicht nochmal bei euch an der Uni, wie ist das denn?

00:36:04: Habt startet ihr die Studierenden aus mit Hohls?

00:36:07: gibt es da entsprechende Unterstützung?

00:36:09: ich glaube du machst viel in dem Bereich aber wie vermutlich oft hängt es dann an einzelnen Personen.

00:36:15: Vielleicht kannst Du einfach mal ein bisschen einen Überblick geben wie Du's ansonsten wahrnimmst.

00:36:22: Ja, genau.

00:36:23: Wir haben ein Tool also wir haben UAHGPT was allen Studierenden zur Verfügung gestellt wird.

00:36:29: das gibt es zumindest.

00:36:30: aber ich glaube ein großes Problem ist immer noch dabei.

00:36:33: Es gibt viel Unsicherheit dass nämlich so war bei den Studierende und auch bei den Dutzierenden.

00:36:39: Wir diskutieren gerade sehr viel darüber, wie müssen wir Prüfung gestalten.

00:36:42: Darf gar überhaupt genutzt werden für Hausarbeit und für Abschlussarbeiten?

00:36:45: Was prüfen wir denn da eigentlich wenn wir das erlauben?

00:36:48: Und dann gibt es schon immer noch so Stimmen die sagen nee, das muss aber dann hier irgendwie verboten werden.

00:36:54: oder die Studierende fallen durch, wenn sie's nutzen und ich glaube dass ist echt eine Phase wo superviel Unsicherheit vorherrscht wo ich immer versuche zu... Also, ich sage dann immer ihr dürft es nutzen.

00:37:06: Auf jeden Fall macht das und wenn das gut genutzt ist, dann ist das doch toll!

00:37:09: Dann ist das eine tolle Hausarbeit die ich gerne lese.

00:37:13: Und ich sehe da aber auch eine sehr große Schere.

00:37:16: also da gibt Studierende, die arbeiten sich total ein in das Thema.

00:37:20: Die nutzen das wirklich, wirklich gut und dann gibt's andere, die sich gar nicht ran trauen.

00:37:24: Also die einfach sagen Ich habe so Angst dass ich da jetzt irgendwie durchfalle oder dass mir keine Ahnung, Plagiat vorgeworfen wird.

00:37:31: Oder Fälschung oder was auch immer, das sie es eben nicht nutzen und sich da gar nicht so richtig ran trauen.

00:37:37: Also das haben wir hier auch an der Hochschule.

00:37:38: Und ich glaube wirklich, das ist ein großes Problem, was wir gerade aktuell einfach noch haben – diese sehr starke Unsicherheit.

00:37:47: Wir haben jetzt ja auch an den Uni verschiedene... Orientierungsrahmen oder Richtlinien und die müssen aber trotzdem da auch am Ende unterschreiben.

00:37:58: Zum Beispiel, wofür haben Sie KI genutzt wenn sie jetzt eine Hausarbeit abgeben?

00:38:00: Und in welchem Umfang haben Sie es genutzen?

00:38:02: Das ist schon wieder so.

00:38:03: eine Kontrolle.

00:38:04: also wo ich so denke davon will ich eigentlich weg Ich will das nicht kontrollieren.

00:38:07: Die sollen es nutzen und wenn's gut ist ist es gut So.

00:38:12: wir müssen glaube ich auch schon über Prüfungsformate einfach nachdenken.

00:38:16: das ist total wichtig.

00:38:18: Was ich gerade mache in meiner Forschungswerkstatt sind mündliche Prüfungen, wo Studien auch zum Thema KI dann kritisch diskutiert werden.

00:38:26: Und das finde ich total wichtig und da habe ich auch das Gefühl, da nehmen die wahnsinnig viel mit.

00:38:31: Ja weil es einfach irgendwie... Da setzen sich halt wirklich nochmal sehr damit auseinander.

00:38:36: und genau was Hendrik ja auch schon gesagt hat so Feedback kann ja auch irgendwie lernhinderlich sein oder sich schlecht auswirken Wenn du es nicht gut nutzt, dann ist das auch vielleicht nicht förderlich.

00:38:52: Und wir müssen einfach das machen mit den Studierenden an der Hochschule.

00:38:57: Wir müssen die da ranführen und wir müssen Workshops geben, wir müssen auch die Möglichkeit geben Fehler zu machen – das finde ich ganz wichtig!

00:39:04: Also diese Feedback-Kultur ist wirklich komplett unterstreichen.

00:39:06: Wir brauchen eine Feedbackkultur von Anfang an, wir brauchen auch eine Fehlerkultur.

00:39:11: Und es gibt es Produkte Failure, da gibt's auch Studien zu.

00:39:13: Fehlermachen ist total wichtig.

00:39:15: Bis lernen!

00:39:16: Und da die Möglichkeit zu geben, das fände ich toll mit Feedback schleifen.

00:39:21: Wir wissen auch wir brauchen Feedback-Loops.

00:39:22: Einmal Feedback reicht auch nicht sondern es muss irgendwie so ein Prozess sein und da müssen wir eigentlich alle ein bisschen mutiger werden das zuzulassen

00:39:29: Das unterstreiche ich sofort Mutigerwerten Unsicherheiten aushalten und bevor wir gleich über das Thema Prüfungen was ja auch super wichtig nochmal zu sprechen kommen Was du gerade auch gesagt hast, dass so viel Unsicherheit herrscht und es führt dir dann auch zur Ungerechtigkeit.

00:39:45: Einige trauen sich, sind frech machen einfach und andere nicht.

00:39:48: Und tatsächlich habe ich jetzt immer wieder schon gelesen, dass Studierende ganz zum Ende des Studiums quasi exmatrikuliert werden weil sie betrogen haben sozusagen mit KI oder das ihnen vorgeworfen wird.

00:40:02: Das ist ja schrecklich!

00:40:03: Dann hat man fünf Jahre eventuell investiert und dafür braucht's doch eigentlich andere Lösungen oder Wege.

00:40:10: Und also die Vorstellung ist echt schlimm, ne?

00:40:13: Also ja gut es wollte ich nur noch mal ganz kurz ergänzen.

00:40:17: und aber lass uns nochmal über Prüfungen sprechen!

00:40:21: Ja ich glaube es herrscht dadurch auch ein bisschen so eine Vertrauenskrise.

00:40:24: würde ich tatsächlich was behaupten weil einfach mal nicht mehr richtig weiß okay darf das darf ich das nicht bekomme ich eine Strafe dafür nicht dass jetzt verwende einfach weil nicht ganz klar ist was erlaubt ist und was nicht?

00:40:36: du hast es ganz schön benannt Orientierungsrahmen genannt.

00:40:39: Das ist die gibt, das ist total toll!

00:40:43: Es ist schön sich innerhalb dessen schon mal so ein bisschen orientieren zu können aber es schafft eben keine Sicherheit und Wissen und Vertrauen schafft nun mal auch einfach Sicherheit und die muss daneben bestehen.

00:40:53: deswegen finde ich den Ansatz ja bei dir so schön Kira dass du auf dieser persönlichen Ebene mit den Studierenden auch arbeitest.

00:41:00: darüber hinaus würde mich aber generell das Thema Prüfungskultur jetzt nochmal interessieren und was du dir vielleicht wünscht, dass eine Prüfungskultur an der Hochschule richtig gelebt werden kann.

00:41:12: Dass dieses Vertrauen entsteht was vielleicht nicht nur du praktiziert sondern was du dir vielleicht auch von Kollegen und Kolleginnen wünsst und von der Universität in Hochschulen generell als Ganzes das es vielleicht mehr gibt als nur ein Orientierungsrahmen?

00:41:25: Ja ja das ist ein großes großes Thema und was ich total schwierig finde wir haben ja aktuell quasi die Situation, wir haben Vorlesung Seminare.

00:41:35: Am Ende wird meist eine Klausur geschrieben oder eine Hausarbeit dann kriege ich ne Note und das war's so.

00:41:39: da passiert kein formatives Feedback Da ist kein Prozess dahinter Und wie ich mir das eigentlich vorstelle wäre tatsächlich einfach mal so zwischen Produkte zum Beispiel abzugeben und So habe ich das auch in meinem Seminar gemacht.

00:41:51: erste Hausarbeit die haben das abgegeben.

00:41:53: Achtzig Prozent mussten nochmal neu machen was aber auch total okay war.

00:41:58: also das fand ich total spannend.

00:42:00: da hatte Ich nämlich mit dem Fedu Fisch gearbeitet Und da hat dann zum Beispiel ein Student gesagt, Fellowfisch war sehr positiv und bei dir bin ich aber durchgefallen.

00:42:08: Aber berechtigt!

00:42:10: Das fand ich irgendwie ganz cool weil die das wirklich gut aufgefasst haben gesagt haben oh das bringt mir was Ich kann jetzt nochmal eine Schleife gehen und manche haben viel schleifen gemacht Die haben einfach viel mal überarbeitet immer wieder abgegeben und ich habe gesagt ihr kommt alle durch Ihr müsst halt nur vielleicht ein bisschen länger noch einmal dran arbeiten.

00:42:28: Es ist aber nicht so vorgesehen überhaupt nicht Genau.

00:42:32: Ich glaube, ich mach das jetzt einfach so und normalerweise läuft es ja aber nicht so.

00:42:36: Und da würde ich mir auch wieder den Mut wünschen dass wir einfach mal sagen Wir gehen mehr in diese Richtung Prozesse abzubilden immer wieder zwischendurch Feedback zu geben und weniger dieses.

00:42:48: am Ende steht die Prüfung.

00:42:49: Das finde ich quatscht!

00:42:50: Und wir alle haben hier zum Beispiel schlechte Tage.

00:42:52: Was ist denn wenn ich jetzt eine Klausur schreibe?

00:42:54: Ich bin total schlecht drauf.

00:42:55: Ich habe Kopfschmerzen mit ein bisschen krank Muss jetzt trotzdem die Klausurschreibung.

00:42:58: Das bildet doch gar nicht ab was ich kann.

00:43:00: So, das ist immer so ein kleiner Status quo den wir da irgendwie uns rauspicken und darauf diese Note geben.

00:43:06: Ich finde generell weg mit Noten, so weg mit diesen einzelnen Prüfungen, sondern ja vielleicht wirklich so einen... Wir haben zum Beispiel in der Lofana wo ich war mit einem Portfolio gearbeitet.

00:43:17: Wo man immer wieder Sachen ergänzen kann, wo man überarbeiten kann was einfließen lassen kann, wofür selbst Reflektion dabei ist.

00:43:24: Das find' ich zum Beispiel ein tolles Prüfungsformat.

00:43:26: Warum können wir nicht so Portfolios vielleicht nutzen?

00:43:30: Generell würde ich mir, das ist jetzt aber sehr... Das wird nicht passieren vermutlich.

00:43:34: Aber generell würde es teufeln weg von Noten zu gehen und einfach zu sagen ist bestanden und nicht bestanden.

00:43:40: Und bestanden ist auch schon ... Ich war da, ich war motiviert, ich habe mitgemacht.

00:43:45: Genau!

00:43:45: Ich hab Fehler gemacht und habe aber dran gearbeitet und das wirklich auch wertzuschätzen.

00:43:50: Auch mal zu sagen, ey, da bin ich jetzt ... Das war total doof meine Hausarbeit, das war richtig schlecht.

00:43:55: Aber hey, ich hab's noch einmal geschrieben und nochmal, nochmal und jetzt ist das gut geworden so Und das fände ich toll, wenn wir da irgendwann hinkommen würden.

00:44:04: Wir

00:44:05: dürfen ja träumen.

00:44:08: Ich muss tatsächlich auch aus eigener Erfahrung sagen, dass Noten bei mir auch immer mehr den Druck ausgelöst haben und Freude in mir erst für Dinge entfacht haben als dieser Notendruck weg war.

00:44:18: Ich habe Kunstgeschichte studiert und hab das eigentlich gern gemacht bis eben viel dieser Druck dazugekommen ist.

00:44:24: Und inzwischen weiß ich mehr über Kunst und hat mehr Bekunft gelernt, seitdem ich es nicht mehr studiere weil ich es außerhalb dessen aus eigenem Antrieb herausmache und es irgendwie schön ist ein bisschen mehr darauf zu vertrauen, dass Menschen aus eigenerem Wunsch raus sich für Sachen interessieren können, ohne dass sie in Herze der Noten geprüft werden müssen darauf.

00:44:42: Deswegen finde ich den Ansatz noch mal schön.

00:44:43: Ich habe eine Rückfrage noch Kira das mir wichtig dir zu stellen und zwar du hattest gesagt, dass du zum Beispiel dann auch nicht so viel Wert drauf legst, dass die sagen, das hab' ich mit KI gemacht oder das hab', ich mit KAI gemacht sondern da mehr Freiheit besteht.

00:44:56: jetzt glaube ich würde es viele geben die sagen ja aber man muss ja noch kennzeichnen was menschliche Eigenleistung ist und was KI-Leistungen ist.

00:45:02: Da würde mich nur nochmal deine Sicht darauf interessieren hast.

00:45:07: Weil das ist kurz eingeordnet, weil ich kann mir vorstellen dass viele da ja

00:45:12: das finde ich auch tatsächlich ganz ganz schwierig, weil da habe ich mir natürlich auch die Frage gestellt, weil wenn ich jetzt ein Hausarbeiter kriege die komplett mit KI generiert ist was ist die Eigenleistung?

00:45:21: So da ist er immer dafür keine mehr dabei wobei man auch wieder sagen könnte naja wenn es gut gemacht ist dann ist auf jeden Fall AI Literacy so könnte man ja auch wieder als Kompetenz sehen.

00:45:32: Aber was ich zum Beispiel mache jetzt bei Abschlussarbeiten ist, dass die einfach etwas Empirisches machen müssen.

00:45:37: Also ich nehme keine Theorie-Arbeiten mehr an sondern die führen ein eigenes kleines Forschungsprojekt durch und das gewichte ich dann zum Beispiel einfach stärker.

00:45:46: also da führen die ja Interviews oder eine Befragung durch und es kann die KI hier auch nicht... machen.

00:45:53: Von daher, da ist ja auch schon eine sehr hohe Eigenleistung sich überhaupt zu überlegen was will ich denn da überhaupt erheben?

00:45:58: Was sind meine Forschungsfragen?

00:45:59: die muss ich davor gehen.

00:46:00: Ich muss ein Interviewleit faden erstellen und so weiter Und dann kann der Theoretal mit KI geschrieben sein.

00:46:06: Aber das ist dann trotzdem die Eigenleistungen Was ich schade finde.

00:46:10: wir haben mündliche also Wir haben es abgeschafft dass sie die Master bei quasi mündlich nochmal verteidigen müssen und Das fand ich eigentlich.

00:46:17: das hatten wir bis von dem Jahr hatten wir das noch.

00:46:20: Dann haben sie quasi in der mündlichen Prüfung ihre Masterarbeiten dann präsentiert.

00:46:24: Und da, finde ich, merkt man dann ja, haben Sie das verstanden was Sie da gemacht haben oder nicht so und das haben wir jetzt nicht mehr so.

00:46:32: Das finde

00:46:33: ich... Da will ich gleich mal einhaken.

00:46:35: ist diese Entscheidung gefallen bevor KI in unserem Leben war?

00:46:41: Genau, das braucht es ja eigentlich heute.

00:46:43: Das ist die bessere Art der Prüfung, würde ich denken.

00:46:46: Total!

00:46:47: Haben wir das entschieden nach dem Chatchi-BT raus oder davor?

00:46:51: Nee, die Prozesse an der Uni sind sehr langfristig geplant und dann wurde das Curriculum quasi überarbeitet und da wird gesagt, wir machen das nicht mehr... Und dann kam KI und dann wird's nichts zurückgeändert und ich glaube, wir dürfen es nur alle zehn Jahre so ändern.

00:47:03: Genau deshalb stimmen wir jetzt ein bisschen.. Wir haben aber als Pondor diese Forschungswerkstatt, die auch habe wo wir auch eine mündliche Prüfung machen dürfen.

00:47:12: Und wir diskutieren da auch viel drüber, also das ist schon viel so dass wir hier in der Uni auch überlegen wie können wir das denn ändern und wir müssen... Wir sind uns auch bewusst darüber, wir müssen auch Prüfungsformate einfach anpassen und ich finde wirklich mündliche Prüfungen, ist eine tolle Möglichkeit auch ein Bandsgespräch zu gehen.

00:47:30: Und wenn da eine Vertrauensbasis herrscht, auch ein bisschen Druck rauszunehmen – ich meditiere zum Beispiel immer erst mal mit meinen Studierenden bevor die die Prüfung machen das ist irgendwie auch oder wir schütteln mal so ein bisschen alles raus den Stress und so.

00:47:41: also man kann es ja auch irgendwie nett gestalten.

00:47:44: so eine Prüfungssituation und genau.

00:47:46: ich finde aber wir müssen halt weg eigentlich von Hausarbeiten also nur schriftlichen Produkten genau oder vielleicht mit auf, nehmen das zu reflektieren an dem Prozess.

00:47:56: Das kann man ja zum Beispiel auch mitmachen, dass man sagt okay schreibt die Hausarbeit mit KI aber dann reflektiert es nochmal wie hat das funktioniert?

00:48:02: Was hat gut funktioniert was nicht?

00:48:04: Was sind so deine Learnings daraus?

00:48:06: Auch das finde ich spannend.

00:48:08: also gibt viele Möglichkeiten wie man das verändern könnte.

00:48:15: Ja, tatsächlich gibt es halt so viel mehr Wege Prüfungen irgendwie auch ganzheitlicher zu gestalten.

00:48:21: Also nicht nur einen Aspekt zu betrachten beim Abfragen des Wissens oder der Kompetenzen.

00:48:26: der Kenntnisse sind dann so vielmehr und ich würde in diesem Zug auf nochmal auf Schule blicken Hendrik, ich weiß du bist da ja auch in eurer Schule Experimenteller unterwegs.

00:48:40: In Sachen Prüfungen.

00:48:42: Ich habe auch von dieser wunderbaren Deutschklausur gehört die ihr da geschrieben habt wo ihr auch sehr viel freier gearbeitet habt mit dem Konzept eines Prüfungsformats und wird es halt mal ganz gerne noch wissen wie das vielleicht auch gekoppelt an KI bei euch an der Schule schon praktiziert wird was ihr da macht dass es dafür Ideen, Ansätze schon gibt vielleicht auch für positive Erfahrungen.

00:49:07: Vielleicht auch für negative Erfahrungen das würde mich mal noch sehr interessieren jetzt auch im Kontrast zu dem was in Hochschule, Hochschulkontext passiert?

00:49:17: Ja sehr gerne.

00:49:18: ich kann euch vielleicht mal so zwei drei Beispiele vorstellen die ich selbst beim Unterricht erprobt habe aber vielleicht nochmal sozusagen einen Schritt zurückgehen weil die Schülerinnen und Schüler nutzen natürlich auch schon sozusagen zur Klassenarbeits- und Klausurvorbereitung.

00:49:34: Da wollte ich euch eine schöne Anekdote mal erzählen aus meiner elften Klasse, die dann als es an die Klausure ging ihre gesamten Unterrichtsmaterialien genommen haben, die in der KI eingepflegt haben und die gefragt haben was ist jetzt auf der Basis des Unterrichtsverlaufes?

00:49:53: Die wahrscheinlichste Szene der HoverCamp hier als Klausurtext auswählen wird Und es hat für die wunderbar funktioniert.

00:50:01: Also, die KI hat dann offensichtlich relativ gut erraten können was jetzt die wahrscheinlichste Szene sein wird.

00:50:07: wir haben Drama gelesen und waren dann entsprechend gut vorbereitet.

00:50:12: also man kann mit KI glaube ich dieses System das ja ganz oft auf Reproduktion ausgelegt ist und auf dem Musterhaften erfüllen von Erwartungshorizont natürlich auch wunderbar aus dribbeln als Schüler und dass vielleicht so vorab.

00:50:25: Was wir jetzt tatsächlich mit KI-Einsatz in Prüfung erprobt haben ist, dass wir den Schlürrinnen und Schülern erlaubt haben zum Beispiel ein Chatbot auch in der Klausur zu nutzen.

00:50:38: Sie mussten nur kändlich machen welche Textbassagen von ihnen stammen und welche die KI geschrieben hat.

00:50:46: also es war eine hybride Klausurt zulässig und sie mussten im Nachgang begründen warum sie jetzt an welchen Stellen KI benutzt oder eben nicht benutzt haben.

00:50:56: Und es war damals, glaube ich eine Argumentation die Schülerinnen und Schüler schreiben sollten.

00:51:00: Da haben die Schüler gesagt also als Ideen- und Steinbruch für Argumente war das super gut geeignet sich mit KI da Ideen generieren zu lassen.

00:51:10: was so eine KI dann eben nicht gut kann ist zum Beispiel Studienergebnisse als Belegquellen anzugeben oder persönliche Erfahrungen mit einzubringen sodass die Schülerinnen und Schüler da relativ gut begründen konnten, warum sie jetzt also KI genutzt haben oder nicht genutst haben.

00:51:26: Ich habe noch ein zweites und drittes Beispiel.

00:51:30: Das zweite Beispiel ist jetzt gerade vor zwei Wochen durchgeführt worden.

00:51:35: Da haben Schülerinnen- und Schüler einen Jugendbuch gelesen und in diesem Jugendbuch ging es um Cybermobbing und Mediensucht, um Social Media und Sie sollten dann ausgehend... von dieser Lektüre sich im wirklichen Leben einen Experten suchen und die haben dann tatsächlich Psychologen angeschrieben.

00:51:54: Die haben Universitätsprofessorinnen angeschieben, die haben professionelle Gamer angeschrien und mussten mit denen ein zwanzigminitiges Interview führen.

00:52:05: Und diese Vorbereitung des Interviews haben sie auch mit KI gemacht, mit einem KI-Assistenten der ihnen geholfen hat den roten Faden zu entwickeln und vernünftige Fragen zu stellen.

00:52:18: Und sie haben sich das Ganze dann von KI vielleicht auch noch transkribieren lassen und konnten dann das Interview mit in die Klassenarbeit nehmen, mussten dann in der Klassenarbeit allerdings ohne KI-Einsatz dann sozusagen ihre Learnings zusammenfassen.

00:52:31: Und auf das Buch was Sie vorher gelesen haben anwenden.

00:52:35: Und jetzt tatsächlich in der Klassennarbeit mit KI – das ist jetzt auch etwas was wir vor ein, zwei Wochen erst ausprobiert haben.

00:52:44: Zusammen mit Dr.

00:52:46: Maurice Fürstenberg von der LMU mache ich gerade so ein Unterrichtsmodell zum Thema KI-Einsatz in Klassenarbeiten und Klausuren, da haben wir einen Format ausprobiert für die Schülerinnen und Schüler erstmal einen informierenden Sachtext schreiben mussten.

00:53:02: sie durften ein eigenes Material mit in die Klassenarbeit bringen und mussten dann aus vier Materialien eben einen informierenen Sachtest machen und haben am Ende der ersten Doppelstunde die Arbeit ganz normal abgegeben.

00:53:17: Und ich habe dann ihnen gesagt, okay wenn du jetzt nichts überarbeiten würdest wäre das jetzt sozusagen vielleicht die Note drei plus.

00:53:25: aber an deiner Stelle würde ich mir folgende Aspekte nochmal ganz genau anschauen.

00:53:30: und wir haben dann im Prinzip die Texte einmal durch Fellowfish durchgejagt und haben dann eben anhand der acht Bewertungskriterien Feedbackkriterien generiert Und haben den Schülern gesagt, also ich würde mir noch mal das Kriterium eins vier und fünf anschauen.

00:53:44: Eine Woche später haben die Schülerinnen und Schüler dann ihre korrigierten Texte wiederbekommen und hatten dann nochmal eine Stunde Zeit zusammen mit Fellowfish ihre Klassenarbeit um Klausur zu bearbeiten.

00:53:58: Und haben dann einen finalen Text abgegeben und es wurde dann eben der Eingangstext bewertet auch der finale Text aber auch der Überarbeitungsprozess.

00:54:09: Das kann ich mir ein Fällefisch auch sozusagen anzeigen lassen.

00:54:12: Also welche Veränderungen haben Schülerinnen und Schüler an dem Text vorgenommen, haben sie tatsächlich die Feedback-Kriterien, die ich ihnen empfohlen habe zu überarbeiten, überarbeitet?

00:54:23: Und haben dann sozusagen jetzt eine globale Note für alle drei Bereiche also für die Produkte aber eben auch für den Prozessen.

00:54:31: das ja auch was Kira gerade schon gesagt hat müssen weg von diesen summativen Rückmeldung hin zu vielleicht eher formativen, prozessorientierten Rückmeldungen.

00:54:42: Das war jetzt so mal ein Versuch um eben auch diese Überarbeitungskompetenzen in einer Klassenarbeit stärker zu gewichten.

00:54:52: Richtig richtig toll und da kann ich mir das sehe ich schon richtig wie Das Feedback wirken kann und wie die Schülerinnen und Schüler lernen können.

00:55:01: Aber ich sehe auch, was das für ein Aufwand ist.

00:55:03: Also ich kann mir vorstellen Hendrik dass der Auffand für dich da vermutlich höher war als eine klassische Klassenarbeit zu schreiben weiß ich jetzt nicht genau.

00:55:13: aber das sind richtig tolle Beispiele die zeigen was heute schon möglich ist.

00:55:19: Wir sind jetzt leider auch schon am Ende angekommen.

00:55:23: Ich fand es super spannend, heute diese Einblicke zu bekommen von Schule und Hochschule.

00:55:32: wenige Unterschiede, aber letztendlich stehen wir vor den gleichen Herausforderungen.

00:55:38: Genau deswegen vielen Dank dass ihr heute dabei war das ihr euch die Zeit genommen habt und wir bleiben gemeinsam dran und ich freue mich ja auf alles was noch sich entwickelt und dass wir vielleicht hoffentlich gemeinsam durch diesen Human in the Loop mit Technologie unterstützt die Bildung besser machen können.

00:56:06: Der

00:56:06: Vogelspodcast rund um Schule und KI.