Oldenburg Ende Februar kann sehr neblig und kalt sein. Statistische Daten ebenso. Vielleicht daher mein Unbehagen an dem, was viele der Vorträge auf der Tagung Diagnostik für lernwirksamen Unterricht (28.02.-01.03) als Ergebnisse empirischer Bildungsforschung zu bieten hatten. Nun fiel das auch noch zusammen mit der Lektüre von David Brooks' Kolumne (in der NYT International Weekly - Süddeutsche vom 01.03.) mit dem Titel What Data Can't Do , in der die Aporien empirischer (Bildungs-)Forschung selten klar formuliert werden:

The big novelty of this historic moment is that our lives are now mediated through data-collecting computers. In this world, data can be used to make sense of mind-bogglingly complex situations. Data can help compensate for our overconfidence in our own intuitions and can help reduce the extent to which our desires distort our perceptions.

But there are many things big data does poorly. Let’s note a few in rapid-fire fashion:

Data struggles with the social. Your brain is pretty bad at math (quick, what’s the square root of 437), but it’s excellent at social cognition. People are really good at mirroring each other’s emotional states, at detecting uncooperative behavior and at assigning value to things through emotion.
Computer-driven data analysis, on the other hand, excels at measuring the quantity of social interactions but not the quality. Network scientists can map your interactions with the six co-workers you see during 76 percent of your days, but they can’t capture your devotion to the childhood friends you see twice a year, let alone Dante’s love for Beatrice, whom he met twice.
Therefore, when making decisions about social relationships, it’s foolish to swap the amazing machine in your skull for the crude machine on your desk.

Data struggles with context. Human decisions are not discrete events. They are embedded in sequences and contexts. The human brain has evolved to account for this reality. People are really good at telling stories that weave together multiple causes and multiple contexts. Data analysis is pretty bad at narrative and emergent thinking, and it cannot match the explanatory suppleness of even a mediocre novel.

Data creates bigger haystacks. This is a point Nassim Taleb, the author of “Antifragile,” has made. As we acquire more data, we have the ability to find many, many more statistically significant correlations. Most of these correlations are spurious and deceive us when we’re trying to understand a situation. Falsity grows exponentially the more data we collect. The haystack gets bigger, but the needle we are looking for is still buried deep inside.
One of the features of the era of big data is the number of “significant” findings that don’t replicate the expansion, as Nate Silver would say, of noise to signal.
Big data has trouble with big problems. If you are trying to figure out which e-mail produces the most campaign contributions, you can do a randomized control experiment. But let’s say you are trying to stimulate an economy in a recession. You don’t have an alternate society to use as a control group. For example, we’ve had huge debates over the best economic stimulus, with mountains of data, and as far as I know not a single major player in this debate has been persuaded by data to switch sides. ...

Data obscures values. I recently saw an academic book with the excellent title, “ ‘Raw Data’ Is an Oxymoron.” One of the points was that data is never raw; it’s always structured according to somebody’s predispositions and values. The end result looks disinterested, but, in reality, there are value choices all the way through, from construction to interpretation.

Das trifft sehr gut, was als Problem hinter den Versuchen steckte, die diagnostische Kompetenz von Lehrerinnen und Lehrern zu professionalisieren (wogegen ja erstmal nichts zu sagen ist!): aus einer impliziten Alltags-Diagnostik (geleitet allenfalls von Alltagstheorie) eine explizite, wissenschaftliche Diagnostik zu machen (wogegen ja auch noch nichts zu sagen ist, weil ja unstrittig ist, dass das Lehrer-Alltags-Vor-Urteil höchst problematisch ist!).
Problematisch aber wird die postulierte Verwissenschaftlichung auf dem fast durchgängig propagierten Weg, pädagogische Fragestellungen im Kontext von Erziehung und Bildung mit den Mess-Methoden der Psychologie bzw. der empirischen Bildungsforschung "akkurat" beantworten zu wollen.
Und zu meinen, dass sei dann Diagnose, - womit als Diagnosekompetenz dann übrig bleibt die Fähigkeit (= Kompetenz??), die passenden Diagnosetools aus dem Diagnosepool auszuwählen und anzuwenden, und nicht die Fähigkeit, Lernvoraussetzungen, -potentiale und -schwierigkeiten von Schülerinnen und Schülern selbst differenzierter wahrzunehmen und theoriegeleitet zu interpretieren,

• u.a. durch Weiterentwicklung der eigenen social cognition (s. o. Brooks: People are really good at mirroring each other’s emotional states, at detecting uncooperative behavior and at assigning value to things through emotion.)

• und der eigenen Fähigkeit, Kontexte strukturiert zu erfassen und zu deuten (s. o. Brooks: People are really good at telling stories that weave together multiple causes and multiple contexts. Data analysis is pretty bad at narrative and emergent thinking, and it cannot match the explanatory suppleness of even a mediocre novel. )!

Die Frage, die nicht gestellt wurde, war die, ob Computer-driven data analysis geeinet ist, diese Fähigkeiten weiter zu entwickeln:
In einem Vortrag zur Diagnostik experimenteller Kompetenz: Testverfahren und prozessorientierte Auswertungsmedthoden wurde der Versuch geschildert, eben die experimentelle Kompetenz von Neuntklässlern im Fach Physik so zu modellieren, dass sie - prozessorientiert - messbar werde. Wenn ich das richtig verstanden habe, geht das nicht oder führt nur zu Aussagen sehr begrenzter Reichweite. Das liegt daran, dass sich der beobachtete Versuchsaufbau eines Schülers wohl in Handlungssequenzen zerlegen lässt, in deren Analyse und Modellierung das Produkt und sogar die fachliche und Arbeitsqualität der jeweiligen Handlungsschritte eingehen können, nicht aber das narrative and emergent thinking, das das beobachtete Subjekt zu den beobachteten Handlungen veranlasst! Um Aufschluss daüber zu erlangen, müsste man das handelnde Subjekt wohl mal befragen: gespannt auf die Erzählung that weaves together multiple causes and multiple contexts.

Zuweilen war ich bei diesen Vorträgen geneigt einzuwerfen, dass man das oder wenigstens einiges doch vorher hätte wissen können (vgl. z.B. Hans Aebli: Denken - Das Ordnen des Tuns) und nicht all die wertvolle Arbeitskraft und die Forschungsgelder in Vorhaben hätte stecken müssen, die letztlich nur dazu dienen that our lives are mediated through data-collecting computers (s. o. Brooks). Aber diese Kritik ginge wohl am Wissenschaftsbetrieb, wie er nun einmal ist, vorbei ...

I. Ü. bleibe ich dabei, dass man über Unterricht gar nichts rauskriegt, wenn man nicht Holzkamps Unterscheidung von defensiven und expansiven Lerngründen berücksichtigt!

Die Problematik, aus "Daten" Schlussfolgerungen für lernwirksamen Unterricht zu gewinnen, wurde i. Ü. in der kritischen Auseinandersetzung mit der allseits hochgejazzten Hattie-Studie : Visible Learning bereits formuliert; - vgl. etwa
- Georg Lind: Meta-Analysen als Wegweiser? Zur Rezeption der Studie von Hattie in der Politik
- Hans Brügelmann – Die Hattie-Studie
- Ewald Terhart: Hat John Hattie tatsächlich den Heiligen gral der Schul- und Unterrichtsforschung gefunden? Eine Auseinandersetzung mit “Visible Learning”
(alle via Forum Kritische Pädagogik)

So what?

- fragte Rolf Dubs in seinem Vortrag (den zu hören und zu sehen allein den Besuch der Tagung lohnte!), und es wurde - für mich - überzeugend deutlich, dass die Diagnose von Schwierigkeiten beim Lernen im alltäglichen Unterricht zuallererst diagnostischen Optimismus (Dubs) braucht =
- tägliche Sensibilität,
- die individuelle Beobachtung im täglichen Unterricht, -
freilich auf der Grundlage fundierten wissenschaftlichen Wissens über Lerntheorien, Fachdidaktiken und vor allem über Metakognition!
- Aber warum sollten Lehrerinnen und Lehrer sich das nicht aneignen können?! Anstatt s. o. lediglich qualifiziert zu werden tools aus pools zu nutzen!!


Da war dann keine Oldenburger Datenkälte mehr ... Auf hohem theoretischem Niveau reflektierte Erfahrung mit emphatischem Bezug zu pädagogischen Grundwerten (s. o. Brooks: ... data is never raw; it’s always structured according to somebody’s predispositions and values. The end result looks disinterested, but, in reality, there are value choices all the way through, from construction to interpretation.)!

Ich will nicht leugnen, dass das, was Dubs mit professionellem Lehrerhandeln meint, sehr viel schwieriger zu realisieren - und schwieriger auszubilden - ist als das, was aktuell als Diagnosekompetenz gehandelt wird, aber es lohnt sich, das in der Auseinandersetzung mit der herrschenden Kompetenzkatastrophe zu versuchen ...

Die Kompetenzkatastrophe (I) - Oder: Machtausübung durch Individualisierung: Pastoralmacht relaunched