In zahlreichen US-Schulen wird KI-gestützte Software zur Überwachung und Analyse des Verhaltens und der psychischen Gesundheit der Schüler eingesetzt. Was als gut gemeinter Versuch begann, Kinder und Jugendliche vor Selbstverletzungen zu schützen, hat sich zu einem komplexen und oft beunruhigenden Szenario entwickelt, bei dem Algorithmen anhand der Computeraktivitäten der Schüler feststellen, ob sie selbstmordgefährdet sind.

Wie Natural News mit Bezug auf die New York Times berichtet, überwacht Software wie GoGuardian Beacon die Online-Aktivitäten von Schülern auf von der Schule ausgegebenen Geräten und weist auf mögliche Selbstmordgedanken hin. Die Technologie interpretiere die Daten jedoch häufig falsch, was zu Fehlalarmen und traumatischen Vorfällen führe, wie zum Beispiel dem Besuch von Strafverfolgungsbehörden bei Schülern. Kritikern zufolge verletzt diese invasive Überwachung die Privatsphäre der Schüler, ohne dass die Wirksamkeit nachgewiesen ist.

Laut der NYT wurde beispielsweise in Neosho, Missouri, ein 17-jähriges Mädchen mitten in der Nacht von der Polizei geweckt, nachdem ein Gedicht, das sie vor Jahren geschrieben hatte, von GoGuardian Beacon gekennzeichnet worden war. Der Vorfall sei von ihrer Mutter als eine der traumatischsten Erfahrungen ihres Lebens beschrieben worden. Dies sei nur einer von vielen dokumentierten Vorfällen, die ernste Fragen über die Wirksamkeit und Ethik dieser Technologie aufwerfen.

Abgesehen von der Reaktion auf Notfälle behaupten Tools wie SchoolAI, Lehrer zu unterstützen, indem sie die Emotionen und das Verhalten von Schülern analysieren und Daten generieren, um diejenigen zu identifizieren, die Unterstützung benötigen. Natural News kommentiert:

«Dieser ganzheitliche Ansatz klingt oberflächlich betrachtet vielversprechend, wirft aber auch ernsthafte Fragen nach den wahren Absichten hinter dieser Technologie auf.»

Befürworter dieser Technologie argumentieren, dass KI die Effizienz steigern, die Arbeitsbelastung der Lehrkräfte verringern und Echtzeit-Einsichten zur Verbesserung der emotionalen Unterstützung und der Ressourcenzuteilung bieten kann.

Natural News fragt allerdings, ob diese KI-Systeme wirklich der beste Ansatz sind, um das psychische Wohlbefinden von Schülern zu fördern. Das Portal äußert erhebliche Bedenken hinsichtlich der Privatsphäre und der Autonomie der Schüler. Die ständige Überwachung berge die Gefahr, dass Schulen zu Überwachungsräumen werden, in denen sich der Schwerpunkt von echter Betreuung auf datengesteuerte Kontrolle verlagert. Die Erfassung und Analyse von Daten zur psychischen Gesundheit lasse die Grenze zwischen therapeutischer Betreuung und invasiver Überwachung verschwimmen, was dazu führen könne, dass sich die Schüler emotional weniger unterstützt fühlten. Natural News schließt:

«Bei der weiteren Integration von KI in unsere Schulen müssen wir uns fragen: Setzen wir uns wirklich mit den Ursachen für die Probleme der Schüler auseinander oder schaffen wir einfach nur ein Umfeld, in dem die Schüler ständig überwacht werden und jedes Wort und jede Handlung auf mögliche Auffälligkeiten hin analysiert wird? Das Versprechen der Technologie, den Schülern zu helfen, ist unbestreitbar, aber es muss gegen die sehr realen Bedenken hinsichtlich der Privatsphäre, der Autonomie und der Möglichkeit des Missbrauchs abgewogen werden.»