Meta hat ein neues Sicherheitssystem in den Überwachungswerkzeugen von Instagram aktiviert, das Eltern benachrichtigt, wenn ein Jugendlicher in Gesprächen mit dem KI-Assistenten Meta AI Anzeichen von Suizidgedanken oder selbstverletzendem Verhalten zeigt. Die Funktion ist seit Mitte Juli in den Vereinigten Staaten, im Vereinigten Königreich, in Kanada und Australien verfügbar; eine weltweite Ausweitung, die auch Deutschland, Österreich und die Schweiz einschließen soll, wird bis Ende 2026 angestrebt. Damit verändert sich die Rolle der Plattform grundlegend: Der Assistent beschränkt sich nicht mehr darauf, dem Jugendlichen Hilfsangebote zu nennen, sondern kann proaktiv eine externe Intervention auslösen.

Die Erkennung setzt auf spezialisierte KI-Modelle, die sowohl explizite Äußerungen als auch subtile Andeutungen erfassen sollen. Bevor eine Warnung an die Eltern versandt wird, durchläuft jede markierte Konversation eine manuelle Prüfung durch menschliche Moderatoren, um ironische Bemerkungen oder schulische Fragen von echten Notsignalen zu unterscheiden. Meta räumt ein, dass Fehlalarme nicht auszuschließen sind, und verfolgt einen vorsorglichen Ansatz: Auch bei mehrdeutigen Hinweisen wird eher eine Benachrichtigung ausgelöst, um keine authentische Hilfesuche zu übersehen. Begleitend erhalten Eltern Materialien, die mit Fachleuten für psychische Gesundheit entwickelt wurden, um das anschließende Gespräch zu unterstützen.

Aus Sicht kanadischer Forscherinnen ist der Schritt ein Fortschritt, jedoch mit begrenzter Reichweite. Shauna Pomerantz von der Brock University und Kaitlynn Mendes von der Western University verweisen darauf, dass längst nicht alle Eltern die optionalen Aufsichtsfunktionen nutzen und Jugendliche erfahrungsgemäß Wege finden, algorithmische Filter durch codierte Sprache zu umgehen. Mendes spricht von „Care Washing“, wenn Schutzmaßnahmen nicht standardmäßig aktiviert sind. Parallel arbeitet Meta an einer direkten Benachrichtigung von Rettungsdiensten bei akuter Gefahr – ein Mechanismus, der sich noch in der Entwicklung befindet. Zudem werden die bestehenden Einschränkungen für sensible Inhalte auf die Interaktion mit Meta AI ausgeweitet.

In Deutschland, Österreich und der Schweiz ist die elterliche Warnfunktion derzeit noch nicht verfügbar. Die angekündigte globale Einführung bis Ende 2026 stellt den nächsten konkreten Meilenstein dar. Die tatsächliche Wirkung wird maßgeblich davon abhängen, wie viele Familien die Supervisionstools aktivieren und ob die Erkennung mit der sich wandelnden Jugendsprache Schritt halten kann. In Kanada steht zudem eine neue Gesetzgebung zu Sicherheitsanforderungen an soziale Netzwerke und KI-Assistenten vor der Verabschiedung, die den regulatorischen Rahmen für solche Systeme weiter prägen dürfte.