Erster Algorithmus zur automatischen Propagandaerkennung

Eine der neuen Bedrohungen für die Cybersicherheit in der heutigen, durch Algorithmen gesteuerten Welt ist die Verbreitung von informationsbasierten Angriffen auf Social-Media-Plattformen. Desinformation und Propaganda werden im Kontext der Cyberkriegsführung besonders gefährlich. Wir haben in Zusammenarbeit mit Wissenschaftlern der Ruhr-Universität Bochum einen automatisierten Mechanismus zur Erkennung von Propaganda entwickelt, um Desinformation auf Telegram zu bekämpfen.

Architektur von Telegram bereitet einzigartige Herausforderungen

Im Kern ist Telegram eine verschlüsselte Messaging-App. Sie bietet jedoch auch andere Funktionen wie Gruppen (Chats mit mehreren Nutzern) und Kanäle (Einer-an-Viele-Broadcasting-Listen), die durch Eigentümer oder durch von Eigentümern beauftragte Moderatoren verwaltet werden. Im Vergleich zu anderen Social-Media-Plattformen gibt es keine unabhängige plattformweite Moderation von Inhalten. Die Moderation kann nur von den Eigentümern, beziehungsweise Moderatoren, der Gruppen oder Kanäle durchgeführt werden und erfolgt in der Regel manuell. Es gibt zwar automatische Tools zum Löschen von Inhalten, diese beschränken sich jedoch in der Regel darauf, unangemessene Inhalte durch das Scannen nach Elementen wie obszönen Wörtern zu identifizieren.

Angesichts der Tatsache, dass Telegram unter Umständen wie dem russisch-ukrainischen Krieg zu einer primären Informationsquelle geworden ist, ist es wichtig, Tools zu entwickeln, die Moderatoren im Kampf gegen die Verbreitung von Propaganda und Falschinformationen helfen können.

Propaganda-Accounts identifizieren

Wir haben 13,7 Millionen Kommentare aus 13 politischen und nachrichtenorientierten Telegram-Kanälen aus Russland, Weißrussland und der Ukraine analysiert und bestimmte Merkmale identifiziert, die für Propaganda verbreitende Accounts typisch sind. Erstens sind die Benutzernamen dieser Konten in der Regel westlich anmutende oder zufällige Buchstabenfolgen. Solche Konten beginnen keine Unterhaltungen, sondern reagieren auf Nachrichten, die bestimmte Schlüsselwörter wie „Krieg“, „Zelensky“, „Putin“, „Feminismus“ usw. enthalten. 

Zweitens waren Propagandabotschaften immer Antworten auf eine Benutzer-Nachricht. Konten, die Propaganda verbreiten, veröffentlichen dieselbe Nachricht in mehreren Gruppen und Kanälen. Um sich in jeden Kontext einzufügen zu können, enthalten sie keine sogenannten Brückenwörter (wie „Ich stimme zu“, „aber“), obwohl diese in benutzergenerierten Nachrichten sehr häufig vorkommen. Wir verwenden auch die Wiederholung, um Propaganda-Accounts zu identifizieren, da echte Nutzer selten Nachrichten mit mehr als 30 Zeichen wiederholen. Unsere Analyse ergab 78.370 Propagandabotschaften, die von 6250 Propaganda-Accounts gesendet wurden.

Wie funktionieren Propaganda-Accounts?

Wir haben die identifizierten Propaganda-Accounts weiter analysiert, um zu verstehen, wie sie funktionieren. Die Lebensdauer solcher Accounts ist in der Regel sehr kurz, wobei mehr als die Hälfte von ihnen weniger als einen Tag lang aktiv ist. Trotzdem sind sie im Vergleich zur normalen Nutzeraktivität sehr aktiv und agieren parallel in mehreren Kanälen, während normale Nutzer sich nur an einen halten. 

Moderation von Propaganda

Wir konnten Nachrichten identifizieren, die von den Moderatoren der Kanäle gelöscht wurden, indem wir Live-Daten mit Archiv-Daten desselben Kanals verglichen haben. Die Effektivität der Moderation konnten wir ermitteln, indem wir das Verhältnis zwischen der Anzahl der moderierten Nachrichten und der Gesamtzahl der als Propaganda gekennzeichneten Nachrichten berechneten. Wir haben festgestellt, dass es große Unterschiede in den Moderationsraten zwischen den von uns untersuchten Kanälen gibt. Einige lagen bei nur 20 %, während andere bis zu 80 % erreichten – was bedeutet, dass sie bei der Moderation von Propaganda sehr effektiv waren. Die Moderation erfolgt manuell und erfordert oft engagierte Mitarbeiter und Ressourcen. Um dieses Problem zu lösen, schlagen wir einen automatisierten Mechanismus zur Erkennung von Propaganda vor.

Unser Modell identifiziert Propaganda zuverlässig, kostengünstig und zeiteffektiv. Wir verwenden einen maschinell lernenden Klassifikator, der dieselben Daten nutzt, die auch einem menschlichen Moderator zur Verfügung stehen: Kontoinformationen, Metadaten der Nachrichten und Nachrichteninhalte. Die wichtigste Neuerung unseres Detektors besteht darin, dass er neben den Nachrichtenmerkmalen sowohl die verdächtige Propagandanachricht als auch die Nachricht, die sie ausgelöst hat, als Ganzes betrachtet. So können anhand der Beziehung zwischen Auslöser und Reaktion Propagandamerkmale identifiziert werden. Wir zeigen, dass unser Detektor äußerst effektiv ist und manchmal sogar die menschlichen Moderatoren bei der Identifizierung von Propaganda übertrifft.

Wir haben unseren Detektor auch auf seine Resilienz gegenüber Umgehungsversuchen getestet. Wir wollten herausfinden, ob ein Propaganda-Account, der Large-Language-Modelle verwendet, um den Stil der Nachricht zu verändern, unserem Detektor entgehen würde. Die Ergebnisse zeigen, dass unser Detektor gegen solche kostengünstigen Automatisierungsmaßnahmen immun ist und Propaganda weiterhin korrekt erkennt.

Schlussfolgerungen

Nicht zuletzt außerhalb der westlichen Welt sind Messaging-Apps eine wichtige Informationsquelle. Daher ist es unerlässlich, Tools zu entwickeln, die in diesen Umgebungen gegen Fehlinformationen vorgehen. Unser Detektor übertrifft menschliche Moderatoren um 11,6 %, erfordert keine hohen Implementierungskosten und ist robust gegenüber Umgehungsversuchen. Wir hoffen daher, dass er für die menschlichen Moderatoren von Kanälen auf Telegram von großem Nutzen sein wird.

Originalveröffentlichung