Forschungsbericht 2016 - Max-Planck-Institut für Softwaresysteme, Standort Kaiserslautern

Vertrauenswürdiges Wissen im Internet und in sozialen Medien fördern

Autoren
Gomez Rodriguez, Manuel
Abteilungen
Max-Planck-Institut für Softwaresysteme, Standort Kaiserslautern, Kaiserslautern
Zusammenfassung
Das Internet ist eine Fundgrube von Informationen und Wissen für ein breites Spektrum an Themen. Es gibt eine wachsende Anzahl von Internetseiten, wie etwa Fragen-Antworten-Seiten, Online-Communities oder Mikroblogs, auf denen Wissen von Vielen durch Crowdsourcing beigesteuert wird und die Wissensbeiträge von diesem Massenpublikum betreut werden. Solche Internetseiten enthalten eine Anzahl ungeprüfter Meldungen fragwürdiger Herkunft. Der Bedarf an computerbasierten Methoden wächst, mit denen sich die Schaffung, der Konsum und die Verbreitung von vertrauenswürdigem Wissen verbessern lassen.

Die rasante Popularisierung von sozialen Medien und Bürgerjournalismus hat zu einem drastischen Anstieg der Mengen an Informationen geführt, auf die wir heute Zugriff haben. Dabei handelt es sich um wesentlich mehr Informationen, als wir jemals in konventionellen Lehrbüchern und über traditionelle Medien ansammeln könnten. Zugleich sind wir in zunehmendem Maße Fehlinformationen aus unbekannten und fragwürdigen Quellen ausgesetzt und haben Schwierigkeiten, vertrauenswürdige, relevante Informationen mit hohem Erkenntniswert zu finden.

In den letzten Jahren hat die Gruppe Maschinelles Lernen am Max-Planck-Institut für Softwaresysteme (MPI-SWS) unter Leitung von Manuel Gomez Rodriguez realistische mathematische Repräsentationen und Modelle sowie Lern-, Interferenz- und Kontrollalgorithmen entwickelt, um die Schaffung, den Konsum und die Verbreitung von Informationen und Wissen im Internet zu verstehen, vorherzusagen und zu verbessern [1-10]. In diesem Artikel erläutern wir zwei der aktuellsten Arbeitsfelder. Ihre Ergebnisse helfen uns bei der Identifizierung zuverlässiger Informationsquellen, die wir im Internet und in den sozialen Medien konsumieren [1]. Außerdem tragen sie dazu bei, den Prozess des menschlichen Lernens und den Wert von Wissen besser zu verstehen [2].

Vertrauenswürdige Informationen und Informationsquellen ermitteln

Aufgrund ihrer Unmittelbarkeit tragen das Internet und die sozialen Medien zur Verbreitung einer steigenden Anzahl von dogmatischen, fehlerhaften oder falschen Fakten, Schauermärchen und ungeprüften Meldungen unbekannter oder fragwürdiger Herkunft bei, die sich im Laufe der Zeit häufig widerlegen lassen. Und da immer mehr Menschen das Internet und die Social Media nutzen, um an Informationen von öffentlichem Interesse zu gelangen und sich aktuell über neueste Entwicklungen zu informieren, hat dieses Phänomen oft weitreichende Folgen. So wird beispielsweise momentan heftig über den Einfluss der Verbreitung von Fehlinformationen – so genannten Fake News – auf den Ausgang der US-Präsidentschaftswahlen 2016 diskutiert.

Um dem Problem der Fake News beizukommen, haben Online-Wissenssammlungen wie Wikipedia, Stack Exchange oder Quora verschiedene Evaluierungsmechanismen eingeführt, die die Zuverlässigkeit ihrer Inhalte verbessern sollen. Und in letzter Zeit haben soziale Netzwerke wie Facebook – zum Teil unter dem Eindruck der US-Präsidentschaftswahlen 2016 – ähnliche Evaluierungsmechanismen implementiert, um die Verbreitung von Falschinformationen einzudämmen. Diese Mechanismen lassen sich typischerweise in die folgenden Kategorien einteilen:

- Widerlegung: Ein Nutzer widerlegt, bezweifelt oder hinterfragt eine von einem anderen Nutzer beigetragene Aussage oder ein Inhaltselement, das von einer fremden Website stammt. So kann beispielsweise bei Wikipedia ein Redakteur eine fragwürdige, falsche oder unvollständige Aussage in einem Artikel entfernen.

- Verifizierung: Ein Nutzer verifiziert, akzeptiert oder unterstützt eine von einem anderen Nutzer beigetragene Aussage oder ein Inhaltselement, das von einer fremden Website stammt. So kann ein Nutzer bei Stack Exchange beispielsweise die von anderen Nutzern gelieferten Antworten annehmen oder positiv bewerten.

Diese Evaluierungsmechanismen bieten aber einen nur ungenauen Einblick in die Vertrauenswürdigkeit von Informationen und Informationsquellen. In einem aktuellen Artikel [1] haben Forscher des MPI-SWS diese verrauschten, oft verzerrten Daten genutzt, um eine robuste, unverzerrte und interpretierbare rechnergestützte Messmethode für beide Kategorien zu entwickeln.

Diese Arbeit kommt zu dem Schluss, dass die von solchen verrauschten Evaluierungen hinterlassenen temporalen Spuren aussagekräftige Hinweise zur Zuverlässigkeit der Informationen und zur Vertrauenswürdigkeit der Informationsquellen bieten. Während beispielsweise Aussagen von einem nicht vertrauenswürdigen Nutzer oft von anderen Nutzern als unglaubwürdig erkannt und schnell widerlegt werden, werden Aussagen von vertrauenswürdigen Nutzern weniger häufig widerlegt. Allerdings kann eine Aussage über ein komplexes, kontroverses oder sich im Laufe der Zeit veränderndes Thema, Motiv oder, allgemeiner ausgedrückt, Wissenselement zu einem bestimmten Zeitpunkt von anderen Nutzern auch unabhängig von der Quelle widerlegt werden. In einem solchen Fall würden schnelle Widerlegungen nicht die Vertrauenswürdigkeit der Quelle, sondern die intrinsische Unzuverlässigkeit des Wissenselements reflektieren, auf das sich die Aussage bezieht.

Der Kerngedanke des vorgeschlagenen rechnergestützten Konzepts basiert auf der Theorie temporaler Punktprozesse. Ziel ist es, eindeutig herauszustellen, in welchem Umfang die zeitabhängigen Informationen in einer Aussagenevaluierung (Widerlegung oder Verifizierung) der intrinsischen Unzuverlässigkeit des betreffenden Wissenselements oder der Vertrauenswürdigkeit der Quelle, aus der die Aussage stammt, zuzuschreiben sind.

Die Wissenschaftler haben die Wirksamkeit ihres Konzepts an Hunderten von Wikipedia-Artikeln und 300.000 Fragen (und Antworten) von Stack Exchange überprüft. Insbesondere sind sie in der Lage, exakt vorherzusagen, ob eine Aussage in einem Wikipedia-Artikel (oder eine Antwort zu einer Stack Exchange Frage) widerlegt (beziehungsweise verifiziert) wird. Sie liefern zudem interpretierbare Messungen der Vertrauenswürdigkeit von Informationen und Informationsquellen. Darüber hinaus ergeben sich aus ihren Experimenten mehrere interessante Erkenntnisse. So können sie mit ihrem Konzept beispielsweise Zeitperioden hoher intrinsischer Unzuverlässigkeit in Wikipedia-Artikeln vorhersagen, die sich typischerweise mit nennenswerten Ereignissen decken (siehe Abbildung 1).

Den Wert von Wissen erschließen

Fragen-Antworten(Q&A)-Seiten, Online-Communities, Wikis oder – allgemeiner gesagt –Crowd-Learning- Internetseiten, auf denen Wissen von den eigenen Nutzern konsumiert, beigesteuert, eingestellt, überprüft und betreut wird (Crowdsourcing), bieten ungeahnte Möglichkeiten, den Prozess des menschlichen Lernens zu verfolgen. Zudem lassen sich anhand der digitalen Spuren, die die Nutzer dieser Internetseiten hinterlassen, nützliche quantitative Messmethoden zur Erfassung von Wissen entwickeln.

In einem aktuellen Artikel [2] haben Forscher des MPI-SWS ein probabilistisches Crowdlearning-Modell entwickelt, das sich besonders gut für detaillierte Crowdlearning-Nutzerdaten eignet. Damit können sie Aspekte des Lernprozesses messen, für die sie in den beobachteten Daten Anhaltspunkte finden. Auf diese Weise sind sie in der Lage:

(i) besser zu verstehen, wie Menschen mit der Zeit lernen und zu Experten werden;

(ii) Fragen mit hohem Wissenswert zu identifizieren, was Nutzer systematisch dabei hilft, ihre Kompetenz zu verbessern, und

(iii) das Zusammenspiel von Lernenden und Beitragenden zu untersuchen.

Der Kerngedanke dieses Modells ist einfach: Jedes Mal, wenn ein Nutzer von dem Wissen lernt, das andere Nutzer beigesteuert haben, kann sich sein Know-how verbessern. Dadurch werden seine nachfolgenden Beiträge sachkundiger und von anderen, beispielsweise in Form von Upvotes, Likes und Shares, höher bewertet. Diese einfache Idee lässt sich formalisieren, um einen Maßstab für effektives Wissen zu definieren, der zu einer messbaren Zunahme des effektiven Lernens des Nutzers führt. Das vorgeschlagene Modell erfasst zudem charakteristische Merkmale des Lernprozesses wie Vergessen und Anfangskenntnisse.

Die Forscher wendeten ihr Modell über einen Zeitraum von 4,5 Jahren auf 1,4 Millionen Lernereignisse und 3,8 Millionen Beitragsereignisse in Stack Overflow an. So gewannen sie einige interessante Erkenntnisse: Nutzer mit sehr geringen oder sehr großen anfänglichen Kenntnissen, also Neulinge und Experten, verbessern ihr Wissen tendenziell am wenigsten. Im Gegensatz dazu verbessert sich das Wissen von Nutzern im mittleren Bereich am meisten. Das lässt eine s-förmige Lernkurve vermuten (siehe Abbildung 2). Die Verteilung von effektivem Wissen auf Fragen und Antworten folgt einer Lognormal-Verteilung (siehe Abbildung 3). Folglich entfallen auf etwa 10 Prozent der Fragen und Antworten 75 Prozent des Gesamtwissens. Obwohl die Anzahl der Beitragenden im absoluten Sinn geringer ist als die der Lernenden, weist die durch die Beitragenden in die Internetseite eingespeiste Wissensmenge eine höhere Variabilität auf als das von den Nutzern gelernte Wissen. Nutzer, die aus Antworten mit einem hohen Wissenswert lernen, erweisen sich als geübter in der Bereitstellung von Antworten mit hohem Wissenswert (siehe Abbildung 4). Mit anderen Worten legt dies nahe, dass wir „durch Lernen lehren und durch Lehren lernen” (Sprichwort).

Literaturhinweise

Tabibian, B.; Valera, I.; Farajtabar, M.; Song, L.; Schoelkopf, B.; Gomez Rodriguez, M.:
Distilling Information Reliability and Source Trustworthiness from Digital Traces
Proceedings of the 26th International World Wide Web Conference (WWW), 2017
Upadhyay, U.; Valera, I.; Gomez Rodriguez, M.
Uncovering the Dynamics of Crowdlearning and the Value of Knowledge
In Proceedings of the 10th ACM International Conference on Web Search and Data Mining (WSDM), 2017
Mavroforakis, C.; Valera, I.; Gomez Rodriguez, M.
Modeling the Dynamics of Online Learning Activity
Proceedings of the 26th International World Wide Web Conference (WWW), 2017
Zafar, B.; Valera, I.; Gomez Rodriguez, M.; Gummadi, K.
Fairness Beyond Disparate Treatment and Disparate Impact: Learning Classification without Disparate Mistreatment
Proceedings of the 26th International World Wide Web Conference (WWW), 2017
De, A.; Valera, I.; Ganguly, N.; Bhattacharya, S.; Gomez Rodriguez, M.
De, A.; Valera, I.; Ganguly, N.; Bhattacharya, S.; Gomez Rodriguez, M.
Neural Information Processing Systems (NIPS), 2016

Babaei, M.; Grabowicz, P; Valera, I.; Gummadi, K.; Gomez Rodriguez, M.

On the Efficiency of the Information Networks in Social Media
Proceedings of the 9th ACM International Conference on Web Search and Data Mining (WSDM), 2016
Karimi, M.; Tavakoli, E.; Farajtabar, M.; Song, L.; Gomez Rodriguez, M.
Smart Broadcasting: Do You Want to be Seen?
Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD), 2016

Zarezade, A.; Upadhyay, U.; Rabiee, H. 

An Online Algorithm for Smart Broadcasting in Social Networks
RedQueen: An Online Algorithm for Smart Broadcasting in Social Networks. In Proceedings of the 10th ACM International Conference on Web Search and Data Mining (WSDM), 2017
Jankowiak, M.; Gomez Rodriguez, M.
Uncovering the Spatiotemporal Patterns of Collective Social Activity
Proceedings of the 2017 SIAM International Conference on Data Mining (SDM), 2017

Du, N.; Dai, H.; Trivedi, R.; Upadhyay, U.; Song, L.; Gomez Rodriguez, M.

Recurrent Marked Temporal Point Process: Embedding Event History to Vector
Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD), 2016
Zur Redakteursansicht