Fachartikel | 10.12.2013 | Autor: Stephanie Wörmann | Jan Sedlacek | Tobias Lehr

Monitoring Top Tools 2013: Der Performance Test

In Zusammenarbeit mit der Computerwoche haben wir die Top 6 Tools aus unserem Toolreport 2013 erneut getestet und interessante neue Erkenntnisse gewonnen. Die besten von über 300 Monitoring Tools haben im Performance-Test unterschiedliche Stärken gezeigt. Je nach Zweck oder Art der Datenquelle – Twitter, Blogs, News, Foren – empfiehlt sich ein anderes Tool.
Jedes Jahr untersucht Goldbach Interactive den Social Media Monitoring Toolmarkt: Die 2013 Top 6 Tools 2013 überzeugen durch innovative und vielfältige Monitoring- sowie Analyse-Möglichkeiten und setzten sich bei der Auswertung gegenüber mehr als 300 bekannter Tools ab. Details zu den Funktionen und Vorzügen können im Toolreport 2013 nachgelesen werden. Der folgende Test nun fokussiert das recherchierte Datenvolumen und zeigt quantitative Unterschiede der Tools auf.

Social-Media-Monitoring-Tools helfen Unternehmen, einen Überblick über ihre Präsenz im Social Web zu erhalten, sie zu analysieren und auf dieser Basis den Dialog mitzugestalten. Das richtige Tool für die individuellen Anforderungen zu finden ist jedoch nicht einfach. Der folgende Test machte vor allem quantitative Unterschiede der Tools deutlich. Folgende Monitoring-Tools (in alphabetischer Reihenfolge) haben sich dem Test gestellt:

Brandwatch
Engagor
Radarly
Synthesio
Sysomos Heartbeat
Talkwalker 

Um die Vergleichbarkeit der Tools zu gewährleisten, galt es darauf zu achten, die Ergebnisse nicht durch das Setup des Tests zu verfälschen. Aus diesem Grund wurden einfache Suchbegriffe (Queries) mit zwei international erfolgreichen Markennamen herangezogen, die trotz ihrer Bekanntheit ein überschaubares Volumen an Meldungen aufweisen. Der Testzeitraum erstreckte sich vom 12. bis zum 19. November 2013. Um eine identische Grundvoraussetzung zu gewährleisten wurde sichergestellt, dass die Testzugänge nicht durch Beschränkungen beim Datenvolumen limitiert waren. Folgende Aspekte wurden im Rahmen des Performance-Tests untersucht:

  • Tonalität
  • Datenvolumen
  • Quellenabdeckung

Analyse des Datenvolumens

Eigentlich sollte die Zahl der Erwähnungen zu einem bestimmten Suchbegriff, beispielsweise einer bestimmten Marke, bei allen Tools gleich sein. Überraschenderweise fanden die getesteten Tools jedoch sehr unterschiedlich viele Meldungen – das Datenvolumen der gefundenen Tweets war relativ ähnlich, die Nennungen in Blogs, News und Foren divergierten aber stark.

Weltweite Betrachtung ohne jegliche Einschränkung
Durchschnittlich fanden die Tools 164.866 Beiträge zum Suchbegriff 1 und 23.684 Beiträge zum Suchbegriff 2. Das Tool mit den meisten Ergebnissen entdeckte 60 Prozent mehr Beiträge als jenes mit den wenigsten Ergebnissen. International fand Talkwalker die meisten Ergebnisse. Für die Schweiz lieferte Brandwatch am meisten Nennungen.
Interessant war die Abweichung der Treffer zwischen den beiden Suchbegriffen, die durch die unterschiedlich starke Abdeckung von fachspezifischen Quellen verursacht sein kann. Anzunehmen ist, dass die Zahl der Treffer – und damit eine Rangfolge nach Zahl der Nennungen – sich bei anderen Suchbegriffen wieder verändert. Allerdings zeichnete sich eine Tendenz ab, welche Tools über einen starken Crawler und damit über eine umfangreiche Quellenbasis verfügen.
Eingrenzung auf Ergebnisse / Nennungen aus der Schweiz
Die rein quantitative Betrachtung des gemessenen Datenvolumens reicht jedoch nicht aus. Genauso wichtig ist die Qualität gefundener Beiträge. Sind Treffer, die ein Tool ausgibt, irrelevant (Spam) oder falsch kategorisiert (Land, Quelle), wird ein Tool in der Praxis kaum überzeugen. Die stichprobenartige Kontrolle zeigte: Radarly und Brandwatch weisen im Bereich der richtigen Länderzuordnung noch Verbesserungspotenzial auf.
Analyse der Quellenabdeckung Suchbegriff 1: Anzahl Nennungen nach Medientyp

Analyse der Quellenabdeckung

Da anhand der gefundenen Beiträge nicht zwingend auf eine hochwertige Quellenabdeckung geschlossen werden konnte, wurde neben der Klassifizierung der Meldungen nach Region auch die Zuweisung auf den richtigen Medientyp (News, Blogs, Foren, Twitter und Facebook) untersucht. Im Test zeigte die quellenbasierte Analyse der jeweiligen Tools ebenfalls eine unterschiedliche Aufschlüsselung des Datenvolumens: Im Test zeigt die quellenbasierte Analyse der jeweiligen Tools ebenfalls eine sehr unterschiedliche Aufschlüsselung des Datenvolumens.
  • Die höchste Internationale Quellenabdeckung in News zeigt Synthesio mit gesamthaft 36'655 Nennungen.
  •  Im Bereich Blogs heben sich Engagor (11'825 Nennungen) und Talkwalker (12'770 Nennungen) hervor. 
  • Die breiteste Abdeckung von Foren weist Brandwatch mit 3'9151 Nennungen auf
Suchbegriff 2: Anzahl Nennungen nach Medientyp
Bei Twitter und Facebook zeigte sich folgendes Bild: Das Volumen an Tweets war bei allen Tools auf ähnlichem Niveau. Die Abweichung bei der Zahl gefundener Nennungen liegt bei Twitter nur bei rund fünf Prozent, mit Ausnahme von Radarly. Allerdings überzeugte gerade Radarly beim Facebook-Monitoring und fand hier die meisten Nennungen.

Der Performance Test ergab: Die indivi­duellen Stärken der Tools im Bereich der Quellendurchdringung entpuppten sich als sehr unterschiedlich. Je nach Fokus und gewünschter Periodizität der Durchsuchung einer bestimmten Quellengattung emp-fiehlt es sich, ein anderes Tool einzusetzen. Im Bereich Twitter ist die Qualität aller Tools – mit Ausnahme von Radarly – ziem­lich identisch.

Analyse der Tonalität

Monitoring-Tools bieten neben einer reinen Dateninterpretation und -darstellung die Bewertung der Stimmung (Tonalität/Senti­ment) eines Beitrags an. Meldungen werden als positiv oder negativ klassifiziert. Dabei gibt es unterschiedliche Ansätze:

  • Die untersuchten Monitoring-Anbieter bewerten automatisch anhand eines in unterschiedlichen Sprachen hinterlegten Vokabulars
  • Die Tonalität lässt sich auch mit linguis­tischen Methoden (manuelle Sentiment- Bestimmung) oder mit der auf Satzbau bezogenen, automatischen Sentiment-Analyse durch spezialisierte Tools wie Attensity oder Web Analyzer bestimmen.
Aufgrund einer annähernd gleichen Da­tenbasis auf Twitter wurde in einem zwei­ten Schritt die Tonalität im Micro-Blogging-Netzwerk genauer un­tersucht. Auch hier variierte die Einstufung. Die Ergebnisse lassen darauf schliessen, dass eine automatisierte Tonalitätsanalyse nicht verlässlich und allenfalls als Trend zu verstehen ist. Diese These stützen auch die Stichproben. Allerdings bieten alle Tools die Option einer nachträglichen manuellen Klassifizierung. Derzeit lässt sich die tat­sächliche Genauigkeit der Tonalitätsbestim­mung nur schätzen.
Analyse der Reaktionszeit

Analyse der Reaktionszeit

Hinsichtlich der Reaktionszeit wurde un­tersucht, mit welcher Schnelligkeit ein Tweet im Monitoring-System erscheint und ein E-Mail-Alert verschickt wird. Ausgewie­sen wird jeweils die schnellste Zeit, die ein Tool benötigt, um auf Basis des Test-Tweets einen E-Mail-Alert anzuzeigen.

Hinsichtlich der Reaktionszeiten über­zeugten vier der sechs Tools mit (nahezu) Echtzeit-Monitoring und fanden Meldungen innerhalb weniger Sekunden. Vor allem auf Engagement ausgerichtete Werkzeuge do­minierten hier (Engagor und Radarly). Ge­nerell erlauben alle untersuchten Tools durch die Priorisierung gewisser Social- Media-Accounts ein Echtzeit-Tracking. Bei weiteren Quellen (Blogs, Foren, Online- News) waren die Angaben der Tool-Herstel­ler bezüglich der Häufigkeit der Seitenab­fragen sehr unterschiedlich, unterlagen allerdings auch gewissen Restriktionen: Gegebenenfalls kann ein Seitenanbieter (zum Beispiel eine News-Quelle) den Craw­ler eines Monitoring-Tools blockieren, was Auswirkungen auf die Periodizität bei der Durchsuchung hat.
Exklusiv für den Blog von GBI: Analyse der Länder- und Sprachabdeckung

Exklusiv für den Blog von GBI: Analyse der Länder- und Sprachabdeckung

Werden die gefundenen Beiträge ihrer geografischen Herkunft zugeordnet zeigen sich wiederum unterschiedliche Stärken und auch hier gilt: Je nach Fokus (Sprache/Land) ist ein unterschiedliches Tool in Betracht zu ziehen.
Bei den Sprachen zeigt sich die Stärke des Crawlers von Talkwalker. Sysomos beweist im Test seine Stärke bei französischen Beiträgen und bei italienischen, englischen, schwedischen, und spanischen Nennungen hat Talkwalker wiederum die Nase vorn.
Mit Fokus auf die Länder- und Sprachverteilung bewährt sich die strategische Ausrichtung von Talkwalker auf Zentraleuropa und zeigt die beste Sprach- und Länder-Durchdringung an.

Fazit

Die Stärken der jeweiligen Tools sind un­terschiedlich. Die Ergebnisse des Perfor­mance-Tests erlauben verschiedene Rück­schlüsse für Unternehmen, die auf Monito­ring des Social Web setzen:
 

  • Das genaue Hinschauen lohnt sich: Ver­gleicht man verschiedene Monitoring- Tools, sollte die Zahl der gefundenen Beiträge nur bedingt den Ausschlag geben – sie wird nie zu 100 Prozent akkurat sein –, sondern genauso sollte die indivi­duelle Stärke in den verschiedenen Chan­nels berücksichtigt werde.
  • Beim Setup eines Monitoring-Tools lässt sich meist die Quellenbasis ausbauen. Zur Verfügung stehende Quellen sind immer zu prüfen und gegebenenfalls zu erwei­tern, um sicherzustellen, dass branchen­spezifische Quellen und Plattformen be­rücksichtig werden.

Je nach strategischem Fokus ist ein anderes Tool zu wählen, denn jedes Tool hat seine Stärken: Brandwatch überzeugte im Bereich der Schweizer Quellenabdeckung, Talkwalker vor allem international. Engagor und Talkwalker dominierten durch eine starke Blog-Abdeckung. Im Echtzeit-Monitoring taten sich Radarly, Engagor und Sysomos besonders hervor. Radarly stach außerdem durch die meisten auf Facebook gefundenen Beiträge hervor. Synthesio gewann in der News- Abdeckung.

 

Autoren:

Stephanie Wörmann, Senior Consultant Social Media
Jan Sedlacek, Consultant Social Media
Tobias Lehr, Head of Social Media