Warum Einstein Engagement Scoring allein nicht ausreicht

Potenziale und Herausforderungen der KI-gestützten Kundensegmentierung in Salesforce Marketing Cloud

Einstein Engagement Scoring (EES) soll durch die KI-basierte Analyse von Kundeninteraktionen wertvolle Einblicke in das Engagement von Kontakten und Vorhersagen über die Intensität der Interaktion von Kontakten liefern (vgl. unseren Blogbeitrag von 2020). Dabei teilt die KI die Kontakte in verschiedene Kategorien ein: von besonders aktiven Empfänger:innen über gelegentliche Reagierer bis hin zu wenig aktiven Kontakten und reaktivierungsbedürftigen Adressen. Dies soll Marketingfachleuten helfen, gezieltere und effektivere Kampagnen zu planen.

Offiziell werden E-Mail-Engagement, Abonnentenbindung, Web-Conversion und Gesamtinteraktion in die Bewertung einbezogen. Die tatsächliche Gewichtung dieser Faktoren bleibt jedoch intransparent und Beobachtungen bei unseren Kunden lassen uns an der Brauchbarkeit der KI-Kategorisierungen zweifeln: Eine von uns durchgeführte umfassende Datenanalyse der von EES bei unseren Kunden vorgenommenen Segmentierungen zeigt Inkonsistenzen und eine Dominanz von E-Mail-Metriken.

Auffallend viele Kontakte, die als „sehr aktiv“ eingestuft werden, haben in den letzten 6 Monaten zwar Öffnungen, aber kaum Klickinteraktionen oder Conversions gezeigt. Die Fokussierung auf die Öffnungsrate, deren Bedeutung im Kontext der E-Privacy-Entwicklung stark abgenommen hat, erscheint uns wenig sinnvoll.

Das zentrale Problem von Einstein Engagement Scoring liegt für uns in seinem Black-Box-Charakter. Als Anwender:innen erhalten Sie keine Einsicht in die Gewichtung der einzelnen Faktoren und haben nur begrenzte Möglichkeiten, die Scoring-Parameter anzupassen.

Einstein Engagement Scoring: Einschränkungen in der praktischen Anwendung

Auch beim Aktualisierungsrhythmus klaffen Anspruch und Wirklichkeit auseinander. Die Dokumentation verspricht wöchentliche Updates, während wir in der Praxis je nach Business Unit unterschiedliche Verzögerungen mit zum Teil erheblichen Latenzzeiten feststellen. Bei der Web-Conversion, die laut Dokumentation vollständig integriert sein soll, bleibt die tatsächliche Integration dieser Daten unklar und schwer nachvollziehbar.

Zudem arbeitet Einstein Engagement Scoring isoliert innerhalb der jeweiligen Business Unit einer Salesforce Marketing Cloud-Instanz. Eine übergreifende Analyse des Kundenverhaltens über mehrere Business Units hinweg ist somit nicht möglich. Dies kann zu einer verzerrten Sicht auf das Kundenengagement führen, wenn Journeys und Kampagnen in verschiedenen Business Units aufgesetzt wurden. Die fehlende Transparenz des ML-Modells erschwert zudem die Nachvollziehbarkeit und Optimierung der Segmentierung.  Hinzu kommen die technischen Mindestanforderungen an die Datenmenge (1.000 Events in 90 Tagen), die für kleinere Kampagnen oder Nischensegmente problematisch sein können.

Anwender:innen, die EES zur Kampagnenplanung einsetzen, sollten ein detailliertes und kontinuierliches Monitoring einrichten und die Performance ihrer Journeys genau im Auge behalten. Denn Ungenauigkeiten in der Segmentierung können im schlimmsten Fall dazu führen, dass wertvolle Kontakte von der Kommunikation ausgeschlossen werden.

Wir empfehlen unseren Kunden, EES nicht zur Aussteuerung ihrer Kommunikation zu nutzen sondern für solche weitreichenden Entscheidungen ein maßgeschneidertes Scoring-Modell aufzusetzen, das zum jeweiligen Setup, Geschäftsmodell und den Zielgruppen passt.

Das passt zu Ihnen: Scoring-Modelle selbst erstellen

Der Aufbau eines maßgeschneiderten Scoring-Modells beginnt mit der sorgfältigen Definition der relevanten KPIs, die wir gemeinsam mit unseren Kunden erarbeiten. Im Gegensatz zum standardisierten ESS-Ansatz können so unternehmensspezifische Metriken integriert werden. Durch die Analyse und Einbeziehung von CRM-Daten, Kaufverhalten und individuellen Interaktionspunkten ermöglicht ein Custom Scoring Modell eine deutlich differenziertere Kundenbewertung, die exakt auf das Geschäftsmodell eines Unternehmens zugeschnitten ist.

In der technischen Planungsphase geht es darum, ein Datenmodell zu entwickeln, das auf die Kunden-Bedürfnisse zugeschnitten ist. Die Gewichtung einzelner Faktoren, die Aktualisierungsfrequenz und die Integrationspunkte in bestehende Systeme können individuell definiert werden. Diese Flexibilität ist ein entscheidender Vorteil gegenüber der starren Struktur des ESS.

Die technische Umsetzung erfolgt typischerweise über SQL Automation Studio, wodurch komplexe Berechnungen möglich sind. API-Integrationen ermöglichen die Einbindung von Echtzeitdaten und durch die flexible Scoring-Logik und transparente Gewichtungsfaktoren können Sie jederzeit nachvollziehen, wie Ihre Segmentierung zustande kommt – ein deutlicher Kontrast zum Blackbox-Charakter von ESS.

Validierung und kontinuierliche Optimierung

Ein wesentlicher Vorteil maßgeschneiderter Modelle liegt in den umfangreichen Test- und Validierungsmöglichkeiten. Durch den Aufbau eines A/B-Testing-Frameworks und die Einrichtung von Kontrollgruppen kann die Wirksamkeit des Scoring-Modells kontinuierlich überprüft werden. Performance-Monitoring und etablierte Feedbackschleifen sorgen dafür, dass die Segmentierungen nicht nur initial, sondern dauerhaft präzise bleiben.

Die Optimierungsphase ist bei Custom Scoring-Modellen nicht das Ende, sondern ein kontinuierlicher Prozess. Sie können Gewichtungen anpassen, neue Datenquellen integrieren, auf Marktveränderungen reagieren und unternehmensspezifische Ausnahmen berücksichtigen – alles Aspekte, die mit EES nicht oder nur sehr eingeschränkt möglich sind.

Praktische Handlungsempfehlungen

Wenn Sie trotz der genannten Einschränkungen mit Einstein Engagement Scoring arbeiten wollen, empfehlen wir Ihnen:

Definieren Sie zunächst klare Ziele und führen Sie eine Testphase mit messbaren KPIs durch. Eine regelmäßige Validierung der generierten Segmente und die Kombination mit weiteren Datenquellen können die Verlässlichkeit der Ergebnisse erhöhen.

Für die Entwicklung eines eigenen Scoring-Modells ist eine sorgfältige Ressourcenplanung unerlässlich. Definieren Sie klare Erfolgskriterien und setzen Sie auf ein agiles Entwicklungsmodell, das schnelle Anpassungen ermöglicht. Ein kontinuierliches Monitoring stellt sicher, dass Ihr Modell auch langfristig präzise Ergebnisse liefert.

Fazit: Realistische Erwartungen statt KI-Euphorie

Einstein Engagement Scoring sollte mit realistischen Erwartungen eingesetzt werden. Die von Salesforce versprochene KI-Revolution in der Kundensegmentierung entpuppt sich in der Praxis als begrenztes Werkzeug mit deutlichen Transparenzschwächen.

Während Einstein Engagement Scoring für die einfache E-Mail-Personalisierung auf Basis von E-Mail Engagement geeignet sein mag, zeigen sich bei tiefergehenden Analysen deutliche Grenzen. Ein eigenes Scoring-Modell erfordert zwar höhere Anfangsinvestitionen, ermöglicht aber langfristig eine bessere Kontrolle, höhere Transparenz, geschäftsspezifische Anpassungen und eine nachhaltigere ROI-Entwicklung.

Die Entscheidung zwischen EES und Custom Scoring sollte auf Basis Ihrer unternehmensspezifischen Anforderungen, der verfügbaren Ressourcen und Ihrer langfristigen Marketingstrategie getroffen werden. Unsere Erfahrung zeigt jedoch, dass sich die Investition in ein maßgeschneidertes Modell für die meisten Unternehmen langfristig auszahlt.