Herausforderungen und Lösungen beim Einsatz von KI zur Klassifizierung von Nutzerinteressen

Künstliche Intelligenz revolutioniert den Unternehmenssektor und bietet fortschrittliche Tools zur Datenanalyse und zum Verständnis des Nutzerverhaltens. Durch Techniken des maschinellen Lernens und der Verarbeitung natürlicher Sprache können Unternehmen wertvolle Informationen aus digitalen Interaktionen gewinnen, Kundenerlebnisse personalisieren und Marketingstrategien optimieren.

In diesem Artikel werden wir untersuchen, wie KI die genaue Identifizierung von Nutzerinteressen aus Browsing-Daten ermöglicht, wobei wir uns auf die Herausforderungen und technischen Lösungen konzentrieren, die mit diesem Prozess verbunden sind.

Interessenanalyse: So funktioniert’s

Um die Interessen eines Nutzers, der eine Website besucht, zu identifizieren, genügt es, die Browsing-Daten, d. h. die besuchten Seiten, zu sammeln und zu analysieren. Da diese Daten direkt von der Website erfasst werden, fallen sie in die Kategorie der Erstanbieterdaten (First-Party-Daten).

Der Prozess beinhaltet die Zuweisung eines Labels, das ein thematisches und/oder Produktinteresse anzeigt, zu jeder Seite der Website. Sobald diese Labels zugewiesen wurden, genügt es zu analysieren, wie der Nutzer durch verschiedene Interessen navigiert hat.

Stellen wir uns vor, wir möchten die Produktinteressen eines Nutzers identifizieren, der auf der Amazon-Website surft. Mithilfe eines einfachen Algorithmus, der die angesehenen Seiten und die darauf verbrachte Zeit berücksichtigt, können wir ableiten, dass der Nutzer beispielsweise an Teppichen interessiert ist, indem wir dem Algorithmus einfach die Produktkategorien zuordnen, die mit den verschiedenen Seiten verbunden sind.

Die Zuordnung thematischer Interessen zu Nutzern, die verschiedene Seiten besuchen, kann jedoch komplexer sein. Angenommen, derselbe Nutzer hat drei Seiten besucht, die, nur basierend auf dem Produkttyp, nichts gemeinsam haben. Diese Seiten könnten jedoch ein übergreifendes oder „benutzerdefiniertes“ Interesse teilen, wie zum Beispiel einen Fokus auf Nachhaltigkeit und Umwelt.

In diesem Fall könnten wir dem Nutzer sowohl ein Produktinteresse als auch ein benutzerdefiniertes Interesse zuweisen, was darauf hindeutet, dass er sensibel für Umweltthemen ist. Folglich wäre es angebracht, ihm Produkte aus diesem Bereich anzubieten.

Der Prozess der Zuweisung dieses Interesses scheint einfach: Wir müssen den Textinhalt der Seiten analysieren und allen Seiten, die dasselbe Thema behandeln, dasselbe Label zuweisen. Hier treten jedoch die größten Herausforderungen auf, da eine ausgeklügelte semantische Analyse und die Fähigkeit, gemeinsame Themen innerhalb heterogener Inhalte zu erkennen, erforderlich sind.

Ansätze und Algorithmen zur Interessenanalyse

Um die Seiten einer Website nach thematischen Interessen zu kategorisieren, können verschiedene Ansätze gewählt werden. Hier stellen wir drei davon vor und versuchen, deren Vor- und Nachteile hervorzuheben.

Maschinelles Lernen

Der erste Ansatz, der traditionellere, beinhaltet die Verwendung eines klassischen Klassifizierungsmodells, das auf maschinellem Lernen basiert. In diesem Fall ist es notwendig, einen Klassifizierungsalgorithmus aus den vielen verfügbaren auszuwählen und ein Wörterbuch für das Training des Algorithmus zu erstellen. Dies impliziert eine klare Definition aller benutzerdefinierten Labels, mit denen die Seiten der Website klassifiziert werden sollen, und die Bereitstellung einer ausreichenden Anzahl von Beispielen, Texten und Beschreibungen, die jedem Label zugeordnet sind.

Diese Modelle haben einige wesentliche Vorteile. Erstens sind sie deterministisch, was bedeutet, dass die Anwendung desselben Algorithmus auf dieselben Daten immer dasselbe Ergebnis liefert. Darüber hinaus sind sie kostengünstig und können intern implementiert werden, ohne dass Anbieter benötigt werden.

Es gibt jedoch auch Einschränkungen. Das Modelltraining erfordert die Erstellung eines oft sehr umfangreichen Wörterbuchs; es reicht nicht aus, ein oder zwei Beispiele pro Label bereitzustellen, sondern es werden viele mehr benötigt. Dies bedeutet, dass ein erheblicher Aufwand erforderlich ist, um ein für das Modelltraining geeignetes Wörterbuch zu erstellen. Darüber hinaus funktionieren diese Modelle effektiv, wenn die Anzahl der Cluster begrenzt ist. Auf einer Website wie Amazon, wo Hunderte von Clustern identifiziert werden können, wird der Ansatz weniger praktikabel. Jedes Mal, wenn ein neuer Cluster, ein neues Label oder ein neues Interesse hinzugefügt wird, ist es notwendig, das Wörterbuch zu aktualisieren und das Modell neu zu trainieren, was diese Methode unhaltbar macht.

Generative KI

Der zweite Ansatz beinhaltet die Verwendung generativer Modelle der künstlichen Intelligenz, die auf zwei Arten implementiert werden können: mit Einschränkungen und ohne Einschränkungen.

Generative KI mit Einschränkungen

Bei der Verwendung generativer KI „mit Einschränkungen“ stellen Sie dem Tool die gesamte Liste der gewünschten Cluster und einige Beispiele für jedes Cluster zur Verfügung, deutlich weniger als die 30-40 Beispiele, die in traditionellen Modellen des maschinellen Lernens benötigt werden. Diese vortrainierten Modelle eignen sich hervorragend für die Handhabung einer großen Anzahl von Clustern und erfordern wenig Wartung, da Plattformen wie OpenAI einen Großteil des Prozesses übernehmen. Um einen neuen Cluster hinzuzufügen, bearbeiten Sie einfach den ursprünglichen Prompt, fügen den neuen Cluster hinzu und ergänzen ein paar Beispiele.

Diese Methode hat jedoch zwei grundlegende Probleme:

• Das Modell ist nicht deterministisch: Die mehrmalige Anwendung desselben Algorithmus auf dieselben Daten kann zu unterschiedlichen Ergebnissen führen, was für die Datenkonsistenz unerwünscht ist.
• Hohe Kosten: Wenn Sie eine Website mit beispielsweise 20.000 Seiten haben, wird die Nutzung der von einem Anbieter bereitgestellten API wirtschaftlich unhaltbar. Dies liegt nicht nur an der großen Menge der zu analysierenden Daten, sondern auch daran, dass die für den Prozess erforderlichen langen Prompts die Kosten erheblich erhöhen.

Uneingeschränkte generative KI

In diesem Fall werden anstatt alle Cluster bereitzustellen, nur wenige Beispiele an die generative KI übergeben und das Modell gebeten, die Klassifizierung auf deren Grundlage durchzuführen und weitere für die Klassifizierung nützliche Cluster zu erfinden. Der erste Durchlauf kann sehr gut funktionieren: Das Tool liest, klassifiziert und identifiziert aussagekräftige Cluster. Mit einem gut formulierten Prompt können die erzielten Ergebnisse sehr zufriedenstellend sein. Darüber hinaus kann die KI autonom neue, aufkommende Cluster identifizieren. Diese Methode ist effektiv bei vielen Clustern und erfordert sehr wenige Beispiele. Trotz der Vorteile gibt es einige Kritikpunkte:

• Das Modell bleibt nicht deterministisch: Jedes Mal, wenn das Modell zur Aktualisierung der Interessen erneut ausgeführt wird, kann es unterschiedliche Cluster generieren und sich nicht an frühere Klassifizierungen erinnern. Was heute als „Öko-Nachhaltigkeit“ bezeichnet wird, könnte beispielsweise bei einem späteren Durchlauf zu „Umweltfreundlichkeit“ werden. Dies führt zu der Notwendigkeit, ein System zur Bereinigung und Standardisierung der Ergebnisse zu implementieren, wodurch die anfänglichen Vorteile teilweise zunichtegemacht werden.
• Obwohl die Kosten niedriger sind als bei der eingeschränkten Version, sind sie immer noch recht hoch.

In einem idealen Szenario hätten wir ein deterministisches Modell, dem wir ein relativ begrenztes Wörterbuch zur Verfügung stellen könnten, wodurch wir nicht zu viel Zeit für dessen Erstellung aufwenden müssten. Das Modell sollte effektiv mit zahlreichen Clustern arbeiten, wenig Wartung erfordern und kostengünstig sein.

Unsere Lösung mit Embeddings

Um dies zu erreichen, haben wir einen auf Embeddings basierenden Ansatz gewählt und in unsere Bytek Prediction Platform integriert. Diese Technik wird in der Verarbeitung natürlicher Sprache und anderen Anwendungen der künstlichen Intelligenz häufig eingesetzt, um das Textverständnis, die semantische Suche, die Klassifizierung und die Inhaltserstellung zu verbessern. Embeddings transformieren Text in hochdimensionale numerische Vektoren, wobei die semantische Bedeutung des Inhalts erhalten bleibt. Diese Transformation ist entscheidend, da sie den Vergleich von Texten auf der Grundlage ihres semantischen Inhalts ermöglicht.

Sobald jeder Text als numerischer Vektor dargestellt ist, kann der Abstand zwischen zwei Texten berechnet werden, analog zur Berechnung des Abstands zwischen zwei Punkten im numerischen Raum. Selbst bei Verwendung der einfachen euklidischen Distanz können signifikante Ergebnisse erzielt werden. Zum Beispiel ist der Abstand zwischen den Wörtern „Teppich“ und „Kelims“ (eine Art Teppich) viel kleiner als der zwischen „Teppich“ und „Glas“, da die Embeddings die semantischen Beziehungen zwischen den Wörtern erfassen.

Vorteile des Embeddings-Ansatzes

Diese Methode löst die bisherigen Probleme effektiv:

• Determinismus: Das Modell liefert bei jedem Durchlauf konsistente Ergebnisse.
• Vordefinierte Cluster: Cluster werden in der Trainingsphase bereitgestellt, wodurch die Generierung unerwünschter Cluster vermieden wird.
• Begrenztes Wörterbuch: 3-4 Beispiele pro Cluster sind ausreichend, was die Vorbereitungszeit reduziert.
• Skalierbarkeit: Funktioniert gut mit einer großen Anzahl von Clustern.
• Geringer Wartungsaufwand: Erfordert minimale Eingriffe nach der Erstimplementierung.
• Geringe Kosten: Die Kosten sind überschaubar und niedriger als bei anderen Lösungen.

Zuweisung von Interessen an Nutzer

Sobald allen Seiten Labels zugewiesen wurden, besteht der nächste Schritt darin, jedem Nutzer Produkte und/oder Interessen zuzuweisen. Dazu haben wir einen proprietären Algorithmus entwickelt, der sowohl das individuelle Nutzerverhalten als auch das kollektive Verhalten anderer Nutzer berücksichtigt. Ein Nutzer, der sich beispielsweise wirklich für Öko-Nachhaltigkeit interessiert, besucht tendenziell viele verwandte Seiten, verbringt Zeit damit, Produktbeschreibungen detailliert zu lesen und interagiert intensiv mit dem Inhalt. Folglich reicht ein gelegentlicher Zugriff auf eine Seite zum Thema Nachhaltigkeit nicht aus, um zu dem Schluss zu kommen, dass der Nutzer an diesem Thema interessiert ist.

Es ist unerlässlich zu analysieren:

• Transversales Verhalten: Wie der Nutzer mit verschiedenen Interessen interagiert.
• Kollektiver Vergleich: Wie sich sein Verhalten zu dem anderer Nutzer mit ähnlichen Interessen verhält.

Nur durch diese eingehende Analyse können die echten Interessen des Nutzers mit hoher Sicherheit bestimmt werden. Dieser integrierte Ansatz ermöglicht eine genauere und zuverlässigere Klassifizierung von Interessen, wodurch die Personalisierung und Effektivität von Marketing- und Nutzerinteraktionsstrategien verbessert wird.