{"id":2788,"date":"2026-09-14T08:35:42","date_gmt":"2026-09-14T08:35:42","guid":{"rendered":"https:\/\/www.bytek.ai\/?p=2788"},"modified":"2026-09-14T13:21:50","modified_gmt":"2026-09-14T13:21:50","slug":"eine-neue-art-vorhersagen-aus-daten-zu-treffen-wir-haben-tabfm-getestet","status":"publish","type":"post","link":"https:\/\/www.bytek.ai\/de\/blog\/eine-neue-art-vorhersagen-aus-daten-zu-treffen-wir-haben-tabfm-getestet\/","title":{"rendered":"Eine neue Art, Vorhersagen aus Daten zu treffen? Wir haben TabFM getestet"},"content":{"rendered":"

TabFM<\/a><\/strong> ist ein von Google Research entwickeltes Modell f\u00fcr Klassifikations- und Regressionsaufgaben. Es verfolgt einen anderen Ansatz als traditionelle Machine-Learning-Workflows f\u00fcr strukturierte Daten.<\/p>\n

Anstatt ein neues Modell mit den eigenen Daten zu trainieren, nutzt TabFM In-Context Learning<\/strong>: Historische Daten werden dem Modell als Kontext zur Verf\u00fcgung gestellt, und TabFM verwendet diese Beispiele, um direkt w\u00e4hrend der Inferenz Vorhersagen zu generieren.<\/p>\n

Konzeptionell \u00e4hnelt dieser Ansatz der Funktionsweise von Sprachmodellen, wenn ihnen Beispiele direkt innerhalb eines Prompts bereitgestellt werden.<\/p>\n

Google hat TabFM au\u00dferdem direkt in BigQuery integriert<\/a><\/strong>. Dort kann es \u00fcber SQL mit AI.PREDICT<\/code> verwendet und mit AI.EVALUATE<\/code> bewertet werden, ohne Training und Deployment des Modells separat verwalten zu m\u00fcssen.<\/p>\n

Das f\u00fchrte uns zu einer naheliegenden Frage:<\/p>\n

Wie konkurrenzf\u00e4hig ist dieser Ansatz im Vergleich zu den ML-basierten Modellen, die bereits in der ByTek Prediction Platform eingesetzt werden?<\/strong><\/p>\n

Also haben wir einige Tests durchgef\u00fchrt.<\/p>\n

Methodik der Analyse<\/h2>\n

Wir haben drei reale Datens\u00e4tze mit unterschiedlichen Eigenschaften ausgew\u00e4hlt und TabFM bei Klassifikationsaufgaben mit den BPP-Modellen<\/strong> verglichen.<\/p>\n

Eine wichtige Vorbemerkung: Dies ist kein abschlie\u00dfender Benchmark und soll nicht bestimmen, welche Technologie grunds\u00e4tzlich besser ist.<\/strong><\/p>\n

Es handelt sich um eine explorative Analyse auf Basis von drei konkreten Anwendungsf\u00e4llen, deren Ergebnisse wir interessant genug fanden, um sie zu teilen.<\/p>\n

Die Datens\u00e4tze:<\/p>\n

Dataset A<\/strong>
\n\u00dcberwiegend demografische und kanalbezogene Features.
\nAnteil positiver F\u00e4lle: 6,5 %<\/strong><\/p>\n

Dataset B<\/strong>
\nUmfangreichere Verhaltens-Features, darunter Trials, Demos und Logins.
\nAnteil positiver F\u00e4lle: 11,8 %<\/strong><\/p>\n

Dataset C<\/strong>
\nDemografische und transaktionale Daten.
\nAnteil positiver F\u00e4lle: 27,9 %<\/strong><\/p>\n

F\u00fcr den Leistungsvergleich haben wir uns haupts\u00e4chlich auf zwei Metriken konzentriert: ROC-AUC und PR-AUC<\/strong>.<\/p>\n

Die ROC-AUC<\/strong> misst, wie gut das Modell die gesamte Population einordnet und dabei F\u00e4lle mit einer h\u00f6heren Wahrscheinlichkeit f\u00fcr ein positives Ergebnis von solchen mit einer h\u00f6heren Wahrscheinlichkeit f\u00fcr ein negatives Ergebnis unterscheidet.<\/p>\n

Die PR-AUC<\/strong> konzentriert sich st\u00e4rker darauf, wie zuverl\u00e4ssig das Modell positive F\u00e4lle identifiziert. Sie ist besonders relevant, wenn die positive Klasse in der Minderheit ist und operativ vor allem die Qualit\u00e4t der obersten Positionen im Ranking z\u00e4hlt.<\/p>\n

Ergebnisse des Vergleichs<\/h2>\n

Bei der ROC-AUC<\/strong> erzielten die BPP-Modelle auf allen drei Datens\u00e4tzen die besten Ergebnisse.<\/p>\n

Beim Dataset B betr\u00e4gt der Unterschied allerdings nur 0,002 Punkte<\/strong> \u2013 praktisch also ein sehr \u00e4hnliches Ergebnis.<\/p>\n

Bei der PR-AUC<\/strong> ist das Bild differenzierter.<\/p>\n

Die BPP-Modelle schneiden auf zwei Datens\u00e4tzen besser ab: mit einem deutlichen Vorsprung bei Dataset A und einem geringeren Vorteil bei Dataset C.<\/p>\n

TabFM erzielt dagegen bei Dataset B das bessere Ergebnis<\/strong>, also bei dem Datensatz mit den umfangreichsten Verhaltenssignalen.<\/p>\n

Die Ergebnisse, TabFM vs. BPP-Modelle<\/strong>:<\/p>\n\n\n\n\n\n\n
Dataset<\/th>\nPR-AUC TabFM<\/th>\nPR-AUC BPP<\/th>\nROC-AUC TabFM<\/th>\nROC-AUC BPP<\/th>\n<\/tr>\n
A<\/td>\n0,286<\/td>\n0,542<\/strong><\/td>\n0,845<\/td>\n0,910<\/strong><\/td>\n<\/tr>\n
B<\/td>\n0,771<\/strong><\/td>\n0,713<\/td>\n0,939<\/td>\n0,941<\/strong><\/td>\n<\/tr>\n
C<\/td>\n0,816<\/td>\n0,903<\/strong><\/td>\n0,915<\/td>\n0,952<\/strong><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

\"\"<\/p>\n

Welche Metrik am relevantesten ist, h\u00e4ngt nat\u00fcrlich davon ab, wie die Vorhersage eingesetzt werden soll.<\/p>\n

Wenn das Modell beispielsweise dazu dient, Leads zu priorisieren und zu entscheiden, welche zuerst kontaktiert werden sollen<\/strong>, ist die Qualit\u00e4t an der Spitze des Rankings entscheidend. In diesem Fall kann die PR-AUC besonders aussagekr\u00e4ftig sein.<\/p>\n

Wird der Prediction Score dagegen genutzt, um Audiences zu erstellen, eine Population zu segmentieren oder Nutzer mit einer sehr niedrigen Conversion-Wahrscheinlichkeit auszuschlie\u00dfen<\/strong>, spielt auch die Qualit\u00e4t des gesamten Rankings eine wichtige Rolle \u2013 und damit die ROC-AUC.<\/p>\n

Auswirkungen zus\u00e4tzlicher Rechenressourcen<\/h2>\n

Bei Dataset A wollten wir \u00fcberpr\u00fcfen, ob sich der Abstand durch eine deutliche Erh\u00f6hung der Kontextgr\u00f6\u00dfe und des Rechenaufwands verringern l\u00e4sst.<\/p>\n

Wir erh\u00f6hten:<\/p>\n