Ein Wort weiter

Tokenisierung

Substantiv[tokeniˈziːʁʊŋ]Lautschrift & QuellenTechnik & IT

Zerlegung von Text in Verarbeitungseinheiten

Was bedeutet „Tokenisierung“?

Tokenisierung zerlegt Text in kleinere Einheiten, damit Programme Sprache analysieren, speichern oder weiterverarbeiten können.

So verwendest du das Wort

Vor der Suche führt das System eine Tokenisierung der eingegebenen Frage durch.

Erklärungen aus dem Wortreich-Wortbestand.

Lautschrift: Einzelquelle · Mitwirkende, Bearbeitungen & Lizenz (CC BY-SA).

Eine Ungenauigkeit entdeckt? Gib uns Bescheid.

Mehr aus Technik & IT →
Das Wörterbuch für unterwegs

Ein Wort entdeckt.
Viele bleiben noch.

Mit Wortreich erweiterst du deinen Wortschatz jeden Tag. Entdecke neue Wörter auf deinem Homescreen und vertiefe sie in der App.

Für iPhone und Android · Widgets, Erklärungen und Lernmodus

Wort des TagesW
Tokenisierung
Zerlegung von Text in Verarbeitungseinheiten
So kann dein Homescreen aussehen.