Was bedeutet „Tokenisierung“?
Tokenisierung zerlegt Text in kleinere Einheiten, damit Programme Sprache analysieren, speichern oder weiterverarbeiten können.
So verwendest du das Wort
Vor der Suche führt das System eine Tokenisierung der eingegebenen Frage durch.
Erklärungen aus dem Wortreich-Wortbestand.
Lautschrift: Einzelquelle · Mitwirkende, Bearbeitungen & Lizenz (CC BY-SA).
Eine Ungenauigkeit entdeckt? Gib uns Bescheid.