CodeTokenizer

Функциональный интерфейс для разбиения исходного кода на токены с цветовыми стилями.

Обзор

Реализации CodeTokenizer сканируют текст редактора в контексте CodeTokenizationContext и возвращают список диапазонов CodeToken для подсветки синтаксиса.

API

CodeTokenizer::tokenize(CodeTokenizationContext)

Токенизировать текст

Разбивает строку исходного текста на список стилизованных токенов.

Параметр	Тип	Описание
context	CodeTokenizationContext	—

Возвращает List.