NaifyView\Tokenizer\TokenKind クラス
TokenKind — tokenizer layer の Token Kind
source text を parser が扱える token stream として運ぶための型。 syntax error の source hint を保つため、token kind と span を一緒に扱う。
使用例
// NaifyTokenizer が source を token stream に分解する時の値 object。
// parser は TokenKind と Token を見て AST を組み立てる。メソッド
| メソッド | 説明 |
|---|