Synopsis
#define NB_CORE_TOKENS \
NB_TOKEN("?<eol>", NB_TOKEN_EOL), \
NB_TOKEN("?<pad>", NB_TOKEN_PAD), \
NB_TOKEN("'", NB_TOKEN_APOSTROPHE), \
NB_TOKEN(":", NB_TOKEN_COLON), \
NB_TOKEN("ELSE", NB_TOKEN_LINE_ELSE), \
NB_TOKEN("LIST", NB_TOKEN_LIST), \
NB_TOKEN("PRINT", NB_TOKEN_PRINT), \
NB_TOKEN("WRITE", NB_TOKEN_WRITE), \
NB_TOKEN("GOTO", NB_TOKEN_GOTO), \
NB_TOKEN("GOSUB", NB_TOKEN_GOSUB), \
NB_TOKEN("RETURN", NB_TOKEN_RETURN), \
NB_TOKEN("IF", NB_TOKEN_LINE_IF), \
NB_TOKEN("IF", NB_TOKEN_BLOCK_IF), \
NB_TOKEN("FOR EACH", NB_TOKEN_FOR_EACH), \
NB_TOKEN("FOR", NB_TOKEN_FOR), \
NB_TOKEN("WHILE", NB_TOKEN_WHILE), \
NB_TOKEN("REPEAT", NB_TOKEN_REPEAT), \
NB_TOKEN("CASE", NB_TOKEN_CASE), \
NB_TOKEN("WHEN", NB_TOKEN_WHEN), \
NB_TOKEN("OTHERWISE", NB_TOKEN_OTHERWISE), \
NB_TOKEN("ENDCASE", NB_TOKEN_ENDCASE), \
NB_TOKEN("DEFPROC", NB_TOKEN_DEFPROC), \
NB_TOKEN("DEFFN", NB_TOKEN_DEFFN), \
NB_TOKEN("NEXT", NB_TOKEN_NEXT), \
NB_TOKEN("WEND", NB_TOKEN_WEND), \
NB_TOKEN("UNTIL", NB_TOKEN_UNTIL), \
NB_TOKEN("ENDPROC", NB_TOKEN_ENDPROC), \
NB_TOKEN("ENDFN", NB_TOKEN_ENDFN), \
NB_TOKEN("EXIT FOR", NB_TOKEN_EXIT_FOR), \
NB_TOKEN("EXIT WHILE", NB_TOKEN_EXIT_WHILE), \
NB_TOKEN("EXIT REPEAT", NB_TOKEN_EXIT_REPEAT), \
NB_TOKEN("EXIT", NB_TOKEN_EXIT), \
NB_TOKEN("END", NB_TOKEN_END), \
NB_TOKEN("ENDIF", NB_TOKEN_ENDIF), \
NB_TOKEN("ELSE", NB_TOKEN_BLOCK_ELSE), \
NB_TOKEN("TRY", NB_TOKEN_TRY), \
NB_TOKEN("THROW", NB_TOKEN_THROW), \
NB_TOKEN("STOP", NB_TOKEN_STOP), \
NB_TOKEN("CALL", NB_TOKEN_CALL), \
NB_TOKEN("PROC", NB_TOKEN_PROC), \
NB_TOKEN("REM", NB_TOKEN_REM), \
NB_TOKEN("NEW", NB_TOKEN_NEW), \
NB_TOKEN("LET", NB_TOKEN_LET), \
NB_TOKEN("RUN", NB_TOKEN_RUN), \
NB_TOKEN("MAT", NB_TOKEN_MAT), \
NB_TOKEN("CORE", NB_TOKEN_CORE), \
NB_TOKEN("INSTALL", NB_TOKEN_INSTALL), \
NB_TOKEN("REPORT", NB_TOKEN_REPORT), \
NB_TOKEN("ERROR", NB_TOKEN_ERROR), \
NB_TOKEN("RECYCLE", NB_TOKEN_RECYCLE), \
NB_TOKEN("CLASSIC", NB_TOKEN_CLASSIC), \
NB_TOKEN("READ", NB_TOKEN_READ), \
NB_TOKEN("DATA", NB_TOKEN_DATA), \
NB_TOKEN("RESTORE", NB_TOKEN_RESTORE), \
NB_TOKEN("DUMP", NB_TOKEN_DUMP), \
NB_TOKEN("RANDOMIZE", NB_TOKEN_RANDOMIZE), \
NB_TOKEN("SORT", NB_TOKEN_SORT), \
NB_TOKEN("REVERSE", NB_TOKEN_REVERSE), \
NB_TOKEN("SHUFFLE", NB_TOKEN_SHUFFLE), \
NB_TOKEN("CLS", NB_TOKEN_CLS), \
NB_TOKEN("VDU", NB_TOKEN_VDU), \
NB_TOKEN("VERSION", NB_TOKEN_VERSION), \
NB_TOKEN("DIM", NB_TOKEN_DIM), \
NB_TOKEN("PAUSE", NB_TOKEN_PAUSE), \
NB_TOKEN("WAIT", NB_TOKEN_WAIT), \
NB_TOKEN("SYSTEM", NB_TOKEN_SYSTEM), \
NB_TOKEN("TIMER", NB_TOKEN_TIMER), \
NB_TOKEN("USING", NB_TOKEN_USING), \
NB_TOKEN("INPUT", NB_TOKEN_INPUT), \
NB_TOKEN("OUTPUT", NB_TOKEN_OUTPUT), \
NB_TOKEN("ANALOG", NB_TOKEN_ANALOG), \
NB_TOKEN("DIGITAL", NB_TOKEN_DIGITAL), \
NB_TOKEN("?<ext_0>", NB_TOKEN_EXTENSION_0), \
NB_TOKEN("?<ext_1>", NB_TOKEN_EXTENSION_1), \
NB_TOKEN("?<ext_2>", NB_TOKEN_EXTENSION_2), \
NB_TOKEN("?<ext_3>", NB_TOKEN_EXTENSION_3), \
NB_TOKEN("?<ext_4>", NB_TOKEN_EXTENSION_4), \
NB_TOKEN("?<ext_5>", NB_TOKEN_EXTENSION_5), \
NB_TOKEN("?<ext_6>", NB_TOKEN_EXTENSION_6), \
NB_TOKEN("?<ext_7>", NB_TOKEN_EXTENSION_7), \
NB_TOKEN("?<ext_8>", NB_TOKEN_EXTENSION_8), \
NB_TOKEN("?<ext_9>", NB_TOKEN_EXTENSION_9), \
NB_TOKEN("?<ext_10>", NB_TOKEN_EXTENSION_10), \
NB_TOKEN("?<ext_11>", NB_TOKEN_EXTENSION_11), \
NB_TOKEN("?<ext_12>", NB_TOKEN_EXTENSION_12), \
NB_TOKEN("?<ext_13>", NB_TOKEN_EXTENSION_13), \
NB_TOKEN("?<ext_14>", NB_TOKEN_EXTENSION_14), \
NB_TOKEN("?<ext_15>", NB_TOKEN_EXTENSION_15), \
NB_TOKEN("?<var>", NB_TOKEN_VAR), \
NB_TOKEN("?<property>", NB_TOKEN_PROPERTY), \
NB_TOKEN("=", NB_TOKEN_EQ), \
NB_TOKEN("<>", NB_TOKEN_NE), \
NB_TOKEN("<=", NB_TOKEN_LE), \
NB_TOKEN(">=", NB_TOKEN_GE), \
NB_TOKEN("<", NB_TOKEN_LT), \
NB_TOKEN(">", NB_TOKEN_GT), \
NB_TOKEN("^", NB_TOKEN_POW), \
NB_TOKEN("+", NB_TOKEN_PLUS), \
NB_TOKEN("-", NB_TOKEN_MINUS), \
NB_TOKEN("*", NB_TOKEN_STAR), \
NB_TOKEN("/", NB_TOKEN_SLASH), \
NB_TOKEN("\\", NB_TOKEN_BACKSLASH), \
NB_TOKEN("MOD", NB_TOKEN_MOD), \
NB_TOKEN("&", NB_TOKEN_AMP), \
NB_TOKEN("AND", NB_TOKEN_AND), \
NB_TOKEN("OR", NB_TOKEN_OR), \
NB_TOKEN("XOR", NB_TOKEN_XOR), \
NB_TOKEN("EQV", NB_TOKEN_EQV), \
NB_TOKEN("IMP", NB_TOKEN_IMP), \
NB_TOKEN("MAX", NB_TOKEN_MAX), \
NB_TOKEN("MIN", NB_TOKEN_MIN), \
NB_TOKEN("AND THEN", NB_TOKEN_AND_THEN), \
NB_TOKEN("OR ELSE", NB_TOKEN_OR_ELSE), \
NB_TOKEN("-", NB_TOKEN_NEGATE), \
NB_TOKEN("CNJ", NB_TOKEN_CNJ), \
NB_TOKEN("ARG", NB_TOKEN_ARG), \
NB_TOKEN("RE", NB_TOKEN_RE), \
NB_TOKEN("IM", NB_TOKEN_IM), \
NB_TOKEN("NOT", NB_TOKEN_NOT), \
NB_TOKEN("SGN", NB_TOKEN_SGN), \
NB_TOKEN("ABS", NB_TOKEN_ABS), \
NB_TOKEN("INV", NB_TOKEN_INV), \
NB_TOKEN("RND", NB_TOKEN_RND), \
NB_TOKEN("SQR", NB_TOKEN_SQR), \
NB_TOKEN("EXP", NB_TOKEN_EXP), \
NB_TOKEN("LOG", NB_TOKEN_LOG), \
NB_TOKEN("LOG2", NB_TOKEN_LOG2), \
NB_TOKEN("LOG10", NB_TOKEN_LOG10), \
NB_TOKEN("FIX", NB_TOKEN_FIX), \
NB_TOKEN("FLT", NB_TOKEN_FLT), \
NB_TOKEN("INT", NB_TOKEN_INT), \
NB_TOKEN("CINT", NB_TOKEN_CINT), \
NB_TOKEN("STR", NB_TOKEN_STR), \
NB_TOKEN("VAL", NB_TOKEN_VAL), \
NB_TOKEN("INF", NB_TOKEN_INF), \
NB_TOKEN("NAN", NB_TOKEN_NAN), \
NB_TOKEN("LEN", NB_TOKEN_LEN), \
NB_TOKEN("HIGH", NB_TOKEN_HIGH), \
NB_TOKEN("TYP", NB_TOKEN_TYP), \
NB_TOKEN("ZER", NB_TOKEN_ZER), \
NB_TOKEN("IDN", NB_TOKEN_IDN), \
NB_TOKEN("CON", NB_TOKEN_CON), \
NB_TOKEN("COL", NB_TOKEN_COL), \
NB_TOKEN("ROW", NB_TOKEN_ROW), \
NB_TOKEN("TRN", NB_TOKEN_TRN), \
NB_TOKEN("DET", NB_TOKEN_DET), \
NB_TOKEN("GEN", NB_TOKEN_GEN), \
NB_TOKEN("SAMPLE", NB_TOKEN_SAMPLE), \
NB_TOKEN("DEFER", NB_TOKEN_DEFER), \
NB_TOKEN("EVAL", NB_TOKEN_EVAL), \
NB_TOKEN("SUM", NB_TOKEN_SUM), \
NB_TOKEN("PI", NB_TOKEN_PI), \
NB_TOKEN("CMPLX", NB_TOKEN_CMPLX), \
NB_TOKEN("QUAT", NB_TOKEN_QUAT), \
NB_TOKEN("MERGE", NB_TOKEN_MERGE), \
NB_TOKEN("CLONE", NB_TOKEN_CLONE), \
NB_TOKEN("?<zero>", NB_TOKEN_ZERO), \
NB_TOKEN("?<int_lit_2>", NB_TOKEN_INT_LIT_2), \
NB_TOKEN("?<int_lit_x>", NB_TOKEN_INT_LIT_X), \
NB_TOKEN("?<hex_lit_2>", NB_TOKEN_HEX_LIT_2), \
NB_TOKEN("?<hex_lit_x>", NB_TOKEN_HEX_LIT_X), \
NB_TOKEN("?<flt_lit_2>", NB_TOKEN_FLT_LIT_2), \
NB_TOKEN("?<flt_lit_x>", NB_TOKEN_FLT_LIT_X), \
NB_TOKEN("?<str_lit>", NB_TOKEN_STR_LIT), \
NB_TOKEN("LEFT", NB_TOKEN_LEFT), \
NB_TOKEN("MID", NB_TOKEN_MID), \
NB_TOKEN("RIGHT", NB_TOKEN_RIGHT), \
NB_TOKEN("INNER", NB_TOKEN_INNER), \
NB_TOKEN("REDUCE", NB_TOKEN_REDUCE), \
NB_TOKEN("SELECT", NB_TOKEN_SELECT), \
NB_TOKEN("RAVEL", NB_TOKEN_RAVEL), \
NB_TOKEN("PICK", NB_TOKEN_PICK), \
NB_TOKEN("IFF", NB_TOKEN_IFF), \
NB_TOKEN(".", NB_TOKEN_PERIOD), \
NB_TOKEN(";", NB_TOKEN_SEMI), \
NB_TOKEN(",", NB_TOKEN_COMMA), \
NB_TOKEN("|", NB_TOKEN_BAR), \
NB_TOKEN("#", NB_TOKEN_SHARP), \
NB_TOKEN("@", NB_TOKEN_AT), \
NB_TOKEN("(", NB_TOKEN_LPAR), \
NB_TOKEN(")", NB_TOKEN_RPAR), \
NB_TOKEN("[", NB_TOKEN_LBRK), \
NB_TOKEN("]", NB_TOKEN_RBRK), \
NB_TOKEN("TO", NB_TOKEN_TO), \
NB_TOKEN("IN", NB_TOKEN_IN), \
NB_TOKEN("ON", NB_TOKEN_ON), \
NB_TOKEN("OFF", NB_TOKEN_OFF), \
NB_TOKEN("THEN", NB_TOKEN_THEN), \
NB_TOKEN("STEP", NB_TOKEN_STEP), \
NB_TOKEN("AS", NB_TOKEN_AS), \
NB_TOKEN("MODULES", NB_TOKEN_MODULES), \
NB_TOKEN("?<lnref>", NB_TOKEN_LNREF), \
NB_TOKEN("?<escape>", NB_TOKEN_ESCAPE)