mirror of
https://github.com/roc-lang/roc.git
synced 2025-08-04 12:18:19 +00:00
Merge pull request #7569 from joshuawarner32/zig-tokenizer
Implement initial roc tokenizer in zig
This commit is contained in:
commit
25b076b945
8 changed files with 1497 additions and 72 deletions
|
@ -1,4 +1,4 @@
|
|||
1P : (
|
||||
11 : (
|
||||
I,
|
||||
s,
|
||||
Mw
|
||||
|
|
|
@ -1,74 +1,79 @@
|
|||
@0-21 Defs(
|
||||
Defs {
|
||||
tags: [
|
||||
EitherIndex(2147483648),
|
||||
],
|
||||
regions: [
|
||||
@0-17,
|
||||
],
|
||||
space_before: [
|
||||
Slice<roc_parse::ast::CommentOrNewline> { start: 0, length: 0 },
|
||||
],
|
||||
space_after: [
|
||||
Slice<roc_parse::ast::CommentOrNewline> { start: 0, length: 0 },
|
||||
],
|
||||
spaces: [],
|
||||
type_defs: [],
|
||||
value_defs: [
|
||||
Annotation(
|
||||
@0-2 SpaceAfter(
|
||||
NumLiteral(
|
||||
"1P",
|
||||
@0-21 SpaceAfter(
|
||||
Defs(
|
||||
Defs {
|
||||
tags: [
|
||||
EitherIndex(2147483648),
|
||||
],
|
||||
regions: [
|
||||
@0-17,
|
||||
],
|
||||
space_before: [
|
||||
Slice<roc_parse::ast::CommentOrNewline> { start: 0, length: 0 },
|
||||
],
|
||||
space_after: [
|
||||
Slice<roc_parse::ast::CommentOrNewline> { start: 0, length: 0 },
|
||||
],
|
||||
spaces: [],
|
||||
type_defs: [],
|
||||
value_defs: [
|
||||
Annotation(
|
||||
@0-2 SpaceAfter(
|
||||
NumLiteral(
|
||||
"11",
|
||||
),
|
||||
[
|
||||
Newline,
|
||||
],
|
||||
),
|
||||
[
|
||||
Newline,
|
||||
],
|
||||
),
|
||||
@4-17 Tuple {
|
||||
elems: [
|
||||
@5-15 Function(
|
||||
[
|
||||
@5-6 Apply(
|
||||
"",
|
||||
"I",
|
||||
[],
|
||||
),
|
||||
@7-8 SpaceAfter(
|
||||
BoundVariable(
|
||||
"s",
|
||||
@4-17 Tuple {
|
||||
elems: [
|
||||
@5-15 Function(
|
||||
[
|
||||
@5-6 Apply(
|
||||
"",
|
||||
"I",
|
||||
[],
|
||||
),
|
||||
[
|
||||
Newline,
|
||||
],
|
||||
@7-8 SpaceAfter(
|
||||
BoundVariable(
|
||||
"s",
|
||||
),
|
||||
[
|
||||
Newline,
|
||||
],
|
||||
),
|
||||
@10-12 Apply(
|
||||
"",
|
||||
"Mw",
|
||||
[],
|
||||
),
|
||||
],
|
||||
Pure,
|
||||
@14-15 BoundVariable(
|
||||
"r",
|
||||
),
|
||||
@10-12 Apply(
|
||||
"",
|
||||
"Mw",
|
||||
[],
|
||||
),
|
||||
],
|
||||
Pure,
|
||||
@14-15 BoundVariable(
|
||||
"r",
|
||||
),
|
||||
],
|
||||
ext: Some(
|
||||
@16-17 BoundVariable(
|
||||
"l",
|
||||
),
|
||||
),
|
||||
],
|
||||
ext: Some(
|
||||
@16-17 BoundVariable(
|
||||
"l",
|
||||
),
|
||||
),
|
||||
},
|
||||
),
|
||||
],
|
||||
},
|
||||
@18-21 SpaceBefore(
|
||||
Var {
|
||||
module_name: "",
|
||||
ident: "asl",
|
||||
},
|
||||
),
|
||||
],
|
||||
},
|
||||
[
|
||||
Newline,
|
||||
],
|
||||
@18-21 SpaceBefore(
|
||||
Var {
|
||||
module_name: "",
|
||||
ident: "asl",
|
||||
},
|
||||
[
|
||||
Newline,
|
||||
],
|
||||
),
|
||||
),
|
||||
[
|
||||
Newline,
|
||||
],
|
||||
)
|
||||
|
|
|
@ -1,4 +1,4 @@
|
|||
1P
|
||||
11
|
||||
:(I,s
|
||||
,Mw->r)l
|
||||
asl
|
||||
asl
|
||||
|
|
Loading…
Add table
Add a link
Reference in a new issue