mirrors/cpython
1
0
Fork 0
mirror of https://github.com/python/cpython.git synced 2025-08-30 21:48:47 +00:00
Code Issues Projects Releases Packages Wiki Activity Actions 7

gh-112943: Correctly compute end offsets for multiline tokens in the tokenize module (#112949)

Browse source
This commit is contained in:
Pablo Galindo Salgado 2023-12-11 11:44:22 +00:00 • committed by GitHub
parent 4c5b9c107a
commit a135a6d2c6
No known key found for this signature in database
GPG key ID: 4AEE18F83AFDEB23
5 changed files with 25 additions and 6 deletions
Download patch file Download diff file Expand all files Collapse all files

10
Lib/test/test_tokenize.py
View file

@ -615,6 +615,16 @@ f'__{
OP '}' (3, 0) (3, 1)
FSTRING_MIDDLE '__' (3, 1) (3, 3)
FSTRING_END "'" (3, 3) (3, 4)
""")
self.check_tokenize("""\
'''Autorzy, którzy tą jednostkę mają wpisani jako AKTUALNA -- czyli
aktualni pracownicy, obecni pracownicy'''
""", """\
INDENT ' ' (1, 0) (1, 4)
STRING "'''Autorzy, którzy tą jednostkę mają wpisani jako AKTUALNA -- czyli\\n aktualni pracownicy, obecni pracownicy'''" (1, 4) (2, 45)
NEWLINE '\\n' (2, 45) (2, 46)
DEDENT '' (3, 0) (3, 0)
""")
def test_function(self):