slow.monster

STUDIO HAZE · atlas

Topaz source

Open by house policy. Topaz is our own language.

Topaz 6.0 · 5 files

Topaz 6.0 source.

Publication edits are limited to explanatory comments. Executable code is unchanged.
Rights and source notices · Source manifest

core/topaz/linebreak/금칙분류.tpz

Topaz · 10362 B · Published file

1// 아틀라스 금칙분류. 어디서 줄을 끊어도 되는지 가리는 분류기다(break-opportunity classifier, kinsoku).
2// 통합 줄바꿈기 `줄바꿈.tpz`의 1단계(어디서 줄을 끊을 수 있는지)를 따로 떼어 적었다.
3// 순수하고 결정론적이다. 클러스터들(한 줄당 하나)을 받아 줄바꿈 기회 "<단위끝> <분할종류>"를 낸다.
4// 분할종류 토큰(latin_space, korean_cluster 등)은 seam I/O 계약이라 ASCII로 유지한다.
5//
6// 입출력. 표준입력으로 클러스터(한 줄당 하나)를 받아 줄바꿈 기회 "<단위끝> <분할종류>"를 한 줄에 하나씩 낸다.
8import std.io
10function 첫코드포인트(텍스트: string) -> int { 텍스트.codePointAt(0) ?? -1 }
11function 단일스칼라(텍스트: string) -> bool { 텍스트.scalars().length == 1 }
13// ── 글자류 판정 (char-class predicates over a single code point) ──
14function 한글분할문자인가(코드: int) -> bool {
15 (코드 >= 4352 && 코드 <= 4607) // U+1100..U+11FF 한글 자모
16 || (코드 >= 12592 && 코드 <= 12687) // U+3130..U+318F 한글 호환 자모
17 || (코드 >= 44032 && 코드 <= 55215) // U+AC00..U+D7AF 한글 음절
18 || (코드 >= 13312 && 코드 <= 19903) // U+3400..U+4DBF CJK 확장 A
19 || (코드 >= 19968 && 코드 <= 40959) // U+4E00..U+9FFF CJK 통합
20 || (코드 >= 63744 && 코드 <= 64255) // U+F900..U+FAFF CJK 호환
21 || 코드 == 65292 || 코드 == 12289 || 코드 == 12290 || 코드 == 65307 || 코드 == 65306 // , 、 。 ; :
23function 줄머리금지인가(코드: int) -> bool {
24 코드 == 41 || 코드 == 93 || 코드 == 125 // ) ] }
25 || 코드 == 12301 || 코드 == 12303 || 코드 == 12299 || 코드 == 12297 // 」 』 》 〉
26 || 코드 == 44 || 코드 == 46 || 코드 == 59 || 코드 == 58 || 코드 == 33 || 코드 == 63 // , . ; : ! ?
27 || 코드 == 12289 || 코드 == 12290 // 、 。
28 || 코드 == 8217 || 코드 == 8230 || 코드 == 65289 || 코드 == 12305 || 코드 == 65341 || 코드 == 65373 || 코드 == 65292 || 코드 == 65294 || 코드 == 65307 || 코드 == 65306 || 코드 == 65281 || 코드 == 65311 || 코드 == 187 || 코드 == 8250
30function 줄끝금지인가(코드: int) -> bool {
31 코드 == 40 || 코드 == 91 || 코드 == 123 // ( [ {
32 || 코드 == 12300 || 코드 == 12302 || 코드 == 12298 || 코드 == 12296 // 「 『 《 〈
33 || 코드 == 65288 || 코드 == 12304 || 코드 == 65339 || 코드 == 65371 || 코드 == 171 || 코드 == 8249
36// ── 클러스터 스칼라 전체/일부 판정 (빈 문자열 -> all=true, any=false) ──
37function 모두한글분할(텍스트: string) -> bool {
38 텍스트.scalars().reduce(true, (참: bool, 스칼라: string) => 참 && 한글분할문자인가(첫코드포인트(스칼라)))
40function 모두줄머리금지(텍스트: string) -> bool {
41 텍스트.scalars().reduce(true, (참: bool, 스칼라: string) => 참 && 줄머리금지인가(첫코드포인트(스칼라)))
43function 일부줄머리금지(텍스트: string) -> bool {
44 텍스트.scalars().reduce(false, (발견: bool, 스칼라: string) => 발견 || 줄머리금지인가(첫코드포인트(스칼라)))
46function 일부줄끝금지(텍스트: string) -> bool {
47 텍스트.scalars().reduce(false, (발견: bool, 스칼라: string) => 발견 || 줄끝금지인가(첫코드포인트(스칼라)))
50// ── 단어 전체 판정 (single-scalar equality) ──
51function 분할가능라틴공백인가(텍스트: string) -> bool { 단일스칼라(텍스트) && 첫코드포인트(텍스트) == 32 }
52function 라틴공백인가(텍스트: string) -> bool { 단일스칼라(텍스트) && (첫코드포인트(텍스트) == 32 || 첫코드포인트(텍스트) == 160 || 첫코드포인트(텍스트) == 8239) }
53function 비분할공백인가(텍스트: string) -> bool { 단일스칼라(텍스트) && (첫코드포인트(텍스트) == 160 || 첫코드포인트(텍스트) == 8239) }
54function 라틴붙임표인가(텍스트: string) -> bool {
55 단일스칼라(텍스트) && (첫코드포인트(텍스트) == 45 || 첫코드포인트(텍스트) == 8208 || 첫코드포인트(텍스트) == 8209 || 첫코드포인트(텍스트) == 8211)
57function 쉼표마침표콜론인가(텍스트: string) -> bool { 단일스칼라(텍스트) && (첫코드포인트(텍스트) == 44 || 첫코드포인트(텍스트) == 46 || 첫코드포인트(텍스트) == 58) }
58function 아스키숫자인가(텍스트: string) -> bool { 텍스트.byteLength() == 1 && 첫코드포인트(텍스트) >= 48 && 첫코드포인트(텍스트) <= 57 }
60// ── 이웃 클러스터 가드 ──
61function 다음은라틴공백아님(다음: Option<string>) -> bool {
62 match (다음) {
63 case Some(텍스트) => !라틴공백인가(텍스트)
64 case None() => true
65 }
67function 다음은줄머리금지없음(다음: Option<string>) -> bool {
68 match (다음) {
69 case Some(텍스트) => !일부줄머리금지(텍스트)
70 case None() => true
71 }
73function 다음은라틴공백(다음: Option<string>) -> bool {
74 match (다음) {
75 case Some(텍스트) => 라틴공백인가(텍스트)
76 case None() => false
77 }
79function 다음은일부줄머리금지(다음: Option<string>) -> bool {
80 match (다음) {
81 case Some(텍스트) => 일부줄머리금지(텍스트)
82 case None() => false
83 }
85function 옵션아스키숫자인가(옵션: Option<string>) -> bool {
86 match (옵션) {
87 case Some(텍스트) => 아스키숫자인가(텍스트)
88 case None() => false
89 }
92function 숫자구분자인가(현재: string, 이전: Option<string>, 다음: Option<string>) -> bool {
93 쉼표마침표콜론인가(현재) && 옵션아스키숫자인가(이전) && 옵션아스키숫자인가(다음)
95function 닫음부호허용인가(현재: string, 이전: Option<string>, 다음: Option<string>) -> bool {
96 모두줄머리금지(현재) && 다음은라틴공백아님(다음) && 다음은줄머리금지없음(다음) && !숫자구분자인가(현재, 이전, 다음)
98function 한글분할허용인가(현재: string, 다음: Option<string>) -> bool {
99 모두한글분할(현재) && 다음은라틴공백아님(다음) && 다음은줄머리금지없음(다음) && !일부줄끝금지(현재)
102// 모든 후보에 적용하는 원문 문맥 금칙. 공백 뒤의 부호도 앞 낱말에 붙인다.
103function 공백코드인가(코드: int) -> bool {
104 (코드 >= 9 && 코드 <= 13) || 코드 == 32 || 코드 == 133 || 코드 == 160 || 코드 == 5760
105 || (코드 >= 8192 && 코드 <= 8202) || 코드 == 8232 || 코드 == 8233 || 코드 == 8239 || 코드 == 8287 || 코드 == 12288
107function 여는직선따옴표인가(글자들: Array<string>, 위치: int) -> bool {
108 let 코드 = 첫코드포인트(글자들[위치])
109 if (코드 != 34 && 코드 != 39) { return false }
110 if (위치 == 0) { return true }
111 let 앞 = 첫코드포인트(글자들[위치 - 1])
112 공백코드인가(앞) || 줄끝금지인가(앞)
114function 라틴낱말코드인가(코드: int) -> bool {
115 (코드 >= 65 && 코드 <= 90) || (코드 >= 97 && 코드 <= 122)
116 || (코드 >= 192 && 코드 <= 591) || (코드 >= 7680 && 코드 <= 7935)
118function 문맥경계허용인가(글자들: Array<string>, 경계: int) -> bool {
119 let mut 왼쪽 = 경계 - 1
120 while (왼쪽 >= 0) {
121 if (!공백코드인가(첫코드포인트(글자들[왼쪽]))) { break }
122 왼쪽 -= 1
123 }
124 if (왼쪽 > 0 && 왼쪽 + 1 < 글자들.length) {
125 let 코드 = 첫코드포인트(글자들[왼쪽])
126 if ((코드 == 8217 || 코드 == 39) && 라틴낱말코드인가(첫코드포인트(글자들[왼쪽 - 1])) && 라틴낱말코드인가(첫코드포인트(글자들[왼쪽 + 1]))) { return false }
127 }
128 if (왼쪽 >= 0) {
129 if (줄끝금지인가(첫코드포인트(글자들[왼쪽])) || 여는직선따옴표인가(글자들, 왼쪽)) { return false }
130 }
131 let mut 오른쪽 = 경계
132 while (오른쪽 < 글자들.length) {
133 if (!공백코드인가(첫코드포인트(글자들[오른쪽]))) { break }
134 오른쪽 += 1
135 }
136 if (오른쪽 < 글자들.length) {
137 let 코드 = 첫코드포인트(글자들[오른쪽])
138 if (줄머리금지인가(코드)) { return false }
139 if ((코드 == 34 || 코드 == 39) && !여는직선따옴표인가(글자들, 오른쪽)) { return false }
140 if (코드 == 8212) {
141 if (오른쪽 > 0 && 줄머리금지인가(첫코드포인트(글자들[오른쪽 - 1]))) { return false }
142 if (오른쪽 + 1 < 글자들.length && 줄머리금지인가(첫코드포인트(글자들[오른쪽 + 1]))) { return false }
143 }
144 }
145 true
148function 분류(클러스터들: Array<string>) -> string {
149 let 개수 = 클러스터들.length
150 let mut 전체텍스트 = ""
151 for 단위 in (클러스터들) { 전체텍스트 = 전체텍스트 + 단위 }
152 let 글자들 = 전체텍스트.scalars()
153 let mut 글자끝 = 0
154 let mut 출력 = ""
155 for i in (0..<개수) {
156 let 단위 = 클러스터들[i]
157 let 단위끝 = i + 1
158 글자끝 += 단위.scalars().length
159 let 이전: Option<string> = 클러스터들.get(i - 1)
160 let 다음 = 클러스터들.get(단위끝)
161 let 결과: { 종류: string, 내보냄: bool } = match (true) {
162 case _ if (단위끝 == 개수) => { 종류: "forced_end", 내보냄: true }
163 case _ if (!문맥경계허용인가(글자들, 글자끝)) => { 종류: "", 내보냄: false }
164 case _ if (분할가능라틴공백인가(단위)) => { 종류: "latin_space", 내보냄: true }
165 case _ if (라틴붙임표인가(단위)) => { 종류: "latin_hyphen", 내보냄: true }
166 case _ if (닫음부호허용인가(단위, 이전, 다음)) => { 종류: "closing_punctuation", 내보냄: true }
167 case _ if (한글분할허용인가(단위, 다음)) => { 종류: "korean_cluster", 내보냄: true }
168 case _ if (다음은라틴공백(다음) || 비분할공백인가(단위) || 다음은일부줄머리금지(다음)) => { 종류: "", 내보냄: false }
169 case _ => { 종류: "hard_fallback", 내보냄: true }
170 }
171 if (결과.내보냄) {
172 let 종류 = 결과.종류
173 출력 = if (출력 == "") { "{단위끝} {종류}" } else { "{출력}\n{단위끝} {종류}" }
174 }
175 }
176 출력
179io.writeLine(분류(io.readStdin().split("\n")))

SHA256 f29d7737904fb852573226ef158ab8ab4e7d2b638cc4d924f709a117a63e33ad