STUDIO HAZE · atlas
Topaz source
Open by house policy. Topaz is our own language.
Topaz 6.0 · 5 files
Topaz 6.0 source.
Publication edits are limited to explanatory comments. Executable code is unchanged.
Rights and source notices · Source manifest
core/topaz/linebreak/금칙분류.tpz
Topaz · 10362 B · Published file
1
// 아틀라스 금칙분류. 어디서 줄을 끊어도 되는지 가리는 분류기다(break-opportunity classifier, kinsoku).2
// 통합 줄바꿈기 `줄바꿈.tpz`의 1단계(어디서 줄을 끊을 수 있는지)를 따로 떼어 적었다.3
// 순수하고 결정론적이다. 클러스터들(한 줄당 하나)을 받아 줄바꿈 기회 "<단위끝> <분할종류>"를 낸다.4
// 분할종류 토큰(latin_space, korean_cluster 등)은 seam I/O 계약이라 ASCII로 유지한다.5
//6
// 입출력. 표준입력으로 클러스터(한 줄당 하나)를 받아 줄바꿈 기회 "<단위끝> <분할종류>"를 한 줄에 하나씩 낸다.8
import std.io10
function 첫코드포인트(텍스트: string) -> int { 텍스트.codePointAt(0) ?? -1 }11
function 단일스칼라(텍스트: string) -> bool { 텍스트.scalars().length == 1 }13
// ── 글자류 판정 (char-class predicates over a single code point) ──14
function 한글분할문자인가(코드: int) -> bool {15
(코드 >= 4352 && 코드 <= 4607) // U+1100..U+11FF 한글 자모16
|| (코드 >= 12592 && 코드 <= 12687) // U+3130..U+318F 한글 호환 자모17
|| (코드 >= 44032 && 코드 <= 55215) // U+AC00..U+D7AF 한글 음절18
|| (코드 >= 13312 && 코드 <= 19903) // U+3400..U+4DBF CJK 확장 A19
|| (코드 >= 19968 && 코드 <= 40959) // U+4E00..U+9FFF CJK 통합20
|| (코드 >= 63744 && 코드 <= 64255) // U+F900..U+FAFF CJK 호환21
|| 코드 == 65292 || 코드 == 12289 || 코드 == 12290 || 코드 == 65307 || 코드 == 65306 // , 、 。 ; :22
}23
function 줄머리금지인가(코드: int) -> bool {24
코드 == 41 || 코드 == 93 || 코드 == 125 // ) ] }25
|| 코드 == 12301 || 코드 == 12303 || 코드 == 12299 || 코드 == 12297 // 」 』 》 〉26
|| 코드 == 44 || 코드 == 46 || 코드 == 59 || 코드 == 58 || 코드 == 33 || 코드 == 63 // , . ; : ! ?27
|| 코드 == 12289 || 코드 == 12290 // 、 。28
|| 코드 == 8217 || 코드 == 8230 || 코드 == 65289 || 코드 == 12305 || 코드 == 65341 || 코드 == 65373 || 코드 == 65292 || 코드 == 65294 || 코드 == 65307 || 코드 == 65306 || 코드 == 65281 || 코드 == 65311 || 코드 == 187 || 코드 == 825029
}30
function 줄끝금지인가(코드: int) -> bool {31
코드 == 40 || 코드 == 91 || 코드 == 123 // ( [ {32
|| 코드 == 12300 || 코드 == 12302 || 코드 == 12298 || 코드 == 12296 // 「 『 《 〈33
|| 코드 == 65288 || 코드 == 12304 || 코드 == 65339 || 코드 == 65371 || 코드 == 171 || 코드 == 824934
}36
// ── 클러스터 스칼라 전체/일부 판정 (빈 문자열 -> all=true, any=false) ──37
function 모두한글분할(텍스트: string) -> bool {38
텍스트.scalars().reduce(true, (참: bool, 스칼라: string) => 참 && 한글분할문자인가(첫코드포인트(스칼라)))39
}40
function 모두줄머리금지(텍스트: string) -> bool {41
텍스트.scalars().reduce(true, (참: bool, 스칼라: string) => 참 && 줄머리금지인가(첫코드포인트(스칼라)))42
}43
function 일부줄머리금지(텍스트: string) -> bool {44
텍스트.scalars().reduce(false, (발견: bool, 스칼라: string) => 발견 || 줄머리금지인가(첫코드포인트(스칼라)))45
}46
function 일부줄끝금지(텍스트: string) -> bool {47
텍스트.scalars().reduce(false, (발견: bool, 스칼라: string) => 발견 || 줄끝금지인가(첫코드포인트(스칼라)))48
}50
// ── 단어 전체 판정 (single-scalar equality) ──51
function 분할가능라틴공백인가(텍스트: string) -> bool { 단일스칼라(텍스트) && 첫코드포인트(텍스트) == 32 }52
function 라틴공백인가(텍스트: string) -> bool { 단일스칼라(텍스트) && (첫코드포인트(텍스트) == 32 || 첫코드포인트(텍스트) == 160 || 첫코드포인트(텍스트) == 8239) }53
function 비분할공백인가(텍스트: string) -> bool { 단일스칼라(텍스트) && (첫코드포인트(텍스트) == 160 || 첫코드포인트(텍스트) == 8239) }54
function 라틴붙임표인가(텍스트: string) -> bool {55
단일스칼라(텍스트) && (첫코드포인트(텍스트) == 45 || 첫코드포인트(텍스트) == 8208 || 첫코드포인트(텍스트) == 8209 || 첫코드포인트(텍스트) == 8211)56
}57
function 쉼표마침표콜론인가(텍스트: string) -> bool { 단일스칼라(텍스트) && (첫코드포인트(텍스트) == 44 || 첫코드포인트(텍스트) == 46 || 첫코드포인트(텍스트) == 58) }58
function 아스키숫자인가(텍스트: string) -> bool { 텍스트.byteLength() == 1 && 첫코드포인트(텍스트) >= 48 && 첫코드포인트(텍스트) <= 57 }60
// ── 이웃 클러스터 가드 ──61
function 다음은라틴공백아님(다음: Option<string>) -> bool {62
match (다음) {63
case Some(텍스트) => !라틴공백인가(텍스트)64
case None() => true65
}66
}67
function 다음은줄머리금지없음(다음: Option<string>) -> bool {68
match (다음) {69
case Some(텍스트) => !일부줄머리금지(텍스트)70
case None() => true71
}72
}73
function 다음은라틴공백(다음: Option<string>) -> bool {74
match (다음) {75
case Some(텍스트) => 라틴공백인가(텍스트)76
case None() => false77
}78
}79
function 다음은일부줄머리금지(다음: Option<string>) -> bool {80
match (다음) {81
case Some(텍스트) => 일부줄머리금지(텍스트)82
case None() => false83
}84
}85
function 옵션아스키숫자인가(옵션: Option<string>) -> bool {86
match (옵션) {87
case Some(텍스트) => 아스키숫자인가(텍스트)88
case None() => false89
}90
}92
function 숫자구분자인가(현재: string, 이전: Option<string>, 다음: Option<string>) -> bool {93
쉼표마침표콜론인가(현재) && 옵션아스키숫자인가(이전) && 옵션아스키숫자인가(다음)94
}95
function 닫음부호허용인가(현재: string, 이전: Option<string>, 다음: Option<string>) -> bool {96
모두줄머리금지(현재) && 다음은라틴공백아님(다음) && 다음은줄머리금지없음(다음) && !숫자구분자인가(현재, 이전, 다음)97
}98
function 한글분할허용인가(현재: string, 다음: Option<string>) -> bool {99
모두한글분할(현재) && 다음은라틴공백아님(다음) && 다음은줄머리금지없음(다음) && !일부줄끝금지(현재)100
}102
// 모든 후보에 적용하는 원문 문맥 금칙. 공백 뒤의 부호도 앞 낱말에 붙인다.103
function 공백코드인가(코드: int) -> bool {104
(코드 >= 9 && 코드 <= 13) || 코드 == 32 || 코드 == 133 || 코드 == 160 || 코드 == 5760105
|| (코드 >= 8192 && 코드 <= 8202) || 코드 == 8232 || 코드 == 8233 || 코드 == 8239 || 코드 == 8287 || 코드 == 12288106
}107
function 여는직선따옴표인가(글자들: Array<string>, 위치: int) -> bool {108
let 코드 = 첫코드포인트(글자들[위치])109
if (코드 != 34 && 코드 != 39) { return false }110
if (위치 == 0) { return true }111
let 앞 = 첫코드포인트(글자들[위치 - 1])112
공백코드인가(앞) || 줄끝금지인가(앞)113
}114
function 라틴낱말코드인가(코드: int) -> bool {115
(코드 >= 65 && 코드 <= 90) || (코드 >= 97 && 코드 <= 122)116
|| (코드 >= 192 && 코드 <= 591) || (코드 >= 7680 && 코드 <= 7935)117
}118
function 문맥경계허용인가(글자들: Array<string>, 경계: int) -> bool {119
let mut 왼쪽 = 경계 - 1120
while (왼쪽 >= 0) {121
if (!공백코드인가(첫코드포인트(글자들[왼쪽]))) { break }122
왼쪽 -= 1123
}124
if (왼쪽 > 0 && 왼쪽 + 1 < 글자들.length) {125
let 코드 = 첫코드포인트(글자들[왼쪽])126
if ((코드 == 8217 || 코드 == 39) && 라틴낱말코드인가(첫코드포인트(글자들[왼쪽 - 1])) && 라틴낱말코드인가(첫코드포인트(글자들[왼쪽 + 1]))) { return false }127
}128
if (왼쪽 >= 0) {129
if (줄끝금지인가(첫코드포인트(글자들[왼쪽])) || 여는직선따옴표인가(글자들, 왼쪽)) { return false }130
}131
let mut 오른쪽 = 경계132
while (오른쪽 < 글자들.length) {133
if (!공백코드인가(첫코드포인트(글자들[오른쪽]))) { break }134
오른쪽 += 1135
}136
if (오른쪽 < 글자들.length) {137
let 코드 = 첫코드포인트(글자들[오른쪽])138
if (줄머리금지인가(코드)) { return false }139
if ((코드 == 34 || 코드 == 39) && !여는직선따옴표인가(글자들, 오른쪽)) { return false }140
if (코드 == 8212) {141
if (오른쪽 > 0 && 줄머리금지인가(첫코드포인트(글자들[오른쪽 - 1]))) { return false }142
if (오른쪽 + 1 < 글자들.length && 줄머리금지인가(첫코드포인트(글자들[오른쪽 + 1]))) { return false }143
}144
}145
true146
}148
function 분류(클러스터들: Array<string>) -> string {149
let 개수 = 클러스터들.length150
let mut 전체텍스트 = ""151
for 단위 in (클러스터들) { 전체텍스트 = 전체텍스트 + 단위 }152
let 글자들 = 전체텍스트.scalars()153
let mut 글자끝 = 0154
let mut 출력 = ""155
for i in (0..<개수) {156
let 단위 = 클러스터들[i]157
let 단위끝 = i + 1158
글자끝 += 단위.scalars().length159
let 이전: Option<string> = 클러스터들.get(i - 1)160
let 다음 = 클러스터들.get(단위끝)161
let 결과: { 종류: string, 내보냄: bool } = match (true) {162
case _ if (단위끝 == 개수) => { 종류: "forced_end", 내보냄: true }163
case _ if (!문맥경계허용인가(글자들, 글자끝)) => { 종류: "", 내보냄: false }164
case _ if (분할가능라틴공백인가(단위)) => { 종류: "latin_space", 내보냄: true }165
case _ if (라틴붙임표인가(단위)) => { 종류: "latin_hyphen", 내보냄: true }166
case _ if (닫음부호허용인가(단위, 이전, 다음)) => { 종류: "closing_punctuation", 내보냄: true }167
case _ if (한글분할허용인가(단위, 다음)) => { 종류: "korean_cluster", 내보냄: true }168
case _ if (다음은라틴공백(다음) || 비분할공백인가(단위) || 다음은일부줄머리금지(다음)) => { 종류: "", 내보냄: false }169
case _ => { 종류: "hard_fallback", 내보냄: true }170
}171
if (결과.내보냄) {172
let 종류 = 결과.종류173
출력 = if (출력 == "") { "{단위끝} {종류}" } else { "{출력}\n{단위끝} {종류}" }174
}175
}176
출력177
}179
io.writeLine(분류(io.readStdin().split("\n")))SHA256 f29d7737904fb852573226ef158ab8ab4e7d2b638cc4d924f709a117a63e33ad