목차 › 제5장 속을 들여다보면

글자마다 번호표

컴퓨터는 글자를 모른다 — 수만 계산한다

쓴 글자 0글자 · 온도 0.8

그럼 다이얼들은 퍼센트를 어떻게 계산할까? AI 속을 네 단계로 들여다본다. 첫째, 컴퓨터는 글자를 모르고 수만 계산할 수 있다. 그래서 글자마다 번호표를 붙인다. 타일 아래 작은 수가 번호다.

왜?번호는 자주 나오는 글자부터 0, 1, 2… 순서로 붙였다. 띄어쓰기(␣)도 한 글자다. 이 AI가 아는 글자는 1,014개다(동화에 나온 977개와 대화 연습에 쓴 37개). 처음 보는 글자는 번호가 없어서 쓰지 못한다.

더 알기대화하는 AI는 글자 하나 대신 자주 붙어 다니는 글자 묶음을 한 조각으로 쓰기도 한다. 이 조각을 토큰이라고 부른다.

시리즈의 다른 작품

이 작품을 위해 새로 쓴 옛이야기·우화 40편(약 84,610자)으로 작은 AI(글자 단위 언어 모델, 다이얼 109,398개)를 실제로 학습시키고, 그 AI로 계산한 값입니다. 공부용 작은 모형이며, 대화하는 AI 서비스는 훨씬 큽니다.