목차 › 제5장 속을 들여다보면
글자마다 다이얼 48개가 붙은 판 — AI가 보는 글자의 모습
3D로 보기둘째, 번호는 이름표일 뿐이라 "어떤 글자와 닮았는지" 같은 정보가 없다. 그래서 글자마다 다이얼 48개를 묶은 판을 하나씩 붙인다. 타일 아래 알록달록한 판이 그것이다. 작은 네모 하나가 다이얼 하나다.
왜?네모의 색은 다이얼이 돌아간 방향과 정도다. 파랑은 + 쪽, 빨강은 − 쪽, 진할수록 많이 돌아가 있다. 2장에서 본 다이얼 11만 개 가운데 일부가 바로 이것이다. 처음엔 아무렇게나 돌아가 있다가 배우면서 고쳐져서, 비슷하게 쓰이는 글자끼리 판 무늬가 닮아 간다. 이 판이 AI가 보는 "글자의 얼굴"이다.
더 알기글자에 붙는 수 묶음을 임베딩이라고 부른다. 큰 AI는 조각 하나에 다이얼 수천 개짜리 판을 붙인다.
이 장면을 3D로 보기 →시리즈의 다른 작품
이 작품을 위해 새로 쓴 옛이야기·우화 40편(약 84,610자)으로 작은 AI(글자 단위 언어 모델, 다이얼 109,398개)를 실제로 학습시키고, 그 AI로 계산한 값입니다. 공부용 작은 모형이며, 대화하는 AI 서비스는 훨씬 큽니다.