목차 › 제5장 속을 들여다보면

앞 글자에서 단서를

빈 칸이 앞 글자들의 판을 살펴본다

쓴 글자 0글자 · 온도 0.8

셋째, 빈 칸이 앞 글자들의 판을 살펴보며 단서를 모은다. 시험 문제를 풀 때 앞 문장에서 단서를 찾는 것과 같다. 빈 칸에서 앞 글자로 이어진 선이 밝을수록, 그 글자를 단서로 많이 썼다는 뜻이다.

왜?바로 앞 글자만 보는 것이 아니라, 멀리 떨어진 글자도 볼 수 있다. 이 AI는 앞 64글자까지 본다. 어떤 글자를 단서로 삼을지도 다이얼로 정해지고, 배우면서 고쳐진다.

더 알기글자들이 서로를 참고하게 하는 장치를 어텐션이라고 부른다. 화면의 선은 마지막 층의 어텐션 네 개를 평균한 값이다.

더 읽기

시리즈의 다른 작품

이 작품을 위해 새로 쓴 옛이야기·우화 40편(약 84,610자)으로 작은 AI(글자 단위 언어 모델, 다이얼 109,398개)를 실제로 학습시키고, 그 AI로 계산한 값입니다. 공부용 작은 모형이며, 대화하는 AI 서비스는 훨씬 큽니다.