목차 › 제2장 어떻게 배웠나
동화 한 구절의 다음 글자를 가리고, AI의 답을 정답과 비교한다
3D로 보기그 문제 하나를 배우기 전의 AI에게 내 보자. "…정직한 나무" 다음 글자는? 빈 칸 위 초록 타일 "꾼"이 정답이다. AI의 답은 아래 릴이다. 화살표가 가리키는 초록 줄이 정답 칸인데, 너무 좁아서 줄 하나로만 보인다. 채점: 크게 틀렸다.
왜?채점 기준은 "정답 글자에 퍼센트를 얼마나 주었나"다. 정답 칸이 넓으면 잘 맞힌 것이고, 좁으면 많이 틀린 것이다. 배우기 전의 AI는 정답에 거의 0%를 주었다. 크게 틀렸다.
더 알기정답에 준 퍼센트로 틀린 정도를 재는 방법을 교차 엔트로피라고 부른다. 같은 시리즈의 「신호로 보는 AI」에서는 손글씨 그림을 보여 주고 숫자를 맞히게 했다. 여기서는 그림 대신 동화 구절, 숫자 대신 다음 글자다.
이 장면을 3D로 보기 →시리즈의 다른 작품
이 작품을 위해 새로 쓴 옛이야기·우화 40편(약 84,610자)으로 작은 AI(글자 단위 언어 모델, 다이얼 109,398개)를 실제로 학습시키고, 그 AI로 계산한 값입니다. 공부용 작은 모형이며, 대화하는 AI 서비스는 훨씬 큽니다.