목차 › 제2장 어떻게 배웠나
정답 칸이 넓어지는 쪽으로 수를 조금씩 고친다
3D로 보기틀렸으니 다이얼을 고친다. 정답 칸이 넓어지는 쪽으로, 다이얼 약 11만 개를 한꺼번에 조금씩 돌린다. "한 번 고치기"를 눌러 보자. 왼쪽 판의 바늘들이 조금씩 돌고(회색 바늘 = 고치기 전), 전선을 따라 릴의 정답 칸이 넓어진다.
‘…에 정직한 나무’ 다음 글자의 정답 ‘꾼’에 준 퍼센트: 고치기 전 0.0% → 8번 고친 뒤 51%
왜?한 번 고칠 때 다이얼 107,186개가 한꺼번에 움직인다 (올리는 것 57,151개, 내리는 것 50,035개). 모두 정답 칸이 넓어지는 쪽이다. 샤워기 물 온도를 맞출 때처럼 조금씩 돌린다. 한꺼번에 많이 돌리면 오히려 엉망이 된다.
더 알기다이얼이 11만 개나 되어도, 어느 다이얼을 어느 쪽으로 돌려야 정답 칸이 넓어지는지는 계산으로 한꺼번에 알 수 있다. 이 계산을 역전파, 그 방향으로 조금씩 돌리는 방법을 경사 하강법이라고 부른다. 같은 시리즈의 「신호로 보는 AI」에서 더 자세히 볼 수 있다.
이 장면을 3D로 보기 →시리즈의 다른 작품
이 작품을 위해 새로 쓴 옛이야기·우화 40편(약 84,610자)으로 작은 AI(글자 단위 언어 모델, 다이얼 109,398개)를 실제로 학습시키고, 그 AI로 계산한 값입니다. 공부용 작은 모형이며, 대화하는 AI 서비스는 훨씬 큽니다.