한 글자씩 쓰는 AI
목차 › 제6장 큰 AI와 견주어
크기가 다를 뿐
같은 원리, 훨씬 큰 크기
3D로 보기쓴 글자 60글자 · 온도 0.8
크기가 다를 뿐
이 AI는 약 8만 글자를 읽었고, 다이얼이 약 11만 개다. 2020년에 나온 GPT-3는 약 3,000억 조각(조각 = 글자 몇 개 묶음)의 글을 읽었고, 다이얼이 약 1,750억 개였다. 그래도 하는 일은 같다. 앞을 보고, 퍼센트를 매기고, 하나를 뽑아 붙인다.
왜?큰 AI는 읽은 글도, 판의 다이얼도, 단서를 찾는 단계도 훨씬 많다. 그래서 문법뿐 아니라 많은 사실과 말투까지 흉내 낸다.
더 알기GPT-3의 숫자는 2020년 논문(Language Models are Few-Shot Learners)에 나온 것이다. 그 뒤의 AI들은 읽은 글과 다이얼 수를 대부분 밝히지 않는다.
이 장면을 3D로 보기 →더 읽기
Wikipedia: GPT-3 · Brown 외(2020), Language Models are Few-Shot Learners
시리즈의 다른 작품
이 작품을 위해 새로 쓴 옛이야기·우화 40편(약 84,610자)으로 작은 AI(글자 단위 언어 모델, 다이얼 109,398개)를 실제로 학습시키고, 그 AI로 계산한 값입니다. 공부용 작은 모형이며, 대화하는 AI 서비스는 훨씬 큽니다.