GPT-3이란 무엇인가요? 오픈AI의 혁신적인 인공지능 언어 프로그램에 대한 귀사의 모든 필요 사항

GPT-3는 개인 소유의 샌프란시스코 스타트업 OpenAI에서 만든 컴퓨터 프로그램입니다. 이것은 거대한 신경망이며 그러므로 기계 학습의 심층 학습 세그먼트인 인공 지능 또는 AI로 알려진 컴퓨터 과학 분야의 한 분야입니다. 이 프로그램은 인간이 작성한 것처럼 들릴 수 있는 텍스트 라인을 생성하는 데 이전 어떤 프로그램보다 우수합니다.

이러한 획기적인 발전이 기업들에게 유용한 이유는 자동화 작업의 큰 잠재력을 가지고 있기 때문입니다. GPT-3는 컴퓨터에 입력되는 모든 텍스트에 대해 해당 문맥에 적합한 새로운 텍스트로 응답할 수 있습니다. 예를 들어 검색 상자에 영어 문장을 입력하면 관련성이 높은 완전한 문장의 응답을 받을 확률이 높아집니다. 이는 GPT-3이 고객 서비스를 위한 질문과 답변부터 사전 조사 문서 검색 및 보고서 생성에 이르기까지 다양한 상황에서 인간의 노력을 증폭시킬 수 있다는 것을 의미합니다.

다음은 사람이 컴퓨터에 입력하는 예제와 GPT-3가 응답을 보내는 간단한 예시를 살펴보세요:

Human-supplied input : 질문: 'Touched by an Angel'에서 테스 역을 연기한 배우는 누구인가요?

GPT-3-generated completion : A: 델로리스 패트리샤 얼리 (1931년 7월 6일 ~ 2017년 11월 19일), 예명인 델라 리즈로 알려진 인물입니다.

현재 해당 프로그램은 사람들이 대기 명단에 등록할 수 있는 비공개 베타 버전입니다. OpenAI가 클라우드를 통해 API로 제공하고 있는데, 접근 권한이 부여된 기업들은 텍스트 생성을 이용하여 간단한 질문에 답변하는 것부터 프로그래밍 코드를 생산하는 등 다양한 프로그램을 향상시키는 흥미로운 응용 프로그램을 개발하였습니다.

자동화의 잠재력과 함께 큰 단점들도 따라온다. GPT-3은 컴퓨팅 자원을 많이 필요로 하기 때문에 대부분의 회사들은 온프레미스 방식으로는 사용하기 어렵다. 생성된 텍스트는 처음에는 인상적일 수 있지만, 길이가 길어지면 다소 의미없는 것으로 변할 수 있다. 또한, 인종차별과 성차별을 비롯한 편견을 증폭시키는 데 큰 잠재력을 가지고 있다.

GPT-3는 어떻게 작동하나요?

GPT-3는 언어 모델의 한 예입니다. 언어 모델은 특정 종류의 통계 프로그램입니다. 이 경우, 이는 신경망으로 생성되었습니다.

이름인 GPT-3은 "생성 사전 훈련"을 뜻하는 약어로, 현재까지 세 번째 버전입니다. 다른 신경망과는 달리 GPT-3는 숫자 점수나 예/아니오 답변이 아닌 원본 텍스트의 긴 시퀀스를 생성할 수 있기 때문에 생성적입니다. GPT-3는 어떠한 도메인 지식으로도 구축되지 않은 사전 훈련을 받았으며, 외국어 번역과 같은 도메인 특정 작업을 수행할 수 있습니다.

언어 모델은 GPT-3의 경우, 텍스트에서 다른 단어들이 주어졌을 때 어떤 단어가 나타날 가능성을 계산하는 프로그램입니다. 이는 단어들의 조건부 확률로 알려져 있습니다.

예를 들어, 문장에서 나는 오믈렛을 만들고 싶어서 냉장고로 가서 어떤 ____을 꺼냈다라고 한다면, 무한한 조건 가능성 때문에 아무 단어나, 허황된 말이라도 채워 넣을 수 있습니다. 그러나 "달걀"이 그 빈칸을 채우는 데에는 일반적인 텍스트에서 "코끼리"보다 확률이 상대적으로 높은 단어입니다. 우리는 주어진 텍스트의 조건에 따른 달걀의 확률이 코끼리의 확률보다 더 높다고 말합니다.

신경망이 개발 중인 경우, 훈련 단계라고 불리며, GPT-3에게 수많은 텍스트 샘플이 주어지고 이를 숫자로 된 벡터로 변환합니다. 이것은 데이터 압축의 한 형태입니다. 그런 다음 프로그램은 이 압축된 텍스트를 유효한 문장으로 다시 풀어내려고 합니다. 압축 및 해제하는 작업은 단어의 조건부 확률을 계산하는 프로그램의 정확도를 개선합니다.

모델이 훈련되면, 다시 말해 수십억 단어를 대상으로 조건부 확률 계산이 최대한 정확하게 이루어진 후에, 모델은 사람이 초기 단어나 문장을 입력하는 것에 의해 자동완성이 되는 다음 단어를 예측할 수 있습니다. 이러한 예측 행위는 기계학습에서 추론이라고 알려져 있습니다.

그것은 놀랄만한 거울 효과를 초래합니다. 확실하게 단어들이 나타나는 것뿐만 아니라, 장르의 텍스처와 리듬 또는 문제-답변 구조와 같은 작성 과제의 형태도 재현됩니다. 예를 들어, 유명한 시인들의 이름과 그들의 작품 샘플을 GPT-3에 입력하고, 다른 시인의 이름과 단지 가상의 시의 제목만 추가로 주면, GPT-3는 해당 시인의 리듬과 문법에 일치하는 새로운 시를 생성할 것입니다.

다음은 GPT-3가 제목, 이름 및 다른 시인들과 그들의 작품의 예시를 제공 받은 후에, 전적으로 월리스 스티븐스의 작품과 비슷한 시를 처음부터 만드는 과정을 보여주는 인스턴스입니다:

사람들이 제공한 입력: 도시 
C. P. 카바피에 의해 번역됨. 
에드먼드 키리에 의해 번역됨 
[시의 내용 생략]

사람이 기여한 내용: 일부 나무 존 애쉬버리 [시의 내용 생략]

 인간의 공급된 입력 : 길 위의 그림자 월러스 스티븐스

GPT-3-생성된 완성 : -------- 생성된 시 1 --------   길에는 그림자가 있어야 해  걷기 위해서는 내가 있어야 해  각 걸음은 천천히 혼자서 내게 준비돼야 해    그리고 나는 회색으로 생각해야 해  어두운 생각이 나의 안내가 되야 해  푸른색과 초록색을 보아야 해  그 색을 잊지 않도록 눈이 기억해야 해  보라색으로도 나를 둘러싸야 해  태양의 노란 빛은 더 이상  눈에 거슬리지 않아  우리 모두에게 내리는 푸른 눈처럼  회색과 파란색의 생각이 나와 함께 걷게 해  그렇게 해야만 떠날 수 있어.

응답을 생성하는 것은 GPT-3가 단순히 글을 생성하는 것을 넘어서는 것을 의미합니다. 자연어 응답을 포함하는 추론 테스트를 포함하여 모든 종류의 테스트에서 수행할 수 있습니다. 예를 들어, 맨해튼 임대 용도에 대한 렌탈 요금에 관한 에세이가 입력되고 텍스트를 요약한 "맨해튼은 저렴하다"라는 문장 및 "진실 또는 거짓?"라는 질문이 있다면, GPT-3는 에세이의 주장과 일치하지 않으므로 전체 프롬프트에 대한 응답으로 "거짓"을 반환합니다.

Human-supplied input : 월세가 낮아지는 경향은 몇몇 뉴욕 지역에서는 지역 상점들이 고가의 월세 때문에 사라지는 것을 안타까워하고 있다는 사실로 볼 때 놀라울 수도 있다. 하지만 최근의 가격 하락에도 불구하고 이러한 소매상인들에게는 여전히 렌탈 요금이 1970년대 말에 계약서를 작성했을 때와 너무 큰 차이가 있었다고 볼 수 있다. 확실히 최근 가격 하락은 맨해튼이 싸다는 것을 의미하지 않는다.

Human-supplied input : 질문: 맨해튼은 싸다. 참, 거짓, 또는 양쪽이 아님?

사람이 입력한 내용: 답변: 

GPT-3로 생성된 완성 : false

GPT-3의 능력은 그것이 이전에 노출된 적이 없는 형태를 포함한 예시 작업과 일관된 방식으로 응답할 수 있다는 점에서 "페슈트" 언어 모델이라고 불립니다. GPT-3는 주어진 작업에 대해 효과적으로 조정되거나 "훈련"되는 대신, 단어가 어떻게 조합되는지에 대한 많은 정보를 이미 보유하고 있기 때문에 작업의 소수 사례만을 준다면, 즉 세밀 조정 단계를 거치면서도 새로운 작업을 수행할 수 있는 능력을 갖출 수 있습니다.

자연어 스타일을 반영하고 언어 기반 테스트에서 상대적으로 높은 점수를 받는 능력은 GPT-3가 언어에 대한 인간과 유사한 기능에 접근하고 있다는 인상을 줄 수 있습니다. 하지만 우리가 볼 것처럼, 그것은 사실이 아닙니다.

OpenAI 과학자들에 의해 발표된 GPT-3에 대한 자세한 기술적인 내용은 공식 논문에서 확인할 수 있습니다.

GPT-3는 무엇을 할 수 있나요?

OpenAI는 이제 코드의 공개 방침만큼이나 유명하거나 (불명예한) 자칭 자체의 코드와 같이 유명해졌습니다. 회사가 GPT-2라는 전작을 2019년 발렌타인 데이에 공개했을 때, 회사는 초기에 가장 능력있는 버전을 대중에 공개하지 않기로 결정하였으며, 대량으로 거짓된 오도와 오해를 불러올 수 있는 위험 때문에 야생으로 방출하는 것은 너무나도 위험하다고 말했습니다. OpenAI는 후에 이를 다운로드할 수 있도록 공개하게 되었습니다.

이번에는 OpenAI는 다운로드를 제공하지 않습니다. 대신, 클라우드 기반 API 엔드포인트가 활성화되어 GPT-3가 서비스로 제공되고 있습니다. (LMaaS, Language-Model-as-a-Service로 생각해보세요.) OpenAI는 GPT-3를 악의적인 사용자의 사용으로부터 제한하고 수익을 창출하기 위해 이 방법을 선택했다고 주장합니다.

"오픈 소스에는 '실행 취소 버튼'이 없습니다," OpenAI는 대변인을 통해 ZDNet에게 말했습니다.

"API를 통해 GPT-3를 출시함으로써 우리는 안전하게 그 사용을 제어하고 필요한 경우 액세스를 되돌릴 수 있습니다."

현재 OpenAI API 서비스는 승인된 당사자에게만 제공됩니다. 접근 권한을 얻을 수 있는 대기 목록이 있습니다.

"현재 API는 소수의 개발자들과 함께 제한된 베타 버전으로 진행중이며, 이들은 API를 사용하여 제품화할 아이디어를 제출합니다," 오픈AI는 ZDNet에 알렸습니다.

또한: OpenAI의 '위험한' AI 텍스트 생성기가 공개되었습니다. 사람들이 '설득력 있는' 단어를 발견했습니다.

베타 프로그램에 참여한 회사들은 놀라운 사례들을 제시합니다. 벤처 펀드 Y Combinator의 자본을 받은 Sapling은, CRM 소프트웨어 위에 위치한 프로그램을 제공합니다. 고객 대표가 이메일을 통해 수신하는 도움 요청을 처리할 때, GPT-3를 사용하여 가장 가능성이 높은 응답들 중에서 전체 문장을 제안합니다.

게임 개발사 Latitude는 텍스트 기반 어드벤처 게임인 AI Dungeon을 발전시키기 위해 GPT-3를 사용하고 있습니다. 보통 어드벤처 게임은 게임 내에서 여러 가능한 경로를 스크립트하기 위해 복잡한 결정 트리가 필요합니다. 그러나 대신 GPT-3은 사용자의 입력에 동적으로 반응하여 게임 플레이의 변화하는 상태를 생성할 수 있습니다.

이미 작업 자동화는 자연어를 넘어 컴퓨터 코드를 생성하는 것으로 진화하고 있습니다. 코드는 언어이며, GPT-3는 다양한 프로그래밍 언어에서 연산자 및 피연산자의 가장 가능성 있는 구문을 추론할 수 있으며, 컴파일 및 실행이 성공적으로 이루어질 수 있는 시퀀스를 생성할 수 있습니다.

이른바 트위터 버스를 단번에 불태운 사례가 있습니다. 앱 개발 스타트업인 Debuild는 그 회사의 최고 책임자인 샤리프 샤민이, 일반 영어로 소프트웨어 UI에 대한 설명을 입력하면 GPT-3가 JSX 구문 확장을 사용한 자바스크립트 코드로 응답하고 해당 코드는 사용자가 설명한 대로 UI를 생성합니다.

정말 놀랍습니다. GPT-3로 레이아웃 생성기를 만들었습니다. 원하는 레이아웃을 설명하면 JSX 코드를 자동으로 생성해줍니다. 믿기지 않네요 W H A T pic.twitter.com/w8JkrZO4lk

— Sharif Shameem (@sharifshameem) 2020년 7월 13일

Shameem는 다중 버튼을 가진 UI를 설명함으로써, 단 한 문장으로 전체 프로그램을 설명할 수 있었고, 기본적인 산술 계산 및 결과 표시와 같은 단순한 프로그램 조차도 GPT-3가 코드를 모두 생성하고 실행 중인 앱을 표시할 수 있었다.

나는 내가 원하는 것을 GPT-3에게 설명하는 것만으로 완전히 작동하는 React 앱을 만들었다. 나는 여전히 감동받고 있다. pic.twitter.com/UUKSYz2NJO

— 쉬리프 샤민 (@sharifshameem) 2020년 7월 17일

OpenAI는 "지금까지 API 접근을 위해 수만 건의 신청을 받았으며, 이 모델이 현실 세계에서 어떤 일을 할 수 있는지 배우면서 접근을 신중히 결정하고 있습니다," 회사는 ZDNet에 전합니다. "따라서 대기 목록은 길어질 수 있습니다."

미래의 상용 서비스에 대한 가격 책정은 아직 결정되지 않았습니다. 베타 단계에서 프로그램이 언제 출시될지에 대해 OpenAI는 ZDNet에게 "곧은 시일 내에는 아닐 것"이라고 말했습니다.

"이러한 강력한 모델을 출시하는 것은 비즈니스, 산업 및 사람들에게 미칠 영향에 대해 천천히 고민해야한다는 것을 의미합니다,"라고 회사는 말했습니다. "API 형식을 통해 적절한 사용을 연구하고 관리할 수 있지만, 제한 사항을 고려하여 일반적으로 사용할 수 있도록 급하게하는 것은 아닙니다."

베타 대기 목록에 참여하는 데 참을성이 부족하신 분들은 임시 방편으로 노트북에 Docker 설치를 이용하여 실행할 수 있는 이전 버전인 GPT-2를 다운로드할 수 있습니다. 자료는 동일한 Github 저장소에 게시되어 있으며, TensorFlow 프레임워크를 위한 Python 형식으로 제공됩니다. 물론 GPT-3와는 다른 결과를 얻게 될 것입니다만, 스스로 익히는 방법으로 시작할 수 있는 방법입니다.

또한 유사한 기능을 가진 새로운 언어 모델들이 계속해서 출시되고 있으며, 그 중 일부는 귀하의 목적에 충분할 수도 있습니다. 예를 들어, 최근에 Google은 BERT 언어 모델의 버전인 LaBSE를 발표했으며, 이 모델은 언어 번역에서 상당한 향상을 보여줍니다. TensorFlow Hub에서 다운로드할 수 있습니다.

또한: OpenAI의 거대한 GPT-3는 AI에 대한 언어 모델의 한계를 시사합니다

GPT-3의 역사는 무엇인가요?

GPT-3는 5월에 공개된 것으로, OpenAI에 의해 2018년에 처음 소개된 프로그램인 GPT-2에 이어 세 번째 버전입니다. 이 세 가지 프로그램은 언어 모델 분야에서의 신속한 혁신의 예시이며, 이는 모두 2015년에 일어난 두 가지 큰 발전에 기인합니다.

첫 번째 진전은 주의 (attention)라고 불리는 것의 사용이었습니다. 인공지능 과학자인 요슈아 벵지오와 몬트리올의 Mila 인공지능 연구소의 동료들은 영어 문장을 압축한 다음 다시 풀 때, 모든 언어 모델이 고정 길이의 벡터를 사용한다는 것을 관찰했습니다. 모든 문장은 같은 크기의 벡터에 간추려지게 되었고, 문장의 길이에 상관없이 동일한 크기의 벡터에 압축되었습니다.

Bengio와 그의 팀은 이같은 강경한 방식이 한계였다고 결론을 내렸습니다. 언어 모델은 조건부 확률을 최적화하는 단어들을 찾기 위해 서로 다른 길이의 다양한 벡터를 여러 개 사용할 수 있어야 합니다. 그래서 그들은 신경망이 단어들을 유연하게 다른 크기의 벡터로 압축하고, 그 벡터들에서 적절한 문맥을 유연하게 탐색할 수 있는 방법을 고안했습니다. 이것을 '어텐션(attention)'이라고 부릅니다.

주의는 언어 모델에서 중요한 요소가 되었습니다. 2년 후 구글 과학자들에 의해 언어 모델 프로그램인 트랜스포머가 만들어졌습니다. 트랜스포머는 언어 조작 테스트에서 놀라운 점수를 얻었습니다. 그것은 사실상의 언어 모델이 되었고, 구글에 의해 BERT라고 알려진 또 다른 성공적인 언어 모델을 만드는 데 사용되었습니다. 트랜스포머는 또한 GPT-1의 기초가 되었습니다.

고정 크기 벡터를 엄격하게 조작하는 필요에서 해방되어, Transformer와 그 자손들은 주어진 텍스트의 다른 부분을 자유롭게 돌아다니며, 훨씬 더 큰 문맥 범위를 포함하는 조건부 종속성을 찾을 수 있습니다.

그 자유로움은 2015년에 도래한 OpenAI의 업무에 더욱 중요한 역할을 한 다른 혁신을 위한 무지갯빛 학습으로 알려진 혁신을 위한 무지갯빛 학습의 무대를 마련했습니다.

그 때까지 대부분의 언어 모델은 레이블이 지정된 데이터와 함께 지도 학습에 초점을 맞추고 있었습니다. 입력이 주어진 경우, 신경망은 답변의 목표 버전으로 예시 출력도 함께 제공됩니다. 따라서, 번역 작업의 경우 영어 문장이 입력으로 사용되고, 인간이 만든 프랑스어 번역이 목표로 제공되며, 이 두 문장은 레이블이 지정된 예시를 형성합니다.

신경망의 프랑스어 번역 시도는 공식적인 프랑스어 문장과 비교되며, 두 문장 간의 차이는 신경망이 예측을 수행하는 과정에서 오류가 얼마나 발생하는지를 나타내는 손실 함수 또는 목적 함수로 알려집니다.

훈련 단계는 신경망의 제안된 출력과 목표 출력 간의 이 오차 차이를 줄이기 위한 것입니다. 이 차이가 가능한 한 작을 때 목적 함수가 최적화되었으며, 언어 모델의 신경망이 훈련되었다고 간주됩니다.

하지만 원하는 출력물을 신중하게 레이블링하는 것은 데이터의 수집과정에서 많은 관리를 필요로 하기 때문에 번거로울 수 있습니다. 이는 인간의 판단에 따라 예문 쌍을 조합하는 등의 작업을 포함하며 이는 시간과 자원을 많이 소모합니다. 구글의 안드류 다이와 쿼크 레는 언어 모델을 비지도 방식으로 먼저 훈련시키면 레이블링에 필요한 데이터를 줄일 수 있을 것이라고 가설을 세웠습니다.

문장 쌍을 주는 대신, 이 네트워크는 단일 문장만을 주어 각각을 벡터로 압축하고 원래의 문장으로 다시 복원해야 했습니다. 반사가 손실 함수로 설정되어 최적화되었습니다. 이 방식으로 압축 및 복원된 무라벨 예제가 많을수록 번역과 같은 작업에서 라벨이 달린 데이터를 대체할 수 있음을 발견했습니다.

2018년, OpenAI 팀은 Bengio와 동료들이 개발한 어텐션 메커니즘과 Dai와 Le가 개발한 비지도 학습 사전 훈련 접근 방식을 결합하여 사용했습니다. 어텐션 메커니즘은 많은 단어 벡터를 순회하는 데 사용되며, Dai와 Le의 비지도 사전 훈련은 대량의 텍스트를 흡수하고 압축하여 원본 텍스트를 재현합니다.

표준 Transformer를 사용하여, 그들은 BookCorpus의 내용을 입력으로 사용했습니다. BookCorpus는 토론토 대학교와 MIT가 편집한 데이터베이스로, 총 7,000개의 출판된 책 텍스트와 거의 백만 단어로 구성되어 있습니다. 이는 총 5GB입니다. GPT-1은 이러한 책들을 압축하고 해제하는 방법을 학습하였습니다.

이로써 점점 커지는 데이터셋으로 세 연도의 역사가 시작되었습니다. OpenAI 연구원들은 더 많은 데이터가 모델을 더 정확하게 만든다는 가설을 세우며, 프로그램이 수용할 수 있는 한계를 뛰어넘기 위해 노력했습니다. GPT-2로 넘어가면서, 그들은 BookCorpus를 버리고 Reddit의 외부 링크에서 스크랩한 800만 개의 웹 페이지로 구성된 자체 데이터셋을 사용했으며, 이는 총 40GB의 데이터입니다.

GPT-3의 훈련은 여전히 엄청나게 거대합니다. 2016년부터 2019년까지의 인기있는 CommonCrawl 데이터셋으로 구성되어 있습니다. 이것은 압축된 텍스트 데이터로서 명목상 45TB의 크기를 가지고 있지만, OpenAI는 중복을 제거하고 그 외에도 품질을 개선하기 위해 선별했습니다. 최종 버전은 570GB의 데이터입니다. OpenAI는 이를 여러 가지 다른 종류의 추가 데이터셋으로 보완했으며, 이에는 도서 데이터도 포함됩니다.

GPT-3는 계산 능력에 어떻게 의존하나요?

GPT-1, 2, 그리고 3의 도입으로 인해 컴퓨팅 규모는 진전을 위한 필수적인 요소가 되었습니다. 이 모델들은 더 나은 결과를 얻기 위해 훈련 중에 더 많은 컴퓨터 파워를 사용합니다.

훈련 중에 신경망을 최적화하는 것은 가중치(weight)의 조정입니다. 가중치는 파라미터로도 불리며, 각 벡터와 곱해지는 행과 열의 배열인 행렬입니다. 곱셈을 통해 많은 단어 벡터 또는 단어 조각들은 오류 간격을 줄이기 위해 신경망이 조정되는 동안 최종 출력에서 크거나 작은 가중치를 갖습니다.

OpenAI가 그들의 점점 커지는 데이터셋에서 잘 하려면 더 많은 가중치를 추가해야 한다는 것을 발견했습니다.

구글의 원래 Transformer는 1억 개의 가중치를 가지고 있었습니다. GPT-1은 이 디자인을 따랐습니다. GPT-2에서는 이 숫자가 15억 개의 가중치로 증가했습니다. GPT-3에서는 매개변수의 수가 1750억으로 급증하여 GPT-3가 세계에서 가장 큰 신경망이 되었습니다.

곱셈은 간단한 작업이지만, 1750억개의 가중치를 입력 데이터의 각 비트에 곱해야 하고, 수십억 바이트의 데이터에 걸쳐서 이루어지면, 병렬 컴퓨터 처리에서는 놀라운 작업이 됩니다.

이미 2018년에 GPT-1로 인해 OpenAI는 현실적인 컴퓨팅의 한계에 도전하고 있었습니다. 데이터의 확장은 GPU의 확장을 의미했습니다. 이전 언어 모델들은 모델 자체가 작았기 때문에 하나의 GPU에 맞출 수 있었습니다. GPT-1은 병렬로 작동하는 여덟 개의 GPU에서 한 달 동안 훈련되었습니다.

GPT-3와 함께 OpenAI는 다소 애매모호하게 대해왔습니다. 그들은 학습에 사용된 정확한 컴퓨터 구성을 설명하지 않았으며, Microsoft Azure에서 실행되는 Nvidia V100 칩의 클러스터에서 실행되었다고만 언급했습니다. 회사는 필요한 총 연산 주기를 설명하여 하루에 1조 플로팅 포인트 작업을 3,640일 동안 실행하는 것과 동일하다고 밝혔습니다.

컴퓨터 제조업체이자 클라우드 운영자인 람다 컴퓨팅은 단일 GPU가 해당 계산을 완료하는 데 355년이 걸릴 것으로 추정했다. 표준 클라우드 GPU 인스턴스 가격으로 계산하면 이 비용은 4,600,000 달러에 이른다. 추가로, 메모리도 문제가 있다. 모든 가중치 값을 저장하려면 매개변수의 수가 증가함에 따라 점점 더 많은 메모리가 필요하다. GPT-3의 1750억 개의 매개변수에는 700GB의 메모리가 필요하며, 이는 단일 GPU의 메모리보다 10배 더 많다.

컴퓨터 칩 분야를 주도하는 것은 바로 그러한 거대한 전력 요구 사항입니다. 인공지능(AI) 교육용으로 주로 사용되는 GPU를 공급하는 주요 기업인 Nvidia의 주가는 지난 10년 동안 거의 5,000% 상승했습니다. Cerebras Systems, Graphcore, Tachyum을 비롯한 스타트업 기업들은 수억 달러의 벤처 자본을 받아 설립되었습니다. 이 분야에서 더 크고 더 큰 모델을 구축하는 것이 계속되는 한 경쟁은 번창할 것입니다.

OpenAI는 급증하는 컴퓨터 파워에 대해 자체 연구를 진행했습니다. 이 회사는 2018년에 언급했는데, 가장 큰 AI 훈련 모델에 사용되는 컴퓨팅 사이클은 2012년 이후 3.4개월마다 2배씩 증가하고 있습니다. 이는 칩 트랜지스터 성장의 유명한 무어의 법칙보다 더 빠른 확장 속도입니다. (이 회사는 이와 관련하여 그 전에 동일한 작업을 수행한 이전 신경망보다 더 효율적인 점이 있다는 연구도 진행했습니다.)

이미, 최고 기밀 인공지능 프로젝트에 대한 정보를 전달받은 기업들에 따르면 1조 개 이상의 매개변수를 사용하는 모형들이 개발 중에 있습니다. 아마도 그게 한계는 아닐 것입니다. Google과 같은 하이퍼스케일 기업들이 계속해서 거대한 데이터 센터를 더 큰 모형에 투자하기 원한다면요. 대부분의 인공지능 학자들은 기계 학습 모형의 크기가 계속해서 커질 것으로 인정하고 있습니다. 앞으로도 훨씬 더 큰 모형들이 일반적이 될 것이라고요.

"AI 분야에 미치는 영향 측면에서 GPT-3의 가장 흥미로운 부분은, AI의 확장성 한계에는 아직 도달하지 못했다는 사실을 보여준다는 것입니다." AI 관리 도구 판매업체 Algorithmia의 CTO인 Kenny Daniel은 ZDNet에 말했습니다.

컴퓨터 사용량을 증가시키는 것 외에도 GPT-3의 다른 큰 영향은 프로그래밍과 응용 프로그램 개발 속도를 빠르게 하는 방법이 분명히 될 것입니다. 단순한 문구를 입력하여 작성된 JSX 프로그램을 신속하게 데모한 Shameem의 시연은 그저 아이스버그 일부에 불과합니다.

GPT-3의 단점은 무엇인가요?

이전 버전 대비 큰 개선이 이루어졌으나 GPT-3에는 여러 가지 한계가 있습니다. 저자들은 스스로 가리키듯이 "전반적으로 품질은 높지만, GPT-3 샘플은 아직 때로는 문서 수준에서 의미론적 중복을 반복하며 충분히 긴 구절을 통해 일관성을 잃을 수도 있습니다,"라고 출판된 논문에서 밝혔습니다.

이 프로그램은 일부 개별 테스트에서도 성능이 좋지 않습니다. 저자들은 "구체적으로, GPT-3는 '치즈를 냉장고에 넣으면 녹을까요?'와 같은 일반 상식적인 질문들에 어려움을 겪는다고 설명하고 있습니다.

GPT-3가 출시된 직후에는 많은 흥분이 있었는데, 회사의 CEO인 Sam Altman이 사람들에게 열광을 억제하라고 공개적으로 말했습니다.

"GPT-3에 대한 과대광고는 너무 심하다," Altman은 7월 19일에 트위터에 썼다. "인상적이긴 하지만 (칭찬해 주셔서 감사합니다!) 여전히 심각한 약점을 가지고 있고 때로는 매우 어리석은 실수를 한다," 그는 썼다. "인공지능은 세상을 변화시킬 것이지만, GPT-3는 단지 아주 초기의 힌트일 뿐이다. 아직 알아내야 할 것들이 많다."

GPT-3의 혹평은 지나칠 정도로 과대합니다. 인상적이긴 하지만 (칭찬해 주셔서 감사합니다!) 여전히 심각한 약점이 있으며 때로는 매우 어리석은 실수를 저질러요. 인공지능은 세상을 바꿀 것이지만 GPT-3는 아직 매우 초기적인 모습에 불과합니다. 우리는 아직 해결해야 할 과제가 많습니다.

— Sam Altman (@sama) 2020년 7월 19일

다른 사람들이 OpenAI 외부에서도 현실성 점검을 제공해왔습니다. 다양한 버전의 GPT를 경험한 숙련된 사용자인 Max Woolf는 개인 블로그에서 GPT-3이 이전 버전보다 좋지만, 평균적으로 더 나은 것 뿐이라고 썼습니다. 생성된 텍스트의 품질은 스펙트럼으로 이루어져 있어 일부 예제는 놀랍게 보일 수 있고, 다른 예제는 그렇게 좋지 않을 수도 있습니다. Woolf는 GPT-3을 애플의 Siri에 비유하며, 많은 경우 쓰레기를 생산하는 불안한 습관이 있다고 말했습니다. (Woolf의 글은 GPT-3에 대한 신중한 해부를 위한 읽을 가치가 있는 글입니다.)

사실, GPT-3 예제를 더 많이 읽어볼수록, 특히 긴 텍스트 일부를 읽을 경우, 처음의 열정이 사라지기 마련입니다. GPT-3는 장문으로 진행되는 경우 주제를 잃는 경향이 있습니다. 어떤 장르나 작업이더라도, 텍스트 결과물은 연장되어 지루하며, 이야기 속의 내부적인 일관성도 어긋나기 시작합니다.

일부 프로그래머들은 열정에도 불구하고, GPT-3의 아재개그 실패를 목록화했습니다. 예를 들어, "한 접시가 다른 접시에게 말했다.?"라는 질문에 대한 아재개그 펀치라인은 "저를 기대세요!" 일텐데, GPT-3은 오히려 유머 없는 "나를 딥하세요!"라고 대답할 수도 있습니다.

사람이 말한 내용: Q. 한 접시가 다른 접시에게 무엇을 말했나요?

GPT-3 생성된 완료 : A. 저를 담그세요!

GPT-3는 기린이 몇 개의 눈을 가지고 있는지와 같은 상식적인 질문에 대답할 수 있지만, 허튼 질문에 대해서는 어떤 대답을 하는 소프트웨어입니다. "내 발에는 몇 개의 눈이 있나요?"라고 묻는다면, GPT-3는 "내 발은 두 개의 눈을 가지고 있습니다."라는 답을 충실히 제시할 것입니다.

수준이 그리 좋지 않다고 생각하는 한 가지 방법은 GPT-3에서 좋은 결과를 얻기 위해서는 효과적인 프롬프트를 만드는 데 투자해야 한다는 것입니다. 어떤 인간 기획 프롬프트는 다른 프롬프트보다 더 나은 결과를 가져올 수 있습니다. 이는 "쓰레기를 넣으면 쓰레기를 낸다"는 속담의 새 버전입니다. 프롬프트는 프로그래밍의 새로운 도메인이 될 수 있으며, 그 자체로 약삭빠름과 예술성을 요구할 것으로 보입니다.

편견은 GPT-3 뿐만 아니라 조건부 분포에 의존하는 모든 프로그램에 큰 고려 사항입니다. 이 프로그램의 기본 접근 방식은 거울처럼 정확히 그대로 돌려주는 것입니다. 이는 데이터의 편견을 복제할 잠재력을 갖고 있습니다. GPT-2에서 이미 극심한 편견에 대한 학술적인 토론이 진행되었습니다.

GPT-3와 함께, Nvidia AI 과학자 Anima Anandkumar는 편향된 결과물을 생산하는 경향, 그 중에는 인종 차별적이고 성차별적인 결과물도 포함된다는 경고를 했습니다.

편견에 대한 어떠한 책임도 없이 이것이 공개되어 있는 것을 보니 당혹스럽습니다. @reddit 말뭉치를 이용해 이 모델을 학습했는데 거기에는 엄청난 #인종차별과 #성차별이 있었습니다. 저는 이러한 모델과 그들이 생성한 텍스트와 함께 일해봤는데 그들의 편향성에 충격을 받았습니다. @alexisohanian @OpenAI https://t.co/R8TU1AeYZd

— Anima Anandkumar 교수 (@AnimaAnandkumar) 2020년 6월 11일

안드류크마르의 비평에 대해 묻힌 OpenAI는 ZDNet에게 "모든 점점 강력해지는 창조 모델들과 마찬가지로, 공정성과 오용은 우리의 우려사항입니다."라고 전했습니다.

"이것은 왜 저희가 이 기술을 API로 공유하고, 시작하자마자 비공개 베타 버전을 출시하는 이유 중 하나입니다," OpenAI가 ZDNet에 전합니다. 회사는 "할 수 있는 한 인신 또는 정신적인 피해를 야기하는 사용 사례를 지원하지 않을 것"이라고 밝힙니다. 이에는 괴롭힘, 악의적인 속임수, 폭력적 선전, 인공잔디 조작 또는 스팸을 포함하여 어떠한 경우에도 해당됩니다."

OpenAI는 프로그램 내에서 발생할 수 있는 위험을 감지하기 위해 익숙한 유형의 화이트해커와 블랙해커 전쟁 게임을 사용한다고 ZDNet에 밝혔습니다:

우리는 '레드 팀'이라고 하는 것을 배치했습니다. 이 팀은 계속하여 콘텐츠 필터링 시스템을 고장 내야만 모델이 잘못된 결과를 반환하는 방법과 이유에 대해 더 배울 수 있도록 과제를 부여받았습니다. 레드 팀의 상대는 "블루 팀"으로서 편견을 측정하고 감소시키는 과제가 주어집니다.

다른 큰 문제는 GPT-3의 매우 보편적인 특성, 조건부 확률의 곡선에서 가장 두꺼운 부분만 강화된다는 사실입니다. 확률 분포의 꼬리 부분인 장기적인 경우와 때로는 두꺼운 꼬리 부분도 있습니다. 이러한 경우는 언어 사용의 가장 혁신적인 예일 수도 있습니다. 사회에서 가장 일반적인 텍스트를 반영하는 것에 초점을 맞추는 것은 창의성과 탐구를 밀어내게 될 위험성을 가지고 있습니다.

당분간, OpenAI의 이 문제에 대한 대응은 GPT-3에서 조정할 수 있는 설정인 온도 값입니다. 이 조절 장치를 조작하면 GPT-3가 덜 가능성이 있는 단어 조합을 선택하고, 따라서 더 독특한 텍스트를 생성할 수 있습니다.

비즈니스에 있어 더 빠른 우려는 GPT-3를 회사의 특정 데이터로 조정할 수 없다는 점입니다. 아무것도 조정할 수 없다면, 산업 도메인을 위해 GPT-3를 특화하기 어렵습니다. 어떤 회사든 API 서비스를 사용하는 경우 해당 도메인에 적용 가능한 텍스트를 얻기 위해 추가 작업을 해야 할 수도 있습니다. 사핀과 같은 스타트업들이 이 문제를 해결하는 VAR(파트너 판매업자)의 동등물을 형성할지도 모릅니다. 아마도, 하지만 이건 앞으로의 문제입니다.

더욱 문제로 여겨질만한 사안은, 클라우드 서비스인 GPT-3가 블랙 박스라는 것입니다. 이는 서비스를 사용하는 회사들이 출력물이 어떻게 도출되는지 알 수 없다는 것을 의미합니다. 바이어스 문제를 고려할 때 특히 유의해야 할 위험한 전망입니다. Sapling과 같은 파트너들이 GPT-3를 향상시킴으로써 서비스를 향상시키는 동시에 더 많은 혼란을 야기할 수 있습니다.

블랙 박스 문제의 하위 섹션으로, GPT-3는 경우에 따라 웹에서 습득한 내용을 단순히 기억할 수 있습니다. 이로 인해 저작권 문제가 발생합니다. 만약 한 회사가 API 서비스의 출력물이 다른 엔티티의 저작권 보호된 자료인 경우, 해당 회사는 다른 엔티티의 저작권을 침해할 수 있습니다. 저작권에 대해 질문을 받은 OpenAI는 ZDNet에 이렇게 말했습니다. "GPT-3가 생성한 텍스트의 저작권은 OpenAI가 아닌 사용자에게 속한다." 이것이 실제로 무엇을 의미하는지는 아직 알려지지 않았습니다.

현재 가장 큰 실용적인 단점은 GPT-3를 훈련하고 실행하기 위해 필요한 규모입니다. OpenAI는 공식 논문에서 이를 인정합니다. 저자들은 큰 모델의 비용이 생산된 출력의 가치에 기반하여 시간이 지남에 따라 어떻게 상환되는지 계산하기 위한 작업이 필요하다고 기술합니다.

또한: 아니요, 이 인공지능은 당신의 문장을 완성할 수 없습니다

GPT-3는 진짜로 배우고 있을까요?

사전적 의미로 볼 때, GPT-3는 학습 중입니다. 그것의 매개 변수 가중치가 튜닝되어 자동으로 훈련 데이터를 흡수함으로써 언어 모델이 명시된 프로그래밍만으로 제공되는 것보다 나은 상태가 됩니다. 이 의미에서 GPT-3는 사람이 명시적으로 그 함수를 인코딩하지 않고도 데이터를 변환하는 데 사용할 수 있는 컴퓨터를 찾으려는 수십 년 동안의 노력에 있어서 한 단계 진보입니다.

그렇다고해서 기계가 정말로 인공지능이나 학습을 하는 것인지 의심할 것이다. 이에 대한 논의는 여러 가지가 있지만, 무작정 생각해보면 우리가 인간적인 사고라고 부를 수 있는 것들이 여기에서 일어나지 않는다는 것 같다.

생각해보세요. 당신의 머리 속에 한 단어가 다른 단어와 어떻게 함께 나타날 가능성에 대한 숫자 점수를 가질 수 있다면 어떨까요? 문장, 문단 및 전체 텍스트를 구성하는 능력이 신중하다고 말하겠습니까? 아마도 당신은 그것이 단순히 통계적이라고 말할 것이며, 뭔가 빠진 것이 있다고 할 것입니다.

깊은 학습과 유명한 크레베 한스(독일 말)와의 비교가 이루어졌습니다. 한스는 주인이 대중 앞에서 그의 발굽으로 산수를 하는 동물로 소개하는 데 사용되었습니다. 후에 한스가 주인의 신체적 신호에 반응하여 발굽을 구르기 때문에, 신호 없이는 그가 수행할 수 없다는 사실이 발견되었습니다.

비슷하게, GPT-3의 인간적인 품질은 자세한 조사에서 붕괴됩니다. GPT-3가 뉴욕 부동산에 관한 에세이에 대한 참거짓 문제에 올바르게 답하는 것은 부동산이나 뉴욕에 대해 알고 있는 프로그램 때문이 아닙니다. 이 프로그램은 텍스트에서 주장을 포착하는 확률 분포와 문장-질문 쌍의 형식을 저장하고, 출력에서 그들을 반영할 수 있는 능력이 있습니다.

Hans는 산술에 대해 아무것도 모르지만, Hans를 위해 말하자면 그는 여전히 지능을 갖고 있었습니다. 신경망의 경우, 비판자들은 오로지 트릭만 존재하고 어떠한 상식도 없다고 말할 것입니다.

그래도 지능과 학습은 여러 가지를 의미할 수 있으며, 이들은 인공지능이 어떤 것이어야 하는지에 대한 목표가 시간이 지남에 따라 변경되었다는 사실을 이 분야의 역사학자인 Pamela McCorduck이 가리키고 있습니다. 일부 사람들은 텍스트의 거대한 집합체에서 확률을 계산할 수 있는 프로그램이 우리 자신이 아닌 다른 종류의 지능, 아마도 외계의 지능일 수 있다고 주장 할 수도 있습니다. 그것을 일찍 폐기하는 것은 이르다고 할 수 있습니다.

게다가, 이러한 조건부 확률을 일으키는 신경망은 단순한 통계 프로그램보다 더 많은 것입니다. 그들의 계산은 동시에 발생하는 여러 수학 연산의 긴급한 속성이며, 매개 변수 가중치의 조정입니다. 다른 형태의 지능을 고려할 수 있다면, 신경망 내부에서 형성되는 분산 표현과 같은 긴급한 속성은 그것을 찾는 한 곳이 될 수 있습니다.

GPT-3의 미래는 어떻게 될까요?

하나는 분명한 것 같습니다: GPT-3는 기계 학습의 새로운 장을 열었습니다. 가장 두드러지는 특징은 그의 일반성입니다. 몇 년 전까지만 해도, 신경망은 번역이나 질문에 대한 답변과 같은 특정 작업에 맞게 함수를 조정하여 구축되었습니다. 데이터셋은 해당 작업을 반영하기 위해 정리되었습니다. 그러나 GPT-3는 특정 작업을 위한 함수가 없으며, 특별한 데이터셋도 필요하지 않습니다. 그저 가능한 한 많은 텍스트를 어디에서든지 흡수하여 그것을 출력에 반영합니다.

어떻게든, 그 방대한 양의 텍스트를 통한 조건부 확률 분포 계산에서, 다양한 과제에 대해 경쟁력있는 답을 제공할 수 있는 함수가 나타났습니다. 이는 아마도 여러 해 동안의 성과를 이룰 수 있는 단순성의 놀라운 업적입니다.

그러나 심층학습 전체성은 이미 한계에 다다를 수도 있습니다. 이미 GPT-3의 저자들은 논문 끝에 사전 훈련 방향이 결국 한계에 도달할 수도 있다고 언급합니다. "이 논문에서 설명된 일반적인 접근법의 더 근본적인 한계는 사전 훈련 목적의 한계에 부닥칠 수도 있을 뿐만 아니라 이미 부딪힐 수도 있다는 것입니다."

저자들은 "사람들로부터 목적 함수를 배우는 것"과 같은 새로운 방향이 약속될 것이라고 제안하며, 체스와 바둑에서 이기기 위해 DeepMind의 AlphaZero에서 사용된 "강화 학습"과 같은 다른 종류의 심층 학습을 혼합하는 것이다. (이러한 접근법을 이미 구현하기 시작했다. OpenAI의 저자들은 9월 초에 GPT-3를 강화 학습을 사용하여 기사를 더 잘 요약하도록 훈련시킬 수 있음을 보여주었다. 어떤 요약이 더 좋아 보이는지에 대한 언어 모델에게 일부 인간의 피드백을 제공함으로써.)

그들이 제안하는 또 다른 것은 이미지와 같은 다른 데이터 유형을 추가하여 프로그램의 "세상의 모델"을 완성하는 것입니다.

실제로, 앞으로 몇 년 동안 이러한 일반적인 접근법이 텍스트 이외의 다른 형식에도 확장될 것으로 예상됩니다. 이미지와 비디오와 같은 다른 형식의 모달리티에 이러한 접근법이 퍼져갈 것입니다. 예를 들어, GPT-3와 같은 프로그램이 이미지를 단어로 번역하고 그 반대로도 번역할 수 있는 상상해보세요. 이러한 프로그램은 두 형식 간의 관계를 모델링하기 위해 특정 알고리즘이 필요하지 않습니다. 예를 들어, 이 프로그램은 사진에서 텍스트 기반의 장면 설명을 "배운" 하거나 텍스트 설명에서 물리적인 연속된 사건을 예측할 수 있습니다.

Facebook AI 이사 Yann LeCun은 다양한 형태의 비감독 학습이 딥러닝의 미래라고 주장했습니다. 그렇다면 음성부터 텍스트, 이미지, 동영상까지 다양한 데이터의 사전 학습 방식은 비감독 학습의 매우 유망한 미래 방향 중 하나로 볼 수 있습니다.