그것은 무엇이며 어떻게 사용할 수 있습니까?

이것이 바로 ChatGPT 가 무엇이며 이것이 현대 검색 엔진 이후 가장 중요한 도구일 수 있는 이유입니다.

OpenAI는 복잡한 질문에 대화식으로 답변하는 ChatGPT 라는 긴 형식의 질문 답변 AI를 도입했습니다.

인간이 질문할 때 무엇을 의미하는지 학습하도록 훈련되었기 때문에 이는 혁신적인 기술입니다.

많은 사용자는 인간 수준의 응답을 제공하는 능력에 경외감을 느끼며 결국 인간이 컴퓨터와 상호 작용하는 방식을 방해하고 정보 검색 방식을 변경할 수 있는 힘을 갖게 될 수 있다는 느낌을 갖게 됩니다.

ChatGPT 란 무엇입니까?

ChatGPT 는 OpenAI가 GPT-3.5 기반으로 개발한 대규모 언어 모델 챗봇입니다. 대화형 대화 형식으로 상호 작용하고 놀라울 정도로 인간처럼 보일 수 있는 응답을 제공하는 놀라운 능력을 가지고 있습니다.

대규모 언어 모델은 일련의 단어에서 다음 단어를 예측하는 작업을 수행합니다.

인간 피드백을 통한 강화 학습(RLHF)은 인간 피드백을 사용하여 ChatGPT 지시를 따르고 인간에게 만족스러운 응답을 생성하는 능력을 학습할 수 있도록 돕는 추가 교육 계층입니다.

누가 ChatGPT 만들었나요?

ChatGPT 샌프란시스코에 본사를 둔 인공 지능 회사 OpenAI에서 만들었습니다. OpenAI Inc.는 영리 목적의 OpenAI LP의 비영리 모회사입니다.

OpenAI는 프롬프트라는 텍스트 지침에서 이미지를 생성하는 딥 러닝 모델인 DALL·E로 유명합니다.

CEO는 이전에 Y ComBypassGPTinator의 사장이었던 Sam Altman입니다.

Microsoft는 10억 달러 규모의 파트너이자 투자자입니다. 그들은 Azure AI Platform을 공동으로 개발했습니다.

대규모 언어 모델

ChatGPT 는 LLM(대형 언어 모델)입니다. LLM(대형 언어 모델)은 문장에서 다음에 어떤 단어가 나올지 정확하게 예측하기 위해 방대한 양의 데이터로 훈련됩니다.

데이터의 양이 늘어나면 언어 모델의 더 많은 작업 수행 능력이 향상된다는 사실이 밝혀졌습니다.

스탠포드 대학에 따르면:

“GPT-3에는 1,750억 개의 매개변수가 있으며 570GB의 텍스트에 대해 훈련되었습니다. 비교를 위해 이전 버전인 GPT-2는 15억 개의 매개변수로 100배 이상 작았습니다.

이러한 규모의 증가는 모델의 동작을 크게 변화시킵니다. GPT-3는 훈련 예제가 거의 또는 전혀 없이 문장을 영어에서 프랑스어로 번역하는 것과 같이 명시적으로 훈련되지 않은 작업을 수행할 수 있습니다.

이 동작은 GPT-2에서는 대부분 없었습니다. 또한 일부 작업의 경우 GPT-3는 해당 작업을 해결하기 위해 명시적으로 훈련된 모델보다 성능이 뛰어나지만 다른 작업에서는 부족합니다."

LLM은 문장의 일련의 단어와 다음 문장의 다음 단어를 예측합니다. 일종의 자동 완성과 비슷하지만 놀라운 규모입니다.

이 기능을 사용하면 내용의 단락과 전체 페이지를 작성할 수 있습니다.

그러나 LLM은 인간이 원하는 것이 무엇인지 항상 정확히 이해하지 못한다는 점에서 한계가 있습니다.

ChatGPT 는 앞서 언급한 RLHF(인간 피드백을 통한 강화 학습) 교육을 통해 최첨단 기술을 향상시킵니다.

ChatGPT 어떻게 교육받았나요?

GPT-3.5 는 ChatGPT 대화를 배우고 인간적인 응답 스타일을 달성하는 데 도움이 되도록 Reddit 토론과 같은 소스를 포함하여 인터넷의 코드 및 정보에 대한 방대한 양의 데이터에 대해 교육을 받았습니다.

ChatGPT 또한 인간 피드백(인간 피드백을 통한 강화 학습이라는 기술)을 사용하여 훈련되었으므로 AI는 인간이 질문할 때 기대하는 바를 학습했습니다. 이러한 방식으로 LLM을 교육하는 것은 단순히 LLM을 교육하여 다음 단어를 예측하는 것 이상이므로 혁신적입니다.

인간의 피드백으로 지침을 따르기 위한 훈련 언어 모델이라는 제목의 2022년 3월 연구 논문에서는 이것이 획기적인 접근 방식인 이유를 설명합니다.

“이 작업은 주어진 인간 집단이 원하는 일을 수행하도록 훈련함으로써 대규모 언어 모델의 긍정적인 영향을 높이려는 우리의 목표에 의해 동기 부여되었습니다.

기본적으로 언어 모델은 다음 단어 예측 목표를 최적화합니다. 이는 이러한 모델이 수행하려는 작업에 대한 프록시일 뿐입니다.

우리의 결과는 우리의 기술이 언어 모델을 더욱 유용하고 진실하며 무해하게 만드는 데 가능성이 있음을 나타냅니다.

언어 모델을 더 크게 만든다고 해서 본질적으로 사용자의 의도를 더 잘 따르게 되는 것은 아닙니다.

예를 들어 대규모 언어 모델은 허위이거나 유해하거나 단순히 사용자에게 도움이 되지 않는 출력을 생성할 수 있습니다.

즉, 이러한 모델은 사용자와 일치하지 않습니다.”

ChatGPT 구축한 엔지니어는 계약자(라벨러라고 함)를 고용하여 두 시스템인 GPT-3과 새로운 InstructGPT( ChatGPT 의 "형제 모델")의 출력을 평가했습니다.

평가를 바탕으로 연구자들은 다음과 같은 결론을 내렸습니다.

“레이블러는 GPT-3의 출력보다 InstructGPT 출력을 훨씬 선호합니다.

InstructGPT 모델은 GPT-3에 비해 진실성이 향상된 것으로 나타났습니다.

InstructGPT는 GPT-3에 비해 독성이 약간 개선되었지만 편견은 그렇지 않았습니다.”

연구 논문에서는 InstructGPT의 결과가 긍정적이라고 결론지었습니다. 하지만 개선의 여지도 있다고 지적했다.

"전반적으로, 우리의 결과는 인간의 선호도를 사용하여 대규모 언어 모델을 미세 조정하면 광범위한 작업에서 행동이 크게 향상되지만 안전성과 신뢰성을 향상시키기 위해 수행해야 할 많은 작업이 남아 있음을 나타냅니다."

ChatGPT 가 단순한 챗봇과 다른 점은 질문에 담긴 인간의 의도를 이해하고 유용하고 진실되며 무해한 답변을 제공하도록 특별히 훈련되었다는 것입니다.

이러한 교육으로 인해 ChatGPT 특정 질문에 이의를 제기하고 질문 중 이해가 되지 않는 부분을 삭제할 수 있습니다.

ChatGPT 와 관련된 또 다른 연구 논문에서는 인간이 선호하는 것이 무엇인지 예측하도록 AI를 훈련한 방법을 보여줍니다.

연구원들은 자연어 처리 AI의 출력을 평가하는 데 사용된 측정 기준으로 인해 기계가 측정 기준에서 좋은 점수를 받았지만 인간이 기대한 것과 일치하지 않는다는 사실을 발견했습니다.

연구자들이 문제를 설명하는 방법은 다음과 같습니다.

“많은 기계 학습 애플리케이션은 디자이너의 의도에 대한 대략적인 프록시일 뿐인 간단한 측정항목을 최적화합니다. 이는 클릭 미끼를 조장하는 YouTuBypassGPTe 추천과 같은 문제로 이어질 수 있습니다.”

그래서 그들이 설계한 솔루션은 인간이 선호하는 것에 최적화된 답변을 출력할 수 있는 AI를 만드는 것이었습니다.

이를 위해 그들은 인간이 만족스러운 답변으로 판단하는 것을 기계가 더 잘 예측할 수 있도록 다양한 답변 간의 인간 비교 데이터 세트를 사용하여 AI를 훈련했습니다.

이 논문에서는 Reddit 게시물을 요약하여 교육이 이루어졌으며 뉴스 요약에 대해서도 테스트했다고 공유합니다.

2022년 2월의 연구 논문은 Learning to Summarize from Human FeedBypassGPTack입니다.

연구원들은 다음과 같이 썼습니다.

“이 연구에서 우리는 인간의 선호도에 맞게 최적화하도록 모델을 훈련함으로써 요약 품질을 크게 향상시킬 수 있음을 보여줍니다.

우리는 요약 간의 인간 비교에 대한 대규모 고품질 데이터 세트를 수집하고 인간이 선호하는 요약을 예측하도록 모델을 훈련하며 해당 모델을 보상 함수로 사용하여 강화 학습을 통해 요약 정책을 미세 조정합니다."

ChatGPT 의 한계는 무엇입니까?

독성 반응에 대한 제한

ChatGPT 는 유독하거나 유해한 응답을 제공하지 않도록 특별히 프로그래밍되었습니다. 그래서 그런 종류의 질문에 대답하는 것을 피할 것입니다.

답변의 질은 지시의 질에 따라 달라집니다

ChatGPT 의 중요한 제한 사항은 출력 품질이 입력 품질에 따라 달라진다는 것입니다. 즉, 전문가의 지시(프롬프트)가 더 나은 답변을 생성합니다.

대답이 항상 올바른 것은 아닙니다

또 다른 한계는 인간이 옳다고 느끼는 답변을 제공하도록 훈련되었기 때문에 그 답변이 출력이 정확하다고 인간을 속일 수 있다는 것입니다.

많은 사용자는 ChatGPT 매우 잘못된 답변을 포함하여 잘못된 답변을 제공할 수 있다는 사실을 발견했습니다.

코딩 Q&A 웹사이트 Stack Overflow의 중재자는 인간에게 옳다고 느껴지는 답변의 의도하지 않은 결과를 발견했을 수 있습니다.

Stack Overflow는 ChatGPT 에서 생성된 사용자 응답으로 넘쳐났는데, 정답인 것처럼 보였지만 상당수가 잘못된 답변이었습니다.

수천 개의 답변이 자원 중재자 팀을 압도했고 관리자는 ChatGPT 에서 생성된 답변을 게시하는 모든 사용자를 금지하도록 촉구했습니다.

ChatGPT 답변의 홍수로 인해 다음 제목의 게시물이 작성되었습니다. 임시 정책: ChatGPT 가 금지되었습니다.

“이것은 ChatGPT 로 생성된 답변 및 기타 콘텐츠의 유입을 늦추기 위한 임시 정책입니다.

…가장 큰 문제는 ChatGPT 생성하는 답변이 부정확할 확률이 높지만 일반적으로 답변이 "좋을 것"처럼 "보인다"는 것입니다…

옳아 보이는 잘못된 ChatGPT 답변을 가진 스택 오버플로 중재자의 경험은 ChatGPT 제작자인 OpenAI가 새로운 기술 발표에서 알고 있고 경고한 것입니다.

OpenAI, ChatGPT 의 한계 설명

OpenAI 발표는 다음과 같은 경고를 제공했습니다.

“ ChatGPT 그럴듯해 보이지만 부정확하거나 무의미한 답변을 작성하는 경우가 있습니다.

이 문제를 해결하는 것은 다음과 같이 어렵습니다.

(1) RL 훈련 중에는 현재 진실의 출처가 없습니다.

(2) 모델을 더 조심스럽게 훈련시키면 정확하게 대답할 수 있는 질문을 거부하게 됩니다. 그리고

(3) 이상적인 답은 인간 시연자가 아는 것이 아니라 모델이 아는 것에 달려 있기 때문에 감독 훈련은 모델을 오도합니다.”

ChatGPT 무료로 사용할 수 있나요?

ChatGPT 사용은 현재 "연구 미리보기" 기간 동안 무료입니다.

AI가 질문에 더 잘 대답하고 실수로부터 배울 수 있도록 사용자가 응답에 대한 피드백을 제공하고 시험해 볼 수 있는 챗봇이 현재 열려 있습니다.

공식 발표에 따르면 OpenAI는 실수에 대한 피드백을 받기를 열망하고 있습니다.

“모델이 부적절한 요청을 거부하도록 노력했지만 때로는 유해한 지시에 반응하거나 편향된 행동을 보일 때도 있습니다.

우리는 특정 유형의 안전하지 않은 콘텐츠를 경고하거나 차단하기 위해 Moderation API를 사용하고 있지만 현재로서는 일부 거짓 부정과 긍정이 있을 것으로 예상합니다.

우리는 이 시스템을 개선하기 위한 지속적인 작업에 도움이 되도록 사용자 피드백을 수집하고 싶습니다.”

현재 대중이 응답을 평가하도록 장려하기 위해 ChatGPT 크레딧으로 $500의 상금이 걸린 콘테스트가 있습니다.

“사용자는 UI를 통해 문제가 있는 모델 출력에 대한 피드백뿐만 아니라 인터페이스의 일부인 외부 콘텐츠 필터의 잘못된 긍정/부정에 대한 피드백을 제공하도록 권장됩니다.

우리는 특히 실제 세계의 비적대적 조건에서 발생할 수 있는 유해한 결과에 관한 피드백뿐만 아니라 새로운 위험과 가능한 완화 방법을 발견하고 이해하는 데 도움이 되는 피드백에 관심이 있습니다.

ChatGPT 피드백 콘테스트3에 참가하여 최대 $500의 API 크레딧을 받을 수 있는 기회를 얻을 수 있습니다.

ChatGPT 인터페이스에 연결된 피드백 양식을 통해 항목을 제출할 수 있습니다.

현재 진행 중인 콘테스트는 2022년 12월 31일 오후 11시 59분(PST)에 종료됩니다.

언어 모델이 Google 검색을 대체할까요?

Google 자체에서는 이미 LaMDA라는 AI 챗봇을 만들었습니다. Google 의 챗봇 성능은 LaMDA가 지각을 갖고 있다고 Google 엔지니어가 주장할 정도로 인간 대화에 매우 가깝습니다.

이러한 대규모 언어 모델이 어떻게 그렇게 많은 질문에 답할 수 있는지를 고려할 때 OpenAI, Google 또는 Microsoft와 같은 회사가 언젠가 기존 검색을 AI 챗봇으로 대체한다는 것이 믿기지 않는 일입니까?

Twitter 의 일부에서는 이미 ChatGPT 차세대 Google 될 것이라고 선언하고 있습니다.

질의응답 챗봇이 언젠가 Google 대체할 수도 있다는 시나리오는 검색 마케팅 전문가로 생계를 유지하는 이들에게는 두려운 일이다.

이는 인기 있는 FaceBypassGPTook SEOSignals LaBypassGPT과 같은 온라인 검색 마케팅 커뮤니티에서 누군가 검색이 검색 엔진에서 챗봇으로 옮겨갈 수 있는지 묻는 토론을 촉발시켰습니다.

ChatGPT 테스트한 결과 검색이 챗봇으로 대체될 것이라는 두려움이 근거 없는 것이 아니라는 점에 동의해야 합니다.

이 기술은 아직 갈 길이 멀지만 검색을 위한 하이브리드 검색과 챗봇의 미래를 구상하는 것은 가능합니다.

그러나 현재 ChatGPT 구현은 어느 시점에서는 사용하려면 크레딧을 구매해야 하는 도구인 것 같습니다.

ChatGPT 어떻게 사용할 수 있나요?

ChatGPT 특정 작가의 스타일로 코드, 시, 노래, 단편 소설까지 작성할 수 있습니다.

다음 방향에 대한 전문 지식은 ChatGPT 정보 소스에서 작업 수행을 위해 요청할 수 있는 도구로 승격시킵니다.

이는 거의 모든 주제에 대한 에세이를 작성하는 데 유용합니다.

ChatGPT 기사 또는 전체 소설의 개요를 생성하는 도구로 작동할 수 있습니다.

서면 텍스트로 답변할 수 있는 거의 모든 작업에 대한 응답을 제공합니다.

결론

앞서 언급했듯이 ChatGPT 대중이 결국 비용을 지불하고 사용하게 될 도구로 구상됩니다.

ChatGPT 대중에게 공개된 후 처음 5일 이내에 백만 명이 넘는 사용자가 등록했습니다.