새로운 오픈 소스 ChatGPT 클론 – Dolly라고 부릅니다.

오픈 소스 GPT 챗은 Databricks 기업 소프트웨어 회사가 만든 Dolly Large 언어 모델(DLL)의 출시로 한 단계 더 발전했습니다.

새로운 ChatGPT 클론은 돌리라고 불립니다. 이 이름은 처음으로 복제된 포유류로 유명한 그 이름을 딴 양인 돌리에서 따왔습니다.

오픈 소스 대형 언어 모델

동빈 LLM은 점점 커지는 오픈 소스 인공지능 운동의 최신 양상입니다. 이 운동은 대기업들에 의해 독점적으로 통제되지 않도록 기술에 대한 접근성을 높이려는 목적으로 이루어지고 있습니다.

오픈 소스 AI 운동을 추진하는 주요한 우려 중 하나는 기업들이 AI 기술을 제어하는 제3자에게 중요한 데이터를 전달하기를 꺼릴 수 있다는 것입니다.

오픈 소스 기반

Dolly는 비영리 연구기관인 EleutherAI 연구소와 스탠포드 대학교 Alpaca 모델이 함께 작성한 오픈 소스 모델을 기반으로 생성되었습니다. 이 모델은 Meta가 작성한 650억 개의 파라미터를 가진 오픈 소스 LLaMA 모델에 기반을 두고 있습니다.

LLaMA, 또는 Large Language Model Meta AI라는 단어는 공개적으로 이용 가능한 데이터로 훈련된 언어 모델입니다.

Weights & Biases의 기사에 따르면, LLaMA는 크기가 작은 이에도 불구하고 상위 언어 모델들 (OpenAI GPT-3, Gopher by Deep Mind 그리고 Chinchilla by DeepMind) 많은 모델들을 능가할 수 있다고 합니다.

더 나은 데이터셋 생성하기

다른 영감은 SELF-INSTRUCT: Aligning Language Model with Self Generated Instructions PDF라는 학술 연구 논문에서 영감을 받았습니다. 이 논문은 한정된 공공 데이터보다 더 우수한 자동 생성 질문과 답변 훈련 데이터를 만들기 위한 방법을 제시했습니다.

Self-Instruct 연구 논문은 다음과 같이 설명합니다:

“...우리는 소설적인 과제를 위해 전문가에 의해 작성된 지침 세트를 선별하고, 인간 평가를 통해 SELF-INSTRUCT로 GPT3를 조정하는 것이 기존의 공개 지침 데이터셋 사용보다 큰 차이로 성능을 개선시키는 것을 보여줍니다. InstructGPT와는 단 5%의 차이만 남깁니다...

...우리의 방법을 바닐라 GPT3에 적용하여, 우리는 SUPERNATURALINSTRUCTIONS에서 원래 모델 대비 절대적인 33%의 개선을 보여주며, InstructGPT와의 성능이 비슷해졌습니다... 이 모델은 사적인 사용자 데이터와 인간 주석으로 훈련되었습니다.”

Dolly의 중요성은 작지만 고품질의 데이터셋으로 유용한 대형 언어 모델을 생성할 수 있다는 것을 보여준다.

데이터브릭스는 다음을 관찰합니다:

"Dolly는 EleutherAI의 기존 오픈 소스 60억 개 파라미터 모델을 가져와서 약간만 수정하여 원본 모델에는 없는 뇌물 및 텍스트 생성과 같은 지시 따르기 능력을 유도하도록 작업하며, Alpaca에서 제공하는 데이터를 활용합니다."

…우리는 누구나 일반적인 출처의 오픈 소스 대형 언어 모델(Large Language Model, LLM)을 사용하여 마법같은 ChatGPT와 유사한 지시 가능성을 부여할 수 있음을 보여줍니다. 품질 높은 학습 데이터를 사용하여 30분 동안 한 대의 컴퓨터에서 학습시킬 수 있습니다.

놀랍게도, 지시 따르기는 최신이거나 가장 큰 모델을 요구하지 않는 것 같습니다: 저희 모델은 단지 60억 개의 매개변수를 가지고 있을 뿐이며, GPT-3은 1750억 개를 가지고 있습니다."

Databricks 오픈 소스 AI

Dolly는 AI를 더 demoracize한다고 합니다. 이는 최근 Mozilla.ai를 창립하여 이에 가세한 비영리 단체 Mozilla와 함께하는 움직임의 일환입니다. Mozilla는 Firefox 브라우저와 다른 오픈 소스 소프트웨어를 발행하는 기업입니다.