GPT 모델의 7가지 무료 오픈 소스 버전 공개

AI 회사 Cerebras는 실리콘밸리에서 7 개의 오픈 소스 GPT 모델을 출시하여 현재 강하게 통제되고 소유되고 있는 시스템에 대한 대안을 제공합니다.

로열티 없이 사용 가능한 오픈소스 GPT 모델은 Cerebras라는 AI 애플리케이션을 위한 실리콘밸리 기반의 인프라 회사에서 매우 유연한 Apache 2.0 라이센스로 공개되었습니다.

특정한 한계까지, 7개의 GPT 모델은 Cerebras Andromeda AI 슈퍼컴퓨터의 개념 증명입니다.

Cerebras 인프라는 Jasper AI Copywriter와 같은 고객들이 자체 맞춤형 언어 모델을 빠르게 학습할 수 있도록 해줍니다.

하드웨어 기술에 관한 Cerebras 블로그 글은 다음과 같다:

“우리는 안드로메다라고 불리는 16x CS-2 Cerebras 웨이퍼-스케일 클러스터에서 Cerebras-GPT 모델들을 모두 훈련했습니다.

해당 클러스터는 기존의 GPU 클러스터에서 필요한 전통적인 분산 시스템 엔지니어링과 모델 병렬 튜닝 없이 모든 실험을 신속하게 완료할 수 있게 했습니다.

가장 중요한 것은 이 클러스터가 우리의 연구자들이 분산 시스템 대신에 ML의 설계에 집중할 수 있게 했다는 점입니다. 우리는 대규모 모델을 쉽게 훈련할 수 있는 능력이 넓은 사회적 공동체를 위한 핵심 인자라고 믿어, Cerebras Wafer-Scale 클러스터를 Cerebras AI Model Studio를 통해 클라우드 상에서 제공하고 있습니다.”

Cerebras GPT 모델과 투명성

Cerebras는 AI 기술의 소유 집중화를 몇 개의 회사로 제한되는 것을 이유로 일곱 개의 오픈 소스 GPT 모델을 생성하는 것을 언급하고 있습니다.

OpenAI, 메타(Meta) 및 딥마인드(Deepmind)는 자체 시스템에 대한 많은 정보를 비공개로 유지하고 엄격하게 통제합니다. 이는 세 기업이 다른 사람들이 데이터를 활용할 수 있는 방식을 결정함으로써 혁신을 제한합니다.

인공지능 혁신을 위해서는 폐쇄 소스 시스템이 최적인가요? 아니면 오픈 소스가 미래인가요?

Cerebras 글:

“LLMs가 개방적이고 접근 가능한 기술이 되기 위해서는 최신 기술과 오픈 데이터셋을 사용하여 개발되고, 연구 및 상업용 어플리케이션 모두에 대해 오픈, 재현 가능하며 로열티가 없는 모델에 대한 접근이 중요하다고 믿습니다.

이를 위해 저희는 최신 기법과 오픈 데이터셋을 활용하여 훈련시킨 transformer 모델인 Cerebras-GPT를 개발했습니다.

이 모델들은 Chinchilla formula를 사용하여 훈련시킨 첫 번째 GPT 모델의 가족이며 Apache 2.0 라이선스를 통해 공개되었습니다.”

따라서 이 7개의 모델은 Hugging Face와 GitHub에서 공개적인 AI 기술에 대한 접근을 통해 더 많은 연구를 유도하기 위해 공개되었습니다.

이 모델들은 Cerebras의 안드로메다 AI 슈퍼컴퓨터로 훈련되었으며, 이 과정은 단 몇 주만에 완료되었습니다.

Cerebras-GPT는 OpenAI (GPT-4), Deepmind 및 Meta OPT의 최신 GPT 모델과 달리 완전히 개방적이고 투명합니다.

OpenAI와 Deepmind Chinchilla는 모델 사용에 대한 라이선스를 제공하지 않습니다. Meta OPT는 비상업적인 라이선스만을 제공합니다.

오픈에이아이의 GPT-4는 훈련 데이터에 대해 전혀 투명성이 없습니다. 그들은 Common Crawl 데이터를 사용했을까요? 인터넷을 스크래핑하여 자체 데이터셋을 생성했을까요?

OpenAI는 이 정보를 (그리고 더 많은 정보를) 비밀로 유지하고 있으며, 이는 완전히 투명한 Cerebras-GPT 접근과 대조적입니다.

다음은 모두 개방적이고 투명합니다:

• 모델 아키텍처
• 학습 데이터
• 모델 가중치
• 체크포인트
• 컴퓨트 최적화 훈련 상태 (예)
• 사용 허가: 아파치 2.0 라이선스

일곱 가지 버전은 111M, 256M, 590M, 1.3B, 2.7B, 6.7B, 그리고 13B 모델로 구성됩니다.

그것이 발표되었습니다:

“AI 하드웨어 회사 중 최초로, Cerebras의 연구진은 안드로메다 AI 슈퍼컴퓨터를 사용하여 111M, 256M, 590M, 1.3B, 2.7B, 6.7B 및 13B 파라미터를 가진 일련의 7개의 GPT 모델을 훈련시켰습니다.

일반적으로 수개월이 소요되는 이 작업은 Cerebras CS-2 시스템의 놀라운 속도와 Cerebras의 가중치 스트리밍 아키텍처의 분산 컴퓨트 고통을 제거하는 능력 덕분에 몇 주만에 완료되었습니다.

이러한 결과는 Cerebras 시스템이 현재 가장 크고 복잡한 AI 작업량을 훈련시킬 수 있음을 보여줍니다.

이는 최첨단 훈련 효율 기술을 사용하여 훈련된 GPT 모델 스위트가 처음으로 공개된 것입니다.

이러한 모델은 지정된 컴퓨팅 예산에 대해 가장 높은 정확도로 훈련되어 있으므로 (즉, Chinchilla 레시피를 사용하여 훈련 효율화), 기존 공개 모델보다 더 적은 훈련 시간, 더 낮은 훈련 비용 및 더 적은 에너지를 사용합니다.”

오픈 소스 인공지능

Mozilla 재단은 오픈 소스 소프트웨어인 Firefox의 제작 업체로, 신뢰할 수 있고 개인정보를 존중하는 오픈 소스 GPT와 추천 시스템을 구축하기 위해 Mozilla.ai라는 회사를 설립했습니다.

데이타브릭스는 최근에 오픈 소스인 Dolly라는 GPT 클론을 공개했습니다. 이는 "ChatGPT의 마법을 민주화"하는 것을 목표로 합니다.

그 일곱 개의 세레브라스 GPT 모델 외에도, Nomic AI라는 다른 회사가 GPT4All을 공개했습니다. 이는 노트북에서 실행할 수 있는 오픈 소스 GPT입니다.

오픈 소스 인공지능(AI) 이동은 초기 단계에 있지만 성장세를 보이고 있습니다.

GPT 기술은 산업 전반에 걸쳐 대규모 변화를 가져오고 있으며, 이 변화를 주도하는 산업의 모습을 변화시킬 수 있는 오픈 소스 기여가 가능하고, 아마도 필연적일 것입니다.

오픈 소스 운동이 이 속도로 발전한다면, 우리는 AI 혁신이 소수 기업들의 손에 집중되지 않도록 변화하는 과정을 목격할 가능성이 있습니다.

공식 공지를 읽으세요:

Cerebras Systems는 CS-2 웨이퍼 스케일 시스템에서 훈련된 7개의 새로운 GPT 모델을 출시했습니다.