ChatGPT는 코드를 작성할 수 있습니다. 이제 연구자들은 그것이 버그를 고치는 데도 능숙하다고 말합니다.

OpenAI의 ChatGPT 챗봇은 소프트웨어 버그를 매우 잘 해결할 수 있지만, 다른 방법과 AI 모델과의 주요한 차별점은 답변의 정확성을 향상시킬 수 있는 사람과의 대화 능력입니다.

요한네스 구텐베르크 대학교 메인츠 캠퍼스와 런던 대학교의 연구원들은 OpenAI의 ChatGPT와 "표준 자동 프로그램 수리 기술" 및 프로그램 수리를 위한 두 가지 딥러닝 접근 방식인 캐나다 워터루 대학의 CoCoNut과 GitHub의 Copilot 파트너 프로그래밍 자동 코드 완성 서비스에 기초한 OpenAI의 GPT-3 기반 모델 Codex를 비교하였다.

또한: ChatGPT 사용 시작 방법

"ChatGPT의 버그 수정 성능은 일반적인 딥러닝 접근 방식인 CoCoNut 및 Codex와 경쟁력이 있으며, 표준 프로그램 수정 접근 방식에 비해 현저히 더 우수한 결과를 보여준다고 연구자들은 새로운 arXiv 논문에서 언급하고 있으며, 이는 뉴 사이언티스트에 의해 처음으로 보도되었습니다."

가장 우수한 AI 챗봇: ChatGPT와 시도해볼만한 다른 흥미로운 대안들

인공지능 챗봇과 작가는 이메일과 에세이를 작성하거나 수학 문제를 푸는 등의 작업을 도와줄 수 있습니다. 사용자 입력을 기반으로 텍스트를 생성하거나 질문에 답할 수 있도록 인공지능을 사용합니다. ChatGPT는 한 예로, 그 외에도 주목할 만한 챗봇이 있습니다.

지금 읽기

ChatGPT를 사용하여 코딩 문제를 해결하는 것은 새로운 것이 아니지만, 연구진은 이를 통해 인간과 대화하는 독특한 능력을 갖춘 것이 다른 접근 방식과 모델들에 비해 잠재적인 장점을 제공한다고 강조합니다.

연구진은 QuixBugs 버그 수정 벤치마크를 사용하여 ChatGPT의 성능을 테스트했습니다. 자동화된 프로그램 수리 (APR) 시스템은 2018년 이전에 개발된 것으로 보입니다.

ChatGPT는 Google에서 개발된 transformer 구조를 기반으로 합니다. Meta의 AI 책임자인 Yann LeCunn은 이번 주에 이를 강조했습니다. Microsoft Research의 Codex와 CodeBERT, 그리고 이전의 Google의 BERT도 모두 Google의 transformer 방법을 기반으로 합니다.

OpenAI는 ChatGPT의 대화 능력을 강조하며, 코드 디버깅에 있어서 명확화를 위해 질문을 하고 더 나은 답변을 얻기 위해 사람으로부터 힌트를 받을 수 있습니다. 이는 ChatGPT의 대형 언어 모델(GPT-3 및 GPT 3.5)을 사람의 피드백에 따라 강화 학습을 통해 훈련시킨 결과입니다.

ChatGPT의 토론 능력은 더 정확한 답변을 찾는 데 도움이 될 수 있지만, 제안의 품질은 여전히 불분명하다는 연구자들의 의견입니다. 그래서 그들은 ChatGPT의 버그 수정 성능을 평가하고 싶었습니다.

연구자들은 ChatGPT를 QuixBugs의 40개의 파이썬 전용 문제와 비교했습니다. 그리고 추천된 답안이 올바른지 여부를 수동으로 확인했습니다. ChatGPT의 답변 신뢰도에는 약간의 무작위성이 있으므로 쿼리를 4번 반복했습니다. 이것은 한 Wharton 교수가 MBA 수준의 시험에 chatbot을 통과시킨 후 발견된 사실입니다.

ChatGPT가 40개의 Python 버그 중 19개를 해결하여, CoCoNut(19)과 Codex(21)와 동등한 성과를 보였습니다. 하지만 표준 APR 방법은 문제들 중 7개만 해결했습니다.

연구진은 ChatGPT의 후속 상호작용 성공률이 77.5%에 이르렀다는 것을 발견했습니다.

개발자들에게 노력과 생산성 측면에서의 영향은 애매하지만 Stack Overflow는 최근 ChatGPT로 생성된 답변을 품질이 낮지만 그럴싸하다고 판단하여 차단했습니다. 워튼 교수는 ChatGPT가 MBA 학생들에게 "스마트 컨설턴트" 역할을 해줄 수 있어서 훌륭한 동반자가 될 수 있다고 밝혔습니다. 이는 곧 우아하지만 종종 잘못된 답변을 제시하고 비판적 사고를 유도할 수 있다는 것을 의미합니다.

"이는 인간의 입력이 자동화된 APR 시스템에 큰 도움이 될 수 있음을 보여줍니다. ChatGPT가 그 일을 수행하는 수단을 제공한다고 연구자들은 씁니다."

"성능이 훌륭하더라도, ChatGPT 답변을 검증하는 데 필요한 정신적 비용이 ChatGPT가 가져다 줄 장점을 상쇄하는지에 대한 의문이 제기됩니다."