세계 최초의 AI 소프트웨어 엔지니어 - Devin

데빈(Devin)은 미국의 Cognition사에서 개발한 자체 쉘, 코드 에디터, 웹 브라우저를 활용하여 엔지니어링 작업을 수행하는 자율 에이전트입니다.

Cognition사는 데빈을 세계 최초의 AI 소프트웨어 엔지니어로 소개했는데, 공개한 데모 영상을 보고 왜 그렇게 자신 있게 소개했는지를 알 수 있었습니다.

일반 유저에게 런칭된 서비스는 아니라 아직 확신할 수 없으나, 데모 영상만 보면 AI 소프트웨어 분야의 게임 체인저가 될 것으로 기대됩니다.

🔔 데빈은 현재 Waiatlist 등록 후 Access를 받아 이용할 수 있습니다.

 

데빈(Devin)의 능력

데빈은 복잡한 엔지니어링 작업을 계획하고 실행하는 데 필요한 장기적인 추론과 계획 능력을 갖추고 있습니다.

수천 가지에 달하는 결정을 요구하는 작업을 수행할 수 있으며, 모든 과정에서 관련된 컨텍스트를 유지하며 시간이 지나면서 학습하고 실수를 바로잡을 수 있는 능력을 지니고 있습니다.

데빈은 샌드박스로 구분된 안전한 컴퓨팅 환경에서 작업할 수 있으며, 셸, 코드 편집기, 웹 브라우저 등 개발자가 필요로 하는 모든 기본 도구에 접근할 수 있습니다.

사용자와의 협업 기능도 갖추고 있어, 실시간으로 진행 상황을 보고하고, 사용자의 피드백을 받아들이며, 디자인 선택 과정에서 사용자와 긴밀하게 협력할 수 있습니다.

SWE-Bench 테스트 결과

Cognition사는 데빈을 SWE-Bench에서 테스트한 결과, 13.86%의 이슈를 정확하게 해결하여, Calude 2의 4.80%, GPT-4의 1.74%를 크게 앞섰다고 소개했습니다.

🔔 SWE-bench는 GitHub 이슈를 자동으로 해결하는 시스템의 능력을 테스트하는 데이터 세트입니다.

 

지금부터 데빈이 특정 역할을 수행하는 몇 가지 데모 영상을 함께 보겠습니다. 놀라운 것은 위 데모에 활용된 링크가 대부분 실존하는 링크였으며, 해당 링크를 설명에 하이퍼링크로 추가해 두었습니다.

1. 낯선 기술에 대한 사용법 학습

데빈이 AI 이미지 생성 모델인 스테이블 디퓨전에서 컨트롤넷을 활용하여 Hidden 텍스트가 포함된 이미지를 생성하는 방법에 대한 블로그 포스팅을 학습한 후 → 포스팅에서 소개한 방법대로 SARA라는 Hidden 텍스트가 포함된 이미지를 생성하는 영상입니다.

 

2. END TO END 앱 빌드 및 배포

세포 자동자 게임인 Game of Life를 시뮬레이션 하는 대화형 개인 웹사이트를 만드는 영상입니다. 사용자가 요청한 기능을 점진적으로 추가한 다음 앱을 Netlify에 배포합니다.

 

생성된 웹사이트 보러 가기 >>

 

3. 코드 저장소의 버그를 자율적으로 찾아서 수정

사용자가 오픈 소스 Competitive Programming Book을 유지 관리하고 디버깅하는 것을 Devin이 도와주는 영상입니다.

 

4. 자체 AI 모델 학습 및 파인 튜닝

사용자가 GitHub의 research repository 링크를 제공해서 대규모 언어 모델(7B Llama)을 파인 튜닝하는 영상입니다. 제공된 링크에는 LLM을 파인 튜닝 하는 방법에 대한 문서가 포함되어 있습니다.

 

Cognition사의 블로그에는 데빈이 다양한 작업을 수행하는 영상이 공개되어 있습니다. Devin이 어떠한 역할을 수행할 수 있는지 관심 있는 독자분께서는 홈페이지에 방문해 보시기 바랍니다.

 

더 많은 데모 영상 보러 가기 >>

Blog

 

출처 : deepdaive.com