728x90
반응형
API 관리 및 모니터링 전문 기술 업체 콩이 LLM 개발에 특화된 API 플러그인을 오픈소스로 공개
ⓒ 콩
이번에 새롭게 추가한 오픈 소스 AI 플러그인은 6가지로 ▲AI 프록시 ▲AI 요청/응답 트랜스포머 ▲AI 프롬프트 가드 ▲AI 프롬프트 템플릿 ▲AI 프롬프트 데코레이터가 있다. 그중 AI 프록시 플러그인을 이용하면 동일한 API 인터페이스를 사용하여 클라우드 또는 자체 호스팅에서 여러 LLM 구현을 사용할 수 있다. 콩에 따르면, 해당 플러그인은 오픈AI, 애저 AI, 코히어, 앤트로픽, 미스트랄, 메타의 모델을 지원하며, 사용 방법을 표준화하여 애플리케이션 코드를 변경할 필요 없이 '스위치 한 번'으로 LLM 간에 쉽게 전환할 수 있다.
이외에도 중앙에서 AI 자격 증명 관리하거나 프롬프트 승인 규칙을 설정할 때 새로운 플러그인을 활용할 수 있다. AI가 해야 할 일이나 하지 말아야 할 일에 대한 컨텍스트를 설정하고 요청과 응답을 해석하는 규칙을 지정하는 기능도 새로운 플러그인에서 제공한다.
콩은 “새로운 플러그인은 하나 이상의 LLM을 제품에 통합할 때 특히 유용하며 이를 통해 생산성이 높아지고 AI 기능을 더 빠르게 출시할 수 있을 것”이라며 “아키텍트와 플랫폼 팀에게는 팀이 보내는 모든 AI 요청에 대한 가시성, 제어 및 규정 준수를 보장하는 데도 유용하다”라고 설명했다.
출처 : ciokorea
728x90
반응형
'기타' 카테고리의 다른 글
2030년에는 일자리 감소 직업 30선 (0) | 2024.02.22 |
---|---|
생성형 AI가 실물 경제와 물리적 산업에 가져오는 이점 (0) | 2024.02.22 |
고급 명함 만들기: 미드저니 프롬프트 10선 (0) | 2024.02.19 |
챗GPT가 이제는 영상업계를 집어삼키고 있다 (0) | 2024.02.19 |
‘코드 생성은 시작일 뿐’··· 생성형 AI가 이끌 SW 개발의 변화 10가지 (0) | 2024.02.16 |