메타, '다중 토큰 예측' 코드 생성 모델 출시..."단일 토큰보다 속도·성능 개선" - 공개보증 사이트
메이저 카지노 사이트SW 포털
게시글 작성 시각 2024-07-08 14:07:18
2024.07.05
ⓒAI타임스 /박찬 기자
메타가 '다중 토큰 예측(Multi-token Prediction)’ 아키텍처를 기반으로 하는 코드 생성 모델을 출시했다. 이 방식으로 모델 속도를 최대 3배 빠르게 하는 등 대형언어모델(LLM)의 새로운 돌파구를 만들었다고 주장했다.
벤처비트는 4일(현지시간) 메타가 지난 4월 논문을 통해 발표한 ‘다중 토큰 예측’ 아키텍처를 기반으로, 코드 데이터로사전 훈련한70억 매개변수의 ‘멀티-토큰-프리딕션’ 모델을 오픈 소스로 출시했다고 보도했다.
다중 토큰 예측은 전통적인 자동회귀 언어 모델이 한번에 토큰 하나씩 예측하는 것과 달리, 여러 토큰을 동시에 예측함으로써 모델의 속도와 정확도를 향상할 수 있는 방법이다.
(후략)
[원본기사 :https://www.aitimes.com/news/articleView.html?idxno=161325]
| 번호 | 제목 | 조회수 | 작성 |
|---|---|---|---|
| 11001 | “SW 공급망 피해, 2031년 1380억달러···공급망 전반서 리스크 낮춰야” | 1433 | 2024-07-08 |
| 11000 | 메타, '다중 토큰 예측' 코드 생성 모델 출시..."단일 토큰보다 속도·성능 개선" | 1560 | 2024-07-08 |
| 10999 | [주간 OSS 동향리포트]LG전자 – Qt그룹, ‘차량용 webOS 콘텐츠 플랫폼(ACP)’ 구축 협력 | 2342 | 2024-07-08 |
| 10998 | "애플이 AI 모델을 오픈소스로?"...멀티모달 파운데이션 모델 훈련 위한 프레임워크 '4M AI 모델' 오픈 소스로 첫 공개 | 1560 | 2024-07-04 |
| 10997 | [ET톡]국산 DBMS 경쟁력, 생태계 육성에 달렸다 | 1572 | 2024-07-03 |
| 10996 | LG전자 – Qt그룹, ‘차량용 webOS 콘텐츠 플랫폼’ 구축 협력 나선다 | 1598 | 2024-07-02 |
| 10995 | 저커버그 한마디에 ‘오픈소스’ 논쟁 재점화 | 1422 | 2024-07-02 |
| 10994 | KAIST "GPT-4V 뛰어넘는 오픈 소스 LMM 개발" | 1851 | 2024-06-25 |
| 10993 | [주간 OSS 동향리포트]생성형 AI 사용 시 보증 사이트 추천 보안·라이선스 규정 준수 필요 | 2357 | 2024-06-24 |
| 10992 | 메타, 첨단 멀티모달 모델 '카멜레온' 오픈소스 출시…새로운 AI 모델은? | 1927 | 2024-06-21 |
0개 댓글