[주간 OSS 동향리포트] 자연어로 원하는 블럭 만들어 주는 '레고GPT' 오픈소스 메이저 놀이터

5월 3주의 국내외 메이저 놀이터SW 관련 동향을 모아 정리하였습니다.
자세한 기사 내용은 아래 기사 내용 중 굵게 표시된 제목을 클릭하시면 보실 수 있습니다.

카네기멜론대학교 연구진은 텍스트로부터 물리적으로 안정적이고 조립 가능한 레고 디자인을 생성하는 ‘레고GPT’에 관한 논문을 온라인 아카이브에 게재하고 누구나 AI 기반 레고 설계 실험을 이어갈 수 있도록 연구 결과와 코드, 모델, 데이터셋은 모두 깃허브에 메이저 놀이터했습니다.

레고GPT는 사용자가 입력한 “유선형의 길쭉한 배”나 “전면 그릴이 강조된 클래식 자동차” 같은 문장을 해석해 이에 해당하는 레고 브릭 형태로 설계를 생성합니다. 생성 결과가 무너지지 않도록 설계하기위해 중력과 구조적 안정성을 시뮬레이션하는 ‘유효성 검사(validity check)’도 진행합니다. 생성 도중 구조적 결함이 발생하면 해당 브릭부터 이후 브릭을 제거하고 대체 경로로 다시 설계하는 ‘물리 기반 롤백(rollback)’ 기법도 적용되었습니다.

레고GPT는 메타의 ‘라마-3.2-1B-인스트럭트’ 모델을 기반으로 ‘다음에 놓일 레고 브릭’을 예측하는 방식으로 미세조정되었고 대형언어모델(LLM)과 같이 순차적 데이터를 생성하는 자기회귀 모델(Autoregressive Model)을 이용해 다음에 등장할 브릭을 예측합니다.학습에는 오픈AI의 GPT-4o가 생성한 설명 문구와 함께 4만7000개 이상의 안정적인 레고 구조물로 구성된 독자적 데이터셋 ‘스테이블텍스트2레고(StableText2Lego)’가 사용되었습니다.

또한 레고GPT는 사용자 경험을 고려한 기능도 제공하는데 사용자가 보유한 레고 브릭을 사진으로 촬영한 뒤, 이를 비전 모델이나 이미지 처리 AI와 연동하면 보유 브릭만으로 만들 수 있는 다양한 설계안을 제공받을 수 있습니다.

자세한 내용은 프로젝트 웹사이트를 통해 확인할 수 있습니다.

[참고기사]

□ 美 스탠퍼드대 HAI ‘자유진영 오픈소스 AI 동맹’… 韓 기업에 러브콜(국민일보)
인공지능(AI) 분야 최고 연구기관으로 꼽히는 미국 스탠퍼드대가 HD현대, 두산 등 국내 주요 기업과 협력해 특정 국가와 빅테크 종속에 대항하는 자유 진영 오픈소스 AI 동맹을 추진한다. 국내 기업은 피지컬 AI(물리적 형태가 있는 AI) 협력 등을 통해 제조업 경쟁력을 끌어올릴 수 있을 것으로 보고 있다.

□ 오픈AI·구글 대체 가능한 오픈 소스 '비전 인코더' 출시(AI타임스)
미국 캘리포니아대학교 산타크루즈는 12일(현지시간) 오픈 소스 비전 인코더 모델군 ‘오픈비전(OpenVision)’에 관한 논문을 온라인 아카이브에 게재했다. 비전 인코더는 정적 이미지같은 시각 데이터를 숫자 정보로 변환, 이를 대형언어모델(LLM) 이 이해할 수 있게 만드는 핵심 컴포넌트다. 오픈비전은 590만(5.9M)부터 6억3000만(632.1M) 매개변수까지 다양한 스펙을 갖춘 총 26개의 모델을 제공, 고정밀 서버급 처리부터 엣지 장치까지 폭넓게 활용 가능하다고 밝혔다.

- Open UP -