◆…사진=카카오브레인 제공
카카오브레인이 고품질 메타버스 구현의 핵심 기술 중 하나인 ‘NeRF(Neural Radiance Fields)’ 알고리즘을 한 데 모은 ‘대형 라이브러리’를 공개하며 메타버스 기술 확장 기여에 나섰다.
21일 카카오브레인은 주어진 2D 이미지를 새로운 3D 이미지로 생성하는 대표적인 뉴럴 렌더링 기술 중 하나인 ‘NeRF’와 관련된 알고리즘을 통일된 코드 형태로 한 데 모아, 최대 오픈소스 커뮤니티 깃허브(GitHub) 에 ‘대형 라이브러리’ 형태로 지난 20일 공개했다고 밝혔다.
‘NeRF’는 딥러닝을 통해 3D 공간의 색과 밀도를 자체적으로 학습하여 2D 이미지로부터 새로운 3D 공간을 복원해내는 기술이다. 특히 물체의 색상 및 각도에 따라 달라지는 빛의 반사를 생생하게 재현함으로써 몰입감을 높여준다. 현재 수많은 글로벌 테크 기업들이 ‘NeRF’ 기술을 핵심 메타버스 기술 중 하나로 보고, 기술 개발 및 확장에 힘쓰고 있다.
카카오브레인이 공개한 ‘NeRF-Factory 라이브러리’는 현재까지 공개된 총 7개의 ‘NeRF’ 모델들을 하나의 코드로 재구현한 형태다. 통일된 코드로 구성되어 ‘NeRF’ 모델들의 성능을 객관적으로 비교할 수 있을 뿐 아니라 기술 개발 확장에도 용이하다. 포스텍 조민수∙박재식 교수 연구팀과 카이스트 권인소 교수 연구팀과의 공동 연구를 통해 개발됐다.
카카오브레인은 AI 연구자들이 주로 사용하는 머신러닝 프레임워크인 파이토치(PyTorch) 기반의 코드를 사용한 동시에 코드 구조를 단순화함으로써, 기존 AI 연구자들은 물론 ‘NeRF’ 기술을 처음 접한 개발자들도 쉽게 이용할 수 있도록 접근성을 높였다. 향후 ‘NeRF-Factory 라이브러리’를 발판으로 고품질의 메타버스를 구현할 디지털 휴먼, 3D 맵 등의 연구 개발이 이어질 것으로 기대된다.
최근 카카오브레인은 해외 유수의 컴퓨터 비전 학회에 디지털 휴먼 기술 관련 논문을 게재하며 해당 분야에서 두각을 나타내고 있다. ACCV(아시아 컴퓨터 비전 학회) 2022 에서는 다양한 스타일의 얼굴 형태와 표정을 가진 3D 아바타를 자유롭게 생성할 수 있는 Exp-GAN(Expression-GAN) 기술 논문을, ECCV(유럽 컴퓨터 비전 학회) 2022 에서는 실제 얼굴과 거의 유사한 수준의 고해상도 페이스 스와핑(face-swapping)을 수행할 수 있는 MFIM(Megapixel Facial Identity Manipulation) 기술 논문을 발표할 예정이다.
김일두 카카오브레인 대표는 “메타버스 기술 연구에 실질적 도움이 될 NeRF-Factory 라이브러리를 공개하게 되어 기쁘다”며, “전 세계 AI 연구 및 개발자들이 카카오브레인이 공개한 라이브러리를 활용해 NeRF 및 뉴럴 렌더링 기술 연구 저변을 확대하고, 고품질 메타버스 등 다양한 분야에 적용해 나가길 바란다”고 말했다.
