KR20230021904A

KR20230021904A - 2차원 영상을 이용하여 3차원 모델을 생성하는 3차원 모델 생성 장치, 방법 및 컴퓨터 프로그램

Info

Publication number: KR20230021904A
Application number: KR1020210103850A
Authority: KR
Inventors: 정종원; 김이길; 김기혁; 박영수; 이재영
Original assignee: 주식회사 케이티
Priority date: 2021-08-06
Filing date: 2021-08-06
Publication date: 2023-02-14

Abstract

2차원 영상을 이용하여 3차원 모델을 생성하는 3차원 모델 생성 장치에 있어서, 객체를 적어도 둘 이상의 방향에서 촬영한 복수의 2차원 영상 중 상기 객체가 제1 방향을 바라보도록 촬영된 제1 영상의 각 픽셀별 레이(ray) 파라미터를 산출하는 레이 파라미터 산출부; 상기 산출된 각 픽셀별 레이 파라미터에 기초하여 입력 정보를 생성하고, 상기 생성된 입력 정보를 볼륨 렌더링 파라미터 추정 모델에 입력하여 상기 제1 영상의 상기 각 픽셀로부터 상기 각 픽셀이 3차원 공간에 투영되는 투영점을 연결하는 가상의 투영선(projection ray) 상의 특정 위치에 대한 RGBA값을 출력하는 볼륨 렌더링 파라미터 추정부; 상기 출력된 RGBA값에 기초하여 상기 객체가 제2 방향을 바라보는 렌더링 영상을 렌더링하는 렌더링부; 및 상기 렌더링 영상과 상기 복수의 2차원 영상 중 상기 객체가 상기 제2 방향을 바라보도록 촬영된 제2 영상을 비교하여 상기 볼륨 렌더링 파라미터 추정 모델을 학습하는 학습부를 포함한다.

Description

2차원 영상을 이용하여 3차원 모델을 생성하는 3차원 모델 생성 장치, 방법 및 컴퓨터 프로그램{APPARATUS, METHOD AND COMPUTER PROGRAM FOR GENERATING 3D MODEL USING 2D IMAGE}

본 발명은 2차원 영상을 이용하여 3차원 모델을 생성하는 3차원 모델 생성 장치, 방법 및 컴퓨터 프로그램에 관한 것이다.

3차원 모델은 일반적으로 렌더링 과정을 통해 실제 객체와 비슷한 모양과 질감을 가질 수 있다. 3차원 모델은 게임, 영화 및 가상의 의류 착용을 통한 커머스 분야부터 최근에는 비주얼 인식 기반의 인공지능 비서, 가상 현실, 화상 통화 등 다양한 분야에서 활용되고 있다.

종래에는 주로 다수의 2차원 카메라 영상을 활용한 포토그래메트리(Photogrammetry) 방법을 통해 3차원 모델을 생성하고 있었다. 포토그래메트리는 다수의 2차원 카메라 영상을 활용하여 텍스처를 포함한 3차원 모델을 생성한다.

그러나, 포토그래메트리는 객체의 촬영을 위한 스튜디오를 필요로 하고, 제한된 촬영 화각 내에서 촬영할 수 있으며, 하드웨어의 동작 환경 설정 등에 큰 비용이 소요된다.

최근에는, 환경적, 비용적 제한점을 개선하고자 인공지능을 활용한 2차원 영상을 기반으로 3차원 모델을 생성하는 방법에 대해서도 널리 연구되고 있다.

도 1은 종래 기술에 따른 딥러닝 모델 기반의 3차원 모델 생성 프로세스를 설명하기 위한 예시적인 도면이다.

도 1의 (a)를 참조하면, 종래 기술에 따른 딥러닝 모델 기반의 3차원 모델 생성 프로세스는 딥러닝 모델을 학습하기 위해 객체에 대한 3차원 모델 데이터를 학습 데이터(120)로 필요로 하여 객체를 촬영한 2차원 영상(110)에 대하여 라벨링 등의 수작업 후처리를 거쳐 학습 데이터(120)를 생성하고 있다.

도 1의 (b)를 참조하면, 종래 기술에 따른 인공지능 기반의 3차원 모델 생성 프로세스는 객체의 2차원 영상(110)을 학습된 딥러닝 모델(130)에 입력하여 객체에 대한 3차원 모델(140)을 출력하고 있다.

그러나, 종래 기술에 따른 인공지능 기반의 3차원 모델 생성 프로세스는 객체에 대한 3차원 모델 데이터를 학습 데이터로 수집하는 과정에서 데이터 다양성 부족의 문제가 있고, 학습 데이터를 생성하기 위한 라벨링 등 별도의 수작업 후처리를 진행하는 과정에서 소요되는 시간 및 비용 상의 문제와 같은 어려움이 여전히 존재한다.

한국공개특허공보 제2020-0070094호 (2020. 6. 17. 공개) 한국등록특허공보 제2200866호 (2021. 1. 5. 등록)

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 객체를 촬영한 2차원 영상만으로도 3차원 모델을 생성할 수 있는 3차원 모델 생성 장치를 제공하고자 한다.

또한, 딥러닝 모델의 학습 데이터로 활용하기 위해 라벨링 작업 등의 별도의 후처리 없이, 객체를 촬영한 영상을 그대로 활용하여 딥러닝 모델을 학습할 수 있는 3차원 모델 생성 장치를 제공하고자 한다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 2차원 영상을 이용하여 3차원 모델을 생성하는 3차원 모델 생성 장치에 있어서, 객체를 적어도 둘 이상의 방향에서 촬영한 복수의 2차원 영상 중 상기 객체가 제1 방향을 바라보도록 촬영된 제1 영상의 각 픽셀별 레이(ray) 파라미터를 산출하는 레이 파라미터 산출부; 상기 산출된 각 픽셀별 레이 파라미터에 기초하여 입력 정보를 생성하고, 상기 생성된 입력 정보를 볼륨 렌더링 파라미터 추정 모델에 입력하여 상기 제1 영상의 상기 각 픽셀로부터 상기 각 픽셀이 3차원 공간에 투영되는 투영점을 연결하는 가상의 투영선(projection ray) 상의 특정 위치에 대한 RGBA값을 출력하는 볼륨 렌더링 파라미터 추정부; 상기 출력된 RGBA값에 기초하여 상기 객체가 제2 방향을 바라보는 렌더링 영상을 렌더링하는 렌더링부; 및 상기 렌더링 영상과 상기 복수의 2차원 영상 중 상기 객체가 상기 제2 방향을 바라보도록 촬영된 제2 영상을 비교하여 상기 볼륨 렌더링 파라미터 추정 모델을 학습하는 학습부를 포함하는 것인, 3차원 모델 생성 장치를 제공 할 수 있다.

본 발명의 다른 실시예는, 2차원 영상을 이용하여 3차원 모델을 생성하는 3차원 모델 생성 방법에 있어서, 객체를 적어도 둘 이상의 방향에서 촬영한 복수의 2차원 영상 중 상기 객체가 제1 방향을 바라보도록 촬영된 제1 영상의 각 픽셀별 레이 파라미터를 산출하는 단계; 상기 산출된 각 픽셀별 레이 파라미터에 기초하여 입력 정보를 생성하는 단계; 상기 생성된 입력 정보를 볼륨 렌더링 파라미터 추정 모델에 입력하여 상기 제1 영상의 상기 각 픽셀로부터 상기 각 픽셀이 3차원 공간에 투영되는 투영점을 연결하는 가상의 투영선 상의 특정 위치에 대한 RGBA값을 출력하는 단계; 상기 출력된 RGBA값에 기초하여 상기 객체가 제2 방향을 바라보는 렌더링 영상을 렌더링하는 단계; 및 상기 렌더링 영상과 상기 복수의 2차원 영상 중 상기 객체가 상기 제2 방향을 바라보도록 촬영된 제2 영상을 비교하여 상기 볼륨 렌더링 파라미터 추정 모델을 학습하는 단계를 포함하는 것인, 3차원 모델 생성 방법을 제공할 수 있다.

본 발명의 또 다른 실시예는, 2차원 영상을 이용하여 3차원 모델을 생성하는 명령어들의 시퀀스를 포함하는 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램에 있어서, 상기 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우, 객체를 적어도 둘 이상의 방향에서 촬영한 복수의 2차원 영상 중 상기 객체가 제1 방향을 바라보도록 촬영된 제1 영상의 각 픽셀별 레이 파라미터를 산출하고, 상기 산출된 각 픽셀별 레이 파라미터에 기초하여 입력 정보를 생성하고, 상기 생성된 입력 정보를 볼륨 렌더링 파라미터 추정 모델에 입력하여 상기 제1 영상의 상기 각 픽셀로부터 상기 각 픽셀이 3차원 공간에 투영되는 투영점을 연결하는 가상의 투영선 상의 특정 위치에 대한 RGBA값을 출력하고, 상기 출력된 RGBA값에 기초하여 상기 객체가 제2 방향을 바라보는 렌더링 영상을 렌더링하고, 상기 렌더링 영상과 상기 복수의 2차원 영상 중 상기 객체가 상기 제2 방향을 바라보도록 촬영된 제2 영상을 비교하여 상기 볼륨 렌더링 파라미터 추정 모델을 학습하도록 하는 명령어들의 시퀀스를 포함하는, 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램을 제공할 수 있다.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 객체를 촬영한 2차원 영상만으로도 3차원 모델을 생성할 수 있는 3차원 모델 생성 장치를 제공할 수 있다.

또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 객체를 촬영한 2차원 영상을 별도의 후처리 없이 그대로 활용하여 딥러닝 모델에 대한 학습을 진행함으로써, 라벨링 작업 등 학습 데이터를 생성하는 데 소요되는 비용적, 시간적 문제를 해소할 수 있는 3차원 모델 생성 장치를 제공할 수 있다.

도 1은 종래 기술에 따른 딥러닝 모델 기반의 3차원 모델 생성 프로세스를 설명하기 위한 예시적인 도면이다.
도 2는 본 발명의 일 실시예에 따른 3차원 모델 생성 장치의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 3차원 모델 생성 장치의 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 볼륨 렌더링 파라미터 추정부를 설명하기 위한 예시적인 도면이다.
도 5는 본 발명의 일 실시예에 따른 렌더링부를 설명하기 위한 예시적인 도면이다.
도 6은 본 발명의 일 실시예에 따른 학습부를 설명하기 위한 예시적인 도면이다.
도 7은 본 발명의 일 실시예에 따른 3차원 모델 생성 방법의 순서도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.

본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.

도 2는 본 발명의 일 실시예에 따른 3차원 모델 생성 장치의 구성도이다. 도 2를 참조하면, 3차원 모델 생성 장치(200)는 레이(ray) 파라미터 산출부(210), 볼륨 렌더링 파라미터 추정부(220), 렌더링부(230) 및 학습부(240)를 포함할 수 있다. 다만 위 구성 요소들(210 내지 240)은 3차원 모델 생성 장치에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것일 뿐이다.

도 2의 3차원 모델 생성 장치의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 2에 도시된 바와 같이, 레이 파라미터 산출부(210), 볼륨 렌더링 파라미터 추정부(220), 렌더링부(230) 및 학습부(240)는 동시에 또는 시간 간격을 두고 연결될 수 있다.

네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.

본 발명에 따른 3차원 모델 생성 장치(200)는 딥러닝 모델을 학습하기 위해 객체를 다양한 각도에서 촬영한 영상을 활용하되, 종래 기술과 같이, 촬영 영상에 대하여 별도의 수작업을 통한 후처리를 필요로 하지 않는다. 따라서, 3차원 모델 생성을 위한 딥러닝 모델의 학습에 소요되는 시간적, 비용적 문제를 해소할 수 있다.

본 발명에 따른 3차원 모델 생성 장치(200)는 객체를 촬영한 2차원 영상을 딥러닝 모델에 입력하여 입력 영상과 다른 위치 및 자세 정보를 가지는 객체에 대한 2차원 영상을 렌더링할 수 있다. 3차원 모델 생성 장치(200)는 렌더링된 2차원 영상을 실제 촬영된 영상과 비교하여 딥러닝 모델을 학습시킬 수 있다.

또한, 본 발명에 따른 3차원 모델 생성 장치(200)는 학습된 딥러닝 모델을 통해 입력 영상의 각 픽셀별 RGBA값을 출력할 수 있다. 3차원 모델 생성 장치(200)는 출력된 각 픽셀별 RGBA값을 마칭 큐브(Marching cube) 알고리즘을 이용하여 객체를 3차원으로 메시(mesh)화하고, 3차원 포인트에 대한 컬러링을 수행하여 3차원 모델을 생성할 수 있다.

도 3은 본 발명의 일 실시예에 따른 3차원 모델 생성 장치의 흐름도이다. 도 3의 (a)를 참조하면, 본 발명에 따른 3차원 모델 생성 장치(200)는 객체가 제1 방향을 바라보도록 촬영된 제1 영상(310)의 각 픽셀별 레이 파라미터를 산출하고, 산출된 각 픽셀별 레이 파라미터에 기초하여 입력 정보(320)를 생성할 수 있다.

3차원 모델 생성 장치(200)는 생성된 입력 정보(320)를 볼륨 렌더링 파라미터 추정 모델(330)에 입력하여 각 픽셀에 대한 볼륨 렌더링 파라미터(340), 즉, RGBA값을 출력할 수 있다. 3차원 모델 생성 장치(200)는 출력된 각 픽셀에 대한 파라미터(340)에 기초하여 렌더링 모델(350)을 통해 객체가 제2 방향을 바라보는 렌더링 영상(360)을 렌더링할 수 있다.

도 3의 (b)를 참조하면, 본 발명에 따른 3차원 모델 생성 장치(200)는 렌더링 영상(360)과 복수의 2차원 영상 중 객체가 제2 방향을 바라보도록 촬영된 제2 영상(370)을 비교하여 볼륨 렌더링 파라미터 추정 모델을 학습시킬 수 있다.

이하, 본 발명에 따른 3차원 모델 생성 장치의 각 구성을 구체적으로 살펴보도록 한다. 본 발명의 일 실시예에 따른 레이 파라미터 산출부(210)는 객체를 적어도 둘 이상의 방향에서 촬영한 복수의 2차원 영상 중 객체가 제1 방향을 바라보도록 촬영된 제1 영상(310)의 각 픽셀별 레이 파라미터를 산출할 수 있다. 여기서, 복수의 2차원 영상은 객체가 제1 방향을 바라보도록 촬영된 영상과 객체가 제2 방향을 바라보도록 촬영된 영상을 포함할 수 있다.

레이 파라미터 산출부(210)는 복수의 2차원 영상을 촬영한 카메라의 위치 정보, 내부 파라미터 및 복수의 2차원 영상 간의 상대적인 기하학(geometry) 정보에 기초하여 각 픽셀별 레이 파라미터를 산출할 수 있다. 예를 들어, 레이 파라미터 산출부(210)는 복수의 2차원 영상을 활용하여 영상 간의 상대적인 기하학 정보를 추정할 수 있다. 레이 파라미터 산출부(210)는 기하학 정보를 추정하는 과정에서 각 영상에 대응하는 카메라의 위치 정보와 내부 파라미터 값을 획득할 수 있다.

레이 파라미터 산출부(210)는 획득된 각 영상에 대한 카메라의 위치 정보와 내부 파라미터 값에 기초하여 카메라 초점으로부터 각 영상 내의 각 픽셀로 향하는 레이에 관한 레이 파라미터로 변환할 수 있다.

본 발명의 일 실시예에 따른 볼륨 렌더링 파라미터 추정부(220)는 산출된 각 픽셀별 레이 파라미터에 기초하여 입력 정보를 생성할 수 있다.

도 4는 본 발명의 일 실시예에 따른 볼륨 렌더링 파라미터 추정부를 설명하기 위한 예시적인 도면이다. 도 4를 참조하면, 볼륨 렌더링 파라미터 추정부(220)는 각 픽셀별 레이 파라미터(431), 각 픽셀별 RGB값(432) 및 각 픽셀별 특정 위치에 대한 3차원 좌표값(470)을 포함하는 입력 정보를 생성할 수 있다.

예를 들어, 도 4의 (a)를 참조하면, 볼륨 렌더링 파라미터 추정부(220)는 복수의 2차원 영상(410, 420)을 활용하여 추정된 영상 간의 상대적인 기하학 정보에 기초하여 각 영상에 대응하는 카메라의 위치 정보 및 내부 파라미터 값을 통해 각 픽셀별 레이 파라미터(431)를 획득할 수 있다.

볼륨 렌더링 파라미터 추정부(220)는 산출된 각 픽셀별 레이 파라미터(431)에 영상의 RGB값(432)을 결합하여 각 픽셀별 결합 정보(430)를 생성할 수 있다.

볼륨 렌더링 파라미터 추정부(220)는 각 픽셀별 결합 정보(430)를 벡터화 모델(480)을 통해 저차원의 벡터로 임베딩(Embedding) 처리할 수 있다. 예를 들어, 볼륨 렌더링 파라미터 추정부(220)는 각 픽셀별 결합 정보(430)를 벡터화 모델을 통해 볼륨 렌더링 파라미터 추정 모델(480)에 사용될 특징을 포함하는 저차원의 벡터로 변환하는 전처리를 수행할 수 있다.

이와 같은 전처리 과정은 볼륨 렌더링 파라미터를 정확하게 예측하기 위하여 볼륨 렌더링 파라미터 추정 모델(480)의 입력 정보를 정규화하는 과정일 수 있다.

이는, 각 픽셀별 결합 정보(430)에 대한 전처리 과정을 생략하면 복수의 2차원 영상 간의 변량(Variance)이 볼륨 렌더링 파라미터 추정 모델(480)에 그대로 전이되어 입력 영상 각각의 특징을 정확하게 반영하지 못하기 때문이다.

도 4의 (b)를 참조하면, 볼륨 렌더링 파라미터 추정부(220)는 카메라(440)의 초점으로부터 제1 영상(450)의 각 픽셀이 3차원 공간에 투영되는 투영점(461)을 연결하는 가상의 투영선(460) 상의 3차원 좌표값을 서브 샘플링(Sub Sampling)하여 특정 위치에 대한 3차원 좌표값(470)을 도출할 수 있다.

즉, 볼륨 렌더링 파라미터 추정부(220)는 카메라(440)의 자세값으로부터 각 픽셀별 결합 정보(430)를 생성하고, 각 픽셀별 결합 정보(430)를 특징 네트워크(미도시)에 입력하여 영상내 특징을 추출하고, 카메라(440)의 자세값으로부터 Ray를 계산하고, 이를 서브 샘플링하여 3차원 좌표값을 구한다.

볼륨 렌더링 파라미터 추정부(220)는 입력 정보로서 3차원 위치값을 볼륨 렌더링 파라미터 추정 모델(480)에 입력할 수 있다. 본 발명의 일 실시예에 따른 볼륨 렌더링 파라미터 추정 모델(480)은 가상의 투영선(460) 상의 3차원 좌표값(470)에 대한 RGBA값(490)을 출력으로 하는 음함수(implicit function)를 학습할 수 있다.

볼륨 렌더링 파라미터 추정부(220)는 학습된 볼륨 렌더링 파라미터 추정 모델(480)을 통해 가상의 투영선(460) 상의 특정 위치에 대한 3차원 좌표값(470)에 대한 RGBA값(490)을 출력할 수 있다.

볼륨 렌더링 파라미터 추정부(220)는 각 픽셀별 결합 정보(430)와 가상의 투영선(460) 상의 특정 위치, 일 예로, 위치 6에 대한 3차원 좌표값(470)을 볼륨 렌더링 파라미터 추정 모델(480)에 입력하여 특정 위치에 대한 RGBA값(490)을 출력할 수 있다.

도 5는 본 발명의 일 실시예에 따른 렌더링부를 설명하기 위한 예시적인 도면이다. 도 5를 참조하면, 렌더링부(520)는 출력된 RGBA값(521)에 기초하여 객체가 제2 방향을 바라보는 렌더링 영상(530)을 렌더링할 수 있다. 예를 들어, 렌더링부(520)는 볼륨 렌더링 파라미터 추정 모델(510)로부터 출력된 RGBA값(521)에 기초하여 렌더링 모델을 통해 객체가 제2 방향을 바라보는 렌더링 영상(530)을 렌더링할 수 있다.

렌더링부(520)는 볼륨 렌더링 파라미터 추정 모델(510)을 통해 출력된 RGBA값(521)에 기초하여 각 픽셀별 RGBA값을 렌더링할 수 있다. 렌더링부(520)는 모든 위치에 대한 RGBA값에 기초하여 제2 방향을 바라보는 렌더링 영상(530)을 렌더링할 수 있다.

도 6은 본 발명의 일 실시예에 따른 학습부를 설명하기 위한 예시적인 도면이다. 도 6을 참조하면, 학습부(240)는 렌더링 영상(630)과 복수의 2차원 영상 중 객체가 제2 방향을 바라보도록 촬영된 제2 영상(620)을 비교하여 볼륨 렌더링 파라미터 추정 모델을 학습할 수 있다. 예를 들어, 학습부(240)는 제1 방향을 바라보도록 촬영된 입력 영상(610)으로부터 객체가 제2 방향을 바라보도록 렌더링된 렌더링 영상(630)을 객체가 제2 방향을 바라보도록 촬영된 제2 영상(620)과 비교하여 볼륨 렌더링 추정 모델을 업데이트할 수 있다.

학습부(240)는 렌더링 영상(630)과 제2 영상(620)의 비교를 통해 손실 함수(Loss Function)를 업데이트할 수 있다. 예를 들어, 학습부(240)는 렌더링 영상(630)과 제2 영상(620)의 오차를 최소화하도록 손실 함수를 업데이트할 수 있다.

학습부(240)는 역전파(Back Propagation) 학습을 이용하여 산출된 손실 함수의 최소화를 위해 볼륨 렌더링 파라미터 추정 모델을 업데이트할 수 있다. 예를 들어, 학습부(240)는 렌더링 영상(630)과 제2 영상(620)의 오차를 최소화하기 위해, 즉, 손실 함수의 최소화를 위해 역전파 학습을 이용할 수 있다. 여기서, 역전파 학습은 손실함수의 기울기를 수치 미분이 아닌 역전파 기법을 통해 추정 모델의 가중치와 편향을 갱신하는 학습일 수 있다.

학습부(240)는 역전파 학습을 이용하여 볼륨 렌더링 파라미터 추정 모델을 업데이트할 뿐만 아니라, 전술한 벡터화 모델 또한 업데이트 할 수 있다.

본 발명의 일 실시예에 따른 렌더링부(230)는 복수의 2차원 영상(370) 각각에 대응하는 복수의 렌더링 영상(360)을 렌더링할 수 있고, 학습부(240)는 복수의 2차원 영상(370) 각각과 복수의 2차원 영상(370) 각각에 대응하는 각 렌더링 영상(360)을 비교하여 볼륨 렌더링 파라미터 추정 모델(330)을 학습할 수 있다. 이와 같은 과정을 통해, 본 발명에 따른 3차원 모델 생성 장치(200)는 볼륨 렌더링 파라미터 추정 모델(330)을 업데이트하여 예측하고자 하는 렌더링 영상(360)의 정확도를 향상시킬 수 있다.

이와 같이, 본 발명에 따른 3차원 모델 생성 장치(200)는 2차원 단일 영상으로부터 3차원 모델을 생성할 수 있다. 따라서, 종래 기술과 달리, 딥러닝 모델의 학습 데이터를 생성하기 위한 라벨링 작업 등 별도의 수작업 후처리를 생락할 수 있으므로, 딥러닝 모델의 학습에 소요되는 비용 및 시간을 절감할 수 있다.

도 7은 본 발명의 일 실시예에 따른 3차원 모델 생성 방법의 순서도이다. 도 7에 도시된 3차원 모델 생성 방법은 도 1 내지 도 6에 도시된 실시예에 따라 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 6에 도시된 실시예에 따른 3차원 모델 생성 장치에서 2차원 다중 영상을 활용하여 3차원 모델을 생성하는 방법에도 적용된다.

단계 S710에서 3차원 모델 생성 장치는 객체를 적어도 둘 이상의 방향에서 촬영한 복수의 2차원 영상 중 상기 객체가 제1 방향을 바라보도록 촬영된 제1 영상의 각 픽셀별 레이 파라미터를 산출할 수 있다.

단계 S720에서 3차원 모델 생성 장치는 산출된 각 픽셀별 레이 파라미터에 기초하여 입력 정보를 생성할 수 있다.

단계 S730에서 3차원 모델 생성 장치는 생성된 입력 정보를 볼륨 렌더링 파라미터 추정 모델에 입력하여 상기 제1 영상의 상기 각 픽셀로부터 상기 각 픽셀이 3차원 공간에 투영되는 투영점을 연결하는 가상의 투영선(projection ray) 상의 특정 위치에 대한 RGBA값을 출력할 수 있다.

단계 S740에서 3차원 모델 생성 장치는 출력된 RGBA값에 기초하여 상기 객체가 제2 방향을 바라보는 렌더링 영상을 렌더링할 수 있다.

단계 S750에서 3차원 모델 생성 장치는 렌더링 영상과 상기 복수의 2차원 영상 중 상기 객체가 상기 제2 방향을 바라보도록 촬영된 제2 영상을 비교하여 상기 볼륨 렌더링 파라미터 추정 모델을 학습할 수 있다.

상술한 설명에서, 단계 S710 내지 S750는 본 발명의 구현 예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.

도 1 내지 도 7을 통해 설명된 3차원 모델 생성 장치에서 2차원 다중 영상을 촬영하여 3차원 모델을 생성하는 3차원 모델 생성 방법은 컴퓨터에 의해 실행되는 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어들을 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 7을 통해 설명된 3차원 모델 생성 장치에서 2차원 다중 영상을 촬영하여 3차원 모델을 생성하는 3차원 모델 생성 방법은 컴퓨터에 의해 실행되는 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다.

컴퓨터 판독 가능 기록매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 기록매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

200: 3차원 모델 생성 장치
210: 레이 파라미터 산출부
220: 볼륨 렌더링 파라미터 추정부
230: 렌더링부
240: 학습부

Claims

2차원 영상을 이용하여 3차원 모델을 생성하는 3차원 모델 생성 장치에 있어서,
객체를 적어도 둘 이상의 방향에서 촬영한 복수의 2차원 영상 중 상기 객체가 제1 방향을 바라보도록 촬영된 제1 영상의 각 픽셀별 레이(ray) 파라미터를 산출하는 레이 파라미터 산출부;
상기 산출된 각 픽셀별 레이 파라미터에 기초하여 입력 정보를 생성하고, 상기 생성된 입력 정보를 볼륨 렌더링 파라미터 추정 모델에 입력하여 상기 제1 영상의 상기 각 픽셀로부터 상기 각 픽셀이 3차원 공간에 투영되는 투영점을 연결하는 가상의 투영선(projection ray) 상의 특정 위치에 대한 RGBA값을 출력하는 볼륨 렌더링 파라미터 추정부;
상기 출력된 RGBA값에 기초하여 상기 객체가 제2 방향을 바라보는 렌더링 영상을 렌더링하는 렌더링부; 및
상기 렌더링 영상과 상기 복수의 2차원 영상 중 상기 객체가 상기 제2 방향을 바라보도록 촬영된 제2 영상을 비교하여 상기 볼륨 렌더링 파라미터 추정 모델을 학습하는 학습부
를 포함하는 것인, 3차원 모델 생성 장치.
제 1 항에 있어서,
상기 학습부는,
상기 렌더링 영상과 상기 제2 영상의 비교를 통해 손실 함수(Loss Function)를 업데이트하는 것인, 3차원 모델 생성 장치.
제 1 항에 있어서,
상기 학습부는,
역전파(Back Propagation) 학습을 이용하여 상기 산출된 손실 함수의 최소화를 위해 상기 볼륨 렌더링 파라미터 추정 모델을 업데이트하는 것인, 3차원 모델 생성 장치.
제 1 항에 있어서,
상기 입력 정보는 상기 각 픽셀별 레이 파라미터, 상기 각 픽셀별 RGB값 및 상기 각 픽셀별 특정 위치에 대한 3차원 좌표값을 포함하는 것인, 3차원 모델 생성 장치.
제 4 항에 있어서,
상기 각 픽셀별 레이 파라미터 및 상기 각 픽셀별 RGB값은 벡터화 모델을 통해 저차원의 벡터로 임베딩(Embedding) 처리되는 것인, 3차원 모델 생성 장치.
제 4 항에 있어서,
상기 각 픽셀별 특정 위치에 대한 3차원 좌표값은 상기 가상의 투영선 상의 좌표값을 서브 샘플링(Sub Sampling)하여 도출되는 것인, 3차원 모델 생성 장치.
제 1 항에 있어서,
상기 렌더링부는 상기 복수의 2차원 영상 각각에 대응하는 복수의 렌더링 영상을 렌더링하고,
상기 학습부는 상기 복수의 2차원 영상 각각과 상기 복수의 2차원 영상 각각에 대응하는 각 렌더링 영상을 비교하여 상기 볼륨 렌더링 파라미터 추정 모델을 학습하는 것인, 3차원 모델 생성 장치.
제 1 항에 있어서,
상기 레이 파라미터 산출부는 상기 복수의 2차원 영상을 촬영한 카메라의 위치 정보, 내부 파라미터 및 상기 복수의 2차원 영상 간의 상대적인 기하학(geometry) 정보에 기초하여 상기 각 픽셀별 레이 파라미터를 산출하는 것인, 3차원 모델 생성 장치.
2차원 영상을 이용하여 3차원 모델을 생성하는 3차원 모델 생성 방법에 있어서,
객체를 적어도 둘 이상의 방향에서 촬영한 복수의 2차원 영상 중 상기 객체가 제1 방향을 바라보도록 촬영된 제1 영상의 각 픽셀별 레이 파라미터를 산출하는 단계;
상기 산출된 각 픽셀별 레이 파라미터에 기초하여 입력 정보를 생성하는 단계;
상기 생성된 입력 정보를 볼륨 렌더링 파라미터 추정 모델에 입력하여 상기 제1 영상의 상기 각 픽셀로부터 상기 각 픽셀이 3차원 공간에 투영되는 투영점을 연결하는 가상의 투영선 상의 특정 위치에 대한 RGBA값을 출력하는 단계;
상기 출력된 RGBA값에 기초하여 상기 객체가 제2 방향을 바라보는 렌더링 영상을 렌더링하는 단계; 및
상기 렌더링 영상과 상기 복수의 2차원 영상 중 상기 객체가 상기 제2 방향을 바라보도록 촬영된 제2 영상을 비교하여 상기 볼륨 렌더링 파라미터 추정 모델을 학습하는 단계
를 포함하는 것인, 3차원 모델 생성 방법.
제 9 항에 있어서,
상기 볼륨 렌더링 파라미터 추정 모델을 학습하는 단계는,
상기 렌더링 영상과 상기 제2 영상의 비교를 통해 손실 함수(Loss Function)를 업데이트하는 단계
를 더 포함하는 것인, 3차원 모델 생성 방법.
제 9 항에 있어서,
상기 볼륨 렌더링 파라미터 추정 모델을 학습하는 단계는,
역전파(Back Propagation) 학습을 이용하여 상기 산출된 손실 함수의 최소화를 위해 상기 볼륨 렌더링 파라미터 추정 모델을 업데이트하는 것인, 3차원 모델 생성 방법.
제 9 항에 있어서,
상기 입력 정보는 상기 각 픽셀별 레이 파라미터, 상기 각 픽셀별 RGB값 및 상기 각 픽셀별 특정 위치에 대한 3차원 좌표값을 포함하는 것인, 3차원 모델 생성 방법.
제 12 항에 있어서,
상기 각 픽셀별 레이 파라미터 및 상기 각 픽셀별 RGB값은 벡터화 모델을 통해 저차원의 벡터로 임베딩(Embedding) 처리되는 것인, 3차원 모델 생성 방법.
제 12 항에 있어서,
상기 각 픽셀별 특정 위치에 대한 3차원 좌표값은 상기 가상의 투영선 상의 좌표값을 서브 샘플링(Sub Sampling)하여 도출되는 것인, 3차원 모델 생성 방법.
제 9 항에 있어서,
상기 렌더링 영상을 렌더링하는 단계는 상기 복수의 2차원 영상 각각에 대응하는 복수의 렌더링 영상을 렌더링하고,
상기 볼륨 렌더링 파라미터 추정 모델을 학습하는 단계는 상기 복수의 2차원 영상 각각과 상기 복수의 2차원 영상 각각에 대응하는 각 렌더링 영상을 비교하여 상기 볼륨 렌더링 파라미터 추정 모델을 학습하는 것인, 3차원 모델 생성 방법.
제 9 항에 있어서,
상기 제1 영상의 각 픽셀별 레이 파라미터를 산출하는 단계는 상기 복수의 2차원 영상을 촬영한 카메라의 위치 정보, 내부 파라미터 및 상기 복수의 2차원 영상 간의 상대적인 기하학(geometry) 정보에 기초하여 상기 각 픽셀별 레이 파라미터를 산출하는 것인, 3차원 모델 생성 방법.
2차원 영상을 이용하여 3차원 모델을 생성하는 명령어들의 시퀀스를 포함하는 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우,
객체를 적어도 둘 이상의 방향에서 촬영한 복수의 2차원 영상 중 상기 객체가 제1 방향을 바라보도록 촬영된 제1 영상의 각 픽셀별 레이 파라미터를 산출하고,
상기 산출된 각 픽셀별 레이 파라미터에 기초하여 입력 정보를 생성하고,
상기 생성된 입력 정보를 볼륨 렌더링 파라미터 추정 모델에 입력하여 상기 제1 영상의 상기 각 픽셀로부터 상기 각 픽셀이 3차원 공간에 투영되는 투영점을 연결하는 가상의 투영선 상의 특정 위치에 대한 RGBA값을 출력하고,
상기 출력된 RGBA값에 기초하여 상기 객체가 제2 방향을 바라보는 렌더링 영상을 렌더링하고,
상기 렌더링 영상과 상기 복수의 2차원 영상 중 상기 객체가 상기 제2 방향을 바라보도록 촬영된 제2 영상을 비교하여 상기 볼륨 렌더링 파라미터 추정 모델을 학습하도록 하는 명령어들의 시퀀스를 포함하는, 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램.