KR20160034742A

KR20160034742A - 초다시점 영상 렌더링 장치 및 방법

Info

Publication number: KR20160034742A
Application number: KR1020140126112A
Authority: KR
Inventors: 신승협; 황치영; 정일권
Original assignee: 한국전자통신연구원
Priority date: 2014-09-22
Filing date: 2014-09-22
Publication date: 2016-03-30

Abstract

본 발명의 일 실시예에 따른 렌더링 장치는 컬러 영상 및 깊이 영상을 수신하는 통신 인터페이스, 미리 지정된 명령어에 따라 렌더링을 수행하는 중앙 프로세서, 상기 중앙 프로세서의 제어에 따라 렌더링을 수행하는 그래픽 프로세서; 및 상기 명령어를 저장하는 메모리를 포함하되, 상기 명령어는 전경 메쉬의 지역 좌표계를 기준으로 트리 정보를 생성하여 상기 그래픽 프로세서의 텍스처 메모리에 저장하는 단계, 상기 트리 정보를 이용하여 전경 매쉬의 실루엣을 산출하고, 해당 실루엣에 해당하는 면을 상단 캡으로 설정하는 단계, 상단 캡의 각 정점을 지나는 빛 방향의 벡터가 관측 절두체(view frustum)와 만나는 점으로 구성되는 평면 도형을 하단 캡으로 설정하는 단계, 상단 캡과 하단 캡의 각 정점을 잇는 선분으로 형성되는 공간을 나타내는 정보인 그림자 볼륨을 산출하여 상기 그래픽 프로세서의 전역 메모리에 저장하는 단계 및 상기 그림자 볼륨을 컬러 영상에 합성하는 단계를 수행하기 위한 명령어를 포함한다.

Description

초다시점 영상 렌더링 장치 및 방법{APPARATUS AND METHOD FOR RENDERING OF SUPER MULTI-VIEW IMAGES}

본 발명은 초다시점 영상을 렌더링하는 기술에 관한 것으로, 보다 상세하게는 초다시점 영상을 실시간으로 렌더링하는 기술에 관한 것이다.

무안경식 3차원 디스플레이의 급격한 발전에 힘입어 하나의 영상 단말에서 여러 시점을 동시에 가시화하는 다시점 디스플레이가 시장에 선보이고 있다. 다시점 디스플레이는 배리어(barrier), 렌티큘러(lenticular) 등의 방식을 통하여 보는 각도에 따라 다른 영상을 보여줌으로써 여러 사람이 동시에 무안경식 3차원 영상을 경험할 수 있도록 한다. 하지만 초점 거리 불일치에서 오는 시각적 피로(visual fatigue), 시점 사이에서 발생하는 크로스톡(crosstalk) 문제 등으로 인하여 대중화되기에는 여전히 장벽이 높다.

초다시점(super multi-view) 디스플레이 방식은 동공 안에 두 개 이상의 영상을 동시에 투사하는 것으로, 부드러운 시점 변환을 제공하고 초점 불일치 현상을 제거하는 등 다시점 디스플레이의 단점을 상당 부분 해소할 수 있다. 한편, 초다시점 디스플레이 기술은 전체 시야각을 충분히 확보하기 위하여 많은 시점의 영상을 필요로 한다. 기존 양안 또는 다시점 영상에서의 접근 방법은 이러한 대규모 데이터를 처리하는 데 적합하지 않다. 특히 실사 영상과 가상 객체가 합쳐진 혼합 현실(Augmented Reality: AR) 영상을 초다시점 디스플레이에서 다루고자 할 경우, 다수의 시점의 고품질 영상을 실시간에 생성하고 실사 영상과 합성하는 데 특화된 방법이 필요하다.

본 발명이 해결하고자 하는 과제는 초다시점 영상을 실시간으로 생성하기 위해 프로세서의 내부 메모리의 특성을 고려한 렌더링 장치를 제공하는 것이다.

또한, 본 발명이 해결하고자 하는 과제는 초다시점 영상에서 고품질의 그림자를 연출하는 렌더링 장치를 제공하는 것이다.

본 발명의 일 측면에 따르면, 컬러 영상 및 깊이 영상을 수신하는 통신 인터페이스; 미리 지정된 명령어에 따라 렌더링을 수행하는 중앙 프로세서; 상기 중앙 프로세서의 제어에 따라 렌더링을 수행하는 그래픽 프로세서; 및 상기 명령어를 저장하는 메모리;를 포함하되, 상기 명령어는 전경 메쉬의 지역 좌표계를 기준으로 트리 정보를 생성하여 상기 그래픽 프로세서의 텍스처 메모리에 저장하는 단계; 상기 트리 정보를 이용하여 전경 매쉬의 실루엣을 산출하고, 해당 실루엣에 해당하는 면을 상단 캡으로 설정하는 단계; 상단 캡의 각 정점을 지나는 빛 방향의 벡터가 관측 절두체(view frustum)와 만나는 점으로 구성되는 평면 도형을 하단 캡으로 설정하는 단계; 상단 캡과 하단 캡의 각 정점을 잇는 선분으로 형성되는 공간을 나타내는 정보인 그림자 볼륨을 산출하여 상기 그래픽 프로세서의 전역 메모리에 저장하는 단계; 및 상기 그림자 볼륨을 컬러 영상에 합성하는 단계를 수행하기 위한 명령어를 포함하는 렌더링 장치가 제공된다.

본 발명은 프로세서의 내부 메모리의 특성을 이용하여 초다시점 영상을 실시간으로 렌더링할 수 있다.

본 발명은 초다시점 영상에서 고품질의 그림자를 연출하는 렌더링 기능을 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 렌더링 장치를 예시한 블록도.
도 2는 본 발명의 일 실시예에 따른 렌더링 장치의 그래픽 프로세서의 내부 메모리를 예시한 블록도.
도 3은 본 발명의 일 실시예에 따른 렌더링 장치가 초다시점 영상을 렌더링하는 과정을 예시한 순서도.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.

또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.

이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면 번호에 상관없이 동일한 수단에 대해서는 동일한 참조 번호를 사용하기로 한다.

도 1은 본 발명의 일 실시예에 따른 렌더링 장치를 예시한 블록도이고, 도 2는 본 발명의 일 실시예에 따른 렌더링 장치의 그래픽 프로세서의 내부 메모리를 예시한 블록도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 렌더링 장치는 통신 인터페이스(110), 중앙 프로세서(120), 그래픽 프로세서(130), 메모리(140), 스토리지(150), 입력 인터페이스(160) 및 출력 인터페이스(170)를 포함한다.

통신 인터페이스(110)는 통신망 또는 단자를 통해 외부 디바이스로부터 데이터를 수신한다.

중앙 프로세서(120)는 스토리지(150)에 저장된 미리 지정된 명령어를 메모리(140)로 로드(load)하고, 명령어에 따라 그래픽 프로세서(130)로 초다시점 영상의 렌더링을 요청한다. 중앙 프로세서(120)는 CPU(central processing unit)일 수 있다.

그래픽 프로세서(130)는 중앙 프로세서(120)의 렌더링 요청에 따라 초다시점 영상을 렌더링한다. 그래픽 프로세서(130)는 범용 GPU(General-Purpose computing on Graphics Processing Units,　GPGPU)일 수 있다. 이 때, 그래픽 프로세서(130)는 도 2와 같이 공지된 텍스처 메모리(210) 및 전역 메모리(220)을 내부 메모리의 형태로 포함한다. 텍스처 메모리(210)는 그래픽 프로세서(130)에 의해 읽기만 가능한 대신 처리 속도가 매우 빠르다. 전역 메모리(220)는 그래픽 프로세서(130)에 의해 읽기 및 쓰기가 가능한 메모리로써 텍스처 메모리(210)에 비해 상대적으로 처리 속도가 느리다. 이 때, 텍스처 메모리(210)는 전역 메모리(220)의 내부에 형성된 메모리이지만, 발명의 명확하고 간결한 설명을 위해 이하 텍스처 메모리(210) 이외의 전역 메모리(220)의 영역을 전역 메모리(220)라 지칭하도록 한다.

메모리(140)는 중앙 프로세서(120)에 의해 스토리지(150)에 포함된 명령어를 로드한다. 중앙 프로세서(120) 및 그래픽 프로세서(130)는 로드된 명령어에 따라 렌더링 과정을 수행할 수 있다. 메모리(140)는 랜덤 엑세스 메모리(RAM) 등의 휘발성 메모리일 수 있다.

스토리지(150)는 렌더링 과정을 지시하는 명령어를 저장한다. 또한, 스토리지(150)는 렌더링의 대상이 되는 각 시점에 대한 컬러 영상, 깊이 영상 등의 초다시점 영상의 렌더링을 위해 필요한 데이터를 저장할 수 있다. 스토리지(150)는 하드 디스크, 플래시 메모리 등의 비휘발성 저장매체일 수 있다.

입력 인터페이스(160)는 키보드, 마우스 등의 입력 장치와 연결되어 사용자의 입력을 수신한다.

출력 인터페이스(170)는 모니터 등의 디스플레이로 렌더링을 통해 생성된 영상을 출력한다.

상술한 렌더링 장치가 초다시점 영상을 렌더링하는 과정을 이하 상세히 설명하도록 한다.

이 때, 다시점 디스플레이는 두 눈에 다른 영상을 투사하는 무안경식 3차원 디스플레이의 확장형으로, 시점 수를 더욱 늘려 눈의 위치에 따라 수평 시차(parallax)를 느낄 수 있도록 하는 디스플레이 방식이다. 일반적으로 인간 시각은 주로 두 눈의 각도 차이 (양안 시차:vergence)와 수정체의 원근 조절 (accommodation) 에 의하여 3차원 깊이를 추정하게 되는데, 다시점 디스플레이에서는 이 두 방식이 추정하는 깊이 값에 큰 차이가 발생하며 이로 인하여 시각적 피로가 유발되는 문제점이 있다. 또한 시점의 개수가 많지 않아 시점 이동 시 불연속적인 점프가 생기며 좌우 영상과 좌안/우안의 대응관계가 바뀌어 순간적으로 깊이가 역전되는 크로스톡 현상도 발생하게 된다. 초다시점 디스플레이는 하나의 안구에 두 개 이상의 영상이 동시에 투사되며, 이 때 인간 시각은 양안 시차와 원근 조절에 의한 깊이 값이 일치하는 영상 정보를 취사선택하게 되어 시각 피로를 방지하는 것으로 알려져 있다. 또한 초다시점 디스플레이는 시점 간의 수평 시차가 매우 적어 상대적으로 시점 이동 시의 불연속성 문제가 줄어들게 되는 장점이 있다.

도 3은 본 발명의 일 실시예에 따른 렌더링 장치가 초다시점 영상을 렌더링하는 과정을 예시한 순서도이다. 이하의 과정은 중앙 프로세서(120) 및 그래픽 프로세서(130)가 메모리(140)에 로드된 명령어에 따라 수행하는 과정이나 발명의 명확하고 간결한 설명을 위해 각 과정의 주체를 렌더링 장치로 통칭하도록 한다.

도 3을 참조하면, 단계 310에서 렌더링 장치는 통신 인터페이스(110)를 통해 컬러 영상, 깊이 영상 및 카메라 정보를 수신한다. 이 때, 컬러 영상은 픽셀 별 RGB 채널 등에 따른 색상을 나타내는 데이터를 포함한다. 또한, 깊이 영상은 각 픽셀별 깊이 값을 포함하는 영상이다. 카메라 정보는 각 시점 별 카메라의 위치, 방향, FOV(Field of View), DOF(Depth of Field) 등의 공지된 렌더링 과정에 요구되는 카메라의 정보를 의미한다.

단계 320에서 렌더링 장치는 깊이 영상을 참조하여 배경 메쉬를 생성한다. 예를 들어, 렌더링 장치는 깊이 영상의 각 픽셀에 대한 깊이 값을 참조하여, 사각형 형태의 메쉬로 변환하여 배경 메쉬를 생성한다.

단계 330에서 렌더링 장치는 전경 메쉬의 지역 좌표계를 기준으로 트리 정보를 생성한다. 이 때, 트리 정보는 공지된 k-dimension　tree 일 수 있다.

단계 340에서 렌더링 장치는 트리 정보를 이용하여 전경 메쉬의 실루엣을 산출하고, 해당 실루엣에 해당하는 면을 상단 캡(cap)으로 설정한다. 이 때, 렌더링 장치의 중앙 프로세서(120)는 그래픽 프로세서(130)의 텍스처 메모리(210)에 트리 정보를 로딩하고, 그래픽 프로세서(130)가 로딩된 트리 정보를 참조하도록 할 수 있다. 따라서, 렌더링 과정 중에 별도의 갱신 과정이 필요없는 트리 정보는 처리 속도가 빠른 텍스처 메모리(210)에 저장되기 때문에, 그래픽 프로세서(130)가 빠르게 트리 정보를 참조할 수 있다. 이 때, 전경 메쉬는 컬러 영상 상에 위치할 가상의 물체를 나타내는 그래픽 모델의 메쉬일 수 있다. 렌더링 장치는 전경 메쉬를 스토리지(150)에 미리 저장할 수 있다.

단계 350에서 렌더링 장치는 상단 캡의 각 정점을 지나는 빛 방향의 벡터가 관측 절두체(view frustum)와 만나는 점으로 구성되는 평면 도형을 하단 캡(cap)으로 설정한다.

단계 360에서 렌더링 장치의 그래픽 프로세서(130)는 상단 캡과 하단 캡의 각 정점을 잇는 선분으로 형성되는 공간을 나타내는 정보인 그림자 볼륨을 산출한다. 그림자 볼륨은 광원이 직접 도달하지 못하는 공간을 3차원 메쉬 형태로 나타낸 정보이다. 이 때, 렌더링 장치의 그래픽 프로세서(130)는 전역 메모리(220)에 그림자 볼륨을 저장한다. 일반적으로 GPU는 렌더링 과정 중 그림자 볼륨을 산출하는 과정에서 실루엣을 찾고 그 형태를 계산할 때 특정 메모리 상에 그림자 볼륨을 읽고 쓰는 과정을 수행한다. 따라서, 본 발명의 일 실시예에 따른 렌더링 장치의 그래픽 프로세서(130)는 전역 메모리(220)에 그림자 볼륨을 저장하도록 함으로써, 그림자 볼륨을 읽고 쓰는 과정을 중앙 프로세서(120)의 개입이 없이 처리할 수 있도록 하여 렌더링 속도를 높일 수 있다.

단계 370에서 렌더링 장치는 전경 메쉬의 쉐이딩한 이미지 및 그림자 볼륨을 컬러 영상에 합성한다.

일반적으로 배경 영상 위에 전경 메쉬를 렌더링하는 과정은 컬러 영상 및 깊이 영상에 따라 배경 메쉬를 만들고, 전경 메쉬와 합쳐 하나의 장면(scene)을 구성한 후 하드웨이 기반 렌더링 파이프라인(OpenGL 등)을 적용하는 것이다. 하지만, 상술한 방법은 원본 컬러 영상이 리샘플링되는 과정에서 열화가 발생하며, 배경 메쉬 자체 그림자(self-shadow)에 의하여 원본 실사 영상에 없는 잘못된 그림자가 생성될 가능성이 높다. 본 발명의 일 실시예에 따른 렌더링 장치는 깊이 영상만으로 만든 배경 메쉬 위에 전경 메쉬와 전경 메쉬의 그림자를 렌더링한 후 컬러 영상 위에 전경 메쉬와 그림자를 합성하도록 함으로써, 열화가 발생하거나 잘못된 그림자가 생성될 가능성을 낮출 수 있다.

한편, 본 발명의 실시예에 따른 렌더링 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조등을 단독으로 또는 조합하여 포함할 수 있다.

저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

110: 통신 인터페이스
120: 중앙 프로세서
130: 그래픽 프로세서
140: 메모리
150: 스토리지
210: 텍스처 메모리
220: 전역 메모리

Claims

컬러 영상 및 깊이 영상을 수신하는 통신 인터페이스;
미리 지정된 명령어에 따라 렌더링을 수행하는 중앙 프로세서;
상기 중앙 프로세서의 제어에 따라 렌더링을 수행하는 그래픽 프로세서; 및
상기 명령어를 저장하는 메모리;
를 포함하되,
상기 명령어는
전경 메쉬의 지역 좌표계를 기준으로 트리 정보를 생성하여 상기 그래픽 프로세서의 텍스처 메모리에 저장하는 단계;
상기 트리 정보를 이용하여 전경 매쉬의 실루엣을 산출하고, 해당 실루엣에 해당하는 면을 상단 캡으로 설정하는 단계;
상단 캡의 각 정점을 지나는 빛 방향의 벡터가 관측 절두체(view frustum)와 만나는 점으로 구성되는 평면 도형을 하단 캡으로 설정하는 단계;
상단 캡과 하단 캡의 각 정점을 잇는 선분으로 형성되는 공간을 나타내는 정보인 그림자 볼륨을 산출하여 상기 그래픽 프로세서의 전역 메모리에 저장하는 단계; 및
상기 그림자 볼륨을 컬러 영상에 합성하는 단계
를 수행하기 위한 명령어를 포함하는 렌더링 장치.