KR101807821B1 - 실시간 다 시점 영상 다중화를 위한 영상 처리장치 및 그 방법 - Google Patents

Abstract

실시간 다 시점 영상 다중화를 위한 영상 처리장치 및 그 방법이 개시된다. 일 실시 예에 따른 실시간 다 시점 영상 다중화를 위한 영상 처리장치는, 다 시점 입력 영상을 생성하거나 획득하는 입력부와, 병렬 처리를 통해 다 시점 입력 영상을 다중화하여 다중화된 출력 영상을 생성하되, 픽셀 패턴에 기반하여 소정의 시점 입력 영상의 픽셀 값을 참조하는 출력 픽셀들만을 합성함에 따라 소정의 시점 입력 영상이 반복적으로 참조되도록 하는 다중화부와, 다중화된 출력 영상을 다 시점 디스플레이를 통해 가시화하는 출력부를 포함한다.

Description

실시간 다 시점 영상 다중화를 위한 영상 처리장치 및 그 방법 {Image processing apparatus and method thereof for real-time multi-view image multiplexing}

본 발명은 디지털 콘텐츠 표현 기술에 관한 것으로, 보다 상세하게는 그래픽 고속처리 기술에 관한 것이다.

입체 가시화 기술은 안경식 스테레오 디스플레이를 넘어 무안경식 다 시점 디스플레이 방식으로 발전해 나가고 있다. 무안경식 다 시점 디스플레이는 사람이 디스플레이를 바라보는 각도에 따라 다른 영상이 가시화되도록 하여 운동 시차(motion parallax)에 의한 입체감을 느끼도록 하는 방식이다. 다양한 방식의 무안경식 다 시점 디스플레이 기법이 제안되었으나, 현재 대규모 상용화에 가장 가까운 것은 패럴랙스 배리어(parallax barrier) 또는 렌티큘러 필름(lenticular film) 을 플랫 패널 디스플레이(flat panel display)에 부착하고 수평 해상도를 공간적으로 분할하는 방식이다.

무안경식 다 시점 디스플레이는 픽셀이 모든 방향으로 동일한 빛을 발산하는 2D 디스플레이 또는 안경식 디스플레이와 달리, 방향에 따라 빛의 양을 달리하는 방식으로 양 눈에 다른 시점의 영상을 투사하는 형태의 디스플레이이다. 패럴랙스 배리어 방식은 평행선 형태의 패턴을 이용하여 디스플레이를 바라보는 방향 별로 일부 픽셀을 보이거나 보이지 않게 하는 무안경식 다 시점 구현 방식이다.

일 실시 예에 따라, 다 시점 입력 영상을 실시간으로 합성하여 가시화하도록 실시간 다 시점 영상 다중화를 위한 영상 처리장치 및 그 방법에 관한 것이다.

일 실시 예에 따른 실시간 다 시점 영상 다중화를 위한 영상 처리장치는, 다 시점 입력 영상을 생성하거나 획득하는 입력부와, 병렬 처리를 통해 다 시점 입력 영상을 다중화하여 다중화된 출력 영상을 생성하되, 픽셀 패턴에 기반하여 소정의 시점 입력 영상의 픽셀 값을 참조하는 출력 픽셀들만을 합성함에 따라 소정의 시점 입력 영상이 반복적으로 참조되도록 하는 다중화부와, 다중화된 출력 영상을 다 시점 디스플레이를 통해 가시화하는 출력부를 포함한다.

일 실시 예에 따르면, 다 시점 입력 영상을 대상으로 GPU에 기반하여 병렬로 처리하고 실시간으로 다중화하고 수십~수백 시점 이상의 공간 분할형 초 다 시점 디스플레이에 실시간 가시화할 수 있다. GPU 메모리에 저장된 다 시점 입력 영상을 GPGPU로 전송하고, GPGPU에서 픽셀 패턴에 기반하여 실시간으로 다중화함에 따라 초 다 시점 영상을 다중화할 수 있으며, 고속으로 다중화가 가능하다.

나아가, 그래픽스 장치 내에서 다 시점 입력 영상 생성부터 다중화된 출력 영상 생성까지 일련의 과정이 수행되므로 비용을 절감하고 실시간으로 고품질 다 시점 영상 콘텐츠를 생성할 수 있다.

다 시점 입력 영상을 실시간으로 다 시점 디스플레이까지 전송할 수 있으므로 빠른 영상 생성 및 전송이 필수적인 상호작용 기반 다 시점 응용 소프트웨어에 적용 가능하다. 범용 렌더링 엔진에서 얻어진 입력 영상을 GPGPU 상에서 바로 입력받아 고속 다중화를 수행하므로 기존의 유니티(Unity), 언리얼(Unreal) 등 대규모 어셋 스토어(asset store)를 보유하고 있는 툴과 결합하여 짧은 시간에 다수의 고품질 다 시점 응용 콘텐츠를 확보할 수 있다.

픽셀 패턴 기반 다중화 시에, 소정의 시점 입력 영상만을 GPU 메모리에서 읽어들인 후 해당 시점의 입력 영상 픽셀 값을 참조하는 출력 픽셀들만을 추려 합성함에 따라, 동일한 시점 영상이 반복적으로 참조되므로 메모리 응집성(memory coalescence)이 높아져 캐시 적중률이 수 배 이상 상승하게 된다.

도 1은 본 발명의 일 실시 예에 따른 실시간 다 시점 영상 다중화를 위한 영상 처리 방법의 흐름도,
도 2는 본 발명의 일 실시 예에 따른 도 1의 GPGPU 기반 픽셀 다중화 단계의 세부 구성도,
도 3은 본 발명의 일 실시 예에 따른 다 시점 디스플레이의 픽셀 패턴을 도시한 참조도,
도 4는 본 발명의 일 실시 예에 따른 실시간 다 시점 영상 다중화를 위한 영상 처리장치의 구성도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.

이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.

그리고 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.

이하, 첨부 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다. 그러나 다음에 예시하는 본 발명의 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시 예에 한정되는 것은 아니다. 본 발명의 실시 예는 통상의 기술자에게 본 발명을 보다 완전하게 설명하기 위하여 제공된다.

도 1은 본 발명의 일 실시 예에 따른 실시간 다 시점 영상 다중화를 위한 영상 처리 방법의 흐름도이다.

도 1을 참조하면, 영상 처리 방법은 시점 별 입력 영상을 실시간으로 입력하는 단계(100)와, 시점 별 입력 영상을 GPGPU로 전송하는 단계(102)와, GPGPU를 통해 시점 별 입력 영상을 픽셀 패턴 기반 다중화하여 다중화된 출력 영상을 생성하는 단계(104)와, 다중화된 출력 영상을 다 시점 디스플레이를 통해 가시화하는 단계(106)를 포함한다.

본 발명은 시점 별 입력 영상 입력 단계(100)에서 다중화된 출력 영상 가시화 단계(106)까지 일련의 전 단계가 실시간으로 그래픽스 처리장치(Graphics Processing Unit: GPU, 이하 GPU라 칭함)를 통해 수행되는 것을 목표로 한다. GPU는 컴퓨터 그래픽스 기반의 영상 생성을 위한 하드웨어 가속장치로서, 높은 병렬성과 빠른 속도를 가진다. 범용 연산 모듈은 GPU 상의 일반 계산 모듈로서, 범용 그래픽스 처리장치(General-Purpose Graphics Processing Unit: GPGPU, 이하 GPGPU라 칭함) 기능을 수행하는 모듈이다. 이하, 범용 연산 모듈을 GPGPU라 칭한다. GPGPU는 컴퓨터 그래픽스를 위한 계산만 수행하던 GPU를, 전통적으로 중앙 처리장치(CPU)가 맡았던 응용 프로그램들의 계산에 사용한다. 본 발명은 병렬 처리에서의 장점을 이용하여 GPGPU를 통해서 다 시점 입력 영상 다중화를 위한 일반 계산작업을 수행할 수 있다.

시점의 수가 고정된 2D/양안식 디스플레이와 달리 다 시점 디스플레이는 기술의 발전에 따라 지속적으로 시점의 수가 증가하게 되며, 적정 시야각, 최적 거리 등의 요소 또한 디스플레이마다 가변적이다. 특히 공간 분할형 다 시점 디스플레이는 전면에 부착된 패럴랙스 배리어 또는 렌티큘러 필름의 물리적 형태가 정형화되어 있지 않으며, 영상을 가시화하기 위해서는 다 시점 입력 영상들을 픽셀 패턴에 알맞게 재조합하는 과정이 필요하다. 본 발명에서는 이를 픽셀 패턴 기반 다중화(이하, 픽셀 다중화)라고 지칭한다.

픽셀 다중화를 위해서는 다 시점 디스플레이를 이루는 각 픽셀 별로 색깔을 지정하기 위해 입력 영상 중 하나 또는 여러 개의 값을 참조하는 과정이 필요한데, 이는 매우 높은 계산량이 요구된다. 이러한 복잡한 계산량은 다량의 픽셀 개수에 따른 것으로, 병렬 처리를 효율적으로 수행할 수 있으면서 동시에 입력 영상을 빠르게 참조할 수 있는 고속 하드웨어에 기반한 다중화 방법이 필수적이다.

현재 판매되고 있는 공간 분할형 다 시점 디스플레이는 대부분 수 시점을 지원하고 있으며, 그래픽스 하드웨어의 다중 텍스쳐링(multi texturing)을 통하여 입력 영상을 다중화하는 것으로 알려져 있다. 다중 텍스쳐링은 그래픽스 하드웨어의 높은 병렬 처리 능력을 이용하여 매우 빠른 다중화 속도를 지원하지만, 지원하는 최대 텍스쳐의 개수에 한계가 있어 향후 수십 시점 ~ 100 시점 이상으로 증가하게 될 고밀도 다 시점 영상을 지원하기 어렵다. 본 발명은 수십 시점 ~ 100 시점 이상의 다 시점 입력 영상을 병렬 처리를 통하여 실시간으로 다중화하되, 메모리 지역성을 최대화하여 실시간에 다중화한 후 이를 다 시점 디스플레이에 실시간으로 가시화하는 기술에 관한 것이다.

이하, 각 단계에 대해 상세히 후술한다.

다 시점 입력 영상 입력 단계(100)에서, 영상 처리장치는 GPU를 통해 사전에 설정된 가상 카메라 집합과 시간에 따라 변화하는 3차원 장면 데이터로부터 원본 영상인 시점 별 입력 영상을 생성하거나 획득한다. 시점 별 입력 영상을 다 시점 입력 영상이라 칭할 수 있다. 특히, 본 발명은 100 시점 이상의 초 다 시점 입력 영상을 대상으로 할 수 있다. 입력 영상은 원본 영상에 해당한다. 영상 처리장치는 생성되거나 획득된 시점 별 입력 영상을 GPU 메모리에 저장한다. GPU 메모리는 텍스쳐 메모리(texture memory)일 수 있다.

시점 별 입력 영상 생성을 위해 GPU 기반의 실시간 렌더링 시스템이라면 어떤 것도 활용 가능하다. Open GL(Open Graphic Library)이나 Direct 3D 등의 저수준 그래픽스 라이브러리를 직접 사용하거나, 유니티(Unity)나 언리얼(Unreal)과 같은 실시간 게임 엔진 등으로부터 생성하는 것도 가능하다. 시점 별 입력 영상은 이를 직접 가시화하기 위한 용도가 아니므로 디스플레이의 프레임 버퍼(frame buffer)에 직접 생성하는 대신, GPU의 텍스처 메모리에 저장해 두고, 그 메모리 주소를 다음 단계로 전달할 수 있다.

다 시점 입력 영상 전송 단계(102)는 다중화 속도를 높이기 위해 시점 별 입력 영상을 텍스처 메모리에서 GPGPU로 전달하는 과정이다. 수 시점 수준의 다 시점 디스플레이에서는 GPU의 다중 텍스쳐링을 통하여 다중화를 상대적으로 쉽게 구현할 수 있다. 그러나 현재 하이 레벨 GPU에서 동시에 사용할 수 있는 다중 텍스쳐의 수가 수십 개에 불과함을 감안하면, 수십 시점 이상의 다중화를 지원할 수 있는 새로운 방법이 필요하다. 본 발명은 GPU를 일반 계산용으로 확장한 GPGPU를 사용하여 다중화를 수행한다. GPGPU는 GPGPU 라이브러리를 이용하여 다중화를 수행한다. 이를 위해, 영상 처리장치는 GPU의 텍스쳐 메모리에 저장된 입력 영상을 GPGPU 라이브러리에서 사용할 수 있는 형태로 GPGPU 에 전달한다. GPGPU 라이브러리는 다중화를 수행하는 소프트웨어 개발 툴의 일종이다. 다중화를 위하여, 영상 처리장치는 텍스쳐 오브젝트(texture object)를 매 프레임 생성할 수 있다. 텍스처 오브젝트는 GPGPU가 실제로 사용할 수 있는 형태의 데이터를 의미한다.

GPGPU 기반 픽셀 다중화 단계(104)에서, 영상 처리장치는 시점 별 입력 영상들을 픽셀 패턴에 기반하여 합성함에 따라 한 장의 다중화된 출력 영상을 생성한다. 다 시점 입력 영상을 픽셀 패턴에 알맞게 재조합하는 과정을 픽셀 패턴 기반 다중화(이하, 픽셀 다중화)라 칭한다. 본 발명의 픽셀 다중화는 GPGPU 라이브러리를 통해 이루어진다.

가장 간단한 방법은 각 목표 픽셀을 탐색하면서 해당하는 입력 시점의 픽셀 값을 복사하는 것이지만, 많은 수의 입력 텍스쳐 영상이 동시에 참조되어 캐시 적중률(cache hit ratio)이 하락하는 문제가 발생한다. 이를 보완하기 위하여 본 발명에서는 픽셀 패턴 기반 다중화 시에, 소정의 시점 입력 영상만을 GPU 메모리에서 읽어들인 후 해당 시점의 입력 영상 픽셀 값을 참조하는 출력 픽셀들만을 추려 합성함에 따라, 동일한 시점 영상이 반복적으로 참조되므로 메모리 응집성(memory coalescence)이 높아져 캐시 적중률이 수 배 이상 상승하게 된다. 이 과정을 모든 시점의 입력 영상을 대상으로 반복하면 다중화 과정이 완료된다. 픽셀 다중화에 대해서는 도 2를 참조로 하여 상세히 후술한다.

픽셀 다중화(104)가 완료되면 다 시점 디스플레이의 해상도와 동일한 한 장의 출력 영상이 생성된다. 출력 영상은 GPU의 텍스쳐 메모리에 저장될 수 있다. 생성된 출력 영상은 다 시점 디스플레이를 통해 가시화(106)되는데, 다 시점 디스플레이는 공간 분할형 다 시점 디스플레이일 수 있다.

텍스쳐 메모리 상의 영상 정보에 직접 접근하여 각 픽셀의 값을 CPU의 메인 메모리에 복사한 후, 이를 디스플레이의 프레임 버퍼에 다시 옮길 수도 있으나, 이 과정에서 GPU 메모리와 CPU 메모리 간의 데이터 이동이 발생하며 그 비용은 GPU 메모리 내부 이동에 비하여 수백 배 높다. 대신 출력 영상 가시화 단계(106)에서, 디스플레이의 출력 해상도와 동일한 크기의 사각형 오브젝트를 생성하고, 생성된 사각형 오브젝트를 이용하여 다중화 결과 영상을 하드웨어 텍스쳐링함으로써 모든 과정이 GPU 내에서 완료되도록 한다. 이에 따라, GPU 메모리와 CPU 메모리 간의 데이터 이동 시 발생하는 비용을 절감할 수 있다.

도 2는 본 발명의 일 실시 예에 따른 도 1의 GPGPU 기반 픽셀 다중화 단계의 세부 구성도이다

도 2를 참조하면, 영상 처리장치는 GPGPU를 통해 소정의 시점을 가지는 원본 입력 영상을 GPU 메모리(예를 들어, 텍스쳐 메모리)에서 획득(300)한 후, 출력 픽셀 좌표를 스캔(302)하면서, 스캔한 각 출력 픽셀의 RGB 채널 별로 상기 획득한 시점의 입력 영상의 픽셀 값을 참조하는지 여부를 판단하는 RGB 채널 별 입력 시점 계산(304)을 수행하며, 해당 시점의 입력 영상 픽셀 값을 참조하는 출력 픽셀들만을 합성한다(306). 이후, 다른 시점의 입력 영상이 있는지 확인(308)하여, 있으면 단계 300, 302, 304 및 306 과정을 반복하면 다중화 과정이 완료된다.

구체적으로, 영상 처리장치는 GPU 메모리에서 1번 시점 입력 영상을 가져온다(300). 그리고, 출력 픽셀들을 차례대로 스캔(302)하면서 스캔한 출력 픽셀들이 R, G, B 채널 별로 1번 시점 입력 영상의 픽셀 값을 참조하는지 여부를 판단한다(304). 예를 들어, 1번 출력 픽셀의 R, G, B 채널 별로 1번 출력 픽셀이 1번 시점 입력 영상의 픽셀 값을 가져와야 되는지를 판단한다. 1번 시점 입력 영상의 픽셀 값을 가져와야 되는 것으로 판단되면, 1번 시점 입력 영상의 픽셀 값을 가져온다. 다음 2번 출력 픽셀의 R, G, B 채널 별로 2번 출력 픽셀이 1번 시점 입력 영상의 픽셀 값을 가져와야 되는지를 판단한다. 1번 시점 입력 영상의 픽셀 값을 가져와야 되지 않는 것으로 판단되면, 1번 시점 입력 영상의 픽셀 값을 가져오는 것을 건너뛴다. 이러한 과정을 출력 픽셀의 마지막 픽셀 좌표까지 반복한다. 그러면, 1번 시점 입력 영상의 픽셀 값을 가져온 출력 픽셀들로만 모아지게 되며, 모아진 출력 픽셀들을 합성한다(306).

이어서, 영상 처리장치는 GPU 메모리에서 2번 시점 입력 영상을 획득(300)하여, 2번 시점 입력 영상을 대상으로 출력 픽셀들을 차례대로 스캔(302)하면서 각 출력 픽셀의 R, G, B 채널 별로 출력 픽셀이 2번 시점 입력 영상의 픽셀 값을 가져와야 되는지를 판단(304)하여 2번 시점 입력 영상의 픽셀 값을 가져온 출력 픽셀들을 모은 후 이들을 합성한다(306). 전술한 프로세스는 GPU 메모리에서 획득된 다른 모든 시점 입력 영상을 대상으로 반복 수행되어, 다중화 과정이 완료된다.

도 3은 본 발명의 일 실시 예에 따른 다 시점 디스플레이의 픽셀 패턴을 도시한 참조도이다.

도 2 및 도 3을 참조하면, 영상 처리장치가 출력 픽셀 좌표를 스캔하면서 각 출력 픽셀의 RGB 채널 별로 소정 시점 입력 영상의 픽셀 값을 참조하는지를 판단하기 위해, 도 3에 도시된 바와 같은 다 시점 디스플레이 픽셀 패턴을 이용한다. 픽셀 패턴은 테이블화되어, 디스플레이 제작 시에 사전 설정된다. 도 3을 참조하면, 픽셀 패턴을 구성하는 픽셀들은 R/G/B 채널 별로 출력 픽셀이 어느 시점의 입력 영상 픽셀 값을 가져와야 하는지를 알려준다. 예를 들어, 도 3의 픽셀 패턴좌표 (1,1)에 해당하는 픽셀 패턴은 [1/10/19]로 구성되는데, 이는 출력 픽셀이 다중화를 위해 R 채널에서는 1번 시점 입력 영상 픽셀 값을 가져와야 하고, G 채널에서는 10번 시점 입력 영상 픽셀 값을 가져와야 하며, B 채널에서는 19번 시점 입력 영상 픽셀 값을 가져와야 함을 의미한다. 영상 처리장치는 픽셀 다중화 시에 도 3의 픽셀 패턴에 알맞게 소정 시점의 입력 영상 픽셀 값을 가져와 이들을 합성하게 된다.

도 4는 본 발명의 일 실시 예에 따른 실시간 다 시점 영상 다중화를 위한 영상 처리장치의 구성도이다.

도 5를 참조하면, 영상 처리장치(4)는 입력부(40), GPU 메모리(41), 전송부(42), 다중화부(44) 및 출력부(46)를 포함한다. 영상 처리장치(4)는 병렬 처리가 가능한 GPU 상에서 다 시점의 입력 영상을 실시간으로 합성하여 디스플레이에서 가시화 가능한 출력 영상을 생성한다.

입력부(40)는 시점 별 입력 영상을 생성 또는 획득한다. 입력부(40)는 GPU를 통해 시점 별 입력 영상을 생성할 수 있고, 외부장치로부터 시점 별 입력 영상을 획득할 수 있다. GPU에서 시점 별 입력 영상을 생성하는 경우, 입력부(40)는 Open GL(Open Graphic Library)이나 Direct 3D 등의 그래픽스 라이브러리를 직접 사용하거나, 유니티(Unity)나 언리얼(Unreal)과 같은 실시간 게임 엔진 등을 통해 시점 별 입력 영상을 생성할 수 있다. 입력부(40)는 시점 별 입력 영상을 GPU 메모리(41)에 저장할 수 있다. GPU 메모리(41)는 텍스쳐 메모리일 수 있다.

전송부(42)는 시점 별 입력 영상을 다중화부(44)로 전송한다. 이를 위해, 전송부(42)는 GPU 메모리(41)에 접근하여 시점 별 입력 영상을 읽어들여 이를 다중화부(44)로 전송할 수 있다. 전송부(42)는 시점 별 입력 영상을 다중화부(44)에서 사용할 수 있는 형태로 변환하여 다중화부(44)로 전달할 수 있다.

다중화부(44)는 시점 별 입력 영상을 다중화하여 다중화된 출력 영상을 생성한다. 다중화부(44)는 GPGPU에 위치할 수 있다. 이 경우, 전송부(42)는 시점 별 입력 영상을 GPGPU에서 사용할 수 있는 형태로 변환하여 GPGPU로 전달한다.

다중화부(44)가 GPGPU를 통해 시점 별 입력 영상을 다중화하는 경우, GPGPU의 GPGPU 라이브러리를 통해 시점 별 입력 영상을 픽셀 패턴에 맞게 다중화할 수 있다. 다중화부(44)는 소정의 시점 입력 영상을 가져와 해당 시점의 픽셀 값을 참조하는 출력 픽셀들만을 검색하고 검색된 출력 픽셀들을 합성함에 따라 소정의 시점 입력 영상이 반복적으로 참조되도록 한다. 이러한 프로세스는 모든 시점의 입력 영상을 대상으로 반복 수행된다. 다중화부(44)의 픽셀 다중화에 대해서는 도 2 및 도 3을 참조로 하여 전술한 바와 같다.

출력부(46)는 다중화된 출력 영상을 가시화한다. 출력부(46)는 디스플레이의 출력 해상도와 동일한 크기의 사각형 오브젝트를 생성하고 생성된 사각형 오브젝트를 이용하여 다중화된 출력 영상을 그래픽스 하드웨어를 통해 텍스처링할 수 있다. 디스플레이는 공간 분할형 다 시점 디스플레이일 수 있다.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

4: 영상 처리장치 40: 입력부
41: GPU 메모리 42: 전송부
44: 다중화부 46: 출력부

Claims (8)

1. 시점별 입력 영상을 포함하는 다 시점 입력 영상을 생성하거나 획득하는 입력부;
   상기 다 시점 입력 영상이 저장되는 메모리;
   복수의 출력 픽셀 각각에서 어느 시점의 입력 영상의 픽셀 값을 참조할지 설정되어 있는 픽셀 패턴에 기초해서, 각 시점의 입력 영상에 대해서 상기 픽셀 패턴에 의해 픽셀 값을 참조하는 출력 픽셀들을 합성하는 과정을 모든 시점의 입력 영상에 대해 수행함으로써, 상기 다 시점 입력 영상을 다중화하여 다중화된 출력 영상을 생성하는 다중화부; 및
   다중화된 출력 영상을 다 시점 디스플레이를 통해 가시화하는 출력부
   를 포함하는 영상 처리장치.
2. 제1항에 있어서
   상기 다중화부는, 각 시점의 입력 영상에 대해서 R, G, B 채널별로 픽셀 값을 참조하는 출력 픽셀들만 모아서 합성하는 과정을 모든 시점 입력 영상에 대하여 반복적으로 수행하여, 상기 다중화된 출력 영상을 생성하는, 영상 처리장치.
3. 제1항에 있어서
   상기 출력부는,
   상기 다 시점 디스플레이의 출력 해상도와 동일한 크기의 사각형 오브젝트를 생성하고, 생성된 사각형 오브젝트를 이용하여 다중화된 출력 영상을 하드웨어 텍스쳐링하는, 영상 처리 장치.
4. 제1항에 있어서
   상기 메모리로부터 시점별 입력 영상을 읽어서 상기 다중화부로 전달하는 전송부
   를 더 포함하는, 영상 처리 장치.
5. 제4항에 있어서
   상기 전송부는 상기 시점별 입력 영상을 상기 다중화부에서 사용될 수 있는 형태로 변환하여 상기 다중화부로 전달하는, 영상 처리 장치.
6. 제4항에 있어서
   상기 다중화부는 GPGPU(General-Purpose Graphics Processing Unit)에 위치되며,
   상기 전송부는 상기 시점별 입력 영상을 GPGPU 라이브러리에서 사용할 수 있는 형태로 변환하여 상기 다중화부로 전달하는, 영상 처리 장치.
7. 제6항에 있어서
   상기 다중화부는 GPGPU 라이브러리를 통해 시점별 입력 영상을 픽셀 패턴에 맞게 다중화하는, 영상 처리 장치.
8. 제1항에 있어서
   상기 입력부는 GPU(Graphics Processing Unit) 기반의 실시간 렌더링 시스템을 이용하여 다 시점 입력 영상을 생성하는, 영상 처리 장치.
   

Images