KR20120068540A - 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치 및 방법 - Google Patents

병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치 및 방법 Download PDF

Info

Publication number
KR20120068540A
KR20120068540A KR1020100130204A KR20100130204A KR20120068540A KR 20120068540 A KR20120068540 A KR 20120068540A KR 1020100130204 A KR1020100130204 A KR 1020100130204A KR 20100130204 A KR20100130204 A KR 20100130204A KR 20120068540 A KR20120068540 A KR 20120068540A
Authority
KR
South Korea
Prior art keywords
image
virtual viewpoint
virtual
processing units
unit
Prior art date
Application number
KR1020100130204A
Other languages
English (en)
Inventor
신홍창
방건
엄기문
김태원
장은영
허남호
이수인
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100130204A priority Critical patent/KR20120068540A/ko
Priority to US13/328,713 priority patent/US9124863B2/en
Publication of KR20120068540A publication Critical patent/KR20120068540A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치 및 방법이 개시되어 있다. 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치는, 다시점 영상 컨텐츠 생성 장치는 입력 정보를 기반으로 하여 미리 설정된 가상 시점 개수에 대응하는 다수 개의 가상 시점의 위치를 계산하고, 그 계산된 다수 개의 가상 시점의 위치를 다수 개의 영상 합성 처리 유닛으로 분배하는 가상 시점 위치 계산 및 분배부와, 다수 개의 영상 합성 처리 유닛이 병렬로 동작하며, 각각의 영상 합성 처리 유닛이 가상 시점 위치 계산 및 분배부로부터 분배되는 적어도 하나의 가상 시점의 위치에 대응하는 적어도 하나의 가상 시점 영상을 생성하고, 그 생성된 적어도 하나의 가상 시점 영상을 기반으로 부분 다중화를 수행하는 영상 합성 처리부, 및 다수 개의 영상 합성 처리 유닛으로부터 출력되는 다수 개의 부분 다중화된 영상을 통합하는 영상 통합부를 포함할 수 있다. 따라서, 영상 합성 및 부분 다중화를 병렬 처리함으로써, 다시점 영상 컨텐츠의 생성에 소모되는 시간을 줄이고 자원 사용의 효율을 높일 수 있다.

Description

병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치 및 방법 {Device and Method for Creating Multi-View Video Contents using Parallel Processing}
본 발명은 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치 및 방법에 관한 것으로서, 좀더 상세하게는, 다수 개의 영상 합성 처리 유닛을 구비하고 이들을 병렬로 동작시켜 가상 시점에서의 영상 생성을 위한 영상 합성 및 다중화를 수행함으로써 다시점 영상 컨텐츠의 생성에 소모되는 시간을 대폭 줄일 수 있는 다시점 영상 컨텐츠 생성 기술에 관한 것이다.
일반적으로, 3차원 디스플레이는 기본적으로 시차가 존재하는 두 시점 이상의 2차원 영상 신호를 인간의 양 안에 각각 동시에 제시하여 입체감을 느낄 수 있도록 한다. 다시점(Multi-View) 디스플레이는 두 시점 이상의 영상을 재생하여 3차원 입체감을 주는 디스플레이를 의미할 수 있다.
다시점 디스플레이에서의 다시점 영상 컨텐츠를 생성하는 대표적인 방식으로는 다시점 영상합성 방식이 있다. 다시점 영상합성 방식이란 시차가 있는 여러 시점의 카메라로 획득한 참조 영상 및 그 참조 영상에 대응하는 기하 정보, 예컨대 깊이 영상 등을 정보를 포함하는 깊이 정보를영상을 이용하여 영상합성(View Synthesis)을 수행하는 방식이다.
이러한 영상합성은 카메라로 획득한 참조 영상을 기하 정보(예컨대, 카메라 캘리브레이션(Calibration) 정보, 개별 화소의 깊이 정보 등)를 이용하여 목표 가상 시점의 위치에 사상시키고, 여기서 사상되지 않은 가려짐 영역(Occluded Area)은 시점이 다른 참조 영상을 통하여 사상하고, 주위의 유사한 정보를 찾아 보간함으로써 최종적으로 가상 시점의 위치에서의 영상을 생성하는 과정으로 구성될 수 있다. 최종적으로 생성된 다시점 영상은 다시점 디스플레이의 입력 조건에 맞도록 다중화 과정을 거친 후 재생되게 된다.
통상적으로, 다시점 디스플레이가 요구하는 다수의 시점을 생성하는 다시점 영상합성은 매우 많은 시간을 소요하는 시간 소모적인 방식이라고 할 수 있다. 따라서 다시점 영상의 실시간 생성 및 재생 시스템을 고려한다면, 다시점 영상합성 과정에서의 처리 속도를 향상시킬 수 있는 방향으로 장치 구조 및 처리 방식을 효율적으로 개선할 필요가 있다.
본 발명은 이러한 배경에서 창안된 것으로서, 본 발명이 해결하고자 하는 기술적인 과제는 다수 개의 영상 합성 처리 유닛을 이용하여 다시점 영상 컨텐츠의 생성을 위한 가상 시점 영상의 합성 및 부분 다중화 등을 병렬적으로 수행함으로써, 다시점 영상 컨텐츠의 생성에 소모되는 시간을 줄이고 자원 사용의 효율을 높일 수 있는 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치 및 방법과 그 관련 기술을 제공하는데 있다.
이러한 기술적 과제를 해결하기 위하여 본 발명은 일 측면(Aspect)에서 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치를 제공한다. 상기 다시점 영상 컨텐츠 생성 장치는 입력 정보를 기반으로 하여 미리 설정된 가상 시점 개수에 대응하는 다수 개의 가상 시점의 위치를 계산하고, 상기 계산된 다수 개의 가상 시점의 위치를 다수 개의 영상 합성 처리 유닛으로 분배하는 가상 시점 위치 계산 및 분배부와; 상기 다수 개의 영상 합성 처리 유닛이 병렬로 동작하며, 각각의 상기 영상 합성 처리 유닛이 상기 가상 시점 위치 계산 및 분배부로부터 분배되는 적어도 하나의 상기 가상 시점의 위치에 대응하는 적어도 하나의 가상 시점 영상을 생성하고, 상기 생성된 적어도 하나의 가상 시점 영상을 기반으로 부분 다중화를 수행하는 영상 합성 처리부; 및 상기 다수 개의 영상 합성 처리 유닛으로부터 출력되는 다수 개의 부분 다중화된 영상을 통합하는 영상 통합부를 포함한다.
상기 가상 시점 위치 계산 및 분배부는 상기 각각의 영상 합성 처리 유닛에 상기 적어도 하나의 가상 시점의 위치를 분배하고, 상기 적어도 하나의 가상 시점의 위치에 대응하는 상기 적어도 하나의 가상 시점 영상의 생성에 필요한 입력 정보를 상기 각각의 영상 합성 처리 유닛으로 전송할 수 있다.
상기 각각의 영상 합성 처리 유닛은, 가상 시점 위치에서 인접한 적어도 하나의 참조 카메라의 영상을 사용하여 상기 가상 시점 위치에서의 가상 시점 영상으로 3차원 워핑을 수행하고, 상기 가상 시점 영역 중 상기 3차원 워핑으로도 사상되지 않는 영역은 주변 정보를 이용하여 보간할 수 있다. 상기 영상 통합부는 상기 다수 개의 영상 합성 처리 유닛으로부터 출력되는 상기 다수 개의 부분 다중화된 영상을 다중화할 수 있다.
상기 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치는, 다수 개의 참조 카메라로부터 획득되는 다수 개의 참조 영상 및 깊이 정보영상, 카메라 보정 정보 및 사용자 입력 정보 중 적어도 어느 하나를 포함하는 상기 입력 정보를 입력하는 영상 입력부를 더 포함할 수도 있다.
한편, 상술한 본 발명의 기술적 과제를 해결하기 위하여 본 발명은 다른 측면에서 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 방법을 제공한다. 상기 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 방법은, 입력 정보를 기반으로 하여 미리 설정된 가상 시점 개수에 대응하는 다수 개의 가상 시점의 위치를 계산하는 단계와; 상기 계산된 다수 개의 가상 시점의 위치를 다수 개의 영상 합성 처리 유닛으로 분배하는 단계와; 상기 다수 개의 영상 합성 처리 유닛이 병렬로 동작하여, 각각의 상기 영상 합성 처리 유닛이 상기 가상 시점 위치 계산 및 분배부로부터 분배되는 적어도 하나의 상기 가상 시점의 위치에 대응하는 적어도 하나의 가상 시점 영상을 생성하는 단계와; 각각의 상기 영상 합성 처리 유닛이 상기 생성된 적어도 하나의 가상 시점 영상을 기반으로 부분 다중화를 수행하는 단계; 및 상기 다수 개의 영상 합성 처리 유닛으로부터 출력되는 다수 개의 부분 다중화된 영상을 통합하는 단계를 포함할 수 있다.
상기 계산된 다수 개의 가상 시점의 위치를 다수 개의 영상 합성 처리 유닛으로 분배하는 단계는, 상기 각각의 영상 합성 처리 유닛에 상기 적어도 하나의 가상 시점의 위치를 분배하는 단계를 포함할 수 있다.
상기 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 방법은, 상기 적어도 하나의 가상 시점의 위치에 대응하는 상기 적어도 하나의 가상 시점 영상의 생성에 필요한 입력 정보를 상기 각각의 영상 합성 처리 유닛으로 전송하는 단계를 더 포함할 수도 있다.
상기 적어도 하나의 가상 시점 영상을 생성하는 단계는, 가상 시점 위치에서 인접한 적어도 하나의 참조 카메라의 영상을 사용하여 상기 가상 시점 위치에서의 가상 시점 영상으로 3차원 워핑을 수행하는 단계; 및 상기 가상 시점 영역 중 상기 3차원 워핑으로도 사상되지 않는 영역은 주변 정보를 이용하여 보간하는 단계를 포함할 수 있다.
상기 다수 개의 부분 다중화된 영상을 통합하는 단계는, 상기 다수 개의 영상 합성 처리 유닛으로부터 출력되는 상기 다수 개의 부분 다중화된 영상을 다중화하는 단계를 포함할 수 있다.
상기 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 방법은, 다수 개의 참조 카메라로부터 획득되는 다수 개의 참조 영상 및 깊이 정보영상, 카메라 보정 정보 및 사용자 입력 정보 중 적어도 어느 하나를 포함하는 상기 입력 정보를 입력하는 단계를 더 포함할 수도 있다.
한편, 상술한 본 발명의 기술적 과제를 해결하기 위하여 본 발명은 또 다른 측면에서 영상 합성 처리 장치를 제공할 수 있다. 상기 영상 합성 처리 장치는 병렬로 동작 가능한 다수 개의 영상 합성 처리 유닛을 구비할 수 있다.
각각의 상기 영상 합성 처리 유닛은 외부로부터 적어도 하나의 가상 시점의 위치 및 입력 정보를 수신하고, 상기 입력 정보를 기반으로 상기 적어도 하나의 위치에 대응하는 적어도 하나의 가상 시점 영상을 생성하고, 상기 생성된 적어도 하나의 가상 시점 영상을 기반으로 하는 부분 다중화를 수행할 수 있다.
상기 각각의 영상 합성 처리 유닛은 상기 부분 다중화된 영상을 상기 다수 개의 영상 합성 처리 유닛으로부터 출력되는 영상을 합성하기 위한 영상 통합부로 출력할 수 있다.
이상 설명한 바와 같이, 본 발명에 따른 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치 및 방법에 따르면 다수 개의 영상 합성 처리 유닛을 이용하여 다시점 영상 컨텐츠의 생성을 위한 가상 시점 영상의 합성 및 부분 다중화 등을 병렬적으로 수행한다. 따라서, 다시점 영상 컨텐츠의 생성에 소모되는 시간을 줄이고 자원 사용의 효율을 높일 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치의 구성을 도시하는 블록도이다.
도 2는 도 1에 도시되어 있는 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치의 동작을 설명하기 위한 흐름도이다.
도 3은 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치가 영상 입력으로부터 가상 시점 영상을 생성하는 과정까지의 과정을 예시적으로 설명하는 예시도이다.
도 4는 다시점 영상 컨텐츠 생성 장치에 의하여 수행되는 다중화 과정을 예시적으로 설명하는 예시도이다.
이하, 본 발명이 속하는 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사항을 용이하게 이해할 수 있도록 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명한다. 이하에 설명할 본 발명의 바람직한 실시예에서는 내용의 명료성을 위하여 특정한 기술 용어를 사용한다. 하지만 본 발명은 그 선택된 특정 용어에 한정되지는 않으며, 각각의 특정 용어가 유사한 목적을 달성하기 위하여 유사한 방식으로 동작하는 모든 기술적 동의어를 포함함을 미리 밝혀둔다.
도 1은 본 발명의 바람직한 실시예에 따른 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치의 구성을 도시하는 블록도이다.
도 1에 도시된 바와 같이, 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치(100)는 영상 입력부(10), 가상 시점 위치 계산 및 분배부(20), 영상 합성 처리부(30), 영상 통합부(40) 및 영상 재생부(50) 등을 포함할 수 있다.
영상 입력부(10)는 카메라로부터 획득되는 참조 영상 및 깊이 정보영상, 카메라 보정 정보, 사용자 입력 정보 등을 포함하는 입력 정보를 입력하는 기능을 수행할 수 있다.
예를 들면, 영상 입력부(10)는 다시점 영상에 필요한 다수 개의 카메라, 예컨대 좌측 카메라, 기준 카메라 및 우측 카메라 등로부터 각각 참조 영상 및 그 참조 영상의 기하 정보를 포함하는 깊이 정보영상(예컨대 깊이 영상, 시차 영상 등지도)을 입력한다. 또한 영상 입력부(10)는 예컨대, 카메라 캘리브레이션 파라미터(Calibration Parameter) 등과 같은 카메라 보정 정보 및 사용자 입력 정보 등을 입력할 수도 있다.
가상 시점 위치 계산 및 분배부(20)는 미리 설정된 시점 개수에 대응하는 다수 개의 가상 시점의 위치를 계산하고, 계산된 다수 개의 가상 시점의 위치를 영상 합성 처리부(30)에 구비되는 다수 개의 영상 합성 처리 유닛(32, 34)으로 배분하는 기능을 수행할 수 있다.
이때 가상 시점 위치 계산 및 분배부(20)는 각각의 영상 합성 처리 유닛(32, 34)에 적어도 하나의 상기 가상 시점의 위치가 대응되도록 다수 개의 가상 시점 위치를 분배할 수 있다. 각각의 가상 시점의 위치를 어느 영상 합성 처리 유닛(32, 34)으로 분배할 것인지는 각각의 영상 합성 처리 유닛(32, 34)의 성능 정보을 고려하거나 또는 사용자 입력에 따라서 가상 시점 위치 계산 및 분배부에 세팅되어 있을 수 있다.
또한, 가상 시점 위치 계산부 및 분배부(20)는 분배되는 가상 시점의 위치에 대응하여 그 가상 시점 위치에서 가상 시점 영상을 생성하는데 필요한 입력 정보들, 예컨대 참조 영상, 깊이 정보영상, 카메라 보정 정보 및 사용자 입력 정보들을 전송할 수 있다.
즉, 가상 시점 위치 계산부 및 분배부(20)는 다시점 디스플레이에 요구되는 시점 개수에 대응하는 다수 개의 가상 시점 위치를 계산하고, 계산된 다수 개의 가상 시점의 위치를 다수 개의 영상 합성 처리 유닛(32, 34)으로 분배하고, 각각의 상기 가상 시점의 위치에서의 영상 합성에 필요한 입력 정보들을 이를 필요로 하는 영상 합성 처리 유닛(32, 34)으로 전송할 수 있다.
영상 합성 처리부(30)는 다수 개의 영상 합성 처리 유닛(32, 34)을 구비한다. 상기 다수 개의 영상 합성 처리 유닛(32, 34)은 병렬로 동작할 수 있다. 예컨대, 도 1에 도시된 바에 의하면 영상 합성 처리부(30)는 2개의 영상 합성 처리 유닛(32, 34), 예컨대 제 1 영상 합성 처리 유닛(32) 및 제 2 영상 합성 처리 유닛(34)을 구비한다. 제 1 영상 합성 처리 유닛(32)과 제 2 영상 합성 처리 유닛(34)은 병렬로 동작할 수 있다. 한편 도 1에 도시된 영상 합성 처리부(30)는 실시의 한 예일 뿐이며, 영상 합성 처리부는 실시 환경에 따라 더 많은 개수, 예컨대 N개(N은 2를 초과하는 정수) 영상 합성 처리 유닛을 구비할 수 있음은 물론이다.
각각의 영상 합성 처리 유닛(32, 34)은 상기 가상 시점 위치 계산 및 분배부(20)로부터 전송되는 적어도 하나의 가상 시점의 위치 및 그 가상 시점의 위치에서의 가상 시점 영상 합성에 필요한 입력 정보를 수신하고, 이들을 기반으로 상기 적어도 하나의 가상 시점의 위치에 대응되는 적어도 하나의 가상 시점 영상을 생성하고, 생성된 적어도 하나의 가상 시점 영상을 기반으로 부분 다중화를 수행하는 기능을 수행할 수 있다.
이러한 영상 합성 처리부(30)는 내부적으로 멀티 코어를 가진 장치로서 다수 개의 코어가 병렬로 동작하도록 구현될 수 있다. 예컨대 각각의 영상 합성 처리 유닛(32, 34)은 주 프로세서와 독립적으로 존재하여 순차적인 영향을 받지 않는 코어에 대응된다고 할 수 있다.
영상 통합부(40)는 다수 개의 영상 합성 처리 유닛(32, 34)으로부터 출력되는 다수 개의 부분 다중화된 영상(109, 110)을 통합하는 기능을 수행할 수 있다. 각각의 영상 합성 처리 유닛(32, 34)으로부터 출력되는 영상은 해당 영상 합성 처리 유닛에서 처리한 적어도 하나의 가상 시점 영상을 기반으로 한 부분 다중화된 영상(109, 110)이다. 따라서 영상 통합부(40)는 각각의 영상 합성 처리 유닛(32, 34)으로부터 출력되는 부분 다중화된 영상(109, 110)을 통합하여 최종적인 다중화 영상, 즉 다시점 영상 컨텐츠를 생성하는 것이다.
영상 재생부(50)는 영상 통합부(40)로부터 출력되는 영상을 재생하는 기능을 수행할 수 있다. 예컨대 영상 재생부(50)는 영상 통합부(40)로부터 출력되는 다시점 영상 컨텐츠를 다시점 디스플레이 화면을 통하여 재생하는 것이다. 이러한 영상 재생부(50)는 다시점 디스플레이 기능을 제공하는 디스플레이 기기를 포함할 수 있다. 영상 재생부(50)에 의하여 다시점 영상 컨텐츠가 재생되면, 사용자는 3차원 입체 영상을 시청할 수 있다.
이상, 본 발명의 바람직한 실시예에 따른 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치(100)의 구성을 살펴보았다. 이하에서는, 이러한 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치(100)의 동작 과정을 상세하게 설명하기로 한다. 이하의 설명에 의하여, 앞서 언급된 바 있는 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치(100)의 각 구성 요소들의 기능 또한 더욱 명확해질 것이다.
먼저 이하에서는, 참조 영상 및 깊이 영상 등을 획득하는데 필요한 참조 카메라는 3개, 즉 좌측 카메라, 기준 카메라(예컨대, 센터 카메라) 및 우측 카메라가 구비하는 것으로 가정하고, 다시점 디스플레이에서 요구하는 가상 시점의 개수는 9개인 것으로 가정하기로 한다. 이때 상기 다시점 디스플레이에서 요구하는 가상 시점의 개수는 가상 시점 위치 계산부에 미리 세팅해 놓음으로써 미리 정해질 수 있다.
또한, 영상 합성 처리부(30)에 구비되는 영상 합성 처리 유닛(32, 34)은 앞서 설명한 바와 같이 2개, 즉, 제 1 영상 합성 처리 유닛(32) 및 제 2 영상 합성 처리 유닛(34)을 구비하는 것으로 가정한다. 이때 제 1 영상 합성 처리 유닛(32)은 제 1 가상 시점부터 제 4 가상 시점까지의 영상 합성 처리를 수행하며, 제 2 영상 합성 처리 유닛(34)은 제 5 가상 시점부터 제 9 가상 시점까지의 영상 합성 처리를 수행하는 것으로 가정하기로 한다.
그러나, 이러한 가정은 실시의 한 예일 뿐 한정적인 사항은 아니며, 참조 카메라의 개수, 가상 시점의 개수, 영상 합성 처리부에 구비되는 영상 합성 처리 유닛의 개수, 가상 시점과 영상 합성 처리 유닛의 대응 관계 등은 실시 환경에 따라 다양하게 변형될 수 있음은 물론이다.
예를 들면, 가상 시점이 9개인 경우 9개의 영상 합성 처리 유닛을 구비하는 영상 합성 처리부를 구성하고, 각각의 영상 합성 처리 유닛이 하나의 가상 시점에 대응하는 영상 합성 처리 및 다중화를 수행할 수도 있다. 즉 9개의 가상 시점에 대응하는 9개의 영상 합성 처리 및 다중화를 9개의 영상 합성 처리 유닛을 이용하여 병렬적인 방법으로 동시다발적으로 처리할 수도 있다.
도 2는 도 1에 도시되어 있는 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치(100)의 동작을 설명하기 위한 흐름도이다. 또한, 도 3은 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치(100)가 영상 입력으로부터 가상 시점 영상을 생성하는 과정까지의 과정을 예시적으로 설명하는 예시도이다.
도 1 내지 도 3을 참조하면, 영상 입력부(10)는 참조 영상 및 깊이 정보영상, 카메라 보정 정보 및 사용자 입력 정보 등을 포함하는 입력 정보를 입력한다(단계: S1). 예를 들면, 영상 입력부(10)는 3개의 참조 카메라, 예컨대 좌측 카메라(201), 기준 카메라(202) 및 우측 카메라(203)에 의하여 획득되는 참조 영상 및 깊이 정보영상, 카메라 보정 정보, 사용자 입력 정보 등을 포함하는 입력 정보를 입력한다.
이어서, 가상 시점 위치 계산 및 분배부(20)는 상기 입력된 입력 정보를 기반으로 다시점 디스플레이에서 요구하는 시점 개수에 대응하는 다수 개의 가상 시점의 위치를 계산할 수 있다(단계:S2). 상기 다시점 디스플레이에서 요구하는 시점 개수는 사용자 입력 등에 의하여 가상 시점 위치 계산 및 분배부(20)에 미리 설정될 수 있다.
예를 들면, 가상 시점 위치 계산 및 분배부(20)는 다시점 디스플레이에서 요구하는 9개의 시점에 대응하여 9개의 가상 시점(204), 예컨대 제 1 가상 시점 내지 제 9 가상 시점의 위치를 각각 계산할 수 있다.
가상 시점의 위치를 계산하는 이유는 참조 영상으로 쓰이는 카메라 영상들의 간격이 모두 동일하지 않을 수 있고, 다시점 디스플레이가 제공하는 입체감과 관련이 있는 시점 간격, 즉 시점 영상 간의 시차(Disparity)가 다시점 디스플레이의 특성에 따라 다를 수 있기 때문이다. 이러한 가상 시점의 위치는 카메라 보정 정보를 통해 알 수 있는 참조 카메라의 좌표, 참조 카메라로부터 획득된 깊이 정보, 가산 시점의 개수 및 다시점 디스플레이의 특성 등을 고려하여 계산될 수 있다. 또한 가상 시점의 위치는 사용자 입력 정보의 영향을 받을 수도 있다.
가상 시점의 위치가 계산되면, 가상 시점 위치 계산 및 분배부(20)는 계산된 다수 개의 가상 시점의 위치를 영상 합성 처리부(30)에 구비되는 다수 개의 영상 합성 처리 유닛(32, 34)으로 배분할 수 있다(단계:S3).
이때, 가상 시점 위치 계산 및 분배부(20)는 각각의 영상 합성 처리 유닛(32, 34)에 적어도 하나의 가상 시점의 위치가 대응되도록 다수 개의 가상 시점의 위치를 분배할 수 있다. 또한 가상 시점 위치 계산 및 분배부(20)는 각 가상 시점의 위치에 대응하는 가상 시점 영상을 생성하는데 필요한 입력 정보를 해당 영상 합성 처리 유닛(32, 34)으로 전송할 수 있다.
예를 들면, 가상 시점 위치 계산 및 분배부(20)는 계산된 9개의 가상 시점(204)의 위치 중 제 1, 2, 3 및 4 가상 시점의 위치는 제 1 영상 합성 처리 유닛(32)으로 전송하고, 제 5, 6, 7, 8 및 9 가상 시점의 위치는 제 2 영상 합성 처리 유닛(34)으로 분배할 수 있다.
또한, 가상 시점 위치 계산 및 분배부(20)는 상기 제 1, 2, 3 및 제 4 가상 시점의 위치에 대응하는 가상 시점 영상의 생성에 필요한 정보들, 예컨대 좌측 카메라와 기준 카메라로부터 획득된 참조 영상과 깊이 정보영상(107) 및 해당 참조 카메라의 카메라 보정 정보 등을 포함하는 정보를 제 1 영상 합성 처리 유닛(32)으로 전송할 수 있다.
마찬가지로, 가상 시점 위치 계산 및 분배부(20)는 상기 제 5, 6, 7, 8 및 9 가상 시점의 위치에 대응하는 가상 시점 영상의 생성에 필요한 정보들, 예컨대 우측 카메라와 기준 카메라로부터 획득된 참조 영상과 깊이 영상정보(108) 및 해당 참조 카메라의 카메라 보정 정보 등을 포함하는 정보를 제 2 영상 합성 처리 유닛(34)으로 전송할 수 있다.
다음으로, 영상 합성 처리부(30)는 다수 개의 영상 합성 처리 유닛(32, 34)을 병렬로 동작 시켜 다수 개의 가상 시점 영상을 합성할 수 있다(단계:S4). 즉 영상 합성 처리부(30)는 제 1 영상 합성 처리 유닛(32) 및 제 2 영상 합성 처리 유닛(34)을 병렬로 동작시켜 9개의 가상 시점(204)의 위치에 대응하는 9개의 가상 시점 영상을 합성(205)할 수 있다.
예를 들면, 제 1 영상 합성 처리 유닛(32)은 4개의 가상 시점, 즉 제 1, 2, 3 및 4 가상 시점의 위치에 대응하는 4개의 가상 시점 영상, 즉 제 1, 2, 3, 및 4 가상 시점 영상을 합성(206)할 수 있다. 이러한 제 1 영상 합성 처리 유닛과 병렬로 동작하는 제 2 영상 합성 처리 유닛(34)은 5개의 가상 시점, 즉 제 5, 6, 7, 8 및 9 가상 시점의 위치에 대응하는 5개의 가상 시점 영상, 즉 제 5, 6, 7, 8 및 9 가상 시점 영상을 합성(207)할 수 있다.
영상 합성은 깊이 정보 등의 기하 정보를 이용하여 참조 영상을 목표하는 가상 시점으로 3차원 워핑(Warping)하는 방식으로 수행될 수 있다. 도면 부호 205는 주위 참조 시점을 이용하여 가상 시점 영상을 생성하는 개념을 나타내고 있다. 예컨대 제 3 가상 시점의 위치에서 가상 시점 영상을 생성하는 경우, 먼저 제 3 가상 시점의 위치와 가장 인접한 기준 카메라(202)에서의 참조 영상을 사용하여 우선적으로 3차원 워핑을 수행할 수 있다. 그러면, 제 3 가상 시점의 위치에서의 가상 시점 영상 중 기준 카메라(202)에서도 보였던 정보들이 사상될 수 있다.
이때 사상되지 않아 정보가 없는 영역, 즉 기준 카메라(202)의 시점에서 보이지 않는 영역은 그 반대편 참조 영상, 즉 좌측 카메라(201)에서의 참조 영상으로부터 3차원 워핑하여 기준 카메라에서 보이지 않던 대부분의 영역들을 채워주게 된다. 한편, 이러한 두 번의 순차적인 사상 과정을 통해서도 여전히 사상되지 않은 영역이 존재할 수 있는데, 이 경우에는 해당 영역의 주변 정보를 이용하여 가장 유사성이 높은 정보를 찾아 보간함으로써 채워지지 않은 나머지 영역들을 채운다. 그러면, 제 3 가상 시점의 위치에 대응하는 가상 시점 영상이 생성되게 된다.
이러한 가상 시점 영상 합성 과정은 화소 단위로 사상이 이루어지며, 개별 화소끼리의 상호 연관성이 미약한 영상 처리이기 때문에, SIMD(Single Instruction Multiple Data) 등에 적합한 과정이라 할 수 있다. 따라서 멀티 코어를 구비하는 병렬 처리 장치를 이용한 병렬 처리가 가능하며, 이를 통하여 처리 속도 측면에서 그 효율성을 대폭 높일 수 있다.
이러한 가상 시점 영상의 합성이 완료되면, 영상 합성 처리부(30)는 다수 개의 영상 합성 처리 유닛(32, 34)을 병렬로 동작 시켜 각 영상 합성 처리 유닛(32, 34)별로 부분 다중화를 수행할 수 있다(단계:S5). 즉, 영상 합성 처리부(30)의 각각의 영상 합성 처리 유닛(32, 34)은 자신이 생성한 적어도 하나의 가상 시점 영상을 기반으로 하는 부분 다중화를 수행할 수 있다.
도 4는 다시점 영상 컨텐츠 생성 장치(100)에 의하여 수행되는 다중화 과정을 예시적으로 설명하는 예시도이다.
다시점 디스플레이에서 다중화를 수행하는 이유는 시차를 갖는 여러 시점의 영상을 인간의 눈에 동시에 제시하기 위함이다. 즉 디스플레이 화면 영역을 물리적으로 분할하여 여러 시점의 영상을 인간의 눈에 동시에 제시하기 위한 것이다.
도 4에 도시된 바와 같이, 제 1 영상 합성 처리 유닛(32)은 합성된 4개의 가상 시점 영상(301)을 기반으로 4개의 가상 시점 영상(301)이 반영된 부분 다중화된 영상(303)을 생성할 수 있다. 즉, 제 1 영상 합성 처리 유닛(32)은 자신이 생성한 4개의 가상 시점 영상(301)을 기반으로 하는 부분 다중화를 수행하는 것이다.
또한, 제 2 영상 합성 처리 유닛(34)은 합성된 5개의 가상 시점 영상(302)를 기반으로 5개의 가상 시점 영상(302)가 반영된 부분 다중화된 영상(304)를 생성할 수 있다. 즉, 제 2 영상 합성 처리 유닛(34)은 자신이 생성한 5개의 가상 시점 영상(302)를 기반으로 하는 부분적인 다중화, 예컨대 부분 다중화를 수행하는 것이다.
도 4의 도시에 있어서, 부분 다중화된 영상(303, 304) 또는 다중화된 영상(305)에서 사각형으로 표시된 부분은 화소 또는 부분 화소(Sub-Pixel)을 나타내며, 사각형 내에 표시된 숫자는 가상 시점의 번호를 의미한다. 예를 들면 사격형 내에 표시된 숫자가 '1'인 경우 제 1 가상 시점 영상으로부터 얻어진 화소를 의미할 수 있다.
이와 같이, 다시점 영상 컨텐츠 생성 장치(100)는 가상 시점 영상을 위한 영상 합성뿐만 아니라 부분 다중화까지 다수 개의 영상 합성 처리 유닛 사용하여 병렬로 처리하므로 처리 속도의 향상을 더욱 극대화할 수 있다.
다음으로, 상기 영상 통합부(40)는 다수 개의 영상 합성 처리 유닛(32, 34)으로부터 출력되는 부분 다중화된 영상(303, 304)을 다중화하여 통합할 수 있다(단계:S6). 예를 들면, 영상 통합부는 제 1 영상 합성 처리 유닛으로부터 출력되는 부분 다중화된 영상(303)과 제 2 영상 합성 처리 유닛으로부터 출력되는 부분 다중화된 영상(304)를 통합하여 최종적으로 다중화된 영상(305)를 출력할 수 있다.
이와 같은 9개의 가상 시점 영상들을 이용하여 상기 다중화된 영상(305)과 같은 다중화된 구조를 완성하려면, 9개의 가상 시점 영상을 모두 가지고 순차적으로 처리해야 되므로 종래에는 처리 속도가 지연되었다. 이에 비하여, 본 발명의 바람직한 실시예에 따른 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치(100)는 각각의 영상 합성 처리 유닛(32, 34)이 서로 영향을 주지 않고 병렬적으로 영상 합성 및 부분 다중화를 수행하므로, 그 처리 속도를 대폭 향상시키면서도 영상 통합부(40)를 이용하여 각각의 부분 다중화된 영상(303, 304)을 통합함으로써 최종적인 다중화 영상을 생성할 수 있다.
영상 통합이 완료되면, 영상 재생부(50)는 영상 통합부(40)로부터 출력되는 영상을 재생할 수 있다(단계:S7). 예를 들면, 영상 재생부(50)는 영상 통합부로부터 출력되는 9개의 가상 시점 영상이 모두 반영된 다중화된 영상, 즉 다시점 영상 컨텐츠를 재생하는 것이다. 따라서 사용자는 3차원 입체 영상을 시청할 수 있다.
이상 본 발명에 대하여 그 바람직한 실시예를 예시하여 설명하였지만 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 기술적 사항 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시켜 실시할 수 있음을 이해할 수 있을 것이다.
예를 들어, 가상 시점의 개수, 영상 합성 처리 유닛의 개수, 가상 시점의 개수와 영상 합성 처리 유닛 간의 대응 관계, 가상 시점의 위치를 영상 합성 처리 유닛으로 배분하는 방식 등은 실시 환경에 따라 다양하게 변형될 수 있다. 따라서, 본 발명의 앞으로의 실시예들의 변경은 본 발명의 기술을 벗어날 수 없을 것이다.
10 : 영상 입력부
20 : 가상 시점 위치 계산 및 분배부
30 : 영상 합성 처리부
32, 34 : 영상 합성 처리 유닛
40 : 영상 통합부
50 : 영상 재생부
100 : 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치

Claims (14)

  1. 입력 정보를 기반으로 하여 미리 설정된 가상 시점 개수에 대응하는 다수 개의 가상 시점의 위치를 계산하고, 상기 계산된 다수 개의 가상 시점의 위치를 다수 개의 영상 합성 처리 유닛으로 분배하는 가상 시점 위치 계산 및 분배부;
    상기 다수 개의 영상 합성 처리 유닛이 병렬로 동작하며, 각각의 상기 영상 합성 처리 유닛이 상기 가상 시점 위치 계산 및 분배부로부터 분배되는 적어도 하나의 상기 가상 시점의 위치에 대응하는 적어도 하나의 가상 시점 영상을 생성하고, 상기 생성된 적어도 하나의 가상 시점 영상을 기반으로 부분 다중화를 수행하는 영상 합성 처리부; 및
    상기 다수 개의 영상 합성 처리 유닛으로부터 출력되는 다수 개의 부분 다중화된 영상을 통합하는 영상 통합부를 포함하는 것을 특징으로 하는 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치.
  2. 제 1 항에 있어서, 상기 가상 시점 위치 계산 및 분배부는 상기 각각의 영상 합성 처리 유닛에 상기 적어도 하나의 가상 시점의 위치를 분배하고, 상기 적어도 하나의 가상 시점의 위치에 대응하는 상기 적어도 하나의 가상 시점 영상의 생성에 필요한 입력 정보를 상기 각각의 영상 합성 처리 유닛으로 전송하는 것을 특징으로 하는 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치.
  3. 제 1 항에 있어서, 상기 각각의 영상 합성 처리 유닛은,
    가상 시점 위치에서 인접한 적어도 하나의 참조 카메라의 영상을 사용하여 상기 가상 시점 위치에서의 가상 시점 영상으로 3차원 워핑을 수행하고, 상기 가상 시점 영역 중 상기 3차원 워핑으로도 사상되지 않는 영역은 주변 정보를 이용하여 보간하는 것을 특징으로 하는 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치.
  4. 제 1 항에 있어서, 상기 영상 통합부는 상기 다수 개의 영상 합성 처리 유닛으로부터 출력되는 상기 다수 개의 부분 다중화된 영상을 다중화하는 것을 특징으로 하는 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치.
  5. 제 1 항에 있어서, 다수 개의 참조 카메라로부터 획득되는 다수 개의 참조 영상 및 깊이 정보영상, 카메라 보정 정보 및 사용자 입력 정보 중 적어도 어느 하나를 포함하는 상기 입력 정보를 입력하는 영상 입력부를 더 포함하는 것을 특징으로 하는 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치.
  6. 입력 정보를 기반으로 하여 미리 설정된 가상 시점 개수에 대응하는 다수 개의 가상 시점의 위치를 계산하는 단계;
    상기 계산된 다수 개의 가상 시점의 위치를 다수 개의 영상 합성 처리 유닛으로 분배하는 단계;
    상기 다수 개의 영상 합성 처리 유닛이 병렬로 동작하여, 각각의 상기 영상 합성 처리 유닛이 상기 가상 시점 위치 계산 및 분배부로부터 분배되는 적어도 하나의 상기 가상 시점의 위치에 대응하는 적어도 하나의 가상 시점 영상을 생성하는 단계;
    각각의 상기 영상 합성 처리 유닛이 상기 생성된 적어도 하나의 가상 시점 영상을 기반으로 부분 다중화를 수행하는 단계; 및
    상기 다수 개의 영상 합성 처리 유닛으로부터 출력되는 다수 개의 부분 다중화된 영상을 통합하는 단계를 포함하는 것을 특징으로 하는 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 방법.
  7. 제 6 항에 있어서, 상기 계산된 다수 개의 가상 시점의 위치를 다수 개의 영상 합성 처리 유닛으로 분배하는 단계는,
    상기 각각의 영상 합성 처리 유닛에 상기 적어도 하나의 가상 시점의 위치를 분배하는 단계를 포함하는 것을 특징으로 하는 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 방법.
  8. 제 6 항에 있어서, 상기 적어도 하나의 가상 시점의 위치에 대응하는 상기 적어도 하나의 가상 시점 영상의 생성에 필요한 입력 정보를 상기 각각의 영상 합성 처리 유닛으로 전송하는 단계를 더 포함하는 것을 특징으로 하는 병렬 처리를 이용한하나 다시점 영상 컨텐츠 생성 방법.
  9. 제 6 항에 있어서, 상기 적어도 하나의 가상 시점 영상을 생성하는 단계는,
    가상 시점 위치에서 인접한 적어도 하나의 참조 카메라의 영상을 사용하여 상기 가상 시점 위치에서의 가상 시점 영상으로 3차원 워핑을 수행하는 단계; 및
    상기 가상 시점 영역 중 상기 3차원 워핑으로도 사상되지 않는 영역은 주변 정보를 이용하여 보간하는 단계를 포함하는 것을 특징으로 하는 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 방법.
  10. 제 6 항에 있어서, 상기 다수 개의 부분 다중화된 영상을 통합하는 단계는,
    상기 다수 개의 영상 합성 처리 유닛으로부터 출력되는 상기 다수 개의 부분 다중화된 영상을 다중화하는 단계를 포함하는 것을 특징으로 하는 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 방법.
  11. 제 6 항에 있어서, 다수 개의 참조 카메라로부터 획득되는 다수 개의 참조 영상 및 깊이 영상정보, 카메라 보정 정보 및 사용자 입력 정보 중 적어도 어느 하나를 포함하는 상기 입력 정보를 입력하는 단계를 더 포함하는 것을 특징으로 하는 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 방법.
  12. 병렬로 동작 가능한 다수 개의 영상 합성 처리 유닛을 구비하며;
    각각의 상기 영상 합성 처리 유닛은 외부로부터 적어도 하나의 가상 시점의 위치 및 입력 정보를 수신하고, 상기 입력 정보를 기반으로 상기 적어도 하나의 위치에 대응하는 적어도 하나의 가상 시점 영상을 생성하고, 상기 생성된 적어도 하나의 가상 시점 영상을 기반으로 하는 부분 다중화를 수행하는 것을 특징으로 하는 영상 합성 처리 장치.
  13. 제 12 항에 있어서, 상기 각각의 영상 합성 처리 유닛은,
    가상 시점 위치에서 인접한 적어도 하나의 참조 카메라의 영상을 사용하여 상기 가상 시점 위치에서의 가상 시점 영상으로 3차원 워핑을 수행하고, 상기 가상 시점 영역 중 상기 3차원 워핑으로도 사상되지 않는 영역은 주변 정보를 이용하여 보간하는 것을 특징으로 하는 영상 합성 처리 장치.
  14. 제 12 항에 있어서, 상기 각각의 영상 합성 처리 유닛은 상기 부분 다중화된 영상을 상기 다수 개의 영상 합성 처리 유닛으로부터 출력되는 영상을 합성하기 위한 영상 통합부로 출력하는 것을 특징으로 하는 영상 합성 처리 장치.
KR1020100130204A 2010-12-17 2010-12-17 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치 및 방법 KR20120068540A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100130204A KR20120068540A (ko) 2010-12-17 2010-12-17 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치 및 방법
US13/328,713 US9124863B2 (en) 2010-12-17 2011-12-16 Device and method for creating multi-view video contents using parallel processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100130204A KR20120068540A (ko) 2010-12-17 2010-12-17 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20120068540A true KR20120068540A (ko) 2012-06-27

Family

ID=46233857

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100130204A KR20120068540A (ko) 2010-12-17 2010-12-17 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치 및 방법

Country Status (2)

Country Link
US (1) US9124863B2 (ko)
KR (1) KR20120068540A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150034205A (ko) * 2012-09-25 2015-04-02 니폰 덴신 덴와 가부시끼가이샤 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체
KR101876007B1 (ko) * 2015-12-28 2018-07-06 전자부품연구원 분산 및 병렬 프로그래밍 기반의 실시간 초다시점 3d 콘텐츠 합성 시스템 및 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105448273A (zh) * 2014-09-01 2016-03-30 扬智科技股份有限公司 影像处理方法及系统
KR20160063805A (ko) 2014-11-27 2016-06-07 한국전자통신연구원 다시점 영상 생성 장치 및 방법
EP3038358A1 (en) 2014-12-22 2016-06-29 Thomson Licensing A method for adapting a number of views delivered by an auto-stereoscopic display device, and corresponding computer program product and electronic device
US11089281B2 (en) 2018-11-27 2021-08-10 At&T Intellectual Property I, L.P. Volumetric video creation from user-generated content
KR102658474B1 (ko) 2019-03-19 2024-04-17 한국전자통신연구원 가상 시점 합성을 위한 영상 부호화/복호화 방법 및 장치
CN111221657B (zh) * 2020-01-14 2023-04-07 新华智云科技有限公司 一种高效视频分布式调度合成方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4070778B2 (ja) * 2005-05-13 2008-04-02 株式会社ソニー・コンピュータエンタテインメント 画像処理システム
TW200937344A (en) * 2008-02-20 2009-09-01 Ind Tech Res Inst Parallel processing method for synthesizing an image with multi-view images
US8106924B2 (en) * 2008-07-31 2012-01-31 Stmicroelectronics S.R.L. Method and system for video rendering, computer program product therefor

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150034205A (ko) * 2012-09-25 2015-04-02 니폰 덴신 덴와 가부시끼가이샤 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체
KR101876007B1 (ko) * 2015-12-28 2018-07-06 전자부품연구원 분산 및 병렬 프로그래밍 기반의 실시간 초다시점 3d 콘텐츠 합성 시스템 및 방법

Also Published As

Publication number Publication date
US20120154533A1 (en) 2012-06-21
US9124863B2 (en) 2015-09-01

Similar Documents

Publication Publication Date Title
KR20120068540A (ko) 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치 및 방법
KR100950046B1 (ko) 무안경식 3차원 입체 ｔｖ를 위한 고속 다시점 3차원 입체영상 합성 장치 및 방법
KR20120063984A (ko) 다시점 영상 생성 방법 및 장치
JP5402483B2 (ja) 擬似立体画像作成装置及び擬似立体画像表示システム
JP4489610B2 (ja) 立体視可能な表示装置および方法
US20140152782A1 (en) Method and device for the creation of pseudo-holographic images
RU2013105715A (ru) Вспомогательные данные в трансляции 3d изображения
KR100897542B1 (ko) 임의 시점 영상 합성 시 영상 보정 방법 및 장치
TW201624058A (zh) 廣視角裸眼立體圖像顯示方法、裸眼立體顯示設備以及其操作方法
CN104041027A (zh) 用于三维显示的显示处理器
WO2012140397A2 (en) Three-dimensional display system
KR101992767B1 (ko) 입체영상 디스플레이에서의 계층적 다중화를 위한 장치 및 방법
JP4703635B2 (ja) 立体視画像生成方法、その装置、及び立体視画像表示装置
Kooima et al. A gpu sub-pixel algorithm for autostereoscopic virtual reality
CN102612837B (zh) 由2d视图产生部分视图和/或立体原图以便立体重现的方法和装置
CN113475080A (zh) 图像处理装置、图像生成方法和图像处理方法
CN104350748B (zh) 使用低分辨率深度图的视图合成
WO2020066699A1 (ja) 情報統合方法、情報統合装置、及び情報統合プログラム
KR20180108967A (ko) 멀티비전 화면 영상 렌더링 시스템, 장치 및 방법
KR20120062477A (ko) 다시점 깊이 영상 생성 방법 및 장치
KR101876007B1 (ko) 분산 및 병렬 프로그래밍 기반의 실시간 초다시점 3d 콘텐츠 합성 시스템 및 방법
KR20170100229A (ko) 다시점 영상 디스플레이 시스템
KR20050063797A (ko) 삼-차원 디스플레이
Martín et al. GLSV: Graphics library stereo vision for OpenGL
KR102464596B1 (ko) 홀로그램 생성 방법

Legal Events

Date Code Title Description
A201 Request for examination
E601 Decision to refuse application