KR20120063984A - 다시점 영상 생성 방법 및 장치 - Google Patents

다시점 영상 생성 방법 및 장치 Download PDF

Info

Publication number
KR20120063984A
KR20120063984A KR1020100125188A KR20100125188A KR20120063984A KR 20120063984 A KR20120063984 A KR 20120063984A KR 1020100125188 A KR1020100125188 A KR 1020100125188A KR 20100125188 A KR20100125188 A KR 20100125188A KR 20120063984 A KR20120063984 A KR 20120063984A
Authority
KR
South Korea
Prior art keywords
image
information
unit
image information
view image
Prior art date
Application number
KR1020100125188A
Other languages
English (en)
Inventor
신홍창
방건
엄기문
김태원
장은영
허남호
이수인
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100125188A priority Critical patent/KR20120063984A/ko
Priority to US13/314,872 priority patent/US8731279B2/en
Publication of KR20120063984A publication Critical patent/KR20120063984A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 다시점 영상의 생성 방법 및 장치로서, 본 발명에 따른 다시점 영상의 생성 방법은 적어도 하나의 참조 시점 영상을 획득하는 단계, 참조 시점 영상의 단위 영상 정보를 기반으로 가상 시점 영상의 단위 영상 정보를 생성하는 단계, 참조 시점 영상의 단위 영상 정보와 가상 시점 영상의 단위 영상 정보를 다중화하는 단계 및 다중화된 단위 영상 정보들을 이용해서 다중화된 단위 영상 정보들 사이의 가려짐 영역에 대한 보간을 수행하여 다시점 영상을 생성하는 단계를 포함하며, 본 발명에 의하면, 다시점 영상의 생성 과정에서 개별 시점 영상을 모두 완성하고 이를 다시 재배치하는 불필요한 과정을 피할 수 있다.

Description

다시점 영상 생성 방법 및 장치{Multi-Viewpoint Image Generating Method and Apparatus Thereof}
본 발명은 영상 처리 기술에 관한 것으로서, 더 구체적으로는 다시점 3 차원 디스플레이에서 복수의 시점에 의한 다시점 영상을 생성하여 다시점 디스플레이에 재생하기 위해 다중화하는 기술에 관한 것이다.
3 차원 디스플레이(3 dimensional display)는 기본적으로 시차(disparity in viewpoint)가 존재하는 두 시점(viewpoint) 이상의 2차원 영상들을 인간의 눈에 동시에 제시하여 입체감을 느낄 수 있도록 한다.
다시점(multiview 또는 multi-viewpoint) 영상은 이처럼 복수의 시점을 갖는 2차원 영상들에 의해 구성되어 3 차원적인 시각 정보를 제시하는 영상으로서, 3차원 디스플레이에 의해 디스플레이될 수 있다.
본 발명에서는 다시점 영상의 생성 과정에서 개별 시점 영상을 모두 완성하고 이를 다시 재배치하는 불필요한 과정을 피할 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 참조 시점의 개별 화소 또는 개별 부분 화소가 영상 합성 방법을 통해 가상 시점에서의 위치가 계산된 화소 또는 부분 화소를 바로 다중화하는 과정을 거치도록 하는 직접 시점 다중화(Direct View Multiplexing) 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 최종 영상의 출력단에서 출력 장치의 구조 및 특성에 맞는 보간이 수행하여 시청자가 느끼는 화질 또는 입체감에 직접적인 영향을 줄 수 있는 방법을 제공하는 것을 목적으로 한다.
본 발명의 일 양태는 다시점 영상 생성 방법으로서, 적어도 하나의 참조 시점 영상을 획득하는 단계, 참조 시점 영상의 단위 영상 정보를 기반으로 가상 시점 영상의 단위 영상 정보를 생성하는 단계, 참조 시점 영상의 단위 영상 정보와 가상 시점 영상의 단위 영상 정보를 다중화하는 단계 및 다중화된 단위 영상 정보들을 이용해서 다중화된 단위 영상 정보들 사이의 가려짐 영역에 대한 보간을 수행하여 다시점 영상을 생성하는 단계를 포함한다.
이때, 가려짐 영역에 대한 보간은, 가려짐 영역의 공간 정보를 기반으로, 가려짐 영역에 이웃하는 단위 영상 정보들의 정보를 이용하여 수행될 수 있다.
이때, 가상 시점 영상의 단위 영상 정보는 참조 시점 영상의 단위 영상 정보를 기반으로 복수 생성될 수 있으며, 복수 생성된 가상 시점 영상의 단위 영상 정보는 서로 다른 시점을 가질 수 있다.
여기서, 가상 시점 영상의 단위 영상 정보는, 가상 시점 영상의 단위 영상 정보를 생성할 때 기반이 된 참조 시점 영상의 단위 영상 정보가 다중화된 다시점 영상의 공간상으로 다중화될 수 있다.
여기서, 다중화된 단위 영상 정보들에 대응하는 영상들의 깊이 우선 순위는 다중화된 단위 영상 정보의 위치 정보를 기반으로 결정될 수도 있다.
또한, 단위 영상 정보는 화소에 관한 영상 정보이거나 부분 화소(sub-pixel)에 관한 영상 정보일 수 있다.
본 발명의 또 다른 양태인 다시점 영상 생성 방법은, 적어도 하나의 참조 시점 영상을 획득하는 단계, 참조 시점 영상의 단위 영상 정보를 다중화하는 단계, 다중화된 참조 시점 영상의 단위 영상 정보를 기반으로 다중화된 가상 시점 영상의 다중 영상 데이터를 생성하는 단계, 다중화된 단위 영상 정보들을 이용해서 다중화된 단위 영상 정보들 사이의 가려짐 영역에 대한 보간을 수행하여 다시점 영상을 생성하는 단계를 포함한다.
이때, 가려짐 영역에 대한 보간은, 가려짐 영역의 공간 정보를 기반으로, 가려짐 영역에 이웃하는 단위 영상 정보들의 정보를 이용하여 수행될 수 있다.
여기서, 가상 시점 영상의 단위 영상 정보는 참조 시점 영상의 단위 영상 정보를 기반으로 복수 생성될 수 있으며, 복수 생성된 가상 시점 영상의 단위 영상 정보는 서로 다른 시점에 대응할 수 있다.
이때, 가상 시점 영상의 단위 영상 정보는, 기반이 되는 참조 시점 영상의 단위 영상 정보가 다중화된 다시점 영상의 공간상으로 다중화될 수 있다.
여기서, 가상 시점 영상의 단위 영상 정보들에 대한 깊이 정보는 기반이 된 참조 시점 영상의 단위 영상 정보에 관한 기하 정보와 가상 시점 영상의 단위 영상 정보들이 다중화될 위치 정보를 기반으로 결정될 수도 있다.
또한, 가상 시점 영상의 단위 영상 정보들에 대응하는 영상에 대한 기하 정보는 기반이 된 참조 시점 영상의 단위 영상 정보에 대응하는 영상에 관한 기하 정보와 가상 시점 영상의 단위 영상 정보들이 다중화될 위치 정보를 기반으로 결정될 수도 있다.
여기서, 단위 영상 정보는 화소에 관한 영상 정보이거나 부분 화소(sub-pixel)에 관한 영상 정보일 수 있다.
본 발명의 또 다른 양태는 다시점 영상 생성 장치로서, 참조 시점 영상을 획득하는 영상 입력부, 다시점 영상을 출력하는 영상 출력부 및 참조 시점 영상을 기반으로 다시점 영상을 생성하는 영상 생성부를 포함하며, 영상 생성부는, 참조 시점 영상의 단위 영상 정보를 기반으로 가상 시점 영상의 단위 영상 정보를 생성하는 가상 시점 영상 생성부, 각 시점의 단위 영상 정보가 영상 출력부의 출력 영상상에 배치되는 공간에 대한 정보를 각 시점의 단위 영상 정보에 부여하여 다중화하는 다중화부 및 다중화된 참조 시점 영상의 단위 영상 정보 및 가상 시점 영상의 단위 영상 정보들 사이의 가려짐 영역에 대한 보간을 수행하는 보간부를 포함한다.
여기서 다중화부는 참조 시점 영상의 단위 영상 정보와 가상 시점 영상 생성부가 생성한 가상 시점 영상의 단위 영상 정보를 다중화할 수 있다.
이때, 다중화부는 참조 시점 영상의 단위 영상 정보를 다중화하고, 가상 시점 영상 생성부는 다중화된 참조 시점 영상의 단위 영상 정보를 기반으로 영상 출력부의 출력 영상상에 배치되는 공간에 대한 정보를 갖는 다중화된 가상 시점 영상의 단위 영상 정보를 생성할 수 있다.
또한, 단위 영상 정보는 화소에 관한 영상 정보이거나 부분 화소(sub-pixel)에 관한 영상 정보일 수 있다.
본 발명에 의하면, 다시점 영상의 생성 과정에서 개별 시점 영상을 모두 완성하고 이를 다시 재배치하는 불필요한 과정을 피할 수 있다.
본 발명에 의하면, 참조 시점의 개별 화소 또는 개별 부분 화소가 영상 합성 방법을 통해 가상 시점에서의 위치가 계산된 화소 또는 부분 화소를 바로 다중화하는 과정을 거치도록 하여 다시점 영상을 효율적으로 생성할 수 있다.
본 발명에 의하면, 최종 다시점 영상의 출력단에서 출력 장치의 구조 및 특성에 맞는 보간이 수행하여 시청자가 느끼는 화질 또는 입체감에 직접적인 영향을 줄 수 있다.
도 1은 영상 합성을 통해 다시점 영상을 생성하는 것을 개략적으로 설명하는 도면이다.
도 2는 다중화 처리를 포함하여 다시점 영상을 생성하는 방법의 일 예를 개략적으로 도시한 것이다.
도 3은 본 발명이 적용되는 직접 시점 다중화(Direct View Multiplexing) 방법을 개략적으로 설명하는 도면이다.
도 4는 본 발명의 일 실시예로서 화소 수준에서 다시점 영상을 생성 및 출력하는 방법을 개략적으로 설명하는 도면이다.
도 5는 본 발명이 적용되는 다시점 영상 생성 방법의 일 예를 개략적으로 설명하는 순서도이다.
도 6는 본 발명이 적용되는 다시점 영상 생성 방법의 또 다른 예를 개략적으로 설명하는 순서도이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 명세서의 구성 요소를 설명하는데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성 요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합", "접속"될 수도 있다고 이해되어야 할 것이다.
아울러, 본 발명에서 특정 구성을 "포함"한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
다시점 영상을 구성하는 가장 대표적인 방법 중 하나로서, 하나 이상의 카메라로 촬영된 여러 시점의 참조 시점 영상(들)과 이 참조 시점 영상(들)의 영상에 관한 기하 정보, 예컨대 깊이를 느낄 수 있는 깊이 영상에 있어서 깊이 정보 등을 이용하여 영상 합성(View Synthesis)를 수행하는 것을 들 수 있다.
도 1은 영상 합성을 통해 다시점 영상을 생성하는 것을 개략적으로 설명하는 도면이다.
영상 합성은, 기본적으로 카메라와 같은 영상 입력부(110)를 통해 획득한 참조 시점 영상의 각 화소값과 이 화소들에 대응하는 기하 정보를 기반으로 가상 시점 영상을 생성하는 것을 말한다. 즉, 참조 시점 영상은 카메라를 통해서 획득되는 영상이며, 가상 시점 영상은 참조 시점 영상을 기반으로 생성되며, 참조 시점 영상과는 다른 시점을 가지는 영상이다.
좀 더 구체적으로, 다시점 영상 처리부(120)는 참조 시점 영상의 화소와 이 화소값에 대응하는 기하 정보, 예컨대 카메라 캘리브레이션 정보나 화소의 깊이 정보 등을 이용하여 가상 시점 영상에서 참조 시점 영상의 화소에 대응하는 위치에 해당하는 화소의 화소값과 위치값 등을 산출하여 가상 시점 영상을 생성할 수 있다.
다시점 영상 처리부(120)는 참조 시점 영상과 영상 합성 과정을 통해 생성된 가상 시점 영상, 즉 시점별 영상들(123)을 다시점 디스플레이에서 요구하는 입력 형식(input format, 127)에 맞게 배치 또는 구성한다.
영상 출력부(130)는 다시점 디스플레이이다. 영상 출력부(130)는 입력 형식(127)에 따라서 입력된 시점별 영상을 영상 출력부의 디스플레이 화소 배치에 맞게 재비치하며, 이를 다중화(multiplexing)라 한다.
본 명세서에서 다중화(multiplexing)는 다시점 영상을 출력할 수 있는 영상 출력부의 디스플레이에 대하여, 해당 디스플레이의 화소 배치에 따라서 해당 디스플레이의 어떤 좌표값을 갖는 화소에 배치되는지를 결정하는 것(예컨대 시점별 영상의 화소들에 최종 출력 디스플레이상에서 배치될 공간 정보를 할당하는 것) 또는 그에 따라서 시점별 영상의 화소를 배치하는 것을 포함한다.
다시점 디스플레이에서 다중화가 필요한 이유는 시차(disparity in viewpoint)를 갖는 여러 시점의 영상을 인간의 눈에 제시하고 이를 통해 3 차원적인 감각을 전달하기 위해서, 디스플레이 패널의 공간을 물리적으로 분할하여 여러 시점의 영상을 동시에 제시할 필요가 있기 때문이다.
영상 출력부(130)는 다중화된 시점별 영상을 기반으로 최종 다시점 영상을 출력한다.
도 2는 다중화 처리를 포함하여 다시점 영상을 생성하는 방법의 일 예를 개략적으로 도시한 것이다.
도 2의 식별번호 210 내지 240은 두 시점의 영상들을 입력받는 스테레오스코픽 디스플레이의 다중화 방식의 일 예를 나타낸 것이다.
다시점 디스플레이(스테레오스코픽 디스플레이)의 입력 형식에 맞춰서 두 시점의 영상을 사이드-바이-사이드(side-by-side) 형식으로 입력하는 경우(210), 다시점 디스플레이에서는 예컨대 한 열 단위로 인터레이스(interlace)하는 방식으로 다중화하여 출력(220)할 수 있다.
다시점 디스플레이(스테레오스코픽 디스플레이)의 입력 형식에 맞춰서 두 시점의 영상을 탑-바텀(top-bottom) 형식으로 입력하는 경우(230), 다시점 디스플레이에서는 예컨대 한 행 단위로 인터레이스(interlace)하는 방식으로 다중화하여 출력(240)할 수 있다.
식별번호 250과 260은 다시점 디스플레이(스테레오스코픽 디스플레이)가 9 시점의 영상들을 입력받아 다중화하는 경우에 관한 일 예이다.
9 시점의 영상들은 다시점 디스플레이의 입력 형식에 따라서 배치(250)된다. 9 시점의 영상들을 3x3의 격자 구조로 배치하는 입력 형식은 다시점 디스플레이가 요구하는 입력 형식에 따라 달라질 수 있다.
다시점 디스플레이가 요구하는 입력 형식에 따라서 배치된 다시점 영상을 입력하면, 다시점 디스플레이는 각 시점(viewpoint)의 영상을 화소 단위 혹은 부분 부분 화소(sub-pixel) 단위로 다중화하는 과정을 거친다.
다중화되어 디스플레이 패널상의 공간적인 배치에 관한 정보를 할당받은 각 시점 영상의 단위 영상 정보, 예컨대 화소 또는 부분 화소는 디스플레이 패널의 구동 방식 또는 렌티큘러(lenticular) 렌즈나 패럴랙스 배리어(parallax barrier) 등과 같이 디스플레이 패널 상하에 배치된 물리적인 구조에 의하여 각 시점이 분리되어 출력된다.
다중화 방식은 영상 출력부, 즉 다시점 디스플레이의 물리적인 구조나 구동 방식에 따라서 달라질 수 있다.
도 1에 도시된 바와 같이, 다시점 디스플레이에서 다시점 영상을 생성하고 재생하기 위해 순차적으로 영상들을 생성하는 경우, 예컨대 다시점 영상을 생성하기 위한 시점별 영상들을 모두 생성하고 나서 최종적으로 출력할 다시점 영상을 생성하는 경우에는 시간 소모적일뿐만 아니라 영상 자원의 소모도 불가피하다.
도 3은 본 발명이 적용되는 직접 시점 다중화(Direct View Multiplexing) 방법을 개략적으로 설명하는 도면이다.
영상 입력부(310)는 다시점 영상을 생성하기 위해 필요한 참조 시점 영상과 참조 시점 영상에 대한 기하 정보 등이 입력된다.
도 1에 도시된 경우에는 다시점 영상 처리부(120)에서 이 참조 시점 영상과 기하 정보를 이용하여 가상 시점의 영상들을 디스플레이에서 요구하는 시점 수만큼 생성하는 과정을 완료한다.
도 3에 도시된 경우에는, 개별 가상 시점의 영상들의 생성을 완료하는 중간 단계를 거치지 않고, 직접 시점 다중화부(320)를 통해 참조 시점의 단위 영상 정보 즉, 화소 또는 부분 화소와 가상 시점에 사상(mapping)된 화소 또는 부분 화소를 화소 또는 부분 화소 레벨에서 곧바로 다중화 처리한다. 이렇게 화소 또는 부분 화소 단위로 직접 다중화 처리된 단위 영상 정보는 다시점 디스플레이의 최종 출력 영상, 즉 다시점 영상에 바로 사상된다.
따라서, 도 3에 도시된 경우에는, 다중화된 영상, 즉 출력 영상 레벨에서 영상 합성이 이루어지며, 다중화 처리도 단위 영상 정보 즉, 화소 또는 부분 화소 레벨에서 처리된다. 예컨대, 영상 합성의 과정에서 3차원 기하 정보를 이용한 사상 과정(3D warping)이나 깊이 우선 순위 결정 과정(Z-buffering) 등의 처리를 다시점 디스플레이의 최종 출력 영상의 레벨에서, 즉 다중화된 단위 영상 정보의 수준에서 수행된다.
도 4는 본 발명의 일 실시예로서 화소 수준에서 다시점 영상을 생성 및 출력하는 방법을 개략적으로 설명하는 도면이다.
3 차원 기하 정보를 가지고 있는 참조 시점 영상(410)의 개별 화소(415)가 영상 합성 과정과 다중화 과정 또는 다중화 과정과 영상 합성 과정을 거쳐 최종 출력 영상(420)에 바로 사상된다. 참조 시점 영상(410)의 개별 화소(415)를 기반으로 가상 시점의 대응 화소를 생성하고, 참조 시점 영상의 개별 화소와 가상 시점의 개별 화소를 다중화할 수 있다.
더 나아가 참조 시점 영상(410)의 개별 화소(415)를 다중화하고, 다중화된 개별 화소를 기반으로 가상 시점의 대응하는 화소를 생성할 수도 있다. 이 경우에, 생성되는 가상 시점의 화소는 다중화되어 생성된다. 즉, 참조 시점 영상의 개별 화소가 다중화되어 최종 다시점 영상에서 어떤 위치에 배치될 것인지에 관한 공간 정보를 가지고 있는 상태에서, 이 참조 시점 영상의 개별 화소와 그에 따른 공간 정보를 기반으로 생성된 가상 시점의 화소에도 동일한 최종 다시점 영상상의 배치에 관한 공간 정보를 갖는다. 즉, 생성된 가상 시점의 화소는 다중화되어 있다.
다중화되어 각 화소가 시점별로 배치된 다시점 영상(430)에는 참조 시점 영상에서는 보이지 않고, 가상 시점 영상에서만 나타나는 가려짐 영역(occluded area 또는 hole, 435)이 생기게 된다. 가려짐 영역은 참조 시점에서는 보이지 않는 영역, 즉 참조 시점 영상에서는 해당 부분의 정보가 없는 영역이다.
따라서, 참조 시점 영상이나 가사 시점 영상에서 해당 영역과 가장 높은 유사성을 갖는 영역의 정보를 기반으로 보간(interpolation)을 수행한다. 가려짐 영역(435)과 유사성이 높은 곳은 가려짐 영역에 이웃한 주변 영역일 확률이 높다.
도 1에 도시된 경우에는, 가상 시점 영상을 생성하는 과정에서 보간이 이루어진다. 즉, 동일한 가려짐 영역에 대하여, 가상 시점 영상을 생성할 때마다 보간 절차를 수행해야 한다. 따라서, 동일한 보간 절차가 개별 가상 시점 영상별로 중복 수행된다.
도 3에 도시된 경우에는, 단위 영상 정보 단위, 즉 화소나 부분 화소 단위로 다중화된 다시점 영상의 레벨에서 주변 영역의 영상 정보를 이용하여 보간 절차가 수행되므로, 하나의 다시점 영상에 대하여, 동일한 가려짐 영역에 관한 보간은 1회만 수행되어도 된다.
다시점 디스플레이의 다중화 구조에서는 이웃하는 시점 영상의 개별 화소 또는 부분 화소(sub-pixel)가 공간적 지역성을 가진다. 비록 가려짐 영역인 경우에도 각 가상 시점의 가려짐 영역들은 공간적 지역성을 가진다. 즉, 공간적으로 이웃하는 시점 영상의 개별 화소 또는 부분 화소는 가려짐 영역과 유사한 영상 정보를 가지게 된다.
따라서, 가려짐 영역들도 공간적 지역성을 기반으로 유사성이 높은 이웃한 시점 영상의 정보를 이용하여 보간할 수 있다. 이때, 다중화의 방식이나 구조는 다시점 디스플레이마다 다를 수 있기 때문에, 구체적인 보간 방법은 다중화 구조에 따라서 달라질 수 있다.
본 발명에 따르면, 최종적으로 출력되는 다시점 영상의 레벨에서 보간이 이루어지기 때문에, 보간의 횟수를 줄일 수 있을 뿐만 아니라, 보간의 구체적인 방식이 다시점 디스플레이의 구조나 특성에 특화되어 수행된다. 따라서, 시청자가 직접 느끼는 화질 및 입체감에 직접적으로 영향을 주는 보간을 수행할 수 있다.
다중화된 다시점 영상의 레벨에서 보간이 수행된 후에는 최종적인 다시점 영상(440)이 생성되어 다시점 디스플레이상으로 출력된다.
도 5는 본 발명이 적용되는 다시점 영상 생성 방법의 일 예를 개략적으로 설명하는 순서도이다.
다시점 영상을 생성하기 위해, 적어도 하나 이상의 카메라를 통해 참조 시점 영상을 획득한다(S510). 카메라 혹은 영상 입력 장치는 참조 시점 영상에 관한 3 차원 기하 정보를 함께 얻을 수 있다. 3차원 기하 정보는 해당 영상의 깊이 정보와 같은 시각 정보를 포함한다.
참조 시점 영상의 화소를 기반으로 가상 시점의 화소를 생성한다(S520). 여기서는 설명의 편의를 위해, 화소 단위로 영상 정보를 처리하는 것으로 설명하지만, 참조 시점 영상의 부분 화소(sub-pixel)을 기반으로 가상 시점의 부분 화소를 생성하고, 이 부분 화소들의 다시점 영상 생성을 위해 처리하는 영상 정보의 단위로 할 수도 있다.
참조 시점 영상의 화소와 가상 시점 영상의 화소를 다중화 한다(S530). 다중화 방식은 영상 출력 장치 즉, 다시점 디스플레이의 구조나 특성에 따라서 달라질 수 있다. 다중화를 통해, 각 시점 영상의 화소는 최종적으로 출력될 다시점 영상에서 배치되는 공간에 관한 정보를 할당받을 수 있다.
다중화된 주변 화소 정보를 이용하여 보간을 수행한다(S540). 다중화를 통해 최종적인 다시점 영상에서 배치되는 공간에 관한 정보가 할당되면, 다시점 영상에서 가려짐 영역을 판단할 수 있고, 각 시점의 화소에 대하여 공간적 지역성을 판단할 수 있다.
따라서, 공간적 지역성을 기반으로 가려짐 영역에 대한 보간을 수행할 수 있다. 상술한 바와 같이, 이 보간은 최종적인 다시점 영상의 레벨에서 수행되므로, 동일한 가려짐 영역에 대하여 중복 수행되지 않고, 다시점 디스플레이에 특화된 방식으로 수행될 수 있다.
보간을 수행을 완료하면 최종적인 다시점 영상을 출력한다(S550).
도 6는 본 발명이 적용되는 다시점 영상 생성 방법의 또 다른 예를 개략적으로 설명하는 순서도이다.
다시점 영상을 생성하기 위해, 적어도 하나 이상의 카메라를 통해 참조 시점 영상을 획득한다(S610). 카메라 혹은 영상 입력 장치는 참조 시점 영상에 관한 3 차원 기하 정보를 함께 얻을 수 있다. 3차원 기하 정보는 해당 영상의 깊이 정보와 같은 시각 정보를 포함한다.
참조 시점 영상의 화소를 다중화한다(S620). 여기서는 설명의 편의를 위해, 화소 단위로 영상 정보를 처리하는 것으로 설명하지만, 참조 시점 영상의 부분 화소(sub-pixel)을 다시점 영상 생성을 위해 처리하는 영상 정보의 단위로 할 수도 있다.
다중화 방식은 영상 출력 장치 즉, 다시점 디스플레이의 구조나 특성에 따라서 달라질 수 있다. 다중화를 통해, 참조 시점 영상의 화소는 최종적으로 출력될 다시점 영상에서 배치되는 공간에 관한 정보를 할당받을 수 있다.
다중화된 참조 시점 영상의 화소를 기반으로 다중화된 가상 시점 영상의 화소를 생성한다(S630). 이 경우, 가상 시점 영상의 화소는, 다중화된 참조 시점 영상의 공간적인 정보를 함께 활용하여 생성될 수 있다. 즉, 가상 시점 영상의 화소는 최종 출력될 다시점 영상에서 공간적으로 배치되는 위치를 고려하여 생성될 수 있다. 따라서, 생성된 가상 시점 영상의 화소는 다중화에 의해 부여되는 최종 다시점 영상상의 공간적인 배치 정보를 가지게 된다.
다중화된 주변 화소 정보를 이용하여 보간을 수행한다(S640). 참조 시점 영상의 화소와 가상 시점 영상의 화소가 최종적인 다시점 영상에서 배치되는 공간에 관한 정보를 가지고 있으므로, 다시점 영상에서의 가려짐 영역을 판단할 수 있을 뿐만 아니라, 각 시점의 화소에 대하여 공간적 지역성을 판단할 수 있다.
따라서, 공간적 지역성을 기반으로 가려짐 영역에 대한 보간을 수행할 수 있다. 상술한 바와 같이, 이 보간은 최종적인 다시점 영상의 레벨에서 수행되므로, 동일한 가려짐 영역에 대하여 중복 수행되지 않고, 다시점 디스플레이에 특화된 방식으로 수행될 수 있다.
보간을 수행을 완료하면 최종적인 다시점 영상을 출력한다(S650).
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당업자라면 순서도에 나타낸 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (17)

  1. 적어도 하나의 참조 시점 영상을 획득하는 단계;
    상기 참조 시점 영상의 단위 영상 정보를 기반으로 가상 시점 영상의 단위 영상 정보를 생성하는 단계;
    상기 참조 시점 영상의 단위 영상 정보와 상기 가상 시점 영상의 단위 영상 정보를 다중화하는 단계; 및
    상기 다중화된 단위 영상 정보들을 이용해서 상기 다중화된 단위 영상 정보들 사이의 가려짐 영역에 대한 보간을 수행하여 다시점 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 다시점 영상 생성 방법.
  2. 제1항에 있어서, 상기 가려짐 영역에 대한 보간은,
    상기 가려짐 영역의 공간 정보를 기반으로, 상기 가려짐 영역에 이웃하는 단위 영상 정보들의 정보를 이용하여 수행되는 것을 특징으로 하는 다시점 영상 생성 방법.
  3. 제1항에 있어서, 상기 가상 시점 영상의 단위 영상 정보는 상기 참조 시점 영상의 단위 영상 정보를 기반으로 복수 생성되며,
    상기 복수 생성된 가상 시점 영상의 단위 영상 정보는 서로 다른 시점을 갖는 것을 특징으로 하는 다시점 영상 생성 방법.
  4. 제1항에 있어서, 상기 가상 시점 영상의 단위 영상 정보는,
    상기 가상 시점 영상의 단위 영상 정보를 생성할 때 기반이 된 상기 참조 시점 영상의 단위 영상 정보가 다중화된 다시점 영상의 공간상으로 다중화되는 것을 특징으로 하는 다시점 영상 생성 방법.
  5. 제1항에 있어서, 상기 다중화된 단위 영상 정보들에 대응하는 영상들의 깊이 우선 순위는 다중화된 단위 영상 정보의 위치 정보를 기반으로 결정되는 것을 특징으로 하는 다시점 영상 생성 방법.
  6. 제1항에 있어서, 상기 단위 영상 정보는 화소에 관한 영상 정보이거나 부분 화소(sub-pixel)에 관한 영상 정보인 것을 특징으로 하는 다시점 영상 생성 방법.
  7. 적어도 하나의 참조 시점 영상을 획득하는 단계;
    상기 참조 시점 영상의 단위 영상 정보를 다중화하는 단계;
    상기 다중화된 참조 시점 영상의 단위 영상 정보를 기반으로 다중화된 가상 시점 영상의 다중 영상 데이터를 생성하는 단계;
    상기 다중화된 단위 영상 정보들을 이용해서 상기 다중화된 단위 영상 정보들 사이의 가려짐 영역에 대한 보간을 수행하여 다시점 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 다시점 영상 생성 방법.
  8. 제7항에 있어서, 상기 가려짐 영역에 대한 보간은,
    상기 가려짐 영역의 공간 정보를 기반으로, 상기 가려짐 영역에 이웃하는 단위 영상 정보들의 정보를 이용하여 수행되는 것을 특징으로 하는 다시점 영상 생성 방법.
  9. 제7항에 있어서, 상기 가상 시점 영상의 단위 영상 정보는 상기 참조 시점 영상의 단위 영상 정보를 기반으로 복수 생성되며,
    상기 복수 생성된 가상 시점 영상의 단위 영상 정보는 서로 다른 시점에 대응하는 것을 특징으로 하는 다시점 영상 생성 방법.
  10. 제7항에 있어서, 상기 가상 시점 영상의 단위 영상 정보는,
    상기 기반이 되는 참조 시점 영상의 단위 영상 정보가 다중화된 다시점 영상의 공간상으로 다중화되는 것을 특징으로 하는 다시점 영상 생성 방법.
  11. 제7항에 있어서, 상기 가상 시점 영상의 단위 영상 정보들에 대한 깊이 정보는 상기 기반이 된 참조 시점 영상의 단위 영상 정보에 관한 기하 정보와 상기 가상 시점 영상의 단위 영상 정보들이 다중화될 위치 정보를 기반으로 결정되는 것을 특징으로 하는 다시점 영상 생성 방법.
  12. 제7항에 있어서, 상기 가상 시점 영상의 단위 영상 정보들에 대응하는 영상에 대한 기하 정보는 상기 기반이 된 참조 시점 영상의 단위 영상 정보에 대응하는 영상에 관한 기하 정보와 상기 가상 시점 영상의 단위 영상 정보들이 다중화될 위치 정보를 기반으로 결정되는 것을 특징으로 하는 다시점 영상 생성 방법.
  13. 제7항에 있어서, 상기 단위 영상 정보는 화소에 관한 영상 정보이거나 부분 화소(sub-pixel)에 관한 영상 정보인 것을 특징으로 하는 다시점 영상 생성 방법.
  14. 참조 시점 영상을 획득하는 영상 입력부;
    다시점 영상을 출력하는 영상 출력부; 및
    상기 참조 시점 영상을 기반으로 상기 다시점 영상을 생성하는 영상 생성부를 포함하며,
    상기 영상 생성부는,
    상기 참조 시점 영상의 단위 영상 정보를 기반으로 가상 시점 영상의 단위 영상 정보를 생성하는 가상 시점 영상 생성부;
    각 시점의 단위 영상 정보가 상기 영상 출력부의 출력 영상상에 배치되는 공간에 대한 정보를 상기 각 시점의 단위 영상 정보에 부여하여 다중화하는 다중화부; 및
    상기 다중화된 참조 시점 영상의 단위 영상 정보 및 가상 시점 영상의 단위 영상 정보들 사이의 가려짐 영역에 대한 보간을 수행하는 보간부를 포함하는 것을 특징으로 하는 다시점 영상 생성 장치.
  15. 제14항에 있어서,
    상기 다중화부는 참조 시점 영상의 단위 영상 정보와 상기 가상 시점 영상 생성부가 생성한 가상 시점 영상의 단위 영상 정보를 다중화하는 것을 특징으로 하는 다시점 영상 생성 장치.
  16. 제14항에 있어서,
    상기 다중화부는 참조 시점 영상의 단위 영상 정보를 다중화하고,
    상기 가상 시점 영상 생성부는 상기 다중화된 참조 시점 영상의 단위 영상 정보를 기반으로 상기 영상 출력부의 출력 영상상에 배치되는 공간에 대한 정보를 갖는 다중화된 가상 시점 영상의 단위 영상 정보를 생성하는 것을 특징으로 하는 다시점 영상 생성 장치.
  17. 제14항에 있어서, 상기 단위 영상 정보는 화소에 관한 영상 정보이거나 부분 화소(sub-pixel)에 관한 영상 정보인 것을 특징으로 하는 다시점 영상 생성 장치.
KR1020100125188A 2010-12-08 2010-12-08 다시점 영상 생성 방법 및 장치 KR20120063984A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100125188A KR20120063984A (ko) 2010-12-08 2010-12-08 다시점 영상 생성 방법 및 장치
US13/314,872 US8731279B2 (en) 2010-12-08 2011-12-08 Method and device for generating multi-viewpoint image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100125188A KR20120063984A (ko) 2010-12-08 2010-12-08 다시점 영상 생성 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20120063984A true KR20120063984A (ko) 2012-06-18

Family

ID=46199457

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100125188A KR20120063984A (ko) 2010-12-08 2010-12-08 다시점 영상 생성 방법 및 장치

Country Status (2)

Country Link
US (1) US8731279B2 (ko)
KR (1) KR20120063984A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140077398A (ko) 2012-12-14 2014-06-24 한국전자통신연구원 입체영상 디스플레이에서의 계층적 다중화를 위한 장치 및 방법
US9832458B2 (en) 2014-04-14 2017-11-28 Samsung Electronics Co., Ltd. Multi view image display method in which viewpoints are controlled and display device thereof

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5984493B2 (ja) * 2011-06-24 2016-09-06 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置およびプログラム
US8971611B2 (en) * 2012-02-08 2015-03-03 JVC Kenwood Corporation Image process device, image process method, and image process program
US8564622B1 (en) * 2012-04-05 2013-10-22 Lockheed Martin Corporation Image generation device for generating multiple image streams
JP5962393B2 (ja) * 2012-09-28 2016-08-03 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
RU2692432C2 (ru) * 2014-06-19 2019-06-24 Конинклейке Филипс Н.В. Способ и устройство для формирования трехмерного изображения
US10238973B2 (en) * 2014-10-24 2019-03-26 Electronic Arts Inc. Generating digital elements using non-deterministic selection
US10724874B2 (en) * 2015-10-13 2020-07-28 Here Global B.V. Virtual reality environment responsive to predictive route navigation
US10991340B2 (en) * 2016-08-24 2021-04-27 Sony Corporation Image processing apparatus and image processing method
US10242494B2 (en) * 2017-04-01 2019-03-26 Intel Corporation Conditional shader for graphics
CN110012310B (zh) 2019-03-28 2020-09-25 北京大学深圳研究生院 一种基于自由视点的编解码方法及装置
KR102522892B1 (ko) 2020-03-12 2023-04-18 한국전자통신연구원 가상 시점 영상을 합성하기 위한 입력 영상을 제공하는 카메라 선별 방법 및 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6556236B1 (en) * 1992-11-16 2003-04-29 Reveo, Inc. Intelligent method and system for producing and displaying stereoscopically-multiplexed images of three-dimensional objects for use in realistic stereoscopic viewing thereof in interactive virtual reality display environments
US6011581A (en) * 1992-11-16 2000-01-04 Reveo, Inc. Intelligent method and system for producing and displaying stereoscopically-multiplexed images of three-dimensional objects for use in realistic stereoscopic viewing thereof in interactive virtual reality display environments
US20070285554A1 (en) * 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
KR100950046B1 (ko) * 2008-04-10 2010-03-29 포항공과대학교 산학협력단 무안경식 3차원 입체 ｔｖ를 위한 고속 다시점 3차원 입체영상 합성 장치 및 방법
WO2012036532A2 (en) * 2010-09-19 2012-03-22 Lg Electronics Inc. Method and apparatus for processing a broadcast signal for 3d (3-dimensional) broadcast service

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140077398A (ko) 2012-12-14 2014-06-24 한국전자통신연구원 입체영상 디스플레이에서의 계층적 다중화를 위한 장치 및 방법
US9832458B2 (en) 2014-04-14 2017-11-28 Samsung Electronics Co., Ltd. Multi view image display method in which viewpoints are controlled and display device thereof

Also Published As

Publication number Publication date
US20120148173A1 (en) 2012-06-14
US8731279B2 (en) 2014-05-20

Similar Documents

Publication Publication Date Title
KR20120063984A (ko) 다시점 영상 생성 방법 및 장치
US8488869B2 (en) Image processing method and apparatus
US9083963B2 (en) Method and device for the creation of pseudo-holographic images
WO2012176431A1 (ja) 多視点画像生成装置、多視点画像生成方法
US9357231B2 (en) Video encoding device, video encoding method, video reproducing device, video reproducing method, video recording medium, and video data stream
JP6231125B2 (ja) マルチビュー立体視ディスプレイデバイスと共に使用するビデオデータ信号を符号化する方法
JP4965184B2 (ja) ３ｄグラフィックデータ処理装置及び立体映像表示装置並びに立体映像表示装置の駆動方法
JP2011519209A (ja) 眼鏡なし３次元立体テレビのための高速多視点３次元立体映像の合成装置及び方法
US20120194514A1 (en) Image processing apparatus and method, and program
US8274555B2 (en) Image synthesizing apparatus and image synthesizing method
JP2011523743A (ja) 深さ情報を有するビデオ信号
KR20120068540A (ko) 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치 및 방법
KR101992767B1 (ko) 입체영상 디스플레이에서의 계층적 다중화를 위한 장치 및 방법
JP2020005202A (ja) 映像処理装置
WO2013108285A1 (ja) 画像記録装置、立体画像再生装置、画像記録方法、及び立体画像再生方法
TWI511525B (zh) 用於產生、傳送及接收立體影像之方法，以及其相關裝置
JP2006101224A (ja) 画像生成装置、画像生成方法および画像生成プログラム
KR20130075253A (ko) 픽셀 매핑을 이용한 입체영상 디스플레이 방법 및 그 장치
JP2014072809A (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム
WO2013108295A1 (ja) 映像信号処理装置及び映像信号処理方法
CN102843571B (zh) 多视角立体显示器影像合成方法
JP4815004B2 (ja) 多視点画像符号化装置
KR101289269B1 (ko) 영상 시스템에서 영상 디스플레이 장치 및 방법
JPH07239951A (ja) 立体画像生成方法
Tian et al. A trellis-based approach for robust view synthesis

Legal Events

Date Code Title Description
A201 Request for examination
E601 Decision to refuse application