KR101798408B1 - 3ｄ 디스플레이를 위한 고품질 멀티-뷰 영상의 생성 방법 및 장치 - Google Patents

3ｄ 디스플레이를 위한 고품질 멀티-뷰 영상의 생성 방법 및 장치 Download PDF

Info

Publication number
KR101798408B1
KR101798408B1 KR1020110000228A KR20110000228A KR101798408B1 KR 101798408 B1 KR101798408 B1 KR 101798408B1 KR 1020110000228 A KR1020110000228 A KR 1020110000228A KR 20110000228 A KR20110000228 A KR 20110000228A KR 101798408 B1 KR101798408 B1 KR 101798408B1
Authority
KR
South Korea
Prior art keywords
image
pixel
foreground
depth
background
Prior art date
Application number
KR1020110000228A
Other languages
English (en)
Other versions
KR20120078924A (ko
Inventor
황규영
이호영
조양호
정영주
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110000228A priority Critical patent/KR101798408B1/ko
Priority to US13/326,757 priority patent/US9445071B2/en
Priority to JP2011279644A priority patent/JP5789185B2/ja
Publication of KR20120078924A publication Critical patent/KR20120078924A/ko
Application granted granted Critical
Publication of KR101798408B1 publication Critical patent/KR101798408B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)

Abstract

멀티 뷰 영상을 생성하기 위한 방법 및 장치가 제공된다. 참조 뷰 영상 내에서 오류 의심 영역이 검출된다. 오류 의심 영역을 전경으로 간주하는 전경 우선 와핑에 의해 전경 우선 영상이 생성되고, 오류 의심 영역을 배경으로 간주하는 배경 우선 와핑에 의해 배경 우선 영상이 생성된다. 전경 우선 영상 및 배경 우선 영상을 블랜딩함으로써 특정 시점에서의 출력 뷰 영상이 생성된다.

Description

3Ｄ 디스플레이를 위한 고품질 멀티-뷰 영상의 생성 방법 및 장치{METHOD AND APPARATUS FOR RENDERING HIGH QUALITY MULTI-VIEW IMAGES FOR 3D DISPLAY}
아래의 실시예들은 멀티-뷰 3D 디스플레이를 위해 입력 영상을 사용하여 다수의 영상을 렌더링하는 방법 및 장치에 관한 것이다.
3D(Dimensional) 디스플레이(display) 장치는 입체 영상을 출력할 수 있는 장치이다. 이러한 3D 디스플레이 장치는 시청자의 현장감 및 몰입감을 증대시킬 수 있다.
3D(Dimensional) 디스플레이 장치는 좌측 영상 및 우측 영상을 출력하는 스테레오(stereo) 방식이 있으며, 서로 상이한 시점에서의 다수의 영상들을 출력하는 멀티-뷰(multi-view) 방식이 있다.
멀티-뷰 방식은 많은 양의 입력 데이터를 요구한다. 따라서, 3D 디스플레이 장치는 상대적으로 적은 개수의 참조 뷰(reference view)들을 사용하여 서로 상이한 시점에서의 다수의 영상들을 생성할 필요가 있다.
본 발명의 일 실시에는 멀티-뷰 3D 디스플레이를 위해 입력 영상을 사용하여 다수의 영상들을 렌더링하는 장치 및 방법을 제공할 수 있다.
본 발명의 일 실시에는 멀티-뷰 렌더링이 수행될 때 객체 경계에서 발생하는 화질 열화를 감소시키는 장치 및 방법을 제공할 수 있다.
본 발명의 일측에 따르면, 제1 참조 뷰의 참조 뷰 영상 및 상기 참조 뷰 영상에 대한 깊이/양안시차 정보에 기반하여 특정 시점에서의 출력 뷰 영상을 생성하는 영상 처리 장치에 있어서, 상기 깊이/양안시차 정보에 기반하여 상기 참조 뷰 영상 내의 오류 의심 영역을 검출하는 오류 의심 영역 설정부, 상기 참조 뷰 영상 중 상기 오류 의심 영역에 대응하는 부분을 전경으로 간주하는 전경 우선 와핑을 수행함으로써 전경 우선 영상을 생성하는 전경 우선 와핑부, 상기 참조 뷰 영상 중 상기 오류 의심 영역에 대응하는 부분을 와핑에서 제외하는 배경 우선 와핑을 수행함으로써 배경 우선 영상을 생성하는 배경 우선 와핑부 및 상기 전경 우선 영상 및 상기 배경 우선 영상을 블랜딩함으로써 상기 출력 뷰 영상을 생성하는 블랜딩부를 포함하는, 영상 처리 장치가 제공된다.
본 발명의 다른측에 따르면, 제1 참조 뷰의 참조 뷰 영상 및 상기 참조 뷰 영상에 대한 깊이/양안시차 정보에 기반하여 특정 시점에서의 출력 뷰 영상을 생성하는 영상 처리 방법에 있어서, 상기 깊이/양안시차 정보에 기반하여 상기 참조 뷰 영상 내의 오류 의심 영역을 검출하는 오류 의심 영역 설정 단계, 상기 참조 뷰 영상 중 상기 오류 의심 영역에 대응하는 부분을 전경으로 간주하는 전경 우선 와핑을 수행함으로써 전경 우선 영상을 생성하는 전경 우선 와핑 단계, 상기 참조 뷰 영상 중 상기 오류 의심 영역에 대응하는 부분을 와핑에서 제외하는 배경 우선 와핑을 수행함으로써 배경 우선 영상을 생성하는 배경 우선 와핑 단계 및 상기 전경 우선 영상 및 상기 배경 우선 영상을 블랜딩함으로써 상기 출력 뷰 영상을 생성하는 블랜딩 단계를 포함하는, 영상 처리 방법이 제공된다.
멀티-뷰 3D 디스플레이를 위해 입력 영상을 사용하여 다수의 영상들을 렌더링하는 장치 및 방법이 제공된다.
멀티-뷰 렌더링이 수행될 때 객체 경계에서 발생하는 화질 열화를 감소시키는 장치 및 방법이 제공된다.
도 1은 본 발명의 일에 따른 영상 처리 장치의 구조도이다.
도 2는 본 발명의 일 예에 따른 뷰 영상 및 깊이/양안시차 영상의 예를 나타낸다.
도 3은 본 발명의 일 예에 따른 뷰 영상 및 깊이/양안시차 영상 간의 불일치의 예를 나타낸다.
도 4는 본 발명의 일 예에 따른 중간 시점의 뷰를 생성하는 방법을 나타낸다.
도 5는 본 발명의 일 예에 따른 중간 뷰의 영상 내에 생성된 인위구조를 나타낸다.
도 6은 본 발명의 일 실시예에 따른 전경 우선 와핑 및 배경 우선 와핑을 설명한다.
도 7은 본 발명의 일 실시예에 따른 전경 우선 영상 및 배경 우선 영상의 블랜딩을 설명한다.
도 8은 본 발명의 일 실시예에 따른 영상 처리 장치의 구조도이다.
도 9는 본 발명의 일 예에 따른 오류 의심 영역 설정부의 구조도이다.
도 10은 본 발명의 일 실시예에 따른 영상 처리 방법의 흐름도이다.
이하에서, 본 발명의 일 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일에 따른 영상 처리 장치의 구조도이다.
영상 처리 장치(100)는 서로 다른 시점에서의 뷰(view)들을 제공한다.
즉, 영상 처리 장치(100)는 서로 상이한 시점에서의 다수의 영상(image)들을 출력할 수 있는 멀티-뷰 방식의 영상 처리 장치이다.
예컨대, 영상 처리 장치(100)는 13 개의 서로 상이한 시점들에서의 뷰들(101 내지 113)을 시청자에게 제공할 수 있다. 영상 처리 장치(100)는, 제1 시청자(190)의 위치에 따라서, 제1 시청자(190)의 우안에는 제2 뷰(102)를 제공하고, 좌안에는 제3 뷰(103)를 제공한다. 또한, 영상 처리 장치(100)는, 제2 시청자(192)의 위치에 따라서, 제2 시청자(192)의 우안에는 제5 뷰(105)를 제공하고, 좌안에는 제6 뷰(106)를 제공한다.
제1 시청자(190) 및 제2 시청자(192)는 각각 자신의 양안에 제공된 두 개의 뷰들의 영상들에 의해 입체 영상을 인식할 수 있다.
참조 뷰들(103, 107 및 111) 및 상기 참조 뷰들(103, 107 및 111)의 영상에 대한 깊이(depth)/양안시차(disparity) 정보(123, 127 및 131)가 영상 처리 장치(100)로 입력된다. 참조 뷰들(103, 107 및 111)은 영상 처리 장치(100)로 입력되는 입력 뷰이다.
영상 처리 장치(100)로 입력되는 참조 뷰들(103, 107 및 111)은 상기 영상 처리 장치(100)가 출력하는 뷰들(101 내지 113)의 일부이다.
따라서, 영상 처리 장치(100)는 3 개의 참조 뷰들(103, 107 및 111) 및 참조 뷰들(103, 107 및 111) 각각에 대한 깊이/양안시차 정보(123, 127 및 131)를 사용하여 다른 뷰들(101, 102, 104 내지 106, 108 내지 110, 112 및 113)을 생성한다.
영상 처리 장치(100)는 참조 뷰들(103, 107 및 111) 및 깊이/양안시차 정보(123, 127 및 131)를 사용하는 뷰 내삽(view interpolation)을 통해 참조 뷰들(103, 107 및 111) 사이의 뷰들(104, 105, 106, 108, 109 및 110)의 영상을 생성한다.
영상 처리 장치(100)는 참조 뷰들(103, 107 및 111) 및 깊이/양안시차 정보(123, 127 및 131)를 사용하는 뷰 외삽(view extrapolation)을 통해 참조 뷰들(103, 107 및 111)의 바깥에 있는 뷰들(101, 102, 112 및 113)의 영상을 생성한다.
뷰 내삽 및 뷰 외삽은 참조 뷰 영상(즉, 입력 뷰들(103, 107 및 111)의 영상) 및 깊이/양안시차 정보를 사용하여 특정 시점에서 보여지는 영상을 생성한다. 이러한 영상의 생성은 3D 와핑(warping)을 통해 이루어진다.
일반적으로, 3D 시스템(system)에서는 교정(rectification)이 이루어진 영상이 사용된다. 참조 뷰 영상의 픽셀의 x 좌표를 상기 픽셀의 깊이/양안시차를 이용하여 이동시킴으로써 3D 와핑이 수행된다.
참조 뷰 영상의 제1 픽셀에 대한 3D 와핑은 하기의 수학식 1에 기반하여 수행될 수 있다.
Figure 112011000181017-pat00001
여기서, u r 은 참조 뷰 영상 내에서의 제1 픽셀의 x 좌표이다. u υ 는 출력 뷰 영상 내에서의 제2 픽셀의 x 좌표이다. 출력 뷰 영상 내의 제2 픽셀은 참조 뷰 영상 내의 제1 픽셀에 대응하는 픽셀이다. 즉, 참조 뷰 영상 내의 특정 픽셀의 x 좌표는, 하기의 수학식 1에 의해, u r 에서 u υ 로 변경된다.
α는 제1 픽셀의 위치 비율 정보이다. α는 참조 뷰의 시점 및 출력 뷰의 시점 간의 거리에 비례하는 값을 갖는다.
d는 제1 픽셀의 양안시차이다. d는 참조 뷰 영상의 깊이/양안시차 정보로부터 획득된다. 양안시차는 픽셀의 깊이 정보에서 카메라 파라미터(camera parameter)를 이용함으로써 획득될 수 있다.
일반적으로, 픽셀(또는, 영상)의 깊이 및 양안시차는 서로 반비례한다. 따라서, 본 발명의 실시예에서 "깊이"를 사용한 내용은 "양안시차"로 대체될 수 있으며, 그 역 또한 성립한다. 예컨대, 3D 와핑은 참조 뷰 영상의 깊이 정보 또는 양안시차 정보를 사용하여 수행될 수 있다.
도 2는 본 발명의 일 예에 따른 뷰 영상 및 깊이/양안시차 영상의 예를 나타낸다.
뷰 영상(210)은 참조 뷰(103, 107 또는 111)의 영상일 수 있다. 뷰 영상(210)은 하나 이상의 픽셀들로 구성된다. 하나 이상의 픽셀들 각각은 컬러 값을 갖는다.
뷰 영상(210)의 픽셀은 특정한 객체(object)를 나타내는 것일 수 있다.
예컨대, 석고상(212)을 나타내는 픽셀들 및 컵(214)을 나타내는 픽셀들이 뷰 영상(210) 내에 있다.
깊이/양안시차 영상(220)은 뷰 영상(210)의 깊이/양안시차 정보를 영상으로서 표현한 것이다.
깊이/양안시차 영상(220)은 하나 이상의 픽셀들로 구성된다. 깊이/양안시차 영상(220)의 하나 이상의 픽셀들 각각은 뷰 영상(210)의 하나 이상의 픽셀들 중 하나의 픽셀에 대응한다.
깊이/양안시차 영상(220)의 픽셀의 컬러는 상기 픽셀에 대응하는 뷰 영상(210)의 픽셀의 깊이 값(또는, 양안시차 값)을 나타낸다.
뷰 영상(210)의 픽셀이 뷰의 시점으로부터 가까운 객체를 나타내는 것일수록, 깊이/양안시차 영상(220)의 대응하는 픽셀의 컬러는 옅다. 반면, 뷰 영상(210)의 픽셀이 먼 객체를 나타내는 것일수록, 깊이/양안시차 영상(220)의 대응하는 픽셀의 컬러는 짙다.
즉, 깊이/양안시차 영상(220)의 픽셀의 컬러 값은 상기 픽셀의 깊이/양안시차 값을 나타낸다. 픽셀의 컬러가 짙은 것은 픽셀의 깊이 값이 크다(즉, 양안시차 값이 작다)는 것을 나타낸다.
예컨대, 석고상(212)에 대응하는 깊이/양안시차 영상(220)의 픽셀들(222)은 컵(214)에 대응하는 깊이/양안시차 영상(220)의 픽셀들(224)보다 더 짙은 컬러 값을 갖는다.
또한, 책상(216)은 아래로 내려갈수록 뷰의 시점과 가까워진다. 따라서, 깊이/양안시차 영상(220)에서 책상을 나타내는 부분(226)은 아래로 내려갈수록 옅어진다.
도 3은 본 발명의 일 예에 따른 뷰 영상 및 깊이/양안시차 영상 간의 불일치의 예를 나타낸다.
뷰 영상(310)은 가운데에 위치한 객체(또는, 전경) 및 배경으로 구성된다.
깊이/양안시차 영상(320)은 객체에 대응하는 옅은 부분(322) 및 배경에 대응하는 짙은 부분(324)으로 구성된다.
객체 모서리(edge)는 뷰 영상(310)에서 객체 및 배경 간의 경계 부분이다.
불연속 점(discontinuity point)은 깊이/양안시차 영상(320)에서 깊이 값이 불연속하는 지점이다. 예컨대, 불연속 점은 깊이/양안시차 영상(320)에서 옅은 부분(322) 및 짙은 부분(324)이 만나는 지점이다.
이상적으로는, 뷰 영상(310)의 객체 모서리 및 깊이/양안시차 영상(320)의 불연속 점은 정확하게 일치하여야 한다.
그러나, 깊이 카메라(depth camera)를 사용하여 획득된 깊이 영상이나, 스테레오 매칭(stereo matching)을 사용하여 계산된 양안시차 영상은 뷰 영상(310)과 정확하게 일치하지 않을 수 있다.
즉, 깊이/양안시차 영상(320) 내의 픽셀들 중, 뷰 영상(310)의 객체에 대응하는 모든 픽셀들이 옅은 컬러 값을 갖는 것은 아니다. 또한, 깊이/양안시차 영상(320) 내의 픽셀들 중, 뷰 영상(310)의 배경에 대응하는 모든 픽셀들이 짙은 컬러 값을 갖는 것은 아니다. 예컨대, 뷰 영상(310) 내의 객체의 하단 부분이 곧은 것에 비해, 깊이/양안시차 영상(320) 중 상기 하단 부분에 대응하는 부분은 직선이 아니다. 또한, 깊이/양안시차 영상(320)의 불연속 점은 대체적으로 객체의 모양만큼 매끄럽지 못하다.
깊이/양안시차 오류(error)는 이러한 객체 모서리 및 불연속 점 간의 불일치를 의미할 수 있다. 또는, 깊이/양안시차 오류(error)는 뷰 영상(310) 내의 특정 픽셀이 잘못된 깊이 값 또는 양안시차 값을 갖는 것을 의미할 수 있다.
깊이/양안시차 오류는 뷰 영상(310)의 객체 경계(boundary)에서 주로 발생한다.
뷰 내삽 또는 뷰 외삽이 수행될 때, 이러한 깊이/양안시차 오류는 인위구조(artifact)를 생성할 수 있다.
이러한 인위구조는 화질 열화를 발생시킨다. 3D 영상의 시청자는 인위구조로 인해 이질감을 느낄 수 있다.
도 4는 본 발명의 일 예에 따른 중간 시점의 뷰를 생성하는 방법을 나타낸다.
중앙 뷰(center view)(490)는 2 개의 입력 뷰들(410 및 420) 및 상기 입력 뷰들(410 및 420)의 깊이/양안시차 정보를 사용함으로써 생성된다. 2 개의 입력 뷰들(410 및 420)은 각각 참조 뷰일 수 있다.
중앙 뷰(490)의 시점은 2 개의 입력 뷰들(410 및 420)의 시점들의 사이에 있다. 중앙 뷰(490)의 시점을 중앙 시점으로 명명한다.
즉, 2 개의 입력 뷰들은 좌측 뷰(left view)(410)(예컨대, 제 7뷰(107)) 및 우측 뷰(right view)(420)(예컨대, 제3 뷰(103))이다.
제1 중간 뷰(intermediate view)(430)는, 좌측 뷰(410) 및 좌측 뷰의 깊이/양안시차 정보를 사용하는 전방향 와핑에 의해 생성된 뷰이다. 제1 중간 뷰(430)의 시점은 전술된 중앙 시점이다.
좌측 뷰(410)의 영상의 객체(412)는, 전술된 수학식 1과 같은, 와핑에 의해 좌측으로 이동한다.
좌측 뷰(410)의 영상의 배경(414)의 양안시차 값은 0(또는, 매우 작은 값)이다. 따라서, 와핑에 의해서도 배경(414)은 좌측으로 전혀(또는, 거의) 이동하지 않는다.
제1 중간 뷰(430)에서, 배경(414)에 비해 객체(412)가 더 좌측으로 이동하기 때문에, 좌측 뷰(410)의 영상에서는 객체(412)에 의해 가려져있던 부분(434)이 드러난다. 이러한 드러나는 부분(434)을 비폐색(disocclusion) 영역(area)이라 한다. 비폐색 영역은 홀(hole)로 처리된다.
제2 중간 뷰(intermediate view)(440)는, 우측 뷰(420) 및 우측 뷰의 깊이/양안시차 정보를 사용하는 전방향 와핑에 의해 뷰이다. 제2 중간 뷰(440)의 시점은 전술된 중앙 시점이다.
제2 중간 뷰(440)에서, 배경(424)에 비해 객체(422)가 더 우측으로 이동하기 때문에, 우측 뷰(420)의 영상에서는 객체(422)에 의해 가려져있던 부분(444)이 드러난다.
제1 중간 뷰(430)의 영상 및 제2 중간 뷰(440)의 영상을 블랜딩(blending)함으로써 제3 중간 뷰(450)의 영상이 생성된다.
비폐색 영역들(434 및 444)은 블랜딩될 수 없다. 따라서, 제3 중간 뷰(450)의 영상은 제1 중간 뷰(430)의 영상의 비폐색 영역(434) 및 제2 중간 뷰(440)의 영상의 비폐색 영역(444)을 포함한다.
비폐색 영역들(434 및 444)는 좌측 뷰(410)의 영상 및 우측 뷰(420)의 영상을 사용하여 채워질 수 있다.
제1 중간 뷰(430)의 영상의 비폐색 영역(434)는 우측 뷰(420)의 영상의 배경(424)의 정보(즉, 픽셀들)를 참조함으로써 채워질 수 있다.
제2 중간 뷰(440)의 영상의 비폐색 영역(444)는 좌측 뷰(410)의 영상의 배경(414)의 정보(즉, 픽셀들)를 참조함으로써 채워질 수 있다.
즉, 제1 참조 뷰의 영상에 대한 와핑을 수행함에 의해 발생한 비폐색 영역(또는, 홀)은 다른 제2 참조 뷰의 영상을 참조함으로써 채워질 수 있다.
좌측 뷰(410) 및 우측 뷰(420)를 참조하여 제3 중간 뷰(450)의 비폐색 영역들(434 및 444)을 채움으로써 중앙 뷰(490)가 생성된다.
뷰 렌더링(rendering)은, 전술된 것과 같은, 특정 뷰의 영상 및 상기 특정 뷰의 영상의 깊이/양안시차 정보를 사용하여 다른 시점에서의 뷰를 생성하는 것을 의미한다. 또한, 영상 렌더링은 특정 뷰의 영상 및 상기 특정 뷰의 영상의 깊이/양안시차 정보를 사용하여 다른 시점에서의 뷰의 영상을 생성하는 것을 의미한다.
도 5는 본 발명의 일 예에 따른 중간 뷰의 영상 내에 생성된 인위구조를 나타낸다.
뷰 렌더링에 의해 생성된 제1 영상(510) 및 제2 영상(520)은 각각 인위구조(512 또는 514)를 포함한다.
뷰 렌더링은 특정 뷰의 영상 및 상기 영상의 깊이/양안시차 정보를 사용한다.
영상 및 상기 영상의 깊이/양안시차 정보 간에 깊이/양안시차 오류가 있는 경우, 오류가 있는 영상 및 깊이/양안시차 정보를 사용한 뷰 렌더링에 의해 생성된 영상은 인위구조를 포함할 수 있다.
깊이/양안시차 정보의 오류로 인해, 전경(foreground)(즉, 객체)에 해당하는 픽셀이 배경에 해당하는 깊이 값을 가질 수 있다. 이러한 경우, 전경에 해당하는 픽셀은 와핑에 의해 전혀(또는, 거의) 이동하지 않는다. 따라서, 전경의 정보(즉, 객체를 나타내는 픽셀)가 배경에 남는 경계 노이즈(boundary noise)가 발생한다. 제1 영상(510)의 인위구조(512)는 전경의 정보가 배경에 남음으로써 생성되었다.
깊이/양안시차 정보가 객체의 경계와 정확하게 일치하지 않는 경우 앨리어싱(aliasing) 문제가 발생한다. 앨리어싱 문제가 발생할 경우, 객체의 일부가 손실될 수 있으며, 손실된 부분이 배경으로 채워질 수 있다. 제2 영상(520)의 인위구조(522)는 앨리어싱 문제에 의해 생성되었다.
이러한 인위구조들(512 및 522)은 멀티-뷰 디스플레이에 의해 생성된 영상의 화질을 저하시킬 수 있다.
도 6은 본 발명의 일 실시예에 따른 전경 우선 와핑 및 배경 우선 와핑을 설명한다.
제1 깊이/양안시차 영상(610)은 전경 영역(612) 및 배경 영역(614)으로 나뉜다. 뷰 영상 중 깊이/양안시차 영상(610)의 전경 영역(612)에 대응하는 부분은 전경이고, 배경 영역(614)에 대응하는 부분은 배경이다.
전경 영역(612)은 깊이 값이 미리 정의된 임계 값보다 작은 부분일 수 있다. (또는, 전경 영역(612)은 양안시차 값이 미리 정의된 임계 값 이상인 부분일 수 있다.) 배경 영역(614)은 깊이 값이 미리 정의된 임계 값 이상인 부분일 수 있다. (또는, 배경 영역(614)은 양안시차 값이 미리 정의된 임계 값보다 작은 부분일 수 있다.) 즉, 전경 영역(612) 및 배경 영역(614)은 깊이 값(또는, 양안시차 값)을 미리 정의된 임계 값에 비교함에 따라 구분될 수 있다.
배경 영역(614)은 깊이 값이 최대 값인 부분일 수 있다. (또는, 배경 영역(612)은 양안시차 값이 최소 값(예컨대, 0)인 부분일 수 있다. 전경 영역(612)은 배경 영역(614)이 제외된 나머지 부분일 수 있다.
배경 영역(614)은 깊이/양안시차 값이 미리 정의된 제1 범위 내의 값인 부분일 수 있다. 전경 영역(612)은 배경 영역(614)이 제외된 나머지 부분일 수 있으며, 깊이/양안시차 값이 미리 정의된 제2 범위 내의 값인 부분일 수 있다.
전경 영역(612) 및 배경 영역(614)은 상대적으로 분류될 수 있다. 즉, 상대적으로 큰 깊이 값(또는, 작은 양안시차 값)을 갖는 부분이 배경 영역(614)이 될 수 있고, 상대적으로 작은 깊이 값(또는, 큰 양안시차 값)을 갖는 부분 또는 배경 영역(614)이 제외된 부분이 전경 영역(612)이 될 수 있다.
그 외, 전경 영역(612) 및 배경 영역(614)을 구분하기 위한 다양한 방법이 사용될 수 있다.
점선은 불연속인 부분(616)을 나타낸다. 불연속인 부분(616)은 깊이/양안시차 값이 불연속인 지점을 의미한다.
불연속인 부분은 전경 영역(612) 및 배경 영역(614)이 만나는 지점(즉, 전경 영역(612) 및 배경 영역(614)의 경계)일 수 있다.
불연속인 부분은 전술된 객체 경계에 대응하는 부분일 수 있다.
제2 깊이/양안시차 영상(620)은 오류 의심 영역(622 및 624)을 나타낸다.
오류 의심 영역(622 및 624)은 깊이/양안시차 값에 오류가 있는 것으로 의심되는 영역이다. 오류 의심 영역은 참조 뷰 영상 중 깊이/양안시차 오류에 의해 실제로 전경인 부분이 배경인 것으로 나타날 가능성이 있는 부분 또는 실제로 배경인 부분이 전경인 것으로 나타날 가능성이 있는 부분이다.
일반적으로, 객체 경계에 인접한 부분에서 깊이/양안시차 오류가 발생할 가능성이 높다.
따라서, 불연속인 부분(616)에 인접한 부분이 오류 의심 영역으로 설정될 수 있다. 불연속인 부분(616)으로부터 일정 거리 내에 있는 부분(또는, 픽셀)이 오류 의심 영역으로 설정 또는 검출될 수 있다. 예컨대, 불연속인 부분(616)으로부터 2 픽셀 이내에 있는 픽셀들이 오류 의심 영역으로 설정될 수 있다.
오류 의심 영역(622 및 624)은 제1 깊이/양안시차 영상(610)의 전경(612)에 포함되는 영역(622) 및 제1 깊이/양안시차 영상(610)의 배경(614)에 포함되는 영역(624)이 있다.
제2 깊이/양안시차 영상(620) 내에서, 오류 의심 영역(622 및 624)이 아닌 부분은 확실한 전경 영역(626) 또는 확실한 배경 영역(628)으로 판단될 수 있다. 즉, 오류 의심 영역(622 및 624)은 전체 뷰 영상에서 깊이/양안시차 오류가 있을 수 있는 것으로 의심되는 영역이 분리된 것이다.
전경 우선 와핑 깊이/양안시차 영상(630)은 전경 우선 와핑 깊이/양안시차 정보를 영상으로서 나타낸 것이다.
전경 우선 와핑 깊이/양안시차 정보는 오류 의심 영역(622 및 624)을 전경으로 간주함으로써 생성된다.
제1 깊이/양안시차 영상(610)의 전경 영역(612)의 깊이/양안시차 정보를 오류 의심 영역(622 및 624)으로 확장함으로써 전경 우선 와핑 깊이/양안시차 영상(630)의 전경 영역(632)이 생성된다.
상기 확장의 일 예로, 오류 의심 영역(622 및 624)의 깊이/양안시차 값은 전경 영역(612)의 깊이/양안시차 값과 동일한 값을 가질 수 있다. 또한, 오류 의심 영역(622 및 624)의 깊이/양안시차 값은 전경 영역(612)의 깊이/양안시차 값들 중 최대 값 또는 최소 값을 가질 수 있다. 또한, 오류 의심 영역(622 및 624) 내의 픽셀의 깊이/양안시차 값은 전경 영역(612) 내에서 가장 인접한 픽셀의 깊이/양안시차 값과 동일한 값을 가질 수 있다. 또한, 오류 의심 영역(622 및 624)의 깊이/양안시차 값은 전경 영역(612)의 깊이/양안시차 값들의 분포 또는 변화도에 기반하여 결정될 수 있다.
전경 우선 와핑 깊이/양안시차 영상(630)의 배경 영역(628)은 제2 깊이/양안시차 영상(620)의 배경 영역(628)이다. 따라서, 전경 우선 와핑 깊이/양안시차 영상(630)의 배경 영역(628)의 깊이/양안시차 값은 제1 깊이/양안시차 영상(610)의 대응하는 영역의 깊이/양안시차 값과 동일하다.
배경 우선 와핑 깊이/양안시차 영상(640)은 배경 우선 와핑 깊이/양안시차 정보를 영상으로서 나타낸 것이다.
오류 의심 영역(622 및 624)을 홀(642)로 간주함으로써 배경 우선 와핑 깊이/양안시차 영상(640)이 생성될 수 있다. 홀(642)은 와핑에서 제외된다. 배경 우선 와핑 깊이/양안시차 정보를 사용한 와핑에 의해 뷰 영상이 생성될 때, 생성된 뷰 영상 내의 홀(642)에 대응하는 부분은 다른 참조 뷰의 영상 및 깊이/양안시차 정보를 사용함으로써 복원될 수 있다.
제1 깊이/양안시차 영상(610)의 배경 영역(614)의 깊이/양안시차 정보를 오류 의심 영역(622 및 624)으로 확장함으로써 배경 우선 와핑 깊이/양안시차 영상(640)의 배경 영역(628 및 642)이 생성될 수 있다.
배경 우선 와핑 깊이/양안시차 영상(640)의 전경 영역(626)은 제2 깊이/양안시차 영상(620)의 전경 영역(626)이다. 따라서, 배경 우선 와핑 깊이/양안시차 영상(640)의 전경 영역(626)의 깊이/양안시차 값은 제1 깊이/양안시차 영상(610)의 대응하는 영역의 깊이/양안시차 값과 동일하다.
뷰 영상 및 전경 우선 와핑 깊이/양안시차 정보를 사용한 전경 우선 와핑을 수행함으로써 전경 정보가 깊이/양안시차 오류에 의해 손실되지 않는 전경 우선 영상이 생성될 수 있다. 즉, 보통의 와핑이 수행될 경우 깊이/양안시차 오류에 의해 전경 정보가 손실될 수 있지만, 전경 우선 영상은 이러한 전경 정보의 손실을 방지할 수 있다.
뷰 영상 및 배경 우선 와핑 깊이/양안시차 정보를 사용한 배경 우선 와핑을 수행함으로써 경계 노이즈가 제거된 배경 우선 영상이 생성될 수 있다. 즉, 보통의 와핑이 수행될 경우 깊이/양안시차 오류에 의해 경계 노이즈가 생성될 수 있지만, 배경 우선 영상은 이러한 경계 노이즈를 포함하지 않을 수 있다.
배경 우선 영상은 신뢰할 수 있는 배경만을 생성할 수 있다. 배경 우선 영상에서 결여된 부분(즉, 신뢰할 수 없는 배경)은 다른 뷰 영상을 참조함으로써 보충될 수 있다.
도 7은 본 발명의 일 실시예에 따른 전경 우선 영상 및 배경 우선 영상의 블랜딩을 설명한다.
특정 시점의 뷰에 대한 2개의 영상이 생성되었기 때문에, 생성된 2개의 영상이 블랜딩된 하나의 영상이 생성되어야 한다.
전경 우선 영상 및 배경 우선 영상이 블랜딩됨으로써 출력 뷰 영상이 생성될 수 있다.
전술된 것처럼, 전경 우선 깊이/양안시차 정보 및 배경 우선 깊이/양안시차 정보는 오류 의심 영역(622 및 624)에 대응하는 부분에서 서로 상이한 값을 갖는다. 따라서, 오류 의심 영역(622 및 624)에 대응하는, 전경 우선 영상의 영역 및 배경 우선 영상의 영역은 서로 상이하다.
만약, 이러한 상이한 영역의 전부 또는 일부에 대하여, 전경 우선 영상 또는 배경 우선 영상 중 하나를 선택적으로 사용함으로써 출력 뷰 영상이 생성된다면(즉, 출력 뷰 영상 내에서, 오류 의심 영역(622 및 624)에 대응하는 영역 내의 픽셀의 컬러 값이 전경 우선 영상 내의 동일 좌표의 픽셀의 컬러 값 또는 배경 우선 영상 내의 동일 좌표의 픽셀의 컬러 값이라면), 이러한 상이한 영역에서 부자연스러운 앨리어싱이 발생할 수 있다.
전경 우선 영상 및 배경 우선 영상을 일정 비율로 섞음으로서 객체 경계 영역 등에서 발생하는 앨리어싱이 해결될 수 있다.
알파 매팅(alpha matting)은 이러한 섞음을 의미한다.
Figure 112011000181017-pat00002
여기서, I는 출력 뷰 영상 내의 제1 픽셀의 컬러 값이다.
F는 제1 픽셀에 대응하는 전경 우선 영상 내의 제2 픽셀의 컬러 값이다. 제1 픽셀 및 제2 픽셀은 동일한 좌표 값을 가질 수 있다.
B는 제1 픽셀에 대응하는 배경 우선 영상 내의 제3 픽셀의 컬러 값이다. 제1 픽셀 및 제3 픽셀은 동일한 좌표 값을 가질 수 있다.
즉, 제1 픽셀의 컬러 값은 제2 픽셀의 컬러 값 및 제3 픽셀의 컬러 값을 알파 매팅함으로써 생성될 수 있다. 제1 픽셀의 컬러 값은 제1 픽셀의 컬러 값 및 제2 픽셀의 컬러 값의 가중치가 가해진 합(weighted sum)일 수 있다. 이 때, 제2 픽셀의 컬러 값에 대한 가중치는 블랜딩 계수 α이고, 제3 픽셀의 컬러 값에 대한 가중치는 (1-α)이다.
α는 0이상, 1이하의 값이다.
제1 그래프(710)는 α의 값이 0 또는 1일 때의 출력 뷰 영상을 나타낸다. 제1 그래프(710)에서는, 전경 우선 영상의 픽셀의 컬러 값 및 배경 우선 영상의 픽셀의 컬러 값 중 하나가 출력 뷰 영상의 픽셀의 컬러 값으로서 선택된다.
즉, α가 1인 부분(712)에서는 전경 우선 영상 만을 사용하여 출력 뷰 영상이 생성되고, α가 0인 부분(714)에서는 배경 우선 영상 만을 사용하여 출력 뷰 영상이 생성된다.
이러한 경우, 출력 뷰 영상 내에서, 전경 우선 영상 및 배경 우선 영상이 서로 독립적으로 존재한다. 따라서, 출력 뷰 영상 중, α의 값이 변하는(0에서 1로 또는 1에서 0으로) 경계 지점(716)에 대응하는 부분에서 앨리어싱이 발생한다. 이러한 앨리어싱이 발생한 부분은 부자연스럽게 보인다.
제2 그래프(720)는 α의 값이 0 이상, 1 이하일 때의 출력 뷰 영상을 나타낸다. 제2 그래프(720)에서, 출력 뷰 영상의 픽셀의 컬러 값은 전경 우선 영상의 픽셀의 컬러 값 및 배경 우선 영상의 픽셀의 컬러 값이 일정한 비율로 혼합된 값이다.
α의 값은 출력 뷰 영상 중 오류 의심 영역에 대응하는 부분에 대해서만 계산될 수 있다. 오류 의심 영역에 대응하지 않는 부분은 전경 우선 영상 및 배경 우선 영상이 동일한 컬러를 갖기 때문이다.
α의 값은 컬러 일관성(color consistency)에 기반하여 계산될 수 있다.
제4 픽셀은 참조 뷰 영상 내의 픽셀들 중 오류 의심 영역 내의 픽셀이다.
제5 픽셀은 참조 뷰 영상의 전경 영역 내의 픽셀들 중 제4 픽셀과 가장 인접한 픽셀이다.
제6 픽셀은 참조 뷰 영상의 배경 영역 내의 픽셀들 중 제4 픽셀과 가장 인접한 픽셀이다.
제4 픽셀의 컬러 값 및 제5 픽셀의 컬러 값 간의 컬러 일관성이 높을 경우, α의 값은 1에 가까운 값을 가질 수 있다. 즉, 양 픽셀들의 컬러 값들이 유사할 경우, 제4 픽셀이 전경(즉, 객체)을 나타낼 가능성이 높다. 따라서, α가 1에 가까운 값을 가짐으로써, 블랜딩될 때 전경 우선 영상의 픽셀의 컬러 값이 더 많이 반영될 수 있다.
제4 픽셀의 컬러 값 및 제5 픽셀의 컬러 값 간의 컬러 일관성은 제4 픽셀의 컬러 값의 컬러 좌표 및 제5 픽셀의 컬러 값의 컬러 좌표 간의 제1 유클리디안 거리(Euclean distance)일 수 있다.
예컨대, RGB 좌표 또는 YCbCr 좌표와 같은, 컬러를 나타내기 위한 다양한 컬러 좌표가 유클리디안 거리를 계산하기 위해 사용될 수 있다.
제4 픽셀의 컬러 값 및 제6 픽셀의 컬러 값 간의 컬러 일관성이 높을 경우, α의 값은 0에 가까운 값을 가질 수 있다. 즉, 양 픽셀들의 컬러 값들이 유사할 경우, 제4 픽셀이 배경을 나타낼 가능성이 높다. 따라서, α가 0에 가까운 값을 가짐으로써, 블랜딩될 때 배경 우선 영상의 픽셀의 컬러 값이 더 많이 반영될 수 있다.
제4 픽셀의 컬러 값 및 제6 픽셀의 컬러 값 간의 컬러 일관성은 제4 픽셀의 컬러 값의 컬러 좌표 및 제6 픽셀의 컬러 값의 컬러 좌표 간의 제2 유클리디안 거리(Euclean distance)일 수 있다.
따라서, α의 값은 제1 유클리디안 거리 및 제2 유클리디안 거리 간의 비율에 따라 결정될 수 있다.
또한, α의 값은 전경 거리 및 배경 거리에 기반하여 결정될 수 있다.
전경 거리는 제4 픽셀 및 참조 뷰 영상의 전경 간의 최단 거리이다. 즉, 전경 거리는 제4 픽셀 및 제5 픽셀 간의 거리이다.
배경 거리는 제4 픽셀 및 참조 뷰 영상의 배경 간의 최단 거리이다. 즉, 전경 거리는 제4 픽셀 및 제6 픽셀 간의 거리이다.
따라서, α의 값은 전경 거리 및 배경 거리 간의 비율에 따라 결정될 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 처리 장치의 구조도이다.
영상 처리 장치(800)는 깊이/양안시차 오류 때문에 뷰 렌더링에서 발생하는 인위구조를 해결하고, 고화질 멀티-뷰 영상을 생성한다.
영상 처리 장치(800)는 제1 참조 뷰의 참조 뷰 영상 및 상기 참조 뷰 영상에 대한 깊이/양안시차 정보에 기반하여 출력 뷰 영상을 생성한다.
출력 뷰는 특정 시점에서의 뷰이다.
영상 처리 장치(800)는 오류 의심 영역 설정부(810), 전경 우선 와핑부(820), 배경 우선 와핑부(830) 및 블랜딩부(840)를 포함한다.
오류 의심 영역 설정부(810)는 참조 뷰 영상의 깊이/양안시차 정보에 기반하여 참조 뷰 영상 내의 오류 의심 영역을 검출한다.
전경 우선 와핑부(820)는 참조 뷰 영상에 대한 전경 우선 와핑을 수행함으로써 전경 우선 영상을 생성한다.
배경 우선 와핑부(830)는 참조 뷰 영상에 대한 배경 우선 와핑을 수행함으로써 배경 우선 영상을 생성한다.
배경 우선 와핑부(830)는 제2 참조 뷰의 참조 뷰 영상을 참조함으로써 배경 우선 영상 중 오류 의심 영역에 대응하는 부분을 생성할 수 있다.
블랜딩부(840)는 전경 우선 영상 및 배경 우선 영상을 블랜딩함으로써 출력 뷰 영상을 생성한다.
블랜딩부(840)는, 출력 뷰 영상의 오류 의심 영역 내의 픽셀들의 컬러 값을 생성할 경우, 전경 우선 영상 내의 제1 픽셀의 컬러 값 및 제1 픽셀에 대응하는 배경 우선 영상 내의 제2 픽셀의 컬러 값을 알파 매팅함으로써 제1 픽셀에 대응하는 출력 뷰 영상 내의 제3 픽셀의 컬러 값을 생성할 수 있다.
제3 픽셀의 컬러 값은 제1 픽셀의 컬러 값 및 제2 픽셀의 컬러 값의 가중치가 가해진 합(weighted sum)일 수 있다. 제1 픽셀의 컬러 값에 대한 가중치는 블랜딩 계수 α일 수 있다, 제2 픽셀의 컬러 값에 대한 가중치는 (1-α)일 수 있다.
영상 처리 장치는 α를 결정하는 블랜딩 계수 결정부(850)를 더 포함할 수 있다.
블랜딩 계수 결정부(850)는 제1 컬러 일관성 및 제2 컬러 일관성에 기반하여 α를 결정할 수 있다. 제1 컬러 일관성은 제3 픽셀에 대응하는 참조 뷰 영상 내의 제4 픽셀의 컬러 값의 컬러 좌표 및 상기 제4 픽셀과 인접한 전경의 컬러 값의 컬러 좌표 간의 유클리디안 거리에 기반하여 계산된다. 제2 컬러 일관성은 상기 제4 픽셀의 컬러 값의 컬러 좌표 및 상기 제4 픽셀과 인접한 배경의 컬러 값의 컬러 좌표 간의 유클리디안 거리에 기반하여 계산된다.
블랜딩 계수 결정부(850)는 제1 거리 및 제2 거리에 기반하여 α를 결정할 수 있다. 제1 거리는 제3 픽셀 및 전경 간의 최단 거리이고, 제2 거리는 제3 픽셀 및 배경 간의 최단 거리이다.
영상 처리 장치(800)에 의해, 스테레오 영상 또는 멀티-뷰 영상이 생성될 수 있다. 영상 처리 장치(800)는 뷰 내삽 또는 뷰 외삽을 수행함으로써 스테레오 영상 또는 멀티-뷰 영상을 생성할 수 있다.
즉, 뷰 내삽 또는 뷰 외삽을 수행하기 위한 일련의 단계 또는 방법이 본 발명의 일 실시예에 따른 영상 처리 장치(800)의 동작과 결합될 수 있다.
앞서 도 1 내지 도 7을 참조하여 설명된 본 발명의 일 실시예에 따른 기술 적 내용들이 본 실시예에도 그대로 적용될 수 있다. 따라서 보다 상세한 설명은 이하 생략하기로 한다.
도 9는 본 발명의 일 예에 따른 오류 의심 영역 설정부(810)의 구조도이다.
오류 의심 영역 설정부(810)는 깊이/양안시차 불연속 분석부(910), 의심 영역 설정부(920), 전경 우선 와핑 깊이/양안시차 정보 생성부(930) 및 배경 우선 와핑 깊이/양안시차 정보 생성부(940)를 포함한다.
깊이/양안시차 불연속 분석부(910)는 참조 뷰 영상에 대응하는 깊이/양안시차 정보 중 불연속인 부분을 검출한다.
의심 영역 설정부(920)는 검출된 불연속인 부분에 기반하여 참조 뷰 영상 내의 오류 의심 영역을 설정한다.
의심 영역 설정부(920)는 참조 뷰 영상 내에서, 불연속인 부분으로부터 일정 거리 내에 있는 부분을 오류 의심 영역으로 설정할 수 있다.
전경 우선 와핑 깊이/양안시차 정보 생성부(930)는 전경 우선 와핑 깊이/양안시차 정보를 생성한다.
전경 우선 와핑 깊이/양안시차 정보 생성부(930)는 불연속인 부분에 인접한 전경 부분의 깊이/양안시차 정보를 오류 의심 영역으로 확장함으로써 우선 와핑 깊이/양안시차 정보를 생성할 수 있다.
배경 우선 와핑 깊이/양안시차 정보 생성부(940)는 배경 우선 와핑 깊이/양안시차 정보를 생성한다.
배경 우선 와핑 깊이/양안시차 정보 생성부(940)는 오류 의심 영역을 와핑에서 제외하는 배경 우선 와핑 깊이/양안시차 정보를 생성할 수 있다.
배경 우선 와핑 깊이/양안시차 정보 생성부(940)는 불연속인 부분을 홀로 간주함으로써 상기의 불연속인 부분을 와핑에서 제외할 수 있다.
전경 우선 와핑부(820)는 생성된 전경 우선 와핑 깊이/양안시차 정보에 기반하여 전경 우선 영상을 생성할 수 있고, 배경 우선 와핑부(830)는 생성된 배경 우선 와핑 깊이/양안시차 정보에 기반하여 배경 우선 영상을 생성할 수 있다.
앞서 도 1 내지 도 8을 참조하여 설명된 본 발명의 일 실시예에 따른 기술 적 내용들이 본 실시예에도 그대로 적용될 수 있다. 따라서 보다 상세한 설명은 이하 생략하기로 한다.
도 10은 본 발명의 일 실시예에 따른 영상 처리 방법의 흐름도이다.
영상 처리 방법은 제1 참조 뷰의 참조 뷰 영상 및 상기 참조 뷰 영상에 대한 깊이/양안시차 정보에 기반하여 특정 시점에서의 출력 뷰 영상을 생성한다.
우선, 오류 의심 영역 설정 단계(S1010 내지 S1040)가 수행된다.
오류 의심 영역 설정 단계(S1010 내지 S1040)에서, 깊이/양안시차 정보에 기반하여 상기 참조 뷰 영상 내의 오류 의심 영역이 검출된다.
깊이/양안시차 불연속 분석 단계(S1010)에서, 양안시차 정보 중 불연속인 부분이 검출된다.
의심 영역 설정 단계(S1020)에서, 검출된 불연속인 부분에 기반하여 참조 뷰 영상 내의 오류 의심 영역이 설정된다.
참조 뷰 영상 내에서 불연속인 부분으로부터 일정 거리 내에 있는 부분이 상기 오류 의심 영역으로 설정될 수 있다.
전경 우선 와핑 깊이/양안시차 정보 생성 단계(S1030)에서, 불연속인 부분에 인접한 전경 부분의 깊이/양안시차 정보를 상기 오류 의심 영역으로 확장함으로써 전경 우선 와핑 깊이/양안시차 정보가 생성된다.
배경 우선 와핑 깊이/양안시차 정보 생성 단계(S1040)에서, 오류 의심 영역을 와핑에서 제외하는 배경 우선 와핑 깊이/양안시차 정보가 생성된다.
불연속인 부분을 홀로 간주함으로써 불연속인 부분이 와핑에서 제외될 수 있다.
전경 우선 와핑 단계(S1050)에서, 참조 뷰 영상 중 오류 의심 영역에 대응하는 부분을 전경으로 간주하는 전경 우선 와핑을 수행함으로써 전경 우선 영상이 생성된다.
전경 우선 와핑 깊이/양안시차 정보에 기반하여 상기 전경 우선 영상이 생성될 수 있다.
배경 우선 와핑 단계(S1060)에서, 참조 뷰 영상 중 오류 의심 영역에 대응하는 부분을 와핑에서 제외하는 배경 우선 와핑을 수행함으로써 배경 우선 영상이 생성된다.
제2 참조 뷰의 참조 뷰 영상을 참조함으로써 배경 우선 영상 중 오류 의심 영역에 대응하는 부분이 생성될 수 있다.
배경 우선 와핑 깊이/양안시차 정보에 기반하여 배경 우선 영상이 생성될 수 있다.
블랜딩 계수 결정 단계(S1070)에서, 블랜딩 계수 α가 결정된다.
α는 제1 컬러 일관성 및 제2 컬러 일관성에 기반하여 결정될 수 있다.
제1 픽셀은 전경 우선 영상 내의 픽셀이다. 제2 픽셀은 제1 픽셀에 대응하는 배경 우선 영상 내의 픽셀이다. 제3 픽셀은 제1 픽셀에 대응하는 출력 뷰 영상 내의 픽셀이다.
제1 컬러 일관성은 제3 픽셀에 대응하는 참조 뷰 영상 내의 제4 픽셀의 컬러 값의 컬러 좌표 및 상기 제4 픽셀과 인접한 전경의 컬러 값의 컬러 좌표 간의 유클리디안 거리에 기반하여 계산될 수 있다.
제2 컬러 일관성은 제4 픽셀의 컬러 값의 컬러 좌표 및 제4 픽셀과 인접한 배경의 컬러 값의 컬러 좌표 간의 유클리디안 거리에 기반하여 계산될 수 있다.
α는 제1 거리 및 제2 거리에 기반하여 결정될 수 있다. 상기 제1 거리는 상기 제3 픽셀 및 전경 간의 최단 거리이고, 상기 제2 거리는 상기 제3 픽셀 및 배경 간의 최단 거리이다.
블랜딩 단계(S1080)에서, 전경 우선 영상 및 상기 배경 우선 영상을 블랜딩함으로써 상기 출력 뷰 영상이 생성된다.
블랜딩 단계(S1080)에서, 출력 뷰 영상의 오류 의심 영역 내의 픽셀들의 컬러 값이 생성될 경우, 제1 픽셀의 컬러 값 및 제2 픽셀의 컬러 값을 알파 매팅함으로써 제3 픽셀의 컬러 값이 생성될 수 있다.
제3 픽셀의 컬러 값은 제1 픽셀의 컬러 값 및 제2 픽셀의 컬러 값의 가중치가 가해진 합일 수 있다. 제1 픽셀의 컬러 값에 대한 가중치는 α일 수 있다. 제2 픽셀의 컬러 값에 대한 가중치는 (1-α)일 수 있다.
앞서 도 1 내지 도 9를 참조하여 설명된 본 발명의 일 실시예에 따른 기술 적 내용들이 본 실시예에도 그대로 적용될 수 있다. 따라서 보다 상세한 설명은 이하 생략하기로 한다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM, DVD와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
800: 영상 처리 장치
810: 오류 의심 영역 설정부
820: 전경 우선 와핑부
830: 배경 우선 와핑부
840: 블랜딩부

Claims (19)

  1. 제1 참조 뷰의 참조 뷰 영상 및 상기 참조 뷰 영상에 대한 깊이/양안시차 정보에 기반하여 특정 시점에서의 출력 뷰 영상을 생성하는 영상 처리 장치에 있어서,
    상기 깊이/양안시차 정보에 기반하여 상기 참조 뷰 영상 내의 오류 의심 영역을 검출하는 오류 의심 영역 설정부;
    상기 참조 뷰 영상 중 상기 오류 의심 영역에 대응하는 부분을 전경으로 간주하는 전경 우선 와핑을 수행함으로써 상기 특정 시점에서의 전경 우선 영상을 생성하는 전경 우선 와핑부;
    상기 참조 뷰 영상 중 상기 오류 의심 영역에 대응하는 부분을 와핑에서 제외하는 배경 우선 와핑을 수행함으로써 상기 특정 시점에서의 배경 우선 영상을 생성하는 배경 우선 와핑부; 및
    상기 전경 우선 영상 및 상기 배경 우선 영상을 블랜딩함으로써 상기 출력 뷰 영상을 생성하는 블랜딩부
    를 포함하고,
    상기 블랜딩부는 상기 제1 참조 뷰와 상이한 제2 참조 뷰의 영상을 참조함으로써 상기 출력 뷰 영상 중 상기 오류 의심 영역에 대응하는 부분을 생성하는, 영상 처리 장치.
  2. 제1항에 있어서,
    상기 블랜딩부는, 상기 출력 뷰 영상의 오류 의심 영역 내의 픽셀들의 컬러 값을 생성할 경우, 상기 전경 우선 영상 내의 제1 픽셀의 컬러 값 및 상기 제1 픽셀에 대응하는 상기 배경 우선 영상 내의 제2 픽셀의 컬러 값을 알파 매팅함으로써 상기 제1 픽셀에 대응하는 상기 출력 뷰 영상 내의 제3 픽셀의 컬러 값을 생성하는, 영상 처리 장치.
  3. 제2항에 있어서,
    상기 제3 픽셀의 컬러 값은 상기 제1 픽셀의 컬러 값 및 상기 제2 픽셀의 컬러 값의 가중치가 가해진 합(weighted sum)이고, 상기 제1 픽셀의 컬러 값에 대한 가중치는 블랜딩 계수 α이고, 상기 제2 픽셀의 컬러 값에 대한 가중치는 (1-α)인, 영상 처리 장치.
  4. 제3항에 있어서,
    상기 α를 결정하는 블랜딩 계수 결정부를 더 포함하고,
    상기 블랜딩 계수 결정부는 제1 컬러 일관성 및 제2 컬러 일관성에 기반하여 상기 α를 결정하고, 상기 제1 컬러 일관성은 상기 제3 픽셀에 대응하는 상기 참조 뷰 영상 내의 제4 픽셀의 컬러 값의 컬러 좌표 및 상기 제4 픽셀과 인접한 전경의 컬러 값의 컬러 좌표 간의 유클리디안 거리에 기반하여 계산되고, 상기 제2 컬러 일관성은 상기 제4 픽셀의 컬러 값의 컬러 좌표 및 상기 제4 픽셀과 인접한 배경의 컬러 값의 컬러 좌표 간의 유클리디안 거리에 기반하여 계산되는, 영상 처리 장치.
  5. 제3항에 있어서,
    상기 α를 결정하는 블랜딩 계수 결정부를 더 포함하고,
    상기 블랜딩 계수 결정부는 제1 거리 및 제2 거리에 기반하여 상기 α를 결정하고, 상기 제1 거리는 상기 제3 픽셀 및 전경 간의 최단 거리이고, 상기 제2 거리는 상기 제3 픽셀 및 배경 간의 최단 거리인, 영상 처리 장치.
  6. 삭제
  7. 제1항에 있어서,
    상기 오류 의심 영역 설정부는
    상기 깊이/양안시차 정보 중 불연속인 부분을 검출하는 깊이/양안시차 불연속 분석부;
    상기 불연속인 부분에 기반하여 상기 참조 뷰 영상 내의 오류 의심 영역을 설정하는 의심 영역 설정부;
    상기 불연속인 부분에 인접한 전경 부분의 깊이/양안시차 정보를 상기 오류 의심 영역으로 확장함으로써 전경 우선 와핑 깊이/양안시차 정보를 생성하는 전경 우선 와핑 깊이/양안시차 정보 생성부; 및
    상기 오류 의심 영역을 와핑에서 제외하는 배경 우선 와핑 깊이/양안시차 정보를 생성하는 배경 우선 와핑 깊이/양안시차 정보 생성부
    를 포함하고, 상기 전경 우선 와핑부는 상기 전경 우선 와핑 깊이/양안시차 정보에 기반하여 상기 전경 우선 영상을 생성하고, 상기 배경 우선 와핑부는 상기 배경 우선 와핑 깊이/양안시차 정보에 기반하여 상기 배경 우선 영상을 생성하는, 영상 처리 장치.
  8. 제7항에 있어서,
    상기 의심 영역 설정부는 상기 참조 뷰 영상 내에서 상기 불연속인 부분으로부터 일정 거리 내에 있는 부분을 상기 오류 의심 영역으로 설정하는, 영상 처리 장치.
  9. 제7항에 있어서,
    상기 배경 우선 와핑 깊이/양안시차 정보 생성부는 상기 불연속인 부분을 홀로 간주함으로써 상기 불연속인 부분을 와핑에서 제외하는, 영상 처리 장치.
  10. 제1 참조 뷰의 참조 뷰 영상 및 상기 참조 뷰 영상에 대한 깊이/양안시차 정보에 기반하여 특정 시점에서의 출력 뷰 영상을 생성하는 영상 처리 방법에 있어서,
    상기 깊이/양안시차 정보에 기반하여 상기 참조 뷰 영상 내의 오류 의심 영역을 검출하는 오류 의심 영역 설정 단계;
    상기 참조 뷰 영상 중 상기 오류 의심 영역에 대응하는 부분을 전경으로 간주하는 전경 우선 와핑을 수행함으로써 상기 특정 시점에서의 전경 우선 영상을 생성하는 전경 우선 와핑 단계;
    상기 참조 뷰 영상 중 상기 오류 의심 영역에 대응하는 부분을 와핑에서 제외하는 배경 우선 와핑을 수행함으로써 상기 특정 시점에서의 배경 우선 영상을 생성하는 배경 우선 와핑 단계; 및
    상기 전경 우선 영상 및 상기 배경 우선 영상을 블랜딩함으로써 상기 출력 뷰 영상을 생성하는 블랜딩 단계
    를 포함하고,
    상기 블랜딩 단계는 상기 제1 참조 뷰와 상이한 제2 참조 뷰의 영상을 참조함으로써 상기 출력 뷰 영상 중 상기 오류 의심 영역에 대응하는 부분을 생성하는 단계를 포함하는, 영상 처리 방법.
  11. 제10항에 있어서,
    상기 블랜딩 단계는, 상기 출력 뷰 영상의 오류 의심 영역 내의 픽셀들의 컬러 값을 생성할 경우, 상기 전경 우선 영상 내의 제1 픽셀의 컬러 값 및 상기 제1 픽셀에 대응하는 상기 배경 우선 영상 내의 제2 픽셀의 컬러 값을 알파 매팅함으로써 상기 제1 픽셀에 대응하는 상기 출력 뷰 영상 내의 제3 픽셀의 컬러 값을 생성하는, 영상 처리 방법.
  12. 제11항에 있어서,
    상기 제3 픽셀의 컬러 값은 상기 제1 픽셀의 컬러 값 및 상기 제2 픽셀의 컬러 값의 가중치가 가해진 합(weighted sum)이고, 상기 제1 픽셀의 컬러 값에 대한 가중치는 블랜딩 계수 α이고, 상기 제2 픽셀의 컬러 값에 대한 가중치는 (1-α)인, 영상 처리 방법.
  13. 제12항에 있어서,
    상기 α를 결정하는 블랜딩 계수 결정 단계를 더 포함하고,
    상기 α는 제1 컬러 일관성 및 제2 컬러 일관성에 기반하여 결정되고, 상기 제1 컬러 일관성은 상기 제3 픽셀에 대응하는 상기 참조 뷰 영상 내의 제4 픽셀의 컬러 값의 컬러 좌표 및 상기 제4 픽셀과 인접한 전경의 컬러 값의 컬러 좌표 간의 유클리디안 거리에 기반하여 계산되고, 상기 제2 컬러 일관성은 상기 제4 픽셀의 컬러 값의 컬러 좌표 및 상기 제4 픽셀과 인접한 배경의 컬러 값의 컬러 좌표 간의 유클리디안 거리에 기반하여 계산되는, 영상 처리 방법.
  14. 제12항에 있어서,
    상기 α를 결정하는 블랜딩 계수 결정 단계를 더 포함하고,
    상기 α는 제1 거리 및 제2 거리에 기반하여 결정되고, 상기 제1 거리는 상기 제3 픽셀 및 전경 간의 최단 거리이고, 상기 제2 거리는 상기 제3 픽셀 및 배경 간의 최단 거리인, 영상 처리 방법.
  15. 삭제
  16. 제10항에 있어서,
    상기 오류 의심 영역 설정 단계는
    상기 깊이/양안시차 정보 중 불연속인 부분을 검출하는 깊이/양안시차 불연속 분석 단계;
    상기 불연속인 부분에 기반하여 상기 참조 뷰 영상 내의 오류 의심 영역을 설정하는 의심 영역 설정 단계;
    상기 불연속인 부분에 인접한 전경 부분의 깊이/양안시차 정보를 상기 오류 의심 영역으로 확장함으로써 전경 우선 와핑 깊이/양안시차 정보를 생성하는 전경 우선 와핑 깊이/양안시차 정보 생성 단계; 및
    상기 오류 의심 영역을 와핑에서 제외하는 배경 우선 와핑 깊이/양안시차 정보를 생성하는 배경 우선 와핑 깊이/양안시차 정보 생성 단계
    를 포함하고, 상기 전경 우선 와핑 단계는 상기 전경 우선 와핑 깊이/양안시차 정보에 기반하여 상기 전경 우선 영상을 생성하고, 상기 배경 우선 와핑 단계는 상기 배경 우선 와핑 깊이/양안시차 정보에 기반하여 상기 배경 우선 영상을 생성하는, 영상 처리 방법.
  17. 제16항에 있어서,
    상기 의심 영역 설정 단계는 상기 참조 뷰 영상 내에서 상기 불연속인 부분으로부터 일정 거리 내에 있는 부분을 상기 오류 의심 영역으로 설정하는, 영상 처리 방법.
  18. 제16항에 있어서,
    상기 배경 우선 와핑 깊이/양안시차 정보 생성 단계는 상기 불연속인 부분을 홀로 간주함으로써 상기 불연속인 부분을 와핑에서 제외하는, 영상 처리 방법.
  19. 제10항 내지 제14항 및 제16항 내지 제18항 중 어느 한 항의 영상 처리 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
KR1020110000228A 2011-01-03 2011-01-03 3ｄ 디스플레이를 위한 고품질 멀티-뷰 영상의 생성 방법 및 장치 KR101798408B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020110000228A KR101798408B1 (ko) 2011-01-03 2011-01-03 3ｄ 디스플레이를 위한 고품질 멀티-뷰 영상의 생성 방법 및 장치
US13/326,757 US9445071B2 (en) 2011-01-03 2011-12-15 Method and apparatus generating multi-view images for three-dimensional display
JP2011279644A JP5789185B2 (ja) 2011-01-03 2011-12-21 画像処理装置及び画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110000228A KR101798408B1 (ko) 2011-01-03 2011-01-03 3ｄ 디스플레이를 위한 고품질 멀티-뷰 영상의 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20120078924A KR20120078924A (ko) 2012-07-11
KR101798408B1 true KR101798408B1 (ko) 2017-11-20

Family

ID=46380374

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110000228A KR101798408B1 (ko) 2011-01-03 2011-01-03 3ｄ 디스플레이를 위한 고품질 멀티-뷰 영상의 생성 방법 및 장치

Country Status (3)

Country Link
US (1) US9445071B2 (ko)
JP (1) JP5789185B2 (ko)
KR (1) KR101798408B1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2533212A1 (en) * 2011-06-10 2012-12-12 Samsung Electronics Co., Ltd. Reference layer for hole recovery within an output image.
KR20130073459A (ko) * 2011-12-23 2013-07-03 삼성전자주식회사 멀티-뷰 생성 방법 및 장치
CN103634584B (zh) * 2012-08-29 2015-10-21 广州市朗辰电子科技有限公司 一种多视点3d视频合成方法
KR20140039649A (ko) * 2012-09-24 2014-04-02 삼성전자주식회사 다시점 영상 생성 방법 및 다시점 영상 디스플레이 장치
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
EP2765774A1 (en) * 2013-02-06 2014-08-13 Koninklijke Philips N.V. System for generating an intermediate view image
KR20150010230A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
IN2013CH05313A (ko) * 2013-11-18 2015-05-29 Nokia Corp
JP6332982B2 (ja) * 2014-01-29 2018-05-30 キヤノン株式会社 画像処理装置およびその方法
KR101532642B1 (ko) * 2014-03-04 2015-06-30 광주과학기술원 깊이정보 확장장치 및 방법
CN105023259B (zh) * 2014-04-18 2019-06-25 腾讯科技（深圳）有限公司 图片融合方法、装置、终端和计算机可读存储介质
CN106664397B (zh) * 2014-06-19 2018-11-16 皇家飞利浦有限公司 用于生成三维图像的方法和装置
CN104574311B (zh) 2015-01-06 2017-08-11 华为技术有限公司 图像处理方法和装置
US10334223B2 (en) * 2015-01-30 2019-06-25 Qualcomm Incorporated System and method for multi-view video in wireless devices
WO2017043331A1 (ja) * 2015-09-09 2017-03-16 ソニー株式会社 画像処理装置、及び、画像処理方法
KR101920113B1 (ko) * 2015-12-28 2018-11-19 전자부품연구원 임의시점 영상생성 방법 및 시스템
WO2018074252A1 (ja) * 2016-10-19 2018-04-26 ソニー株式会社 画像処理装置および画像処理方法
KR102608466B1 (ko) * 2016-11-22 2023-12-01 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
EP3340618A1 (en) * 2016-12-22 2018-06-27 Thomson Licensing Geometric warping of a stereograph by positional constraints
KR101993962B1 (ko) * 2016-12-22 2019-07-01 전자부품연구원 중간시점 영상합성에서의 n-시점 블렌딩 기반 홀 채움 방법
JP7250493B2 (ja) * 2018-12-03 2023-04-03 キヤノン株式会社 画像処理装置、三次元形状データの生成方法およびプログラム
BR102020027013A2 (pt) * 2020-12-30 2022-07-12 Samsung Eletrônica da Amazônia Ltda. Método para gerar uma imagem multiplano adaptativa a partir de uma única imagem de alta resolução
CN114937050A (zh) * 2022-06-28 2022-08-23 北京字跳网络技术有限公司 绿幕抠图方法、装置及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000030040A (ja) 1998-07-14 2000-01-28 Canon Inc 画像処理装置及びコンピュータ読み取り可能な記憶媒体

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3826236B2 (ja) 1995-05-08 2006-09-27 松下電器産業株式会社 中間像生成方法、中間像生成装置、視差推定方法、及び画像伝送表示装置
US7015926B2 (en) * 2004-06-28 2006-03-21 Microsoft Corporation System and process for generating a two-layer, 3D representation of a scene
US7292257B2 (en) 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
US7602990B2 (en) 2005-09-29 2009-10-13 Mitsubishi Electric Research Laboratories, Inc. Matting using camera arrays
KR100926520B1 (ko) 2006-12-05 2009-11-12 한국전자통신연구원 객체/배경 분리 및 영상분할을 이용한 양안/다시점스테레오 정합 장치 및 그 방법
KR100953076B1 (ko) 2007-12-13 2010-04-13 한국전자통신연구원 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
US8106924B2 (en) * 2008-07-31 2012-01-31 Stmicroelectronics S.R.L. Method and system for video rendering, computer program product therefor
KR101468267B1 (ko) 2008-10-02 2014-12-15 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출
KR100960694B1 (ko) 2008-11-04 2010-06-01 광주과학기술원 다시점 영상 매팅 시스템과 방법 및 이를 수록한 저장매체
US8379972B1 (en) * 2009-12-01 2013-02-19 Adobe Systems Incorporated Color decontamination for image compositing
US8773427B2 (en) * 2010-12-22 2014-07-08 Sony Corporation Method and apparatus for multiview image generation using depth map information

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000030040A (ja) 1998-07-14 2000-01-28 Canon Inc 画像処理装置及びコンピュータ読み取り可能な記憶媒体

Also Published As

Publication number Publication date
US20120169722A1 (en) 2012-07-05
JP2012141975A (ja) 2012-07-26
KR20120078924A (ko) 2012-07-11
US9445071B2 (en) 2016-09-13
JP5789185B2 (ja) 2015-10-07

Similar Documents

Publication Publication Date Title
KR101798408B1 (ko) 3ｄ 디스플레이를 위한 고품질 멀티-뷰 영상의 생성 방법 및 장치
KR102185179B1 (ko) 멀티-뷰 장면 분할 및 전파
TWI714690B (zh) 用於處理深度圖之裝置與方法及相關電腦程式產品
US9398289B2 (en) Method and apparatus for converting an overlay area into a 3D image
TWI610270B (zh) 三維影像資料處理
KR101502362B1 (ko) 영상처리 장치 및 방법
KR102464523B1 (ko) 이미지 속성 맵을 프로세싱하기 위한 방법 및 장치
EP3552183B1 (en) Apparatus and method for generating a light intensity image
JP2015522198A (ja) 画像に対する深度マップの生成
EP1815441B1 (en) Rendering images based on image segmentation
RU2718423C2 (ru) Способ определения карты глубин для изображения и устройство для его осуществления
EP2245591A2 (en) Method and image-processing device for hole filling
KR101918030B1 (ko) 하이브리드 멀티-뷰 랜더링 방법 및 장치
KR102490985B1 (ko) 깊이 맵을 처리하기 위한 장치 및 방법
KR102039741B1 (ko) 영상 워핑을 위한 장치 및 방법
KR20170070148A (ko) ３차원 이미지의 시차의 프로세싱
KR20150037203A (ko) 3차원 입체 영상용 깊이지도 보정장치 및 보정방법
TWI527432B (zh) 用以建立立體影像之深度影像的修補方法
Tian et al. A trellis-based approach for robust view synthesis
Muddala et al. Depth-included curvature inpainting for disocclusion filling in view synthesis
Liu Improving forward mapping and disocclusion inpainting algorithms for depth-image-based rendering and geomatics applications
KR20110090488A (ko) 시차 서페이스 렌더링을 이용하여 시점을 생성하는 시스템 및 방법
KR20130008435A (ko) 홀 렌더링을 사용하는 멀티-뷰 영상 처리 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant