KR101895327B1 - 멀티 뷰 생성을 위한 렌더링 장치 및 그 방법 - Google Patents

멀티 뷰 생성을 위한 렌더링 장치 및 그 방법 Download PDF

Info

Publication number
KR101895327B1
KR101895327B1 KR1020110085469A KR20110085469A KR101895327B1 KR 101895327 B1 KR101895327 B1 KR 101895327B1 KR 1020110085469 A KR1020110085469 A KR 1020110085469A KR 20110085469 A KR20110085469 A KR 20110085469A KR 101895327 B1 KR101895327 B1 KR 101895327B1
Authority
KR
South Korea
Prior art keywords
view
hole
views
prediction
layer
Prior art date
Application number
KR1020110085469A
Other languages
English (en)
Other versions
KR20120020078A (ko
Inventor
황규영
조양호
정영주
이호영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20120020078A publication Critical patent/KR20120020078A/ko
Application granted granted Critical
Publication of KR101895327B1 publication Critical patent/KR101895327B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

멀티 뷰 생성을 위한 렌더링 장치 및 그 방법이 제공된다. 렌더링부는 복수 개의 참조 뷰들을 렌더링하여 복수 개의 예측 뷰들을 생성하며, 홀 취합부는 생성된 각각의 예측 뷰에 존재하는 홀(hole)들을 이용하여 하나의 기준 홀 레이어를 생성하며, 홀 복원부는 생성된 기준 홀 레이어의 기준 홀을 복원(inpainting)하며, 멀티 뷰 생성부는 기준 홀이 복원된 기준 홀 레이어를 이용하여 각 예측 뷰에 존재하는 홀들을 제거할 수 있다.

Description

멀티 뷰 생성을 위한 렌더링 장치 및 그 방법{Rendering Apparatus and Method for Generating Multi-View}
기술분야는 멀티 뷰 생성을 위한 렌더링 장치 및 그 방법에 관한 것으로서, 보다 자세히는, 생성되는 뷰들 사이의 불연속성을 줄이거나 제거할 수 있는, 멀티 뷰 생성을 위한 렌더링 장치 및 그 방법에 관한 것이다.
입체 영상은 깊이 및 공간에 대한 형상 정보를 동시에 제공하는 3차원 영상이다. 3차원 영상을 표시하는 3차원 디스플레이는 두 개 이상의 영상을 동시에 출력하는 멀티 뷰 방식을 사용한다. 이는, 동일한 영상을 다른 방향, 즉, 다른 시점에서 본 것과 같은 효과의 영상을 제공하기 위함이다.
멀티 뷰 방식은 촬영된 영상들이 디스플레이 장치로 전송되면, 디스플레이 장치가 수신된 촬영된 영상들로부터 보간 영상(Interpolation View)들을 생성하거나 보외 영상(Extrapolation View)들을 생성하여 실제 촬영된 영상들보다 많은 수의 영상들을 생성한다. 이러한 경우, 촬영된 영상들과 보간 영상들 및 보외 영상들 사이에 불연속성이 나타나, 화질 저하가 발생한다. 예를 들어, 연속하는 두 개의 보간 영상의 색 차이로 인해서 동일한 배경이 서로 다르게 표현될 수 있다. 이는, 두 개의 보간 영상에 존재하는 홀(hole)들을 각각 복원하기 때문이다.
일측면에 있어서, 적어도 하나의 참조 뷰들을 렌더링하여 복수 개의 예측 뷰들을 생성하는 렌더링부; 상기 각각의 예측 뷰들에 존재하는 홀(hole)들의 집합을 나타내는 기준 홀을 생성하는 홀 취합부; 상기 기준 홀을 복원(inpainting)하는 홀 복원부; 및 상기 복원된 기준 홀을 이용하여 상기 각 예측 뷰들에 존재하는 홀들을 제거하는 멀티 뷰 생성부를 포함하는, 멀티 뷰 생성을 위한 장치가 제공된다.
상기 예측 뷰들은 연속하는 두 개의 참조 뷰들 사이에 위치하는 보간 뷰(Interpolation View)들일 수 있다..
상기 보간 뷰들은 연속적인 보간 뷰들일 수 있다.
상기 홀 취합부는, 상기 기준 홀을 포함하는 기준 홀 레이어를 생성하고, 상기 기준 홀 레이어는 상기 각 보간 뷰들과 동일한 크기를 가질 수 있다.
상기 기준 홀은 상기 각 보간 뷰들에 존재하는 각각의 홀보다 큰 크기를 가질 수 있다.
상기 멀티 뷰 생성부는, 상기 각 보간 뷰들의 상기 홀들에 상기 복원된 기준 홀의 대응하는 부분을 삽입하여 상기 홀들을 제거할 수 있다.
상기 예측 뷰들은 상기 적어도 하나의 참조 뷰의 바깥쪽에 위치된 보외 뷰(Extrapolation View)일 수 있다.
상기 보외 뷰는, 하나의 참조 뷰를 랜더링해서 생성될 수 있다.
상기 보외 뷰들은 연속적인 보외 뷰들일 수 있다.
상기 홀 취합부는, 상기 기준 홀을 포함하는 기준 홀 레이어를 생성하고, 상기 기준 홀 레이어는 상기 각 보외 뷰들과 동일한 크기를 가질 수 있다.
상기 기준 홀은 상기 각 보외 뷰들에 존재하는 각각의 홀보다 큰 크기를 가질 수 있다.
상기 멀티 뷰 생성부는, 상기 각 보외 뷰들의 상기 홀들에 상기 복원된 기준 홀의 대응하는 부분을 삽입하여 상기 홀들을 제거할 수있다.
상기 각각의 예측 뷰에 존재하는 홀들을 검출하는 홀 검출부를 더 포함할 수있다.
다른 측면에 있어서, 적어도 하나의 참조 뷰들을 렌더링하여 복수 개의 예측 뷰들을 생성하는 단계; 상기 각각의 예측 뷰들에 존재하는 홀(hole)들의 집합을 나타내는 기준 홀을 생성하는 단계; 상기 기준 홀을 복원(inpainting)하는 단계; 및 상기 복원된 기준 홀을 이용하여 상기 각 예측 뷰들에 존재하는 홀들을 제거하는 단계를 포함하는, 멀티 뷰 생성 방법이 제공된다.
상기 예측 뷰들은 연속하는 두 개의 참조 뷰들 사이에 위치하는 보간 뷰(Interpolation View)들일 수 있다.
상기 기준 홀을 생성하는 단계는, 상기 기준 홀을 포함하는 기준 홀 레이어를 생성하고, 상기 기준 홀 레이어는 상기 각 보간 뷰들과 동일한 크기를 가질 수있다.
상기 각 예측 뷰들에 존재하는 상기 홀들을 제거하는 단계는, 상기 각 보간 뷰들의 상기 홀들에 상기 복원된 기준 홀의 대응하는 부분을 삽입하여 상기 홀들을 제거할 수 있다.
상기 예측 뷰들은 상기 적어도 하나의 참조 뷰의 바깥쪽에 위치된 보외 뷰(Extrapolation View)일 수있다.
상기 기준 홀을 생성하는 단계는, 상기 기준 홀을 포함하는 기준 홀 레이어를 생성하고, 상기 기준 홀 레이어는 상기 각 보외 뷰들과 동일한 크기를 가질 수 있다.
상기 각 예측 뷰들에 존재하는 상기 홀들을 제거하는 단계는, 상기 각 보외 뷰들의 상기 홀들에 상기 복원된 기준 홀의 대응하는 부분을 삽입하여 상기 홀들을 제거할 수 있다.
또 다른 측면에 있어서, 멀티 뷰 생성을 위한 렌더링 장치는 메모리; 및 복수 개의 예측 뷰들에 존재하는 홀(hole)들을 이용하여 상기 각 예측 뷰에 존재하는 홀들의 집합을 나타내는 기준 홀을 생성하고, 상기 기준 홀을 복원(inpainting)하고, 상기 복원된 기준 홀을 이용하여 상기 각 예측 뷰에 존재하는 상기 홀들을 제거하도록 구성된(configured) 프로세서를 포함할 수 있다.
멀티 뷰 생성을 위한 렌더링 장치 및 그 방법에 의하면, 생성된 복수 개의 예측 뷰들에 포함된 홀들을 각각 복원하지 않고, 하나의 기준 홀로 취합하여 복원할 수 있다. 복원된 기준 홀, 즉, 동일한 기준 홀을 이용하여 예측 뷰들에 포함된 홀들을 제거함으로써, 뷰와 뷰 사이에 발생하는 불연속성을 해소하고, 화질을 향상시킬 수 있다.
도 1은 멀티 뷰 생성을 위한 렌더링 장치를 도시한 블록도이다.
도 2는 Inpainting 방식을 설명하기 위한 도면이다.
도 3은 예측 뷰가 보간된 경우, 멀티 뷰를 생성하는 일 실시예를 설명하기 위한 도면이다.
도 4는 예측 뷰가 보외된 경우, 멀티 뷰를 생성하는 일 실시예를 설명하기 위한 도면이다.
도 5는 멀티 뷰 생성 방법을 설명하기 위한 흐름도이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 멀티 뷰 생성을 위한 렌더링 장치(100)를 도시한 블록도이다.
도 1의 멀티 뷰 생성을 위한 렌더링 장치(100)는 스테레오 방식과 멀티 뷰 방식을 사용하여 3D 영상을 제공하는 장치에 적용될 수 있다. 스테레오 방식은 좌 영상과 우 영상을 이용하여 3D 영상을 제공하는 방식이다. 멀티 뷰 방식은 3개 이상의 다른 시점(View Point)에 해당하는 영상들을 이용하여 3D 영상을 제공하는 방식이다.
도 1을 참조하면, 멀티 뷰 생성을 위한 렌더링 장치(100)는 렌더링부(110), 홀(hole) 검출부(120), 홀 취합부(130), 홀 복원부(140) 및 멀티 뷰 생성부(150)를 포함할 수 있다.
렌더링부(110)는 적어도 하나의 참조 뷰(Reference View)들을 렌더링하여 복수 개의 예측 뷰들을 생성할 수 있다. 참조 뷰들은 하나의 영상을 서로 다른 위치에서 촬영하여 획득한 뷰로서, 시점이 서로 다르다. 특히, 렌더링부(110)는 참조 뷰들의 화소들의 컬러값과 차이값(disparity) 중 적어도 하나를 렌더링하여 예측 뷰를 생성할 수 있다. 차이값은 연속하는 두 참조 뷰들 간의 차이로서, 화소값의 차이, 화소의 위치 차이 등을 예로 들 수 있다.
예측 뷰는 보간 기법에 의해 생성되는 보간 뷰(Interpolation View)와 보외 기법에 의해 생성되는 보외 뷰(Extrapolation View)를 포함할 수 있다. 렌더링부(110)는 연속하는 두 참조 뷰들의 컬러값과 차이값을 이용하여 보간 뷰를 생성할 수 있다. 또한, 렌더링부(110)는 복수 개의 참조 뷰들 중 최좌측 또는 최우측에 위치하는 참조 뷰의 컬러값을 이용하여 보외 뷰를 생성할 수 있다. 따라서, 보외 뷰는 참조 뷰의 바깥쪽 뷰일 수 있다. 예를 들어, 최좌측 참조 뷰-최좌측에 위치하는 참조 뷰-를 이용하여 생성되는 보외 뷰는 최좌측 참조 뷰보다 더 좌측의 시점에 대응한다.
홀 검출부(120)는 렌더링부(110)에서 생성되는 각각의 예측 뷰에 존재하는 홀들을 검출할 수 있다. 홀은 화소값이 존재하지 않는 영역, 또는, 화소의 컬러값이 채워지지 않은 영역이다. 예측 뷰는 참조 뷰와는 다른 시점에 대응하는 뷰로서, 참조 뷰의 객체가 임의 방향으로 이동한 것처럼 보여질 수 있다. 따라서, 참조 뷰에서 객체에 의해 가려진 배경이 예측 뷰에서 보여지는 경우, 상기 가려진 후 보여진 배경은 홀(hole)로 재현될 수 있다. 또한, 상술한 차이값의 에러에 의해 예측 뷰는 홀을 가질 수 있다.
홀 취합부(130)는 각각의 예측 뷰에 존재하는 홀들을 이용하여 하나의 기준 홀 레이어를 생성할 수 있다. 구체적으로, 홀 취합부(130)는, 복수 개의 예측 뷰들 중 연속적으로 생성된 예측 뷰들에 대하여 하나의 기준 홀 레이어를 생성할 수 있다. 기준 홀 레이어는 예측 뷰와 동일한 크기이며, 기준 홀을 포함할 수 있다.
홀 취합부(130)는 렌더링부(110)에서 생성된 예측 뷰들이 보간 뷰인 경우와 보외 뷰인 경우, 서로 다른 기준을 이용하여 기준 홀 레이어를 생성할 수 있다.
예측 뷰들이 보간 뷰인 경우, 홀 취합부(130)는, 복수 개의 보간 뷰들 중 연속적으로 생성된 보간 뷰들에 대하여 하나의 기준 홀 레이어를 생성할 수 있다. 연속적으로 생성된 보간 뷰들은, 복수 개의 참조 뷰들 중 연속하는 두 개의 참조 뷰들 사이에 위치할 수 있다. 이는, 연속적으로 생성된 보간 뷰들은, 연속하는 두 개의 참조 뷰들로부터 보간에 의해 생성된 뷰이기 때문이다.
홀 취합부(130)는, 연속하는 복수 개의 보간 뷰들에서 검출된 홀들을 취합하여 기준 홀을 생성한다. 예를 들어, 두 개의 참조 뷰들을 각각 좌측 참조 뷰와 우측 참조 뷰라 하면, 렌더링부(110)는 좌측 참조 뷰와 우측 참조 뷰 사이에 위치하는 보간 뷰들을 생성할 수 있다. 홀 검출부(120)가 보간 뷰들로부터 홀들을 검출한 경우, 홀 취합부(130)는 검출된 홀들을 취합하여 기준 홀을 생성할 수 있다.
따라서, 기준 홀은 각 보간 뷰들에 존재하는 홀들의 집합을 나타낸다. 취합하는 동안, 두개 이상의 보간 뷰들 내의 공통의 홀들은 한번 계산된다. 기준 홀은 보간 뷰들에 존재하는 홀들의 취합을 나타내기 때문에, 연속하는 영역을 가질 수도 있고 가지지 않을 수도 있다.
그리고, 홀 취합부(130)는 생성된 기준 홀을 포함하는 기준 홀 레이어를 생성한다. 기준 홀 레이어는 각 보간 뷰와 동일한 크기를 가지며, 기준 홀은 검출된 홀의 집합과 동일한 크기를 갖는다.
한편, 예측 뷰들이 보외 뷰인 경우, 홀 취합부(130)는, 복수 개의 보외 뷰들 중 연속적으로 생성된 보외 뷰들에 대하여 하나의 기준 홀 레이어를 생성할 수 있다. 연속적으로 생성된 보외 뷰들은, 복수 개의 참조 뷰들 중 최좌측 참조 뷰로부터 생성되는 뷰이거나, 또는 최우측 참조 뷰로부터 생성되는 뷰일 수 있다. 홀 취합부(130)는, 연속하는 보외 뷰들에 존재하는 홀들을 하나로 취합하여 하나의 기준 홀을 생성한다. 보간 뷰들을 위한 기준 홀과 같이 보외 뷰들을 위한 기준 홀도 연속하는 영역을 가질 수도 있고 가지지 않을 수도 있다.
그리고, 홀 취합부(130)는, 생성된 기준 홀을 포함하는 기준 홀 레이어를 생성할 수 있다. 기준 홀 레이어는 각 보외 뷰들과 동일한 크기를 갖는다.
홀 복원부(140)는 홀 취합부(130)에서 생성된 기준 홀 레이어의 기준 홀을 주변의 알려진 화소 정보를 이용하여 복원할 수 있다. 예를 들어, 홀 복원부(140)는 주지된 Inpainting 방식을 이용하여 기준 홀을 복원할 수 있다.
도 2는 Inpainting 방식을 설명하기 위한 도면이다. 도 2를 참조하면, Inpainting 방식은 홀의 주변에 위치하는 알고 있는 영역의 화소값을, 홀로 전파(propagation)시켜, 홀에 화소값을 채우는 방식이다.
[수학식 1]은 Inpainting 방식을 이용하여 홀에 위치하는 화소의 화소값을 예측하기 위한 식이다.
Figure 112011066383305-pat00001
[수학식 1]에서, q는 알고 있는 영역에 위치하는 화소의 좌표, p는 홀에 위치하는 화소의 좌표, I는 화소값,
Figure 112011066383305-pat00002
는 gradient이다. 즉, 홀 복원부(140)는 화소의 좌표(p), 주변 화소의 좌표(q) 및 주변 화소의 화소값(I(q))을 이용하여 홀을 복원할 수 있다.
또는, 홀 복원부(140)는 좌표(p)의 화소값을 구하기 위해, 알고 있는 영역의 모든 화소값, [수학식 2]를 이용하여 홀을 복원할 수 있다.
Figure 112011066383305-pat00003
[수학식 2]에서,
Figure 112011066383305-pat00004
는 좌표(q)가 위치하는 알고 있는 영역,
Figure 112011066383305-pat00005
는 상대적인 가중치를 의미한다.
Figure 112011066383305-pat00006
는 알고 있는 영역에 위치하는 모든 좌표들에게 부여된 가중치로서, 좌표(p)마다 다른 값을 가질 수 있다.
또한, 홀 복원부(140)는 상술한 Inpainting 방식뿐만 아니라, 영상 내의 표본을 이용하여 영상을 복원하는 주지된 Exemplar-based Inpainting 방식을 이용하여 홀을 복원할 수 있다.
멀티 뷰 생성부(150)는 기준 홀이 복원된 기준 홀 레이어를 이용하여 각 예측 뷰에 존재하는 홀들을 제거할 수 있다. 예측 뷰가 보간 뷰인 경우, 멀티 뷰 생성부(150)는, 각 보간 뷰들의 홀들에 복원된 기준 홀의 대응하는 부분을 삽입한다. 마찬가지로, 예측 뷰가 보외 뷰인 경우, 멀티 뷰 생성부(150)는, 각 보외 뷰들의 홀들에 기준 홀의 대응하는 부분을 삽입한다. 따라서, 멀티 뷰 생성부(150)는 보간 뷰들과 보외 뷰들의 홀들에 복원된 기준 홀의 대응하는 부분을 채워서 멀티 뷰들을 생성한다.
이하에서는, 예측 뷰가 보간 뷰인 경우와 보외 뷰인 경우, 멀티 뷰를 생성하는 방법에 대해 도 3 및 도 4를 참조하여 설명한다.
도 3은 예측 뷰가 보간된 경우, 멀티 뷰를 생성하는 일 실시예를 설명하기 위한 도면이다.
도 3을 참조하면, 좌측 참조 뷰와 우측 참조 뷰는 복수 개의 참조 뷰들 중 연속하는 뷰이다. 좌측 참조 뷰와 우측 참조 뷰는 서로 다른 시점에 대응하는 뷰이며, 동일한 배경을 갖는다. 식별번호 '310L'과 '310R'은 동일한 객체이며, '320L'과 '320R'은 동일한 객체이다.
렌더링부(110)는 좌측 참조 뷰와 우측 참조 뷰에 보간 기법을 적용하여 제1보간 뷰와 제2보간 뷰를 생성한다. 이 때, 제1보간 뷰는 객체(310L, 320L)가 좌측으로 'd'만큼 이동한 것과 같은 결과를 보여주며, 따라서, 홀(h1)을 포함한다. 제2보간 뷰는 객체(310R, 320R)가 우측으로 이동한 것과 같은 결과를 보여주며, 따라서, 홀(h2)을 포함한다.
홀 검출부(120)는 제1보간 뷰와 제2보간 뷰에 포함된 홀들(h1, h2)을 검출하고, 홀 취합부(130)는 검출된 홀들(h1, h2)을 하나로 취합하여 기준 홀(h3)을 생성한다. 기준 홀(h3)의 크기는 검출된 홀들(h1, h2) 중 가장 큰 홀(h2)과 동일하다. 취합하는 동안, 검출된 홀들(h1, h2)의 전체 영역들은 한번 계산된다. 기준 홀(h3)의 크기는 일반적으로 검출된 홀들(h1, h2) 각각 보다 크다. 드물게, 검출된 홀(h2)가 검출된 홀(h1)을 완전희 커버(cover)하는 경우, 기준 홀(h3)의 크기는 검출된 홀(h2)과 동일하다. 홀 취합부(130)는 기준 홀(h3)을 포함하는 기준 홀 레이어를 생성하고, 기준 홀(h3)을 복원한다. 이로써, 복원된 기준 홀(h4)을 포함하는 기준 홀 레이어, 즉, 복원된 기준 홀 레이어가 생성된다.
멀티 뷰 생성부(150)는 제1보간 뷰의 검출된 홀(h1)에 복원된 기준 홀(h4)의 대응하는 부분을 삽입하여 홀(h1)을 채운다. 제1보간 뷰에 위치하는 홀(h1)과 복원된 기준 홀 레이어에 위치하는 복원된 기준 홀(h4)의 대응하는 부분의 상대적인 위치가 동일하다. 따라서, 멀티 뷰 생성부(150)는 복원된 기준 홀(h4) 중 홀(h1)에 매칭되는 영역의 화소값을 홀(h1)에 삽입하여, 홀(h1)을 채울 수 있다. 이로써, 제1멀티 뷰가 생성된다. 이는, 제2보간 뷰에 대해서도 동일하므로, 상세한 설명은 생략한다.
도 4는 예측 뷰가 보외된 경우, 멀티 뷰를 생성하는 일 실시예를 설명하기 위한 도면이다.
도 4를 참조하면, 좌측 참조 뷰는 복수 개의 참조 뷰들 중 가장 왼쪽에 위치하는 뷰이다. 식별번호 '410'은 객체이다. 렌더링부(110)는 좌측 참조 뷰에 보외 기법을 적용하여 제1보외 뷰와 제2보외 뷰를 순차적으로 생성한다. 이 때, 제1보외 뷰는 객체(410)가 우측으로 'd1'만큼 이동한 것과 같은 결과를 보여주며, 따라서, 홀(h5)을 포함하게 된다. 제2보외 뷰는 객체(410)가 우측으로 'd2만큼 이동한 것과 같은 결과를 보여주며, 따라서, 홀(h6)을 포함하게 된다.
홀 검출부(120)는 제1보외 뷰와 제2보외 뷰에 포함된 홀들(h5, h6)을 검출하고, 홀 취합부(130)는 검출된 홀들(h5, h6)을 하나로 취합하여 기준 홀(h7)을 생성한다. 기준 홀(h7)의 크기는 검출된 홀들(h5, h6) 중 가장 외곽에 위치하는 홀(h6)과 동일하다. 취합하는 동안, 검출된 홀들(h5, h6)의 공통 영역들은 한번 계산된다. 기준 홀(h7)의 크기는 일반적으로 검출된 홀들(h5, h6) 각각 보다 크다. 그러나, 검출된 홀(h6)가 검출된 홀(h5)을 완전희 커버(cover)하는 경우, 기준 홀(h7)의 크기는 검출된 홀(h6)과 동일하다. 홀 취합부(130)는 기준 홀(h7)을 포함하는 기준 홀 레이어를 생성하고, 기준 홀(h7)을 복원한다. 이로써, 복원된 기준 홀(h8)을 포함하는 기준 홀 레이어, 즉, 복원된 기준 홀 레이어가 생성된다.
멀티 뷰 생성부(150)는 제1보외 뷰의 검출된 홀(h5)에 복원된 기준 홀의 대응하는 부분을 삽입하여 홀(h5)을 채우며, 이로써, 제3멀티 뷰가 생성된다. 이는, 제2보외 뷰에 대해서도 동일하므로, 상세한 설명은 생략한다.
상술한 렌더링 장치(100)는 상술한 동작을 수행하기 위하여 동작 프로그램을 저장하는 메모리와, 프로세서, 제어부를 더 구비할 수 있다. 프로세서 또는 제어부는 복수 개의 예측 뷰들에 존재하는 홀(hole)들을 이용하여 하나의 기준 홀 레이어를 생성하고, 생성된 기준 홀 레이어의 기준 홀을 복원(inpainting)하며, 기준 홀이 복원된 기준 홀 레이어를 이용하여 각 예측 뷰에 존재하는 홀들을 채우도록 구성될(configured) 수 있다.
또한, 렌더링 장치(100)가 디스플레이 장치에 구비된 경우, 생성된 멀티 뷰들은 표시가능한 신호로 처리되어 화면에 표시될 수 있다.
도 5는 멀티 뷰 생성 방법을 설명하기 위한 흐름도이다.
도 5의 멀티 뷰 생성 방법은 도 1을 참조하여 설명한 렌더링 장치(100) 또는 렌더링 장치(100)의 프로세서나 제어부에 의해 구현 또는 동작될 수 있다.
510단계에서, 렌더링 장치는 적어도 하나의 참조 뷰들을 렌더링하여 또는 적어도 하나의 참조 뷰들의 컬러값과 차이값을 렌더링하여 예측 뷰들을 생성할 수 있다. 생성되는 예측 뷰들은 보간 기법에 의한 보간 뷰 또는 보외 기법에 의한 보외 뷰일 수 있다.
520단계에서, 렌더링 장치는 생성된 연속하는 예측 뷰들에 존재하는 홀들을 검출할 수 있다.
530단계에서, 렌더링 장치는 검출된 홀들을 하나로 취합하여 하나의 기준 홀을 생성하고, 기준 홀을 포함하는 하나의 기준 홀 레이어를 생성할 수 있다. 이 때, 렌더링 장치는 복수 개의 예측 뷰들 중 중 연속하는 예측 뷰들마다 한 개의 기준 홀 레이어를 생성할 수 있다.
기준 홀 레이어는 예측 뷰들과 동일한 크기를 갖는다. 기준 홀은 각 보간 뷰들에 존재하는 각각의 홀보다 큰 크기를 가진다. 보간 뷰들의 어떤 공통된 홀들도 없을 때, 기준 홀은 보간 뷰들에 존재하는 각 홀들의 합과 동일한 크기를 가진다. 드물게, 한 보간 뷰에 존재하는 홀들이 나머지 보간 뷰들에 존재하는 홀등을 완전희 커버(cover)하는 경우, 기준 홀은 한 보간 뷰에 존재하는 홀들의 합과 동일한 크기를 가진다. 기준 홀은 보간 뷰들에 존재하는 홀들의 취합을 나타내기 때문에, 연속하는 영역을 가질 수도 있고 가지지 않을 수도 있다.
540단계에서, 렌더링 장치는 기준 홀 레이어의 기준 홀을 복원할 수 있다.
550단계에서, 렌더링 장치는 복원된 기준 홀을 가지는 기준 홀 레이어를 홀이 검출된 예측 뷰들에 삽입하여, 각 예측 뷰에서 검출된 홀을 제거할 수 있다.
560단계에서, 렌더링 장치는 각 예측 뷰에서 홀이 제거된 멀티 뷰들을 생성한다.
도 6은 일 실시예에 따라 멀티 뷰 생성을 위한 장치를 포함하는 멀티 뷰 디스플레이 장치(600)를 도시한 도면이다.
도 6을 참조하면, 멀티 뷰 디스플레이 장치(600)는 제어부(601)와 멀티 뷰 생성을 위한 장치(605)를 포함할 수 있다.
멀티 뷰 디스플레이 장치(600)는 3D 이미지를　디스플레이 하기 위한　3D 디스플레이의 형태일 수 있고, 세 개 이상의 서로 다른 시점을 출력하는 멀티 뷰 방식을 채택할 수 있다. 또는 멀티 뷰 디스플레이 장치(600)는 왼쪽과 오른쪽 이미지를 출력하는 스테레오스코픽(stereoscopic) 디스플레이 일 수 있다.
제어부(601)는 멀티 뷰 디스플레이 장치(600)에 의해 디스플레이 되도록 멀티 뷰 디스플레이 장치(600)를 제어하는 적어도 하나의 제어신호들을 생성할 수 있다.
멀티 뷰 생성을 위한 장치(605)는 멀티　뷰　디스플레이　장치(600)로 보내는 멀티　뷰　이미지를　생성하기 위해서 사용될　수　있다. 멀티 뷰 생성을 위한 장치(605)는 도 6에서는 도시되지 않았으나 렌더링부(610), 홀(hole) 검출부(620), 홀 취합부(630), 홀 복원부(640) 및 멀티 뷰 생성부(650)를 포함할 수 있다. 그러나, 렌더링부(610), 홀(hole) 검출부(620), 홀 취합부(630), 홀 복원부(640) 및 멀티 뷰 생성부(650) 각각은 도 1의 장치들과 동일할 수 있다. 따라서, 상세한 설명을 생략한다.
멀티 뷰 생성을 위한 장치(605)는 멀티　뷰　디스플레이　장치(600) 내에 내부적으로 설치될 수도 있고, 멀티　뷰　디스플레이　장치(600)에 부착될 수도 있고, 또는 멀티　뷰　디스플레이　장치(600)와는 별개로 구성될 수도 있다. 물리적 구성에 관계없이, 멀티 뷰 생성을 위한 장치(605)는 상술한 모든 기능을 가지고 있다. 멀티 뷰 생성을 위한 장치(605)는 적어도 하나의 내부 프로세서를 포함하거나 또는 제어부(601)와 같이 멀티　뷰　디스플레이　장치(600)에 포함된 적어도 하나의 프로세스들에 의해 포함될 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 렌더링 장치 110: 렌더링부
120: 홀 검출부 130: 홀 취합부
140: 홀 복원부 150: 멀티 뷰 생성부

Claims (28)

  1. 적어도 하나의 참조 뷰들을 렌더링하여 예측 뷰를을 생성하는 렌더링부;
    제1 예측 뷰에 존재하는 제1 홀(hole) 및 제2 예측 뷰에 존재하는 제2 홀을 포함하는 기준 홀 레이어를 생성하는 홀 취합부;
    상기 기준 홀 레이어를 복원(inpainting)하는 홀 복원부; 및
    상기 복원된 기준 홀 레이어를 이용하여 상기 제1 예측 뷰 및 상기 제2 예측 뷰에 존재하는 상기 제1 홀 및 상기 제2 홀을 제거하는 멀티 뷰 생성부
    를 포함하는, 멀티 뷰 생성을 위한 장치.
  2. 제1항에 있어서,
    상기 제1 예측 뷰 및 상기 제2 예측 뷰는 연속하는 두 개의 참조 뷰들 사이에 위치하는 보간 뷰(Interpolation View)들인, 멀티 뷰 생성을 위한 장치.
  3. 제2항에 있어서,
    상기 보간 뷰들은 연속적인 보간 뷰들인, 멀티 뷰 생성을 위한 장치.
  4. 제2항에 있어서,
    상기 홀 취합부는,
    상기 기준 홀 레이어는 상기 보간 뷰들과 동일한 크기를 가지는, 멀티 뷰 생성을 위한 장치.
  5. 제1항에 있어서,
    상기 기준 홀 레이어 내의 홀은 상기 제1 홀 또는 상기 제2 홀보다 큰 크기를 가지는, 멀티 뷰 생성을 위한 장치.
  6. 제1항에 있어서,
    상기 멀티 뷰 생성부는, 상기 제1 예측 뷰의 상기 제1 홀에 상기 복원된 기준 홀 레이어의 대응하는 부분을 삽입하여 상기 제1 홀을 제거하는, 멀티 뷰 생성을 위한 장치.
  7. 제1항에 있어서,
    상기 제1 예측 뷰 및 상기 제2 예측 뷰는
    상기 적어도 하나의 참조 뷰의 바깥쪽에 위치된 보외 뷰(Extrapolation View)들인, 멀티 뷰 생성을 위한 장치.
  8. 제7항에 있어서,
    상기 보외 뷰들 각각은, 하나의 참조 뷰를 랜더링해서 생성되는, 멀티 뷰 생성을 위한 장치.
  9. 제7항에 있어서,
    상기 보외 뷰들은 연속적인 보외 뷰들인, 멀티 뷰 생성을 위한 장치.
  10. 제7항에 있어서,
    상기 홀 취합부는,
    상기 기준 홀 레이어는 상기 보외 뷰들과 동일한 크기를 가지는, 멀티 뷰 생성을 위한 장치.
  11. 삭제
  12. 삭제
  13. 제1항에 있어서,
    상기 제1 예측 뷰에 존재하는 상기 제1 홀 및 상기 제2 예측 뷰에 존재하는 상기 제2 홀을 검출하는 홀 검출부
    를 더 포함하는, 멀티 뷰 생성을 위한 장치.
  14. 적어도 하나의 참조 뷰들을 렌더링하여 예측 뷰를 생성하는 단계;
    제1 예측 뷰에 존재하는 제1 홀(hole) 및 제2 예측 뷰에 존재하는 제2 홀을 포함하는 기준 홀 레이어를 생성하는 단계;
    상기 기준 홀 레이어를 복원(inpainting)하는 단계; 및
    상기 복원된 기준 홀 레이어를 이용하여 상기 제1 예측 뷰 및 상기 제2 예측 뷰에 존재하는 상기 제1 홀 및 상기 제2 홀을 제거하는 단계
    를 포함하는, 멀티 뷰 생성 방법.
  15. 제14항에 있어서,
    상기 제1 예측 뷰 및 상기 제2 예측 뷰는 연속하는 두 개의 참조 뷰들 사이에 위치하는 보간 뷰(Interpolation View)들인, 멀티 뷰 생성 방법.
  16. 제15항에 있어서,
    상기 보간 뷰들은 연속적인 보간 뷰들인, 멀티 뷰 생성 방법.
  17. 제15항에 있어서,
    상기 기준 홀을 생성하는 단계는,
    상기 기준 홀 레이어는 상기 보간 뷰들과 동일한 크기를 가지는, 멀티 뷰 생성 방법.
  18. 제14항에 있어서,
    상기 기준 홀 레이어 내의 홀은 상기 제1 홀 또는 상기 제2 홀보다 큰 크기를 가지는, 멀티 뷰 생성 방법.
  19. 제14항에 있어서,
    상기 제1 홀 및 상기 제2 홀을 제거하는 단계는, 상기 제1 예측 뷰의 상기 제1 홀에 상기 복원된 기준 홀 레이어의 대응하는 부분을 삽입하여 상기 제1 홀을 제거하는, 멀티 뷰 생성 방법.
  20. 제14항에 있어서,
    상기 제1 예측 뷰 및 상기 제2 예측 뷰는,
    상기 적어도 하나의 참조 뷰의 바깥쪽에 위치된 보외 뷰(Extrapolation View)들인, 멀티 뷰 생성 방법.
  21. 제20항에 있어서,
    상기 보외 뷰들 각각은, 하나의 참조 뷰를 랜더링해서 생성되는, 멀티 뷰 생성 방법.
  22. 제20항에 있어서,
    상기 보외 뷰들은 연속적인 보외 뷰들인, 멀티 뷰 생성 방법.
  23. 제20항에 있어서,
    상기 기준 홀을 생성하는 단계는,
    상기 기준 홀 레이어는 상기 보외 뷰들과 동일한 크기를 가지는, 멀티 뷰 생성 방법.
  24. 삭제
  25. 삭제
  26. 멀티 뷰 생성을 위한 렌더링 장치에 있어서,
    메모리; 및
    제1 예측 뷰에 존재하는 제1 홀(hole) 및 제2 예측 뷰에 존재하는 제2 홀을 포함하는 기준 홀 레이어를 생성하고, 상기 기준 홀 레이어를 복원(inpainting)하고, 상기 복원된 기준 홀 레이어를 이용하여 상기 제1 예측 뷰에 존재하는 상기 제1 홀 및 상기 제2 예측 뷰에 존재하는 상기 제2 홀을 제거하도록 구성된(configured) 프로세서를 포함하는, 멀티 뷰 생성을 위한 렌더링 장치.
  27. 멀티 뷰 디스플레이 장치에 있어서,
    제1 예측 뷰에 존재하는 제1 홀(hole) 및 제2 예측 뷰에 존재하는 제2 홀을 포함하는 기준 홀 레이어를 생성하고, 상기 기준 홀 레이어를 복원(inpainting)하고, 상기 복원된 기준 홀 레이어를 이용하여 상기 제1 예측 뷰에 존재하는 상기 제1 홀 및 상기 제2 예측 뷰에 존재하는 상기 제2 홀을 제거하는 프로세서를 포함하는 멀티 뷰 생성을 위한 장치; 및
    상기 제1 예측 뷰 및 상기 제2 예측 뷰를 기반으로 하는 멀티 뷰 이미지를 디스플레이 하는 멀티 뷰 디스플레이를 포함하는
    멀티 뷰 생성을 위한 장치를 포함하는 멀티 뷰 디스플레이 장치.
  28. 제27항에 있어서,
    상기 멀티 뷰 생성을 위한 장치는, 상기 제1 예측 뷰의 상기 제1 홀에 상기 복원된 기준 홀 레이어의 대응하는 부분을 삽입하여 상기 제1 홀을 제거하는,
    멀티 뷰 생성을 위한 장치를 포함하는 멀티 뷰 디스플레이 장치.
KR1020110085469A 2010-08-27 2011-08-26 멀티 뷰 생성을 위한 렌더링 장치 및 그 방법 KR101895327B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100083570 2010-08-27
KR20100083570 2010-08-27

Publications (2)

Publication Number Publication Date
KR20120020078A KR20120020078A (ko) 2012-03-07
KR101895327B1 true KR101895327B1 (ko) 2018-09-10

Family

ID=45696564

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110085469A KR101895327B1 (ko) 2010-08-27 2011-08-26 멀티 뷰 생성을 위한 렌더링 장치 및 그 방법

Country Status (6)

Country Link
US (1) US9147281B2 (ko)
EP (1) EP2609575B1 (ko)
JP (1) JP5784729B2 (ko)
KR (1) KR101895327B1 (ko)
CN (1) CN102687178B (ko)
WO (1) WO2012026768A2 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140039649A (ko) 2012-09-24 2014-04-02 삼성전자주식회사 다시점 영상 생성 방법 및 다시점 영상 디스플레이 장치
KR101918030B1 (ko) 2012-12-20 2018-11-14 삼성전자주식회사 하이브리드 멀티-뷰 랜더링 방법 및 장치
KR102156402B1 (ko) * 2013-11-05 2020-09-16 삼성전자주식회사 영상 처리 방법 및 장치
US9640743B2 (en) * 2014-09-29 2017-05-02 Nichia Corporation Method for manufacturing package, method for manufacturing light emitting device, package and light emitting device
US10726593B2 (en) * 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
KR102350235B1 (ko) 2014-11-25 2022-01-13 삼성전자주식회사 영상 처리 방법 및 장치
CN106028020B (zh) * 2016-06-21 2017-11-17 电子科技大学 一种基于多方向预测的虚拟视角图像空洞填补方法
CN110895793B (zh) * 2018-09-13 2022-06-14 阿里巴巴（中国）有限公司 图像处理方法、装置及存储介质
US11570418B2 (en) 2021-06-17 2023-01-31 Creal Sa Techniques for generating light field data by combining multiple synthesized viewpoints

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009124308A (ja) * 2007-11-13 2009-06-04 Tokyo Denki Univ 多眼視画像作成システム及び多眼視画像作成方法
JP2009528747A (ja) 2006-02-28 2009-08-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像における指向性の穴埋め
WO2010050728A2 (ko) * 2008-10-27 2010-05-06 엘지전자 주식회사 가상 뷰 이미지 합성 방법 및 장치

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5530774A (en) * 1994-03-25 1996-06-25 Eastman Kodak Company Generation of depth image through interpolation and extrapolation of intermediate images derived from stereo image pair using disparity vector fields
JP3826236B2 (ja) * 1995-05-08 2006-09-27 松下電器産業株式会社 中間像生成方法、中間像生成装置、視差推定方法、及び画像伝送表示装置
JP3769850B2 (ja) * 1996-12-26 2006-04-26 松下電器産業株式会社 中間視点画像生成方法および視差推定方法および画像伝送方法
BR0302719A (pt) * 2002-01-18 2004-03-09 Toshiba Kk Toshiba Corp Método e aparelho de codificação de vìdeo e método e aparelho de decodificação de vìdeo
JP4644669B2 (ja) * 2003-08-05 2011-03-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチビュー画像の生成
KR100655465B1 (ko) 2004-08-30 2006-12-08 중앙대학교 산학협력단 실시간 중간 시점 영상 보간 방법
KR100590025B1 (ko) 2004-12-30 2006-06-14 전자부품연구원 다시점 정방향 카메라 배열 기반 디스플레이를 위한중간영상합성 방법 및 그 장치
KR101249236B1 (ko) * 2005-01-12 2013-04-01 코닌클리케 필립스 일렉트로닉스 엔.브이. 깊이 인식
KR100731979B1 (ko) 2005-10-18 2007-06-25 전자부품연구원 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체
KR100745691B1 (ko) 2005-12-08 2007-08-03 한국전자통신연구원 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법
CN104503091B (zh) * 2007-02-13 2017-10-17 三星显示有限公司 用于定向显示器及系统的子像素布局及子像素着色方法
KR100924716B1 (ko) 2007-12-24 2009-11-04 연세대학교 산학협력단 자유 시점 영상 재생을 위한 2차원/3차원 가상 시점 합성방법
JP5536676B2 (ja) * 2008-03-04 2014-07-02 トムソン ライセンシング 仮想参照ビュー
KR20100008649A (ko) 2008-07-16 2010-01-26 광주과학기술원 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체
KR101066550B1 (ko) 2008-08-11 2011-09-21 한국전자통신연구원 가상시점 영상 생성방법 및 그 장치
KR20100083570A (ko) 2009-01-14 2010-07-22 삼성전자주식회사 얼굴 인식 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009528747A (ja) 2006-02-28 2009-08-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像における指向性の穴埋め
JP2009124308A (ja) * 2007-11-13 2009-06-04 Tokyo Denki Univ 多眼視画像作成システム及び多眼視画像作成方法
WO2010050728A2 (ko) * 2008-10-27 2010-05-06 엘지전자 주식회사 가상 뷰 이미지 합성 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
S TSEKERIDOU., et al., ‘MPEG-2 error concealment based on block-matching principles’, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 10, NO. 4, JUNE 2000, pp646-658

Also Published As

Publication number Publication date
CN102687178B (zh) 2016-04-20
EP2609575A4 (en) 2015-05-06
WO2012026768A2 (en) 2012-03-01
CN102687178A (zh) 2012-09-19
JP2013545149A (ja) 2013-12-19
WO2012026768A3 (en) 2012-05-18
EP2609575B1 (en) 2019-02-27
EP2609575A2 (en) 2013-07-03
US9147281B2 (en) 2015-09-29
KR20120020078A (ko) 2012-03-07
US20120050283A1 (en) 2012-03-01
JP5784729B2 (ja) 2015-09-24

Similar Documents

Publication Publication Date Title
KR101895327B1 (ko) 멀티 뷰 생성을 위한 렌더링 장치 및 그 방법
KR101594888B1 (ko) 적어도 두 개의 이미지들로부터 평가되는 깊이 맵 또는 디스페리티 맵의 엄폐된 영역들을 채우기 위한 방법 및 디바이스
RU2519433C2 (ru) Способ и система для обработки входного трехмерного видеосигнала
EP2477158B1 (en) Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching
KR101697184B1 (ko) 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법
JP4886898B2 (ja) 深さ関連情報伝達のための方法及び装置
JP4168125B2 (ja) データ処理システムおよび方法
JP4508878B2 (ja) 立体画像のためのビデオフィルタ処理
US8817073B2 (en) System and method of processing 3D stereoscopic image
CN109462747B (zh) 基于生成对抗网络的dibr系统空洞填充方法
JP2005151534A5 (ko)
EP2569950B1 (en) Comfort noise and film grain processing for 3 dimensional video
KR20120074925A (ko) 빈공간 채움 방법 및 이를 수행하는 3차원 비디오 시스템
JP2012507907A (ja) 深さマップを生成するための方法及び装置
KR101960852B1 (ko) 배경 픽셀 확장 및 배경 우선 패치 매칭을 사용하는 멀티 뷰 렌더링 장치 및 방법
CN109416844A (zh) 图像处理设备及方法
EP1815441B1 (en) Rendering images based on image segmentation
JP7184748B2 (ja) 場面の積層深度データを生成するための方法
KR20120137295A (ko) 영상 처리를 위한 방법 및 장치
WO2019244944A1 (ja) 三次元再構成方法および三次元再構成装置
JP2007053621A (ja) 画像生成装置
KR20170046434A (ko) 영상 처리 방법 및 영상 처리 장치
WO2013128765A1 (ja) 画像処理装置、画像処理方法およびコンピュータプログラム
Kao Stereoscopic image generation with depth image based rendering
JP5906165B2 (ja) 仮想視点画像合成装置、仮想視点画像合成方法及び仮想視点画像合成プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right