KR20130001541A - 다시점 영상의 해상도 복원 방법 및 장치 - Google Patents

다시점 영상의 해상도 복원 방법 및 장치 Download PDF

Info

Publication number
KR20130001541A
KR20130001541A KR1020110062364A KR20110062364A KR20130001541A KR 20130001541 A KR20130001541 A KR 20130001541A KR 1020110062364 A KR1020110062364 A KR 1020110062364A KR 20110062364 A KR20110062364 A KR 20110062364A KR 20130001541 A KR20130001541 A KR 20130001541A
Authority
KR
South Korea
Prior art keywords
reference image
resolution
image
block
detail information
Prior art date
Application number
KR1020110062364A
Other languages
English (en)
Inventor
이석
오병태
이재준
위호천
이승신
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110062364A priority Critical patent/KR20130001541A/ko
Priority to US13/489,973 priority patent/US8879872B2/en
Priority to JP2012142933A priority patent/JP2013013079A/ja
Priority to EP12173880.1A priority patent/EP2541494B1/en
Publication of KR20130001541A publication Critical patent/KR20130001541A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Systems (AREA)

Abstract

다시점 영상 중 저 해상도의 시점 영상에 대한 해상도를 복원하는 방법 및 장치가 제공된다. 해상도 복원 방법은, 기준 영상과 이웃하는 참조 영상을 이용하여 디테일 정보를 생성하고, 디테일 정보를 이용하여 기준 영상의 해상도를 복원할 수 있다.

Description

다시점 영상의 해상도 복원 방법 및 장치{METHOD AND APPARATUS FOR RESTORING RESOLUTION OF MULTI-VIEW IMAGE}
아래의 실시예들은 3차원 다시점 영상에서 저해상도 영상의 고주파 성분을 복원하기 위한 방법 및 장치에 관한 것이다.
일반적으로, 1개의 카메라를 사용하는 2D(Dimension) 영상과는 달리, 영상 시스템은 복수 개의 시점에 대해 영상 데이터를 촬영하여 3차원 영상을 제공한다. 이때, 촬영된 영상 데이터는 일정한 형식의 포맷으로 변환 및 저장된다. 그리고, 변환 및 저장된 영상 데이터는 압축되어 디스플레이로 전송된다. 그러면, 영상 데이터는 디스플레이의 종류에 따라 2D 영상, 스테레오(stereo) 방식의 3D 영상, 또는 다시점(multi-view) 방식의 3D 영상으로 재생될 수 있다.
이때, 다시점 영상은 저해상도의 영상과 고해상도의 영상이 함께 섞여있을 수 있다. 그러면, 다시점 영상을 디코딩(decoding)한 경우, 디코딩된 저해상도의 영상은 고해상도 영상보다 화질 열화가 발생한다.
이에 따라, 다시점 영상에서 저해상도 영상의 화질 열화를 감소시킬 수 있는 기술이 필요하다.
본 다시점 영상의 해상도 복원 방법은, 기준 영상과 이웃하는 참조 영상의 해상도에 기초하여 기준 영상을 업 스케일링(up scaling)하는 단계, 상기 참조 영상을 이용하여 디테일 정보를 생성하는 단계, 및 상기 디테일 정보 및 상기 업 스케일링된 기준 영상을 이용하여 기준 영상의 해상도를 복원하는 단계를 포함할 수 있다.
또한, 상기 해상도를 복원하는 단계는, 상기 필터 계수에 기초하여 상기 업 스케일링된 기준 영상을 필터링함에 따라 기준 영상의 해상도를 복원할 수 있다.
또한, 상기 해상도를 복원하는 단계는, 상기 차분 영상 정보와 상기 업 스케일링된 기준 영상을 이용하여 상기 기준 영상의 해상도를 복원할 수 있다.
또한, 상기 디테일 정보를 생성하는 단계는, 상기 기준 영상의 해상도에 기초하여 상기 참조 영상을 다운 스케일링(down scaling)하는 단계, 상기 참조 영상의 해상도에 기초하여 상기 다운 스케일링된 참조 영상을 업 스케일링(up scaling)하는 단계, 및 상기 업 스케일링된 참조 영상과 상기 참조 영상을 이용하여 상기 디테일 정보를 생성하는 단계를 포함할 수 있다.
또한, 상기 해상도를 복원하는 단계는, 상기 업스케일링된 기준 영상을 복수개의 블록으로 분할하는 단계, 상기 참조 영상에서 상기 분할된 블록 중 어느 하나인 기준 블록과 대응하는 블록을 결정하는 단계, 상기 기준 블록과 참조 영상의 대응 블록에 기초하여 디스패러티(disparity)를 계산하는 단계, 및 상기 디스패러티에 기초하여 상기 기준 영상과 상기 참조 영상 간의 시점 차이를 보상하는 단계를 포함할 수 있다.
또한, 상기 디테일 정보를 생성하는 단계는, 상기 기준 영상의 해상도와 상기 참조 영상의 해상도에 기초하여 해상도 비율을 계산하는 단계, 상기 해상도 비율에 기초하여 상기 대응 블록을 다운 스케일링하는 단계, 상기 해상도 비율에 기초하여 상기 다운 스케일링된 대응 블록을 업 스케일링하는 단계, 및 상기 업 스케일링된 대응 블록과 상기 대응 블록에 기초하여 상기 대응 블록의 디테일 정보를 생성하는 단계를 포함할 수 있다. 그러면, 상기 해상도를 복원하는 단계는, 상기 대응 블록의 디테일 정보 및 상기 기준 블록을 이용하여 상기 기준 영상에서 상기 기준 블록에 대응하는 현재 블록의 해상도를 복원할 수 있다.
또한, 상기 해상도가 복원된 기준 영상과 상기 참조 영상을 합성하여 가상 시점 영상을 생성하는 단계를 더 포함할 수 있다.
본 해상도 복원 장치는, 기준 영상과 이웃하는 참조 영상의 해상도에 기초하여 상기 기준 영상을 업 스케일링(up scaling)하는 업 스케일링부, 상기 참조 영상을 이용하여 디테일 정보를 생성하는 디테일 정보 생성부, 및 상기 디테일 정보와 상기 업 스케일링된 기준 영상을 이용하여 기준 영상의 해상도를 복원하는 복원부를 포함할 수 있다.
또한, 상기 디테일 정보 생성부는, 상기 기준 영상의 해상도에 기초하여 상기 참조 영상을 다운 스케일링(down scaling)하고, 상기 참조 영상의 해상도에 기초하여 상기 다운 스케일링된 참조 영상을 업 스케일링(up scaling)하고, 상기 업 스케일링된 참조 영상과 상기 참조 영상을 이용하여 상기 디테일 정보를 생성할 수 있다.
또한, 상기 복원부는, 상기 업스케일링된 기준 영상을 복수개의 블록으로 분할하고, 상기 참조 영상에서 상기 분할된 블록 중 어느 하나인 기준 블록과 대응하는 블록을 결정하는 대응 블록 결정부, 상기 기준 블록과 참조 영상의 대응 블록에 기초하여 디스패러티(disparity)를 계산하는 디스패러티 계산부, 및 상기 디스패러티에 기초하여 상기 기준 영상과 상기 참조 영상 간의 시점 차이를 보상하는 보상부를 포함할 수 있다.
또한, 상기 디테일 정보 생성부는, 상기 기준 영상의 해상도와 상기 참조 영상의 해상도에 기초하여 해상도 비율을 계산하고, 상기 해상도 비율에 기초하여 상기 대응 블록을 다운 스케일링하고, 상기 해상도 비율에 기초하여 상기 다운 스케일링된 대응 블록을 업 스케일링하고, 상기 업 스케일링된 대응 블록과 상기 대응 블록에 기초하여 상기 대응 블록의 디테일 정보를 생성할 수 있다. 그러면, 상기 복원부는, 상기 대응 블록의 디테일 정보 및 상기 기준 블록을 이용하여 상기 기준 영상에서 상기 기준 블록에 대응하는 현재 블록의 해상도를 복원할 수 있다.
또한, 상기 해상도가 복원된 기준 영상과 상기 참조 영상을 합성하여 가상 시점 영상을 생성하는 가상 시점 영상 생성부를 더 포함할 수 있다.
또한, 상기 업 스케일링부, 상기 복원부, 및 상기 가상 시점 영상 생성부는 원 칩(one chip)으로 구성될 수 있다.
본 발명에 따르면, 저해상도 영상과 이웃하는 인접 시점 영상을 이용하여 저해상도 영상의 해상도를 고화질로 복원할 수 있다.
본 발명에 따르면, 저해상도 영상의 해상도를 복원하여 가상 시점 영상을 생성함에 따라, 가상 시점 영상의 화질 열화를 감소시킬 수 있다.
도 1은 해상도 복원 장치에서 기준 영상의 해상도를 복원하는 구성을 설명하기 위해 제공되는 흐름도이다.
도 2는 해상도 복원 장치에서 기준 영상의 해상도를 복원하는 구성을 설명하기 위해 제공되는 도면이다.
도 3은 시점 차이를 보상하여 기준 영상의 해상도를 복원하는 구성을 설명하기 위해 제공되는 흐름도이다.
도 4는 기준 영상과 참조 영상 간의 시점 차이 보상을 설명하기 위해 제공되는 도면이다.
도 5는 글로벌 디스패러티 방식을 이용하여 시점 차이를 보상하는 방법을 설명하기 위해 제공되는 도면이다.
도 6은 로컬 디스패러티 방식을 이용하여 시점 차이를 보상하는 방법을 설명하기 위해 제공되는 도면이다.
도 7은 해상도 복원 장치의 세부 구성을 도시한 블록도이다.
도 8은 시점 차이를 보상하는 복원부의 세부 구성을 도시한 블록도이다.
도 9는 4개의 시점 영상을 이용하여 해상도를 복원하는 구성을 설명하기 위해 제공되는 도면이다.
도 10은 3개의 시점 영상을 이용하여 해상도를 복원하는 구성을 설명하기 위해 제공되는 도면이다.
이하에서, 본 발명의 일 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 해상도 복원 장치에서 기준 영상의 해상도를 복원하는 구성을 설명하기 위해 제공되는 흐름도이다.
도 1에 따르면, 101 단계에서, 해상도 복원 장치는, 기준 영상과 이웃하는 참조 영상의 해상도에 기초하여 기준 영상을 업 스케일링(up scaling)할 수 있다.
일례로, 해상도 복원 장치는, 기준 영상의 크기를 참조 영상의 크기와 동일하게 확대할 수 있다. 예를 들어, 참조 영상의 해상도가 기준 영상의 해상도보다 a배 높은 경우, 해상도 복원 장치는, 참조 영상의 해상도에 기초하여 기준 영상의 크기를 a배 확대할 수 있다.
여기서, 기준 영상은 다시점(multi-view) 영상을 구성하는 시점 영상들 중 저 해상도의 시점 영상이고, 참조 영상은, 다시점 영상을 구성하는 시점 영상들 중 고 해상도의 시점 영상이다. 이때, 참조 영상은, 다시점 영상을 구성하는 시점 영상들 중 기준 영상에 인접하는 시점 영상으로서, 기준 영상과는 다른 시점의 영상이다. 예를 들어, 기준 영상이 뷰(view) 1인 경우, 참조 영상은 뷰(view) 2일 수 있다.
이어, 102 단계에서, 해상도 복원 장치는, 기준 영상의 해상도에 기초하여 참조 영상을 다운 스케일링(down scaling)할 수 있다.
일례로, 해상도 복원 장치는, 참조 영상의 크기를 기준 영상의 크기와 동일하게 축소할 수 있다. 예를 들어, 기준 영상의 해상도가 참조 영상의 해상도보다 1/a배 낮은 경우, 해상도 복원 장치는, 기준 영상의 해상도에 기초하여 참조 영상의 크기를 1/a배 축소할 수 있다.
그리고, 103 단계에서, 해상도 복원 장치는, 다운 스케일링된 참조 영상을 다시 업 스케일링할 수 있다. 이때, 해상도 복원 장치는, 원 참조 영상의 해상도에 기초하여 다운 스케일링된 참조 영상을 업 스케일링할 수 있다.
예를 들어, 참조 영상의 크기를 1/a배 다운 스케일링한 경우, 해상도 복원 장치는, 다운 스케일링된 참조 영상의 크기를 다시 a배 확대하여 업 스케일링할 수 있다.
이어, 104 단계에서, 해상도 복원 장치는, 업 스케일링된 참조 영상과 원래의 참조 영상을 이용하여 디테일 정보를 생성할 수 있다. 여기서, 디테일 정보는, 필터 계수 정보 및 차분 영상 정보 중 적어도 하나를 포함할 수 있다.
일례로, 해상도 복원 장치는, 업 스케일링된 참조 영상과 원래의 참조 영상 간의 차이를 복원하기 위한 필터 계수를 계산할 수 있다. 예를 들어, 복원 필터로 와이너 필터(wiener)를 이용하는 경우, 해상도 복원 장치는 업 스케일링된 참조 영상과 원래의 참조 영상 간의 차이에 기초하여 와이너 필터 계수를 계산할 수 있다.
다른 예로, 해상도 복원 장치는, 원채의 참조 영상에서 업 스케일링된 참조 영상을 차감하여 차분 영상 정보를 생성할 수 있다.
그리고, 105 단계에서, 해상도 복원 장치는, 디테일 정보 및 업 스케일링된 기준 영상을 이용하여 기준 영상의 해상도를 복원할 수 있다.
일례로, 디테일 정보가 필터 계수 정보를 포함하는 경우, 해상도 복원 장치는, 필터 계수 정보에 기초하여 업 스케일링된 기준 영상을 필터링하여 기준 영상의 고주파 성분을 복원할 수 있다.
다른 예로, 디테일 정보가 차분 영상 정보를 포함하는 경우, 해상도 복원 장치는, 업 스케일링된 기준 영상에서 차분 영상 정보를 더하여 기준 영상의 고주파 성분을 복원할 수 있다.
이처럼, 해상도 복원 장치는, 기준 영상과 인접하는 시점 영상을 참조 영상으로 이용하여 기준 영상의 해상도를 복원함에 따라, 영상 부호화 장치에서 전송하는 다시점 영상의 데이터량을 감소시킬 수 있다. 다시 말해, 영상 부호화 장치에서 저해상도 영상과 고해상도 영상을 혼합하여 전송하더라도, 해상도 복원 장치는 저해상도 영상의 고주파 성분을 복원함으로써 화질 열화를 감소시키고, 영상 부호화 장치에서 전송하는 다시점 영상의 데이터 량을 감소시킬 수 있다.
도 2는 해상도 복원 장치에서 기준 영상의 해상도를 복원하는 구성을 설명하기 위해 제공되는 도면이다.
도 2에 따르면, 해상도 복원 장치는, 저 해상도인 기준 영상(201)의 크기를 참조 영상(203)의 해상도에 기초하여 업 스케일링할 수 있다.
그리고, 해상도 복원 장치는, 고 해상도인 참조 영상(203)의 크기를 기준 영상(201)의 해상도에 기초하여 다운 스케일링할 수 있다. 여기서, 참조 영상은 다시점 영상을 구성하는 시점 영상들 중 기준 영상과 이웃하는 인접 시점 영상일 수 있다.
이어, 해상도 복원 장치는, 다운 스케일링된 참조 영상(204)의 크기를 다시 원래의 참조 영상 크기로 업 스케일링 할 수 있다.
그리고, 해상도 복원 장치는 업 스케일링된 참조 영상(205)과 원래의 참조 영상(203)을 이용하여 디테일 정보를 생성할 수 있다. 일례로, 디테일 정보는, 필터 계수 정보 및 차분 영상 정보 중 적어도 하나를 포함할 수 있다.
이어, 해상도 복원 장치는, 디테일 정보와 업 스케일링된 기준 영상(202)을 이용하여 기준 영상(201)의 해상도를 복원할 수 있다. 다시 말해, 해상도 복원 장치는 기준 영상의 고주파 성분이 복원된 영상(206)을 생성할 수 있다.
일례로, 디테일 정보가 필터 계수 정보를 포함하는 경우, 해상도 복원 장치는 업 스케일링된 기준 영상(202)을 필터 계수 정보에 기초하여 필터링함에 따라, 기준 영상(201)의 해상도를 복원할 수 있다.
다른 예로, 디테일 정보가 차분 영상 정보를 포함하는 경우, 해상도 복원 장치는 업 스케일링된 기준 영상(202)과 참조 영상 정보를 더하여 기준 영상(201)의 해상도를 복원할 수 있다.
도 3은 시점 차이를 보상하여 기준 영상의 해상도를 복원하는 구성을 설명하기 위해 제공되는 흐름도이다.
도 1 및 도 2에서, 해상도 복원 장치는, 기준 영상과 다른 시점에 해당하는 인접 시점 영상을 참조 영상으로 이용하여 기준 영상의 해상도를 복원할 수 있다. 이처럼, 다른 시점의 영상을 이용하여 기준 영상의 해상도를 복원하는 경우, 기준 영상과 복원된 영상 간의 시점 차이가 발생할 수 있다. 이에 따라, 도 3에서는 시점 차이를 보상하는 구성에 대해 설명하고자 한다.
먼저, 301 단계에서, 해상도 복원 장치는, 업 스케일링된 기준 영상을 복수개의 블록으로 분할할 수 있다.
이어, 302 단계에서, 해상도 복원 장치는, 참조 영상을 복수개의 블록으로 분할할 수 있다. 이때, 해상도 복원 장치는, 분할된 기준 영상의 블록 개수에 대응하도록 참조 영상을 복수개의 블록으로 분할할 수 있다. 예를 들어, 업 스케일링된 기준 영상이 32x32 블록으로 분할된 경우, 해상도 복원 장치는, 참조 영상을 32x32 블록으로 분할할 수 있다.
그리고, 303 단계에서, 해상도 복원 장치는, 참조 영상에서 기준 블록에 대응하는 블록을 결정할 수 있다. 여기서, 기준 블록은, 업 스케일링된 기준 영상을 구성하는 복수의 블록들 중 어느 하나일 수 있다.
일례로, 해상도 복원 장치는, 참조 영상에서 기준 블록과 대응하는 위치에 있는 블록을 대응 블록으로 결정할 수 있다. 예를 들어, 32x32 블록으로 분할된 기준 영상에서 블록 1이 기준 블록인 경우, 해상도 복언 장치는 참조 영상에서 블록 1을 대응 블록으로 결정할 수 있다.
이어, 304 단계에서, 해상도 복원 장치는, 기준 블록 및 대응 블록을 이용하여 디스패러티(disparity)를 계산할 수 있다.
예를 들어, 해상도 복원 장치는, 기준 블록과 대응 블록 간의 픽셀 위치 차이를 이용하여 디스패러티를 계산할 수 있다.
그리고, 305 단계에서, 해상도 복원 장치는, 계산된 디스패러티를 이용하여 기준 영상과 참조 영상 간의 시점 차이를 보상할 수 있다. 예를 들어, 해상도 복원 장치는, 계산된 디스패러티에 기초하여 참조 영상을 이동하여 시점 차이를 보상할 수 있다. 이때, 해상도 복원 장치는, 글로벌 디스패러티(global disparity) 또는 로컬 디스패러티(local disparity) 방식을 이용하여 시점 차이를 보상할 수 있다.
도 4는 기준 영상과 참조 영상 간의 시점 차이 보상을 설명하기 위해 제공되는 도면이다.
도 4에 따르면, 해상도 복원 장치는, 참조 영상(402)의 해상도에 기초하여 기준 영상(401)을 업 스케일링할 수 있다.
그리고, 해상도 복원 장치는, 업 스케일링된 기준 영상(403)의 기준 블록(404)과 대응하는 위치에 있는 대응 블록(405)을 참조 영상에서 결정할 수 있다. 예를 들어, 해상도 복원 장치는, 움직임 추정 알고리즘 또는 기준 영상의 깊이 정보(depth information)를 이용하여 기준 블록(404)과 대응하는 위치에 있는 대응 블록(405)을 결정할 수 있다.
이어, 해상도 복원 장치는, 기준 블록(404)과 대응 블록(405) 간의 픽셀 차이에 기초하여 디스패러티(406)를 계산할 수 있다.
그리고, 해상도 복원 장치는 계산된 디스패러티(406)에 기초하여 대응 블록을 이동하여 기준 블록과 대응 블록 간의 시점 차이를 보상할 수 있다. 이때, 해상도 복원 장치는, 참조 영상을 구성하는 모든 블록들을 대상으로 시점 차이를 보상할 수 있다. 이에 따라, 해상도 복원 장치는, 기준 영상과 참조 영상 간의 시점 차이를 보상할 수 있다. 예를 들어, 해상도 복원 장치는, 글로벌 디스패러티 방식으로 시점 차이를 보상하거나 또는 로컬 디스패러티 방식으로 시점 차이를 보상할 수 있다. 글로벌 디스패러티 방식 또는 로컬 디스패러티 방식으로 시점 차이를 보상하는 구성에 대해서는 도 5 및 도 6을 참조하여 후술하기로 한다.
이어, 해상도 복원 장치는, 시점 차이가 보상된 대응 블록을 해상도 비율에 기초하여 다운 스케일링할 수 있다. 여기서, 해상도 비율은, 기준 영상(401)과 참조 영상(402) 간의 해상도 차에 기초하여 계산될 수 있다.
그리고, 해상도 복원 장치는, 다운 스케일링된 대응 블록(408)을 해상도 비율에 기초하여 다시 원래의 대응 블록으로 업 스케일링할 수 있다.
그러면, 해상도 복원 장치는, 업 스케일링된 대응 블록(409)과 원래의 대응 블록(402) 간의 차이에 기초하여 대응 블록의 디테일 정보를 생성할 수 있다. 여기서, 대응 블록의 디테일 정보는, 대응 블록의 필터 계수 정보 및 대응 블록의 차분 블록 정보를 포함할 수 있다.
이어, 해상도 복원 장치는, 대응 블록의 디테일 정보 및 기준 블록(404)을 이용하여 기준 영상에서 기준 블록(404)에 해당하는 현재 블록의 해상도를 복원할 수 있다. 다시 말해, 해상도 복원 장치는, 현재 블록의 고주파 성분을 복원하여 복원 블록(401)을 생성할 수 있다. 여기서, 현재 블록은, 원래의 기준 영상(401)에서 업 스케일링된 기준 영상의 기준 블록(404)과 대응하는 위치에 있는 블록일 수 있다. 즉, 현재 블록은 기준 블록(404)이 업 스케일링되기 이전의 블록을 의미할 수 있다.
동일한 방법으로, 해상도 복원 장치는, 업 스케일링된 기준 영상(403)을 구성하는 모든 블록들과 각 블록과 대응하는 위치에 있는 대응 블록의 디테일 정보를 이용하여 기준 영상(401)을 구성하는 모든 블록들의 해상도를 복원할 수 있다. 결국, 해상도 복원 장치는, 기준 영상(401)의 해상도를 복원하여 복원 영상(411)을 생성할 수 있다.
그리고, 해상도 복원 장치는, 복원 영상(411)과 참조 영상(402)을 합성하여 가상 시점 영상을 생성할 수 있다.
도 5는 글로벌 디스패러티 방식을 이용하여 시점 차이를 보상하는 방법을 설명하기 위해 제공되는 도면이다.
도 5에 따르면, 해상도 복원 장치는, 업 스케일링된 기준 영상(501)을 구성하는 복수의 블록들 중 어느 하나를 기준 블록으로 결정할 수 있다. 그리고, 해상도 복원 장치는, 기준 블록과 대응하는 위치에 해당하는 대응 블록을 참조 영상(502)에서 결정할 수 있다. 이때, 해상도 복원 장치는, 움직임 추정 알고리즘 또는 기준 영상의 깊이 정보를 이용하여 대응 블록을 결정할 수 있다.
이어, 해상도 복원 장치는, 기준 블록과 참조 영상 간의 픽셀 차이를 계산하여 글로벌 디스패러티를 계산할 수 있다. 그리고, 해상도 복원 장치는, 계산한 글로벌 디스패러티를 업 스케일링된 기준 영상(501)을 구성하는 모든 블록들에 동일하게 적용하여 기준 영상과 참조 영상 간의 시점 차이를 보상할 수 있다.
예를 들어, 기준 블록 1(503) 및 대응 블록 1(504) 간의 글로벌 디스패러티(505)가 계산된 경우, 해상도 복원 장치는, 글로벌 디스패러티(505)에 기초하여 대응 블록 1(501)을 이동할 뿐만 아니라, 기준 블록 2(506)에 대응하는 대응 블록 2(507), 기준 블록 3(508)에 대응하는 대응 블록 3(509)을 동일한 글로벌 디스패러티(505)에 기초하여 이동할 수 있다. 이처럼, 해상도 복원 장치는, 기준 영상(501)을 구성하는 모든 블록들에 대해 동일한 글로벌 디스패러티(505)를 적용하여 참조 영상(502)을 이동하여 기준 영상과 참조 영상 간의 시점 차이를 보상할 수 있다. 즉, 해상도 복원 장치는, 글로벌 디스패러티에 기초하여 참조 영상(502)의 시점이 기준 영상의 시점과 동일해지도록 보상할 수 있다.
그러면, 앞의 도 3 및 도 4에서 설명한 바와 같이, 해상도 복원 장치는, 해상도 비율에 기초하여 참조 영상의 대응 블록을 다운 스케일링하고, 다시 업 스케일링할 수 있다. 이어, 해상도 복원 장치는, 업 스케일링된 대응 블록과 원래의 대응 블록 간의 차이를 이용하여 대응 블록의 디테일 정보를 생성할 수 있다. 그리고, 해상도 복원 장치는, 생성된 대응 블록의 디테일 정보와 기준 블록을 이용하여 현재 블록의 해상도를 복원할 수 있다. 여기서, 현재 블록은, 업 스케일링되기 이전의 원래 기준 영상에서 업 스케일링된 기준 영(501)상의 기준 블록(503)과 대응하는 위치에 있는 블록일 수 있다.
도 6은 로컬 디스패러티 방식을 이용하여 시점 차이를 보상하는 방법을 설명하기 위해 제공되는 도면이다.
도 6에 따르면, 해상도 복원 장치는, 업 스케일링된 기준 영상(601)을 구성하는 복수의 블록들 각각과 대응하는 위치에 해당하는 대응 블록을 참조 영상(602)에서 각각 결정할 수 있다. 이때, 해상도 복원 장치는, 움직임 추정 알고리즘 또는 기준 영상의 깊이 정보를 이용하여 대응 블록을 결정할 수 있다.
이어, 해상도 복원 장치는, 기준 영상(601)의 각 기준 블록과 참조 영상(602)의 각 대응 블록 간의 픽셀 차이를 계산하여 디스패러티를 블록 별로 계산할 수 있다. 그리고, 해상도 복원 장치는, 계산한 블록 별 디스패러티에 기초하여 각 대응 블록을 이동함에 따라 기준 영상과 참조 영상 간의 시점 차이를 보상할 수 있다. 이때, 해상도 복원 장치는, 각 기준 블록의 깊이 정보를 이용하여 로컬 디스패러티를 블록 별로 계산할 수 있다. 여기서, 로컬 디스패러티는, 평균 디스패러티일 수 있다.
예를 들어, 기준 블록 1(603) 및 대응 블록 1(604) 간의 디스패러티 1(605)가 계산된 경우, 해상도 복원 장치는, 디스패러티 1(605)에 기초하여 대응 블록 1(604)을 이동할 수 있다. 그리고, 기준 블록 2(606) 및 대응 블록 2(607) 간의 디스패러티 2(607)가 계산된 경우, 해상도 복원 장치는, 디스패러티 2(607)에 기초하여 대응 블록 2(607)의 위치를 이동할 수 있다. 그리고, 기준 블록 3(609) 및 대응 블록 3(610) 간의 디스패러티 3(611)이 계산된 경우, 해상도 복원 장치는, 디스패러티 3(611)에 기초하여 대응 블록 3(611)의 위치를 이동할 수 있다. 동일한 방법으로, 해상도 복원 장치는, 참조 영상을 구성하는 복수의 대응 블록들을 블록 별 디스패러티에 기초하여 각각 이동할 수 있다. 이에 따라, 해상도 복원 장치는, 참조 영상의 시점이 기준 영상의 시점과 동일해지도록 보상할 수 있다.
도 7은 해상도 복원 장치의 세부 구성을 도시한 블록도이다.
도 7에 따르면, 해상도 복원 장치(700)는 업 스케일링부(701), 디테일 정보 생성부(702), 복원부(703), 및 가상 시점 영상 생성부(704)를 포함할 수 있다.
업 스케일링부(701)는 기준 영상과 이웃하는 참조 영상의 해상도에 기초하여 기준 영상을 업 스케일링할 수 있다. 예를 들어, 업 스케일링부(701)는 참조 영상의 크기와 동일해지도록 기준 영상의 크기를 확대할 수 있다.
여기서, 기준 영상은, 다시점 영상을 구성하는 저해상도 영상이고, 참조 영상은 다시점 영상을 구성하는 시점 영상들 중 기준 영상과 이웃하는 고해상도 영상으로, 기준 영상의 시점과 다른 시점을 가질 수 있다. 예를 들어, 기준 영상이 시점 영상 1인 경우, 참조 영상은 시점 영상 2일 수 있다.
디테일 정보 생성부(702)는, 기준 영상의 해상도를 복원하기 위해 참조 영상을 이용하여 디테일 정보를 생성할 수 있다. 여기서, 디테일 정보는, 필터 계수 정보 및 차분 영상 정보 중 적어도 하나를 포함할 수 있다.
일례로, 디테일 정보 생성부(702)는 기준 영상의 해상도에 기초하여 참조 영상을 다운 스케일링할 수 있다. 이어, 디테일 정보 생성부(702)는 다운 스케일링된 참조 영상을 원래 참조 영상(original reference image)의 해상도에 기초하여 업 스케일링할 수 있다. 그리고, 디테일 정보 생성부(702)는 업 스케일링된 참조 영상과 원래 참조 영상을 이용하여 디테일 정보를 생성할 수 있다. 예를 들어, 디테일 정보 생성부(702)는 원래 참조 영상과 업 스케일링된 참조 영상 간의 차이를 보상하기 위한 필터 계수 정보 또는 차분 영상 정보를 디테일 정보로 생성할 수 있다.
그러면, 복원부(703)는 디테일 정보를 이용하여 업 스케일링된 기준 영상의 해상도를 복원할 수 있다.
일례로, 필터 계수 정보가 이용되는 경우, 복원부(703)는 필터 계수 정보에 기초하여 업 스케일링된 기준 영상을 와이너 필터링(wiener filtering)하여 기준 영상의 고주파 성분을 복원할 수 있다.
다른 예로, 차분 영상 정보가 이용되는 경우, 복원부(703)는 업 스케일링된 기준 영상에서 차분 영상 정보를 차감하여 기준 영상의 해상도를 복원할 수 있다.
한편, 디테일 정보 생성부(702)는 참조 영상을 구성하는 각 블록 별로 디테일 정보를 생성할 수도 있다.
일례로, 디테일 정보 생성부(702)는 기준 영상의 해상도와 참조 영상의 해상도에 기초하여 해상도 비율을 계산할 수 있다. 그리고, 디테일 정보 생성부(702)는 계산된 해상도 비율에 기초하여 기준 영상을 구성하는 블록들 중 기준 블록과 대응하는 위치에 해당하는 참조 영상의 대응 블록을 다운 스케일링할 수 있다. 이어, 디테일 정보 생성부(702)는 다운 스케일링된 대응 블록을 해상도 비율에 기초하여 다시 업 스케일링할 수 있다. 그리고, 디테일 정보 생성부(702)는 다시 업 스케일링된 대응 블록과 원래의 대응 블록을 이용하여 대응 블록의 디테일 정보를 생성할 수 있다.
그러면, 복원부(703)는 대응 블록의 디테일 정보를 이용하여 기준 블록의 해상도를 복원할 수 있다.
이때, 기준 영상과 다른 시점 영상을 참조 영상으로 이용하여 기준 영상의 해상도를 복원함에 따라, 원래의 기준 영상과 복원된 기준 영상 간의 시점 차이가 발생할 수 있다. 이에 따라, 참조 영상의 시점을 원래의 기준 영상의 시점과 동일해지도록 시점 차이를 보상하여 기준 영상의 해상도를 복원해야 한다. 이처럼, 시점 차이를 보상하는 구성은 도 8을 참조하여 후술하기로 한다.
가상 시점 영상 생성부(704)는 해상도가 복원된 기준 영상과 참조 영상을 합성하여 가상 시점 영상을 생성할 수 있다. 이처럼, 가상 시점 영상 생성부(704)는 가상 시점 영상을 생성함에 따라, MxM 다시점 영상 중 일부 시점 영상만을 수신하더라도 MxM 다시점 영상을 재생할 수 있다.
지금까지, 도 7에서는, 업 스케일링부(701), 복원부(703), 및 가상 시점 영상 생성부(704)가 별도의 칩셋(chipset)으로 구성되는 것으로 설명하였으나, 업 스케일링부(701), 및 복원부(703)는 가상 시점 영상 생성부(704)와 통합될 수 도 있다. 다시 말해, 기준 영상을 업 스케일링하고, 업 스케일링된 기준 영상의 해상도를 디테일 정보에 기초하여 복원하고, 복원 영상과 참조 영상을 합성하여 가상 시점 영상을 생성하는 구성이 원 칩(one chip)으로 구성될 수 있다.
도 8은 시점 차이를 보상하는 복원부의 세부 구성을 도시한 블록도이다.
도 8에 따르면, 복원부(800)는 대응 블록 결정부(801), 디스패러티 계산부(802), 및 보상부(803)를 포함할 수 있다.
대응 블록 결정부(801)는, 업 스케일링된 기준 영상을 복수개의 블록들로 분할하고, 참조 영상을 복수개의 블록들로 분할할 수 있다. 이때, 대응 블록 결정부(801)는 업 스케일링된 기준 영상을 구성하는 블록의 개수에 기초하여 참조 영상을 분할할 수 있다. 예를 들어, 업 스케일링된 기준 영상이 32x32 블록으로 분할된 경우, 대응 블록 결정부(801)는, 참조 영상을 32x32 블록으로 분할할 수 있다.
그리고, 대응 블록 결정부(801)는 기준 영상의 기준 블록에 대응하는 위치에 해당하는 대응 블록을 참조 영상에서 결정할 수 있다. 여기서, 기준 블록은, 기준 영상을 구성하는 블록들 중 어느 하나일 수 있다. 이때, 대응 블록 결정부(801)는 움직임 추정 알고리즘 또는 기준 블록의 깊이 정보에 기초하여 대응 블록을 결정할 수 있다.
디스패러티 계산부(802)는 기준 블록과 대응 블록에 기초하여 디스패러티를 계산할 수 있다.
일례로, 글로벌 디스패러티 방식을 이용하는 경우, 디스패러티 계산부(802)는 기준 영상을 구성하는 복수의 블록들 중 어느 하나인 기준 블록과 대응 블록에 기초하여 글로벌 디스패러티를 계산할 수 있다.
그러면, 보상부(803)는 글로벌 디스패러티를 기준 영상을 구성하는 모든 블록들에 동일하게 적용하여 기준 영상과 참조 영상 간의 시점 차이를 보상할 수 있다. 예를 들어, 기준 블록 1를 기준으로 대응 블록 1이 2픽셀 좌측에 위치한 경우, 보상부(803)는 대응 블록 1을 우측으로 2픽셀 이동할 수 있다. 동일한 방법으로, 보상부(803)는 참조 영상을 구성하는 n개의 대응 블록들 각각을 2픽셀 우측으로 이동하여 시점 차이를 보상할 수 있다.
다른 예로, 로컬 디스패러티 방식을 이용하는 경우, 디스패러티 계산부(802)는 기준 영상을 구성하는 각 블록들 및 각 블록들에 대응하는 참조 영상의 각 대응 블록에 기초하여 로컬 디스패러티를 계산할 수 있다. 다시 말해, 디스패러티 계산부(802)는 기준 블록 및 대응 블록을 한 쌍(pair)으로 하는 블록 별로 로컬 디스패러티를 계산할 수 있다. 여기서, 로컬 디스패러티는, 블록의 평균 디스패러티일 수 있다.
그러면, 보상부(803)는 로컬 디스패러티에 기초하여 블록 별로 시점 차이를 보상할 수 있다. 예를 들어, 기준 블록 1를 기준으로 대응 블록 1이 2픽셀 좌측에 위치, 기준 블록 2를 기준으로 대응 블록 2가 1 픽셀 좌측에 위치한 경우, 보상부(803)는 대응 블록 1을 우측으로 2픽셀 이동하고, 대응 블록 2를 우측으로 1픽셀 이동할 수 있다. 동일한 방법으로, 보상부(803)는 참조 영상을 구성하는 n개의 대응 블록들 각각을 블록 별 로컬 디스패러티에 기초하여 이동할 수 있다.
도 9는 4개의 시점 영상을 이용하여 해상도를 복원하는 구성을 설명하기 위해 제공되는 도면이다.
도 9에서, 해상도 복원 장치로는 4 뷰(view) 기반의 FTV(Free Viewpoint Video) 시스템이 이용될 수 있다.
도 9에 따르면, 해상도 복원 장치는, 4개의 뷰(view)로 구성된 다시점 영상을 수신할 수 있다. 그러면, 해상도 복원 장치는, 다시점 영상 중에서 저해상도의 기준 영상과 인접한 고해상도의 시점 영상을 참조 영상으로 결정하고, 참조 영상을 이용하여 기준 영상의 해상도를 복원할 수 있다.
일례로, 뷰 1(view 1: 901)이 저해상도의 기준 영상 1이고, 뷰 4(view 4: 904)가 저해상도의 기준 영상 4인 경우, 해상도 복원 장치는 4개의 시점 영상들 중 기준 영상 1(901)과 이웃하는 고해상도의 시점 영상인 뷰 2(view 2: 903)를 참조 영상 2(903)로 결정할 수 있다. 마찬가지로, 해상도 복원 장치는, 기준 영상 4(908)와 이웃하는 고해상도의 시점 영상인 뷰 3(view 3)을 참조 영상 3(910)으로 결정할 수 있다.
이어, 해상도 복원 장치는, 기준 영상 1(901)과 기준 영상 4(908)를 각각 업 스케일링할 수 있다. 그리고, 해상도 복원 장치는, 참조 영상 2(903)와 참조 영상 3(910)을 각각 다운 스케일링한 후, 다시 업 스케일링할 수 있다. 이어, 해상도 복원 장치는, 업 스케일링된 참조 영상 2(906)와 원래의 참조 영상 2(930)를 이용하여 디테일 정보 1을 생성하고, 업 스케일링된 참조 영상 3(912)과 원래의 참조 영상 3(903)을 이용하여 디테일 정보 2를 생성할 수 있다. 이때, 디테일 정보를 생성하기 이전에, 해상도 복원 장치는, 글로벌 디스패러티 방식 또는 로컬 디스패러티 방식을 이용하여 참조 영상 2(903) 및 참조 영상 3(910) 각각의 시점 차이를 보상할 수 있다. 예를 들어, 시점 차이가 보상된 참조 영상 2(904)는 기준 영상 1(901)과 동일한 시점을 가질 수 있다.
그리고, 해상도 복원 장치는, 업 스케일링된 기준 영상 1(902)과 디테일 정보 1을 이용하여 기준 영상 1(901)의 해상도를 복원할 수 있다. 마찬가지로, 해상도 복원 장치는, 업 스케일링된 기준 영상 4(908)와 디테일 정보 2를 이용하여 기준 영상 4(908)의 해상도를 복원할 수 있다. 다시 말해, 해상도 복원 장치는, 기준 영상 1(901) 및 4(908)의 해상도가 복원된 복원 영상 1(907) 및 복원 영상 2(913)를 생성할 수 있다.
이어, 해상도 복원 장치는, 복원 영상 1(907) 및 참조 영상 2(904)를 이용하여 하나 이상의 가상 시점 영상을 생성할 수 있다. 마찬가지로, 해상도 복원 장치는, 복원 영상 4(913) 및 참조 영상 3(910)을 이용하여 하나 이상의 가상 시점 영상을 생성할 수 있다.
도 10은 3개의 시점 영상을 이용하여 해상도를 복원하는 구성을 설명하기 위해 제공되는 도면이다.
도 10은 3개의 뷰로 구성된 다시점 영상을 입력으로 받아 저해상도의 기준 영상에 대한 해상도를 복원한다는 점에서, 입력 개수가 도 9와 상이할 뿐, 해상도를 복원하는 구체적인 구성은 도 10과 실질적으로 동일하므로 중복되는 설명은 생략하기로 한다.
도 10에 따르면, 해상도 복원 장치는, 저 해상도의 기준 영상인 뷰 1(1001), 고 해상도의 참조 영상인 뷰 2(1002), 및 저 해상도의 기준 영상인 뷰 3(1003)으로 구성된 다시점 영상을 수신할 수 있다.
이처럼, 저 해상도의 기준 영상에 대한 해상도를 복원하기 위해서는, 저 해상도 영상과 이웃하는 시점 영상은 고해상도 영상이어야 한다. 이에 따라, 3개의 뷰로 구성된 다시점 영상을 수신하는 경우, 다시점 영상은 저 해상도의 기준 영상들 사이에 고 해상도의 참조 영상이 존재하는 형태를 가질 수 있다.
그러면, 해상도 복원 장치는, 뷰 1(1001) 및 뷰 3(1003)를 업 스케일링할 수 있다. 이어, 해상도 복원 장치는, 뷰 2(1006)를 다운 스케일링(1007)한 후 다시 업 스케일링(1008)하여 디테일 정보를 생성할 수 있다. 이때, 도 9에서 설명한 바와 같이, 해상도 복원 장치는, 뷰 1 및 뷰 2 간의 시점 차이, 그리고, 뷰 2 및 뷰 3 간의 시점 차이를 각각 보상하여 디테일 정보 1 및 2를 생성할 수 있다. 그리고, 해상도 복원 장치는, 디테일 정보 1 및 업 스케일링된 뷰 1(1009)에 기초하여 뷰 1(1001)의 해상도를 복원하고, 디테일 정보 2 및 업 스케일링된 뷰 3(1005)에 기초하여 뷰 3(1010)의 해상도를 복원할 수 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
700: 해상도 복원 장치
710: 업 스케일링부
720: 디테일 정보 생성부
730: 복원부
740: 가상 시점 영상 생성부

Claims (21)

  1. 기준 영상과 이웃하는 참조 영상의 해상도에 기초하여 기준 영상을 업 스케일링(up scaling)하는 단계;
    상기 참조 영상을 이용하여 디테일 정보를 생성하는 단계; 및
    상기 디테일 정보 및 상기 업 스케일링된 기준 영상을 이용하여 기준 영상의 해상도를 복원하는 단계
    를 포함하는 해상도 복원 방법.
  2. 제1항에 있어서,
    상기 기준 영상은, 다시점 영상을 구성하는 저해상도 영상이고,
    상기 참조 영상은, 상기 기준 영상과 이웃하는 고해상도 영상이며, 상기 기준 영상의 시점과 다른 인접 시점을 갖는 것을 특징으로 하는 해상도 복원 방법.
  3. 제1항에 있어서,
    상기 디테일 정보는, 필터 계수 정보 및 차분 영상 정보 중 적어도 하나를 포함하고,
    상기 해상도를 복원하는 단계는,
    상기 필터 계수에 기초하여 상기 업 스케일링된 기준 영상을 필터링함에 따라 기준 영상의 해상도를 복원하는 것을 특징으로 하는 해상도 복원 방법.
  4. 제3항에 있어서,
    상기 해상도를 복원하는 단계는,
    상기 차분 영상 정보와 상기 업 스케일링된 기준 영상을 이용하여 상기 기준 영상의 해상도를 복원하는 것을 특징으로 하는 해상도 복원 방법.
  5. 제1항에 있어서,
    상기 디테일 정보를 생성하는 단계는,
    상기 기준 영상의 해상도에 기초하여 상기 참조 영상을 다운 스케일링(down scaling)하는 단계;
    상기 참조 영상의 해상도에 기초하여 상기 다운 스케일링된 참조 영상을 업 스케일링(up scaling)하는 단계; 및
    상기 업 스케일링된 참조 영상과 상기 참조 영상을 이용하여 상기 디테일 정보를 생성하는 단계
    를 포함하는 해상도 복원 방법.
  6. 제1항에 있어서,
    상기 해상도를 복원하는 단계는,
    상기 업스케일링된 기준 영상을 복수개의 블록으로 분할하는 단계;
    상기 참조 영상에서 상기 분할된 블록 중 어느 하나인 기준 블록과 대응하는 블록을 결정하는 단계;
    상기 기준 블록과 참조 영상의 대응 블록에 기초하여 디스패러티(disparity)를 계산하는 단계; 및
    상기 디스패러티에 기초하여 상기 기준 영상과 상기 참조 영상 간의 시점 차이를 보상하는 단계
    를 포함하는 해상도 복원 방법.
  7. 제6항에 있어서,
    상기 디테일 정보를 생성하는 단계는,
    상기 기준 영상의 해상도와 상기 참조 영상의 해상도에 기초하여 해상도 비율을 계산하는 단계;
    상기 해상도 비율에 기초하여 상기 대응 블록을 다운 스케일링하는 단계;
    상기 해상도 비율에 기초하여 상기 다운 스케일링된 대응 블록을 업 스케일링하는 단계; 및
    상기 업 스케일링된 대응 블록과 상기 대응 블록에 기초하여 상기 대응 블록의 디테일 정보를 생성하는 단계
    를 포함하고,
    상기 해상도를 복원하는 단계는,
    상기 대응 블록의 디테일 정보 및 상기 기준 블록을 이용하여 상기 기준 영상에서 상기 기준 블록에 대응하는 현재 블록의 해상도를 복원하는 것을 특징으로 하는 해상도 복원 방법.
  8. 제6항에 있어서,
    상기 시점 차이를 보상하는 단계는,
    상기 디스패러티를 상기 기준 영상을 구성하는 모든 블록에 동일하게 적용하여 상기 시점 차이를 보상하는 것을 특징으로 하는 해상도 복원 방법.
  9. 제6항에 있어서,
    상기 시점 차이를 보상하는 단계는,
    상기 기준 영상의 각 블록과 대응하는 참조 영상의 각 대응 블록을 이용하여 계산된 각 디스패러티에 기초하여 상기 기준 영상을 구성하는 블록 별로 시점 차이를 보상하는 것을 특징으로 하는 해상도 복원 방법.
  10. 제1항에 있어서,
    상기 해상도가 복원된 기준 영상과 상기 참조 영상을 합성하여 가상 시점 영상을 생성하는 단계
    를 더 포함하는 해상도 복원 방법.
  11. 기준 영상과 이웃하는 참조 영상의 해상도에 기초하여 상기 기준 영상을 업 스케일링(up scaling)하는 업 스케일링부;
    상기 참조 영상을 이용하여 디테일 정보를 생성하는 디테일 정보 생성부; 및
    상기 디테일 정보 및 상기 업 스케일링된 기준 영상을 이용하여 기준 영상의 해상도를 복원하는 복원부
    를 포함하는 해상도 복원 장치.
  12. 제11항에 있어서,
    상기 기준 영상은, 다시점 영상을 구성하는 저해상도 영상이고,
    상기 참조 영상은, 상기 기준 영상과 이웃하는 고해상도 영상이며, 상기 기준 영상의 시점과 다른 인접 시점을 갖는 것을 특징으로 하는 해상도 복원 장치.
  13. 제11항에 있어서,
    상기 디테일 정보는, 필터 계수 정보 및 차분 영상 정보 중 적어도 하나를 포함하고,
    상기 복원부는,
    상기 필터 계수에 기초하여 상기 업 스케일링된 기준 영상을 필터링함에 따라 기준 영상의 해상도를 복원하는 것을 특징으로 하는 해상도 복원 장치.
  14. 제13항에 있어서,
    상기 복원부는,
    상기 차분 영상 정보와 상기 업 스케일링된 기준 영상을 이용하여 상기 기준 영상의 해상도를 복원하는 것을 특징으로 하는 해상도 복원 장치.
  15. 제11항에 있어서,
    상기 디테일 정보 생성부는,
    상기 기준 영상의 해상도에 기초하여 상기 참조 영상을 다운 스케일링(down scaling)하고, 상기 참조 영상의 해상도에 기초하여 상기 다운 스케일링된 참조 영상을 업 스케일링(up scaling)하고, 상기 업 스케일링된 참조 영상과 상기 참조 영상을 이용하여 상기 디테일 정보를 생성하는 것을 특징으로 하는 해상도 복원 장치.
  16. 제11항에 있어서,
    상기 복원부는,
    상기 업스케일링된 기준 영상을 복수개의 블록으로 분할하고, 상기 참조 영상에서 상기 분할된 블록 중 어느 하나인 기준 블록과 대응하는 블록을 결정하는 대응 블록 결정부;
    상기 기준 블록과 참조 영상의 대응 블록에 기초하여 디스패러티(disparity)를 계산하는 디스패러티 계산부; 및
    상기 디스패러티에 기초하여 상기 기준 영상과 상기 참조 영상 간의 시점 차이를 보상하는 보상부
    를 포함하는 해상도 복원 장치.
  17. 제16항에 있어서,
    상기 디테일 정보 생성부는,
    상기 기준 영상의 해상도와 상기 참조 영상의 해상도에 기초하여 해상도 비율을 계산하고, 상기 해상도 비율에 기초하여 상기 대응 블록을 다운 스케일링하고, 상기 해상도 비율에 기초하여 상기 다운 스케일링된 대응 블록을 업 스케일링하고, 상기 업 스케일링된 대응 블록과 상기 대응 블록에 기초하여 상기 대응 블록의 디테일 정보를 생성하는 것을 특징으로 하고,
    상기 복원부는,
    상기 대응 블록의 디테일 정보 및 상기 기준 블록을 이용하여 상기 기준 영상에서 상기 기준 블록에 대응하는 현재 블록의 해상도를 복원하는 것을 특징으로 하는 해상도 복원 장치.
  18. 제16항에 있어서,
    상기 보상부는,
    상기 디스패러티를 상기 기준 영상을 구성하는 모든 블록에 동일하게 적용하여 상기 시점 차이를 보상하는 것을 특징으로 하는 해상도 복원 장치.
  19. 제16항에 있어서,
    상기 보상부는,
    상기 기준 영상의 각 블록과 대응하는 참조 영상의 각 대응 블록을 이용하여 계산된 각 디스패러티에 기초하여 상기 기준 영상을 구성하는 블록 별로 시점 차이를 보상하는 것을 특징으로 하는 해상도 복원 장치.
  20. 제11항에 있어서,
    상기 해상도가 복원된 기준 영상과 상기 참조 영상을 합성하여 가상 시점 영상을 생성하는 가상 시점 영상 생성부
    를 더 포함하는 해상도 복원 장치.
  21. 제20항에 있어서,
    상기 업 스케일링부, 상기 복원부, 및 상기 가상 시점 영상 생성부는 원 칩(one chip)으로 구성되는 것을 특징으로 하는 해상도 복원 장치.
KR1020110062364A 2011-06-27 2011-06-27 다시점 영상의 해상도 복원 방법 및 장치 KR20130001541A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020110062364A KR20130001541A (ko) 2011-06-27 2011-06-27 다시점 영상의 해상도 복원 방법 및 장치
US13/489,973 US8879872B2 (en) 2011-06-27 2012-06-06 Method and apparatus for restoring resolution of multi-view image
JP2012142933A JP2013013079A (ja) 2011-06-27 2012-06-26 多視点映像の解像度復元方法及び装置
EP12173880.1A EP2541494B1 (en) 2011-06-27 2012-06-27 Method and apparatus for restoring resolution of multi-view image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110062364A KR20130001541A (ko) 2011-06-27 2011-06-27 다시점 영상의 해상도 복원 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20130001541A true KR20130001541A (ko) 2013-01-04

Family

ID=46679078

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110062364A KR20130001541A (ko) 2011-06-27 2011-06-27 다시점 영상의 해상도 복원 방법 및 장치

Country Status (4)

Country Link
US (1) US8879872B2 (ko)
EP (1) EP2541494B1 (ko)
JP (1) JP2013013079A (ko)
KR (1) KR20130001541A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180005859A (ko) * 2016-07-07 2018-01-17 한국전자통신연구원 가상 시점 영상 생성 장치 및 방법
KR20220108683A (ko) * 2021-01-27 2022-08-03 (주)필라넷 다중 카메라의 영상 합성 방법 및 다중 카메라의 영상 합성 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10540750B2 (en) * 2016-07-07 2020-01-21 Stmicroelectronics Sa Electronic device with an upscaling processor and associated method

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0525408A3 (en) * 1991-07-01 1993-12-22 Eastman Kodak Co Method for multiframe wiener restoration of noisy and blurred image sequences
JP3693407B2 (ja) * 1996-04-04 2005-09-07 シャープ株式会社 多視点画像符号化装置および復号装置
AU5573698A (en) * 1997-01-30 1998-08-25 Yissum Research Development Company Of The Hebrew University Of Jerusalem Generalized panoramic mosaic
CA2341886A1 (en) * 1998-08-28 2000-03-09 Sarnoff Corporation Method and apparatus for synthesizing high-resolution imagery using one high-resolution camera and a lower resolution camera
JP2003209735A (ja) * 2002-01-15 2003-07-25 Hitachi Ltd 監視装置及びブレ補正機能付蓄積型カメラ
JP4600209B2 (ja) 2005-08-18 2010-12-15 ソニー株式会社 画像処理方法、画像処理装置、プログラムおよび記録媒体
JP2007166381A (ja) * 2005-12-15 2007-06-28 Univ Of Tokyo 多視点画像の圧縮符号化方法及び復号化方法
JP4517300B2 (ja) * 2006-01-06 2010-08-04 ソニー株式会社 表示装置および表示方法、学習装置および学習方法、並びにプログラム
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
EP1837826A1 (en) * 2006-03-20 2007-09-26 Matsushita Electric Industrial Co., Ltd. Image acquisition considering super-resolution post-interpolation
CA2702165C (en) * 2007-10-15 2014-08-26 Nippon Telegraph And Telephone Corporation Image generation method and apparatus, program therefor, and storage medium which stores the program
JP2009100424A (ja) 2007-10-19 2009-05-07 Fujitsu Ltd 受信装置、受信方法
US8159606B2 (en) * 2008-08-04 2012-04-17 Thomson Licensing Method and apparatus for reversible, polynomial based image scaling
JP2010140460A (ja) 2008-11-13 2010-06-24 Sony Corp 画像処理装置および方法、並びにプログラム
KR101192429B1 (ko) 2008-12-19 2012-10-17 주식회사 케이티 영상의 전송 에러 복원 방법 및 그 장치
AU2009201637B2 (en) 2009-04-24 2011-08-11 Canon Kabushiki Kaisha Processing multi-view digital images
KR20100121885A (ko) 2009-05-11 2010-11-19 인하대학교 산학협력단 하나의 이미지 센서를 사용하는 동영상 초 해상도 장치 및 방법
JP2011015262A (ja) 2009-07-03 2011-01-20 Panasonic Corp 画像復号化装置
JP5289222B2 (ja) 2009-07-16 2013-09-11 キヤノン株式会社 画像処理装置およびその方法
KR101675117B1 (ko) 2009-08-13 2016-11-10 삼성전자 주식회사 다계층의 저해상도 영상을 이용한 고해상도 영상 생성 방법 및 그 장치
US8508659B2 (en) 2009-08-26 2013-08-13 Nxp B.V. System and method for frame rate conversion using multi-resolution temporal interpolation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180005859A (ko) * 2016-07-07 2018-01-17 한국전자통신연구원 가상 시점 영상 생성 장치 및 방법
KR20220108683A (ko) * 2021-01-27 2022-08-03 (주)필라넷 다중 카메라의 영상 합성 방법 및 다중 카메라의 영상 합성 장치

Also Published As

Publication number Publication date
JP2013013079A (ja) 2013-01-17
US20120328212A1 (en) 2012-12-27
US8879872B2 (en) 2014-11-04
EP2541494A1 (en) 2013-01-02
EP2541494B1 (en) 2015-06-17

Similar Documents

Publication Publication Date Title
TWI724626B (zh) 用於全視差壓縮光場三維成像系統之方法
US9111376B2 (en) Image processing method and apparatus for 3D video
EP4107628A1 (en) Method and apparatus for deep neural network based inter-frame prediction in video coding
US20150271522A1 (en) Method, program and apparatus for reducing data size of a plurality of images containing mutually similar information, and data structure representing a plurality of images containing mutually similar information
US20150249839A1 (en) Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, picture decoding program, and recording media
US11069026B2 (en) Method for processing projection-based frame that includes projection faces packed in cube-based projection layout with padding
US10284810B1 (en) Using low-resolution frames to increase frame rate of high-resolution frames
KR20110027231A (ko) 입체영상 압축 처리 방법 및 장치
EP3373584B1 (en) Content adaptive and art directable scalable video coding
KR101883265B1 (ko) 패치 시프팅을 통해 벡터 양자화 에러를 감소시키기 위한 방법들 및 장치
JPWO2014050741A1 (ja) 映像符号化方法および装置、映像復号方法および装置、それらのプログラム及び記録媒体
KR102004248B1 (ko) ３차원 비디오를 위한 영상 처리 방법 및 장치
Graziosi et al. Compression for full-parallax light field displays
US20190141332A1 (en) Use of synthetic frames in video coding
US20150256819A1 (en) Method, program and apparatus for reducing data size of a plurality of images containing mutually similar information
KR20130001541A (ko) 다시점 영상의 해상도 복원 방법 및 장치
Pérez et al. Real-time stereo matching using memory-efficient Belief Propagation for high-definition 3D telepresence systems
KR20200143287A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102700756B1 (ko) 3차원 영상을 위한 부가 정보의 송수신 장치 및 방법
US11979606B2 (en) Conditional recolor for video based point cloud coding
US20240233193A9 (en) Method and apparatus for encoding disaplacement video using image tiling
Hussain Multi View Image BCS Compression Sensing with TV-AL3 with View Synthesis Combine Reconstruction for Low Memory Image Generation.
KR20220073665A (ko) 시점 영상 간 프루닝 기반 속성 분해 방법 및 장치
WO2024118827A1 (en) Artifact detection and inpainting in multi-plane images
Lee et al. An efficient upsampling technique for images and videos

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20110627

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20160627

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20110627

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170102

Patent event code: PE09021S01D

PE0601 Decision on rejection of patent

Patent event date: 20170315

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20170102

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I