KR100524077B1 - 중간 영상 합성을 위한 시간적 평활화 장치 및 방법 - Google Patents

중간 영상 합성을 위한 시간적 평활화 장치 및 방법 Download PDF

Info

Publication number
KR100524077B1
KR100524077B1 KR10-2003-0080097A KR20030080097A KR100524077B1 KR 100524077 B1 KR100524077 B1 KR 100524077B1 KR 20030080097 A KR20030080097 A KR 20030080097A KR 100524077 B1 KR100524077 B1 KR 100524077B1
Authority
KR
South Korea
Prior art keywords
disparity vector
past
smoothing
temporal smoothing
image
Prior art date
Application number
KR10-2003-0080097A
Other languages
English (en)
Other versions
KR20050046108A (ko
Inventor
성준호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR10-2003-0080097A priority Critical patent/KR100524077B1/ko
Priority to US10/964,775 priority patent/US9159136B2/en
Priority to JP2004329286A priority patent/JP2005151568A/ja
Priority to CNB2004100954232A priority patent/CN100450193C/zh
Publication of KR20050046108A publication Critical patent/KR20050046108A/ko
Application granted granted Critical
Publication of KR100524077B1 publication Critical patent/KR100524077B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 중간 영상 합성을 위한 적응적 시간적 평활화 장치 및 방법에 관한 것이다. 본 발명은, 과거 및 현재 영상을 수신하여 소정의 크기의 블록별로 과거 및 현재 디스패리티 벡터(disparity vector)를 생성하는 디스패리티 벡터 추정기; 및 과거 및 현재 영상과 과거 및 현재 디스패리티 벡터를 수신하여 시간적 평활화 디스패리티 벡터를 생성하는 시간적 평활화부를 포함하고, 시간적 평활화부는 과거 및 현재 영상의 평균 절대값 차이(mean absolute difference, MAD)에 기초하여 프레임마다 상이한 시간적 평활화 디스패리티 벡터를 생성한다. 본 발명에 따르면, 영상의 상태에 따라 적응적으로 시간적 평활화를 적용함으로써 영상 품질의 저하 없이 중간 영상의 플리커 현상을 제거할 수 있다.

Description

중간 영상 합성을 위한 시간적 평활화 장치 및 방법{Apparatus and method of temporal smoothing for intermediate image generation}
본 발명은 중간 영상 합성을 위한 시간적 평활화 장치 및 방법에 관한 것으로서, 보다 상세하게는 중간 영상 합성에 있어 과거 영상과 현재 영상의 반영 정도를 영상의 유형에 따라 적응적으로 조정가능한 시간적 평활화 장치 및 방법에 관한 것이다.
TV 등 영상 디스플레이 시스템은 보다 풍족한 현실감을 부여하는 방향으로 진보되고 있어, 이에 따라 3차원 영상 매체를 필요로 하고 그에 상응하는 영상 처리부를 필요로 한다. 3차원 디스플레이 장치는 광학적 접근 및 영상처리적 접근의 두 가지 큰 분야로서 나눌 수 있으며, 특히 3차원 영상 처리 분야는 영상 신호의 압축, 복원, 전송 그리고 합성 등에 주안점을 두고 발전해오고 있다. 현재 가장 단순한 3차원 정보 단말기인 스테레오(2시점) 방식이 게임 산업이나 의료 산업 등에 적용되고 있으며, 일본 등은 이를 이용한 3차원 방송을 실현하고 있는 상황이다.
도 1은 3차원 영상 처리의 개요도이다. 3차원 영상 처리는 물체를 다시점에서 촬상하여 미리결정된 영상 이미지 포맷으로 구성 및 압축하는 단계, 압축된 영상을 전송받아 압축해제하고 각 시점의 영상으로부터 중간 영상을 합성하는 단계, 합성된 중간 영상과 전송된 각 시점의 영상을 디스플레이 장치에서 처리할 수 있는 형태로 변환하는 인터페이싱 단계, 각 시점의 영상을 조합하여 디스플레이함으로써 시청자에 최종적으로 3차원 영상을 제공하는 단계로 이루어진다.
다시점 3차원 영상 디스플레이 장치는 수많은 시점에서 획득된 영상을 필요로 하는데, 대역의 제한에 따라 한정된 시점에서 획득된 영상만이 전송된다. 이러한 제한 때문에, 시청자는 특정한 위치에 눈의 위치를 고정해야 하는 시청상의 불편함을 느끼게된다. 이러한 불편함을 감소시키기 위해 여러시점의 카메라에서 획득된 영상들로부터 중간 시점의 영상을 합성하는 중간 영상 합성 기술이 사용된다. 이러한 중간 영상 합성 기술은 J_R. Ohm 에 의해 1997년 10월에 발행된 논문 "An object-based system for steroscopic viewpoint synthesis, IEEE Trans. Circuit and System for Video Tech. Vol.7, No.5, pp801~811" 및 A. Mancini 에 의해 1998년 1월 24일 발행된 논문 "Robust Quadtree-based disparity estimation for the reconstruction of intermediate stereoscopic images, SanJose, USA 1998SPIE" 에 상세히 기술되어 있다.
이러한 중간 영상 합성 기술을 이용하여 중간 영상을 합성할 때, 잡음이나 미세한 흔들림에 의한 프레임간 시차 추정의 차이가 발생할 수 있다. 이러한 시차 추정의 차이는 합성된 중간 영상에 존재하는 물체(object)의 경계(edge)에서 많이 발생하며 이는 사용자에 플리커 현상으로 보여진다. 이러한 플리커 현상을 제거하기 위해 시간적 평활화 기술(Temporal smoothing)이 이용된다.
도 2는 종래의 시간적 평활화 기술의 구성을 나타내는 도면이다.
중간 영상은 좌측 영상 및 우측 영상의 두 개 영상으로부터 생성된다. 좌측 디스패리티 벡터 추정기(210)는 과거 시간 T-1 에서의 좌측 영상 LIT-1 (211) 및 현재 시간 T 에서의 좌측 영상 LIT (212)으로부터 각 시간에 해당하는 좌측 디스패리티 벡터 (221,222)를 생성한다. 디스패리티 벡터(disparity vector)는 기준 영상을 기준으로 대상 영상내의 특정 블록이 움직인 변위를 나타내는 값이다. 따라서 좌측 디스패리티 벡터는 우측 영상을 기준으로 좌측 영상내의 미리결정된 크기의 블록이 이동된 변위를 나타낸다.
좌측 시간적 평활화부(220)는 생성된 과거 및 현재의 좌측 디스패리티 벡터(221,222)로부터 평활화 디스패리티 벡터(231)를 생성한다. 평활화 디스패리티 벡터는 과거에 디스패리티 벡터에 현재의 디스패리티 벡터를 합한 값으로서, 우측 영상을 기준으로 좌측 영상의 특정 블록이 움직인 변위의 누적 값을 나타낸다. DV 밀화부 (230, disparity vector densifier) 는 특정 블록을 기준으로 생성된 디스패리티 벡터를 픽셀별로 스케일링함으로써 픽셀 디스페리티 벡터(232)를 생성한다.
우측 디스패리티 벡터 생성과정도 좌측에서의 과정과 동일하다. 우측 디스패리티 벡터 추정기(215), 우측 시간적 평활화부(225) 및 우측 디스패리티 벡터 밀화부(235)를 통하여 좌측 영상을 기준으로하는 우측 영상의 픽셀 디스패리티 벡터(237)가 생성된다.
디스패리티 벡터 매칭부(240)는 좌측 및 우측 픽셀 디스패리티 벡터(232,237)로부터 매핑 디스패리티 벡터(241)를 생성한다. 매핑 디스패리티 벡터(241)는 중간 영상을 합성하기 위해 사용되는 최종 디스패리티 벡터이다. 디스패리티 벡터 매칭부(240)는 먼저 좌측 및 우측 픽셀 디스패리티 벡터의 일치 여부를 검사한 후 일치한 디스패리티 벡터만을 기준으로 재스케일링함으로써 중간 영상 디스패리티 벡터(241)를 생성한다. 중간 시점 재구성기(Intermediate View Reconstruction, IVR) (250)는 중간 영상 디스패리티 벡터(241), 좌측 및 우측 영상 (212,216)으로부터 중간 영상(251)을 생성한다.
그러나 종래의 시간적 평활화 기술은 영상의 종류에 관계없이 시간적 평활화 동작이 획일적으로 이루어지기 때문에 문제가 발생한다. 예를 들면, 동영상의 상태가 정적일 때는 또는 동영상에 존재하는 정적인 물체에 대해서는 평활화가 원할히 이루어지지만, 동영상의 상태가 동적인 경우에는 시간적 평활화는 오히려 엉뚱한 중간 영상을 합성하는 결과를 초래한다.
따라서, 본 발명은 전술한 문제점을 해결하기 위해 안출된 것으로서, 영상의 상태에 따라 적응적으로 시간적 평활화를 적용함으로써 영상 품질의 저하 없이 중간 영상의 플리커 현상을 제거한 중간 영상 합성 방벙 및 장치를 제공하고자 한다.
전술한 과제를 해결하기 위한 본 발명에 따른 시간적 평활화 장치는, 과거 및 현재 영상을 수신하여 소정의 크기의 블록별로 과거 및 현재 디스패리티 벡터(disparity vector)를 생성하는 디스패리티 벡터 추정기; 및 상기 과거 및 현재 영상과 상기 과거 및 현재 디스패리티 벡터를 수신하여 시간적 평활화 디스패리티 벡터를 생성하는 시간적 평활화부를 포함하고, 상기 시간적 평활화부는 상기 과거 및 현재 영상의 평균 절대값 차이(mean absolute difference, MAD)에 기초하여 프레임마다 상이한 시간적 평활화 디스패리티 벡터를 생성하는 것을 특징으로 한다.
이 때, 상기 시간적 평활화부는, 상기 과거 및 현재 영상의 평균 절대값 차이에 기초하여 시간적 평활화 계수(C)를 생성하는 상관기; 및 상기 과거 및 현재 디스패리티 벡터를 수신하여 시간적 평활화 디스패리티 벡터를 생성하는 평활화 디스패리티 벡터 생성기를 포함하고, 상기 평활화 디스패리티 벡터 생성기는 상기 시간적 평활화 계수에 기초하여 상기 과거 및 현재 디스패리티 벡터의 기여 정도를 조정하는 것을 특징으로 한다.
또한, 상기 상관기는, 상기 과거 및 현재 영상을 수신하여, 소정의 크기의 블록을 단위로 블록 매칭을 수행한 후, 매칭되는 블록의 레벨값의 평균 절대값 차이를 생성하는 평균 절대값 차이 생성기; 및 상기 생성된 평균 절대값 차이에 따라 시간적 평활화 계수를 매칭시킨 계수 결정 함수를 이용하여 시간적 평활화 계수 검출하는 시간적 평활화 계수 검출기를 포함하는 것을 특징으로 한다.
또한 본 발명은, 중간 영상 합성 장치로서, 좌측(또는 우측의) 영상 소스로부터 추출된 과거 및 현재 영상으로부터 좌측(또는 우측의) 과거 및 현재 디스패리티 벡터를 생성하는 좌측(또는 우측) 디스패리티 벡터 추정기; 상기 좌측(또는 우측의) 과거 및 현재 영상과, 좌측(또는 우측의) 과거 및 현재 디스패리티 벡터를 수신하여 좌측(또는 우측) 평활화 디스패리티 벡터를 생성하는 좌측(또는 우측) 시간적 평활화부; 상기 좌측(또는 우측) 평활화 디스패리티 벡터를 픽셀 별로 스케일링(scaling)함으로써 좌측(또는 우측) 픽셀 평활화 디스패리티 벡터를 생성하는 좌측(또는 우측) 디스패리티 벡터 밀화부(DV densifier); 상기 좌측 및 우측 픽셀 디스패리티 벡터를 수신하여 상기 좌측 및 우측 픽셀 디스패리티 벡터의 일치여부(consistency)를 검사하여, 일치하지 않는 픽셀 디스패리티 벡터는 제거한 후, 일치하는 픽셀 디스패리티 벡터를 기준으로 스케일링함으로써 최종 디스패리티 벡터를 생성하는 디스패리티 벡터 매핑부; 및 상기 좌측 및 우측 현재 영상에 상기 최종 디스패리티 벡터를 적용함으로써 중간 영상을 생성하는 중간 영상 재구성부를 포함한다.
또한 본 발명은, 중간 영상 합성을 위한 시간적 평활화 방법으로서, 과거 및 현재 영상을 수신하여 소정의 크기의 블록별로 과거 및 현재 디스패리티 벡터(disparity vector)를 생성하는 디스패리티 벡터 추정 단계; 및 상기 과거 및 현재 영상과 상기 과거 및 현재 디스패리티 벡터를 수신하여 시간적 평활화 디스패리티 벡터를 생성하는 시간적 평활화 단계를 포함하고, 상기 시간적 평활화 단계는 상기 과거 및 현재 영상의 평균 절대값 차이(mean absolute difference, MAD)에 기초하여 프레임마다 상이한 시간적 평활화 디스패리티 벡터를 생성하는 단계를 포함하는 것을 특징으로 한다.
또한 본 발명은 중간 영상 합성 방법으로서, 좌측(또는 우측의) 영상 소스로부터 추출된 과거 및 현재 영상으로부터 좌측(또는 우측의) 과거 및 현재 디스패리티 벡터를 생성하는 좌측(또는 우측) 디스패리티 벡터 추정 단계; 상기 좌측(또는 우측의) 과거 및 현재 영상과, 좌측(또는 우측의) 과거 및 현재 디스패리티 벡터를 수신하여 좌측(또는 우측) 평활화 디스패리티 벡터를 생성하는 좌측(또는 우측) 시간적 평활화 단계; 상기 좌측(또는 우측) 평활화 디스패리티 벡터를 픽셀 별로 스케일링(sclaing)함으로써 좌측(또는 우측) 픽셀 평활화 디스패리티 벡터를 생성하는 좌측(또는 우측) 디스패리티 벡터 밀화(DV densifying) 단계; 상기 좌측 및 우측 픽셀 디스패리티 벡터를 수신하여 상기 좌측 및 우측 픽셀 디스패리티 벡터의 일치여부(consistency)를 검사하여, 일치하지 않는 픽셀 디스패리티 벡터는 제거한 후, 일치하는 픽셀 디스패리티 벡터를 기준으로 스케일링함으로써 최종 디스패리티 벡터를 생성하는 디스패리티 벡터 매핑 단계; 및 상기 좌측 및 우측 현재 영상에 상기 최종 디스패리티 벡터를 적용함으로써 중간 영상을 생성하는 중간 영상 재구성 단계를 포함하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명한다.
도 3은 본 발명에 따른 평활화 디스패리티 벡터를 생성하는 과정을 나타내는 블록도이다. 본 발명에 따른 시간적 평활화부(300)는 평활화 디스패리티 벡터 생성기(310) 및 상관기(320)를 포함한다.
도 4는 디스패리티 벡터의 개념을 나타내는 도면이다.
디스패리티 벡터 추정기(210)는 과거 영상 (211) 및 현재 영상(212)으로부터 현재 및 과거 디스패리티 벡터(221,222)를 생성한다. 현재 디스패리티 벡터(221)는 현재 우측 (또는 좌측) 영상을 기준으로 현재 좌측 (또는 우측) 영상의 해당 블록이 변위된 거리를 나타낸다.
도 4에서, 물체 Q 및 P 는 2대의 카메라로부터 촬상된다. 이때 2대의 카메라의 위치의 차이 때문에 시각 차이 Θq , Θp 가 발생한다. 이러한 시각 차이 Θq , Θp 는 각각의 카메라가 촬영한 영상에서 '변위'로 나타난다. 도 4에서 왼쪽 영상은 왼쪽 카메라가 촬상한 화면을 나타내고, 오른쪽 영상은 오른쪽 카메라가 촬상한 화면을 나타낸다. 왼쪽 영상에서 물체 Q,P 는 화면의 오른쪽 부분에 치우쳐 있는데 반해, 오른쪽 영상에서 물체 Q,P 는 화면의 왼쪽 부분에 치우쳐 있음을 알 수 있다. 디스패리티 벡터는 이하 수학식 1과 같이 정의된다.
[수학식 1]
dp = |dpr -dpl|
dq = |dqr -dql|
여기서 dp, dq 는 물체 P,Q 의 디스패리티 벡터, dpr, dqr 는 우측 영상의 기준면으로부터 물체의 거리, dpl,dql 는 좌측 영상의 기준면으로부터의 물체의 거리를 나타낸다. 도 4에서 기준면은 각 영상의 우측 경계면(boundary)이 사용되었다.
디스패리티 벡터를 생성하기 위해, 좌측(우측) 영상에서 특정 영역이 우측(좌측) 영상의 어느 위치에서 있는지를 발견하는 과정이 필요하다. 즉 동일한 레벨값을 가지는 특정 영역이 좌측 영상과 우측 영상의 어디에 위치하는 지를 발견하여야 한다. 디스패리티 벡터 생성은 블록 매칭 단계와 디스패리티 벡터 연산 단계로 나누어진다. 여기서 특정 영역은 '블록' 으로 정의되며 미리결정된 수의 픽셀 수를 가진다. 바람직한 실시예에서 이 블록은 16*16 의 픽셀 수를 가진다.
도 5는 본 발명의 일 실시예에 따른 디스패리티 벡터 추정 방법으로서, 쿼드트리-기반 방법(Quadtree-based method)을 나타내는 도면이다. 쿼드트리-기반 방법에서, 전술한 블록은 계층적으로 정의된다. 이러한 쿼드트리-기반 방법은, D.J. Vaisey 및 A. Gersho 에 의해 1987년 발행된 "variable block-size Image coding, canada & USA" , G.J. Sullivan 및 R.L. Baker 에 의해 1990 년에 발행된 "Efficient Quadtree coding of images and video, UCLA, USA" 및 A. Mancini 및 K. Konrad 에 의해 1998년에 발행된 "Robust Quadtree-based Disparity Estimation for Reconstruction of Intermediate Stereoscopic Images, INRS Telecomm, canada" 에 상세히 기술되어 있다.
쿼드트리-기반 방법에서, 하나의 화면은 거대 매크로 블록(large macro block, LMB)으로 분할되고, 거대 매크로 블록은 다시 4개의 중간 서브 블록(medium sub-block, MSB)으로 분할되고, 중간 서브 블록은 다시 4개의 미소 서브 블록(small sub-block, SSB)으로 분할된다.
일반적으로, 미소 서브 블록은 4*4 의 픽셀을 가지므로, 중간 서브 블록은 8*8 의 픽셀을 가지며, 거대 서브 블록은 16*16 의 픽셀을 가진다. 1 차적으로 블록 매칭은 거대 매크로 블록을 단위로 수행된다. 그 후 만약 해당 거대 매크로 블록내의 서브블록들의 평균절대차이 값에 큰 차이가 있으면, 거대 매크로 블록을 4개로 분할한 영역인 중간 서브 블록을 단위로 블록 매칭이 수행된다. 이 때 동일한 중간 서브 블록이 발견되면 블록 매칭은 종료하고, 만약 중간 서브 블록내의 서브블록들의 평균절대차이 값에 큰 차이가 있으면 다시 미소 서브 블록 단위로 블록 매칭을 수행한다. 이러한 계층적 블록 매칭은 연산량의 큰 증가 없이 세밀한 수준까지의 블록 매칭을 수행하여 보다 정밀한 합성영상을 얻을 수 있는 장점을 갖는다.
본 발명의 특징에 따라, 생성된 디스패리티 벡터는 상관기(320)에 입력되어 적응적 시간적 평활화 동작에 이용된다.
상관기(320)는 과거 좌측 영상(211) 및 현재 좌측 영상(212)을 비교하여 해당 영상이 변화가 많은 동적 동영상인지 필드간 변화가 적은 정적 동영상인지를 구분한다. 상관기(320)는 MAD 생성기(330) 및 시간적 평활화 계수 검출기(340)를 포함한다.
MAD 생성기(330)는 과거 좌측 영상(211) 및 현재 좌측 영상(212) 간에 블록 매칭을 수행한 후 매칭되는 블록의 레벨값의 평균 절대값 차이(mean absolute difference, MAD)값을 추출한다. 블록 매칭의 수행 단위는 하드웨어 요구조건에 따라 달라지며, 바람직하게는 16*16 픽셀을 가지는 블록별로 수행된다. MAD 값이 클수록 동적 동영상이다. 블록 매칭의 단위가 16*16 픽셀인 RGB 색 구조의 경우 MAD 값은 수학식 2에 의해 생성된다.
[수학식 2]
MAD(R) = {1 } over {256 } SUM from { {k }=0} to 255 {|R(T)-R(T-1)}|}
MAD(G) = {1 } over {256 } SUM from { {k }=0} to 255 {|G(T)-G(T-1)}|}
MAD(B) = {1 } over {256 } SUM from { {k }=0} to 255 {|B(T)-B(T-1)}|}
MAD(T) = MAD(R) + MAD(G) + MAD(B)
여기서, R(T), G(T), B(T)는 현재 영상의 k번째 픽셀에 대한 R,G,B 의 각각의 레벨값, R(T-1), G(T-1), B(T-1)는 과거 영상의 k번째 픽셀에 대한 R,G,B 의 각각의 레벨값, MAD(R), MAD(G), MAD(B)는 R,G,B 각각에 대한 MAD 값이고, MAD(T) 는 해당 블록의 전체 MAD 값이다.
또한 만약 색 구조(color scheme)가 4:2:2 의 YUV 라면, MAD 값은 수학식 3과 같이 정의될 수 있다.
[수학식 3]
MAD(Y) = { 1} over {256 } SUM from { {k }=0} to 255{|Y(T)-Y(T-1)|}
MAD(U) = { 1} over {128} SUM from { {k }=0} to 127{|U(T)-U(T-1)|}
MAD(V) = { 1} over {128} SUM from { {k }=0} to 127{|V(T)-V(T-1)|}
MAD(T) = MAD(Y)+MAD(U)+MAD(V)
여기서, Y(T), U(T), V(T)는 현재 영상의 k번째 픽셀에 대한 Y,U,V 의 각각의 레벨값, Y(T-1), U(T-1), V(T-1)는 과거 영상의 k번째 픽셀에 대한 Y,U,V 의 각각의 레벨값, MAD(Y), MAD(U), MAD(V)는 Y,U,V 각각에 대한 MAD 값이고, MAD(T) 는 해당 블록의 전체 MAD 값이다.
도 6은 시간적 평활화 계수의 생성 원리를 나타내는 도면이다.
시간적 평활화 계수 검출기(340)는 MAD 생성기(330)로부터 MAD 값을 수신하여 해당 프레임의 시간적 평활화 계수 C (341)를 생성한다. 시간적 평활화 계수(341)는 과거 영상과 현재 영상의 비교에 의해 프레임마다 결정되는 특정값이다. 본 발명의 사상에 따라, 시간적 평활화 계수가 크면 동적 동영상이며, 시간적 평활화 계수가 작으면 정적 동영상이다.
도 6에서, Elow 및 Ehigh 는 각각 해당 프레임의 최소 및 최대 MAD 값을 나타낸다. 따라서 사용된 레벨값의 범위가 256 이라면 최대 MAD 값은 255 이하이며, 최소 MAD 값은 0 이상의 값을 가진다.
Cmax 및 Cmin 는 최대 및 최소 시간적 평활화 계수를 나타낸다. 최대 시간적 평활화 계수는 해당 프레임이 최소 MAD 값을 가질 때의 시간적 평활화 계수이다. 이는 사용자에 의해 설정되며 프레임의 영상의 종류에 따라 다르게 설정될 수 있다. Cmax 값을 1 에 가깝게 설정할수록 중간 영상의 생성에 과거 영상을 반영하는 비율이 높아지므로, 화면의 정적 성향이 가까울수록 1 에 가까운 값을 가진다.
생성된 MAD 값(331)이 0 내지 Elow 의 범위에 있다면, 시간적 평활화 계수 C (341)는 Cmax 값으로 고정된다. 또한 생성된 MAD 값(331)이 Ehigh 이상의 범위에 있다면, 시간적 평활화 계수 C (341)는 Cmin 값으로 고정된다. 생성된 MAD 값(331)이 Elow 내지 Ehigh 의 범위에 있는 경우, 시간적 평활화 계수(341)는 평활화 계수 결정 함수 F(E)에 의해 정해진다. 이를 수학식으로 표현하면, 수학식 4 와 같이 표현된다.
[수학식 4]
C = Cmax, E < Elow 인 경우
C = f(E), Elow <= E <= Ehigh 인 경우
C = Cmin, E > Ehigh 인 경우
평활화 계수 결정 함수 f(E)는 MAD 값과 시간적 평활화 계수가 반비례 관계를 가지는 임의의 함수 중에서 선택될 수 있다. 이는 정적 동영상일수록 시간적 평활화 계수를 큰 값으로 선택하기 위함이다. 평활화 계수 결정 함수 f(E)는 1차 함수, 2차 함수 또는 최대 및 최소값에서 비선형적으로 포화값을 가지는 비선형 함수 등이 가능하다. 도 6의 실시예에서, 평활화 계수 결정 함수 f(E)는 일차 함수가 사용되었다.
도 7은 본 발명의 다른 실시예에 따른 평활화 계수 결정 함수를 나타내는 도면이다.
도 7의 실시예에서, 평활화 계수 결정 함수는 그 출력값이 양자화된 값을 가지는 함수이다. MAD 값이 E1 내지 E2 값을 가지면, 평활화 계수 C 는 C1 값을 가지고, E2 내지 E3 값을 가지면, 평활화 계수 C 는 C2 값을 가지고,... 이러한 방식의 매핑이 계속된다. 이러한 평활화 계수 결정 함수를 사용하면, 곱하기 연산 없이 매핑 테이블등으로 구현할 수 있으므로, 하드웨어적 구현이 용이하다.
평활화 디스패리티 벡터 생성기(310)는 시간적 평활화 계수(341), 과거 디스패리티 벡터(221) 및 현재 디스패리티 벡터(222)를 수신하여 평활화 디스패리티 벡터 (311)를 생성한다. 본 발명의 일 실시예에 따라 평활화 디스패리티 벡터는 수학식 5 에 의해 생성된다.
[수학식 5]
DVsmoothed = C * DVprevious + (1-C) * DVpresent
여기서 DVsmoothed 는 평활화 디스패리티 벡터, DVprevious 및 DVpresent 는 과거 및 현재 디스패리티 벡터, C 는 시간적 평활화 계수를 나타낸다.
수학식 5 에 따라, 시간적 평활화 계수가 높을수록 평활화 디스패리티 벡터는 과거 디스패리티 벡터의 값이 많이 반영된다. 따라서 평활화 디스패리티 벡터를 이용하여 합성된 중간 영상은 시간적 평활화 계수가 높을수록 과거 영상이 더욱 많이 반영된다. 시간적 평활화 계수는 각 프레임 마다 생성되므로 프레임마다 평활화 디스패리티 벡터는 다른 값을 가지게 되고, 그 결과 생성된 중간 영상은 각 프레임마다 과거 영상 또는 현재 영상을 반영한 비율이 상이하게 된다. 따라서 적응적 중간 영상 합성이 가능하다.
도 3 내지 도 7에서는 좌측 영상에 대해서만 평활화 디스패리티 벡터 생성 방법이 설명되었지만, 우측 영상에 대해서도 동일한 방법으로 평활화 디스패리티 벡터가 생성된다.
DV 밀화부(230,235), DV 매핑부(240) 및 중간 영상 재구성부(250) 에서의 동작은 도 2에서의 동작과 동일하다.
DV 밀화부(230,235)는 각각 평활화 디스패리티 벡터(231,236)를 수신하여 픽셀 디스패리티 벡터(232,237)를 생성한다. 시간적 평활화부에서 생성된 평활화 디스패리티 벡터(231,236)는 최소 4*4 픽셀을 가지는 블록(SSB) 에 대해 계산된 디스패리티 벡터이다. 따라서 중간 영상 합성을 위해서는 픽셀별로 레벨값을 결정하기 위해, 디스패리티 벡터를 각 픽셀 단위로 밀화(densify)할 필요가 있다. 밀화 동작은 우선 블록(SSB,MSB,LSB)으로 생성된 디스패리티 벡터를 양 말단값 (end value)을 정의하고, 양 말단값사이에 필요한 픽셀 수만큼 새로운 값을 부여하는 스케일링(scaling) 방법에 의해 수행된다. 이 때 새로운 값은 일반적으로 선형적인 평균값이다.
DV 매핑부(240)는 좌측 및 우측 픽셀 디스패리티 벡터(232,237)를 수신하여 최종 디스패리티 벡터(241)를 생성한다. DV 매핑부(240)는 우선 좌측 및 우측 픽셀 디스패리티 벡터(232,237)의 일치여부(consistency)를 검사하고, 일치하는 디스패리티 벡터만 남겨두고 일치하지 않는 디스패리티 벡터는 제거한다. 다음으로, 남겨진 디스패리티 벡터를 양 말단값으로 하여 스케일링한다. 따라서 일치하는 디스패리티 벡터를 기준으로 새로운 디스패리티 벡터(241)가 픽셀마다 생성된다.
중간 영상 재구성부 (250) 는 최종 디스패리티 벡터(241), 좌측 영상(212) 및 우측 영상(216)을 수신하여 중간 영상(251)을 생성한다. 중간 영상 재구성 동작에는 중간 시점 재구성(Intermediate View Reconstruction) 방법이 이용된다.
도 8은 중간 시점 재구성 방법의 개념을 설명하는 도면이다.
도 8에서, 좌측 영상 LI 및 우측 영상 RI 는 물체 A1,A2,A3 를 시각 left,right 에서 촬상한 경우 생성된 영상을 나타낸다. 좌측 영상 LI 는 4개의 하부 영역 L1,L2,L3,L5 로 구성된다. 영역 L1,L5 는 배경 영역이며, 영역 L2 는 물체 A2를 좌측 시점에서 촬상한 영역, 영역 L3 는 물체 A1을 좌측 시점에서 촬상한 영역이다. 물체 A3 는 좌측 시점에서 보이지 않기 때문에 좌측 영상 LI 에는 나타나지 않는다. 우측 영상 RI 는 4개의 하부 영역 R1,R3,R4,R5 로 구성된다. 영역 R1,R5 는 배경 영역이며, 영역 R3 는 물체 A1를 우측 시점에서 촬상한 영역, 영역 R4 는 물체 A3를 우측 시점에서 촬상한 영역이다. 물체 A2 는 우측 시점에서 보이지 않기 때문에 우측 영상 RI 에는 나타나지 않는다.
도 8에서 화살표는 디스패리티 벡터를 나타낸다. 디스패리티 벡터는 각 영역에 속하는 픽셀이 이동된 거리 및 방향을 나타내므로 이러한 정보로부터 중간 영상의 어느 위치에 어떠한 레벨값을 가지는 픽셀이 대응되는지에 대한 정보를 얻을 수 있다. 예를 들면 영역 L1 는 영역 R1 에 대응되므로, 중간 영상의 영역 M1 은 영역 L1,R1 및 영역 L1,R1 영역에 포함된 픽셀의 최종 디스패리티 벡터(241)로부터 중간 영상의 영역 M1를 생성할 수 있다. 마찬가지로 L3,L5 는 R3,R5 로 대응되므로, 이에 해당하는 중간 영상의 영역 M3,M5 는 이와 동일한 방법으로 생성된다.
좌측 영상 LI 는 물체 A3 에 대한 정보를 가지고 있지 않기 때문에, 물체 A3 에 해당하는 중간 영상의 영역 M4 는 우측 영상의 영역 R4 및 영역 R4 의 최종 디스패리티 벡터만을 이용하여 생성된다. 마찬가지로, 우측 영상 RI 는 물체 A2 에 대한 정보를 가지고 있지 않기 때문에, 물체 A2 에 해당하는 중간 영상의 영역 M2 는 좌측 영상의 영역 L2 및 영역 L2 의 최종 디스패리티 벡터만을 이용하여 생성된다.
도 9는 중간 영상의 픽셀의 레벨값을 결정하는 방법을 나타내는 도면이다. 도 8에서 픽셀의 대응되는 위치가 결정되면, 그 위치에 어떠한 레벨값을 가지는 중간 영상을 생성할 것인지가 결정되어야 한다. 본 발명의 일 실시예에서 레벨값의 결정은 이하 수학식 6을 통해 결정된다.
[수학식 6]
MI[x+α* dk(x,y), y] = (1-α)* LI[x,y] + α* RI[x+dk(x,y), y]
여기서 LI, RI, MI 는 각각 좌측 영상, 우측 영상 및 중간 영상의 해당 픽셀에서의 레벨값이며, dk(x,y)는 해당 픽셀의 디스패리티 벡터로부터 추출된 x 방향의 변위를 나타내고, α 는 중간 영상 합성 계수를 나타낸다. 도 9에서 좌우 방향만의 이동이 있었으므로, x 방향으로의 변위만이 고려되었고, 수학식은 좌측 영상의 좌표를 기준으로 하여 생성하였다.
중간 영상 합성 계수 α 는 중간 영상의 합성에 있어서 좌측 영상 및 우측 영상의 레벨값을 반영하는 비율을 나타낸다. α 는 0 내지 1 의 범위를 가진다. 만약 α = 0.5 라면 좌측 영상의 해당 픽셀의 레벨값과 우측 영상의 해당 픽셀의 레벨값의 평균값이 중간 영상의 해당 픽셀의 레벨값이 된다. 만약 α <0.5 라면, 중간 영상의 해당 픽셀의 레벨값 생성에 좌측 영상의 해당 픽셀의 레벨값이 더욱 많이 반영되고, α >0.5 의 경우에는 그 반대이다.
중간 영상 합성 계수 α 는 생성되는 중간 영상의 수를 결정한다. 만약 생성하고자 하는 중간 영상의 수가 하나 이상이라면 다양한 α 값을 가지는 중간 영상을 여러 개 생성한다. 즉 하나이상의 중간 영상을 생성하기 위해서는, 중간 시점 재구성부(250)에서 α 값만 변경하여 중간 영상을 반복생성하면 되고, 그 이전의 동작들은 반복할 필요가 없다.
도 10은 본 발명의 다른 실시예에 따른 중간 영상 합성 방법을 나타내는 도면이다.
본 발명의 일 실시예에 따른 중간 영상 합성 장치는, 전처리부(400)를 추가적으로 포함한다. 전처리부(pre-processor, 400)는 좌측 또는 우측 영상 처리 과정 중 어는 한 쪽에만 위치한다. 도 10의 실시예에서 전처리부(400)는 우측 영상 처리부에 위치하였다. 전처리부(400)는 DV 추정기(215)의 앞단에 위치한다.
스테레오 카메라의 CCD 및 광학적 특성의 차이로 인해 발생하는 좌우 영상 신호의 휘도 및 색상에 차이는 디스패리티 추정의 왜곡을 발생시킨다. 이러한 왜곡을 제거하기 위해 어느 한쪽 영상을 기준으로 다른쪽 영상의 휘도 또는 색상 신호를 보정할 필요가 있다.
이러한 보정을 위해, 전처리부(400)는 현재 우측 및 좌측 영상 LIT, RIT 를 수신하여 보정된 우측 영상 RIT'를 생성한다. 이러한 보정은 영상의 휘도 및 색상 신호에 대해 이득(gain) 및 오프셋(offset)을 조정함으로써 수행된다. 여기서 이득 및 오프셋이란 영상의 특정 라인의 레벨값 분포를 나타내는 특성 그래프로부터 추출된다. 이득 및 오프셋 조정은 이하 수학식 7 으로 표현된다.
[수학식 7]
RIT' = G * RIT + F
여기서 G, F 는 좌측 영상을 기준으로 한 우측 영상의 이득 및 오프셋 보정값이다.
본 발명의 다른 실시예에 따른 중간 영상 합성 장치는, 공간적 평활화 및 영외 보정부(410)를 추가적으로 포함한다. 공간적 평활화 및 영외 보정부(410)는 시간적 평활화부(310,315) 와 DV 밀화부(230,235)사이에 위치한다.
공간적 평활화(spatial smoothing)는 특정 블록에 대해 생성된 평활화 디스패리티 벡터(231,236)가 주변의 다른 블록의 디스패리티 벡터에 비해 과도히 높거나 낮은 경우에 이를 평균값등의 적절한 값으로 변환한다. 공간적 평활화는 일반적으로 메디언 필터(median filter)등을 통해 수행된다. 영외 보정(Outlier correction)은 미리결정된 범위의 수치를 벗어나는 값들은 제거하는 필터링을 통해 영상 매칭에서 발생하는 잘못된 디스패리티 벡터를 제거한다. 이러한 공간적 평활화 및 영외 보정은 당업자에게 널리 알려져 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
전술한 바와 같이 본 발명에 따른 시간적 평활화 장치 및 방법에 의하면, 영상의 상태에 따라 적응적으로 시간적 평활화를 적용함으로써 영상 품질의 저하 없이 중간 영상의 플리커 현상을 제거할 수 있다.
도 1은 3차원 영상 처리의 개요도.
도 2는 종래의 시간적 평활화 기술의 구성을 나타내는 도면.
도 3은 본 발명에 따른 평활화 디스패리티 벡터를 생성하는 과정을 나타내는 블록도.
도 4는 디스패리티 벡터의 개념을 나타내는 도면.
도 5는 본 발명의 일 실시예에 따른 디스패리티 벡터 추정 방법을 나타내는 도면.
도 6은 시간적 평활화 계수의 생성 원리를 나타내는 도면.
도 7은 본 발명의 다른 실시예에 따른 평활화 계수 결정 함수를 나타내는 도면.
도 8은 중간 시점 재구성 방법의 개념을 설명하는 도면.
도 9는 중간 영상의 픽셀의 레벨값을 결정하는 방법을 나타내는 도면.
도 10은 본 발명의 다른 실시예에 따른 중간 영상 합성 방법을 나타내는 도면이다.

Claims (34)

  1. 중간 영상 합성을 위한 시간적 평활화 장치에 있어서,
    과거 및 현재 영상을 수신하여 소정의 크기의 블록별로 과거 및 현재 디스패리티 벡터(disparity vector)를 생성하는 디스패리티 벡터 추정기; 및
    상기 과거 및 현재 영상과 상기 과거 및 현재 디스패리티 벡터를 수신하여 시간적 평활화 디스패리티 벡터를 생성하는 시간적 평활화부를 포함하고,
    상기 시간적 평활화부는 상기 과거 및 현재 영상의 평균 절대값 차이(mean absolute difference, MAD)에 기초하여 프레임마다 상이한 시간적 평활화 디스패리티 벡터를 생성하는 것을 특징으로 하는 장치.
  2. 제 1 항에 있어서, 상기 시간적 평활화부는,
    상기 과거 및 현재 영상의 평균 절대값 차이에 기초하여 시간적 평활화 계수(C)를 생성하는 상관기; 및
    상기 과거 및 현재 디스패리티 벡터를 수신하여 시간적 평활화 디스패리티 벡터를 생성하는 평활화 디스패리티 벡터 생성기를 포함하고,
    상기 평활화 디스패리티 벡터 생성기는 상기 시간적 평활화 계수에 기초하여 상기 과거 및 현재 디스패리티 벡터의 기여 정도를 조정하는 것을 특징으로 하는 장치.
  3. 제 2 항에 있어서, 상기 상관기는,
    상기 과거 및 현재 영상을 수신하여, 소정의 크기의 블록을 단위로 블록 매칭을 수행한 후, 매칭되는 블록의 레벨값의 평균 절대값 차이를 생성하는 평균 절대값 차이 생성기; 및
    상기 생성된 평균 절대값 차이에 따라 시간적 평활화 계수를 매칭시킨 계수 결정 함수를 이용하여 시간적 평활화 계수 검출하는 시간적 평활화 계수 검출기를 포함하는 것을 특징으로 하는 장치.
  4. 제 3 항에 있어서, 상기 과거 및 현재 영상은 RGB 색 구조(color scheme)를 가지며,
    상기 평균 절대값 차이 생성기는, 현재 영상의 k번째 픽셀에 대한 R,G,B 의 각각의 레벨값 R(T), G(T), B(T)과 과거 영상의 k번째 픽셀에 대한 R,G,B 의 각각의 레벨값 R(T-1), G(T-1), B(T-1)의 차이의 평균값에 기초하여 평균 절대값 차이를 생성하는 특징으로 하는 장치.
  5. 제 3 항에 있어서, 상기 과거 및 현재 영상은 4:2:2 의 YUV 색 구조(color scheme)를 가지며, 상기 평균 절대값 생성기는, 현재 영상의 k번째 픽셀에 대한 Y,U,V 의 각각의 레벨값 Y(T), U(T), V(T)과 과거 영상의 k번째 픽셀에 대한 Y,U,V 의 각각의 레벨값 각각의 차이의 평균값을 기초로하여 평균 절대값 차이를 생성하는 것을 특징으로 하는 장치.
  6. 제 3 항에 있어서, 상기 계수 결정 함수는, 상기 평균 절대값 차이와 상기 시간적 평활화 계수가 반비례 관계를 가지는 것을 특징으로 하는 장치.
  7. 제 6 항에 있어서, 상기 계수 결정 함수는 상기 평균 절대값 차이가 임계 범위를 가지며, 상기 임계 범위보다 큰 범위에서의 상기 시간적 평활화 계수는 일정한 값을 가지는 것을 특징으로 하는 장치.
  8. 제 7 항에 있어서, 상기 계수 결정 함수는 1차 함수인 것을 특징으로 하는 장치.
  9. 제 7 항에 있어서, 상기 계수 결정 함수는 2차 함수인 것을 특징으로 하는 장치.
  10. 제 7 항에 있어서, 상기 계수 결정 함수는 임계 범위 이상의 평균 절대값 차이에서 포화 곡선을 가지는 비선형 함수인 것을 특징으로 하는 장치.
  11. 제 7 항에 있어서, 상기 계수 결정 함수는, 상기 평균 절대값 차이와 상기 시간적 평활화 계수는 양자화된 관계를 가지는 것을 특징으로 하는 장치.
  12. 제 3 항에 있어서, 상기 평활화 디스패리티 벡터 생성기는, 상기 시간적 평활화 계수가 클수록 상기 과거 디스패리티 벡터의 기여 정도가 크도록 상기 평활화 디스패리티 벡터를 생성하는 것을 특징으로 하는 장치.
  13. 제 12 항에 있어서, 상기 평활화 디스패리티 벡터 생성기는, 이하 수학식
    DVsmoothed = C * DVprevious + (1-C) * DVpresent
    에 따라 평활화 디스패리티 벡터를 생성하고,
    여기서 DVsmoothed 는 평활화 디스패리티 벡터, DVprevious 및 DVpresent 는 과거 및 현재 디스패리티 벡터, C 는 시간적 평활화 계수를 나타내는 장치.
  14. 중간 영상 합성 장치에 있어서,
    좌측 및 우측의 영상 소스로부터 추출된 과거 및 현재 영상으로부터 좌측 및 우측의 과거 및 현재 디스패리티 벡터를 생성하는 좌측 및 우측 디스패리티 벡터 추정기;
    상기 좌측 및 우측의 과거 및 현재 영상과, 좌측 및 우측의 과거 및 현재 디스패리티 벡터를 수신하여 좌측 및 우측 평활화 디스패리티 벡터를 생성하는 좌측 및 우측 시간적 평활화부;
    상기 좌측 및 우측 평활화 디스패리티 벡터를 픽셀 별로 스케일링(sclaing)함으로써 좌측 및 우측 픽셀 평활화 디스패리티 벡터를 생성하는 좌측 및 우측 디스패리티 벡터 밀화부;
    상기 좌측 및 우측 픽셀 디스패리티 벡터를 수신하여 상기 좌측 및 우측 픽셀 디스패리티 벡터의 일치여부를 검사하여, 일치하지 않는 픽셀 디스패리티 벡터는 제거한 후, 일치하는 픽셀 디스패리티 벡터를 기준으로 스케일링함으로써 최종 디스패리티 벡터를 생성하는 디스패리티 벡터 매핑부; 및
    상기 좌측 및 우측 현재 영상에 상기 최종 디스패리티 벡터를 적용함으로써 중간 영상을 생성하는 중간 영상 재구성부를 포함하는 것을 특징으로 하는 장치.
  15. 제 14 항에 있어서, 상기 시간적 평활화부는,
    상기 과거 및 현재 영상의 평균 절대값 차이(MAD)에 기초하여 프레임마다 상이한 시간적 평활화 디스패리티 벡터를 생성하는 것을 특징으로 하는 장치.
  16. 제 15 항에 있어서, 상기 시간적 평활화부는,
    상기 과거 및 현재 영상의 평균 절대값 차이에 기초하여 시간적 평활화 계수(C)를 생성하는 상관기; 및
    상기 과거 및 현재 디스패리티 벡터를 수신하여 시간적 평활화 디스패리티 벡터를 생성하는 평활화 디스패리티 벡터 생성기를 포함하고,
    상기 평활화 디스패리티 벡터는 상기 시간적 평활화 계수에 기초하여 상기 과거 및 현재 디스패리티 벡터의 기여 정도를 조정하는 것을 특징으로 하는 장치.
  17. 제 16 항에 있어서, 상기 상관기는,
    상기 과거 및 현재 영상을 수신하여, 소정의 크기의 블록을 단위로 블록 매칭을 수행한 후, 매칭되는 블록의 레벨값의 평균 절대값 차이를 생성하는 평균 절대값 차이 생성기; 및
    상기 생성된 평균 절대값 차이에 따라 시간적 평활화 계수를 매칭시킨 계수 결정 함수를 이용하여 시간적 평활화 계수 검출하는 시간적 평활화 계수 검출기를 포함하는 것을 특징으로 하는 장치.
  18. 제 17 항에 있어서, 상기 계수 결정 함수는 상기 평균 절대값 차이가 임계 범위를 가지며, 상기 임계 범위보다 큰 범위에서의 상기 시간적 평활화 계수는 일정한 값을 가지는 것을 특징으로 하는 장치.
  19. 제 16 항에 있어서, 상기 평활화 디스패리티 벡터 생성기는, 이하 수학식
    DVsmoothed = C * DVprevious + (1-C) * DVpresent
    에 따라 평활화 디스패리티 벡터를 생성하고,
    여기서 DVsmoothed 는 평활화 디스패리티 벡터, DVprevious 및 DVpresent 는 과거 및 현재 디스패리티 벡터, C 는 시간적 평활화 계수를 나타내는 장치.
  20. 제 17 항에 있어서, 상기 좌측 및 우측 현재 영상을 수신하여 상기 좌측 또는 우측 현재 영상 중 어는 한쪽을 기준으로 다른 한쪽 영상의 레벨값을 보정함으로써 보정된 좌측 또는 우측 현재 영상을 생성하는 전처리부를 더 포함하는 것을 특징으로 하는 장치.
  21. 제 18 항에 있어서, 상기 전처리부는,
    상기 다른 한쪽 영상의 레벨값에 대해 이득 및 오프셋 값을 조정함으로써 보정된 좌측 또는 우측 현재 영상을 생성하는 것을 특징으로 하는 장치.
  22. 제 17 항에 있어서, 상기 시간적 평활화부로부터 상기 평활화 디스패리티 벡터를 수신하여 공간 평활화(spatial smoothing) 및 영외 보정(outlier correction))을 수행하는 공간적 평활화 및 영외 보정부를 더 포함하는 것을 특징으로 하는 장치.
  23. 제 22 항에 있어서, 상기 공간적 평활화는 메디언 필터(median filter)에 의해 수행되는 것을 특징으로 하는 장치.
  24. 제 17 항에 있어서, 상기 중간 영상 재구성부는 중간 시점 재구성 방법(Intermediate View Reconstruction, IVR)을 수행함으로써 상기 중간 영상을 생성하는 것을 특징으로 하는 장치.
  25. 중간 영상 합성을 위한 시간적 평활화 방법에 있어서,
    과거 및 현재 영상을 수신하여 소정의 크기의 블록별로 과거 및 현재 디스패리티 벡터(disparity vector)를 생성하는 디스패리티 벡터 추정 단계; 및
    상기 과거 및 현재 영상과 상기 과거 및 현재 디스패리티 벡터를 수신하여 시간적 평활화 디스패리티 벡터를 생성하는 시간적 평활화 단계를 포함하고,
    상기 시간적 평활화 단계는 상기 과거 및 현재 영상의 평균 절대값 차이(mean absolute difference, MAD)에 기초하여 프레임마다 상이한 시간적 평활화 디스패리티 벡터를 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  26. 제 25 항에 있어서, 상기 시간적 평활화 단계는,
    상기 과거 및 현재 영상의 평균 절대값 차이에 기초하여 시간적 평활화 계수(C)를 생성하는 상관(correlating) 단계; 및
    상기 과거 및 현재 디스패리티 벡터를 수신하여 시간적 평활화 디스패리티 벡터를 생성하는 평활화 디스패리티 벡터 생성 단계를 포함하고,
    상기 평활화 디스패리티 벡터 생성 단계는 상기 시간적 평활화 계수에 기초하여 상기 과거 및 현재 디스패리티 벡터의 기여 정도를 조정하는 단계를 포함하는 것을 특징으로 하는 방법.
  27. 제 26 항에 있어서, 상기 상관 단계는,
    상기 과거 및 현재 영상을 수신하여, 소정의 크기의 블록을 단위로 블록 매칭을 수행하여 매칭되는 블록의 레벨값의 평균 절대값 차이를 생성하는 평균 절대값 차이 생성 단계; 및
    상기 생성된 평균 절대값 차이에 따라 시간적 평활화 계수를 매칭시킨 계수 결정 함수를 이용하여 시간적 평활화 계수 검출하는 시간적 평활화 계수 검출 단계를 포함하는 것을 특징으로 하는 방법.
  28. 제 25 항에 있어서, 상기 계수 결정 함수는, 상기 평균 절대값 차이와 상기 시간적 평활화 계수가 반비례 관계를 가지는 것을 특징으로 하는 방법.
  29. 제 28 항에 있어서, 상기 계수 결정 함수는 상기 평균 절대값 차이가 임계 범위를 가지며, 상기 임계 범위보다 큰 범위에서의 상기 시간적 평활화 계수는 일정한 값을 가지는 것을 특징으로 하는 방법.
  30. 제 29 항에 있어서, 상기 계수 결정 함수는 1차 함수인 것을 특징으로 하는 방법.
  31. 제 29 항에 있어서, 상기 계수 결정 함수는 임계 범위 이상의 평균 절대값 차이에서 포화 곡선을 가지는 비선형 함수인 것을 특징으로 하는 방법.
  32. 제 29 항에 있어서, 상기 계수 결정 함수는, 상기 평균 절대값 차이와 상기 시간적 평활화 계수는 양자화된 관계를 가지는 것을 특징으로 하는 방법.
  33. 제 27 항에 있어서, 상기 평활화 디스패리티 벡터 생성 단계는, 상기 시간적 평활화 계수가 클수록 상기 과거 디스패리티 벡터의 기여 정도가 크도록 상기 평활화 디스패리티 벡터를 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  34. 제 33 항에 있어서, 상기 평활화 디스패리티 벡터 생성 단계는, 이하 수학식
    DVsmoothed = C * DVprevious + (1-C) * DVpresent
    에 따라 평활화 디스패리티 벡터를 생성하는 단계를 포함하고,
    여기서 DVsmoothed 는 평활화 디스패리티 벡터, DVprevious 및 DVpresent 는 과거 및 현재 디스패리티 벡터, C 는 시간적 평활화 계수를 나타내는 방법.
KR10-2003-0080097A 2003-11-13 2003-11-13 중간 영상 합성을 위한 시간적 평활화 장치 및 방법 KR100524077B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR10-2003-0080097A KR100524077B1 (ko) 2003-11-13 2003-11-13 중간 영상 합성을 위한 시간적 평활화 장치 및 방법
US10/964,775 US9159136B2 (en) 2003-11-13 2004-10-15 Temporal smoothing apparatus and method for synthesizing intermediate image
JP2004329286A JP2005151568A (ja) 2003-11-13 2004-11-12 中間映像合成のための時間的平滑化装置及び方法
CNB2004100954232A CN100450193C (zh) 2003-11-13 2004-11-12 用于合成中间图像的瞬时平滑装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2003-0080097A KR100524077B1 (ko) 2003-11-13 2003-11-13 중간 영상 합성을 위한 시간적 평활화 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20050046108A KR20050046108A (ko) 2005-05-18
KR100524077B1 true KR100524077B1 (ko) 2005-10-26

Family

ID=34567711

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-0080097A KR100524077B1 (ko) 2003-11-13 2003-11-13 중간 영상 합성을 위한 시간적 평활화 장치 및 방법

Country Status (4)

Country Link
US (1) US9159136B2 (ko)
JP (1) JP2005151568A (ko)
KR (1) KR100524077B1 (ko)
CN (1) CN100450193C (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100739730B1 (ko) * 2005-09-03 2007-07-13 삼성전자주식회사 3ｄ 입체 영상 처리 장치 및 방법
KR101227601B1 (ko) * 2005-09-22 2013-01-29 삼성전자주식회사 시차 벡터 예측 방법, 그 방법을 이용하여 다시점 동영상을부호화 및 복호화하는 방법 및 장치
KR101276720B1 (ko) 2005-09-29 2013-06-19 삼성전자주식회사 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
KR100737808B1 (ko) * 2005-10-07 2007-07-10 전자부품연구원 2차원 구조의 다시점 영상 압축 방법
KR101185870B1 (ko) * 2005-10-12 2012-09-25 삼성전자주식회사 3ｄ 입체 영상 처리 장치 및 방법
JP4453647B2 (ja) * 2005-10-28 2010-04-21 セイコーエプソン株式会社 動画像表示装置および動画像表示方法
WO2007110000A1 (en) * 2006-03-29 2007-10-04 Huawei Technologies Co., Ltd. A method and device of obtaining disparity vector and its multi-view encoding-decoding
KR101311896B1 (ko) * 2006-11-14 2013-10-14 삼성전자주식회사 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
JP4605400B2 (ja) * 2006-12-01 2011-01-05 富士フイルム株式会社 画像出力システム、画像生成装置および画像生成方法
BRPI0815108A2 (pt) * 2007-08-15 2015-01-27 Thomson Licensing Métodos e aparelho para modo de avanço de movimento em vídeo codificado de multi-visitas com o uso de vetores de disparidade regional
US8326081B1 (en) * 2009-05-18 2012-12-04 The United States Of America As Represented By The Secretary Of The Navy Correlation image detector
KR101763686B1 (ko) * 2010-11-15 2017-08-01 삼성전자 주식회사 입체 영상 처리 장치 및 그 처리 방법
CN103348380B (zh) * 2011-02-10 2016-08-10 日本电气株式会社 差异区域检测系统和差异区域检测方法
FR2971875B1 (fr) * 2011-02-23 2017-11-03 Mobiclip Dispositif et procede de gestion de la position du plan focal dans une scene stereoscopique
WO2012139108A1 (en) 2011-04-08 2012-10-11 Dolby Laboratories Licensing Corporation Method and apparatus for flicker reduction and contrast enhancement in 3d displays
US20130176390A1 (en) * 2012-01-06 2013-07-11 Qualcomm Incorporated Multi-hypothesis disparity vector construction in 3d video coding with depth
JP2013145173A (ja) * 2012-01-13 2013-07-25 Furuno Electric Co Ltd レーダ装置、レーダ画像データ処理プログラム、及びレーダ画像データ処理方法
US9641821B2 (en) * 2012-09-24 2017-05-02 Panasonic Intellectual Property Management Co., Ltd. Image signal processing device and image signal processing method
KR101918030B1 (ko) * 2012-12-20 2018-11-14 삼성전자주식회사 하이브리드 멀티-뷰 랜더링 방법 및 장치
JP5787456B2 (ja) * 2013-02-14 2015-09-30 株式会社日立国際電気 画像処理装置
JP2014206893A (ja) * 2013-04-15 2014-10-30 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
US20140309992A1 (en) * 2013-04-16 2014-10-16 University Of Rochester Method for detecting, identifying, and enhancing formant frequencies in voiced speech
CN103593155B (zh) * 2013-11-06 2016-09-07 华为终端有限公司 显示帧生成方法和终端设备
JP6561512B2 (ja) * 2014-03-27 2019-08-21 株式会社リコー 視差値導出装置、移動体、ロボット、視差値導出方法、視差値生産方法及びプログラム
US9613294B2 (en) * 2015-03-19 2017-04-04 Intel Corporation Control of computer vision pre-processing based on image matching using structural similarity
CN109120379A (zh) * 2018-08-30 2019-01-01 武汉虹信通信技术有限责任公司 一种适用于无线通信系统多场景的自适应调制编码方法
GB202005538D0 (en) * 2020-04-16 2020-06-03 Five Ai Ltd Stereo depth estimation

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59182688A (ja) * 1983-03-31 1984-10-17 Toshiba Corp ステレオ視処理装置
US5652616A (en) * 1996-08-06 1997-07-29 General Instrument Corporation Of Delaware Optimal disparity estimation for stereoscopic video coding
KR100224752B1 (ko) * 1997-06-11 1999-10-15 윤종용 표적 추적 방법 및 장치
JP4056154B2 (ja) * 1997-12-30 2008-03-05 三星電子株式会社 ２次元連続映像の３次元映像変換装置及び方法並びに３次元映像の後処理方法
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
CN1204757C (zh) * 2003-04-22 2005-06-01 上海大学 一种立体视频流编码/解码器及其立体视频编解码系统

Also Published As

Publication number Publication date
CN1638491A (zh) 2005-07-13
JP2005151568A (ja) 2005-06-09
US9159136B2 (en) 2015-10-13
CN100450193C (zh) 2009-01-07
US20050105610A1 (en) 2005-05-19
KR20050046108A (ko) 2005-05-18

Similar Documents

Publication Publication Date Title
KR100524077B1 (ko) 중간 영상 합성을 위한 시간적 평활화 장치 및 방법
JP5351038B2 (ja) 画像データ及び深度データの組合せを処理する画像処理システム
CA2547954C (en) Directional video filters for locally adaptive spatial noise reduction
JP6027034B2 (ja) 立体映像エラー改善方法及び装置
KR101498535B1 (ko) 스테레오스코픽 및 멀티-뷰 이미지들의 송신, 프로세싱 및 렌더링을 위한 시스템 및 방법
JPH10150663A (ja) ブロッキング効果の最小化方法及び最小化装置
JP3055438B2 (ja) ３次元画像符号化装置
JPS63198498A (ja) 三次元ビデオ信号の送信方法およびその装置
KR20010043760A (ko) 내용-적응형 압축 엔코딩
KR20100008677A (ko) 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법
JP2012249038A (ja) 画像信号処理装置、画像信号処理方法
US20040165765A1 (en) Method and an appraratus to divide image blocks
JP2001519988A (ja) ビデオデータから符号化パラメータを抽出するシステム
Lai et al. Improving view rendering quality and coding efficiency by suppressing compression artifacts in depth-image coding
US20110129012A1 (en) Video Data Compression
De Silva et al. A depth map post-processing framework for 3D-TV systems based on compression artifact analysis
JPH11252585A (ja) 視差量推定装置
Ideses et al. 3D from compressed 2D video
Jung Lossless embedding of depth hints in JPEG compressed color images
Li et al. Joint view filtering for multiview depth map sequences
JP3724008B2 (ja) 画像情報変換装置および係数データ作成装置
De Silva et al. A depth map post-processing technique for 3D-TV systems based on compression artifact analysis
Karunakar Implementation of an out-of-the loop post-processing technique for HEVC decoded depth maps
Gadia et al. Local color correction of stereo pairs
Nunes Objective Quality Assessment of 3D Synthesized Views

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120927

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20130927

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20140929

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20150925

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee