KR20110130845A - 영상을 깊이에 따라 계층별로 분리하여 히스토그램 매칭을 하는 다시점 영상의 조명보상 방법 및 그 기록매체 - Google Patents

영상을 깊이에 따라 계층별로 분리하여 히스토그램 매칭을 하는 다시점 영상의 조명보상 방법 및 그 기록매체 Download PDF

Info

Publication number
KR20110130845A
KR20110130845A KR1020100050372A KR20100050372A KR20110130845A KR 20110130845 A KR20110130845 A KR 20110130845A KR 1020100050372 A KR1020100050372 A KR 1020100050372A KR 20100050372 A KR20100050372 A KR 20100050372A KR 20110130845 A KR20110130845 A KR 20110130845A
Authority
KR
South Korea
Prior art keywords
image
depth
view
histogram
compensation method
Prior art date
Application number
KR1020100050372A
Other languages
English (en)
Other versions
KR101129713B1 (ko
Inventor
이동석
서영호
김동욱
유지상
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020100050372A priority Critical patent/KR101129713B1/ko
Publication of KR20110130845A publication Critical patent/KR20110130845A/ko
Application granted granted Critical
Publication of KR101129713B1 publication Critical patent/KR101129713B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

다시점 영상을 수신하여 깊이에 따라 영상을 분리하고 분리된 영상을 개별적으로 조명 보상하여 통합하는 깊이정보 기반 다시점 영상의 조명보상 방법 및 그 기록매체에 있어서, (a) 다시점 영상의 깊이영상으로부터 적어도 2개의 깊이 분포를 구하는 단계; (b) 다시점 영상의 이미지를 깊이 분포에 대응되는 세부이미지로 분리하되, 상기 세부이미지에 해당되는 깊이영상의 깊이는 상기 세부이미지에 대응되는 깊이 분포에 속하는 깊이인 단계; (c) 분리된 세부이미지 별로 히스토그램 매칭을 수행하여 각 세부이미지에 대해 조명보상을 수행하는 단계; 및 (d) 보상된 세부이미지를 통합하는 단계를 포함하는 구성을 마련한다.
상기와 같은 깊이정보 기반 다시점 영상의 조명보상 방법 및 그 기록매체에 의하여, 유사한 거리에 있는 물체들을 따로 분리하여 함께 조명 보상함으로써 거리에 따라 조명이 달라지는 현상을 반영하여 더 효율적이고 정확하게 조명 보상할 수 있고 결과적으로 다시점 영상의 부호화 성능을 향상시킬 수 있다.

Description

영상을 깊이에 따라 계층별로 분리하여 히스토그램 매칭을 하는 다시점 영상의 조명보상 방법 및 그 기록매체 { A multi-view image illumination compensation method based on the histogram matching by using image depth and the recording medium thereof }
본 발명은 히스토그램 매칭 기법을 이용하여 다시점 비디오의 인접 시점 영상 간 조명을 보상하는 깊이정보 기반 다시점 영상의 조명보상 방법 및 그 기록매체에 관한 것이다.
특히, 본 발명은 EM 군집 기법을 이용하여 가우시안 분포를 구하고, 가우시안 분포에 따라 다시점 영상을 분리하여 개별적으로 조명 보상하는 깊이정보 기반 다시점 영상의 조명보상 방법 및 그 기록매체에 관한 것이다.
일반적으로, 다시점 비디오는 기존의 단일시점 비디오와는 다르게, 서로 다른 위치에 배열된 여러 대의 카메라로 영상을 촬영하고 획득한다. 다시점 비디오는 렌티큘러(lenticular) 디스플레이를 이용한 무안경식 3D TV와 영상의 시점을 사용자가 자유롭게 선택하는 것이 가능한 자유시점 TV(free-viewpoint television), 그리고 3차원 비디오를 이용한 의료산업 분야 등에서 필요로 한다.
이러한 다시점 비디오는 데이터의 양이 단일시점 영상 보다 월등히 많으므로 저장이나 전송 시 효율적인 부호화 기법을 필요로 한다. 이를 위하여 ISO/IEC 산하의 MPEG에서 다시점 비디오 부호화(multi-view video coding; MVC) 표준화를 2001년부터 진행하였고, 2008년 7월 ITU-T와 공동으로 설립한 JVT(Joint Video Team)에서 표준화가 완료되었다.
한편, 다시점 비디오는 인접 시점 영상 간의 동일한 물체의 조명 불일치 현상이 발생할 수 있다. 이 같은 조명 불일치를 일으키는 요인에는 크게 두 가지가 있는데, 첫 번째는 다시점 카메라 시스템의 서로 다른 카메라의 위치이다. 시점에 따라 상이한 조명 환경에 따라 동일한 물체도 획득된 영상에 존재하는 구성과 반사광의 정도에 차이가 발생할 수 있으며 이와 같은 조명 불일치를 국부적 조명 불일치(local illlumination mismatches)라 한다. 다시점 카메라 시스템은 영상 획득 전에 서로 다른 위치의 카메라들이 물리적으로 동일한 내부 특성을 가지도록 조정되는 작업을 수행하는데 이를 캘리브레이션(calibration)이라고 한다.
조명 불일치 현상을 야기하는 두 번째 요인은 다시점 카메라 시스템의 잘못된 캘리브레이션 때문에 발생한다. 이로 인한 조명 불일치는 영상 전체에 동일하게 관찰되는데 이와 같은 조명 불일치 현상을 전역적 조명 불일치(global illumination mismatches)라고 한다. 조명 불일치 현상은 인접한 시점 영상 간의 상관성을 떨어뜨려 인접한 시점의 영상을 참조하는 다시점 비디오 부호화의 시점 간 예측(inter-view prediction or cross-view prediction) 시에 정확한 변위 벡터를 얻지 못하게 되고, 잔여 신호의 값이 크게 되어 부호화 효율을 저하시키는 결과를 초래하게 된다.
이러한 문제점을 해결하기 위한 방법으로 히스토그램에 기반한 전처리 기법이 있다. 다시점 비디오를 부호화하기 전에 모든 다시점 비디오 영상의 누적 히스토그램을 정해진 참조 영상의 누적 히스토그램으로 매칭시켜 다른 시점 영상의 휘도와 색차성분의 불일치를 미리 보상하여 압축 효율을 향상시키는 방법이다.
히스토그램 매칭을 이용한 조명 보상 방법의 또 다른 장점은 명암과 휘도, 색차 신호 등 가능성 있는 모든 종류의 조명 불일치를 동시에 보상한다는 것이다. 기존의 히스토그램 매칭을 이용한 다시점 비디오의 조명 보상 기법은 참조 시점 영상 전체를 매칭의 기준으로 하여 수행된다. 그러나 보편적인 영상은 서로 다른 색상의 구성을 가지는 여러 개의 객체로 구성된다. 또한 객체 단위로 조명의 환경이 다르기 때문에 발생하는 조명 불일치의 정도도 다르게 된다. 이러한 이유로 종래의 히스토그램 매칭은 개선의 여지가 있다.
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 히스토그램 매칭 기법을 이용하여 다시점 비디오의 인접 시점 영상 간 조명을 보상하는 깊이정보 기반 다시점 영상의 조명보상 방법 및 그 기록매체를 제공하는 것이다.
또한, 본 발명의 목적은 EM 군집 기법을 이용하여 가우시안 분포를 구하고, 가우시안 분포에 따라 다시점 영상을 분리하여 개별적으로 조명 보상하는 깊이정보 기반 다시점 영상의 조명보상 방법 및 그 기록매체를 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명은 다시점 영상을 수신하여 깊이에 따라 영상을 분리하고 분리된 영상을 개별적으로 조명 보상하여 통합하는 깊이정보 기반 다시점 영상의 조명보상 방법에 관한 것으로서, (a) 상기 다시점 영상의 깊이영상으로부터 적어도 2개의 깊이 분포를 구하는 단계; (b) 상기 다시점 영상의 이미지를 상기 깊이 분포에 대응되는 세부이미지로 분리하되, 상기 세부이미지에 해당되는 깊이영상의 깊이는 상기 세부이미지에 대응되는 깊이 분포에 속하는 깊이인 단계; (c) 상기 분리된 세부이미지 별로 히스토그램 매칭을 수행하여 각 세부이미지에 대해 조명보상을 수행하는 단계; 및 (d) 보상된 세부이미지를 통합하는 단계를 포함하는 것을 특징으로 한다.
또, 본 발명은 깊이정보 기반 다시점 영상의 조명보상 방법에 있어서, 상기 깊이 분포는 EM 군집(expectation maximization clustering)기법을 이용하여 깊이영상의 히스토그램으로부터 구하는 가우시안 분포인 것을 특징으로 한다.
또, 본 발명은 깊이정보 기반 다시점 영상의 조명보상 방법에 있어서, 상기 세부이미지는 시점과 프레임 별로 나누어 분리되는 것을 특징으로 한다.
또, 본 발명은 깊이정보 기반 다시점 영상의 조명보상 방법에 있어서, 상기 (c)단계에서, 히스토그램 매칭을 위한 참조영상은 카메라 배열의 중심에서 가장 가까운 카메라에서 획득한 영상으로부터 구하는 것을 특징으로 한다.
또, 본 발명은 깊이정보 기반 다시점 영상의 조명보상 방법에 있어서, 상기 (c)단계에서, 상기 세부이미지의 히스토그램 hR[v]는 [수식 1]에 의하여 구하는 것을 특징으로 한다.
[수식 1]
Figure pat00001
단, yR[m,n]은 참조영상의 영상신호 값,
l은 시퀀스 내에 존재하는 프레임의 수,
w와 h는 각각 영상의 가로 및 세로.
또한, 본 발명은 깊이정보 기반 다시점 영상의 조명보상 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
상술한 바와 같이, 본 발명에 따른 깊이정보 기반 다시점 영상의 조명보상 방법 및 그 기록매체에 의하면, 가우시안 혼합 모델이 적용된 EM 군집 기법을 이용하여 색상 구성과 조명의 영향이 다른 객체 단위로 영상을 분리하고 개별적으로 히스토그램 매칭 방법을 통해 다시점 비디오에 존재하는 인접 시점 영상간 조명 불일치 현상을 효과적으로 보상할 수 있는 효과가 얻어진다.
특히, 본 발명에 따른 깊이정보 기반 다시점 영상의 조명보상 방법 및 그 기록매체에 의하면, 유사한 거리에 있는 물체들을 따로 분리하여 함께 조명 보상함으로써 거리에 따라 조명이 달라지는 현상을 반영할 수 있고, 결과적으로 인접 시점 영상 간 예측 기법을 사용하는 다시점 영상의 부호화 성능을 크게 향상시킬 수 있는 효과가 얻어진다.
도 1은 본 발명을 실시하기 위한 전체 시스템 구성의 일례를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 깊이정보 기반 다시점 영상의 조명보상 방법을 설명하는 흐름도이다.
도 3과 도 4는 본 발명의 일실시예에 따른 다시점 영상의 이미지 영상 및 깊이영상의 일례이다.
도 5는 본 발명의 일실시예에 따른 깊이 영상의 히스토그램 그래프 및 분리된 깊이 히스토그램 분포의 일례이다.
도 6은 본 발명의 일실시예에 따라 도 5의 깊이 분포에 의해 세부 이미지를 형성하는 일례를 도시한 것이다.
도 7은 본 발명의 일실시예에 따라 히스토그램 매칭을 하는 단계를 도시한 도면이다.
도 8은 본 발명의 일실시예에 따라 히스토그램 매칭의 과정 및 수행결과를 도시한 도면이다.
* 도면의 주요 부분에 대한 부호의 설명 *
10 : 물체 20 : 촬영장치
30 : 컴퓨터 단말 40 : 조명보상 시스템
60 : 다시점 영상
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 1을 참조하여 설명한다.
도 1에서 보는 바와 같이, 본 발명에 따른 다시점 영상의 조명보상 방법은 다수의 촬영장치(20)에 의해 촬영된 영상(60)을 입력받아 영상을 처리하는 컴퓨터 단말(30) 상의 프로그램 시스템으로 실시될 수 있다.
즉, 다시점 영상의 조명보상 방법은 프로그램으로 구성되어 컴퓨터 단말(30)에 설치되어 실행될 수 있다. 컴퓨터 단말(30)에 설치된 프로그램은 하나의 시스템(40)과 같이 동작할 수 있다. 한편, 다른 실시예로서, 조명보상 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 이를 조명보상 시스템(40)이라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다. 그러나 이하에서 설명의 편의를 위해 컴퓨터 단말(30)에 구현된 조명보상 시스템(40)으로 설명하기로 한다.
다수의 촬영장치(20)는 다시점 카메라 등으로서, 하나의 물체(10)를 다수의 시점으로 촬영하는 장치이다. 촬영된 영상(60)은 상기 다시점 카메라(20) 등으로 촬영된 다시점 영상이다. 또, 상기 다시점 영상(60)은 컴퓨터 단말(30)에 직접 입력되어 저장되고, 조명보상 시스템(40)에 의해 처리된다.
한편, 조명보상 시스템(40)은 다시점 영상(60)으로부터 깊이영상을 추출할 수 있다. 다수의 시점 영상에서 영상 내 객체들이 어떤 깊이(물체와 카메라와의 거리)에 위치하는지 추출하는 기술은 공지기술로서 구체적 설명은 생략한다.
다른 실시예로서, 촬영장치(20)는 이미지 촬영장치 외 깊이영상 카메라 등을 더 포함한다. 깊이영상 카메라는 물체의 거리를 측정하는 카메라로서, 깊이영상을 얻을 수 있다.
따라서 다시점 영상은 이미지 영상(이하 이미지)과 깊이 영상으로 구분된다. 즉, 전자는 영상 화면(프레임)에 나타나는 이미지를 의미하고, 깊이 영상은 영상 내 인식되는 물체의 깊이를 표시하는 영상이다.
조명보상 시스템(40)은 촬영장치(20)로부터 다시점 영상의 이미지들을 입력받아 깊이영상을 생성하거나 촬영장치(20)로부터 직접 깊이 영상을 얻는다. 또, 조명보상 시스템(40)은 다시점 영상의 이미지와 깊이 영상을 수신하여, 깊이에 따라 영상을 분리하고 분리된 영상을 개별적으로 조명 보상하여 통합한다.
다음으로, 본 발명의 일실시예에 따른 깊이정보 기반 다시점 영상의 조명보상 방법을 도 1을 참조하여 설명한다.
도 1에서 보는 바와 같이, 본 발명의 일실시예에 따른 다시점 영상의 조명보상 방법은 EM 군집 기법을 이용하여 깊이 영상의 히스토그램을 여러 개의 가우시안 분포 곡선으로 분리하는 깊이 레벨 분리 단계(S10), 분리된 가우시안 분포에 해당하는 깊이 값을 가지는 영상의 부분을 분리하는 계층적 영상 분리 단계(S20), 그리고 분리된 영상 단위로 히스토그램 매칭을 수행하는 단계(S30)의 총 3단계로 구성되어 있다. 그리고 마지막으로, 분리된 영상을 하나의 영상으로 합치는 단계(S40)로 구성된다.
먼저, 깊이 레벨 분리 단계(S10)를 설명한다.
영상을 구성하는 객체별로 조명 불일치를 현상을 보상하기 위해서는 먼저 서로 다른 특성을 가지는 객체를 구별하여 추출해야 한다. 다시점 영상의 경우, 국부적인 조명 불일치는 그 깊이 정보와 높은 상관관계를 가진다. 일반적으로 배경과 중경, 그리고 전경으로 구분되는 객체는 서로 다른 국부적 조명 불일치 현상이 발생하는데, 이와 같은 차이는 조명과의 거리가 객체 별로 달라 조명의 반사광의 세기 및 범위가 다르기 때문이다.
이러한 절대 위치의 차이는 카메라로부터의 거리, 즉 영상의 깊이로 측정할 수 있다. 카메라로부터 가까운 객체의 화소일수록 높은 명암값으로 표현한 다시점 영상의 깊이 영상을 가우시안 혼합 모델에 기반한 EM 군집 기법을 이용하여 여러 개의 세부 영상으로 분류한다.
도 3과 도 4는 각각 대응되는 다시점 영상의 이미지 영상(이하 이미지) 및 깊이영상의 일례이다. 다시점 영상은 다수의 시점에서 촬영된 다수의 영상이나, 도 3의 영상은 그 중 하나의 시점 영상을 표시한 것이다.
이미지 영상은 이미지를 촬영한 영상이고, 깊이영상은 영상의 깊이를 명암 값으로 표현한 것이다. 바람직하게는, 깊이 영상은 객체마다 카메라로부터의 거리에 따라 화소 값을 0부터 255사이의 명암 값으로 차분하여 표현한다. 앞서 설명한 바와 같이, 깊이 영상은 서로 다른 시점의 영상, 즉, 다시점 영상 자체로부터 깊이영상을 추출하거나, 깊이 카메라 등의 촬영장치를 이용하여 직접 깊이영상을 획득한다.
상기와 같은 이미지 영상과 깊이영상은 동일한 대상을 각각 이미지와 깊이로 표시한 것으로, 서로 대응된다고 표현하기로 한다.
다음으로, 도 5에서 보는 바와 같이, 가우시안 혼합 모델을 적용한 EM 군집 기법을 이용하여, 깊이 영상의 히스토그램 분포를 서로 다른 평균값을 가지는 여러 개의 가우시안 분포 곡선의 조합으로 가우시안 혼합 모델화한다.
도 5a는 본 발명의 일실시예에 따른 깊이 영상의 히스토그램 그래프이고, 도 5b는 도 5a의 히스토그램에 가우시안 혼합 모델링을 적용하여, 여러 개의 중심축 값이 다른 가우시안 분포 곡선의 조합으로 구해진, 분리된 깊이 히스토그램 분포를 보여준다.
EM 군집 기법은 임의의 변수가 속하는 모델을 추정하는 효과적인 반복 알고리즘이다. 일반적으로 해당 변수가 정규 분포 단위의 여러 모델 가운데 어떤 모델로부터 생성되었는지를 추정하기 위해 모든 모델에 속해있을 확률을 비교하여 모델을 결정하게 된다. 미리 알고 있는 모델과 이를 수정한 정해져 있지 않은 모델, 각각의 변수가 속할 확률을 비교하는 과정을 반복적으로 수행하여 가장 높은 확률을 모델을 결정하게 된다. 본 발명에서는 정규 분포가 아닌 가우시안 혼합 모델을 사용하여 EM 군집 알고리즘을 적용하여 0부터 255사이의 깊이 변수가 속하는 가우시안 분포를 결정하게 된다.
도 5b의 일례에서, 가우시안 혼합 모델에 의해 3개의 깊이분포, 또는 가우시안 분포를 얻는다. 즉, 점선으로 표시된 깊이 분포는 중심축의 값이 제일 작은 분포(깊이레벨 1)이고, 검정으로 표시된 분포는 중간 값의 깊이 분포(깊이레벨 2)이고, 마지막은 가장 큰 값의 깊이 분포(깊이레벨 3)이다.
다음으로, 계층적 영상 분리 단계(S20)를 설명한다.
다시점 영상의 이미지를 깊이 분포에 대응되는 세부이미지로 분리하되, 상기 세부이미지에 해당되는 깊이영상의 깊이는 대응되는 깊이 분포에 속하도록 분리한다.
즉, 앞선 단계(S10)에서 구한 깊이 분포 각각에 대하여, 깊이영상에서, 해당 깊이 분포에 속하는 깊이를 가지는 부분만 추출한다. 이미지 영상 중에서, 추출된 깊이영상의 부분에 대응되는 부분만 추출하여 세부 이미지를 생성한다. 따라서 깊이 분포의 개수만큼의 세부 이미지를 추출할 수 있다. 또한, 세부 이미지에 해당하는 깊이영상의 깊이는 해당 깊이 분포에 속함을 알 수 있다.
도 6은 앞서 구한 도 5b의 3개의 깊이 분포(또는 가우시안 분포)에 의해 세부 이미지를 형성하는 일례를 도시한 것이다.
도 6a는 가우시안 분포 곡선의 중심축의 값이 제일 작은 첫 번째 깊이 레벨에 해당하는 깊이 화소 값으로만 구성된 첫 번째 깊이 레벨 영상과 그에 대응하는 실 화소 값으로 재구성된 분리 영상을 보여준다. 첫 번째 분리 영상(또는 세부 이미지 영상)은 원 영상(또는 이미지 영상)에서 벽과 같이 가우시안 분포의 평균 값이 가장 작아서 카메라부터의 거리가 제일 먼 후경 영역으로만 이루어져 있다.
도 6b는 가우시안 분포 곡선의 중심축의 값이 중간 크기를 가지는 두 번째 깊이 레벨에 해당하는 깊이 화소 값으로만 구성된 두 번째 깊이 레벨 영상과 그에 대응하는 실 화소 값으로 재구성된 분리 영상을 보여준다. 가우시안 분포 곡선의 중심축의 값이 첫 번째 가우시안 분포 곡선보다 크고 세 번째 가우시안 분포 곡선보다 작은 두 번째 깊이 레벨에 해당하는 화소만으로 재구성된 분리 영상은 원 영상에서 청중과 청중의 그림자와 같이 영상의 중경 영역으로 구성된다.
도 6c는 가우시안 분포 곡선의 중심축의 값이 제일 큰 세 번째 깊이 레벨에 해당하는 깊이 화소 값으로만 구성된 세 번째 깊이 레벨 영상과 그에 대응하는 실 화소 값으로 재구성된 분리 영상을 보여준다. 세 번째 분리 영상은 가우시안 분포의 평균값이 가장 커서, 등장인물과 바닥과 같이 카메라에서부터 거리가 가장 가까운 전경 영역으로 이루어져 있다.
다음으로, 히스토그램 매칭을 수행하는 단계(S30)를 설명한다.
도 7에서 보는 바와 같이, 히스토그램 매칭은 각 세부 이미지별로 히스토그램 매칭을 통해 인접 시점 간의 조명 불일치를 보상한다. 앞서 계층적 영상 분리 단계(S20)에서 세부이미지는 시점과 프레임 별로 나누어 분리된다. 따라서 이하에서 설명할 히스토그램 매칭도 각각 시점과 프레임별로 나누어진 세부이미지들을 대상으로 하여 히스토그램 매칭을 수행한다.
또한, 히스토그램 매칭을 위한 참조영상은 카메라 배열의 중심에서 가장 가까운 카메라에서 획득한 영상으로부터 분리된 세부이미지(이하 참조시점의 세부이미지 영상)로부터 구한다. 즉, 카메라 배열의 중심에서 가장 가까운 카메라에서 획득한 시점 영상의 이미지(이미지 영상)에서 분리된 세부 이미지를 대상으로 참조영상을 구한다. 그리고 참조영상에 해당하는 시점 이외의 다른 시점 영상들을 상기 참조영상과 히스토그램 매칭을 수행한다.
다시점 영상에 존재하는 조명 불일치를 보상하기 위하여, 히스토그램 매칭 기법을 이용한다. 히스토그램 매칭 방법을 YCbCr 색상 공간에서 각 색상 성분에 개별적으로 적용한다. 이하에서는, YCbCr 색상 공간에 세 가지 색상 성분 중, 휘도 성분에 대한 히스토그램 매칭 동작을 설명한다. 다른 색차 성분도 동일한 방법으로 히스토그램 매칭을 수행할 수 있다. 영상의 참조 영상의 휘도 신호의 값을 yR[m,n] 이라 할 때, 휘도 영상의 히스토그램은 [수학식 1]을 이용하여 구한다.
[수학식 1]
Figure pat00002
여기서 w와 h는 각각 영상의 가로, 세로 크기를 의미한다. 참조 영상의 누적 히스토그램 cR[v]는 [수학식 2]를 이용하여 구한다.
[수학식 2]
Figure pat00003
참조 영상의 누적 히스토그램에 매칭시킬 다른 시점 영상들의 히스토그램 hDi[v]와 대응하는 누적 히스토그램 cDi[v]도 [수학식 1]과 [수학식 2]를 이용하여 같은 방법으로 구할 수 있다.
왜곡된 i 번째 시점 영상의 누적 히스토그램 cDi[v]를 참조영상의 누적 히스토그램 cR[v]로 매칭할 때는 [수학식 3]의 함수 M을 이용한다. 이때 다른 시점 영상의 누적 히스토그램이 참조 영상의 누적 히스토그램과 다르면 왜곡되었다는 표현을 쓴다.
[수학식 3]
Figure pat00004
도 8a는 서로 다른 두 개의 누적 히스토그램 cD1[v]과 cD2[v]가 참조 누적 히스토그램 cR[v]로 매칭되는 과정을 자세히 보여준다. 참조 시점 영상의 누적 히스토그램은 화소 값에 대응하는 발생 빈도 영역을 가지게 된다. 다른 시점의 누적 히스토그램의 한 화소 값에서의 발생 빈도가 이 발생 빈도 영역에 존재하게 되면 해당 화소 값은 참조 누적 히스토그램의 발생 빈도 영역에 대응하는 화소 값으로 변경되게 된다.
왜곡된 영상의 화소 값 v1과 v2에서의 누적 화소수가 참조 영상의 화소값 u와 u+1에서의 누적 화소수의 영역 사이에 존재하면 화소값 v1과 v2는 [수학식 3]의 함수 M에 의해 u의 값으로 변환된다. 결국 왜곡된 i 번째 시점 영상의 휘도 값 yDi[m,n]는 매칭 함수 M을 거쳐 [수학식 4]와 같이 보정된 휘도 값 yCi[m,n]으로 변경된다.
[수학식 4]
Figure pat00005
누적 히스토그램을 이용한 히스토그램 매칭 기법을 이용하여 조명 불일치가 보정된 영상의 히스토그램이 이전의 왜곡된 영상의 히스토그램보다 참조 영상의 히스토그램에 가깝게 변한 것을 도 8b에서 확인할 수 있다. 즉, 도 8b는 히스토그램 매칭을 수행한 전후의 결과를 비교하여 보여준 것으로서, 히스토그램 매칭을 수행한 후의 왜곡 시점의 히스토그램은 참조 영상의 히스토그램과 비슷한 분포를 가짐을 확인할 수 있다.
보정된 영상의 히스토그램에서 그 값이 0일 때가 존재하는데 이는 해당 휘도 값을 지니는 화소가 존재하지 않는다는 것을 의미하는 것으로 보정된 영상의 압축 효율에는 영향을 미치지 않는다.
본래의 히스토그램 매칭 기법은 다시점 영상에서 각 프레임마다 참조 영상의 히스토그램을 기준으로 매칭 동작이 수행된다. 다시 말해서 주어진 다시점 영상이 총 M개의 시점으로 이루어져 있고 각 시점의 시퀀스가 L개의 프레임을 가진다면 총 영상의 개수는 M x L이 되고, 히스토그램 매칭 기법을 이용하여 매칭하기 위해서 L개의 프레임을 참조 영상의 히스토그램과 매칭시킬 L개의 매칭 함수가 필요하다. 이 방법은 각 프레임별로 시점 간의 존재하는 조명 불일치를 효과적으로 보상하지만, 반대로 시간적으로 연속된 영상 간의 조명 차이는 더 심해지는 단점이 존재한다. 즉, 다시점 비디오의 시점 간 공간적 상관성은 증가하지만 시간적 상관성은 줄어들게 되고, 결과적으로 다시점 비디오 부호화의 효율은 떨어지게 된다.
다른 실시예로서, 단일 시점의 참조 시퀀스에 존재하는 모든 프레임의 히스토그램을 이용한다. 앞서와 마찬가지로, 히스토그램 매칭을 위한 참조영상은 카메라 배열의 중심에서 가장 가까운 카메라에서 획득한 영상으로부터 분리된 세부이미지(이하 참조시점의 세부이미지 영상)로부터 구한다. 이때, 참조영상은 모든 프레임의 히스토그램을 이용하여 구하므로, 참조시점의 세부이미지 영상에 대해서도 구해진 참조영상을 대상으로 히스토그램 매칭을 수행할 수 있다.
즉, 카메라 배열의 중심에서 가장 가까운 카메라에서 획득한 시점 영상의 이미지(이미지 영상)에서 분리된 세부 이미지를 대상으로 참조영상을 구한다. 그리고 참조영상에 해당하는 시점 이외의 다른 시점 영상들을 상기 참조영상과 히스토그램 매칭을 수행한다.
참조영상의 시퀀스에 존재하는 모든 프레임의 히스토그램은 [수학식 5]를 통해서 하나의 히스토그램으로 누적되어 계산된다.
[수학식 5]
Figure pat00006
여기서 l은 시퀀스 내에 존재하는 프레임의 개수 즉, 시퀀스의 길이를 의미한다. 카메라 배열의 중심에 가까운 카메라에서 획득한 영상을 참조 영상으로 설정하고 나머지 왜곡된 영상을 참조 영상에 매칭시키는 과정으로 조명 보상을 수행한다. 즉 주어진 다시점 비디오의 카메라가 M개라면 참조 시점을 제외한 M-1개의 매칭 함수가 존재하게 된다. 이후의 매칭 과정은 앞서 설명한 실시예의 히스토그램 매칭 방법과 같다.
마지막으로, 도 7에서 보는 바와 같이, 개별적인 히스토그램 매칭 수행을 통해 조명 불일치가 보상된 결과 영상(보상된 세부 이미지 영상)들은 하나의 영상으로 통합되어 조명 불일치가 보상된 하나의 영상으로 재구성된다(S40).
이상, 본 발명자에 의해서 이루어진 발명을 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
본 발명은 히스토그램 매칭 기법을 이용하여 다시점 비디오의 인접 시점 영상 간 조명을 보상하는 깊이정보 기반 다시점 영상의 조명보상 시스템을 개발하는 데 적용이 가능하다.

Claims (6)

  1. 다시점 영상을 수신하여 깊이에 따라 영상을 분리하고 분리된 영상을 개별적으로 조명 보상하여 통합하는 깊이정보 기반 다시점 영상의 조명보상 방법에 있어서,
    (a) 상기 다시점 영상의 깊이영상으로부터 적어도 2개의 깊이 분포를 구하는 단계;
    (b) 상기 다시점 영상의 이미지를 상기 깊이 분포에 대응되는 세부이미지로 분리하되, 상기 세부이미지에 해당되는 깊이영상의 깊이는 상기 세부이미지에 대응되는 깊이 분포에 속하는 깊이인 단계;
    (c) 상기 분리된 세부이미지 별로 히스토그램 매칭을 수행하여 각 세부이미지에 대해 조명보상을 수행하는 단계; 및
    (d) 보상된 세부이미지를 통합하는 단계를 포함하는 것을 특징으로 하는 깊이정보 기반 다시점 영상의 조명보상 방법.
  2. 제1항에 있어서,
    상기 깊이 분포는 EM 군집(expectation maximization clustering)기법을 이용하여 깊이영상의 히스토그램으로부터 구하는 가우시안 분포인 것을 특징으로 하는 깊이정보 기반 다시점 영상의 조명보상 방법.
  3. 제1항에 있어서,
    상기 세부이미지는 시점과 프레임 별로 나누어 분리되는 것을 특징으로 하는 깊이정보 기반 다시점 영상의 조명보상 방법.
  4. 제1항에 있어서,
    상기 (c)단계에서, 히스토그램 매칭을 위한 참조영상은 카메라 배열의 중심에서 가장 가까운 카메라에서 획득한 영상으로부터 구하는 것을 특징으로 하는 깊이정보 기반 다시점 영상의 조명보상 방법.
  5. 제1항에 있어서,
    상기 (c)단계에서, 상기 세부이미지의 히스토그램 hR[v]는 [수식 1]에 의하여 구하는 것을 특징으로 하는 깊이정보 기반 다시점 영상의 조명보상 방법.
    [수식 1]
    Figure pat00007

    단, yR[m,n]은 참조영상의 영상신호 값,
    l은 시퀀스 내에 존재하는 프레임의 수,
    w와 h는 각각 영상의 가로 및 세로.
  6. 제1항 내지 제5항 중 어느 한 항의 깊이정보 기반 다시점 영상의 조명보상 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020100050372A 2010-05-28 2010-05-28 영상을 깊이에 따라 계층별로 분리하여 히스토그램 매칭을 하는 다시점 영상의 조명보상 방법 및 그 기록매체 KR101129713B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100050372A KR101129713B1 (ko) 2010-05-28 2010-05-28 영상을 깊이에 따라 계층별로 분리하여 히스토그램 매칭을 하는 다시점 영상의 조명보상 방법 및 그 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100050372A KR101129713B1 (ko) 2010-05-28 2010-05-28 영상을 깊이에 따라 계층별로 분리하여 히스토그램 매칭을 하는 다시점 영상의 조명보상 방법 및 그 기록매체

Publications (2)

Publication Number Publication Date
KR20110130845A true KR20110130845A (ko) 2011-12-06
KR101129713B1 KR101129713B1 (ko) 2012-03-28

Family

ID=45499481

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100050372A KR101129713B1 (ko) 2010-05-28 2010-05-28 영상을 깊이에 따라 계층별로 분리하여 히스토그램 매칭을 하는 다시점 영상의 조명보상 방법 및 그 기록매체

Country Status (1)

Country Link
KR (1) KR101129713B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012108464A1 (de) 2011-12-08 2013-06-13 Kia Motors Corp. Kraftstofffilter für ein Fahrzeug
WO2013151270A1 (en) * 2012-04-03 2013-10-10 Samsung Techwin Co., Ltd Apparatus and method for reconstructing high density three-dimensional image
KR20150069585A (ko) * 2013-12-13 2015-06-24 청주대학교 산학협력단 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법 및 이에 이용되는 기록매체
CN104813668A (zh) * 2012-11-20 2015-07-29 高通股份有限公司 在三维视频译码中的自适应性明度补偿
KR101581586B1 (ko) * 2014-10-13 2016-01-11 이화여자대학교 산학협력단 깊이 영상의 노이즈를 보정하는 방법
WO2017086522A1 (ko) * 2015-11-18 2017-05-26 (주)한국인터넷소프트웨어 배경스크린이 필요 없는 크로마키 영상 합성 방법
CN107918928A (zh) * 2017-11-10 2018-04-17 中国科学院上海高等研究院 一种色彩还原方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100748719B1 (ko) * 2005-07-14 2007-08-13 연세대학교 산학협력단 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012108464A1 (de) 2011-12-08 2013-06-13 Kia Motors Corp. Kraftstofffilter für ein Fahrzeug
WO2013151270A1 (en) * 2012-04-03 2013-10-10 Samsung Techwin Co., Ltd Apparatus and method for reconstructing high density three-dimensional image
CN104813668A (zh) * 2012-11-20 2015-07-29 高通股份有限公司 在三维视频译码中的自适应性明度补偿
CN104813668B (zh) * 2012-11-20 2018-09-28 高通股份有限公司 在三维视频译码中的自适应性明度补偿
KR20150069585A (ko) * 2013-12-13 2015-06-24 청주대학교 산학협력단 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법 및 이에 이용되는 기록매체
KR101581586B1 (ko) * 2014-10-13 2016-01-11 이화여자대학교 산학협력단 깊이 영상의 노이즈를 보정하는 방법
WO2017086522A1 (ko) * 2015-11-18 2017-05-26 (주)한국인터넷소프트웨어 배경스크린이 필요 없는 크로마키 영상 합성 방법
CN107534762A (zh) * 2015-11-18 2018-01-02 韩国网络软件公司 不需要背景幕布的色键影像合成方法
CN107918928A (zh) * 2017-11-10 2018-04-17 中国科学院上海高等研究院 一种色彩还原方法
CN107918928B (zh) * 2017-11-10 2020-06-05 中国科学院上海高等研究院 一种色彩还原方法

Also Published As

Publication number Publication date
KR101129713B1 (ko) 2012-03-28

Similar Documents

Publication Publication Date Title
US10070115B2 (en) Methods for full parallax compressed light field synthesis utilizing depth information
KR101129713B1 (ko) 영상을 깊이에 따라 계층별로 분리하여 히스토그램 매칭을 하는 다시점 영상의 조명보상 방법 및 그 기록매체
JP5750505B2 (ja) 立体映像エラー改善方法及び装置
Huynh-Thu et al. Video quality assessment: From 2D to 3D—Challenges and future trends
KR101310213B1 (ko) 깊이 영상의 품질 개선 방법 및 장치
US8488868B2 (en) Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
US9014462B2 (en) Depth information generating device, depth information generating method, and stereo image converter
US20110080466A1 (en) Automated processing of aligned and non-aligned images for creating two-view and multi-view stereoscopic 3d images
RU2423018C2 (ru) Способ и система для преобразования стереоконтента
WO2011014419A1 (en) Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
Tehrani et al. Iterative colour correction of multicamera systems using corresponding feature points
US9451233B2 (en) Methods and arrangements for 3D scene representation
Farre et al. Automatic content creation for multiview autostereoscopic displays using image domain warping
KR20100008677A (ko) 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법
Fezza et al. Feature-based color correction of multiview video for coding and rendering enhancement
KR101402185B1 (ko) 색상 성분 보정을 위한 특징점 기반 다시점 비디오의 전처리 방법
JP2012238932A (ja) ３ｄ自動色補正装置とその色補正方法と色補正プログラム
Ceulemans et al. Globally optimized multiview video color correction using dense spatio-temporal matching
Macchiavello et al. Low-saliency prior for disocclusion hole filling in DIBR-synthesized images
KR101129309B1 (ko) 다시점 영상의 히스토그램 매칭 기반 조명보상의 전처리 방법 및 그 기록매체
Brites et al. Epipolar plane image based rendering for 3D video coding
Fezza et al. Color correction for stereo and multi-view coding
WO2014090304A1 (en) Method and apparatus for segmentation of 3d image data
Banitalebi-Dehkordi Introducing a Public Stereoscopic 3D High Dynamic Range (SHDR) Video Database
Shi et al. Block-based color correction algorithm for multi-view video coding

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150227

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160222

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee