KR20110132106A - 다시점 영상의 히스토그램 매칭 기반 조명보상의 전처리 방법 및 그 기록매체 - Google Patents

다시점 영상의 히스토그램 매칭 기반 조명보상의 전처리 방법 및 그 기록매체 Download PDF

Info

Publication number
KR20110132106A
KR20110132106A KR1020100051936A KR20100051936A KR20110132106A KR 20110132106 A KR20110132106 A KR 20110132106A KR 1020100051936 A KR1020100051936 A KR 1020100051936A KR 20100051936 A KR20100051936 A KR 20100051936A KR 20110132106 A KR20110132106 A KR 20110132106A
Authority
KR
South Korea
Prior art keywords
image
component
compensation
extended
multiview
Prior art date
Application number
KR1020100051936A
Other languages
English (en)
Other versions
KR101129309B1 (ko
Inventor
이동석
서영호
김동욱
유지상
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020100051936A priority Critical patent/KR101129309B1/ko
Publication of KR20110132106A publication Critical patent/KR20110132106A/ko
Application granted granted Critical
Publication of KR101129309B1 publication Critical patent/KR101129309B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

다시점 영상을 히스토그램 매칭 기법에 의해 조명 보상을 하기 전에, 코지티드 필터(Cosited filter)를 영상에 적용하고, 에지의 방향성과 화소 값의 존재 범위를 고려하여 YCbCr 색상공간에서 RGB 색상공간으로 변환하는 다시점 영상의 조명보상의 전처리 방법 및 그 기록매체에 있어서, (a) 다시점 영상의 수평 및 수직 방향의 에지의 개수를 구하여, 에지의 개수가 더 많은 방향(이하 제1 방향)과 더 적은 방향(이하 제2 방향)을 구하는 단계; (b) 다시점 영상(이하 원 영상)의 해상도를 수직과 수평의 각 방향으로 늘려 확장된 영상(이하 확장 영상)을 생성하는 단계; (c) 확장 영상에서 원 영상의 성분 사이에서 제1 방향으로 늘어난 성분을 원 영상의 성분으로 이중선형 필터(bilinear filter)에 의하여 보간하는 단계; (d) 확장 영상에서 원 영상의 성분 사이에서 제2 방향으로 늘어난 성분을 원 영상의 성분 및 확장 영상의 보간된 성분으로 ELA 선형보간(Edge-based Line Averaging linear interpolation)에 의해 보간하는 단계; 및 (e) 색차 성분의 대표 값을 구하는 필터를 이용하여 선형보간된 확장 영상을 원 영상의 크기로 축소하는 단계를 포함하는 구성을 마련한다.
상기와 같은 방법 및 그 기록매체에 의하여, 다시점 영상의 조명 보상 전에 영상을 확대하여 에지의 방향성에 따라 선형 보간한 후 코지티드 필터(Cosited filter)를 영상에 적용하고 화소 값의 존재 범위를 고려하여 RGB 색상공간으로 변환함으로써, 더 효율적이고 정확하게 조명 보상할 수 있고 결과적으로 다시점 영상의 부호화 성능을 향상시킬 수 있다.

Description

다시점 영상의 히스토그램 매칭 기반 조명보상의 전처리 방법 및 그 기록매체 { A pre-filtering method based on the histogram matching to compensate illumination mismatch for multi-view video and the recording medium thereof }
본 발명은 다시점 영상을 히스토그램 매칭 기법에 의해 조명 보상을 하기 전에, 코지티드 필터(Cosited filter)를 영상에 적용하고, YCbCr 색상공간에서 RGB 색상공간으로 변환하는 다시점 영상의 조명보상의 전처리 방법 및 그 기록매체에 관한 것이다.
일반적으로, 다시점 비디오는 기존의 단일시점 비디오와는 다르게, 서로 다른 위치에 배열된 여러 대의 카메라로 영상을 촬영하고 획득한다. 다시점 비디오는 렌티큘러(lenticular) 디스플레이를 이용한 무안경식 3D TV와 영상의 시점을 사용자가 자유롭게 선택하는 것이 가능한 자유시점 TV(free-viewpoint television), 그리고 3차원 비디오를 이용한 의료산업 분야 등에서 필요로 한다.
이러한 다시점 비디오는 데이터의 양이 단일시점 영상 보다 월등히 많으므로 저장이나 전송 시 효율적인 부호화 기법을 필요로 한다. 이를 위하여 ISO/IEC 산하의 MPEG에서 다시점 비디오 부호화(multi-view video coding; MVC) 표준화를 2001년부터 진행하였고, 2008년 7월 ITU-T와 공동으로 설립한 JVT(Joint Video Team)에서 표준화가 완료되었다.
한편, 다시점 비디오는 인접 시점 영상 간의 동일한 물체의 조명 불일치 현상이 발생할 수 있다. 이 같은 조명 불일치를 일으키는 요인에는 크게 두 가지가 있는데, 첫 번째는 다시점 카메라 시스템의 서로 다른 카메라의 위치이다. 시점에 따라 상이한 조명 환경에 따라 동일한 물체도 획득된 영상에 존재하는 구성과 반사광의 정도에 차이가 발생할 수 있으며 이와 같은 조명 불일치를 국부적 조명 불일치(local illumination mismatches)라 한다. 다시점 카메라 시스템은 영상 획득 전에 서로 다른 위치의 카메라들이 물리적으로 동일한 내부 특성을 가지도록 조정되는 작업을 수행하는데 이를 캘리브레이션(calibration)이라고 한다.
조명 불일치 현상을 야기하는 두 번째 요인은 다시점 카메라 시스템의 잘못된 캘리브레이션 때문에 발생한다. 이로 인한 조명 불일치는 영상 전체에 동일하게 관찰되는데 이와 같은 조명 불일치 현상을 전역적 조명 불일치(global illumination mismatches)라고 한다. 조명 불일치 현상은 인접한 시점 영상 간의 상관성을 떨어뜨려 인접한 시점의 영상을 참조하는 다시점 비디오 부호화의 시점 간 예측(inter-view prediction or cross-view prediction) 시에 정확한 변위 벡터를 얻지 못하게 되고, 잔여 신호의 값이 크게 되어 부호화 효율을 저하시키는 결과를 초래하게 된다.
이러한 문제점을 해결하기 위한 방법으로 히스토그램에 기반한 전처리 기법이 있다. 다시점 비디오를 부호화하기 전에 모든 다시점 비디오 영상의 누적 히스토그램을 정해진 참조 영상의 누적 히스토그램으로 매칭시켜 다른 시점 영상의 휘도와 색차성분의 불일치를 미리 보상하여 압축 효율을 향상시키는 방법이다. 히스토그램 매칭을 이용한 조명 보상 방법의 또 다른 장점은 명암과 휘도, 색차 신호 등 가능성 있는 모든 종류의 조명 불일치를 동시에 보상한다는 것이다.
기존의 히스토그램 매칭을 이용한 다시점 비디오의 조명 보상 기법은 단일 시간마다 개별적으로 수행될 경우 다시점 비디오의 공간적 중복성은 향상시키는 반면, 시간적 중복성을 저하시키고 결과적으로 압축 효율도 저하시키는 문제점이 있었다. 이러한 이유로 종래의 히스토그램 매칭은 개선의 여지가 있다.
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 다시점 영상을 히스토그램 매칭 기법에 의해 조명 보상을 하기 전에, 영상을 확대하여 에지의 방향성에 따라 선형 보간한 후 색차성분의 대표 값 추출(chrominance subsampling)에 사용되는 코지티드 필터(Cosited filter)를 영상에 적용하고, 화소 값의 존재 범위를 고려하여 YCbCr 색상공간에서 RGB 색상공간으로 변환하는 다시점 영상의 조명보상의 전처리 방법 및 그 기록매체를 제공하는 것이다.
또한, 본 발명의 목적은 다시점 영상을 확대하여 선형 보간할 때 에지가 적은 방향으로 이중선형 필터로 보간하고 에지가 많은 방향으로 ELA 선형보간(Edge-based Line Averaging linear interpolation)을 적용하는 다시점 영상의 조명보상의 전처리 방법 및 그 기록매체를 제공하는 것이다.
또한, 본 발명의 목적은 휘도 및 색차로 코딩된 다시점 영상을 RGB 색상공간으로 변환하되, 상기 다시점 영상의 휘도 및 색차의 분포의 범위가 상기 RGB 색상공간의 범위와 매칭되도록 변환하는 다시점 영상의 조명보상의 전처리 방법 및 그 기록매체를 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명은 다시점 영상을 수신하여 조명 보상을 실시하기 전에 상기 다시점 영상을 전처리하는 다시점 영상의 조명보상의 전처리 방법에 관한 것으로서, (a) 상기 다시점 영상의 수평 및 수직 방향의 에지의 개수를 구하여, 에지의 개수가 더 많은 방향(이하 제1 방향)과 더 적은 방향(이하 제2 방향)을 구하는 단계; (b) 상기 다시점 영상(이하 원 영상)의 해상도를 수직과 수평의 각 방향으로 늘려 확장된 영상(이하 확장 영상)을 생성하는 단계; (c) 상기 확장 영상에서 원 영상의 성분 사이에서 제1 방향으로 늘어난 성분을 원 영상의 성분으로 이중선형 필터(bilinear filter)에 의하여 보간하는 단계; (d) 상기 확장 영상에서 원 영상의 성분 사이에서 제2 방향으로 늘어난 성분을 원 영상의 성분 및 확장 영상의 보간된 성분으로 ELA 선형보간(Edge-based Line Averaging linear interpolation)에 의해 보간하는 단계; 및 (e) 선형보간된 확장 영상을 원 영상의 해상도 크기로 축소하는 단계를 포함하는 것을 특징으로 한다.
또, 본 발명은 다시점 영상의 조명보상의 전처리 방법에 있어서, 상기 (b)단계에서, 상기 다시점 영상의 해상도를 수직과 수평의 각 방향으로 2배로 늘려 확장 영상을 생성하는 것을 특징으로 한다.
또, 본 발명은 다시점 영상의 조명보상의 전처리 방법에 있어서, 상기 (d)단계에서, [수식 1]의 3×3 마스크를 사용하여 확장 영상의 늘어난 성분 x(i)를 구하는 것을 특징으로 한다.
[수식 1]
Figure pat00001
단, U(i)는 확장영상의 성분으로서, X(i)의 제2 방향 직전에 인접하는 줄의 성분이고, L(i)는 확장영상의 성분으로서, X(i)의 제2 방향 직후에 인접하는 줄의 성분임.
또, 본 발명은 다시점 영상의 조명보상의 전처리 방법에 있어서, 상기 (e)단계에서, 휘도 및 색차의 색상공간의 변환시 색차 성분의 대표 값을 구하는 필터를 이용하여 축소하되, 간극 필터(interstitial filter) 또는 코지티드 필터(Cosited filter)를 사용하는 것을 특징으로 한다.
또, 본 발명은 다시점 영상의 조명보상의 전처리 방법에 있어서, 상기 방법은, (f) 휘도 및 색차로 코딩된 다시점 영상을 RGB 색상공간으로 변환하되, 상기 다시점 영상의 휘도 및 색차의 분포의 최소값과 최대값이 상기 RGB 색상공간의 최소값과 최대값에 대응되도록 변환하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 본 발명은 다시점 영상의 조명보상의 전처리 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
상술한 바와 같이, 본 발명에 따른 다시점 영상의 조명보상의 전처리 방법 및 그 기록매체에 의하면, 다시점 영상의 조명 보상 전에 영상을 확대하여 에지의 방향성에 따라 선형 보간한 후 코지티드 필터를 영상에 적용하고 화소 값의 존재 범위를 고려하여 RGB 색상공간으로 변환함으로써, 더 효율적이고 정확하게 조명 보상할 수 있고 결과적으로 다시점 영상의 부호화 성능을 향상시킬 수 있는 효과가 얻어진다.
도 1은 본 발명을 실시하기 위한 전체 시스템 구성의 일례를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 다시점 영상의 조명보상의 전처리 방법을 설명하는 흐름도이다.
도 3은 본 발명의 일실시예에 따라 다시점 영상의 해상도를 수직과 수평의 각 방향으로 늘려 확장된 영상을 생성하는 일례를 도시한 것이다.
도 4는 본 발명의 일실시예에 따라 확장영상에서 제1 방향으로 선형 보간하는 일례를 도시한 것이다.
도 5는 본 발명의 일실시예에 따라 확장영상에서 제2 방향으로 선형 보간하는 일례를 도시한 것이다.
도 6은 본 발명의 일실시예에 따라 간극 필터(interstitial filter) 또는 코지티드 필터(Cosited filter)의 일례를 도시한 것이다.
도 3과 도 4는 본 발명의 일실시예에 따른 다시점 영상의 이미지 영상 및 깊이영상의 일례이다.
도 5는 본 발명의 일실시예에 따른 깊이 영상의 히스토그램 그래프 및 분리된 깊이 히스토그램 분포의 일례이다.
도 6은 본 발명의 일실시예에 따라 도 5의 깊이 분포에 의해 세부 이미지를 형성하는 일례를 도시한 것이다.
도 7은 도 2는 본 발명의 일실시예에 따른 다시점 영상의 조명보상의 전처리 과정을 설명하는 예시도이다.
* 도면의 주요 부분에 대한 부호의 설명 *
10 : 물체 20 : 촬영장치
30 : 컴퓨터 단말 40 : 조명보상 시스템
60 : 다시점 영상
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 1을 참조하여 설명한다.
도 1에서 보는 바와 같이, 본 발명에 따른 다시점 영상의 조명보상의 전처리 방법은 다수의 촬영장치(20)에 의해 촬영된 영상(60)을 입력받아 영상을 처리하는 컴퓨터 단말(30) 상의 프로그램 시스템으로 실시될 수 있다.
즉, 다시점 영상의 조명보상의 전처리 방법은 프로그램으로 구성되어 컴퓨터 단말(30)에 설치되어 실행될 수 있다. 컴퓨터 단말(30)에 설치된 프로그램은 하나의 시스템(40)과 같이 동작할 수 있다. 한편, 다른 실시예로서, 전처리 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 이를 조명보상 시스템(40)이라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다. 그러나 이하에서 설명의 편의를 위해 컴퓨터 단말(30)에 구현된 조명보상 시스템(40)으로 설명하기로 한다.
다수의 촬영장치(20)는 다시점 카메라 등으로서, 하나의 물체(10)를 다수의 시점으로 촬영하는 장치이다. 촬영된 영상(60)은 상기 다시점 카메라(20) 등으로 촬영된 다시점 영상이다. 또, 상기 다시점 영상(60)은 컴퓨터 단말(30)에 직접 입력되어 저장되고, 조명보상 시스템(40)에 의해 처리된다.
조명보상 시스템(40)이 입력받는(또는 수신하는) 상기와 같은 다시점 영상(60)은 통상 YCbCr 등 휘도와 색차에 의한 색공간으로 코딩된(표현된) 영상이다. 조명보상 시스템(40)은 상기 YCbCr 영상에 대해 영상의 방향성을 고려하여 전처리 필터링을 하고, 필터링된 영상을 RGB 색상공간으로 변환한다. 그리고 변환된 RGB 색상공간의 영상을 대상으로 히스토그램 매칭 기법에 의하여 색상차 보상(또는 조명 보상)을 한다. 마지막으로, 히스토그램 매칭 후의 YCbCr 색상 공간으로의 역변환한다.
히스토그램 매칭 기법을 이용한 색상차 보상(또는 조명 보상) 기술은 본 출원인이 출원한 [국내 특허출원 제10-2010-0050372호(2010.05.28. 출원), "영상을 깊이에 따라 계층별로 분리하여 히스토그램 매칭을 하는 다시점 영상의 조명보상 방법 및 그 기록매체"]에 구체적으로 제시하고 있다.
다음으로, 본 발명의 일실시예에 따른 다시점 영상의 조명보상의 전처리 방법을 도 2를 참조하여 설명한다.
도 2에서 보는 바와 같이, 본 발명의 일실시예에 따른 다시점 영상의 조명보상의 전처리 방법은 다시점 영상에서 에지 개수가 많은 제1 방향과 에지 개수가 적은 제2 방향을 결정하는 에지 개수에 따른 방향성 결정단계(S10), 다시점 영상의 해상도를 수직과 수평으로 확장하는 해상도 확장 단계(S20), 해상도를 확장한 영상에 대해 제1 방향으로 보간하는 제1 방향 선형보간 단계(S30), 확장 영상에 대해 제2 방향으로 보간하는 제2 방향 선형보간 단계(S40), 및 휘도 및 색차의 색상공간의 변환시 색차 성분의 대표 값을 구하는 필터를 이용하여 선형보간된 확장 영상을 원 영상의 크기로 복원하는 영상 복원 단계(S50)로 구성된다. 추가적으로, 휘도 및 색차로 코딩된 다시점 영상을 RGB 색상공간으로 변환하는 색상공간 변환 단계(S60)를 더 포함할 수 있다.
먼저, 방향성 결정단계(S10)를 설명한다.
다시점 영상에서 수평 및 수직 방향의 에지의 개수를 구한다. 수평 방향의 에지 개수와 수직방향의 에지 개수를 비교하여, 에지의 개수가 더 적은 방향을 제1 방향으로 정하고, 에지의 개수가 더 많은 방향을 제2 방향이라 정한다(S10).
수평 방향의 에지는 수평 방향으로 영상의 화소를 인접한 다음 화소와 비교하여 화소의 휘도(또는 색차)가 급격히 변하면 해당 화소 부분에 에지가 있는 것으로 판단한다. 영상에서 에지를 구하는 기술은 공지기술이므로 구체적 설명은 생략한다.
이하의 예제에서, 수직 방향의 에지 개수보다 수평 방향의 에지 개수가 더 많은 것으로 하여 설명한다. 따라서 제1 방향은 수평 방향이고, 제2 방향은 수직방향이다.
다음으로, 해상도 확장 단계(S20)를 설명한다.
다시점 영상의 해상도를 수직과 수평의 각 방향으로 늘려 확장된 영상을 생성한다(S20). 이때 확장전 영상을 원 영상이라 하고, 확장된 영상을 확장 영상이라 부르기로 한다.
바람직하게는, 도 3에서 보는 바와 같이, 상기 다시점 영상의 해상도를 수직과 수평의 각 방향으로 2배로 늘려 확장 영상을 생성한다. 도 3의 (a)가 원 영상이고, 도 3의 (b)가 확장영상이다.
도 3(a)의 네모 11, 12, ..., 44는 각각 하나의 화소(영상의 성분)들이다. 도 3(b)는 도 3(a)의 화소 11, 12, ..., 44가 늘려져서, 원영상의 화소들 사이에는 한 화소의 크기만큼 벌어지고, 그 틈에 새로운 화소들이 생성된다.
다음으로, 제1 방향 선형보간 단계(S30)를 설명한다.
확장 영상에서 원 영상의 성분 사이에서 제1 방향으로 늘어난 성분을 원 영상의 성분으로 이중선형 보간법(bilinear interpolation 또는 bilinear filter 이중선형 필터)에 의하여 보간한다(S30).
앞서 예제에서 수평 방향의 에지 개수가 더 많으므로, 제1 방향은 수평방향이다. 따라서 수평방향으로 이중선형 보간법을 이용하여 수평 성분(수평 방향의 화소)들을 보간한다.
이중선형 보간법은 새롭게 생성된 화소의 값이 가장 가까운 화소들에 가중치를 곱한 값으로 할당한다. 이때, 가중치는 선형적으로 결정되어지며, 각각 가중치는 각각에 존재하는 화소로부터의 거리에 정비례하게 된다.
도 3b와 같이, 영상의 해상도를 수평 방향으로 2배로 늘리면, 수평방향으로 새롭게 생성된 화소와 가장 가까운 화소는 수평방향으로 인접한 양쪽의 2개의 화소이다. 즉, 도 4a에서 보는 바와 같이, 수평방향으로 인접한 화소 A와 B의 평균으로 보간한다. 화소 A와 화소 B 사이에 존재하는 화소 X의 값은 화소 A와 B의 평균으로 구한다. 즉, 다음 [수학식 1]에 의하여 제1 방향으로 늘어난 성분(또는 화소) X를 보간한다.
[수학식 1]
Figure pat00002
단, A 및 B는 확장영상의 성분으로서, 성분 X의 제1 방향으로 직전 또는 직후의 성분이다.
상기와 같이 늘려서 생성된 화소 X를 수평방향으로 인접한 화소 A와 B의 평균으로 보간하면, 전체적으로 도 4b의 회색으로 표시된 화소들이 모두 보간되어 화소의 값이 구해진다.
다음으로, 제2 방향 선형보간 단계(S40)를 설명한다.
확장 영상에서 원 영상의 성분 사이에서 제2 방향으로 늘어난 성분을 원 영상의 성분 및 확장 영상의 보간된 성분으로 ELA 선형보간(Edge-based Line Averaging linear interpolation)에 의해 보간한다(S40).
ELA 선형 보간 기법(Edge-based Line Averaging linear interpolation)은 에지 방향성을 고려하여 영상을 선형적으로 보간한다. 영상의 해상도를 가로와 세로, 각각 2배로 늘리는 경우, 3x3 마스크 내에서 방향성을 고려한 화소간의 상관성을 비교하여 선택적으로 보간하게 된다.
도 5a는 영상의 에지 방향성을 고려하여 선형적으로 보간하는 Edge-based Line Averaging(ELA) 방법에 사용되는 2x3 마스크(또는 3x3 마스크)를 보여준다. ELA 선형 보간 방법은 영상의 해상도를 확장시킬 경우, 해당 마스크 내에서 방향성을 고려한 화소간의 상관성을 비교하여 선택적으로 보간 한다.
도 5a에서 U(i)와 L(i)는 각각 기준 화소 x(i)의 윗줄과 아랫줄의 참조 화소 값이라고 할 때, 마스크 내에 화소끼리의 방향 상관성의 측정값 C(k)는 [수학식 2]로 계산된다.
[수학식 2]
Figure pat00003
2x3 마스크의 경우 R의 값은 1이 되고, 마스크 내에서 계산된 C(k) 값을 [수학식 3] 와 같이 비교하여 마스크의 에지 방향성을 결정한다.
[수학식 3]
Figure pat00004
그리고 기준 화소 x(i)는 [수학식 4]를 통해서 계산된다.
[수학식 4]
Figure pat00005

상기와 같이, 3x3 마스크를 이용한 ELA 선형 보간 동작의 의사코드(pseudo code)는 다음 [수학식 5]와 같이 표현할 수 있다.
[수학식 5]
Figure pat00006
단, 도 5b에서 보는 바와 같이, A, B, C는 확장영상의 성분으로서, X의 제2 방향 직전에 인접하는 연속된 3개의 성분이고, C, D, E는 확장영상의 성분으로서, X의 제2 방향 직후에 인접하는 연속된 3개의 성분이다.
상기와 같이 수직방향으로 늘어나 새롭게 생성된 화소 X를 상기 3×3 마스크를 이용하여 보간하면, 전체적으로 도 5c의 회색으로 표시된 화소들이 모두 보간되어 화소의 값이 구해진다.
다음으로, 영상 복원 단계(S50)를 설명한다.
선형보간된 확장 영상을 원 영상의 해상도 크기로 축소한다(S50). 이때, 휘도 및 색차의 색상공간의 변환시 색차 성분의 대표 값을 구하는 필터를 이용하여 축소한다. 특히, 색차 성분의 대표 값을 구하는 필터로서 간극 필터(interstitial filter) 또는 코지티드 필터(Cosited filter)를 사용한다.
도 6에서 보는 바와 같이, 간극 필터 또는 코지티드 필터는 YCbCR 4:4:4 색상 형식에서 YCbCr 4:2:0 색상 형식으로 변환 시에 색차 성분의 대표 값 추출에 사용되는 필터이다.
2x2 마스크 내의 화소의 대표 값을 구하기 위해 4개의 화소의 단순한 평균값을 사용하는 간극 필터(interstitial filter)와 다르게, 코지티드 필터(Cosited filter)는 2x2 색차 성분 행렬의 첫 번째 열 성분에 큰 가중치를 부여한 2x3 마스크 연산을 수행하여 대표 색차 값을 결정한다.
영상의 방향성을 고려하여 선형적으로 보간할 때 사용되는 ELA 선형 보간 기법과 본래 비디오 압축 표준에서 색상 형식을 변경 시에, Cb나 Cr같은 색차 성분의 대표 값을 얻기 위하여 사용되는 코지티드 필터(Cosited filter)를 결합하여 전처리 필터로 사용하는 것이 바람직하다.
상기 과정(전처리 필터의 동작 과정)을 요약하면, 도 7과 같다.
먼저 영상의 각 색상 성분 별로 해상도를 가로 세로, 2배씩, 총 4배의 해상도를 가지도록 보간한다. 이때 영상에는 수직 성분의 에지 방향보다 수평 성분의 에지 방향이 많다는 결과에 근거하여 4배로 확장된 영상에 원영상의 화소를 2배수 화소 단위로 배치하고 수평 방향으로 이중선형(bilinear) 필터를 통해 수평 성분을 보간한다. 그 후 ELA 선형 보간을 이용하여 수직 방향의 공백을 메워 영상을 4배로 보간한다. 도 7은 A값을 갖는 화소가 4배로 보간되는 경우를 보였다. ELA 선형 보간을 통해 해상도가 4배로 확장된 각 색상 성분 영상을 2배수 화소 단위로 탐색하면서 코지티드 필터(Cosited filter)를 적용하여 다시 원 영상의 해상도를 가지는 영상을 획득한다. 이러한 동작을 수행하는 전처리 필터를 YCbCr, RGB 색상 영역 각각에 수행하였을 경우, 수행하지 않았을 경우보다 RGB 색상 공간에서의 히스토그램 매칭 방법의 조명 보상 효과가 향상됨을 확인할 수 있다.
마지막으로, 색상공간 변환 단계(S60)를 설명한다.
휘도 및 색차로 코딩된 다시점 영상을 RGB 색상공간으로 변환하되, 상기 다시점 영상의 휘도 및 색차의 분포의 최소값과 최대값이 상기 RGB 색상공간의 최소값과 최대값에 대응되도록 변환한다(S60).
YCbCr 4:2:0 색상 형식의 입력 시퀀스를 RGB 색상 공간 히스토그램 매칭을 수행하기 위해서는 YCbCr와 RGB, 두 색상 공간 간의 변환 과정이 반드시 필요하다.
본 발명에 따른 색상변환 단계에서는 YCbCr 4:2:0에서 RGB로 색상 형식을 변환할 때, ELA 선형 보간 기법을 사용하여 색차 성분 Cb, Cr의 해상도를 4배로 늘리는 보간 작업을 수행한다.
반대로 RGB 색상 구조에서 히스토그램 매칭을 수행한 후, YCbCr 색상 형식으로 변환하는 경우는 코지티드 필터(Cosited filter)를 통해 색차 성분의 대표 값을 추출한다. 일반적인 영상에서 화소가 8비트로 표현될 경우, 0부터 255까지의 256레벨의 값을 갖게 된다. 하지만 실제 주어진 YCbCr 영상에서 화소들의 값은 256레벌 범위에 다 존재하지 않는다.
따라서 색상 보정의 성능을 향상하기 위해 본 발명에서는 새로운 색상변환 단계를 제시한다. [수학식 6]과 [수학식 7]은 YCbCr과 RGB, 두 색상 공간에서 화소의 실제 존재 범위가 0부터 255일 경우에 적용되는 변환식이다.
[수학식 6]
Figure pat00007
[수학식 7]
Figure pat00008
[수학식 8]과 [수학식 9]는 RGB 색상 구조를 8비트로 색을 표현하여, 각 색상 성분 화소의 범위가 0부터 255사이의 모든 값에 분포할 때, 휘도 값 Y는 220레벨로 표현하고, 색차 성분 Cb와 Cr은 225레벨로 표현하도록 하는 변환식의 예이다. 이와 같은 변환식은 YCbCr 색상 공간의 각 색상 성분의 화소 존재 범위가 Y 성분은 16부터 235사이에 총 220레벨로 표현되고, Cb와 Cr은 16부터 240사이에 총 235가지의 색으로 표현되는 경우로 0부터 255까지 전 범위에 적용되는 색상 변환식 [수학식 6]과 [수학식 7]을 재조정(re-normalization)한 것이다.
[수학식 8]
Figure pat00009
[수학식 9]
Figure pat00010

재조정된 [수학식 8]에서 휘도 성분 Y값에 더해진 상수 값 16은 Y 성분의 가장 어두운 화소를 표현하는 화소 값인 16을 뜻하고, 색차 성분 Cb와 Cr 값에 더해진 128은 -128부터 127사이에 걸쳐 분포하는 색차성분의 범위를 0으로 만들기 위한 상수이며 화소의 존재 범위가 줄어들 경우에도 공백으로 존재하는 화소 값의 전후 분포가 동일하다는 가정 하에 휘도 성분과는 달리, 추가적인 상수의 덧셈이나 뺄셈은 존재하지 않는다.
변환 계수는 원 변환식의 총 레벨 범위와 재조정하기 위해 각 색상 성분의 실제 화소 표현 레벨 범위간의 곱과 나눗셈으로 계산된다. 즉, [수학식 8]의 3x3 행렬의 계수 값들은 레벨 범위를 재조정하기 위해 [수학식 6]의 3x3 행렬 값에서 휘도 값을 계산하는 1행 성분에는 219/255를, 색차 값을 계산하는 2, 3행 성분에는 224/255를 곱해서 구할 수 있다. 반대로 [수학식 9]의 3x3 행렬의 계수 값들은 [수학식 7]의 3x3 행렬 값에서의 레벨 범위를 재조정하기 위해 휘도 값과 곱해지는 1열 성분에는 255/219를, 색차 값과 곱해지는 2, 3열 성분에는 255/224를 곱해서 구할 수 있다.
한편, [수학식 6] 또는 [수학식 8]의 우변 맨 처음에 행렬의 첫 번째 계수가 0에서 16으로 변하게 되는데 이것은 Y 값의 범위의 시작점을 의미한다. 즉, 범위 (0~255)에서 (16~235)으로 매핑된다. 마찬가지로 나머지 Cb와 Cr은 기본 분포가 -128~127로 설정되어 있고 이 같은 분포를 0~255로 맞추기 위해서 128을 더해주게 된다. 그 더해주는 계수가 바로 128이 된다. 이 또한 Cb와 Cr의 범위에 따라 조정될 수 있다. 조정되는 경우는 존재 범위가 비대칭적일 경우에 시작점만큼을 더하거나 빼면 된다.
이와 유사하게, [수학식 7]과 [수학식 9]는 YCbCr과 RGB가 모두 전범위에 걸쳐 분포하여 있을 경우, YCbCr형식을 RGB 형식으로 변경할 때 사용하는 식이다. 즉, [수학식 7]에서 1열 성분(1.000)은 Y 값에 이르는 식에 관련된 계수 이므로 Y값의 레벨 범위(16~235)를 고려한 다음 식을 통해 계수를 재조정한다.
1.000*(254/219) = 1.164
반면에 2, 3열 성분은 Cb, Cr 값에 이르는 식에 관련된 계수이므로 레벨 범위(16~240)를 고려한 다음 식을 통해 계수를 재조정한다.
0.343*(254/225)=0.392
1.765*(254/225)=2.017
이와 같이 시퀀스의 범위에 따라 재조정된 식 [수학식 9]를 구한다.
그러나 시퀀스별로 색상 성분별 화소의 분포는 각각 다르게 되며, 색차 성분 Cb와 Cr의 화소 분포는 동일하지 않다. 또한 휘도 성분의 경우 검은색 화소를 표현하는 화소 값은 시퀀스에 의존하여 가변하며, 화소의 분포도 128을 기준으로 대칭적으로 분포하지 않는다. 본 발명에서 사용한 색상 변환식은 각 색상 성분별 화소 분포에 재조정한 새로운 변형식을 시퀀스에 개별적으로 적용하였다
RGB 색상공간으로 변환한 후, 앞서 조명보상 시스템(40)에서 설명한 바와 같이, 변환된 RGB 색상공간의 영상을 대상으로 히스토그램 매칭 기법에 의하여 색상차 보상(또는 조명 보상)을 한다.
마지막으로, 히스토그램 매칭 후의 YCbCr 색상 공간으로의 역변환한다. 히스토그램 매칭 후의 YCbCr 색상 공간으로의 역변환에서는 (정)변환과는 달리 색차 성분의 해상도가 줄이기 위한 대표 값 추출 동작이 필요하다. 2x2 마스크의 첫 번째 위치의 화소 값을 대표로 정한 기존의 방법과 달리 상기 언급한 코지티드 필터(Cosited filter)를 사용하여 대표 값을 추출한다.
본 발명은 다시점 비디오에 존재하는 인접 시점 영상간 조명 불일치 현상을 보상하는 RGB 색상 공간에서의 히스토그램 매칭 방법에 방향성과 화소의 분포 범위를 고려한 새로운 전처리 방법과 색상 변환 방법을 통해 더욱 효과적으로 조명 불일치를 보상하도록 한다. 이러한 조명 보상 방법을 통해 인접 시점 영상 간 예측 기법을 사용하는 다시점 비디오 부호화의 성능을 크게 향상 시킬 수 있다.
이상, 본 발명자에 의해서 이루어진 발명을 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
본 발명은 다시점 영상을 히스토그램 매칭 기법에 의해 조명 보상을 하기 전에, 영상을 확대하여 에지의 방향성에 따라 선형 보간한 후 코지티드 필터(Cosited filter)를 영상에 적용하고, 화소 값의 존재 범위를 고려하여 YCbCr 색상공간에서 RGB 색상공간으로 변환하는 다시점 영상의 조명보상의 전처리 시스템을 개발하는 데 적용이 가능하다.

Claims (6)

  1. 다시점 영상을 수신하여 조명 보상을 실시하기 전에 상기 다시점 영상을 전처리하는 다시점 영상의 조명보상의 전처리 방법에 있어서,
    (a) 상기 다시점 영상의 수평 및 수직 방향의 에지의 개수를 구하여, 에지의 개수가 더 많은 방향(이하 제1 방향)과 더 적은 방향(이하 제2 방향)을 구하는 단계;
    (b) 상기 다시점 영상(이하 원 영상)의 해상도를 수직과 수평의 각 방향으로 늘려 확장된 영상(이하 확장 영상)을 생성하는 단계;
    (c) 상기 확장 영상에서 원 영상의 성분 사이에서 제1 방향으로 늘어난 성분을 원 영상의 성분으로 이중선형 필터(bilinear filter)에 의하여 보간하는 단계;
    (d) 상기 확장 영상에서 원 영상의 성분 사이에서 제2 방향으로 늘어난 성분을 원 영상의 성분 및 확장 영상의 보간된 성분으로 ELA 선형보간(Edge-based Line Averaging linear interpolation)에 의해 보간하는 단계; 및
    (e) 선형보간된 확장 영상을 원 영상의 해상도 크기로 축소하는 단계를 포함하는 것을 특징으로 하는 다시점 영상의 조명보상의 전처리 방법.
  2. 제1항에 있어서,
    상기 (b)단계에서, 상기 다시점 영상의 해상도를 수직과 수평의 각 방향으로 2배로 늘려 확장 영상을 생성하는 것을 특징으로 하는 다시점 영상의 조명보상의 전처리 방법.
  3. 제2항에 있어서,
    상기 (d)단계에서, [수식 1]의 3×3 마스크를 사용하여 확장 영상의 늘어난 성분 x(i)를 구하는 것을 특징으로 하는 다시점 영상의 조명보상의 전처리 방법.
    [수식 1]
    Figure pat00011

    단, U(i)는 확장영상의 성분으로서, X(i)의 제2 방향 직전에 인접하는 줄의 성분이고, L(i)는 확장영상의 성분으로서, X(i)의 제2 방향 직후에 인접하는 줄의 성분임.
  4. 제1항에 있어서,
    상기 (e)단계에서, 휘도 및 색차의 색상공간의 변환시 색차 성분의 대표 값을 구하는 필터를 이용하여 축소하되, 간극 필터(interstitial filter) 또는 코지티드 필터(Cosited filter)를 사용하는 것을 특징으로 하는 다시점 영상의 조명보상의 전처리 방법.
  5. 제1항에 있어서,
    상기 방법은,
    (f) 휘도 및 색차로 코딩된 다시점 영상을 RGB 색상공간으로 변환하되, 상기 다시점 영상의 휘도 및 색차의 분포의 최소값과 최대값이 상기 RGB 색상공간의 최소값과 최대값에 대응되도록 변환하는 단계를 더 포함하는 것을 특징으로 하는 다시점 영상의 조명보상의 전처리 방법.
  6. 제1항 내지 제5항 중 어느 한 항의 다시점 영상의 조명보상의 전처리 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020100051936A 2010-06-01 2010-06-01 다시점 영상의 히스토그램 매칭 기반 조명보상의 전처리 방법 및 그 기록매체 KR101129309B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100051936A KR101129309B1 (ko) 2010-06-01 2010-06-01 다시점 영상의 히스토그램 매칭 기반 조명보상의 전처리 방법 및 그 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100051936A KR101129309B1 (ko) 2010-06-01 2010-06-01 다시점 영상의 히스토그램 매칭 기반 조명보상의 전처리 방법 및 그 기록매체

Publications (2)

Publication Number Publication Date
KR20110132106A true KR20110132106A (ko) 2011-12-07
KR101129309B1 KR101129309B1 (ko) 2012-03-26

Family

ID=45500371

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100051936A KR101129309B1 (ko) 2010-06-01 2010-06-01 다시점 영상의 히스토그램 매칭 기반 조명보상의 전처리 방법 및 그 기록매체

Country Status (1)

Country Link
KR (1) KR101129309B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140053503A (ko) * 2012-10-26 2014-05-08 에스케이텔레콤 주식회사 영상보정의 가속화를 위한 영상보정 장치 및 그 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100727033B1 (ko) 2005-12-07 2007-06-12 한국전자통신연구원 네트워크 기반 지능형 서비스 로봇의 비전 처리 장치 및방법과 이를 이용한 시스템
KR100776805B1 (ko) 2006-09-29 2007-11-19 한국전자통신연구원 스테레오 비전 처리를 통해 지능형 서비스 로봇 시스템에서효율적인 영상 정보의 전송을 위한 장치 및 그 방법
KR100834577B1 (ko) 2006-12-07 2008-06-02 한국전자통신연구원 스테레오 비전 처리를 통해 목표물 검색 및 추종 방법, 및이를 적용한 가정용 지능형 서비스 로봇 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140053503A (ko) * 2012-10-26 2014-05-08 에스케이텔레콤 주식회사 영상보정의 가속화를 위한 영상보정 장치 및 그 방법

Also Published As

Publication number Publication date
KR101129309B1 (ko) 2012-03-26

Similar Documents

Publication Publication Date Title
CA2627999C (en) Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
JP5858380B2 (ja) 仮想視点画像合成方法及び仮想視点画像合成システム
Huynh-Thu et al. Video quality assessment: From 2D to 3D—Challenges and future trends
KR102588146B1 (ko) 멀티-뷰 신호 코덱
CN109218736B (zh) 用于编码和解码的设备和方法
JP7182907B2 (ja) カメラの画像データ処理方法およびカメラ
JP6640559B2 (ja) 一連の画像における輝度変動を補償する方法と装置
EP3286737A1 (en) Methods for full parallax compressed light field synthesis utilizing depth information
JPH06319157A (ja) 奥行の情報を含むビデオ画像の伝送装置
KR20130137000A (ko) 화상 처리 장치 및 화상 처리 방법, 및 프로그램
KR20100008677A (ko) 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법
KR101129713B1 (ko) 영상을 깊이에 따라 계층별로 분리하여 히스토그램 매칭을 하는 다시점 영상의 조명보상 방법 및 그 기록매체
Fezza et al. Feature-based color correction of multiview video for coding and rendering enhancement
US20100165078A1 (en) Image compression using checkerboard mosaic for luminance and chrominance color space images
KR101402185B1 (ko) 색상 성분 보정을 위한 특징점 기반 다시점 비디오의 전처리 방법
US6747698B2 (en) Image interpolating device
KR101129309B1 (ko) 다시점 영상의 히스토그램 매칭 기반 조명보상의 전처리 방법 및 그 기록매체
JP2019080100A (ja) 高精度色補正処理方法及び高精度色補正処理装置
KR100741517B1 (ko) 잡음에 강한 채널 간 상관관계를 고려한 고해상도 색상보간 방법
Lee et al. Illumination compensation for multi-view video based on layered histogram matching with depth information
Korhonen Improving image fidelity by luma-assisted chroma subsampling
JP5940812B2 (ja) 多視点画像処理装置、方法及びプログラム
Shao et al. Colour correction pre-processing and chrominance reconstruction post-processing for multi-view video coding
JP7308051B2 (ja) 多視点映像色合わせ装置およびそのプログラム
JP2011254376A (ja) 画像処理装置、撮像装置及び画像処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150227

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160222

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee