KR101402185B1 - 색상 성분 보정을 위한 특징점 기반 다시점 비디오의 전처리 방법 - Google Patents

색상 성분 보정을 위한 특징점 기반 다시점 비디오의 전처리 방법 Download PDF

Info

Publication number
KR101402185B1
KR101402185B1 KR1020120059329A KR20120059329A KR101402185B1 KR 101402185 B1 KR101402185 B1 KR 101402185B1 KR 1020120059329 A KR1020120059329 A KR 1020120059329A KR 20120059329 A KR20120059329 A KR 20120059329A KR 101402185 B1 KR101402185 B1 KR 101402185B1
Authority
KR
South Korea
Prior art keywords
point
image
view
hereinafter referred
reference point
Prior art date
Application number
KR1020120059329A
Other languages
English (en)
Other versions
KR20130135606A (ko
Inventor
박성희
유지상
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020120059329A priority Critical patent/KR101402185B1/ko
Publication of KR20130135606A publication Critical patent/KR20130135606A/ko
Application granted granted Critical
Publication of KR101402185B1 publication Critical patent/KR101402185B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0077—Colour aspects

Abstract

서로 다른 시점을 갖는 적어도 2개의 다시점 영상에 대하여 조명 및 카메라 간의 특성차이로 인해 인접 시점 간 색상차를 보정하는 특징점 기반 다시점 비디오의 전처리 방법에 관한 것으로서, (a) 하나의 다시점 영상(이하 보정시점 영상)을 다른 다시점 영상(이하 참조시점 영상)으로부터 추정하는 관계식(이하 카메라 특성모델)을 설정하는 단계; (b) 상기 보정시점 영상 및 참조시점 영상에서 서로 대응되는 특징점을 추출하는 단계; (c) 상기 참조시점 영상의 특징점(이하 참조점)과 상기 참조점에 대응되는 상기 보정시점 영상의 특징점(이하 대응점)에 대하여, 상기 대응점을 상기 특성모델에 적용하여 추정하고, 상기 추정한 점(이하 추정점)과 상기 참조점의 차이를 최소화하는 상기 특성모델의 계수(이하 카메라 특성계수)를 구하는 단계; 및, (d) 상기 특성계수로 상기 보정시점 영상을 보정하는 단계를 포함하는 구성을 마련한다.
상기와 같은 특징점 기반 다시점 비디오의 전처리 방법에 의하여, 다시점 비디오 영상을 부호화 할 때 화질(PSNR) 및 압축효율(bit rate)을 향상할 수 있으며, 특히, 종래의 누적 히스토그램 기반의 전처리 방식에 비해 화질(PSNR)은 성분별로 0.5 dB ∼ 0.8dB 정도 개선되고 압축효율(bit rate)은 14% 정도 감소시킬 수 있다.

Description

색상 성분 보정을 위한 특징점 기반 다시점 비디오의 전처리 방법 { A feature based pre-processing method to compensate color mismatching for multi-view video }
본 발명은 서로 다른 시점을 갖는 적어도 2개의 다시점 영상에 대하여 조명 및 카메라 간의 특성차이로 인해 인접 시점 간 색상차를 보정하는 특징점 기반 다시점 비디오의 전처리 방법에 관한 것이다.
특히, 본 발명은 다시점 영상 간의 대응되는 특징점들을 기반으로 상대적인 카메라의 특성을 모델링하고 이를 통해 색상을 보정하는 특징점 기반 다시점 비디오의 전처리 방법에 관한 것이다.
최근 디지털 비디오 기술의 발달로 과거보다 더욱 실감나는 3D 입체 영상을 어렵지 않게 접할 수 있게 되었다. 미디어 매체가 모두 디지털화 되면서 스테레오 기반의 3D 입체영상, 더 나아가 자유 시점 방식의 3D 입체영상까지 일반 가정에서 볼 수 있게 되었다. 이와 함께 관련 기술 개발도 활발히 진행되고 있는데, 다시점 비디오(Multi-view Video:MVC)를 이용한 영상처리가 대표적이다. 다시점 비디오는 기존의 단일 시점이나 스테레오 영상과는 달리, 여러 대의 카메라를 일렬 혹은 행렬(matrix)형태로 배열하여 여러 장의 장면 및 객체를 촬영하고, 그 획득된 영상들을 이용하여 입체적으로 재현하는 기술이다. 다시점 비디오는 시청자에게 자유로운 시점 변환과 넓은 시점의 화면을 제공하는 장점이 있지만, 카메라 수에 따라 정보량이 급격히 증가하여 다시점 영상 정보를 저장하고 전송하는 다양한 서비스 응용 분야에 제한으로 적용될 수밖에 없다는 문제가 있다. 따라서 대용량의 다시점 영상 정보를 효과적으로 처리 압축하고 전송하는 기술 개발이 필요하다.
MPEG(moving picture experts group)에서는 3차원 입체 오디오/비디오 신호를 압축 처리하는 기술에 관련된 표준화 작업을 진행하고 있다. 특히 다시점 비디오 부호화에 초점을 맞춰 표준화가 진행되어 왔고, MVC에 관한 표준화를 JVT(joint video team)에서 진행하였다. 다시점 비디오 부호화는 단일 시점 비디오 부호화 표준인 H.264/AVC를 확장하여 구현된다[문헌 1].
다시점 비디오 부호화의 가장 큰 특징은 전후 프레임의 상관도뿐만 아니라, 인접 시점간의 상관도까지 이용한다는 것이다. 즉, 인접한 시점 영상간의 공간적 중복성도 제거하는 시점 간 보상 기법(inter-view compensation)을 이용하여 부호화 효율을 증대시킨다는 것이다. 하지만, 카메라의 위치에 따라 획득된 영상 간에 조명 차이가 발생하거나, 카메라 센서 고유의 특성으로 인한 색상 불일치 문제가 발생할 수도 있다. 색상 불일치 문제는 같은 물체의 색상 분포가 사용된 카메라의 시점에 따라 달라지는 현상으로 동일 기종의 카메라를 이용하여 같은 설정으로 촬영하더라도 발생할 수 있다. 이는 인접한 시점 영상 간의 공간적 중복성을 떨어뜨려 시점 간 예측(inter-view prediction)시 비용을 증가하게 만들고, 결과적으로 전체적인 부호화 효율을 떨어뜨리게 되는 문제를 발생시킨다[문헌 2].
이러한 문제점을 해결하기 위해 일반적으로 부호화전에 조명 및 색상을 보정하는 전처리 방법을 사용한다. 다른 시점의 카메라에서 획득된 영상간의 조명 및 색상을 보정하는 방법은 크게 세 가지로 분류할 수 있다.
첫 번째는 영상의 전체적인 특성을 분석하여 색상을 보정하는 방법이다. Fecker와 Chen의 방법이 이에 해당된다[문헌 3]. 이 방법은 주로 다시점 영상의 색상을 보정하기 위한 연구가 시작된 초기에 주로 제안되었다. 각 시점의 전체적인 평균 밝기 히스토그램과 이것의 누적 히스토그램을 이용하여 색상 차이를 보정한다. 이렇게 영상의 전체적인 특성을 이용하는 방법은 폐색 영역(occluded region)이 존재하는 다시점 영상에 적용하기에는 다소 무리가 있다. 즉 한 시점의 영상에는 보이지만 다른 시점의 영상에는 보이지 않는 객체의 색상이나 밝기 정보가 보정에 사용될 수 있기 때문에, 보정과정에서의 성능이 좋지 않다.
두 번째 방법은 색상 차트를 이용하는 방법이다. 객체를 촬영하기 전에 미리 준비된 색상 차트를 촬영하고 그 정보를 기반으로 다시점 영상의 색상을 보정하는 방법이다. Ilie와 Joshi가 제안한 방법이 이에 해당된다[문헌 4][문헌 5]. 이 방법은 정확한 보정이 가능하지만, 반드시 색상 차트를 사용해야 한다는 불편함이 있다. 또한, 촬영 전에 미리 색상차트가 촬영되어 있지 않은 영상에는 적용할 수 없다는 단점을 가지고 있다.
세 번째 방법은 각 영상에서 서로 대응되는 화소 값을 찾아서 그 부분의 색상 정보를 비교한 뒤 그 값을 기반으로 영상 전체를 보정하는 방법이다[문헌 6][문헌 7]. 다른 시점에서 획득된 영상 간의 대응점을 찾기 위해, 블록 매칭 기법이나 특징점 기반의 매칭 기법이 사용 될 수 있는데, 특징점 추출 기법에 따라 성능차이가 발생할 수 있다.
ITU-T RECOMMENDATION H.264 "Advanced Video Coding for Generic Audiovisual Services," May, 2003. [문헌 2] C. Doutre, P. Nasiopoulos, "A Color Correction Preprocessing Method for Multiview Video Coding," Department of Electronic and Computer Engineering, University of British Columbia.. [문헌 3] U. Fecker, M. Barkowsky, and A. Kaup, "Histogram-Based Prefiltering for Luminance and Chrominance Compensation of Multiview Video," IEEE Trans. ,vol. 18, no 9, Sep. 2008. [문헌 4] G. Jiang, F. Shao, M. Yu, K. Chen, and X. Chen, "New Color Correction Approach to Multi-view Images with Region Correspondence," Lecture Notes in Computer Science, Vol. 4113, Aug. 2006, pp. 1224-1228. [문헌 5] K. Yamamoto, M. Kitahara, H. Kimata, T. Yendo, T. Fujii, M. Tanimoto, S. Shimizu, K. Kamikura, and Y. Yashima, "Multiview Video Coding Using View Interpolation and Color Correction"' IEEE Transactions on Circuits and Systems for Video Technology, Vol. 17, No. 11, Nov. 2007, pp. 1436-1449. [문헌 6] A. Ilie and G. Welch, "Ensuring color consistency across multiple cameras," IEEE International Conference on Computer Vision, Oct. 2005,pp. II: 1268-1275. [문헌 7] N. Joshi, B. Wilburn, V. Vaish, M. Levoy, and M. Horowitz, "Automatic color calibration for large camera arrays," in UCSD CSE Tech. Rep. CS2005-0821, May 2005. [문헌 8] A. Bjdrck, Numerical "Methods for Least Squares Problem, SIAM," Philadelpia, 1996. [문헌 9] C. Harris and M.J. Stephens. A combined corner and edge detector. In Alvey Vision Conference, pages 147??152, 1988. [문헌 10] 호요성, 김성열 "3DTV 3차원 입체영상 정보처 리" 두양사, pp. 116
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 첫 번째 방법의 부정확함과 두 번째 방법의 불편함을 고려하여 세 번째 방법인 특징점 기반 색상 보정법을 다시점 비디오 부호화 전처리의 조명 및 색상 보상 방법으로 활용하여 새로운 전처리 방법을 제공하는 것이다.
특히, 본 발명의 목적은 조명 및 카메라 간의 특성차이로 인해 인접 시점 간 색상차를 보정하기 위하여, 다시점 영상 간의 대응되는 특징점들을 기반으로 상대적인 카메라의 특성을 모델링하고 이를 통해 색상을 보정하는 특징점 기반 다시점 비디오의 전처리 방법을 제공하는 것이다.
보다 구체적으로, 본 발명은 대응되는 특징점을 추출하기 위해 Harris 코너 검출법을 사용하고, 모델링 된 수식의 계수는 가우스-뉴튼 순환 기법(Gauss-Newton circulation algorithm)으로 추정하며, 참조 영상을 기준으로 보정해야할 타겟 영상의 색상값을 RGB 성분별로 보정하는 특징점 기반 다시점 비디오의 전처리 방법을 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명은 서로 다른 시점을 갖는 적어도 2개의 다시점 영상을 입력받아 보정하는, 색상 성분 보정을 위한 특징점 기반 다시점 비디오의 전처리 방법에 관한 것으로서, (a) 하나의 다시점 영상(이하 보정시점 영상)을 다른 다시점 영상(이하 참조시점 영상)으로부터 추정하는 관계식(이하 카메라 특성모델)을 설정하는 단계; (b) 상기 보정시점 영상 및 참조시점 영상에서 서로 대응되는 특징점을 추출하는 단계; (c) 상기 참조시점 영상의 특징점(이하 참조점)과 상기 참조점에 대응되는 상기 보정시점 영상의 특징점(이하 대응점)에 대하여, 상기 대응점을 상기 특성모델에 적용하여 추정하고, 상기 추정한 점(이하 추정점)과 상기 참조점의 차이를 최소화하는 상기 특성모델의 계수(이하 카메라 특성계수)를 구하는 단계; 및, (d) 상기 특성계수로 상기 보정시점 영상을 보정하는 단계를 포함하는 것을 특징으로 한다.
또, 본 발명은 특징점 기반 다시점 비디오의 전처리 방법에 있어서, 상기 카메라 특성 모델은 [수식 1]을 이용하는 것을 특징으로 한다.
[수식 1]
Figure 112012044182714-pat00001
단, x, y는 각각 대응점 및 참조점의 화소값,
a, b, γ는 계수.
또, 본 발명은 특징점 기반 다시점 비디오의 전처리 방법에 있어서, 해리스(Harris) 코너 검출 알고리즘을 이용하여 상기 보정시점 영상 및 참조영상 시점에서 서로 대응되는 특징점을 추출하는 것을 특징으로 한다.
또, 본 발명은 특징점 기반 다시점 비디오의 전처리 방법에 있어서, 상기 추정점과 상기 참조점의 차이를 최소화하도록 가우스-뉴튼 순환 알고리즘을 적용하는 것을 특징으로 한다.
또, 본 발명은 특징점 기반 다시점 비디오의 전처리 방법에 있어서, m개의 대응점 및 참조점의 쌍 {(x1,y1), (x2,y2), ..., (xm,ym)} 에 대하여, 가우스-뉴튼 순환 알고리즘을 적용하여 다음 [수식 2]의
Figure 112012044182714-pat00002
를 최소화하는
Figure 112012044182714-pat00003
인 특성 계수 (a,b,γ)를 구하는 것을 특징으로 한다.
[수식 2]
Figure 112012044182714-pat00004
또, 본 발명은 특징점 기반 다시점 비디오의 전처리 방법에 있어서, 상기 영상은 RGB 영상이고, 상기 계수를 RGB 성분별로 구하는 것을 특징으로 한다.
또한, 본 발명은 상기 특징점 기반 다시점 비디오의 전처리 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
상술한 바와 같이, 본 발명에 따른 특징점 기반 다시점 비디오의 전처리 방법에 의하면, 다시점 비디오 영상을 부호화 할 때 화질(PSNR) 및 압축효율(bit rate)을 향상할 수 있는 효과가 얻어진다. 특히, 종래의 누적 히스토그램 기반의 전처리 방식에 비해 화질(PSNR)은 성분별로 0.5 dB ∼ 0.8dB 정도 개선되고 압축효율(bit rate)은 14% 정도 감소시킬 수 있다.
도 1은 본 발명을 실시하기 위한 전체 시스템의 구성을 도시한 도면이다.
도 2는 인접한 시점 영상 간의 조명 불일치의 예이다.
도 3은 본 발명의 일실시예에 따른 특징점 기반 다시점 비디오의 전처리 방법을 설명하는 흐름도이다.
도 4는 본 발명에 따른 카메라의 상대적 특성 차이의 그래프의 예이다.
도 5는 본 발명의 일실시예에 따른 카메라의 상대적 특성 모델링 과정을 도시한 것이다.
도 6은 본 발명에 따른 서로 대응되는 특징점을 추출하는 일례이다.
도 7은 본 발명의 실험에 따른 종래기술과의 성능 대비 표이다.
도 8은 본 발명의 실험에 따라 추출된 카메라 특성 계수를 표시한 표이다.
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 1을 참조하여 설명한다.
도 1에서 보는 바와 같이, 본 발명에 따른 특징점 기반 다시점 비디오의 전처리 방법은 서로 다른 시점을 갖는 적어도 2개의 다시점 카메라(20)에 의해 촬영된 다시점 영상(60)을 입력받아 색상 성분을 보정하는 컴퓨터 단말(30) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 특징점 기반 다시점 비디오의 전처리 방법은 프로그램으로 구성되어 컴퓨터 단말(30)에 설치되어 실행될 수 있다. 컴퓨터 단말(30)에 설치된 프로그램은 하나의 프로그램 시스템(40)과 같이 동작할 수 있다.
한편, 다른 실시예로서, 특징점 기반 다시점 비디오의 전처리 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 다시점 영상에 대하여 색상 성분을 보정하는 것만을 전용으로 처리하는 전용 컴퓨터 단말(20)로 개발될 수도 있다. 이를 다시점 비디오의 전처리 장치(40)라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.
다시점 카메라(20)는 적어도 2 대의 카메라를 일렬 혹은 행렬(matrix)형태로 배열하여 여러 장의 장면 및 객체(10)를 촬영하는 카메라를 말한다.
촬영된 영상(60)은 다시점 카메라(20)로 촬영된 영상 또는 다시점 영상이다. 다시점 영상(60)은 컴퓨터 단말(30)에 직접 입력되어 저장되고, 전처리 장치(40)에 의해 처리된다. 또는, 다시점 영상(60)은 컴퓨터 단말(30)의 저장매체에 미리 저장되고, 전처리 장치(40)에 의해 저장된 다시점 영상(60)을 읽어 입력될 수도 있다.
다시점 영상(60)은 각 카메라(20)에 의해 촬영된 영상으로서, 각 카메라(20)의 시점에 따라 각기 서로 다른 시점을 갖는 영상이다. 다시점 영상(60)은 시간상으로 연속된 이미지 프레임으로 구성된다. 또한, 영상(60)은 하나의 프레임(또는 이미지)을 가질 수도 있다. 즉, 영상(60)은 하나의 이미지인 경우에도 해당된다. 이때, 각 다시점 영상(60)은 동일 시간 대의 각 프레임 이미지가 서로 대응된다.
전처리 장치(40)는 상기와 같이 서로 대응되는 각 다시점 영상(60)의 이미지들을 이용하여 카메라 특성모델의 특성계수 등을 구하고, 각 이미지들에 대하여 색상 성분을 보정한다. 다시점 영상에 대하여 색상 보정을 하는 것은, 곧 각 이미지 또는 프레임 이미지를 보정하는 것을 의미하나, 이하에서 특별한 구별의 필요성이 없는 한, 영상이란 용어를 사용하기로 한다.
다음으로, 본 발명을 설명하기에 앞서, 본 발명에서 해결하고자 하는 시점 간 조명 및 색상 불일치 현상에 대하여 보다 구체적으로 설명한다.
다시점 비디오의 시점 간 예측 부호화는 인접한 시점 영상간의 공간적 중복성을 제거하여 압축하는 방법이다. 다시점 영상에서 프레임 간 움직임 예측 방법과 함께 매우 효과적인 부호화 기술이지만, 인접 시점 간 조명 및 색상 불일치 때문에 부정확한 예측이 발생하기도 한다. 이는 다시점 비디오의 부호화 효율을 떨어뜨리는 결과를 초래할 수 있다.
도 1(a)와 (b)는 다시점 비디오의 실험 영상 중 <Uli>와 <Ballroom>에서 인접한 시점 영상 간 조명 및 색상 불일치의 예를 각각 보여준다. 도 1과 같이 다시점 비디오 영상은 서로 다른 위치 존재한 카메라로부터 획득되기 때문에 다른 시점 영상 간의 조명 및 색상 불일치 현상이 존재 할 수 있다.
도 1(a)의 <Uli> 영상에서는 4번 시점 영상 내의 등장 인물의 피부색이 3번 카메라에서 획득한 3번 시점 영상에 비해 붉게 표현되어 있고, 도 1(b)의 <Ballroom> 영상에서는 6번 시점 영상에서 커튼과 계단의 색이 5번 카메라에서 획득된 5번 시점 영상보다 어둡게 표현되어 있다.
이러한 다시점 비디오의 특징은 인접 시점 영상을 참조하는 시점 간 예측 시에 잘못된 예측의 원인이 되어 부호화 성능을 저하시키는 결과를 초래한다. 이와 같은 불일치 현상은 시간에 따른 조명의 차이 등으로 단일 시점 비디오의 앞뒤 프레임 간에도 존재할 수 있다. 하지만 일반적으로 단일 시점 영상에서의 조명 및 색상 불일치는 서로 다른 카메라에서 획득된 시점이 다른 영상들보다 그 정도가 약해서 부호화 효율에 미치는 영향이 상대적으로 크지 않다.
다시점 영상에서 조명 및 색상 불일치 원인은 크게 두 가지로 볼 수 있다. 첫 번째는 다시점 비디오를 획득하는 카메라 간 제작상의 차이와 조리개 조절 변이 등의 문제로 조명이나 색상 값이 다를 수 있다는 것이다. 즉 카메라의 내부적 특성이 서로 다르기 때문이다. 또 다른 원인은 서로 다른 카메라의 위치 변이이다. 카메라의 위치에 따라 주변의 조명에 영향을 다르게 받아 그 결과가 영상에 반영 될 수 있다. 내부적 특성이 같은 카메라 일지라도 서로의 상대적 위치와 방향이 서로 다르면 영상 내 국부적으로 영향을 준다. 이러한 요인들로 인하여 영상의 조명 및 색상 불일치가 발생하게 된다. 실제로 여러 대의 카메라를 가지고 같은 객체를 시점을 달리하여 획득해 보면 생상의 차이 크다는 것을 쉽게 알 수 있다.
다음으로, 본 발명의 일실시예에 따른 특징점 기반 다시점 비디오의 전처리 방법을 도 3 내지 도 8을 참조하여 설명한다.
도 3에서 보는 바와 같이, 본 발명의 일실시예에 따른 방법은 카메라 특성모델 설정 단계(S10), 특징점 추출 단계(S20), 특성계수를 구하는 단계(S30), 및, 특성계수를 적용하여 영상을 보정하는 단계(S40)로 이루어진다.
즉, 색상을 보정하기 위한 카메라 특성 모델을 설정한다(S10). 카메라 특성 모델은 하나의 다시점 영상(이하 보정시점 영상)을 다른 다시점 영상(이하 참조시점 영상)으로부터 추정하는 관계식이다. 그리고 각 시점 영상에서 대응점을 찾기 위하여 특징점을 추출하게 되는데 본 발명에서는 Harris 코너(corner) 검출법을 이용한다(S20). 각 카메라의 상대적인 특성을 모델링하고 추출된 특징점들을 기반으로 가우스-뉴튼 순환 기법(Gauss-Newton circulation algorithm)을 통해 카메라 특성 모델에서의 계수 값들을 추정한다(S30). 이렇게 추정된 계수들을 카메라 특성 모델에 적용시켜 영상의 색상을 보정하게 된다(S40).
먼저, 본 발명의 일실시예에 따른 카메라 특성모델 설정 단계(S10)를 보다 구체적으로 설명한다.
본 발명에 따른 방법은 배경기술에서 언급한 히스토그램 기반 색상 보정 방법과 색상 차트를 이용한 보정 방법들의 단점을 고려하여 대응점 기반 색상 보정 방법을 다시점 비디오 부호화 전처리 방법으로 활용하고자 한다.
다시점 영상을 획득할 때, 카메라의 다양한 특성들은 획득된 영상의 색상에 영향을 끼칠 수 있다. 또한, 동일 기종의 카메라를 사용하고 카메라 설정을 동일하게 하더라도 각 카메라 고유의 특성을 똑같게 할 수는 없다. 따라서 다시점 비디오를 획득하기 위해서는 같은 카메라를 사용하더라도 인위적인 색상 보정의 후처리 과정이 필요하다. 이는 각 카메라의 상대적 특성 차이를 수식으로 모델링 하여 카메라의 특성에 영향을 미치는 요인들을 조절해야함을 의미한다.
상대적인 카메라 특성이란 두 대의 카메라에 같은 세기의 빛이 입사되었을 때 각각 카메라가 어떠한 세기로 빛을 인식하는지 그 상대적인 차이를 의미한다. 그 차이의 원인이 되는 주요 카메라 특성으로는 이득(gain)과 오프셋(off-set), 감마(gamma) 값 등이 있다[문헌 9].
도 4는 각 특성 차이를 모델링하여 참조 시점(reference view) 카메라와 보정이 필요한 해당 시점 카메라의 색상 값 차이를 나타낸다. 참조 시점 영상은 색상 보정에 기준이 되는 영상이고, 보정 시점(target view) 영상은 참조 시점 영상에 맞춰서 보정을 해야 할 영상을 의미한다.
도 4에서 yref는 참조 시점 영상의 화소값을 의미하며, xtar는 보정 시점 영상의 화소값을 의미한다. a, b, γ 은 각각 이득과 오프셋, 감마를 위한 계수이다. 각 계수들을 수식화 한 후, 계수들의 특성을 동시에 고려하여 최종 모델링하면 도 5와 같다.
이 모델은 참조 시점 카메라와 보정 시점 카메라의 특성 차이를 정의하며 모델링된 수식의 특성 계수(characteristic coefficients)들을 유추하고 이를 기반으로 색상을 보정하게 된다.
한편, 본 발명에 따른 방법은 서로 다른 시점을 갖는 적어도 2개의 다시점 영상을 입력받아 보정하는 것이므로, 다수의 다시점 영상 중 각 2개 영상에 대하여 카메라 특성 모델을 구해야 한다. 즉, 하나의 다시점 영상(또는 보정시점 영상)을 다른 다시점 영상(또는 참조시점 영상)으로부터 추정하는 관계식인 카메라 특성모델을 설정한다.
이때, 상기 보정시점 및 참조시점 영상에 대한 카메라 특성 모델은 다음 [수학식 1]과 같이 표시할 수 있다.
[수학식 1]
Figure 112012044182714-pat00005
다만, x, y는 서로 대응되는 참조시점 및 보정시점 영상의 화소값이다. 즉, y는 참조시점 영상의 특징점(또는 참조점)이고, x는 y에 대응되는 보정시점의 특징점(또는 대응점)이다. a, b, γ는 앞서 본 바와 같이 계수이며 상기 카메라 특성 모델의 카메라 특성계수에 해당한다.
이하의 단계에서 보정시점 및 참조시점 영상의 대응되는 특징점을 추출하고 상기 참조점 및 대응점을 이용하여 카메라 특성계수인 a, b, γ를 추정한다. 그리고 추정된 카메라 특성계수를 상기 [수학식 1]에 대입하여, 영상의 색상을 보정한다.
다음으로, 본 발명의 일실시예에 따른 특징점을 추출하는 단계(S20)를 보다 구체적으로 설명한다.
앞서 설명한 특성 계수를 추정하기 위해서는 참조 시점 영상과 보정 시점 영상에서 각각 대응하는 색상 정보를 얻는 과정이 필요하다. 즉, 보정시점 및 참조시점 영상에서 서로 대응되는 특징점을 추출한다. 본 발명에서는 Harris 코너 검출 기법(Harris corner detection algorithm)을 사용하여 두 시점의 대응점을 추출하고 그 정보를 바탕으로 계수를 추정한다[문헌 10]. 해리스 코너 검출 기법은 매칭 윈도우(매칭 창)에서 화소 값의 변화를 분석하여 일정 상하좌우에 대한 임계치 이상의 값 중 화소값의 변화가 가장 큰 지점이 코너점으로 인정하여 찾는 방법이다.
Harris 코너 검출 기법은 기본적으로 영상 내에 상하 좌우로 움직이는 창(window)가 존재하며 이 창 내의 화소값의 변화를 분석하여 코너를 찾는 방식이다. 영상의 크기 변화나 회전의 영향을 받지 않는다는 장점을 가지고 있다. 따라서 다시점 영상에서 존재할 수 있는 폐색 영역이나 비폐색 영역에 구애받지 않고 코너의 특징을 갖는 부분의 정보만을 추출하기 때문에 보다 정확한 대응점의 색상 정보를 추출할 수 있다.
도 6은 <Breakdancers> 영상에서 Harris 코너 기법을 통해 대응점을 추출해낸 결과를 나타낸다. 서로 다른 시점의 두 영상(또는 보정시점 및 참조시점 영상)에서 추출된 대응점을 점선으로 연결하여 나타내었다. 두 영상에서 영상 내 코너 점의 위치는 동일하므로 여러 코너 점을 찾아서 특성 계수 추정에 이용한다.
다음으로, 본 발명의 일실시예에 따른 특성계수를 추정하는 단계(S30)를 보다 구체적으로 설명한다.
앞서 단계에서 추출된 샘플값을 RGB 채널 별로 메모리 버퍼에 저장한다. 이것은 특성계수를 RGB 성분별로 추정하기 위한 것이다. 한편, 2개의 영상(또는 참조시점 및 보정시점 영상)에서 서로 대응되는 특징점들의 화소값들이 샘플값이다. 즉, 샘플값은 참조시점 영상의 특징점(또는 참조점)과 상기 참조점에 대응되는 보정시점 영상의 특징점(또는 대응점)의 화소값으로서, 참조점과 대응점의 한 쌍이 하나의 샘플에 해당된다.
상기 샘플값을 바탕으로 특성계수를 유추해 낸다. 다른 위치에 존재한 두 카메라간의 상대적 카메라 모델은 비선형의 형태를 갖기 때문에 직접적인 계산으로 구하기가 힘들다. 따라서 가우스-뉴튼 순환 기법(Gauss-Newton circulation algorithm)[문헌 8]의 반복적인 연산을 통해 각 계수들을 추정하게 된다.
가우스-뉴튼 기법은 오차의 최소 제곱(minimum square) 추정량을 구하기 위하여 사용되는 일반적인 수치 해석 방법이다. 이는 2차 미분의 특성을 살려 필요 없는 계산을 줄일 수 있다는 장점을 갖고 있다. m개의 샘플 화소값에 대한 제곱형태 함수의 합의 형태는 다음 [수학식 2]와 같다.
[수학식 2]
Figure 112012044182714-pat00006
가우스-뉴튼 기법은 초기 예측값으로부터 순환법을 사용하여 최소가 되는 값을 찾는다. r은 실제 값에서 예측한 변수의 함수 값을 뺀 오차 값을 의미하며 다음 [수학식 3]과 같이 주어진다.
[수학식 3]
Figure 112012044182714-pat00007
여기서 yi는 메모리 버퍼 내에 존재하는 참조시점 영상의 샘플 화소값을 의미하고 xi는 그에 대응되는 보정 시점 영상의 화소값을 의미한다. 함수 f는 [수학식 1]에서 모델링된 수식을 의미한다.
Figure 112012044182714-pat00008
는 특성 계수 {a,b,γ}로 이루어진 벡터이다. 따라서 함수 f는 다음과 같이 나타낼 수 있다.
[수학식 4]
Figure 112012044182714-pat00009

오차의 제곱 합을 의미하는 비선형 순환 함수
Figure 112012044182714-pat00010
가 최소값을 갖게 될 때까지 반복하여 카메라의 특성 계수를 추정하게 된다. 메모리에 샘플값의 RGB 성분을 분리하여 저장하였으므로 세 가지 특성 계수 {a,b,γ}가 RGB 성분별로 각각 세 개가 존재하며 결국 카메라 당 총 아홉 개의 계수가 구해진다.
다음으로, 본 발명의 효과를 도 7 내지 도 8을 참조하여 보다 구체적으로 설명한다.
본 발명에 따른 실험에서는, 도 7과 같이 MPEG에서 제공하는, <Ballroom>, <Breakdancers>, <Uli>와 <Average> 등을 실험 영상으로 사용하여 제안하는 기법의 성능을 검증하기 위한 실험을 수행하였다. 먼저 기존의 방법 중에 하나인 Fecker의 누적 히스토그램(accumulated histogram) 기반의 전처리 기법[문헌 2]과 본 발명에서 제안하는 새로운 전처리 방법을 다시점 비디오 부호화에 적용하였다.
도 7과 같이 전처리를 전혀 수행하지 않은 경우와의 차이를 화질(PSNR)과 압축효율(bit rate) 측면에서 비교하였는데, 본 발명에 따른 방법이 화질에서는 Y 성분과 Cr 성분에서 평균적으로 0.8dB과 0.5dB 정도 향상된 결과를 보여주며 Cb 성분에서는 거의 비슷한 결과를 보였다. 압축효율 면에서는 본 발명에 따른 방법이 평균적으로 14% 정도 향상된 결과를 보여준다.
도 8은 가우스-뉴튼 순환 기법을 통해 계산된 상대적인 카메라 모델의 특성 계수들이다. <Uli> 실험 영상에서 4번 카메라(4번 시점)의 특성 계수를 추정하였다. 이 계수들을 통해 두 시점의 색상 보정에 이용한다.
본 발명에서는 다시점 비디오 부호화에서 발생할 수 있는 조명 및 색상 불일치 문제를 해결하기 위한 전처리 방법으로 특징점을 이용한 대응점 기반 보정 기법을 제안하였다. 영상의 특징점을 추출하여 대응관계의 여러 화소값들을 기반으로 특성계수를 수치해석적 기법으로 추정하였다. 특징점 추출은 Harris 코너 검출법을 사용했다. 제안하는 기법을 다시점 비디오 부호화에 적용하였을 때, 부호화 성능이 향상됨을 확인할 수 있었다.
이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
10 : 객체 20 : 다시점 카메라
30 : 컴퓨터 단말 40 : 프로그램 시스템
60 : 영상

Claims (7)

  1. 서로 다른 시점을 갖는 적어도 2개의 다시점 영상을 입력받아 보정하는, 색상 성분 보정을 위한 특징점 기반 다시점 비디오의 전처리 방법에 있어서,
    (a) 하나의 다시점 영상(이하 보정시점 영상)을 다른 다시점 영상(이하 참조시점 영상)으로부터 추정하는 관계식(이하 카메라 특성모델)을 설정하는 단계;
    (b) 상기 보정시점 영상 및 참조시점 영상에서 서로 대응되는 특징점을 추출하는 단계;
    (c) 상기 참조시점 영상의 특징점(이하 참조점)과 상기 참조점에 대응되는 상기 보정시점 영상의 특징점(이하 대응점)에 대하여, 상기 대응점을 상기 특성모델에 적용하여 추정하고, 상기 추정한 점(이하 추정점)과 상기 참조점의 차이를 최소화하는 상기 특성모델의 계수(이하 카메라 특성계수)를 구하는 단계; 및,
    (d) 상기 특성계수로 상기 보정시점 영상을 보정하는 단계를 포함하고,
    상기 카메라 특성 모델은 [수식 1]을 이용하고,
    [수식 1]
    Figure 112013109946197-pat00023

    단, x, y는 각각 대응점 및 참조점의 화소값,
    a, b, γ는 계수.
    상기 추정점과 상기 참조점의 차이를 최소화하도록 가우스-뉴튼 순환 알고리즘을 적용하되, m개의 대응점 및 참조점의 쌍 {(x1,y1), (x2,y2), ..., (xm,ym)} 에 대하여, 다음 [수식 2]에 의해 정의된
    Figure 112013109946197-pat00024
    를 최소화하는
    Figure 112013109946197-pat00025
    인 특성 계수 (a,b,γ)를 구하는 것을 특징으로 하는 특징점 기반 다시점 비디오의 전처리 방법.
    [수식 2]
    Figure 112013109946197-pat00026

  2. 삭제
  3. 제1항에 있어서,
    해리스(Harris) 코너 검출 알고리즘을 이용하여 상기 보정시점 영상 및 참조영상 시점에서 서로 대응되는 특징점을 추출하는 것을 특징으로 하는 특징점 기반 다시점 비디오의 전처리 방법.
  4. 삭제
  5. 삭제
  6. 제1항 또는 제3항에 있어서,
    상기 영상은 RGB 영상이고, 상기 계수를 RGB 성분별로 구하는 것을 특징으로 하는 특징점 기반 다시점 비디오의 전처리 방법.
  7. 제1항 또는 제3항의 특징점 기반 다시점 비디오의 전처리 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020120059329A 2012-06-01 2012-06-01 색상 성분 보정을 위한 특징점 기반 다시점 비디오의 전처리 방법 KR101402185B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120059329A KR101402185B1 (ko) 2012-06-01 2012-06-01 색상 성분 보정을 위한 특징점 기반 다시점 비디오의 전처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120059329A KR101402185B1 (ko) 2012-06-01 2012-06-01 색상 성분 보정을 위한 특징점 기반 다시점 비디오의 전처리 방법

Publications (2)

Publication Number Publication Date
KR20130135606A KR20130135606A (ko) 2013-12-11
KR101402185B1 true KR101402185B1 (ko) 2014-06-19

Family

ID=49982807

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120059329A KR101402185B1 (ko) 2012-06-01 2012-06-01 색상 성분 보정을 위한 특징점 기반 다시점 비디오의 전처리 방법

Country Status (1)

Country Link
KR (1) KR101402185B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118434A (zh) * 2017-06-26 2019-01-01 南京东大智能化系统有限公司 一种图像预处理方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101633436B1 (ko) 2014-04-30 2016-06-24 주식회사 이에스엠연구소 다시점 카메라가 획득한 영상에 대한 색상 보정 방법 및 다시점 카메라가 획득한 영상에 대한 색상을 보정하는 장치
KR102240564B1 (ko) 2014-07-29 2021-04-15 삼성전자주식회사 영상 렌더링 장치 및 방법
KR102482067B1 (ko) * 2015-11-27 2022-12-28 삼성전자주식회사 전자 장치 및 그의 동작 방법
KR102362623B1 (ko) 2019-10-14 2022-02-14 가천대학교 산학협력단 열전 반도체 소자 및 이의 제조방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100019804A (ko) * 2008-08-11 2010-02-19 한국전자통신연구원 스테레오 비전 시스템 및 그 제어방법
KR20120053856A (ko) * 2010-11-18 2012-05-29 광주과학기술원 3차원 영상 생성 방법 및 시스템
KR20120133417A (ko) * 2011-05-31 2012-12-11 전자부품연구원 대응 영상의 컬러 보정 방법 및 그 기록매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100019804A (ko) * 2008-08-11 2010-02-19 한국전자통신연구원 스테레오 비전 시스템 및 그 제어방법
KR20120053856A (ko) * 2010-11-18 2012-05-29 광주과학기술원 3차원 영상 생성 방법 및 시스템
KR20120133417A (ko) * 2011-05-31 2012-12-11 전자부품연구원 대응 영상의 컬러 보정 방법 및 그 기록매체

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118434A (zh) * 2017-06-26 2019-01-01 南京东大智能化系统有限公司 一种图像预处理方法

Also Published As

Publication number Publication date
KR20130135606A (ko) 2013-12-11

Similar Documents

Publication Publication Date Title
KR101834688B1 (ko) 저 지연 조명 보상 프로세스 및 깊이 룩업 테이블 기반 코딩을 위한 방법
KR101344425B1 (ko) 다시점 화상 부호화 방법, 다시점 화상 복호 방법, 다시점 화상 부호화 장치, 다시점 화상 복호 장치, 다시점 화상 부호화 프로그램 및 다시점 화상 복호 프로그램
CN102308584B (zh) 多视点图像编码方法、多视点图像译码方法、多视点图像编码装置以及多视点图像译码装置
CN109218736B (zh) 用于编码和解码的设备和方法
US9961347B2 (en) Method and apparatus for bi-prediction of illumination compensation
Doutre et al. Color correction preprocessing for multiview video coding
KR101402185B1 (ko) 색상 성분 보정을 위한 특징점 기반 다시점 비디오의 전처리 방법
WO2011050304A2 (en) Depth map generation techniques for conversion of 2d video data to 3d video data
US11695936B2 (en) Perceptual three-dimensional (3D) video coding based on depth information
Tehrani et al. Iterative colour correction of multicamera systems using corresponding feature points
US9967586B2 (en) Method and apparatus of spatial motion vector prediction derivation for direct and skip modes in three-dimensional video coding
KR20100008677A (ko) 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법
Shao et al. Fast color correction for multi-view video by modeling spatio-temporal variation
KR20150084767A (ko) 이미지들의 시퀀스에서의 조명 변동들을 보상하기 위한 방법 및 장치
Gu et al. Fast bi-partition mode selection for 3D HEVC depth intra coding
KR101129713B1 (ko) 영상을 깊이에 따라 계층별로 분리하여 히스토그램 매칭을 하는 다시점 영상의 조명보상 방법 및 그 기록매체
Fezza et al. Feature-based color correction of multiview video for coding and rendering enhancement
Jung et al. Color correction algorithm based on camera characteristics for multi-view video coding
Shi et al. Multi-model prediction for image set compression
Li et al. Joint view filtering for multiview depth map sequences
Zeng et al. Sift-flow-based color correction for multi-view video
Lee et al. Multi-view depth map estimation enhancing temporal consistency
Shao et al. Colour correction pre-processing and chrominance reconstruction post-processing for multi-view video coding
KR101129309B1 (ko) 다시점 영상의 히스토그램 매칭 기반 조명보상의 전처리 방법 및 그 기록매체
Shao et al. New color correction method of multi-view images for view rendering in free-viewpoint television

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180502

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190520

Year of fee payment: 6