KR101767093B1 - 색감 복원 방법 및 장치 - Google Patents

Abstract

본 발명은 가시 대역과 비가시 대역을 포함하는 전대역 입력 영상에서 컬러 채널과 근적외선 채널간의 상관관계를 이용하여 색감을 복원하는 방법에 관한 것으로, 전대역 입력 영상에서 비가시 대역 정보를 제거하여 상기 가시 대역 정보를 추정하며, 이 경우 실제 가시대역 정보와 상기 추정된 가시대역 정보의 차이값이 가장 작아지는 적응적인 색도 계수값을 K-means 클러스터링 방식을 기초로 파악하고, 파악된 적응적인 색도 계수값을 이용하여 상기 채널간 간섭을 억제한다. 또한, 근적외선 채널의 전대역 정보(N_all) 및 상기 컬러 채널로부터 추정된 NIR 전대역 정보(N^_all)를 이용하여 상기 근적외선 채널의 비가시대역 정보(N^_nir)를 생성하여 오류 증폭을 방지한다.

Description

색감 복원 방법 및 장치{Apparatus and Method for color restoration}

본 발명은 다중 대역 필터 어레이에서 획득한 영상의 색감 복원 방법 및 장치에 관한 것이다.

다중 대역 필터 어레이(Multi spectral Filter Array, 이하 "MFA")에서 획득한 영상은 자연스러운 색감과 NIR의 디테일정보 또는 야간 환경에서 향상된 감도를 동시에 획득하는 것을 목적으로 한다.

이를 위하여 각 채널 영상의 해상도 향상 및 컬러 복원이 선행되어야 하며, 특히 MFA 영상 처리과정 색감복원은 필수적으로 선행되어야 한다. 이러한 연구의 일환으로써, 입력 영상에 대해 사용자가 원하는 임의의 톤과 분위기를 가진 사진으로 변환하는 방법에 대한 연구가 진행되었다.

이는 입력 영상과 목적이 되는 영상에 대한 특성 분석을 바탕으로 색상 변환 (color transfer)을 추구하는 것이다. 즉, 두 영상 사이의 높은 유사성을 바탕으로 각 영상에 분포하는 통계적인 색상 분포를 분석하여 이를 맞추어 주는 방법이 연구되고 있다.

일 예로, 가시광선 대역의 영상을 가시광선 대역으로 변화하는 색상 변환과 같이 동일한 색 공간 상에서 색상 변환 방법이 있다. 그러나, 이 방법은 서로 다른 색 공간에서 색상 변환시 색상이 크게 훼손되는 문제점이 있다.

또한, 색감복원 과정에서 SNR 문제를 고려할 경우 디테일이 손상되거나 또는 색감 복원 성능이 낮아지는 트레이드 오프 문제가 있었다. 상세히, SNR의 비중을 실제보다 높게 가정할 경우, 색감 복원 성능은 유지 되지만 SNR이 유지되지 않아 평탄 영역에서 저주파 신호를 훼손하는 성분이 발생하거나 고주파 디테일이 손상될 수 있다. 이와 달리, SNR의 비중을 실제보다 낮게 가정할 경우, 색감 복원 과정의 적용 비중이 작아짐으로 인해 원 신호 성분이 유지되는 성향이 크고 입력 영상의 디테일 및 평탄 영역 성분이 잘 보존되는 것을 볼 수 있지만, 색감은 실제에 비해 채도가 많이 떨어지게 된다.

KR 2010-0055067 A US 7956325 A

이상의 문제를 해결하기 위하여, 본 발명의 바람직한 일 실시예에서는 가시광선 대역과 비가시대역의 정보를 융합하는 영상 융합과정에서 색감 복원 방법을 제시한다.

본 발명의 바람직한 일 실시예에서는 별도의 물리적 필터없이 다중 대역 필터 어레이로 부터 획득한 R_all, G_all, B_all ,N_all (all은 가시대역과 비가시대역을 포함하는 전대역 영상을 의미함)에서 R_{vis ,}G_{vis ,}B_vis (vis는 가시대역 영상을 의미함)를 복원하는 방법을 제안한다.

본 발명의 바람직한 일 실시예에서는 가시대역과 비가시대역을 동시에 획득할 수 있는 센서의 색공간에서 가시대역만 획득할 수 있는 센서의 색공간으로 이동하는 과정과 같이 서로 다른 색 공간에서 색상 변환시 발생되는 색 공간 차이를 극복하는 색감 복원 방법을 제안한다.

본 발명의 바람직한 일 실시예에서는 SNR을 고려하더라도 색감 복원 향상 및 디테일 훼손 방지를 모두 만족시키기 위해 적응적인 색도 계수를 이용한 색감 복원방법을 제시한다.

본 발명의 바람직한 일 실시예로서 색감 복원 방법은 가시 대역과 비가시 대역을 포함하는 전대역 입력 영상에서 컬러 채널과 근적외선 채널간의 상관관계를 이용하여, 상기 전대역 입력 영상에서 상기 비가시 대역 정보를 제거하여 상기 가시 대역 정보를 추정하는 단계; 실제 가시대역 정보와 상기 추정된 가시대역 정보의 차이값이 가장 작아지는 적응적인 색도 계수값을 K-means 클러스터링 방식을 기초로 파악하고, 파악된 적응적인 색도 계수값을 이용하여 상기 채널간 간섭을 억제하는 단계; 및 근적외선 채널의 전대역 정보(N_all) 및 상기 컬러 채널로부터 추정된 NIR 전대역 정보(N^_all)를 이용하여 상기 근적외선 채널의 비가시대역 정보(N^_nir)를 생성하는 단계;를 포함하는 것을 특징으로 한다.

바람직하게, 상기 컬러 채널과 근적외선 채널간의 상관관계는

위의 수식과 같고, 상기 수식에서 α_r(c) ,α_g(c) ,α_b(c) 는 상기 실제 가시대역 정보와 상기 추정된 가시대역 정보의 차이값이 가장 작아지는 적응적인 색도 계수값이고, c는 해당 픽셀의 색도 성분을 나타내며, K는 상수이고,

,

,

는 노이즈값을 고려하여 가시광선 대역에서 RGB채널과 N채널과의 상관관계를 나타내는 추정값인 것을 특징으로 한다.

바람직하게, N^_nir를 기초로 RGB 각 채널에서 비가시대역 정보 R^_nir, G^_nir 및 B^_nir를 추정하고, N^_NIR 는 R^_nir, G^_nir 및 B^_nir각각과 선형관계의 특성을 지니는 것을 특징으로 한다.

본 발명의 또 다른 바람직한 일 실시예로서, 색감 복원 장치는 가시 대역과 비가시 대역을 포함하는 전대역 입력 영상에서 컬러 채널과 근적외선 채널간의 상관관계를 파악하여 R_all, G_all, B_all ,N_all 에서 N_all 을 분리하는 채널상관관계 파악부; 실제가시광선 대역의 정보와 추정된 가시광선 대역의 정보의 차이가 가장 작아지는 적응적인 색도 계수를 K-means 클러스터링 방식을 기초로 생성하는 적응적 색도계수 생성부; 상기 채널상관관계파악부에서 분리된 입력 N 채널의 NIR 전대역 정보(N_all) 에서 상기 컬러 채널로부터 추정된 입력 N 채널의 NIR 전대역 정보(N^_all)의 r(0<r<1)배한 값의 차이를 증폭하여 상기 근적외선 채널의 비가시대역 정보(N^_nir)를 도출하는 AGC부;및 상기 AGC부에서 도출한 상기 근적외선 채널의 비가시대역 정보(N^_nir)를 기초로 상기 컬러채널의 비가시대역 정보(R^_nir, G^_nir 및 B^_nir)를 추정하고, 컬러 채널 전대역 정보 R_all, G_all, B_all에서 추정된 비가시대역 정보(R^_nir, G^_nir 및 B^_nir)를 제거하여 상기 컬러채널의 가시대역 영상을 복원하는 가시대역 정보 복원부;를 포함하는 것을 특징으로 한다.

바람직하게, 상기 AGC부는 수학식 11을 통해 N^_nir를 생성하고, 수학식 11 : λK*(N_all-rN^_all)=N^_nir ,여기서 λ는 수학식 12와 같이 표시되며,

수학식 12:

수학식 12의 N^_nir은

로부터 얻어진 값이며, 이 경우 N_all은 근적외선 채널의 전대역 정보, N^_all은 상기 컬러 채널로부터 추정된 NIR 전대역 정보, r은 0<r<1 상수, 그리고 K는 상수인 것을 특징으로 한다.

본 발명에서는 영상 획득 과정에서 가시 광선 대역 정보와 근적외선 대역 정보가 혼합되는 경우 발생하는 색감 열화 현상을 개선하는 효과가 있다.

본 발명의 바람직한 일 실시예로서, 색감 복원 방법을 통해 영상의 색감을 단계적으로 복원하여 물리적인 필터를 사용하는 경우와 근접한 결과를 얻을 수 있다.

또한, 본 발명에서는 AGC부를 통해 색감 복원 과정에서 디테일 정보 향상하는 효과가 있다.

도 1은 본 발명의 바람직한 일 실시예로서, 카메라 시스템을 개략적으로 도시한 블록도이다.
도 2 는 이상적인 필터의 스펙트럼 분포의 일 예를 도시한다.
도 3 은 R, G 및 B 채널과 N 채널의 상관관계를 도시한다.
도 4는 N 채널과 RGB 채널의 선형관계를 나타내는 계수값을 획득한 일 예를 도시한다.
도 5 는 적응적으로 색도 계수를 추정하는 일 실시예를 도시한다.
도 6은 본 발명의 바람직한 일 실시예에서, NIR 대역 정보의 비중이 큰 경우에도 영상의 디테일이 훼손되는 것을 방지하기 위한 AGC(Adaptive gain control) 개념을 도시한다.
도 7은 수학식 12의 r 값을 4로, blur에 uniform mask를 사용한 일 실시예를 도시한다.
도 8은 RGBN 센서를 사용하는 경우, 색상복원 과정에서 손실의 예를 도시한다.
도 9는 본 발명의 바람직한 일 실시예로서, 광포화곡선의 일 예를 도시한다.
도 10 은 본 발명의 바람직한 일 실시예로서, 색감 복원 장치(1000)의 내부 구성도의 일 예를 도시한다.
도 11 은 본 발명의 바람직한 일 실시예로서, 색감 복원 장치(1100)의 내부 구성도를 도시한다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.

도 1은 본 발명의 바람직한 일 실시예로서, 카메라 시스템을 개략적으로 도시한 블록도이다.

본 발명은 RGB+NIR구조를 갖는 센서를 이용한 디지털 카메라 시스템에 적용이 가능하다.

도 1을 참조하면, 카메라 시스템(1)은 영상 센서(10)와 영상 처리 장치(30), 디스플레이 장치(50)를 포함한다. 카메라 시스템(1)은 디지털 카메라, 캠코더, 감시 카메라와 같은 영상 촬영 시스템일 수도 있고, 컴퓨터, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 모바일 폰 등에 탑재될 수도 있다.

영상 센서(10)는 CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 등의 광전변환소자를 이용한다. 영상 센서(10)는 광전변환소자에 의해 광신호를 전기적 영상 신호로 전환하는 다수의 픽셀이 형성된 픽셀 어레이를 구비한다.

영상 센서(10) 상에는 가시 대역 및 비가시 대역의 광을 통과시키는 다중 대역 필터 어레이(Multi spectral Filter Array)가 배치된다. MFA는 가시 대역 중 RGB 등의 400nm~700nm에 이르는 가시광선 대역의 광 성분을 투과시키는 컬러 필터와 비가시 대역 중 700nm~1100nm근적외선 영역의 광 성분을 투과시키는 근적외선 필터를 포함한다.

MFA의 컬러 필터(RCF, GCF, BCF)와 근적외선 필터(NIRF)는 영상 센서(10)의 각 픽셀에 대응하도록 배치되어, 영상 센서(10)의 각 픽셀들은 MFA를 통과한 컬러 채널 신호(R, G, B)와 근적외선 채널 신호(NIR, 이하 "N")를 감지한다. 영상 센서(10) 전단에는 광신호를 수신하는 렌즈(미도시)가 구비될 수 있다.

조명 환경에 따른 색상 분포 제한

MFA를 통과한 컬러 채널 신호(R, G, B)와 근적외선 채널 신호(N)는 네 개 채널의 스펙트럼 대역의 정보가 분리되어 있지 않고, 서로 다른 대역의 정보를 동시에 획득하는 문제가 있다.

상세히, 일반적으로 NIR 대역이 제한되어 가시광선 대역의 정보만을 획득하는 경우에는 각 컬러 채널이 RGB에 해당하는 서로 다른 파장 대역의 정보를 획득하므로, 세 파장 대역의 정보를 기초로 색상 구분이 가능하다. 즉, 적외선 차단 필터(IRCF)를 사용하여 가시광선 대역만을 받아들이는 경우 인체의 눈에서 인식되는 정보와 동일한 정보 및 색감 구분이 가능하다.

그러나, 각 컬러 채널에 NIR 대역의 정보가 제한없이 들어오는 경우, 각 컬러 채널에서는 동일한 대역폭에 대한 정보를 지닌 NIR 대역의 정보를 동시에 획득하게 되어 독립된 파장 대역의 정보를 획득하기 어렵다.

특히, 적외선 차단 필터를 제거하여 가시광선 대역의 영상과 근적외선 대역의 영상을 혼합하는 경우 원래의 색감과는 다르게 전체적으로 색감이 변할 수 있다.

컬러 콘트라스트의 관점에서 살펴보면, 각 채널의 입력 파장 분포는 가시광선 대역(400~700nm) 에서는 적외선 차단 필터 유무와 관계없이 거의 일정하나, 700nm 이상의 대역에서는 적외선 차단 필터 유무에 따라 차이가 발생한다.

상세히, 550~700nm 사이에 존재하는 R 채널의 대역폭이 550~1100nm까지 증가하게 되어, IRCF 제거 영상에서 붉은색이 확연하게 증가하게 된다. 또한, 700nm 이상의 대역에서 G 및 B 채널에서도 비선형적으로 파장분포가 변하게 된다. 또한, 900nm 이상의 대역에서는 R,G 및 B 채널의 입력이 유사하게 되어, 이 대역에서 받아들이는 빛은 무채색을 띠게된다. 결과적으로, 각 컬러채널에 NIR 대역의 정보가 추가되면, R, G 및 B 채널의 유사도가 높아져 컬러간 콘트라스트가 제한되게 된다.

NIR 대역의 비중이 가시광선 대역에 비해 상대적으로 크지 않은 태양광이나 형광등과 같은 조명 환경에서는 NIR 대역의 영향이 크지 않다. 그러나, NIR 대역의 비중이 큰 백열등이나 할로겐 등과 같은 조명환경에서는 색상 획득에 NIR 대역의 정보가 가시 광선 대역의 컬러 정보보다 더 큰 영향을 미친다. 그 결과 조명 환경에 따라 색상 분포가 제한될 수 있다.

◆ 채널간 상관관계를 고려한 색감 복원

본 발명의 바람직한 일 실시예에서는 가시대역과 비가시대역을 동시에 획득할 수 있는 다중 대역 필터 센서의 색공간에서 가시대역만 획득할 수 있는 센서의 색공간으로 이동하는 과정에서 발생되는 색상 훼손 문제를 해결하기 위한 색감 복원 방법을 제시한다.

다중 대역 필터 센서를 이용하여 영상을 획득하는 경우 RGB 세 개의 채널과 함께 NIR 채널을 획득하게 되며, 이는 수학식 1과 같이 표현할 수 있다.

수학식 1에 나타난 다중 대역 필터 센서를 이용하여 획득한 각 채널 R_all, G_all, B_all 및 N_all의 파장 대역 범위는 400nm에서 1100nm 로써, 가시광선 대역 정보 만이 아니라 NIR 정보가 함께 획득된다.

이 경우, 파장 대역에 따라 수학식 2와 같이 각 채널에서 획득되는 픽셀의 밝기값을 나타낼 수 있다.

수학식 2에서 C는 다중 대역 필터 센서를 통해 획득된 픽셀의 밝기 값을 나타낸다. 수학식 2는 수학식 3과 같이 표현이 가능하다.

수학식 3은 적외선 차단 필터(IRCF, IR cut filter)를 사용하여 가시광선 대역만을 받아들이는 영상을 광원 I(λ)과 반사율 ρ(λ), 센서의 감도 S(λ)에 대한 함수로 표현할 수 있다.

수학식 2및 3에서 C_vis 와 C_nir는 각각 가시광선 대역의 밝기와 비가시 대역의 밝기를 나타낸다. 즉, NIR 정보가 융합된 필터 센서를 이용하는 경우 가시광선 대역정보와 비가시 대역 정보의 선형적인 합으로 표현이 가능하다.

따라서, 이상적으로는 전체 대역 정보에서 비가시 대역 정보만을 제거함으로써 자연스러운 가시광선 대역의 색감을 획득할 수 있다. 즉, 수학식 1을 참고하면 R_all, G_all, B_all 및 N_all에서 R_nir, G_nir 및 B_nir를 제거하여 가시광선 대역의 색감을 획득할 수 있다.

즉, 본 발명의 바람직한 일 실시예에서는 R_all, G_all, B_all 및 N_all에서 N_all을 제거한 후, R_all, G_all및 B_all 에서 R_nir, G_nir 및 B_nir를 제거하여 가시광선 대역의 색감을 획득할 수 있다.

이를 위하여, 본 발명의 바람직한 일 실시예에서는 수학식 4와 같이 가시광선 대역에서의 파장 대역간 상관관계와 근적외선 대역에서 파장 대역간 상관관계를 이용한다.

수학식 4에서 a_v,r a_v,g a_v,b 는 가시대역에서의 RGB채널과 N채널과의 상관관계를 나타내는 변수이고, a_n,r a_n,g a_n,b 는 근적외선 대역에서 RGB채널과 N채널과의 상관관계를 나타낸다.

도 2 에 도시된 바와 같이 이상적인 필터의 스펙트럼 분포에서는(200) N(근적외선) 채널이 근적외선 대역 정보만을 획득하므로 채널간 관계성을 이용하여 RGB 채널의 색감 복원이 가능하다.

그러나, 실제 필터의 스펙트럼 분포에서는(210) N 채널에 대해 근적외선 대역뿐만 아니라 가시광선 대역의 정보까지도 획득하게 된다. 따라서, 수학식 4와 같이 N 채널에 대해 가시광선 대역 정보와 근적외선 대역정보를 구분하여 표시할 수 있다. 수학식 4를 통해 RGB 채널과 N 채널 스펙트럼 사이의 상관관계를 나타낼 수 있다.

본 발명의 바람직한 일 실시예에서는 2가지 가정하에 수학식 4를 수학식 5와 같이 표현이 가능하다.

첫 째, 필터의 화소 위치는 채널간 스펙트럼 관계성에 미치지 않는다고 가정한다. 즉, 물리적인 특성이 센서 화소 위치 전반에 거쳐 동일하다고 가정한다. 둘째, 가시광선 대역에서의 상관관계와 근적외선 대역에서의 상관관계가 유사하다고 가정한다.

수학식 5에서 ω_r ω_g ω_b는 가시광선 대역에서 RGB채널과 N채널과의 상관관계를 나타내는 변수이며, a_v,n 는 근적외선 대역에서 RGB채널과 N채널과의 서로 다른 비중을 보완해주는 변수이다.

본 발명의 바람직한 일 실시예에서 R_all, G_all, B_all 및 N_all에서 N_all을 제거한 후, R_all, G_all및 B_all 에서 R_nir, G_nir 및 B_nir를 제거하여 가시광선 대역의 색감을 획득하기 위해서는, 먼저 N_all 채널에서 근적외선 대역 정보 N_NIR 를 분리한 후, 분리된 N^_NIR(정확한 N_NIR 값이 아니라 계산을 통해 추정된 값을 표시) 를 기초로 RGB 각 채널에서 근적외선 대역 정보 R^_nir, G^_nir 및 B^_nir를 추정해야 한다(도 3 및 4 참고).

본 발명의 바람직한 일 실시예로서 N^_NIR 을 계산하기 위해 수학식 10 내지 12를 이용할 수 있다.

도 3 은 R, G 및 B 채널과 N 채널의 상관관계를 도시한다.

도 3에 도시된 바와 같이, N 채널은 R, G 및 B 채널 각각과 서로 다른 상관관계를 지닌다. 그러나, N 채널은 R, G 및 B 채널 모두에 대해 선형적인 관계(310, 320, 330)인 것을 알 수 있다.

도 4는 N 채널과 RGB 채널의 선형관계를 나타내는 계수값을 획득한 일 예를 도시한다.

도 4 에서 Set 1 및 Set 2는 각각 노이즈 레벨을 고려하기 전과 고려한 후에 획득한 N 채널에서 최종계수 α_R ,α_G ,α_B 를 획득한 것이다. Set 3는 물리 필터를 이용하여 획득한 N 채널을 이용하여 이상적인 상황에서 최종 계수 α_R ,α_G ,α_B 를 획득한 것이다.

이 경우, 각 계수는 서로 다른 특성을 갖지만 RGB 각 채널의 계수간 비율, 즉 NIR 대역의 RGB 채널 값 사이의 비율은 일정하게 유지되는 것을 볼 수 있다(400). 실외 영상에 대해 동일한 방법으로 계수를 구하는 경우, 선형 관계에 대한 기울기는 다르지만, 채널 간 계수 비율은 방법에 상관없이 일정하게 유지되는 것을 볼 수 있다(410).

도 3 및 4와 같이 R, G, B 및 N 채널 간 상관관계에 기반하여 가시광선 영역의 색감 복원을 수행하는 방법은 수학식 6과 같다.

수학식 6에서 K는 상수로 a_v,n /( a_v,n -1)으로 정의되며, α_r ,α_g ,α_b 는 근적외선 대역에서 각RGB채널과 N채널과의 비율을 나타내는 변수이다. ω_r,ω_g ,ω_b 는 가시광선 대역에서 RGB채널과 N채널과의 상관관계를 나타내는 변수이다.

◆ 채널간 간섭 억제 및 색감 복원

수학식 1내지 6은 이상적으로는 전체 대역 정보에서 NIR 대역 정보만을 제거함으로써 자연스러운 가시광선 대역의 색감을 획득할 수 있는 개념을 전제로 하고 있다.

그러나, 실제 입력 영상에서는 가시광선 대역 정보, NIR 대역 정보 외에 노이즈 성분이 획득된다. 예를 들어 불균일한 센서의 감도에 의한 노이즈, 열에 의한 노이즈 등이 있으며, 이를 고려하지 않고 색감 복원을 수행할 경우 실제 신호에서는 부각되지 않는 노이즈가 부각되는 현상이 발생한다.

따라서, 전체 대역정보에서 NIR 대역 정보 만을 제거하여 색감 복원을 수행할 경우 실제로는 신호 성분의 비중이 작아지는 반면 노이즈 성분은 색감 복원과정에서 증폭이 되거나 색감 복원 오류 등으로 인해 추가되는 경우가 발생하여 결과적으로 SNR(신호 대 잡음비)가 매우 낮아질 수 있다. 특히, 가시광선 대역에 비해 NIR 대역의 에너지 비중이 큰 백열등과 같은 광원에서 이러한 현상이 더 크게 나타날 수 있다.

백열등 광원에서 획득한 영상을 SNR normal 입력조건으로 가정할 경우, 입력영상에 대해 실제보다 낮은 SNR을 고려하는 경우 색감 복원 성능이 낮아져 NIR 대역 성분이 많이 남게되는 문제가 있다. 반대로, 입력영상에 대해 실제보다 높은 SNR을 고려하는 경우 NIR 대역 성분은 잘 제거되어 색감 복원 성능은 높아지나, 평탄 영역에서 오류가 증폭되는 문제가 있다.

그 결과, 수학식 1내지 6을 통해 실제 RGBN 채널간 상관관계에 기반하여 색감을 복원하는 방법에 비해 오류가 커지게 된다. 특히 N 채널 스펙트럼 분리를 위한 계수 (수학식 6의 K,ω_r,ω_g ,ω_b )의 오류가 커지게 된다.

따라서, 본 발명의 바람직한 일 실시예에서는 SNR을 고려하더라도 색감 복원 향상, 디테일 훼손 방지 및 N 채널 추정과정에서 발생하는 에러의 증폭 방지를 모두 만족시키는 색감 복원 방법을 제안하고자 한다.

이를 위하여 본 발명의 바람직한 일 실시예에서는 색감 복원시 색도 적응적 계수를 이용한다. 도 5 는 적응적으로 색도 계수를 추정하는 일 실시예를 도시한다.

일반적으로 2차 색도 신호 평면을 이용하여 색도 신호 상에서 각 컬러 패치의 분포를 분석하는 방법을 통해 RGB 3차 컬러 신호를 분석한다. 이 경우, 밝기에 의한 영향을 제거하기 위해 도 5와 같이 정규화 된 색차 평면을 이용한다.

이를 기초로 색상에 따라 k-means 클러스터링 방법을 이용하여 최소의 에러를 갖는 K 개의 그룹을 정하고, 색도 평면상에서 K 개의 그룹의 중심을 구할 수 있다. k-means 클러스터링 방법은 주어진 데이터 사이의 상관관계를 바탕으로 다수의 그룹으로 구분하는 방법으로, k개의 임의의 중심에 대해 iteration을 거쳐 최소한의 에러를 갖는 최적의 그룹 중심을 찾는 방법이다.

도 5를 참조하면, R 및 G-B, R 및 N-B, 그리고 G-B 및 N-B 로 도식화된 색차평면을 사용하여, 그 중 대표색상 3개의 그룹을 정하여 중심을 잡은 모습을 볼 수 있다. 이 3개의 그룹을 대표그룹으로 하여 입력된 임의의 색상이 위치한 곳과 대표색상그룹과의 거리를 가중치로 계산하여 보정된 색상을 갖게 된다.

그러나, 색상 패치 간 에러를 구함에 있어서 주어진 컬러 차트 색상 샘플 자체가 모든 색상을 포함하지 못하기 때문에 생성된 그룹 사이에 불균형이 발생할 수 있다. 즉, 붉은색 샘플이 많은 경우 붉은색에 관련된 그룹이 많아지게 됨으로 인해 최종적으로 다른 색상에 대한 고려가 잘 되지 않을 수 있다.

이를 보완하기 위하여, 본 발명의 바람직한 일 실시예에서는 수학식 7과 같이 선형 회기에 기반한 에러 추정 방법을 사용하였다.

(

).

수학식 7은 실제가시광선 대역의 정보(예,R_vis)에서 추정된 가시광선 대역의 정보(R^_vis)의 차이가 가장 작아지는 A_k 를 찾기 위한 수식이다.

본 발명의 바람직한 일 실시예에서는 주어진 조명에서 촬영한 영상에서 색상 샘플의 그룹화가 이루어지고, 그에 따라 그룹의 중심 및 각 그룹의 변환 매트릭스가 구해지면, 동일 조명에 대한 임의의 영상에 대해서도 색상 적응적 컬러 복원을 수행한다.

즉, 각 그룹에 대한 변환 매트릭스를 A_k 라고 할 때 수학식 8을 통해 임의의 색상에 대한 변환 매트릭스를 구한다. 이 경우, 각 그룹에 대한 가중치는 색도 평면상 거리에 반비례하도록 정의한다.

수학식 8에서 A_k는 각 그룹에 대한 변환 매트릭스를

은 각 그룹에 대한 가중치를 나타낸다.

그 결과, 색감 복원 매트릭스는 수학식 9와 같이 설정할 수 있다.

α_r(c) ,α_g(c) ,α_b(c) 는 색도성분에 적응적으로 변화하는, 근적외선 대역에서의 RGB채널과 N채널과의 상관관계를 나타내고, c는 해당 픽셀의 색도 성분을 나타낸다.

수학식 9의 계수α_r(c) ,α_g(c) ,α_b(c) 는 색도 성분에 대한 함수의 형식으로 표현이 가능하고, 실제가시광선 대역의 정보(예,R_vis)와 추정된 가시광선 대역의 정보(R^_vis)의 차이가 가장 작아지는 A_k (

)를 통해 얻어지며, 색상에 따라 적응적으로 변화된다.

그리고

,

,

는 수학식 6에서의 ω_r ω_g ω_b 값에서 더 나아가서, 노이즈레벨을 고려하여 추정된 계수이다. 이것은 입력영상의 SNR 수준에 따라서 선택되어지는 set로 구성되어 있다

◆ 입력 영상의 오류 증폭을 방지하기 위한 색감 복원

수학식 7내지 9와 관련된 설명에서 살펴본 바와 같이 색도 적응적 계수 및 선형 회기에 기반한 에러 추정에 기초하여 색상에 따라 적응적으로 채널간 간섭 억제하여 색감을 복원하는 경우에도, NIR 대역 정보의 비중이 큰 경우에는 영상의 디테일이 훼손될 수 있다.

도 6은 본 발명의 바람직한 일 실시예에서, NIR 대역 정보의 비중이 큰 경우에도 영상의 디테일이 훼손되는 것을 방지하기 위한 AGC(Adaptive gain control) 개념을 도시한다.

수학식 10과 같이, 입력 N 채널의 NIR 전대역 정보(N_all)에서 RGB 채널로부터 추정된 입력 N 채널의 NIR 전대역 정보(N^_all)의 차이값에 계수 K(K는 상수)를 곱하여 추정된 NIR 성분값(N^_nir)을 도출한다.

수학식 10에서 N^_all는 수학식 6 또는 9에서 획득한 ω_r,ω_g ,ω_b 를 RGB 채널에 곱하여 획득한다. 이 경우 노이즈를 고려하지 않는 경우에는 수학식 6을, 노이즈를 고려하는 경우에는 수학식 9를 이용할 수 있다.

이 과정에서, N_all와 N^_all의 차이값으로 인해 발생하는 노이즈 성분이 K를 곱하면서 증폭되는 문제가 발생할 수 있다. 그로 인해 추정된 NIR 성분값이 낮은 SNR로 이어져, 추후 NIR decomposition 과정에서 오류를 발생시킨다.

특히, K는

값을 증폭시키는 역할을 수행하는데, 수학식 10에서 K는 상수값이므로, 증폭이 영상 전체에 적용된다.

따라서, 본 발명의 바람직한 일 실시예에서는 N^_all을 줄이면(r*N^_all)(610),

값의 SNR을 높일 수 있다. 다만, 이 경우 K 값을 변화시키지 않을 경우, 추정된 NIR영상의 값(N^_nir)이 수학식 10을 통해 추정한 경우와 다른 값이 나온다. 따라서, 수학식 11 및 12와 같이 K값을 조절하는

값을 추가한다(620). 그 결과 수학식 11 및 12에서 K는 상수가 아닌 가변적인 값이 된다.

수학식 11에서 λ는 수학식 12와 같이 구한다.

수학식 12의 N^_nir은 수학식 10에서 획득한 값을 이용한다. 즉, 수학식 11에서는 수학식 10에서 획득한 N^_nir을 기초로 수학식 12에서 λ를 계산하여 새롭게 N^_nir을 재생성한다. r, λ를 통해 수학식 11에서 재생성된 N^_nir은 전체적인 밝기(intensity)값을 유지하면서 SNR을 높게 유지할 수 있다.

수학식 12를 통해 N_all 과 N^_nir 영상을 Blur 시킬 경우, 도 7과 같이 N^_nir 영상의 노이즈 성분이 억제되며 입력된 N_all 영상의 패턴을 따라가게 된다(710).

도 7에서 N^_nir(720)에 수학식 11을 적용할 경우 노이즈 성분이 억제된 결과(720)를 얻을 수 있다. 도 7은 수학식 12의 r 값을 4로, blur에 uniform mask를 사용한 일 실시예를 도시한다.

◆ 광포화 현상을 고려한 색감 복원

도 8은 RGBN 센서를 사용하는 경우, 색상복원 과정에서 손실의 예를 도시한다.

일반적인 Bayer pattern의 RGB 센서는 입력된 신호 그대로 color processing을 진행하지만, 본 발명의 바람직한 일 실시예에서 이용하는 RGBN 센서(820)는 NIR 대역(830)도 입력신호로 받아들이므로, 입력신호의 dynamic range가 손실된다. 다시 말해, 같은 셔터 스피드와 조리개로 촬영시 본원 발명에서 이용하는 IRCF가 없는 RGBN 센서의 영상이 일반 Bayer Pattern의 RGB 영상보다 밝기가 더 어둡게 된다.

이러한 문제를 해결하기 위해, 본 발명의 바람직한 일 실시예에서는 색감 복원 과정에서 도 9와 같은 가중치 곡선을 적용하여 광포화에 근접하는 영역의 색 복원을 억제시킨다. 도 9에서 임계값은 수학식 13과 같이 설정한다.

여기서, N_i,j ^input은 근적외선 영상의 픽셀값을 나타낸다.

그리고, 광포화 곡선은 수학식 14와 같이 설정한다.

수학식 14에서 x는 N픽셀에 들어오는 입력값을 나타내고, normal은 normalize term으로 상수이다.

본 발명의 바람직한 일 실시예에서는 수학식 13내지 14를 통해 광포화 현상을 고려한 색감 복원을 수행함으로써 포화 영역에서 NIR 제거 비율이 줄어들어, 주변환경과 어울리는 자연스러운 색상으로 복원이 가능하다.

도 10 은 본 발명의 바람직한 일 실시예로서, 색감 복원 장치(1000)의 내부 구성도의 일 예를 도시한다.

가시광선 대역 및 비가시 대역을 포함하는 전대역 입력 영상에서 N_all 채널을 분리한다(1010). 이 경우, 본 발명의 바람직한 이 실시예에서는 N_all채널의 물리적 한계(도 2, 210)로 인해 혼합된 스펙트럼 정보를 분리한다(수학식 4, 5, 9 및 10 내지 12 참고). 이를 위해 수학식 9에 개시된 컬러 채널과 근적외선 채널간의 상관관계를 이용한다. 채널간섭억제부(1030)에서 수학식 9에서 이용되는 적응적인 색도 계수 α_r(c) ,α_g(c) ,α_b(c)를 계산한다.

이후, AGC(Adaptive Gain Contol)부를 통해 수학식 10 내지 12를 기초로 N_all 채널에서 근적외선 대역 정보 N^_NIR 를 분리한다.

분리된 N^_NIR 를 기초로 RGB 각 채널에서 근적외선 대역 정보 R^_nir, G^_nir 및 B^_nir를 추정한다(도 3 및 4 참고).

이상을 통해 가시대역과 비가시대역이 포함된 전대역 영상 R_all, G_all, B_all ,N_all 에서 가시대역 영상 R_{vis ,}G_{vis ,}B_vis 만을 복원하게 된다. 본 발명의 바람직한 일 실시예에서는 이후 수학식 13 및 14와 같은 방식으로 광포화 현상을 추가로 고려하여 색감을 복원할 수 있다.

도 11 은 본 발명의 바람직한 일 실시예로서, 색감 복원 장치(1100)의 내부 구성도를 도시한다.

색감 복원 장치(1100)는 채널상관관계 파악부(1110), 적응적 색도계수 생성부(1120), AGC부(Adaptive Gain Control)(1130), 비가시대역정보파악부(1140), 광포화제어부(1150)를 포함한다.

채널상관관계 파악부(1110)에서는 적응적 색도 계수 생성부(1120)에서 K-means 클러스터링 방식을 기초로 생성한 실제가시광선 대역의 정보(예,R_vis)와 추정된 가시광선 대역의 정보(R^_vis)의 차이가 가장 작아지는 적응적인 색도 계수 α_r(c) ,α_g(c) ,α_b(c) 및 실제 노이즈 레벨을 고려하여 수학식 9와 같이 RGB 채널과 N 채널의 상관관계를 파악한다.

채널상관관계 파악부(1110)에서는 파악된 상관관계를 기초로 R_all, G_all, B_all ,N_all 에서 N_all 을 분리한다. AGC부(Adaptive Gain Control)(1130)에서는 수학식 10내지 12를 통해 N_all 로부터 근적외선 대역 정보 N^_NIR 를 분리한다.

가시대역 정보 복원부(1140)에서는 AGC부(Adaptive Gain Control)(1130)에서 분리한 N^_NIR 정보를 기초로 R^_nir, G^_nir 및 B^_nir를 추정한다. 그 후 컬러 채널 전대역 정보 R_all, G_all, B_all에서 추정된 비가시대역 정보(R^_nir, G^_nir 및 B^_nir)를 제거하여 가시대역 영상 R_{vis ,}G_{vis ,}B_vis 을 복원한다.

본 발명의 바람직한 일 실시예에서는, 광포화 제어부(1150)에서 수학식 13내지 14를 통해 이상에서 복원된 가시대역 영상에 광포화 보정을 수행한다.

한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.

Claims (16)

1. 가시 대역과 비가시 대역을 포함하는 전대역 입력 영상에서 컬러 채널과 근적외선 채널간의 상관관계를 이용하여, 상기 전대역 입력 영상에서 상기 비가시 대역 정보를 제거하여 상기 가시 대역 정보를 추정하는 단계;
   실제 가시대역 정보와 상기 추정된 가시대역 정보의 차이값이 가장 작아지는 적응적인 색도 계수값을 K-means 클러스터링 방식을 기초로 파악하고, 파악된 적응적인 색도 계수값을 이용하여 상기 채널간 간섭을 억제하는 단계; 및
   근적외선 채널의 전대역 정보(N_all) 및 상기 컬러 채널로부터 추정된 NIR 전대역 정보(N^_all)를 이용하여 상기 근적외선 채널의 비가시대역 정보(N^_nir)를 생성하는 단계;를 포함하는 것을 특징으로 하는 색감 복원 방법.
2. 제 1 항에 있어서,
   R_all=R_vis + R_nir
   G_all=G_vis + G_nir
   B_all=B_vis + B_nir
   N_all=N_vis + N_{nir ,}
   각 채널의 가시대역 및 비가시대역은 위와 같이 표시되고, 여기서 아래첨자 all은 전대역, vis는 가시대역 그리고 nir은 비가시대역을 나타내는 것을 특징으로 하는 색감 복원 방법.
3. 제 1 항에 있어서,
   근적외선 채널의 비가시대역 정보(N^_nir)를 파악하는 단계에서 파악된 N^_nir를 기초로 RGB 각 채널에서 비가시대역 정보 R^_nir, G^_nir 및 B^_nir를 추정하는 것을 특징으로 하는 색감 복원 방법.
4. 삭제
5. [청구항 5은(는) 설정등록료 납부시 포기되었습니다.]

   제 1 항에 있어서, 상기 컬러 채널과 근적외선 채널간의 상관관계는
   

   

   
   위의 수식과 같고, 상기 수식에서
   α_r(c) ,α_g(c) ,α_b(c) 는 상기 실제 가시대역 정보와 상기 추정된 가시대역 정보의 차이값이 가장 작아지는 적응적인 색도 계수값이고, c는 해당 픽셀의 색도 성분을 나타내며, K는 상수이고,

   

   ,

   

   ,

   

   는 노이즈값을 고려하여 가시광선 대역에서 RGB채널과 N채널과의 상관관계를 나타내는 추정값인 것을 특징으로 하는 색감 복원 방법.
6. 제 1 항에 있어서, 특정 조명마다
   다중 대역 필터 센서를 통해 상기 전대역 입력 영상을 획득하고, 가시광선 대역 필터 센서를 통해 상기 실제 가시대역 정보를 획득하는 것을 특징으로 하는 색감 복원 방법.
7. [청구항 7은(는) 설정등록료 납부시 포기되었습니다.]

   제 1 항에 있어서, 상기 근적외선 채널의 비가시대역 정보(N^_nir)를 생성하는 단계는 수학식 11을 통해 N^_nir를 생성하고,
   수학식 11 : λK*(N_all-rN^_all)=N^_nir ,여기서 λ는 수학식 12와 같이 표시되고,
   수학식 12:

   

   
   수학식 12의 N^_nir은

   

   로부터 얻어진 값이며, 이 경우 N_all은 근적외선 채널의 전대역 정보, N^_all은 상기 컬러 채널로부터 추정된 NIR 전대역 정보, r은 0<r<1 상수, 그리고 K는 상수인 것을 특징으로 하는 색감 복원 방법.
8. [청구항 8은(는) 설정등록료 납부시 포기되었습니다.]

   제 1 항에 있어서,
   상기 근적외선 채널에서 광포화 보정을 위하여 아래와 같은 가중치 곡선 curve를 적용하여 임계값을 초과하는 영역의 색 복원은 억제되고,
   

   

   
   여기서, x는 근적외선 영상의 픽셀값을 나타내며, normal은 normalize term으로 상수이고, threshold=MAX(N_i,j ^input)*0.7 이며, N_i,j ^input은 근적외선 영상의 픽셀값을 나타내는 것을 특징으로 하는 색감 복원 방법.
9. 가시 대역과 비가시 대역을 포함하는 전대역 입력 영상에서 컬러 채널과 근적외선 채널간의 상관관계를 파악하여 R_all, G_all, B_all ,N_all 에서 N_all 을 분리하는 채널상관관계 파악부;
   실제가시광선 대역의 정보와 추정된 가시광선 대역의 정보의 차이가 가장 작아지는 적응적인 색도 계수를 K-means 클러스터링 방식을 기초로 생성하는 적응적 색도계수 생성부;
   상기 채널상관관계파악부에서 분리된 입력 N 채널의 NIR 전대역 정보(N_all) 에서 상기 컬러 채널로부터 추정된 입력 N 채널의 NIR 전대역 정보(N^_all)의 r(0<r<1)배한 값의 차이를 증폭하여 상기 근적외선 채널의 비가시대역 정보(N^_nir)를 도출하는 AGC부;및
   상기 AGC부에서 도출한 상기 근적외선 채널의 비가시대역 정보(N^_nir)를 기초로 상기 컬러채널의 비가시대역 정보(R^_nir, G^_nir 및 B^_nir)를 추정하고, 컬러 채널 전대역 정보 R_all, G_all, B_all에서 추정된 비가시대역 정보(R^_nir, G^_nir 및 B^_nir)를 제거하여 상기 컬러채널의 가시대역 영상을 복원하는 가시대역 정보 복원부;를 포함하는 것을 특징으로 하는 색감 복원 장치.
10. 제 9 항에 있어서,
    상기 복원된 가시대역 영상의 색감 복원 과정에서 상기 근적외선 채널에 광포화 보정을 수행하는 광포화제어부;를 더 포함하는 것을 특징으로 하는 색감 복원 장치.
11. 제 9 항에 있어서,
    R_all=R_vis + R_nir
    G_all=G_vis + G_nir
    B_all=B_vis + B_nir
    N_all=N_vis + N_nir,
    각 채널의 가시대역 및 비가시대역은 위와 같이 표시되고, 여기서 아래첨자 all은 전대역, vis는 가시대역 그리고 nir은 비가시대역을 나타내는 것을 특징으로 하는 색감 복원 장치.
12. 제 9 항에 있어서,
    N^_NIR 는 R^_nir, G^_nir 및 B^_nir각각과 선형관계의 특성을 지니는 것을 특징으로 하는 색감 복원 장치.
13. [청구항 13은(는) 설정등록료 납부시 포기되었습니다.]

    제 9 항에 있어서, 상기 컬러 채널과 근적외선 채널간의 상관관계는
    

    

    
    위의 수식과 같고, 상기 수식에서
    α_r(c) ,α_g(c) ,α_b(c) 는 상기 적응적인 색도 계수값이고, c는 해당 픽셀의 색도 성분을 나타내며, K는 상수이고,

    

    ,

    

    , 는 노이즈값을 고려하여 가시광선 대역에서 RGB채널과 N채널과의 상관관계를 나타내는 추정값인 것을 특징으로 하는 색감 복원 장치.
14. 제 9 항에 있어서, 특정 조명마다
    다중 대역 필터 센서를 통해 상기 전대역 입력 영상을 획득하고, 가시광선 대역 필터 센서를 통해 상기 실제 가시광선대역 정보를 획득하는 것을 특징으로 하는 색감 복원 장치.
15. [청구항 15은(는) 설정등록료 납부시 포기되었습니다.]

    제 9 항에 있어서, 상기 AGC부는 수학식 11을 통해 N^_nir를 생성하고,
    수학식 11 : λK*(N_all-rN^_all)=N^_nir ,여기서 λ는 수학식 12와 같이 표시되고,
    수학식 12:

    

    
    수학식 12의 N^_nir은

    

    로부터 얻어진 값이며, 이 경우 N_all은 근적외선 채널의 전대역 정보, N^_all은 상기 컬러 채널로부터 추정된 NIR 전대역 정보, r은 0<r<1 상수, 그리고 K는 상수인 것을 특징으로 하는 색감 복원 장치.
16. 삭제

Images