KR101915649B1

KR101915649B1 - 이미지 처리 기기 및 컬러 밸런싱 방법

Info

Publication number: KR101915649B1
Application number: KR1020177018646A
Authority: KR
Inventors: 카림 헬워니; 루카츠 콘드라드; 니콜라 피오토
Original assignee: 후아웨이 테크놀러지 컴퍼니 리미티드
Priority date: 2015-03-18
Filing date: 2015-03-18
Publication date: 2018-11-06
Also published as: CN107431794A; WO2016146180A1; KR20170094303A; EP3216217B1; JP6538176B2; JP2018509797A; US10504245B2; EP3216217A1; US20170316585A1; CN107431794B

Abstract

적어도 제1 카메라에 의해 기록된 제1 이미지와 제2 카메라에 의해 기록된 제2 이미지의 컬러 밸런싱을 수행하는 이미지 처리 기기가 제공된다. 상기 이미지 처리 기기는 컬러 밸런싱 결정 유닛 및 컬러 밸런싱 계산 유닛을 포함한다.
상기 컬러 밸런싱 결정 유닛은, 상기 제1 이미지 및 상기 제2 이미지의 참조 화소 값에 기초하여 비용 함수를 최소화함으로써 상기 제1 이미지 및 상기 제2 이미지의 둘 이상의 이득 계수(

,

)를 포함하는 전역 이득 벡터(t)를 결정한다. 상기 제1 이미지의 참조 화소 및 상기 제2 이미지의 참조 화소는 상기 두 이미지의 공유 컬러 장면을 나타낸다.
상기 컬러 밸런싱 계산 유닛은, 상기 제1 이미지의 이득 계수(

)에 기초하여 상기 제1 이미지의 컬러 밸런싱을 수행하고, 상기 제2 이미지의 이득 계수(

)에 기초하여 상기 제2 이미지의 컬러 밸런싱을 수행한다.

Description

이미지 처리 기기 및 컬러 밸런싱 방법 {IMAGE PROCESSING DEVICE AND METHOD FOR COLOR BALANCING}

본 발명은 각각 이미지의 컬러 밸런싱을 수행하는 이미징 시스템, 이미지 처리 기기 및 이미지 처리 방법에 관한 것이다.

특성이 상이한 카메라들 사이에서 컬러 영역(color gamut)을 안정적으로 밸런싱하는 능력은 많은 애플리케이션 분야에서 중요한 요구사항이다. 파노라마 이미지 형성, 즉 이미지 스티칭(image stitching)을 처리할 때, 인간의 시각 시스템은 인접한 이미지(adjacent image)들에서의 컬러 차이를 알아채는 데 매우 능숙하기 때문에, 컬러 밸런싱된 입력 이미지(color balanced input image)의 가용성(availability)이 특히 중요하다.

예시적인 컬러 밸런싱 방법은 2가지 범주에 속한다:

■ 하드웨어 카메라 레지스터 교정(hardware camera register calibration),

■ 카메라 이미지 후처리(camera image post-processing).

첫 번째 범주의 방법은 어떤 원하는 카메라의 컬러 응답을 얻기 위해, 내부 카메라 레지스터, 예를 들어 이득, 노출 등을 수정한다. 하드웨어 교정의 일반적인 개념은 일반적인 옵티마이저(optimizer)를 사용하여 컬러 차트의 카메라 이미지와 타깃 이미지의 컬러들 사이에서 가장 근사하게 매칭되는 상태에 대한 각각의 카메라의 하드웨어 레지스터 값의 공간을 검색하는 것이다. 각각의 카메라에 대해, 옵티마이저는 반복적으로 레지스터 값을 조정하고, 이미지를 획득하고, 비용을 계산한다. 일반적으로 옵티마이저는 모든 카메라가 타깃 이미지에 충분히 가까워질 때까지, 또는 이전의 반복으로부터 유의한 개선이 없을 때까지 실행된다. 그러나 하드웨어 카메라 레지스터 교정은, 그 범위와 정밀도가 종종 부적절하기 때문에, 컬러 일관성(color consistency)을 얻기에는 일반적으로 불충분하다.

따라서, 획득 후에 이미지가 처리되고 컬러 교정이 수행되는 두 번째 범주의 방법이 바람직하다. 이러한 방법은 더욱 정밀한 개선을 제공한다.

또한, 카메라 내부 레지스터 교정과 이미지 후처리 세분화가 모두 적용되는, 전술한 두 가지 분류의 조합을 고려할 수 있다.

전술한 예시적인 컬러 밸런싱은 다음과 같은 많은 문제점을 안고 있다:

■ 표준화된 컬러 샘플을 포함하는 알려진 타깃에 대해서만 컬러 교정을 수행한다.

■ 작업 환경의 조명 조건이 변화된 경우와 같이 시스템을 재교정(re-calibrated)해야 하는 경우, 미리 정의된 패턴을 사용할 필요성은 유연성의 부족을 보인다.

■ 교정될 카메라는 중첩 시야(overlapping field of view)를 가져야 한다. 필요한다. 컬러 밸런싱되어야 할 카메라 간의 중첩 영역은 컬러 교정 패턴을 포함할 만큼 충분히 커야 한다. 즉, 교정 패턴이 없으면 두 카메라 사이에 컬러 매칭만 수행되고, 컬러 영역의 밸런싱은 수행되지 않는다.

■ 공유 시야가 최소화되는 대규모 카메라 어레이에서, 이 요건은 엄격한 제한 사항이다.

본 발명에서, 카메라 쌍들 사이의 컬러 영역을 밸런싱하기 위한 새로운 기술이 제안된다. 이 기기 및 방법은 참조 컬러 패턴을 사용할 필요가 없고, 유리하게도, 매우 빠른 해 추정(solution estimation)으로 인해 온라인 시나리오에서 실시간 제약에 대처할 수 있는 간단한 선형 모델, 예를 들어, 실시간 동적 컬러 밸런싱을 가정한다.

■ 앞서 설명한 예시적인 접근법의 문제점을 극복하기 위해, 공지된 컬러 차트의 사용과 밸런스를 이뤄야 할 카메라들의 시야의 일부분을 공유할 필요성과 관련하여 이하의 기술이 제안된다.

■ 제조의 부정확성, 노이즈 및 기타 요인으로 인해, 완전히 동일한 모델 /제조업체의 카메라일지라도 상이한 컬러 영역을 가질 가능성이 크다.

■ 목표는 다음과 같은 방법으로 각각의 카메라의 컬러 영역을 변환하는 것이다:

- 변환된 컬러 영역 간의 차이를 최소화한다.

- 각각의 카메라의 변환된 컬러 영역이 참조 컬러가 되는 경향이 있다.

■ 제안된 접근법은 컬러 차트를 사용할 필요가 없다. 즉, 참조 컬러에 대한 지식이 밸런싱에 반드시 필요하지는 않다.

■ 이 접근법은 단지 각 카메라가 반드시 컬러 차트는 아닌, 동일한 장면의 이미지을 포착할 것을 요구한다.

■ 입력/출력은 선형 모델로 표현되므로, 매우 빠른 파라미터 추정과 짧은 처리 시간을 가능하게 한다.

■ 빠른 처리는 동적 환경 조명 조건의 밸런싱을 위한 실시간 연속 컬러 교정이 가능하게 한다.

따라서, 본 발명의 목적은 교정 타깃을 사용할 필요 없이 정확한 컬러 교정을 가능하게 하는 장치 및 방법을 제공하는 것이다.

상기 목적은 장치에 대한 청구항 1의 특징, 시스템에 대한 청구항 9 및 방법에 대한 청구항 13의 특징에 의해 해결된다. 또한, 관련된 컴퓨터 프로그램에 대한 청구항 14의 특징에 의해 해결서도 된다. 종속항은 더 발전된 사항을 포함한다.

본 발명의 제1 측면에 따르면, 적어도 제1 카메라에 의해 기록된 적어도 제1 이미지 및 제2 카메라에 의해 기록된 제2 이미지의 컬러 밸런싱(color balancing)을 수행하는 이미지 처리 기기가 제공된다. 상기 이미지 처리 기기는 컬러 밸런싱 결정 유닛 및 컬러 밸런싱 계산 유닛을 포함한다. 상기 컬러 밸런싱 결정 유닛은, 상기 제1 이미지의 참조 화소 값 및 상기 제2 이미지의 참조 화소 값에 기초하여 미리 결정된 비용 함수를 최소화함으로써 상기 제1 이미지의 하나 이상의 이득 계수 및 상기 제2 이미지의 하나 이상의 이득 계수를 포함하는 전역 이득 벡터(global gain vector)를 결정하도록 구성된다. 상기 제1 이미지의 참조 화소 및 상기 제2 이미지의 참조 화소는 상기 제1 이미지 및 상기 제2 이미지의 공유 컬러 장면(shared color scene)을 나타낸다. 상기 컬러 밸런싱 계산 유닛은, 상기 제1 이미지의 하나 이상의 이득 계수에 기초하여 상기 제1 이미지의 컬러 밸런싱을 수행하고, 상기 제2 이미지의 하나 이상의 이득 계수에 기초하여 상기 제2 이미지의 컬러 밸런싱을 수행하도록 구성된다. 따라서, 컬러 차트 또는 참조 패턴의 이미지를 취할 필요없이 컬러 밸런싱을 수행하는 것이 가능하다.

제1 측면의 제1 구현 형태에 따르면, 상기 제1 이미지 및 상기 제2 이미지는 각각 세 개 이상의 컬러 채널을 포함한다. 그러면 상기 컬러 밸런싱 결정 유닛은 상기 이미지들의 각각의 컬러 채널에 대해 개별 비용 함수를 최소화하도록 구성된다. 그러면 상기 컬러 밸런싱 계산 유닛은, 각각의 컬러 채널에 대해 개별적으로 상기 제1 이미지의 컬러 밸런싱을 수행하고, 각각의 컬러 채널에 대해 개별적으로 상기 제2 이미지의 컬러 밸런싱을 수행하도록 구성된다. 따라서 컬러 이미지를 처리하는 것이 가능하다.

제1 측면의 제2 구현 형태에 따르면, 상기 제1 이미지와 상기 제2 이미지의 공유 컬러 장면은 하나 이상의 동일한 대상(object) 또는 영역(area)을 포착한 장면이다. 상기 하나 이상의 동일한 대상 또는 영역은 상기 제1 카메라와 상기 제2 카메라의 공유 시야(shared field of view) 내에 있다. 따라서 훨씬 더 정확한 컬러 밸런싱을 수행하는 것이 가능하다.

또는, 제1 측면의 제3 구현 형태에서, 상기 제1 이미지와 상기 제2 이미지의 공유 컬러 장면은 하나 이상의 동일한 컬러를 포착한 장면이다. 상기 하나 이상의 동일한 컬러는 상기 제1 카메라와 상기 제2 카메라의 공유 시야 내에 없다. 따라서, 각각의 카메라가 공유 시야를 가지지 않더라도, 컬러 밸런싱을 수행하는 것이 가능하다.

제1 측면의 제4 구현 형태에 따르면, 상기 이미지 처리 기기는, 적어도 상기 제1 카메라에 의해 기록된 제1 이미지, 상기 제2 카메라에 의해 기록된 제2 이미지 및 제3 카메라에 의해 기록된 제3 이미지의 컬러 밸런싱을 수행하도록 구성된다. 상기 컬러 밸런싱 결정 유닛은, 상기 컬러 밸런싱 계산 유닛이 상기 제1 이미지 및 상기 제2 이미지의 컬러 밸런싱을 수행하여, 컬러 밸런싱된 제1 이미지 및 컬러 밸런싱된 제2 이미지를 얻은 후, 상기 컬러 밸런싱된 제2 이미지의 참조 화소 값 및 상기 제3 이미지의 참조 화소 값에 기초하여 미리 결정된 비용 함수를 최소화함으로써 상기 제2 이미지의 하나 이상의 추가 이득 계수 및 상기 제3 이미지의 하나 이상의 이득 계수를 포함하는 추가 전역 이득 벡터를 결정하도록 구성된다. 상기 컬러 밸런싱된 제2 이미지 및 상기 제3 이미지의 참조 화소는 상기 컬러 밸런싱된 제2 이미지와 상기 제3 이미지의 공유 컬러 장면을 나타낸다. 그러면 상기 컬러 밸런싱 계산 유닛은, 상기 제2 이미지의 하나 이상의 추가 이득 계수에 기초하여 상기 컬러 밸런싱된 제2 이미지의 컬러 밸런싱을 수행하고, 상기 제3 이미지의 하나 이상의 이득 계수에 기초하여 상기 제3 이미지의 컬러 밸런싱을 수행하도록 구성된다. 따라서 둘 이상의 이미지의 컬러 밸런싱을 수행하는 것이 가능하다.

제1 측면의 제5 구현 형태에 따르면, 상기 미리 결정된 비용 함수를 최소화하는 것은,

다음 식:

y_j ⁽¹⁾ = a⁽¹⁾ · x_j (1),

y_j ⁽²⁾ = a⁽²⁾ ·x_j (2)

를 수립하는 것 - 여기서, j는 화소 번호이고, yj⁽¹⁾은 상기 제1 카메라에 의해 측정된, 화소 번호 j의 값이고, y1⁽²⁾는 상기 제2 카메라에 의해 측정된, 화소 번호 j의 값이고, x_j는 화소 j의 참조 컬러 값이고, a⁽¹⁾은 x_j가 yj⁽¹⁾에 도달하기 위해 곱해져야 하는 이득 계수이고, a⁽²⁾는 x_j가 yj⁽²⁾에 도달하기 위해 곱해져야 하는 이득 계수임 -,

식 (1)에 a⁽²⁾를 곱하고 식(2)에 a⁽¹⁾을 곱하여 다음 식:

y_j ⁽¹⁾· a⁽²⁾ = a⁽¹⁾ · x_j · a⁽²⁾,

y_j ⁽²⁾ · a⁽¹⁾= a⁽²⁾ · x_j · a⁽¹⁾

을 얻는 것,

상기 결과 식들을 감산하여 다음 식:

y_j ⁽¹⁾· a⁽²⁾ - y_j ⁽²⁾ · a⁽¹⁾ = 0

을 얻는 것, 및

비용 함수를 다음 식:

J' = [ y_j ⁽¹⁾ y_j ⁽²⁾ ] [ a⁽²⁾ -a⁽¹⁾ ]^T (3)

으로 결정하는 것을 포함한다.

제1 측면의 제6 구현 형태에 따르면, 상기 미리 결정된 비용 함수를 최소화하는 것은,

J' = [ y_j ⁽¹⁾ y_j ⁽²⁾ ] [ a⁽²⁾ -a⁽¹⁾ ]^T

를 최소화하는 것을 포함하며,

여기서, j는 화소 번호이고, yj⁽¹⁾은 상기 제1 카메라에 의해 측정된, 화소 번호 j의 값이고, y1⁽²⁾는 상기 제2 카메라에 의해 측정된, 화소 번호 j의 값이고, a⁽¹⁾은 화소 j의 참조 컬러 값이 yj⁽¹⁾과 동일해지도록 곱해져야 하는 이득 계수이고, a⁽²⁾는 화소 j의 참조 컬러 값이 yj⁽²⁾와 동일해지도록 곱해져야 하는 이득 계수이다.

따라서 매우 효율적인 컬러 밸런싱이 가능하다.

제1 측면의 제5 또는 제6 구현 형태에 따른 제7 구현 형태에서, 전역 이득 벡터 t는 다음 식:

J = Y · t (4)

를 얻도록 가정되며, 여기서,

Y = [ y⁽¹⁾ y⁽²⁾ ] (5),

y⁽ⁿ⁾ = [ y₁ ⁽ⁿ⁾ ... y_i ⁽ⁿ⁾ ... y_l ⁽ⁿ⁾ ] T (6), 및

t = [ a⁽²⁾ -a⁽¹⁾ ]^T (7)이고,

여기서, t는 상기 전역 이득 벡터이고, Y는 상기 제1 카메라 및 상기 제2 카메라에 의해 단일 화소에 대해 측정된 값 y의 벡터이고, n은 화소 번호이고, i는 중간 화소 번호이고, l은 최종 화소 번호이며,

상기 미리 결정된 비용 함수를 최소화하는 것은,

바람직하게는 Ryy의 고유 값 분해(eigenvalue decompositon)를 수행하여 행렬 Ryy = Y^T ·Y의 자명하지 않는 영 공간(non-trivial nullspace)을 결정하는 것 - 여기서

(8)이고,

Ryy는 주 대각선에서 고유 값을 갖는 대각 행렬이고,

는 단위행렬임 -, 및 최소 고유 값

을 갖는 고유 벡터를 제1 컬러 밸런싱 정보

및 제2 컬러 밸런싱 정보

로 사용하는 것 - 여기서

임 - 을 포함한다.

따라서, 훨씬 더 높은 정확도의 컬러 밸런싱이 가능하다.

제1 측면의 제7 구현 형태에 따른 제8 구현 형태에서, 상기 컬러 밸런싱을 수행하는 것은,

상기 제1 카메라의 화소 값 y_j ⁽¹⁾을 이득 계수

로 나누는 것, 및

상기 제2 카메라의 화소 값 y_j ⁽²⁾을 이득 계수

로 나누는 것을 포함한다.

따라서, 낮은 계산 복잡도의 컬러 밸런싱이 가능하다.

본 발명의 제2 측면에 따르면, 제1 측면 또는 제1 측면의 구현 형태 중 어느 하나에 따른 이미지 처리 기기와, 적어도 제1 카메라 및 제2 카메라를 포함하는 이미징 시스템이 제공된다. 따라서 이미지를 기록하고 컬러 밸런싱이이 가능하다.

제2 측면의 제1 구현 형태에 따르면, 상기 제1 카메라와 상기 제2 카메라는 적어도 부분적으로 공유 시야를 갖는다. 따라서, 특히 정확한 컬러 밸런싱을 수행하는 것이 가능하다.

제2 측면의 제2 구현 형태에 따르면, 상기 이미징 시스템은 제3 카메라를 더 포함한다. 따라서, 둘 이상의 카메라에 의한 이미지 기록 및 기록된 이미지의 컬러 밸런싱을 수행하는 것이 가능하다.

제2 측면의 제2 구현 형태에 따른 제3 구현 형태에서, 상기 각각의 카메라는 하나 이상의 추가 카메라와 적어도 부분적으로 공유 시야를 갖는다. 따라서, 둘 이상의 카메라로, 특히 정확한 컬러 밸런스를 얻는 것이 가능하다.

본 발명의 제3 측면에 따르면, 적어도 제1 카메라에 의해 기록된 제1 이미지 및 제2 카메라에 의해 기록된 제2 이미지의 컬러 밸런싱을 수행하는 이미지 처리 방법이 제공된다. 상기 이미지 처리 방법은, 상기 제1 이미지의 참조 화소 값 및 상기 제2 이미지의 참조 화소 값에 기초하여 미리 결정된 비용 함수를 최소화함으로써 상기 제1 이미지의 하나 이상의 이득 계수 및 상기 제2 이미지의 하나 이상의 이득 계수를 포함하는 전역 이득 벡터를 결정하는 단계를 포함하며, 상기 제1 이미지의 참조 화소 및 상기 제2 이미지의 참조 화소는 상기 제1 이미지와 상기 제2 이미지의 공유 컬러 장면을 나타낸다. 또한, 상기 이미지 처리 방법은, 상기 제1 이미지의 하나 이상의 이득 계수에 기초하여 상기 제1 이미지의 컬러 밸런싱을 수행하는 단계, 및 상기 제2 이미지의 하나 이상의 이득 계수에 기초하여 상기 제2 이미지의 컬러 밸런싱을 수행하는 단계를 포함한다. 따라서, 기준 패턴의 필요성 없이 낮은 계산 복잡도의 고정밀 컬러 밸런싱을 수행하는 것이 가능하다.

제3 측면의 제1 구현 형태에 따르면, 상기 제1 이미지 및 상기 제2 이미지는 각각 세 개 이상의 컬러 채널을 포함한다. 상기 이미지들의 각각의 컬러 채널에 대해 개별 비용 함수가 최소화된다. 상기 제1 이미지 및 상기 제2 이미지의 컬러 밸런싱은 각각의 컬러 채널에 대해 개별적으로 수행된다. 따라서 컬러 이미지를 처리하는 것이 가능하다.

제3 측면의 제2 구현 형태에 따르면, 상기 제1 이미지와 상기 제2 이미지의 공유 컬러 장면은 하나 이상의 동일한 대상 또는 영역을 포착한 장면이다. 상기 하나 이상의 동일한 대상 또는 영역은 상기 제1 카메라와 상기 제2 카메라의 공유 시야 내에 있다. 따라서 훨씬 더 정확한 컬러 밸런싱을 수행하는 것이 가능하다.

또는, 제3 측면의 제3 구현 형태에서, 상기 제1 이미지와 상기 제2 이미지의 공유 컬러 장면은 하나 이상의 동일한 컬러를 포착한 장면이다. 상기 하나 이상의 동일한 컬러는 상기 제1 카메라와 상기 제2 카메라의 공유 시야 내에 없다. 따라서, 각각의 카메라가 공유 시야를 가지지 않더라도, 컬러 밸런싱을 수행하는 것이 가능하다.

제3 측면의 제4 구현 형태에 따르면, 적어도 상기 제1 카메라에 의해 기록된 제1 이미지, 상기 제2 카메라에 의해 기록된 제2 이미지 및 제3 카메라에 의해 기록된 제3 이미지의 컬러 밸런싱이 수행된다. 상기 제1 이미지 및 상기 제2 이미지의 컬러 밸런싱을 수행하여, 컬러 밸런싱된 제1 이미지 및 컬러 밸런싱된 제2 이미지를 얻은 후, 상기 컬러 밸런싱된 제2 이미지의 참조 화소 값 및 상기 제3 이미지의 참조 화소 값에 기초하여 미리 결정된 비용 함수를 최소화함으로써 상기 제2 이미지의 하나 이상의 추가 이득 계수 및 상기 제3 이미지의 하나 이상의 이득 계수를 포함하는 추가 전역 이득 벡터가 결정된다. 상기 컬러 밸런싱된 제2 이미지 및 상기 제3 이미지의 참조 화소는 상기 컬러 밸런싱된 제2 이미지와 상기 제3 이미지의 공유 컬러 장면을 나타낸다. 그 후 상기 제2 이미지의 하나 이상의 추가 이득 계수에 기초하여 상기 컬러 밸런싱된 제2 이미지의 컬러 밸런싱이 수행된다. 상기 제3 이미지의 하나 이상의 이득 계수에 기초하여 상기 제3 이미지의 컬러 밸런싱이 수행성된다. 따라서 둘 이상의 이미지의 컬러 밸런싱을 수행하는 것이 가능하다.

제3 측면의 제5 구현 형태에 따르면, 상기 미리 결정된 비용 함수를 최소화하는 것은,

다음 식:

y_j ⁽¹⁾ = a⁽¹⁾ · x_j (1),

y_j ⁽²⁾ = a⁽²⁾ ·x_j (2)

식 (1)에 a⁽²⁾를 곱하고 식(2)에 a⁽¹⁾을 곱하여 다음 식:

y_j ⁽¹⁾· a⁽²⁾ = a⁽¹⁾ · x_j · a⁽²⁾,

y_j ⁽²⁾ · a⁽¹⁾= a⁽²⁾ · x_j · a⁽¹⁾

을 얻는 것,

상기 결과 식들을 감산하여 다음 식:

y_j ⁽¹⁾· a⁽²⁾ - y_j ⁽²⁾ · a⁽¹⁾ = 0

을 얻는 것, 및

비용 함수를 다음 식:

J' = [ y_j ⁽¹⁾ y_j ⁽²⁾ ] [ a⁽²⁾ -a⁽¹⁾ ]^T (3)

으로 결정하는 것을 포함한다.

제3 측면의 제6 구현 형태에 따르면, 상기 미리 결정된 비용 함수를 최소화하는 것은,

상기 비용 함수를 다음 식:

J' = [ y_j ⁽¹⁾ y_j ⁽²⁾ ] [ a⁽²⁾ -a⁽¹⁾ ]^T

으로 결정하는 것을 포함하며,

따라서 매우 효율적인 컬러 밸런싱이 가능하다.

제3 측면의 제5 또는 제6 구현 형태에 따른 제7 구현 형태에서, 전역 이득 벡터 t는 다음 식:

J = Y · t (4)

을 얻도록 가정되며, 여기서,

Y = [ y⁽¹⁾ y⁽²⁾ ] (5),

y⁽ⁿ⁾ = [ y₁ ⁽ⁿ⁾ ... y_i ⁽ⁿ⁾ ... y_l ⁽ⁿ⁾ ] T (6), 및

t = [ a⁽²⁾ -a⁽¹⁾ ]^T (7),

상기 미리 결정된 비용 함수를 최소화하는 것은,

바람직하게는 Ryy의 고유 값 분해를 수행하여 행렬 Ryy = Y^T ·Y의 자명하지 않는 영 공간을 결정하는 것 - 여기서,

(8)이고,

Ryy는 주 대각선에서 고유 값을 갖는 대각 행렬이고,

는 단위행렬임 -, 및 최소 고유 값

을 갖는 고유 벡터를 제1 컬러 밸런싱 정보

및 제2 컬러 밸런싱 정보

로 사용하는 것 - 여기서

임 - 을 포함한다.

따라서, 훨씬 더 높은 정확도의 컬러 밸런싱이 가능하다.

제3 측면의 제7 구현 형태에 따른 제8 구현 형태에서, 상기 컬러 밸런싱을 수행하는 것은,

상기 제1 카메라의 화소 값 y_j ⁽¹⁾을 이득 계수

로 나누는 것, 및

상기 제2 카메라의 화소 값 y_j ⁽²⁾을 이득 계수

로 나누는 것을 포함한다.

따라서, 낮은 계산 복잡도의 컬러 밸런싱이 가능하다.

본 발명의 제4 측면에 따르면, 컴퓨터상에서 실행될 때, 전술한 이미지 처리 방법을 수행하기 위한 프로그램 코드를 포함하는컴퓨터 프로그램이 제공된다.

일반적으로, 유의해야 할 것은 본 출원에 설명된 모든 구성, 기기, 요소, 유닛 및 수단 등은 소프트웨어 또는 하드웨어 요소 또는 이들의 임의의 조합에 의해 구현될 수 있다는 것이다. 또한, 기기는 프로세서일 수도 있고 또는 복수의 프로세서를 포함할 수도 있으며, 본 출원에서 설명된 요소, 유닛 및 수단의 기능은 하나 이상의 프로세서로 구현될 수 있다. 본 출원에 설명된 다양한 엔티티에 의해 수행되는 것으로 설명된 기능뿐만 아니라 그 다양한 엔티티에 의해 수행되는 모든 단계는 각각의 엔티티가 각각의 단계 및 기능을 수행하도록 구성되어 있다는 것을 의미하도록 의도된다. 이하의 설명 또는 특정 실시예에서, 일반적인 엔티티에 의해 수행될 특정 기능 또는 단계가 그 특정 단계 또는 기능을 수행하는 엔티티의 특정 세부 요소의 설명에 반영되지 않더라도, 이러한 방법 및 기능이 소프트웨어 또는 하드웨어 요소 또는 이들의 임의의 조합과 관련하여 구현될 수 있다는 것은 당업자에게 명백하다.

이하에서는 첨부된 도면을 참조하여 본 발명의 실시예와 관련하여 본 발명을 상세하게 설명한다. .
도 1은 본 발명의 제2 측면에 따른 이미징 시스템의 실시예의 개략도를 블록 도로 나타낸다.
도 2는 본 발명의 제1 측면에 따른 이미지 처리 기기의 일 실시예를 블록도로 나타낸다.
도 3은 본 발명의 제1 측면의 추가적인 실시예를 블록도로 나타낸다.
도 4는 본 발명의 제1 측면의 다른 실시예를 블록도로 나타낸다.
도 5는 본 발명의 제3 측면의 일 실시예를 흐름도로 나타낸다.

먼저, 도 1에 따라 본 발명의 제1 및 제2 측면에 따른 이미징 시스템 및 이미지 처리 기기의 일반적인 구성 및 기능을 설명한다. 도 2∼도 4에 따라 본 발명의 각 측면의 구성 및 기능에 대해 더 상세하게 설명한다. 마지막으로, 도 5를 참조하여, 제3 측면에 따른 본 발명의 방법의 일 실시예의 기능을 설명한다. 상이한 도면들에서 유사한 엔티티 및 참조 번호는 부분적으로 생략되었다.

도 1에, 본 발명의 제2 측면에 따른 본 발명의 이미징 시스템(1)의 실시예가 도시되어 있다. 이미징 시스템(1)은 본 발명의 제1 측면에 따른 복수의 카메라(11, 12, 13, 14) 및 이미지 처리 기기(10)를 포함한다. 카메라(11∼14)는 이미지 처리 기기(10)에 연결된다. 카메라(11, 12, 13, 14)에 의해 생성된 이미지(11a, 12a, 13a, 14a)는 카메라(11∼14)에 의해 이미지 처리 기기(10)에 전달된다. 이미지 처리 기기(10)는 개별 이미지(11a∼14a)의 컬러 밸런싱을 수행하여 이미지(11b, 12b, 13b, 14b)을 생성한다. 컬러 밸런싱을 수행하기 위해, 적어도 참조 화소를 나타내는 컬러 장면을 공유하는 이미지 쌍이 이미지(11a∼14a) 사이에 형성된다. 각각의 쌍의 컬러 밸런싱이 수행된다. 그 쌍들의 컬러 밸런싱이 수행된 후에, 그 쌍들의 이미 컬러 밸런싱된 이미지 사이의 추가적인 컬러 밸런싱이 수행된다. 둘 이상의 이미지의 컬러 밸런싱에 관해서는, 도 3 및 도 4에 관한 상세한 설명을 참조한다. 이미지 쌍들의 컬러 밸런싱에 관한 더 상세한 설명은 도 3에 관한 상세한 설명을 참조한다. .

도 2에, 본 발명의 제1 측면의 이미지 처리 기기(10)의 실시예가 도시되어 있다. 이미지 처리 기기(10)는 컬러 밸런싱 계산 유닛(21)에 연결된 밸런싱 결정 유닛(20)을 포함한다.

제1 카메라(11)에 의해 생성된 제1 이미지(11a) 및 제2 카메라(12)에 의해 생성된 제2 이미지(12a)는 컬러 밸런싱 결정 유닛(20)에 제공된다. 제1 이미지(11a) 및 제2 이미지(12a)는 각각 제1 이미지와 제2 이미지의 공유 컬러 장면을 나타내는 참조 화소를 포함한다. 컬러 장면은 공간에서의 하나 이상의 유리한 지점(vantage point)에서 측정한 자연계의 풍경(view)의 분광 방사 휘도(spectral radiance)이다. 공유 컬러 장면은 제1 카메라(11)와 제2 카메라(12)의 공유 시야 내의 하나 이상의 동일한 대상 또는 영역을 포착하거나 공유 시야 내에 없을 수 있는 하나 이상의 동일한 컬러를 포착한 장면 또는 장면의 일부분이다(예: 한결같이 푸른 하늘의 서로 다른 영역들).

컬러 밸런싱 결정 유닛(20)은 참조 화소 값에 기초하여 미리 결정된 비용 함수를 최소화함으로써 제1 이미지(11a)의 하나 이상의 이득 계수(

) 및 제2 이미지(12a)의 하나 이상의 이득 계수(

)를 포함하는 전역 이득 벡터(t)를 결정한다. 이들 이득 계수는 컬러 밸런싱 계산 유닛(21)에 전달하며, 컬러 밸런싱 계산 유닛(21)은 제1 이미지(11a)의 화소 값을 이득 계수(

)로 나누고 제2 이미지(12a)의 화소 값을 이득 계수(

)로 나눔으로써 제1 이미지(11a) 및 제2 이미지(12a)의 컬러 밸런싱을 수행한다. 컬러 밸런싱 계산 유닛(21)에 의한 이 계산의 결과가 컬러 밸런싱된 제1 이미지(11b) 및 컬러 밸런싱된 제2 이미지(12b)이다.

이하에서는, 컬러 밸런싱 결정 유닛(20) 및 컬러 밸런싱 계산 유닛(21) 내에서 수행되는 상세한 계산을 보여 준다.

여카메라의 개수

를 가정하면, 각각의 채널의 각각의 카메라 출력은 다음과 같은 화소

의 세트로 제공된다:

(1)

(2)

여기서,

는 참조 이미지의 i번째(제i) 화소를 나타내고(예: 대상의 "트루(true)" 컬러 값),

이며, 여기서 인덱스 r, g 및 b는 각각 카메라 컬러 채널 적색, 녹색 및 청색 또는 {HSV}, {YUV} 등과 같은 일부 다른 컬러 기준(color basis)에 대응한다.

위 첨자는 카메라 색인을 나타낸다. 따라서,

,

이다.

화소

로 표시되는 공통 참조 다중채널 이미지로 카메라를 교정하기 위해, 채널 이득 계수

를 식별한다. 각 카메라의 출력에 다른 카메라의 이득을 곱하면 동일한 수량(quantity)이 된다. 따라서, 우리의 접근법에서는, 수량을 최소화한다:

(3)

가정된 모델에서, 전역 채널 이득 계수는 참조 이미지의 모든 화소에 대해 결정되어야 한다. 다음과 같이 정의하자:

(4)

여기서

(5)

(6)

화소 값으로 구축된 벡터이며,

는 변환 연산자(transponation operator)이고,

(7)

벡터의 에너지를 최소화하는 것은 행렬

의 자명하지 않은 영 공간을 결정하는 것과 같다. 이것을, 바람직하게는,

의 고유 값 분해에 의해 결정한다.

(8)

여기서,

는 주 대각선에 고유 값을 갖는 대각 행렬이고,

는 단위 행렬이다.

영 공간은 값이 영인(zero-valued) 고유 값에 대응하는 고유 벡터에 의해 채워진다(spanned)

.

실제로, 카메라 잡음으로 인해, 고유 값은 일반적으로 잡음과 전혀 다르다. 따라서 가장 작은 고유 값을 갖는 고유 벡터를 선택한다. 그 후 이 고유 벡터는 t의 추정으로 해석된다. 두 카메라를 모두 교정하기 위해,

로 추정된 이득 벡터로 이득 계수로 나누어진다.

결과 이득 계수는 다음과 같이 추정된다:

i) 카메라 교정된 컬러의 차이가 거의 없고,

ii) 교정된 컬러는 알 수 없지만 일반적인 참조 컬러가 되는 경향이 있다.

공유 컬러 장면은 제1 이미지와 제2 이미지가 반드시 시야를 공유한다는 것을 의미하지는 않는다는 점에 주목하는 것이 중요하다. 공유 컬러 장면은 단순히 동일한 대상 또는 영역을 나타내고 따라서 시야를 공유하거나, 시야를 공유하는 이미지는 없지만 이미지가 매우 근사하게 매칭되는 컬러의 대상을 나타낸다는 의미한다.

또한, 컬러 이미지의 경우, 이미지의 상이한 컬러 채널 각각에 대해 전술한 한 처리가 개별적으로 수행된다는 점에 주목하는 것이 중요하다. 이것은 이미지의 각각의 컬러 채널에 대해 개별 비용 함수가 최소화되고 개개의 컬러 채널 각각에 대해 개별 컬러 밸런싱이 수행된다는 것을 의미한다.

도 3에는, 앞서 도시된 프로세스를 두 개 이상의 이미지로 확장한 것이 도시되어 있다. 특히, 도 3은 이미지 처리 기기(10)의 다른 실시예를 나타낸다. 여기서 또한 이미지 처리 기기(10)는 컬러 밸런싱 결정 유닛(20) 및 컬러 밸런싱 계산 유닛(21)을 포함한다. 예를 들어, 도 2에 도시된 바와 같이 제1 이미지(11a) 및 제2 이미지(12a)의 이미지 밸런싱은 이미 수행되었다. 제2 이미지(12a)의 이득 계수에 대응하는 이득 계수

는 이미 이용 가능하다. 컬러 밸런싱 결정 유닛(20)에는 제2 이미지(12a), 제3 카메라(13)에 의해 생성된 제3 이미지(13a) 및 이득 계수

가 공급되고, 이로부터 제3 이미지(13a)에 대한 추가 이득 계수

을 계산한다. 이 이득 계수는 제3 이미지(13a)와 함께 컬러 밸런싱 계산 유닛(21)에 전달된다. 이로부터, 색컬러 밸런싱된 제3 이미지(13b)가 계산된다. 이하에서는, 간략히 명시된 프로세스의 기초가 되는 상세한 계산을 보여준다:

이미 두 카메라의 모든 채널에 대한

의 추정치를 가지고 있다고 가정한다.

를 제약함으로써 채널 이득

에 대한 추정치를 얻으려면, 다시 영공간(nullspace) 결정 문제를 고려해야 n한다

(9)

(10)

(11)

(12)

식 (9)를 사용하여, 다음 식을 얻는다:

(13)

미지의 벡터의 두 번째(제2) 계수는 0인 것을 보장하는

의 역의 경우,

(14)

행렬

의 제1 행 및 제1 열에 있는 요소

를 사용한다. 따라서,

(15)

여기서, 이전 단계에서 추정된 값

을 벡터 b에서

에 사용했다.

쌍을 이루는 카메라로부터의 2개의 이미지가 주어지면, 채널 이득 계수는 다음과 같이 추정된다:

i) 카메라 교정된 컬러는 최소한의 차이가 있고,

ii) 교정된 컬러는 알 수 없지만 참조 컬러가 되는 경향이 있다.

교정 자체는 최종적으로 화소를 추정 채널 이득 파라미터로 나눔으로써 수행된다.

또한, 도 4에는, 두 개 이상의 카메라의 교정을 허용하는, 제안된 이미징 시스템(1)의 전체 구성을 나타낸다. 여기서, 이미지(11a, 12a, 13a, 40a, 41a)는 쌍 단위로(pairwise) 컬러 밸런싱을 수행하는 이미지 처리 기기(10)에 제공된다. 이 예에서, 이미지(11a, 12a)는 컬러 밸런싱된 이미지(11b, 12b)를 생성하는 데 사용된다. 결과로서 얻은 이득 계수

는 제3 이미지(13a)의 증분 컬러 밸런싱을 수행하여 컬러 밸런싱된 제3 이미지(13b)를 생성하는 데 사용된다. 따라서, 이는 추가 이미지(40a, 41)에 계속하여 이어진다.

도 5에, 본 발명의 제3 측면의 실시예가 도시되어 있다. 선택적인 제1 단계(100)에서, 적어도 제1 및 제2 이미지(11a, 12a)가 기록된다. 전술한 한 바와 같이, 이미지는 공유 컬러 장면을 포함한다.

제2 단계(101)에서, 제1 이미지(11a)의 이득 계수(

) 및 제2 이미지(12a)의 이득 계수(

)를 포함하는 전역 이득 벡터(t)는 제1 및 제2 이미지(11a, 12a)로부터 참조 화소 값에 기초한 비용 함수를 최소화함으로써 결정된다.

제3 단계(102)에서, 제1 및 제2 이미지(11a, 12a)의 컬러 밸런싱은 각각의 이득 계수(

,

)를 사용하여 수행된다.

개개의 단계의 세부사항에 관해서는, 또한 도 1∼도 4에 관한 상세한 설명을 참조한다.

본 발명은 기재된 예에 한정되지 않으며, 특히 특정 개수의 이미지에 한정되지 않는다. 또한, 본 발명은 중첩되는 시야가 있거나 없는 이미지에 시야에 한정되지 않는다. 예시적인 실시예의 특징들은 임의의 조합으로 사용될 수 있다.

본 명세서에서는 본 발명을 다양한 실시예와 관련하여 설명하였다. 그러나 개시된 실시예에 대한 다른 변형예는 도면, 개시내용(disclosure) 및 첨부된 청구범위의 연구에 의거하여, 당업자가 청구된 발명을 실시할 때 이해되고 영향을 받을 수 있다. 청구범위에서, "포함하는"이라는 단어는 다른 요소 또는 단계를 배제하지 않으며, 단수 표현은 복수를 배제하지 않는다. 단일 프로세서 또는 다른 유닛은 청구 범위에 언급된 여러 항목의 기능을 수행할 수 있다. 특정한 수단(certain measures)이 일반적으로 다른 종속항에서 인용된다는 단순한 사실만으로는 이러한 수단의 조합을 활용할 수 없다는 것을 나타내지는 않는다.

본 발명의 실시예는 컴퓨터 시스템과 같은 프로그램 가능한 장치에서 실행될 때 본 발명에 따른 방법의 단계를 수행하기 위한 또는 프로그램 가능한 장치가 본 발명에 따른 기기 또는 시스템의 기능을 수행할 수 있도록 하기 위한 코드 부분을 적어도 포함하는, 컴퓨터 시스템에서 실행되는 컴퓨터 프로그램으로 구현될 수 있다.

컴퓨터 프로그램은 특정 애플리케이션 프로그램 및/또는 운영체제와 같은, 명령어의 리스트이다. 컴퓨터 프로그램은 예를 들어, 서브루틴, 함수, 프로시저, 객체 메소드(object method), 객체 구현(object implementation), 실행 가능한 애플리케이션, 애플릿(applet), 서블릿(servlet), 원시 코드(source code), 목적 코드(object code), 공유 라이브러리(shared library)/동적 로드 라이브러리(dynamic load library) 및/또는 컴퓨터 시스템에서의 실행을 위해 설계된 명령어들의 다른 시퀀스 중 하나 이상을 포함할 수 있다.

컴퓨터 프로그램은 내부적으로 컴퓨터 판독 가능 저장 매체에 저장되거나 컴퓨터 판독 가능 송신 매체를 통해 컴퓨터 시스템에 송신될 수 있다. 컴퓨터 프로그램의 전부 또는 일부는 정보 처리 시스템에 영구적으로, 탈착 가능하게 또는 원격으로 연결된 일시적이거나 비일시적인, 컴퓨터 판독 가능 매체에 제공될 수 있다.

컴퓨터 판독 가능 매체는 예를 들어, 제한 없이, 다음 중 임의의 수를 포함할 수 있다: 디스크 및 테이프 저장 매체를 포함하는 자기 저장 매체; 컴팩트 디스크 매체(예: CD-ROM, CD-R 등) 및 디지털 비디오 디스크 저장 매체와 같은 광학 저장 매체; 플래시 메모리, EEPROM, EPROM, ROM과 같은 반도체 기반 메모리 유닛을 포함하는 비휘발성 메모리 저장 매체; 강자성(ferromagnetic) 디지털 메모리; MRAM; 및 레지스터, 버퍼 또는 캐시, 메인 메모리, RAM 등을 포함하는 휘발성 저장 매체를 포함한다.

컴퓨터 프로세스는 전형적으로 실행(executing/running) 프로그램 또는 프로그램의 일부분, 현재 프로그램 값 및 상태 정보, 그리고 프로세스의 실행을 관리하기 위해 운영체제에 의해 사용되는 자원을 포함한다. 운영 체제(OS)는 컴퓨터의 자원 공유를 관리하고 프로그래머에게 그러한 자원에 액세스하는 데 사용되는 인터페이스를 제공하는 소프트웨어이다. 운영체제는 시스템 데이터 및 사용자 입력을 처리하고, 태스크(task) 및 내부 시스템 자원을 시스템의 사용자 및 프로그램에 대한 서비스로 할당 및 관리함으로써 응답한다.

컴퓨터 시스템은 예를 들어 하나 이상의 처리 유닛, 관련 메모리 및 다수의 입출력(I/O) 기기를 포함할 수 있다. 컴퓨터 프로그램을 실행할 때, 컴퓨터 시스템은 컴퓨터 프로그램에 따라 정보를 처리하고그 결과로 얻은 출력 정보를 I/O 기기를 통해 생성한다.

본 명세서에서 논의되는 연결은 예를 들어 중간 기기를 통해 각각의 노드, 유닛 또는 기기와의 신호 전송에 적합한 임의의 유형의 연결일 수 있다. 따라서, 묵시적으로 또는 달리 언급되지 않는 한, 연결은 예를 들어 직접 접속 또는 간접 접속 일 수 있다. 연결은 단일 연결, 복수 연결, 단방향 연결 또는 양방향 연결인 것인 것을 참조하여 예시되거나 설명되 수 있다. 그러나 상이한 실시예들은 연결의 구현을 서로 달리할 수 있다. 예를 들어 개별 양방향 연결이 아닌 개별 단방향 연결이 사용될 수 있으며 반대의 경우도 가능하다. 또한, 복수의 연결은 다수의 신호를 순차적으로 또는 시간 다중화 방식으로 전송하는 단일 연결로 대체될 수 있다. 마찬가지로, 다수의 신호를 전달하는 단일 연결은 이들 신호의 서브세트를 전달하는 여러 개의 다른 연결로 분리될 수 있다. 따라서 신호 전송에는 많은 선택사항이 존재한다.

당업자는 논리 블록들 간의 경계가 단지 예시적인 것이며, 다른 실시예는 논리 블록들 또는 회로 소자들을 병합할 수 있거나 다양한 논리 블록 또는 회로 소자 상의 기능의 다른 분해를 도입할 수 있음을 알 것이다. 따라서, 본 명세서에 도시된 아키텍처는 단지 예시적인 것이며 실제로 동일한 기능을 달성하는 많은 다른 아키텍처가 구현될 수 있음을 이해해야 한다.

따라서, 동일한 기능을 달성하기 위한 구성요소의 임의의 배치는 원하는 기능이 달성되도록 효과적으로 "연관"된다. 따라서, 본 명세서에서 특정 기능을 달성하기 위해 결합 된 임의의 두 구성 요소는 아키텍처 또는 중간 매개 구성요소(intermedial component)와 관계없이 원하는 기능이 달성되도록 서로 "연관되는" 것으로 볼 수 있다. 마찬가지로 이와 같이 연관된 두 구성 요소는 원하는 기능을 달성하기 위해 "작동 가능하게 연결되는(operably connected)" 또는 "작동 가능하게 결합되는(operably coupled)" 것으로 볼 수 있다.

또한, 당업자는 전술한 동작(operation) 사이의 경계가 단지 예시적인 것을 인식할 것이다. 다수의 동작은 단일 동작으로 결합될 수 있고, 단일 동작은 추가적인 동작으로 분산될 수 있으며, 동작은 적어도 부분적으로 시간상 중복하여 실행될 수 있다. 또한, 다른 실시예는 특정 동작의 다수의 인스턴스를 포함할 수 있고, 동작의 순서는 다양한 다른 실시예에서 변경될 수 있다.

또한, 예를 들어, 예들 또는 그 일부는 임의의 적절한 유형의 하드웨어 기술 언어(hardware description language)와 같은, 물리 회로 또는 물리 회로로 변환 가능한 논리 표현의 소프트 또는 코드 표현으로 구현될 수 있다.

또한, 본 발명은 프로그램 가능하지 않은 하드웨어로 구현된 물리 기기 또는 유닛으로 한정되지 않고, 메인 프레임, 미니 컴퓨터, 서버, 워크스테이션, 개인용 컴퓨터, 메모장(notepad), 개인용 정보 단말기(personal digital assistant), 전자 게임, 자동차 및 기타 임베디드 시스템(embedded system), 휴대 전화 및 기타 다양한 무선 기기와 같은, 일반적으로 본 출원에서 '컴퓨터 시스템'으로 표시되는, 적합한 프로그램 코드에 따라 동작함으로써 원하는 기기 기능을 수행할 수 있는 프로그램 가능한 기기 또는 유닛에 적용될 수도 있다.

Claims

적어도 제1 카메라에 의해 기록된 적어도 제1 이미지 및 제2 카메라에 의해 기록된 제2 이미지의 컬러 밸런싱(color balancing)을 수행하는 이미지 처리 기기로서,
컬러 밸런싱 결정 유닛 및 컬러 밸런싱 계산 유닛을 포함하고,
상기 컬러 밸런싱 결정 유닛은, 상기 제1 이미지의 참조 화소 값 및 상기 제2 이미지의 참조 화소 값에 기초하여 미리 결정된 비용 함수를 최소화함으로써 상기 제1 이미지의 하나 이상의 이득 계수(
) 및 상기 제2 이미지의 하나 이상의 이득 계수(
)를 포함하는 전역 이득 벡터(global gain vector)(t)를 결정하도록 구성되며, 상기 제1 이미지의 참조 화소 및 상기 제2 이미지의 참조 화소는 상기 제1 이미지 및 상기 제2 이미지의 공유 컬러 장면(shared color scene)을 나타내고,
상기 컬러 밸런싱 계산 유닛은,
상기 제1 이미지의 하나 이상의 이득 계수(
)에 기초하여 상기 제1 이미지의 컬러 밸런싱을 수행하고,
상기 제2 이미지의 하나 이상의 이득 계수(
)에 기초하여 상기 제2 이미지의 컬러 밸런싱을 수행하도록 구성되며,
상기 미리 결정된 비용 함수를 최소화하는 것은,
J' = [ y_j ⁽¹⁾ y_j ⁽²⁾ ] [ a⁽²⁾ -a⁽¹⁾ ]^T
를 최소화하는 것을 포함하며,
여기서, j는 화소 번호이고, yj⁽¹⁾은 상기 제2 카메라에 의해 측정된, 화소 번호 j의 값이고, y1⁽²⁾는 상기 제2 카메라에 의해 측정된, 화소 번호 j의 값이고, a⁽¹⁾은 화소 j의 참조 컬러 값이 yj⁽¹⁾과 동일해지도록 곱해져야 하는 이득 계수이고, a⁽²⁾는 화소 j의 참조 컬러 값이 yj⁽²⁾와 동일해지도록 곱해져야 하는 이득 계수인, 이미지 처리 기기.
제1항에 있어서,
상기 제1 이미지 및 상기 제2 이미지는 각각 세 개 이상의 컬러 채널을 포함하고,
상기 컬러 밸런싱 결정 유닛은 상기 제1 이미지 및 상기 제2 이미지의 각각의 컬러 채널에 대한 개별 비용 함수를 최소화하도록 구성되고,
상기 컬러 밸런싱 계산 유닛은,
각각의 컬러 채널에 대해 개별적으로 상기 제1 이미지의 컬러 밸런싱을 수행하고,
각각의 컬러 채널에 대해 개별적으로 상기 제2 이미지의 컬러 밸런싱을 수행하도록 구성되는, 이미지 처리 기기.
제1항에 있어서,
상기 제1 이미지와 상기 제2 이미지의 공유 컬러 장면은 하나 이상의 동일한 대상(object) 또는 영역(area)을 포착한 장면이고,
상기 하나 이상의 동일한 대상 또는 영역은 상기 제1 카메라와 상기 제2 카메라의 공유 시야(shared field of view) 내에 있는, 이미지 처리 기기.
제1항에 있어서,
상기 제1 이미지와 상기 제2 이미지의 공유 컬러 장면은 하나 이상의 동일한 컬러를 포착한 장면이고,
상기 하나 이상의 동일한 컬러는 상기 제1 카메라와 상기 제2 카메라의 공유 시야 내에 없는, 이미지 처리 기기.
제1항에 있어서,
상기 이미지 처리 기기는, 적어도 상기 제1 카메라에 의해 기록된 제1 이미지, 상기 제2 카메라에 의해 기록된 제2 이미지 및 제3 카메라에 의해 기록된 제3 이미지의 컬러 밸런싱을 수행하도록 구성되고,
상기 컬러 밸런싱 결정 유닛은,
상기 컬러 밸런싱 계산 유닛이 상기 제1 이미지 및 상기 제2 이미지의 컬러 밸런싱을 수행하여, 컬러 밸런싱된 제1 이미지 및 컬러 밸런싱된 제2 이미지를 얻은 후, 상기 컬러 밸런싱된 제2 이미지의 참조 화소 값 및 상기 제3 이미지의 참조 화소 값에 기초하여 미리 결정된 비용 함수를 최소화함으로써 상기 제2 이미지의 하나 이상의 추가 이득 계수 및 상기 제3 이미지의 하나 이상의 이득 계수를 포함하는 추가 전역 이득 벡터를 결정하도록 구성되며, 상기 컬러 밸런싱된 제2 이미지 및 상기 제3 이미지의 참조 화소는 상기 컬러 밸런싱된 제2 이미지와 상기 제3 이미지의 공유 컬러 장면을 나타내고,
상기 컬러 밸런싱 계산 유닛은,
상기 제2 이미지의 하나 이상의 추가 이득 계수에 기초하여 상기 컬러 밸런싱된 제2 이미지의 컬러 밸런싱을 수행하고,
상기 제3 이미지의 하나 이상의 이득 계수에 기초하여 상기 제3 이미지의 컬러 밸런싱을 수행하도록 구성되는, 이미지 처리 기기.
삭제
제1항에 있어서,
전역 이득 벡터(t)는
J = Y · t
를 얻도록 가정되며, 여기서,
Y = [ y⁽¹⁾ y⁽²⁾ ],
y⁽ⁿ⁾ = [ y₁ ⁽ⁿ⁾ ... y_i ⁽ⁿ⁾ ... y_l ⁽ⁿ⁾ ] T, 및
t = [ a⁽²⁾ -a⁽¹⁾ ]^T,
여기서, t는 상기 전역 이득 벡터이고, Y는 상기 제1 카메라 및 상기 제2 카메라에 의해 단일 화소에 대해 측정된 값 y의 벡터이고, n은 화소 번호이고, i는 중간 화소 번호이고, l은 최종 화소 번호이며,
상기 미리 결정된 비용 함수를 최소화하는 것은,
바람직하게는 Ryy의 고유 값 분해(eigenvalue decompositon)를 수행하여 행렬 Ryy = Y^T ·Y의 자명하지 않는 영 공간(non-trivial nullspace)을 결정하는 것 - 여기서,
이고, Ryy는 주 대각선에서 고유 값을 갖는 대각 행렬이고,
는 단위행렬임 -, 및
최소 고유 값을 갖는 고유 벡터
를 제1 컬러 밸런싱 정보
및 제2 컬러 밸런싱 정보
로 사용하는 것 - 여기서
임 - 을 포함하는, 이미지 처리 기기.
제7항에 있어서,
상기 컬러 밸런싱을 수행하는 것은,
상기 제1 카메라의 화소 값 y_j ⁽¹⁾을 이득 계수
로 나누는 것, 및
상기 제2 카메라의 화소 값 y_j ⁽²⁾를 이득 계수
로 나누는 것을 포함하는, 이미지 처리 기기.
제1항에 따른 이미지 처리 기기와, 적어도 제1 카메라 및 제2 카메라를 포함하는 이미징 시스템.
제9항에 있어서,
상기 제1 카메라와 상기 제2 카메라는 적어도 부분적으로 공유 시야를 갖는, 이미징 시스템.
제9항에 있어서,
제3 카메라를 더 포함하는 이미징 시스템.
제11항에 있어서,
각각의 카메라는 하나 이상의 추가 카메라와 적어도 부분적으로 공유 시야를 갖는, 이미징 시스템.
적어도 제1 카메라에 의해 기록된 제1 이미지 및 제2 카메라에 의해 기록된 제2 이미지의 컬러 밸런싱을 수행하는 이미지 처리 방법으로서,
상기 제1 이미지의 참조 화소 값 및 상기 제2 이미지의 참조 화소 값에 기초하여 미리 결정된 비용 함수를 최소화함으로써 상기 제1 이미지의 하나 이상의 이득 계수(
) 및 상기 제2 이미지의 하나 이상의 이득 계수(
)를 포함하는 전역 이득 벡터를 결정하는 단계 - 상기 제1 이미지의 참조 화소 및 상기 제2 이미지의 참조 화소는 상기 제1 이미지와 상기 제2 이미지의 공유 컬러 장면을 나타냄 -
상기 제1 이미지의 하나 이상의 이득 계수(
)에 기초하여 상기 제1 이미지의 컬러 밸런싱을 수행하는 단계, 및
상기 제2 이미지의 하나 이상의 이득 계수(
)에 기초하여 상기 제2 이미지의 컬러 밸런싱을 수행하는 단계
를 수행하고,
상기 미리 결정된 비용 함수를 최소화하는 것은,
J' = [ y_j ⁽¹⁾ y_j ⁽²⁾ ] [ a⁽²⁾ -a⁽¹⁾ ]^T
를 최소화하는 것을 포함하며,
여기서, j는 화소 번호이고, yj⁽¹⁾은 상기 제2 카메라에 의해 측정된, 화소 번호 j의 값이고, y1⁽²⁾는 상기 제2 카메라에 의해 측정된, 화소 번호 j의 값이고, a⁽¹⁾은 화소 j의 참조 컬러 값이 yj⁽¹⁾과 동일해지도록 곱해져야 하는 이득 계수이고, a⁽²⁾는 화소 j의 참조 컬러 값이 yj⁽²⁾와 동일해지도록 곱해져야 하는 이득 계수인, 이미지 처리 방법.
컴퓨터상에서 실행될 때, 제13항에 따른 이미지 처리 방법을 수행하기 위한 프로그램 코드를 포함하는, 컴퓨터로 판독할 수 있는 매체.