KR20040091759A

KR20040091759A - 화상 처리 장치 및 방법, 및 화상 처리 장치의 제조 방법

Info

Publication number: KR20040091759A
Application number: KR10-2004-7014639A
Authority: KR
Inventors: 다까미 미즈꾸라; 나오야 가또; 겐 나까지마; 히로끼 나가하마
Original assignee: 소니 가부시끼 가이샤
Priority date: 2002-03-20
Filing date: 2003-02-26
Publication date: 2004-10-28
Also published as: CN1643936A; TWI224464B; WO2003079696A1; US20060012808A1; EP1487219A4; EP1487219A1; JP2003284084A; TW200306111A

Abstract

본 발명은 보다 충실한 색을 재현함과 동시에, 노이즈를 저감할 수 있도록 하는 화상 처리 장치 및 방법, 및 화상 처리 장치의 제조 방법에 관한 것이다. 4색 컬러 필터(61)는 적색의 빛만을 투과하는 R 필터, 청색의 빛만을 투과하는 B 필터, 제1 파장 대역의 녹색의 빛만을 투과하는 G1 필터 및 G1 필터와 상관이 높은 제2 파장 대역의 녹색의 빛만을 투과하는 G2 필터의, 합계 4개의 필터를 최소 단위로 하여 구성된다. 또한, G1 필터와 G2 필터는 그 최소 단위 내에서 대각하는 위치에 배치되어 있다. 4색 컬러 필터(61)를 투과하여 화상 센서에 의해 취득된 4종류의 신호에 기초하여 RGB 신호가 생성된다. 본 발명은 디지털 카메라 등의 화상 처리 장치에 적용할 수 있다.

Description

화상 처리 장치 및 방법, 및 화상 처리 장치의 제조 방법{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING DEVICE MANUFACTURING METHOD}

최근, 소비자용 화상 입력 장치(디지털 카메라, 컬러스캐너 등) 및 화상 처리 소프트웨어가 보급되고 있어, 촬영하는 등 하여 취득한 화상을 스스로 편집하는 사용자의 수가 증가하고 있다.

또한, 이것에 수반하여 화상의 화질에 대한 요구(보다 바람직한 색에 대한 요구, 노이즈가 적은 것에 대한 요구 등)도 매우 높아지고 있다. 디지털 카메라 등을 구입할 때의 제1 조건으로서, 화질이 좋은 것을 예를 드는 사용자의 비율이 반수 이상을 차지하는 현상이다.

디지털 카메라에 있어서는, 일반적으로, 도 1에 도시되는 것 같은 RGB의 3원색의 컬러 필터(1)가 이용되고 있다. 본 예에서는 도 1의 일점쇄선으로 도시된 바와 같이, 녹색(G)의 빛만을 투과하는 G 필터가 2개, 적색(R)의 빛만을 투과하는 R필터가 1개 및 청색(B)의 빛만을 투과하는 B 필터가 1개의, 합계 4개를 최소 단위로 하고, 소위 베이어 배열(Bayer 배열)에 의해 컬러 필터(1)가 구성된다.

도 2는 RGB 컬러 필터(1)를 갖는 CCD(Charge Coupled Device) 촬상 소자에 의해 취득된 RGB 신호에 대하여 각종의 처리를 실시하는 신호 처리부(11)의 구성예를 나타내는 블록도이다.

오프셋 보정 처리부(21)는 CCD 촬상 소자에 의해 취득된 신호에 소정의 처리를 실시하는 프론트 엔드(l3)로부터 공급되어 온 화상 신호에 포함되는 오프셋 성분을 제거하고, 얻어진 화상 신호를 화이트 밸런스 보정 처리부(22)에 출력한다. 화이트 밸런스 보정 처리부(22)는 오프셋 보정 처리부(21)로부터 공급되어 온 화상 신호의 색 온도 및 컬러 필터(1)의 각 필터의 감도의 차이에 기초하여 각 색의 밸런스를 보정한다. 화이트 밸런스 보정 처리부(22)에 의해 보정이 실시되고, 취득된 색 신호는 감마 보정 처리부(23)에 출력된다. 감마 보정 처리부(23)는 화이트 밸런스 보정 처리부(22)로부터 공급되어 온 신호에 대하여 감마 보정을 행하고, 취득한 신호를 수직 방향 동시화 처리부(24)에 출력한다. 수직 방향 동시화 처리부(24)에는 딜레이 소자가 설치되어 있어, 감마 보정 처리부(23)로부터 공급되어 온 신호의 수직 방향의 시간의 어긋남이 동시화된다.

RGB 신호 생성 처리부(25)는 수직 방향 동시화 처리부(24)로부터 공급되어 온 색 신호를, 동일 공간의 위상에 보간하는 보간 처리, 신호의 노이즈 성분을 제거하는 노이즈 제거 처리, 신호 대역을 제한하는 필터링 처리 및 신호 대역의 고역 성분을 보정하는 고역 주파수 보정 처리 등을 행하고, 얻어진 RGB 신호를 휘도 신호 생성 처리부(26) 및 색차 신호 생성 처리부(27)에 출력한다.

휘도 신호 생성 처리부(26)는 RGB 신호 생성 처리부(25)로부터 공급되어 온 RGB 신호를 소정의 합성비로 합성하여 휘도 신호를 생성한다. 색차 신호 생성 처리부(27)도 동일하게 RGB 신호 생성 처리부(25)로부터 공급되어 온 RGB 신호를 소정의 합성비로 합성하여 색차 신호(Cb, Cr)를 생성한다. 휘도 신호 생성 처리부(26)에 의해 생성된 휘도 신호 및 색차 신호 생성 처리부(27)에 의해 생성된 색차 신호는, 예를 들면 신호 처리부(11)의 외부에 설치되어 있는 모니터에 출력된다.

이와 같이, 원신호에 대하여 감마 처리를 실시하고 나서 선형 변환에 의해서 화상 처리를 행하는 것이 일반적으로 행해지고 있다.

그런데, 컬러 필터를 결정하는 조건으로서는, 첫째로 인간의 눈이 보이는 방법에 충실한 색을 재현하는 「색 재현성」을 들을 수 있다. 상기「색 재현성」은, 색을 인간의 눈에 보이는 색에 가까이 하는 것을 의미하는 「색 보기」및 눈에 다른 것으로 보이는 색은 다른 색으로, 동일한 것으로 보이는 색은 동일한 색으로 재현하는 것을 의미하는 「색의 판별성」(메타메리즘 매칭)의 2개에 의해 구성된다. 둘째로 분광 성분이 플러스의 감도를 갖고, 또한 분광 감도 특성이 1개의 피크를 갖는 등의 필터를 작성하는 데 있어서의「물리적 제한」을 충족하는 것, 셋째로 「노이즈의 저감성」이 고려되어지는 것 등을 들 수 있다.

「색 재현성」을 중시한 컬러 필터를 작성하여 평가하기 위해서, 종래로부터 예를 들면, q팩터, μ팩터, 또는 FOM(Figure of Merit)과 같은 필터 평가 계수가 사용된다. 이들의 계수는 0 내지 1의 값을 취하여, 컬러 필터의 분광 감도 특성이인간의 눈의 분광 감도 특성(등색 함수)의 선형 변환에 근사한 정도의 큰 값, 즉 1에 가까운 값을 도시한다. 이들의 계수의 값을 1에 가까운 색으로 하기 위해서는 분광 감도가 라우터 조건을 충족하도록 하면 된다.

그러나, 라우터 조건을 충족시키도록 설계하면, 컬러 필터는 도 3에 도시된 바와 같이 마이너스의 분광 성분을 갖는 것으로 되거나, 피크치가 다수 발생하는 것이 된다. 그 때문에 물리적으로 실현 불가능하거나 또는 실현을 할 수 있었다고 해도 상당히 곤란하게 된다.

그래서, 라우터 조건 외에 상기한 「물리적 제한」도 고려하여 설계하면, 분광 감도의 특성은 통상 도 4에 도시된 바와 같이, 마이너스의 분광 성분이 나타나지 않는 특성이 된다. 또, 도 3의 곡선(L1) 및 도 4의 곡선(Ll1)은 R의 분광 감도를, 도 3의 곡선(L2) 및 도 4의 곡선(L12)은 G의 분광 감도를, 도 3의 곡선(L3) 및 도 4의 곡선(L13)은 B의 분광 감도를 각각 나타내고 있다.

그러나, 도 4에 도시되는 것 같은 분광 감도 특성을 갖는 필터에서는, R의 분광 감도의 특성(곡선(Ll1))과 G의 분광 감도의 특성(곡선(L12))의 중첩이 커져, 각각의 색 신호를 분해(추출)할 때에 전파 노이즈가 증대한다고 하는 과제가 있었다. 즉, 색 신호를 분해하기 위해서 R 신호와 G 신호의 차이를 크게 할 필요가 있지만, 차이를 크게 하기 위해 각각의 신호를 증폭한 경우, 그것과 동시에 노이즈도 증폭되어, 상기한 「노이즈의 저감성」이 충족되지 않게 되어 버린다.

그래서, 「노이즈의 저감성」을 충족시키도록 「색 재현성」을 다소 희생하더라도 G의 분광 감도와 R의 분광 감도의 중복하는 부분을 적게 하여, 예를 들면도 5에 도시되는 것 같은 분광 감도 특성으로 하는 것도 생각할 수 있다.

그러나, 이러한 특성의 필터로 한 경우, 예를 들면 눈으로서는 다른 색으로서 보이는 물체가, 디지털 카메라에 있어서는 동일한 색으로서 촬영되는 등, 소위「색의 판별성」이 나빠지고 마는 과제가 있다.

이「색의 판별성」이 나빠지는 것에 대하여 더욱 설명하면 다음과 같이 된다. 즉, 도 6은 물체(R1)와 물체(R2)의 분광 반사율을 나타내는 도면이고, 도면에 도시된 바와 같이 물체(R1)와 물체(R2)의 분광 반사율은 다르다. 또한, 도 7A 및 도 7B는, 도 6의 분광 반사율을 갖는 물체(R1)와 물체(R2)를 표준 관찰자의 눈으로 본 경우의 3자극치(X, Y, Z치)(도 7A)와, 도 5의 분광 감도 특성을 갖는 컬러 필터로 촬영한 경우의 RGB치(도 7B)를 나타내는 도면이다.

도 7A에서는 물체(R1)의 X, Y, Z치(「0.08」,「0.06」,「0.30」)와 물체(R2)의 X, Y, Z치(「0.10」,「0.07」,「0.33」)는 각각 다른 값으로 되는데, 이것은 각각의 물체는 인간의 눈으로서는 다른 색으로서 보이는 것을 나타내고 있다. 이것에 대하여 도 7B에서는 물체(R1)의 R, G, B의 값과 물체(R2)의 R, G, B의 값이 동일한 값(「66.5」,「88.3」,「132.0」)으로 되어있다. 이것은 도 5의 분광 감도 특성을 갖는 디지털 카메라(컬러 필터)에서는, 각각의 물체의 색이 구별되지 않고 동일한 색의 것으로서 촬영되고 있는 것을 의미한다.

또한, q팩터, μ팩터, FOM을 이용하여 행하는 컬러 필터의 평가에 있어서는, 「노이즈의 저감성」이 고려되지 않고, 「노이즈 저감성」의 관점에서는 바람직하지 않은 것임에도 불구하고, 「색 재현성」,「물리적 제한」의 양쪽을 충족하는 필터(라우터 조건을 충족하는 도 4에 도시되는 것 같은 필터)에 대하여 최고의 평가(계수의 값이 1)가 도시되어 버린다.

본 발명은 화상 처리 장치 및 방법, 및 화상 처리 장치의 제조 방법에 관한 것으로, 특히 보다 충실한 색을 재현함과 동시에, 노이즈를 저감하도록 한 화상 처리 장치 및 방법, 및 화상 처리 장치의 제조 방법에 관한 것이다.

도 1은 종래의 RGB 컬러 필터의 예를 나타내는 도면이다.

도 2는 종래의 디지털 카메라에 설치되는 신호 처리부의 구성예를 나타내는 블록도이다.

도 3은 분광 감도 특성의 예를 나타내는 도면이다.

도 4는 분광 감도 특성의 다른 예를 나타내는 도면이다.

도 5는 분광 감도 특성의 또 다른 예를 나타내는 도면이다.

도 6은 소정의 물체의 분광 반사율을 나타내는 도면이다.

도 7A는 소정의 물체를 표준 관찰자의 눈으로 본 경우의 3자극치의 예를 나타내는 도면이다.

도 7B는 소정의 물체를 컬러 필터로 촬영한 경우의 RGB치의 예를 나타내는 도면이다.

도 8은 본 발명을 적용한 디지털 카메라의 구성예를 나타내는 블록도이다.

도 9는 도 8의 디지털 카메라에 설치되는 4색 컬러 필터의 예를 나타내는 도면이다.

도 10은 시감도 곡선의 예를 나타내는 도면이다.

도 11은 평가 계수의 특징을 나타내는 도면이다.

도 12는 도 8의 카메라 시스템 LSI의 구성예를 나타내는 블록도이다.

도 13은 도 12의 신호 처리부의 구성예를 나타내는 블록도이다.

도 14는 화상 처리 장치의 작성 처리를 설명하는 흐름도이다.

도 15는 도 14의 단계 S1의 4색 컬러 필터 결정 처리의 상세를 설명하는 흐름도이다.

도 16은 가상 곡선의 예를 나타내는 도면이다.

도 17A는 RGB의 특성이 각각 중복하지 않는 필터의 UMG치의 예를 나타내는 도면이다.

도 17B는 R의 특성과 G의 특성이 넓은 파장대역에 걸쳐 중복하는 필터의 UMG치의 예를 나타내는 도면이다.

도 17C는 RGB의 각각의 특성이 적절히 중첩되는 필터의 UMG치의 예를 나타내는 도면이다.

도 18은 4색 컬러 필터의 분광 감도 특성의 예를 나타내는 도면이다.

도 19는 도 14의 단계 S2의 선형 매트릭스 결정 처리의 상세를 설명하는 흐름도이다.

도 20은 색차의 평가 결과의 예를 나타내는 도면이다.

도 21은 4색 컬러 필터에 의한 소정의 물체의 색도를 나타내는 도면이다.

도 22는 도 8의 디지털 카메라에 설치되는 4색 컬러 필터의 다른 예를 나타내는 도면이다.

본 발명은 이러한 상황을 감안하여 이루어진 것으로, 보다 충실한 색을 재현함과 동시에 노이즈를 저감할 수 있도록 하는 것이다.

본 발명의 화상 처리 장치는, 3원색의 제1 내지 제3의 빛 및 3원색의 제1 내지 제3의 빛 중의 제2의 빛과 높은 상관을 갖는 제4의 빛을 추출하는 추출 수단과, 추출 수단에 의해 추출된 제1 내지 제4의 빛을, 대응하는 제1 내지 제4의 색 신호로 변환하는 변환 수단과, 제1 내지 제4의 색 신호에 기초하여, 3원색에 대응하는 제5 내지 제7의 색 신호를 생성하는 신호 생성 수단을 구비하고, 신호 생성 수단은 소정의 컬러 패치에 기초하여 산출되는 참조치와, 컬러 패치에 기초하여 추출 수단의 분광 감도 특성에 의해 산출되는 출력치의, 소정의 평가치에 있어서의 차이분을 최소로 하는 것으로 하여 공급되는 변환식에 기초하여 제5 내지 제7의 색 신호를 생성하는 것을 특징으로 한다.

제1 내지 제4의 빛을 추출하는 추출 수단은, 제1 내지 제4의 빛을 각각 추출하는 제1 내지 제4 추출부로 구성되는 단위를 갖고, 제2의 빛과 제4의 빛을 각각 추출하는 제2 추출부와 제4 추출부는 단위에 있어서 대각에 위치할 수 있다.

제2 추출부 및 제4 추출부는 휘도 신호의 시감도 특성에 근사하는 분광 감도 특성을 갖을 수 있다.

3원색의 제1 내지 제3의 빛은 적색, 녹색 또는 청색의 빛이고, 제4의 빛은녹색의 빛이도록 할 수 있다.

차이분은 XYZ 색 공간에서의 차이분이도록 할 수 있다.

차이분은 지각 균등 색 공간에서의 차이분이도록 할 수 있다.

차이분은 색 분해를 위한 전파 노이즈이도록 할 수 있다.

본 발명의 화상 처리 장치의 화상 처리 방법은, 3원색의 제1 내지 제3의 빛 및 3원색의 제l 내지 제3의 빛 중의 제2의 빛과 높은 상관을 갖는 제4의 빛을 추출하는 추출 단계와, 추출 단계의 처리에 의해 추출된 제1 내지 제4의 빛을, 대응하는 제1 내지 제4의 색 신호로 변환하는 변환 단계와, 제1 내지 제4의 색 신호에 기초하여, 3원색에 대응하는 제5 내지 제7의 색 신호를 생성하는 신호 생성 단계를 포함하고, 신호 생성 단계는 소정의 컬러 패치에 기초하여 산출되는 참조치와, 컬러 패치에 기초하여 추출 수단의 분광 감도 특성에 의해 산출되는 출력치의, 소정의 평가치에 있어서의 차이분을 최소로 하는 것으로 하여 공급되는 변환식에 기초하여 제5 내지 제7의 색 신호를 생성하는 것을 특징으로 한다.

본 발명의 화상 처리 장치의 제조 방법은, 변환 수단을 준비하는 제1 단계와, 추출 수단으로서 3원색의 제1 내지 제3의 빛 및 3원색의 제1 내지 제3의 빛 중의 제2의 빛과 높은 상관을 갖는 제4의 빛을 추출하는 추출 수단을, 소정의 평가 계수를 이용하여 분광 감도 특성을 결정하여, 제1 단계의 처리에 의해 준비된 변환 수단의 전면에 생성하는 제2 단계를 포함하는 것을 특징으로 한다.

제2 단계는 추출 수단으로서 제1 내지 제4의 빛을 각각 추출하는 제1 내지 제4 추출부로 구성되는 단위를 형성하여, 제2의 빛과 제4의 빛을 각각 추출하는 제2 추출부와 제4 추출부를 단위에 있어서 대각에 배치할 수 있다.

평가 계수는 제2 추출부 및 제4 추출부의 분광 감도 특성을, 휘도 신호의 시감도 특성에 근사한 평가 계수이도록 할 수 있다.

평가 계수는 색의 재현성과 동시에 노이즈의 저감성을 고려한 평가 계수이도록 할 수 있다.

제2 단계는 3원색의 제1 내지 제3의 빛을, 적색, 녹색 또는 청색의 빛으로 하고, 제4의 빛을 녹색의 빛으로 할 수 있다.

제 l 내지 제4의 빛을 변환 수단에 의해 변환하여 생성된 제 l 내지 제4의 색 신호에 기초하여, 3원색에 대응하는 제5 내지 제7의 색 신호를 생성하는 생성 수단을 생성하는 제3 단계를 또한 포함하도록 할 수 있다.

도 8에 도시되는 디지털 카메라는 CCD(Charge Coupled Device) 등으로 이루어지는 화상 센서(45)의 전면(렌즈(42)에 대향하는 면)에, 4종류의 색(빛)을 식별하는 컬러 필터가 설치되어 있다.

도 9는 도 8의 화상 센서(45)에 설치되는 4색 컬러 필터(61)의 예를 나타내는 도면이다.

도 9의 일점쇄선으로 도시된 바와 같이, 4색 컬러 필터(61)는 적색의 빛만을 투과하는 R 필터, 청색의 빛만을 투과하는 B 필터, 제1 파장 대역의 녹색의 빛만을 투과하는 G1 필터, 및 G1 필터와 상관이 높은 제2 파장 대역의 녹색의 빛만을 투과하는 G2 필터의, 합계 4개의 필터가 최소 단위로 하여 구성된다. 또한, G1 필터와 G2 필터는 그 최소 단위 내에서 상호 대각하는 위치에 배치되어 있다.

뒤에 상세히 설명하는 바와 같이, 화상 센서(45)에 의해 취득되는 화상의 색을 4종류로 하여 취득되는 색 정보를 늘리는 것에 의해 3종류의 색(RGB)만이 취득되는 경우와 비교하여 보다 정확하게 색을 표현할 수가 있어, 눈에 다른 것으로 보이는 색은 다른 색으로, 동일한 것으로 보이는 색은 동일한 색으로 각각 재현하는 것(「색의 판별성」)을 향상시킬 수 있다.

또, 도 10에 도시되는 시감도 곡선으로부터 알 수 있는 바와 같이, 인간의 눈은 휘도에 민감하다. 따라서, 도 9의 4색 컬러 필터(61)의 예에 있어서는 보다 정확한 휘도 정보를 취득하는 것에 의해 휘도의 계조를 올릴 수 있고, 또한, 눈이 보이는 방법에 가까운 화상을 재현할 수 있도록 시감도 곡선에 가까운 분광 감도 특성을 갖는 G2의 컬러 필터가 추가되어 있다(도 1의 R, G, B에 대응하는 R, Gl, B의 필터에 대하여, 새롭게 결정된 녹색 G2 필터가 추가되어 있다).

또한, 4색 컬러 필터(61)를 결정할 때에 사용되는 필터 평가 계수로서, 예를 들면, 「색 재현성」과「노이즈 저감성」의 양쪽을 고려한 계수인 UMG(Unified Measure of Goodness)가 이용되고 있다.

UMG를 이용한 평가에 있어서는, 평가 대상인 필터가 단순히 라우터조건을 충족시키고 있는 것만으로는 그 평가치는 높아지지 않고, 각각의 필터의 분광 감도 분포의 중첩도 고려된다. 따라서, q팩터, μ팩터, 또는 FOM(Figure of Merit)을 이용하여 평가된 컬러 필터인 경우와 비교하여 노이즈를 보다 저감시킬 수 있다. 즉, UMG을 이용한 평가에 의해 각각의 필터의 분광 감도 특성이 어느 정도의 중첩을 갖지만, 도 4의 R의 특성과 G의 특성과 같이 거의 전부가 중첩되는 것이 아닌 필터가 선택되기 때문에, 색의 분리를 위해 각각의 색 신호를 증폭하는 경우에도 증폭율을 그다지 크게 할 필요가 없어, 그것에 따라 노이즈 성분이 증폭되는 것이억제된다.

제4 필터(G2 필터)에 의해 노이즈가 억제되는 이유에 대하여 부언하면, 화소수 확대를 위해 CCD의 셀 사이즈가 미소화됨에 따라, 감도 효율을 향상시키기 위해서 원색 필터의 분광 감도 곡선이 굵어져 각 필터의 중첩이 커지는 경향이 있다. 이와 같은 상황하에서 또 한 장 필터를 추가하는 것은 원래의 3원색의 중첩을 억제하여, 결과적으로 노이즈를 방지하는 효과가 있다.

도 11은 각 필터 평가 계수의 특징을 나타내는 도면이다. 도 11에 있어서는, 각 평가 계수에 대하여, 한 번에 평가할 수 있는 필터의 수, 물체의 분광 반사율이 고려되어 있는지의 여부 및 노이즈의 저감이 고려되어 있는지의 여부가 도시되어 있다.

도 11에 도시된 바와 같이, q팩터(q-factor)는 한 번에 평가할 수 있는 필터의 수가「1개」만이고, 물체의 분광 반사율과 노이즈의 저감이 고려되어 있지 않다. 또한, μ팩터(μ-factor)는 한 번에 다수의 필터를 평가할 수 있지만, 물체의 분광 반사율과 노이즈의 저감은 고려되어 있지 않다. 또한, FOM은 한 번에 다수의 필터를 평가할 수가 있어 물체의 분광 반사율이 고려되어 있지만, 노이즈의 저감이 고려되어 있지 않다.

이것에 대하여, 4색 컬러 필터(61)를 결정할 때에 사용되는 UMG는 한 번에 다수의 필터를 평가할 수가 있고, 물체의 분광 반사율이 고려되고, 또한 노이즈의 저감도 고려되어 있다.

또, q팩터에 대해서는「H.E.J.Neugebauer "Quality Factor for FiltersWhose Spectral Transmittances are Different from Color Mixture Curves, and Its Application to Color Photography" JOURNAL OF THE OPTICAL SOCIETY OF AMERICA, VOLUME 46, NUMBER 10」에 그 상세가 개시되어 있고, μ팩터에 대해서는「P.L.Vora and H.J.Trussell, "Measure of Goodness of a set of color-scanning filters", JOURNAL OF THE OPTICAL SOCIETY OF AMERICA, VOLUME 10, NUMBER 7」에 그 상세가 개시되어 있다. 또한, FOM에 대해서는「G.Sharma and H.J.Trussell, "Figures of Merit for Color Scanners, IEEE TRANSACTION ON IMAGE PROCESSING, VOLUME 6」에 그 상세가 개시되어 있고, UMG에 대해서는「S.Quan, N.Ohta, and N.Katoh, roeptimal Design of Camera Spectral Sensitivity Functions Based on Practical Filter Components CIC, 2001」에 그 상세가 개시되어 있다.

도 8의 설명으로 되돌아가, 마이크로 컴퓨터(41)는 소정의 제어 프로그램에 따라서 전체의 동작을 제어한다. 예를 들면, 마이크로 컴퓨터(41)는 조리개(43)에 의한 노광 제어, 셔터(44)의 개폐 제어, TG(Timing Generator)(46)의 전자셔터의 제어, 프론트 엔드(47)에서의 게인 컨트롤, 카메라 시스템 LSI(Large Scale Integrated Circuit)(48)의 모드 제어, 파라미터 제어 등을 행한다.

조리개(43)는 렌즈(42)에 의해 집광된 빛의 통과(조임)를 조정하여, 화상 센서(45)에 의해 받아들이는 광량을 제어한다. 셔터(44)는 마이크로 컴퓨터(41)의 지시에 기초하여 렌즈(42)에 의해 집광된 빛의 통과를 제어한다.

화상 센서(45)는, 또한 CCD나 CMOS(Complementary Metal Oxide Semiconductor)에 의해 구성되는 촬상 소자를 갖고, 그 촬상 소자의 전면에 형성하는 4색 컬러 필터(61)를 개재하여 입사된 빛을 전기 신호로 변환하여, 4종류의 색 신호(R 신호, G1 신호, G2 신호, B 신호)를 프론트 엔드(47)에 출력한다. 화상 센서(45)에는 도 9의 4색 컬러 필터(61)가 설치되고, 렌즈(42)를 개재하여 입사된 빛으로부터 R, Gl, G2, B의 각각의 대역의 파장의 성분(그 상세는 도 18을 참조하여 뒤에 설명한다)이 추출된다.

프론트 엔드(47)는 화상 센서(45)로부터 공급되어 온 색 신호에 대하여, 노이즈 성분을 제거하기 위한 상관 이중 샘플링 처리, 게인 컨트롤 처리 및 디지털 변환 처리 등을 실시한다. 프론트 엔드(47)에 의해 각종의 처리가 실시되고, 얻어진 화상 데이터는 카메라 시스템 LSI(48)에 출력된다.

카메라 시스템 LSI(48)는 뒤에 상세히 설명하는 바와 같이, 프론트 엔드(47)로부터 공급되어 온 화상 데이터에 대하여 각종의 처리를 행하여, 예를 들면 휘도 신호 및 색 신호를 생성하여 화상 모니터(50)에 출력하여 신호에 대응하는 화상을 표시한다.

화상 메모리(49)는 예를 들면 DRAM(Dynamic Random Access Memory)나 SDRAM(Synchronous Dynamic Random Access Memory) 등으로 구성되어, 카메라 시스템 LSI(48)가 각종의 처리를 행할 때에 적절하게 이용된다. 반도체 메모리, 디스크 등에 의해 구성되는 외부 기억 매체(51)는, 예를 들면 도 8의 디지털 카메라에 대하여 착탈 가능하게 구성되어, 카메라 시스템 LSI(48)에 의해 JPEG(Joint Photographic Expert Group) 포맷으로 압축된 화상 데이터가 기억된다.

화상 모니터(50)는 예를 들면 LCD(Liquid Crystal Display) 등으로 구성되어, 촬영된 화상이나 각종 메뉴 화면 등을 표시한다.

도 12는 도 8의 카메라 시스템 LSI(48)의 구성예를 나타내는 블록도이다. 카메라 시스템 LSI(48)를 구성하는 각 블록은 마이크로 컴퓨터 인터페이스(I/F)(73)를 개재하여, 도 8의 마이크로 컴퓨터(41)에 의해 제어된다.

신호 처리부(71)는 프론트 엔드(47)로부터 공급되어 온 4 종류의 색정보에 대하여, 보간 처리, 필터링 처리, 매트릭스 연산 처리, 휘도 신호 생성 처리, 색차 신호 생성 처리 등의 각종의 처리를 행하여, 예를 들면 생성한 화상 신호를 모니터 인터페이스(77)를 개재하여 화상 모니터(50)에 출력한다.

화상 검파부(72)는 프론트 엔드(47)의 출력에 기초하여, 오토 포커스, 오토 익스포져, 오토 화이트 밸런스 등의 검파 처리를 행하고, 그 결과를 적절하게 마이크로 컴퓨터(41)에 출력한다.

메모리 컨트롤러(75)는 처리 블록 사이끼리의 데이터의 송수신, 또는 소정의 처리 블록과 화상 메모리(49)와의 사이의 데이터의 송수신을 제어하여, 예를 들면, 신호 처리부(71)로부터 공급되어 온 화상 데이터를 메모리 인터페이스(74)를 개재하여 화상 메모리(49)에 출력하여 기억시킨다.

화상 압축·해동부(76)는, 예를 들면 신호 처리부(71)로부터 공급되어 온 화상 데이터를 JPEG 포맷으로 압축하고, 얻어진 데이터를 마이크로 컴퓨터 인터페이스(73)를 개재하여 외부 기억 매체(51)에 출력하여 기억시킨다. 화상 압축·해동부(76)는 또한 외부 기억 매체(51)로부터 판독된 압축 데이터를 해동(신장)하여, 모니터 인터페이스(77)를 개재하여 화상 모니터(50)에 출력한다.

도 13은 도 12의 신호 처리부(71)의 상세한 구성예를 나타내는 블록도이다. 신호 처리부(71)를 구성하는 각 블록은 마이크로 컴퓨터 인터페이스(73)를 개재하여 마이크로 컴퓨터(41)에 의해 제어된다.

오프셋 보정 처리부(91)는 프론트 엔드(47)로부터 공급되어 온 화상 신호에 포함되는 노이즈 성분(오프셋 성분)을 제거하여, 얻어진 화상 신호를 화이트 밸런스 보정 처리부(92)에 출력한다. 화이트 밸런스 보정 처리부(92)는 오프셋 보정 처리부(9l)에서 공급되어 온 화상 신호의 색 온도 및 4색 컬러 필터(61)의 각 필터의 감도의 차이에 기초하여 각 색의 밸런스를 보정한다. 화이트 밸런스 보정 처리부(92)에 의해 보정이 실시되고, 취득된 색 신호는 수직 방향 동시화 처리부(93)에 출력된다. 수직 방향 동시화 처리부(93)에는 딜레이 소자가 설치되어 있어, 화이트 밸런스 보정 처리부(92)로부터 출력되어 온 신호의 수직 방향의 시간의 어긋남이 동시화(보정)된다.

신호 생성 처리부(94)는 수직 방향 동시화 처리부(93)로부터 공급되어 온 RG1G2B의 최소 단위인 2×2 화소의 색 신호를 동일 공간의 위상에 보간하는 보간 처리, 신호의 노이즈 성분을 제거하는 노이즈 제거 처리, 신호 대역을 제한하는 필터링 처리 및 신호 대역의 고역 성분을 보정하는 고역 주파수 보정 처리 등을 행하여, 얻어진 RGlG2B 신호를 선형 매트릭스 처리부(95)에 출력한다.

선형 매트릭스 처리부(95)는 다음 수학식 1에 따라서 소정의 매트릭스 계수(3×4의 행렬)에 기초하여 RG1G2B 신호의 연산을 행하여 3색의 RGB 신호를 생성한다.

선형 매트릭스 처리부(95)에 의해 생성된 R 신호는 감마 보정 처리부(96-1)에 출력되고, G 신호는 감마 보정 처리부(96-2)에 출력되고, B 신호는 감마 보정 처리부(96-3)에 출력된다.

감마 보정 처리부(96-1 내지 96-3)는 선형 매트릭스 처리부(95)로부터 출력되어 온 RGB 신호의 각각의 신호에 대하여 감마 보정을 행하고, 취득된 RGB 신호를 휘도(Y) 신호 생성 처리부(97) 및 색차(C) 신호 생성 처리부(98)에 출력한다.

휘도 신호 생성 처리부(97)는 감마 보정 처리부(96-l 내지 96-3)로부터 공급되어 온 RGB 신호를, 예를 들면 다음 수학식 2에 따라서 소정의 합성비로 합성하여 휘도 신호를 생성한다.

색차 신호 생성 처리부(98)도 동일하게 감마 보정 처리부(96-1 내지 96-3)로부터 공급되어 온 RGB 신호를 소정의 합성비로 합성하여, 색차 신호(Cb, Cr)를 생성한다. 휘도 신호 생성 처리부(97)에 의해 생성된 휘도 신호 및 색차 신호 생성 처리부(98)에 의해 생성된 색차 신호는, 예를 들면 도 12의 모니터 인터페이스(77)를 개재하여 화상 모니터(50)에 출력된다.

이상과 같은 구성을 갖는 디지털 카메라에 있어서, 화상의 촬영이 지시된 경우, 마이크로 컴퓨터(41)는 TG(46)를 제어하여 화상 센서(45)에 의해 화상을 저장하게 한다. 즉, 화상 센서(45)를 구성하는 CCD 등의 촬상 소자의 전면에 형성되어 있는 4색 컬러 필터(61)에 의해 4색의 빛이 투과되고, 투과된 빛이 CCD 촬상 소자에 의해 저장된다. CCD 촬상 소자에 의해 저장된 빛은 4색의 색 신호로 변환되고, 그것이 프론트 엔드(47)에 출력된다.

프론트 엔드(47)는 화상 센서(45)로부터 공급되어 온 색 신호에 대하여 노이즈 성분을 제거하기 위한 상관 이중 샘플링 처리, 게인 컨트롤 처리 및 디지털 변환 처리 등을 실시하여, 얻어진 화상 데이터를 카메라 시스템 LSI(48)에 출력한다.

카메라 시스템 LSI(48)의 신호 처리부(71)에 있어서는, 오프셋 보정 처리부(91)에 의해 색 신호의 오프셋 성분이 제거되고, 화이트 밸런스 보정 처리부(92)에 의해 화상 신호의 색 온도 및 4색 컬러 필터(61)의 각 필터의 감도의 차이에 기초하여 각 색의 밸런스가 보정된다.

또한, 수직 방향 동시화 처리부(93)에 의해 화이트 밸런스 보정 처리부(92)에 의해 보정된 신호의 수직 방향의 시간의 어긋남이 동시화(보정)되고, 신호 생성 처리부(94)에 의해 수직 방향 동시화 처리부(93)로부터 공급되어 온 RGlG2B의 최소 단위인 2×2 화소의 색 신호를, 동일 공간의 위상에 보간하는 보간 처리, 신호의 노이즈 성분을 제거하는 노이즈 제거 처리, 신호 대역을 제한하는 필터링 처리 및 신호 대역의 고역 성분을 보정하는 고역 주파수 보정 처리 등이 행해진다.

또한, 선형 매트릭스 처리부(95)에 있어서는, 신호 생성 처리부(94)에 의해생성된 신호(RG1G2B 신호)가 소정의 매트릭스 계수(3×4의 행렬)에 기초하여 변환되어 3색의 RGB 신호가 생성된다. 선형 매트릭스 처리부(95)에 의해 생성된 R 신호는 감마 보정 처리부(96-1)에 출력되고, G 신호는 감마 보정 처리부(96-2)에 출력되고, B 신호는 감마 보정 처리부(96-3)에 출력된다.

감마 보정 처리부(96-1 내지 96-3)에 의해, 선형 매트릭스 처리부(95)의 처리에 의해 얻어진 RGB 신호의 각각의 신호에 대하여 감마 보정이 행해지고, 취득된 RGB 신호가 휘도 신호 생성 처리부(97) 및 색차 신호 생성 처리부(98)에 출력된다. 휘도 신호 생성 처리부(97) 및 색차 신호 생성 처리부(98)에 있어서는, 감마 보정 처리부(96-1 내지 96-3)로부터 공급되어 온 R 신호, G 신호, B 신호의 각각의 신호가 소정의 합성비로 합성되어 휘도 신호 및 색차 신호가 생성된다. 휘도 신호 생성 처리부(97)에 의해 생성된 휘도 신호 및 색차 신호 생성 처리부(98)에 의해 생성된 색차 신호는 도 12의 화상 압축·해동부(76)에 출력되고, 예를 들면 JPEG 포맷으로 압축된다. 압축되어 얻어진 화상 데이터는 마이크로 컴퓨터 인터페이스(73)를 개재하여 외부 기억 매체(5l)에 출력되어 기억된다.

이상과 같이, 1개의 화상 데이터가 4 종류의 색 신호에 기초하여 형성되기 때문에, 그 재현성은 인간의 눈으로 보이는 것과 보다 가까운 것으로 된다.

한편, 외부 기억 매체(51)에 기억되어 있는 화상 데이터의 재생(표시)이 지시되었을 때, 마이크로 컴퓨터(41)에 의해 외부 기억 매체(51)에 기억되어 있는 화상 데이터가 판독되고, 그것이 카메라 시스템 LSI(48)의 화상 압축·해동부(76)에 출력된다. 화상 압축·해동부(76)에 있어서는, 압축되어 있는 화상 데이터가 신장되고, 모니터 인터페이스(77)를 개재하여 얻어진 데이터에 대응하는 화상이 화상 모니터(50)에 표시된다.

다음에, 도 14의 흐름도를 참조하여, 이상과 같은 구성을 갖는 디지털 카메라를 작성하는 처리(수순)에 대하여 설명한다.

단계 S1에 있어서, 도 8의 화상 센서(45)에 설치되는 4색 컬러 필터(61)의 분광 감도 특성을 결정하는 4색 컬러 필터 결정 처리가 행해지고, 단계 S2에 있어서 도 13의 선형 매트릭스 처리부(95)에 설정되는 매트릭스 계수를 결정하는 선형 매트릭스 결정 처리가 행해진다. 단계 Sl에서 실행되는 4색 컬러 필터 결정 처리의 상세에 대해서는 도 15의 흐름도를 참조하고, 또한 단계 S2에 있어서 실행되는 선형 매트릭스 결정 처리의 상세에 대해서는 도 19의 흐름도를 참조하여 각각 뒤에 설명한다.

4색 컬러 필터(61)가 결정되고 매트릭스 계수가 결정된 후, 단계 S3에 있어서 도 13의 신호 처리부(71)가 작성되어 단계 S4에 진행하고, 도 12의 카메라 시스템 LSI(48)이 작성된다. 또한, 단계 S5에 있어서 도 8에 도시되는 것 같은 화상 처리 장치(디지털 카메라)의 전체가 작성된다. 단계 S6에 있어서, 단계 S5에서 작성된 디지털 카메라의 화질(「색 재현성」,「색 판별성」)의 평가가 행해지고 처리가 종료된다.

여기서, 「색 재현성」,「색 판별성」 등을 평가할 때에 참조되는 물체색에 대하여 설명한다. 물체색은「물체의 분광 반사율」,「표준 조명의 분광 에너지 분포」 및「물체를 감지하는 센서(컬러 필터)의 분광 감도 분포(특성)」의 곱을 가시광 영역(예를 들면, 400 내지 700nm)의 범위에서 적분한 값에 의해서 산출된다. 즉, 다음의 수학식 3에 의해 물체색이 산출된다.

λ: 파장

vis : 가시광 영역(통상 400nm 내지 700nm)

예를 들면, 소정의 물체를 눈으로 관찰하는 경우, 수학식 3의「센서의 분광 감도 특성」이 등색 함수로 표시되고, 그 물체의 물체색은 X, Y, Z의 3자극치로 표시된다. 구체적으로는, X의 값은 수학식 4-1로 산출되고, Y의 값은 수학식 4-2로 산출되고, Z의 값은 수학식 4-3으로 산출된다. 또, 수학식 4-1 내지 4-3에 있어서의 상수(k)의 값은 수학식 4-4로 산출된다.

vis : 가시광 영역(통상 400nm 내지 700nm)

R(λ) : 물체의 분광 반사율

: 등색 함수

또한, 디지털 카메라 등의 화상 처리 장치에 의해 소정의 물체의 화상을 저장하는 경우, 상기 수학식 3의「센서의 분광 감도 특성」이 컬러 필터의 분광 감도 특성으로 표시되고, 그 물체의 물체색은 필터 수의 색치(예를 들면, RGB 필터(3종류)인 경우는 RGB치(3치))의 물체색이 산출된다. 화상 처리 장치에 3종류의 색을 검출하는 RGB 필터가 설치되어 있는 경우, 구체적으로는 R의 값은 수학식 5-1로 산출되고, G의 값은 수학식 5-2로 산출되고, B의 값은 수학식 5-3으로 산출된다. 또한, 수학식 5-1에 있어서의 상수(k_r)의 값은 수학식 5-4로 산출되고, 수학식 5-2에 있어서의 상수(k_g)의 값은 수학식 5-5로 산출되고, 수학식 5-3에 있어서의 상수(k_b)의 값은 수학식 5-6으로 산출된다.

vis : 가시광 영역(통상 400nm 내지 700nm)

R(λ) : 물체의 분광 반사율

: 컬러 필터의 분광 감도 분포

다음으로 도 15의 흐름도를 참조하여, 도 14의 단계 S1에서 행해지는 4색 컬러 필터 결정 처리에 대하여 설명한다.

또, 4색 컬러 필터의 결정 방법으로서는 여러가지 방법이 있지만, 예를 들면 RGB 필터를 기조로 하고(기존의(도 1의) G 필터의 한쪽을 G1 필터로 하고), G1필터를 투과하는 색과 상관이 높은 색을 투과하는 G2필터를 선택하고, 그것을 추가하여 4색 컬러 필터를 결정하는 처리에 대하여 설명한다.

단계 S21에 있어서, UMG치를 산출하기 위해서 사용되는 컬러 타겟이 선택된다. 예를 들면 단계 S21에 있어서, 현존하는 색을 대표하는 컬러패치를 많이 포함하고, 또한 인간의 기억색(피부색, 식물의 녹색, 하늘의 청색 등)을 중시한 컬러 패치를 많이 포함하는 컬러 타겟이 선택된다. 컬러 타겟으로서는, 예를 들면 IT8.7, 멕베스 칼라 체커(Macbeth Co1or Checker), 그레텍멕베스 디지털카메라 컬러 체커(GretagMacbeth Digital Camera Color Checker), 씨·아이·이(CIE), 칼라바(ColorBar) 등이 있다.

또한, 목적에 따라서 SOCS(Standard Object Color Spectra Database) 등의 데이터로부터 표준이 될 수 있는 컬러패치를 작성하고 그것을 사용하도록 해도 된다. 또, SOCS에 대해서는「타지마요지(田島讓二), "표준 물체 색 분광 데이터베이스(SOCS)에 의한 통계적 색 재현 평가" 컬러포럼 JAPAN 99」에 그 상세가 개시되어 있다. 이하, 멕베스 칼라 체커(Macbeth Co1or Checker)가 컬러 타깃으로서 선택된 경우에 대해 설명한다.

단계 S22에 있어서, G2 필터의 분광 감도 특성이 결정된다. 분광 감도 특성으로서, 실존하는 재료로부터 작성 가능한 것을 사용하도록 해도 되고, 도 16에 도시되는 것 같은 큐빅 스프라인(cubic spline)곡선(3차 스플라인 함수)으로 가상 곡선 C(λ)를 상정하여, 가상 곡선 C(λ)의 피크치(λ₀), 값 w(w₁과 w₂의 합을 2로 나눈 값), 값w(w₁으로부터 w₂를 뺀 값을 2로 나눈 값)을 그림 중에 나타낸 범위에서 변화시킨 것을 사용하도록 해도 된다. 또, w,w의 값은 반값폭의 값에 기초하는 값이 된다. λ₀, w,w의 변화의 방법은 예를 들면 5 nm간격으로 한다. 가상곡선C(λ)는 각각의 범위에서 아래의 수학식 6-1 내지 6-5로 표시된다.

∧ 상기 범위 이외

또, 본 예에서는 필터(G2)만이 추가되지만, 도 1의 필터(R, G, G, B)의 R 필터와 B 필터만을 사용하고, 남은 2개의 Gl, G2 필터를 녹색 부근의 상기 수학식 6-1 내지 6-5의 가상곡선으로서 정의하는 것도 가능하다. 또한, 동일하게 R과 G만, G와 B만을 도 1의 필터로부터 사용하도록 해도 된다. 또한, 4색의 필터 중 3색을 가상곡선 또는 4색 모두 가상곡선으로서 정의하는 것도 가능하다.

단계 S23에 있어서, 추가하는 필터(G2 필터)와 현존의 필터(R 필터, G1 필터, B 필터)가 조합되고, 4색 컬러 필터의 최소 단위(세트)가 작성된다. 또한, 단계 S24에 있어서, 단계 S23에서 작성된 4색 컬러 필터에 대하여 필터 평가 계수로서 UMG가 이용되어 UMG치가 산출된다.

도 11을 참조하여 설명한 바와 같이, UMG를 이용한 경우, 4색의 각각의 컬러 필터에 대하여 한번에 평가를 행할 수 있다. 또, 물체의 분광 반사율을 고려하여 평가가 행해지는 것 뿐만 아니라, 노이즈의 저감성도 고려하여 평가가 행해진다. UMG를 이용한 평가에 있어서는, 각각의 필터의 분광 감도 특성에 적절한 중첩이 있는 필터에 대하여 높은 평가가 도시되기 때문에, 예를 들면, R의 특성과 G의 특성이 넓은 파장 대역에 걸쳐 중복하는 특성을 갖는 필터(각각의 색 신호를 분리했을 때, 노이즈가 증폭되는 필터)에 대하여 높은 평가가 도시된다는 것을 억제할 수 있다.

도 17A 내지 도 17C는 3색 컬러 필터에 있어서 산출되는 UMG치의 예를 나타내는 도면이다. 예를 들면, RGB의 특성이 각각 중복하지 않는 도 17A에 도시되는 것과 같은 특성의 필터에 있어서는 「0.7942」의 UMG치가 산출되고, R의 특성과 G의 특성이 넓은 파장 대역에 걸쳐 중복하는 도 17B에 도시되는 것 같은 특성의 필터에 있어서는 「0.8211」의 UMG치가 산출된다. 또한, RGB의 각각의 특성이 적절히 중첩되는 도 17C에 도시되는 것 같은 특성을 갖는 필터에 있어서는 「0.8879」의 UMG치가 산출된다. 즉, RGB의 각각의 특성이 적절히 중첩되는 도 17C에 도시되는 것 같은 특성을 갖는 필터에 대하여 가장 높은 평가가 도시된다. 이것은 4색컬러 필터에 있어서도 동일하다. 또, 도 17A의 곡선(L31), 도 17 B의 곡선(L41) 및 도 17C의 곡선(L51)은 R의 분광 감도를, 도 17A의 곡선(L32), 도 17B의 곡선(L42) 및 도 17C의 곡선(L52)은 G의 분광 감도를, 도 17A의 곡선(L33), 도 17B의 곡선(L43) 및 도 17C의 곡선(L53)은 B의 분광 감도를 각각 나타내고 있다.

단계 S25에 있어서, 단계 S24에서 산출된 UMG치가, 소정의 임계값인 「0.95」이상인지의 여부가 판정되고, 「0.95」미만이라고 판정된 경우, 단계 S26에 진행하고, 작성된 4색 컬러 필터가 각하된다(사용되지 않는다). 단계 S26에 있어서, 4색 컬러 필터가 각하된 경우, 그 후에 처리는 종료된다(도 14의 단계 S2 이후의 처리는 실행되지 않는다).

한편, 단계 S25에 있어서, 단계 S24에서 산출된 UMG치가 「0.95」이상이라고 판정된 경우, 단계 S27에 있어서, 그 4색 컬러 필터가 디지털 카메라에서 사용되는 후보 필터가 된다.

단계 S28에 있어서, 단계 S27에서 후보 필터가 된 4색 컬러 필터가 현존하는 재료, 염료로 실현 가능한지 아닌지가 판정된다. 재료, 염료 등이 취득 곤란한 경우, 실현 불가능이라고 판정되어 단계 S26에 진행해서 그 4색 컬러 필터가 각하된다.

한편, 단계 S28에 있어서, 재료, 염료 등이 취득 가능하고, 실현 가능하다고 판정된 경우, 단계 S29에 진행하여 작성된 4색 컬러 필터가 디지털 카메라에 있어서 사용되는 필터로서 결정된다. 그 후, 도 14의 단계 S2 이후의 처리가 실행된다.

도 18은 단계 S29에 있어서 결정된 4색 컬러 필터의 분광 감도 특성의 예를 나타내는 도면이다.

도 18에 있어서, 곡선(L61)은 R의 분광 감도를 나타내고, 곡선(L62)은 G1의 분광 감도를 나타내고 있다. 또, 곡선(L63)은 G2의 분광 감도를 나타내고, 곡선(L64)은 B의 분광 감도를 나타내고 있다. 도 18에 도시된 바와 같이, G2의 분광 감도 곡선(곡선(L63))은 G1의 분광 감도 곡선(곡선(L62))에 대하여 상관이 높다. 또한, R의 분광 감도, G(Gl, G2)의 분광 감도 및 B의 분광 감도는 각각 적절한 범위에서 중복하고 있다. 또, 도 18에 도시되는 특성은 도 5에 도시되는 3색 컬러 필터의 특성에 대하여 G2의 특성이 부가된 것이다.

이상과 같이하여 결정된 4색 컬러 필터를 이용하는 것에 의해, 특히 「색 재현성」 중의「색의 판별성」을 개선시킬 수 있다.

또, 빛의 이용 효율의 관점에서 이상과 같이 현존하는 RGB 필터의 G 필터와 상관이 높은 필터를 추가하는 필터(G2 필터)로 하는 것이 바람직하다. 이 경우, 추가하는 필터의 분광 감도 곡선의 피크치는 경험적으로 495 내지 535nm의 범위(현존하는 G 필터의 분광 감도 곡선의 피크치의 근방)에 있는 것이 바람직하다.

또한, 현존하는 G 필터와 상관이 높은 필터를 추가하는 경우, 도 1의 최소 단위(R, G, G, B)를 구성하는 2개의 G 필터 중 어느 한쪽을 추가색의 필터로 하는 것 만으로 4색 컬러 필터를 작성할 수 있기 때문에, 작성의 행정에 큰 변경을 가할 필요가 없다.

이상과 같이 하여 4색 컬러 필터가 작성되고, 그것이 디지털 카메라에 설치된 경우, 도 13의 신호 처리 장치(71)에는 4종류의 색 신호가 신호 생성 처리부(94)로부터 공급되기 때문에, 선형 매트릭스 처리부(95)에 있어서 4색(R, G1, G2, B)의 신호로부터 3색(R, G, B)의 신호를 생성하는 변환 처리가 행해진다. 이 변환 처리는 휘도 선형의(휘도치를 선형적인 변환에 의해 나타낼 수 있는) 입력 신호치에 대한 매트릭스 처리이기 때문에, 이하 선형 매트릭스 처리부(95)에 있어서 행해지는 변환 처리를 적절하게 선형 매트릭스 처리라 부른다.

다음에, 도 19의 흐름도를 참조하여, 도 14의 단계 S2에 있어서 실행되는 선형 매트릭스 결정 처리에 대하여 설명한다.

또, 도 19의 처리에 있어서 사용되는 컬러 타겟은 멕베스 컬러 체커(Macbeth Color Checker)로 하고, 또한 사용되는 4색 컬러 필터는 도 18에 도시되는 분광 감도 특성을 갖는 것으로 한다.

단계 S41에 있어서, 예를 들면, CIE(Commision Internationale del'Eclairange)에 있어서 표준 광원이라고 되어 있는 일반적인 낮광(D65)(조명광 L(λ))이 조명광으로서 선택된다. 또, 조명광은 화상 처리 장치가 빈번히 사용되는 것이 예상되는 환경의 조명광 등으로 변경해도 된다. 또, 상정되는 조명 환경이 다수 있는 경우, 선형 매트릭스를 다수 준비하는 것도 생각된다. 이하, 조명광으로서 낮광(D65)이 선택된 경우에 대해 설명한다.

단계 S42에 있어서, 기준치(참조치) Xr, Yr, Zr가 산출된다. 구체적으로는 기준치(Xr)는 수학식 7-1에 의해 산출되고, Yr은 수학식 7-2에 의해 산출되고, Zr은 수학식 7-3에 의해 산출된다.

vis : 가시광 영역(통상 400nm 내지 700nm)

: 등색 함수

또한, 상수(k)는 수학식 8에 의해 산출된다.

예를 들면, 컬러 타깃이 멕베스 컬러 체커(Macbeht Color Checker)인 경우, 24색분의 기준치가 산출된다.

다음에, 단계 S43에 있어서, 4색 컬러 필터의 출력치(R_f, Gl_f, G2_f, B_f)가 산출된다. 구체적으로는, R_f는 수학식 9-1에 의해 산출되고, Gl_f는 수학식 9-2에 의해 산출되고, G2_f는 수학식 9-3에 의해 산출되고, B_f는 수학식 9-4에 의해 산출된다.

vis : 가시광 영역(통상 400nm 내지 700nm)

R(λ) : 물체의 분광 반사율

: 컬러 필터의 분광 감도 분포

또한, 상수(k_r)는 수학식 10-1에 의해 산출되고, 상수(k_g1)는 수학식 10-2에 의해 산출되고, 상수(k_g2)는 수학식 10-3에 의해 산출되고, 상수(k_b)는 수학식 10-4에 의해 산출된다.

예를 들면, 컬러 타깃이 멕베스 컬러 체커(Macbeht Color Checker)인 경우는, 24색분의 출력치(R_f, Gl_f, G2_f, B_f)가 산출된다.

단계 S44에 있어서, 단계 S43에서 산출된 필터 출력치를, 단계 S42에서 산출된 기준치(XYZ_ref)에 근사시키는 변환을 행하는 매트릭스가, 예를 들면 XYZ색 공간에서의 오차 최소 제곱법에 의해 산출된다.

예를 들면, 산출되는 3×4의 매트릭스를 수학식 11로 표시되는 A로 한 경우, 매트릭스 변환(XYZ_exp)은 다음의 수학식 12로 표시된다.

또, 기준치에 대한 매트릭스 변환(수학식 12)의 오차의 제곱(E²)은 다음의 수학식 l3으로 표시되고, 이것에 기초하여 기준치에 대한 매트릭스 변환의 오차를 최소로 하는 매트릭스(A)가 산출된다.

또한, 오차 최소 제곱법으로 사용하는 색 공간을 XYZ 색 공간 이외의 것으로 변경하도록 해도 된다. 예를 들면, 인간의 지각에 대하여 균등한 Lab, Luv, Lch 색 공간(지각 균등 색 공간)으로 변환한 후에 동일한 연산을 행함으로써, 지각적인 오차가 적은 색의 재현을 가능하게 하는 선형 매트릭스를 산출할 수 있다. 또, 이들의 색 공간의 값은 XYZ치로부터 비선형의 변환에 의해서 산출되기 때문에, 오차 최소 제곱법에 있어서도 비선형인 계산 알고리즘이 사용된다.

상기한 바와 같은 연산에 의해, 예를 들면 도 18의 분광 감도 특성을 갖는 필터에 대한 매트릭스 계수로서 수학식 14로 표시되는 것이 산출된다.

단계 S45에 있어서 선형 매트릭스가 결정된다. 예를 들면 작성되는 최종의 RGB 화상 데이터가 다음의 수학식 15로 표시된다고 한 경우, 선형 매트릭스(LinearM)는 이하와 같이 하여 산출된다.

즉, 조명광이 D65인 경우, sRGB 색 공간을 XYZ 색 공간으로 변환하는 변환식은 ITU-R709.BT 매트릭스를 포함하는 수학식 16으로 표시되고, 그 ITU-R709.BT 매트릭스의 역매트릭스에 의해 수학식 17이 산출된다.

수학식 12의 매트릭스 변환식, 수학식 15 및 수학식 17의 ITU-R709.BT 매트릭스의 역매트릭스에 의해 수학식 18이 산출된다. 수학식 18의 우변에는 ITU-R709.BT 매트릭스의 역 매트릭스와, 상기 매트릭스(A)를 곱한 값으로서의 선형 매트릭스가 포함된다.

즉, 3×4의 선형 매트릭스(LinearM)는 수학식 19-1에 의해 표시되고, 예를 들면 수학식 14의 매트릭스 계수가 이용되는, 도 18의 분광 분포 특성을 갖는 4색 컬러 필터에 대한 선형 매트릭스는 수학식 19-2에 의해 표시된다.

이상과 같이 하여 산출된 선형 매트릭스가, 도 13의 선형 매트릭스 처리부(95)에 공급된다. 이에 의해 휘도를 선형 변환에 의해 나타낼 수 있는 신호(R, Gl, G2, B)에 대하여 매트릭스 처리를 행할 수 있기 때문에, 도 2에 도시되는 신호 처리부(11)에 있어서의 처리와 같이, 감마 처리를 실시한 후 얻어지는 신호에 대하여 매트릭스 처리를 행하는 경우에 비하여 색채 공학적으로 보다 충실한 색을 재현시킬 수 있다.

다음에, 도 14의 단계 S6에 있어서 행해지는 평가에 대하여 설명한다.

이상과 같이하여 작성된, 예를 들면 도 18의 분광 감도 특성을 갖는 4색 컬러 필터가 설치된 화상 처리 장치(도 8의 디지털 카메라)의 색 재현성과, 도 1에 도시되는 3색 컬러 필터가 설치되는 화상 처리 장치의 색 재현성을 비교한 경우, 이하와 같은 차이가 나타난다.

예를 들면, 맥베스 차트를 2종류의 화상 입력 장치(4색 컬러 필터가 설치되는 디지털 카메라와, 3색 컬러 필터가 설치되는 디지털 카메라)로 촬상했을 때의 출력치와 기준치와의 Lab 색 공간에서의 색차가 다음의 수학식 20에 의해 각각 산출된다.

L₁-L₂는 2개의 시료의 명도차이고, a_l-a₂, b_l-b₂는 2개의 시료의 색상·채도의 성분차를 나타내고 있다.

도 20은 수학식 20에 의한 산출 결과를 나타내는 도면이다. 도 20에 도시된 바와 같이, 3색 컬러 필터가 설치되는 디지털 카메라인 경우는 색차가「3.32」인 데 대하여, 4색 컬러 필터가 설치되는 디지털 카메라인 경우는「1.39」로, 「색이 보이는 방법」은 4색 컬러 필터가 설치된 디지털 카메라쪽이 우수하다(색차가 작다).

또한, 도 21은, 도 6의 분광 반사율을 갖는 물체(R1)와 물체(R2)를 4색 컬러필터가 설치된 디지털 카메라에 의해 촬영한 경우의 RGB치를 나타내는 도면이다.

도 21에 있어서는, 물체(R1)의 R치가「49.4」, G치가「64.1」, B치가「149.5」가 되고, 물체(R2)의 R치가「66.0」, G치가「63.7」, B치가「155.6」으로 되어 있다. 따라서, 상기한 바와 같이 3색 컬러 필터로 촬영한 경우, 그 RGB치는 도 7B에 도시되는 것이 되어 각각의 물체의 색이 식별되어 있지 않은 데 대하여, 4색 컬러 필터에 있어서는 물체(R1)와 물체(R2)의 RGB치는 각각 다른 값이 되어, 눈으로 본 경우(도 7A)와 동일하게 각각의 물체의 색이 식별되어 있는 것이 도 21에 의해 표시되고 있다. 즉, 4종류의 색을 식별할 수 있는 필터를 설치하는 것에 의해 「색의 판별성」이 개선되어 있다.

이상에 있어서는, 4색 컬러 필터(61)는 도 9에 도시된 바와 같이, G1 필터의 좌우에 B 필터가 설치됨과 동시에, G2 필터의 좌우에 R 필터가 설치되는 것과 같은 배열에 의해 구성된다고 했지만, 도 22에 도시된 것 같은 배열에 의해 구성되도록 해도 된다. 도 22에 도시되는 4색 컬러 필터(61)에 있어서는, G1 필터의 좌우에 R 필터가 설치됨과 동시에, G2 필터의 좌우에 B 필터가 설치되어 있다. 4색 컬러 필터(61)를 이와 같이 구성하는 것에 의해서도 도 9에 도시되는 것과 동일하게 「색의 판별성」,「색의 재현성」 및「 노이즈의 저감성」을 향상시킬 수 있다.

본 발명에 따르면 촬영된 색을 충실히 재현할 수 있다.

또한, 본 발명에 따르면 「색의 판별성」을 향상시킬 수 있다.

또한, 본 발명에 따르면 「색의 재현성」 및「노이즈의 저감성」을 향상시킬수 있다.

본 발명에 따르면 「색이 보이는 방법」을 개선시킬 수 있다.

Claims

3원색의 제1 내지 제3의 빛 및 상기 3원색의 상기 제1 내지 제3의 빛 중의 상기 제2의 빛과 높은 상관을 갖는 제4의 빛을 추출하는 추출 수단과,

상기 추출 수단에 의해 추출된 상기 제1 내지 제4의 빛을 대응하는 제l 내지 제4의 색 신호로 변환하는 변환 수단과,

상기 제1 내지 제4의 색 신호에 기초하여, 상기 3원색에 대응하는 제5 내지 제7의 색 신호를 생성하는 신호 생성 수단을 구비하고,

상기 신호 생성 수단은 소정의 컬러패치에 기초하여 산출되는 참조치와, 상기 컬러패치에 기초하여 상기 추출 수단의 분광 감도 특성에 의해 산출되는 출력치의, 소정의 평가치에 있어서의 차이분을 최소로 하는 것으로 하여 공급되는 변환식에 기초하여 상기 제5 내지 제7의 색 신호를 생성하는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서, 상기 제1 내지 제4의 빛을 추출하는 상기 추출 수단은 상기 제1 내지 제4의 빛을 각각 추출하는 제1 내지 제4 추출부로 구성되는 단위를 갖고, 상기 제2의 빛과 상기 제4의 빛을 각각 추출하는 상기 제2 추출부와 상기 제4 추출부는 상기 단위에 있어서 대각에 위치하는 것을 특징으로 하는 화상 처리 장치.
제2항에 있어서, 상기 제2 추출부 및 상기 제4 추출부는 휘도 신호의 시감도특성에 근사하는 분광 감도 특성을 갖는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서, 상기 3원색의 제1 내지 제3의 빛은, 적색, 녹색, 또는 청색의 빛이고, 상기 제4의 빛은 녹색의 빛인 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서, 상기 차이분은 XYZ 색 공간에서의 차이분인 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서, 상기 차이분은 지각 균등 색 공간에서의 차이분인 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서, 상기 차이분은 색 분해를 위한 전파 노이즈인 것을 특징으로 하는 화상 처리 장치.
화상 처리 장치의 화상 처리 방법에 있어서,

3원색의 제1 내지 제3의 빛 및 상기 3원색의 상기 제1 내지 제3의 빛 중의 상기 제2의 빛과 높은 상관을 갖는 제4의 빛을 추출하는 추출 단계와,

상기 추출 단계의 처리에 의해 추출된 상기 제1 내지 제4의 빛을 대응하는 제1 내지 제4의 색 신호로 변환하는 변환 단계와,

상기 제1 내지 제4의 색 신호에 기초하여 상기 3원색에 대응하는 제5 내지제7의 색 신호를 생성하는 신호 생성 단계를 포함하고,

상기 신호 생성 단계는 소정의 컬러패치에 기초하여 산출되는 참조치와, 상기 컬러패치에 기초하여 상기 추출 수단의 분광 감도 특성에 의해 산출되는 출력치의, 소정의 평가치에 있어서의 차이분을 최소로 하는 것으로 하여 공급되는 변환식에 기초하여 상기 제5 내지 제7의 색 신호를 생성하는 것을 특징으로 하는 화상 처리 방법.
입사된 빛으로부터 소정의 색의 성분을 추출하는 추출 수단과,

상기 추출 수단에 의해 추출된 색의 성분의 빛을 대응하는 색 신호로 변환하는 변환 수단을 구비하는 화상 처리 장치의 제조 방법에 있어서,

상기 변환 수단을 준비하는 제1 단계와,

상기 추출 수단으로서 3원색의 제1 내지 제3의 빛 및 상기 3원색의 상기 제1 내지 제3의 빛 중의 상기 제2의 빛과 높은 상관을 갖는 제4의 빛을 추출하는 추출 수단을, 소정의 평가 계수를 이용하여 분광 감도 특성을 결정하고, 상기 제1 단계의 처리에 의해 준비된 상기 변환 수단의 전면에 생성하는 제2 단계를 포함하는 것을 특징으로 하는 제조 방법.
제9항에 있어서, 상기 제2의 단계는 상기 추출 수단으로서, 상기 제1 내지 제4의 빛을 각각 추출하는 제1 내지 제4의 추출부로 구성되는 단위를 형성하고, 상기 제2의 빛과 상기 제4의 빛을 각각 추출하는 상기 제2의 추출부와 상기 제4의 추출부를 상기 단위에 있어서 대각에 배치하는 것을 특징으로 하는 제조 방법.
제9항에 있어서, 상기 평가 계수는 상기 제2 추출부 및 상기 제4 추출부의 분광 감도 특성을 휘도 신호의 시감도 특성에 근사하는 평가 계수인 것을 특징으로 하는 제조 방법.
제11항에 있어서, 상기 평가 계수는 색의 재현성과 함께 노이즈의 저감성을 고려한 평가 계수인 것을 특징으로 하는 제조 방법.
제9항에 있어서, 상기 제2의 단계는 상기 3원색의 제1 내지 제3의 빛을 적색, 녹색, 또는 청색의 빛으로 하고, 상기 제4의 빛을 녹색의 빛으로 하는 것을 특징으로 하는 제조 방법.
제9항에 있어서, 상기 제1 내지 제4의 빛을 상기 변환 수단에 의해 변환하여 생성된 제1 내지 제4의 색 신호에 기초하여, 상기 3원색에 대응하는 제5 내지 제7의 색 신호를 생성하는 생성 수단을 생성하는 제3 단계를 더 포함하는 것을 특징으로 하는 제조 방법.