JP4940086B2

JP4940086B2 - 色処理装置およびその方法

Info

Publication number: JP4940086B2
Application number: JP2007260353A
Authority: JP
Inventors: 善宏眞部
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-10-03
Filing date: 2007-10-03
Publication date: 2012-05-30
Anticipated expiration: 2027-10-03
Also published as: US7986361B2; US20090091646A1; JP2009094577A

Description

本発明は、複数色のフィルタが配列されたカラーフィルタを有する撮像手段が撮像した撮影データの色処理に関する。

電子カメラは、カラー画像の画像信号を生成する際に単一の撮像素子を用いるものが多い。図1はこのような撮像素子の三色（赤色R、緑色G、青色B）のカラーフィルタの配列（ベイア配列）を示す図である。ここで、G成分に着目すると、撮像素子は、G成分を出力する画素（以下、G画素）と、G成分を出力しない画素（以下、R画素およびB画素）が市松模様に配置された構造を有すると言える。

特許文献1は、単一の撮像素子によって生成された画像信号を補間してカラー画像を生成する技術を開示する。同技術は、ベイア配列のカラーフィルタを有する撮像素子から出力されるRおよびB画素のG成分を、隣接するG画素の平均値で補間する。そして、G成分を補間後の画素値を用いて、GおよびB画素のR成分、GおよびR画素のB成分を補間する。

また、特許文献2は、被写体の方向性によって補間方法を変える技術を開示する。とくに、色の傾斜を用いて色の方向性を推定して、補間量を計算する技術を開示する。

図2は特許文献2が開示する補間処理を説明する図である。図2に示す各画素は次のとおりである、
R画素：R11、R13、…、R55
G画素：G12、G14、…、G54
B画素：B22、B24、…、B44

画素R33のG成分の補間量G33を計算する場合、水平方向の色の傾斜に関する情報HDiff、および、垂直方向の色の傾斜に関する情報VDiffを下式によって計算する
HDiff = ｜2×R33 - R31 - R35｜+｜G32 - G34｜
VDiff = ｜2×R33 - R13 - R53｜+｜G23 - G43｜ …(1)

そして、HDiffとVDiffの大小関係によって、G33の算出方法を変更する。
HDiff ＜ VDiff（水平方向の相関が強い）場合：
G33 = (G32 ＋ G34)/2 + (2×R33 - R31 - R35)/4
VDiff ＜ HDiff（垂直方向の相関が強い）場合：
G33 = (G23 + G43)/2 + (2×R33 - R13 - R53)/4 …(2)
VDiff = HDiffの場合：
G33 = (G23 + G34 + G43 + G32)/4 + (-R13 + R31 + 4×R33 - R35 - R53)/8

つまり、特許文献2の技術は、G成分の補間量を求める際、G成分の色の傾斜に関する情報をR画素（またはB画素）の出力に基づき推定する。その結果、被写体のエッジなど、空間的な方向判別によって補間方法を変えることができる。

しかし、特許文献2の技術は、被写体の色特性に応じて補間方法を変えるわけではない。被写体の色特性に無関係に同一の補間処理を行うと、被写体の色によっては補間精度が低い問題がある。

例えば、全体的に赤い被写体の補間前の画像信号に特許文献1の技術を適用して、G成分を補間した後、RおよびB成分を補間する場合、R画素が被写体の色情報を多くもつにも関わらず、始めにG成分を補間するため、あまり鮮鋭性が得られない結果になる。

また、G成分の傾斜とR成分の傾斜に相関がない画像信号や、R成分が少ない画像信号などは、特許文献2の技術を適用しても、R画素の出力に基づきG成分の方向性を高精度に推定することはできず、補間後の画像にノイズが発生する場合がある。

米国特許公報第5373322号特開平8-298669号公報

本発明は、被写体の色特性に応じて、撮影データから補間画像データを生成することを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる色処理は、複数色の色フィルタが配列されたカラーフィルタを有する撮像手段が撮像した撮影データにおける、被写体の色特性と強い相関をもつ色フィルタを判別し、前記強い相関をもつ色フィルタに対応する、前記撮影データの画素値を用いて、前記強い相関をもつ色フィルタに対応する色成分の補間画像データを生成し、前記生成した補間画像データ、および、前記強い相関をもつ色フィルタと異なる色フィルタに対応する、前記撮影データの画素値を用いて、前記強い相関をもつ色フィルタと異なる色フィルタそれぞれに対応する色成分の補間画像データを生成することを特徴とする。

本発明によれば、被写体の色特性に応じて、撮影データから補間画像データを生成することができる。

以下、本発明にかかる実施例の色処理を図面を参照して詳細に説明する。なお、以下では、実施例の色処理を電子スチルカメラに実装する場合を例に説明する。しかし、本発明は、記憶メディアやUSBなどのシリアルバスを介して電子スチルカメラから撮影データを取得し、撮影データを色処理する場合にも適用することができる。

［装置の構成］
図3は実施例の色処理装置の構成例を示すブロック図である。

図3において、例えばワンチップマイクロプロセッサの制御部50は、ROMに格納されたプログラムに基づき、撮像部10、記憶部20、色特性判別部30、および、補間処理部40を制御する。

撮像部10は、撮像素子14上に被写体像を結像する撮影レンズ11、撮像レンズ11を通過した光の波長を低域に制限する光学ローパスフィルタ12を有する。さらに、撮像素子14に重ねられたカラーフィルタ13、撮像素子14、撮像素子が出力するアナログ画像信号をディジタル画像信号に変換するA/D変換部15を有する。なお、カラーフィルタ13は、n色（nは3以上の自然数）のフィルタをもつ、例えばベイヤ配列のフィルタや、各色のフィルタ数が同じ配列のフィルタ（図6参照）である。

記憶部20は、A/D変換部15が出力するデジタル画像信号（撮影データ、以下、RAW画像データと呼ぶ場合がある）を、カラーフィルタ13の色に対応させて画像メモリ21の所定領域に格納する。また、記憶部20は、色特性判別部30と補間処理部40による、後述する補間処理によって得られる補間画像データを、RAW画像データの格納領域とは異なる領域に格納する。なお、RAW画像データおよび補間画像データは、個々の撮像素子の位置（以下、画素位置）に対応付けられて格納されることは言うまでもない。

［補間処理］
図4は色特性判別部30と補間処理部40による補間処理の概要を説明するフローチャートで、RAW画像データが画像メモリ21に格納されると制御部50の制御によって実行される処理である。

色特性判別部30は、RAW画像データの複数の画素値から、被写体の色特性とフィルタの色（以下、フィルタ色）の相関を調べ、被写体の色特性と最も相関が強いフィルタ（以下、メインフィルタ）を判別する(S21)。補間処理部40は、メインフィルタのフィルタ色の色成分を補間処理し(S22)、その後、メインフィルタ以外（以下、サブフィルタ）のフィルタ色の色成分を補間処理する(S23)。制御部50は、補間処理部40の補間処理が終了すると、記憶部20を制御して、補間画像データを画像メモリ21に格納させる(S24)。

図5は色特性判別部30と補間処理部40による補間処理（S21〜S23）の詳細を説明するフローチャートである。

色特性判別部30は、画像メモリ21に格納されたRAW画像データの各フィルタ色の画像データの統計量を計算する(S31)。例えば、カラーフィルタ13が、図6に示すR、G、B、X（任意色）の四色フィルタの場合、色特性判別部30は、フィルタ色ごとに画素値の総和を計算する。そして、フィルタ色ごとの画素値の総和を比較して、画素値の総和が最も大きいフィルタをメインフィルタと判別する(S32)。メインフィルタの判別方法は、画素値の和に限らず、例えばフィルタ色ごとの画素値の平均値、中央値など、メインフィルタを判別できる統計値であればよい。ただし、ベイア配列のように各色のフィルタ数が異なる場合は、フィルタ色ごとの画素値の平均値による判別が望ましい。また、被写体の中心的な色を判別したい場合は、画素値の総和や平均値よりも画素値の中央値による判別が好ましい。

例えばRフィルタがメインフィルタと判別された場合、補間画像データの第一の生成部であるメインフィルタ補間部41は、Rフィルタに対応するR成分の補間処理を行う(S33)。例えば、図7に示すような画素配置を考えると、R11からR33の3×3ブロックにおいて、R成分の補間は下式に従う。
R12 = (R11 + R13)/2
R21 = (R11 + R31)/2
R23 = (R13 + R33)/2 …(3)
R32 = (R31 + R33)/2
R22 = (R21 + R22 + R23 + R32)/4

補間画像データの第二の生成部であるサブフィルタ補間部42は、サブフィルタであるG、B、Xフィルタの各画素から、対応するR成分値を減算し(S34)、R成分値を減算した後の各画素値から、G、B、X成分の補間を行う(S35)。そして、各画素に、対応するR成分値を加算する(S36)。例えばX22の補間処理に着目して、上記処理を式に表すと次のようになる。
X22 = {(X21 - R21)+(X23 - R23)}/2 ＋ R22 …(4)

色特性判別部30および補間処理部40の処理は、画像全体に適用しても、画像の部分領域に適用しても構わない。例えば、赤い照明下で撮影された画像は、画像全体の色特性を判別し、メインフィルタ補間部41でR成分の補間処理から行えばよい。また、オブジェクトを識別して画像を部分領域に分割し、部分領域ごとに色特性を判別し、赤色の部分領域はRフィルタ、緑色の部分領域はGフィルタをメインフィルタとして補間処理を行ってもよい。

このように、被写体の色特性に応じて、最も被写体の色特性に近い色成分の補間処理を行い、その後、他の色成分の補間処理を行う。こうすれば、被写体の色特性に応じて、被写体の主要な色情報を喪失しないように補間処理することができ、補間処理の色精度を向上することができる。

例えば、赤い夕焼けのRAW画像データは、R画素が最も被写体の色情報をもつ。従って、Rフィルタをメインフィルタとして補間処理を行う。こうすれば、夕焼けの赤色の微妙な変化を保持した補間画像データを作成することができる。

また、多数のカラーフィルタをもつマルチバンドカメラなどが撮像したRAW画像データから被写体の分光波長特性を推定する際も上記実施例の処理を適用することができる。被写体の分光特性に近いフィルタをメインフィルタに選選び、他のフィルタをサブフィルタとする。これにより、被写体の分光特性の情報を保持した状態で補間処理を行うので、被写体の分光波長特性を精度よく計算することができる。

以下、本発明にかかる実施例2の色処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。

実施例2では、カラーフィルタ13の構成がベイア配列の場合の色特性判別部30と補間処理部40の処理を説明する。

色特性判別部30は、各色フィルタの画素値の平均値Rave、Gave、Baveを計算し(S31)、平均値が最も大きい色フィルタをメインフィルタと判別する(S32)。例えばGフィルタがメインフィルタと判別された場合、メインフィルタ補間部41は、G成分の補間処理を行う(S33)。

図2に示す画素R33（注目画素）のG成分の補間量G33を求める場合、メインフィルタ補間部41は、水平方向の色の傾斜に関する情報HDiffおよび垂直方向の色の傾斜に関する情報VDiffを下式によって計算する。
HDiff = k×｜2×R33 - R31 - R35｜+｜G32 - G34｜
VDiff = k×｜2×R33 - R13 - R53｜+｜G23 - G43｜ (5)
ここで、kは注目画素の色成分の平均値（ここではRave）に応じた重み係数（0＜k＜1）

そして、メインフィルタ補間部41は、HDiffとVDiffの大小関係によって補間量の計算方法を変更する。
HDiff ＜ VDiff（水平方向の相関が強い）場合：
G33 = (G32 ＋ G34)/2 + k(2×R33 - R31 - R35)/4
VDiff ＜ HDiff（垂直方向の相関が強い）場合：
G33 = (G23 ＋ G43)/2 + k(2×R33 - R13 - R53)/4 …(6)
VDiff = HDiffの場合：
G33 = (G23 ＋ G34 ＋ G43 ＋ G32)/4 + k(-R13 + R31 + 4×R33 - R35 - R53)/8

また、サブフィルタ補間部42の処理は、実施例1と同様である。

このように、注目色の傾斜を示す情報に注目色の平均値を考慮した重み係数kを乗算する。これにより、例えばR成分の平均値Raveが非常に小さい場合はR成分の画素値はノイズとみなし、G成分の補間処理に加算しないように係数kの値を0に近付ける。また、平均値RaveとGaveが同程度であれば、R成分とG成分の傾斜に相関があるとみなし、係数kの値を1に近付ける。こうすれば、被写体に応じて補間処理の式を変更する場合、補間画像データのノイズを低減することができ、補間画像データの色精度が向上することができる。

［他の実施例］
なお、本発明は、複数の機器（例えばコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置、制御装置など）に適用してもよい。

また、本発明の目的は、上記実施例の機能を実現するコンピュータプログラムを記録した記憶媒体をシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（CPUやMPU）が前記コンピュータプログラムを実行することでも達成される。この場合、記憶媒体から読み出されたソフトウェア自体が上記実施例の機能を実現することになり、そのコンピュータプログラムと、そのコンピュータプログラムを記憶する、コンピュータが読み取り可能な記憶媒体は本発明を構成する。

また、前記コンピュータプログラムの実行により上記機能が実現されるだけではない。つまり、そのコンピュータプログラムの指示により、コンピュータ上で稼働するオペレーティングシステム(OS)および/または第一の、第二の、第三の、…プログラムなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。

また、前記コンピュータプログラムがコンピュータに接続された機能拡張カードやユニットなどのデバイスのメモリに書き込まれていてもよい。つまり、そのコンピュータプログラムの指示により、第一の、第二の、第三の、…デバイスのCPUなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。

本発明を前記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応または関連するコンピュータプログラムが格納される。

撮像素子の三色のカラーフィルタの配列（ベイア配列）を示す図、補間処理を説明する図、実施例の色処理装置の構成例を示すブロック図、色特性判別部と補間処理部による補間処理の概要を説明するフローチャート、色特性判別部と補間処理部による補間処理の詳細を説明するフローチャート、各色のフィルタ数が同じ配列のフィルタ例を示す図、各色のフィルタ数が同じ配列のフィルタ例を示す図である。

Claims

複数色の色フィルタが配列されたカラーフィルタを有する撮像手段が撮像した撮影データにおける、被写体の色特性と強い相関をもつ色フィルタを判別する判別手段と、
前記強い相関をもつ色フィルタに対応する、前記撮影データの画素値を用いて、前記強い相関をもつ色フィルタに対応する色成分の補間画像データを生成する第一の生成手段と、
前記第一の生成手段が生成した補間画像データ、および、前記強い相関をもつ色フィルタと異なる色フィルタに対応する、前記撮影データの画素値を用いて、前記強い相関をもつ色フィルタと異なる色フィルタそれぞれに対応する色成分の補間画像データを生成する第二の生成手段とを有することを特徴とする色処理装置。
前記判別手段は、前記複数色の色フィルタそれぞれに対応する、前記撮影データの画素値の統計量を計算して、前記統計量に基づき前記強い相関をもつ色フィルタを判別することを特徴とする請求項1に記載された色処理装置。
前記カラーフィルタは、前記複数色の色フィルタそれぞれを同数有することを特徴とする請求項1または2に記載された色処理装置。
前記第一の生成手段は、前記複数色の色フィルタそれぞれに対応する、前記撮影データの画素値の統計量を考慮して前記色成分の傾斜を計算し、前記色成分の傾斜に応じた計算方法によって前記補間画像データを生成することを特徴とする請求項2に記載された色処理装置。
前記判別手段は、前記撮影データの部分領域ごとに、前記強い相関をもつ色フィルタを判別することを特徴とする請求項1から請求項4の何れか一項に記載された色処理装置。
判別手段、第一および第二の生成手段を有する色処理装置の色処理方法であって、
前記判別手段が、複数色の色フィルタが配列されたカラーフィルタを有する撮像手段が撮像した撮影データにおける、被写体の色特性と強い相関をもつ色フィルタを判別し、
前記第一の生成手段が、前記強い相関をもつ色フィルタに対応する、前記撮影データの画素値を用いて、前記強い相関をもつ色フィルタに対応する色成分の補間画像データを生成し、
前記第二の生成手段が、前記第一の生成手段が生成した補間画像データ、および、前記強い相関をもつ色フィルタと異なる色フィルタに対応する、前記撮影データの画素値を用いて、前記強い相関をもつ色フィルタと異なる色フィルタそれぞれに対応する色成分の補間画像データを生成することを特徴とする色処理方法。
コンピュータ装置を請求項1から請求項5の何れか一項に記載された色処理装置の各手段として機能させることを特徴とするプログラム。