JPH1023448A - カラー画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】高品位なカラー画像信号を生成するカラー画像
処理装置を提供する。 【解決手段】複数の色信号のうち少なくとも１つ以上の
色信号が欠落する撮像画素を有する二板式カラースチル
カメラ１００から得られた色信号を処理するカラー画像
処理装置において、撮像画素の色信号に関する配置情報
を格納するフィルタ配置情報保持ＲＡＭ１０５と、二板
式カラースチルカメラ１００から得られた色信号に関し
て所定領域の色信号間の空間的相関情報を生成するデー
タサーバ１０２、色相関推定部１０９と、フィルタ配置
情報保持ＲＡＭ１０５に格納された色信号に関する配置
情報と、データサーバ１０２、色相関推定部１０９によ
って生成された色信号間の空間的相関情報とに基づき、
所定領域内の欠落する色信号を補間する部分補間行列計
算部１１２、線形演算部１１３を具備する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はカラー画像処理装置
に関し、少なくとも１つ以上の色信号が欠落する撮像画
素を有する撮像手段から得られた信号を処理するカラー
画像処理装置に関する。

【０００２】

【従来の技術】高品位なカラー画像を撮像するには、高
い空間解像度で各位置につき少なくとも三つの異なる光
の波長帯で情報を集める必要がある。この条件を満たす
装置構成として、従来から分光系と高画素数の撮像素子
三枚とを用いたいわゆる三板方式の撮像装置が用いられ
てきた。しかしこの装置構成は高価であるため、カラー
画像を撮像するより安価な構成として、モザイク色フィ
ルタを用いた単板ＣＣＤ撮像素子や、一枚はＧ（緑）フ
ィルタ、もう一枚はＲ（赤）とＢ（青）のモザイクフィ
ルタを用いて計２枚のＣＣＤで撮像を行う二枚方式のカ
ラーカメラが用いられてきた。

【０００３】また三枚方式であるが安価な低解像度の撮
像素子を用い、それらをずらして配置することで空間解
像度を上げる試みもなされてきた。しかし、これらの方
式では最終的に生成される画像としては画素ごとに全て
の色成分情報は得られず、情報の欠落が生じる。そのた
め、欠落している情報を補うための種々の補間、補正法
が提案されてきた。従来提案された手法は注目画素の近
傍の他の画素値から線形補間により値を求めるものが多
いが、大別すると二種類に分類できる。

【０００４】第１の従来技術は色成分独立に補間を行う
ものである。例えば、特開昭６１−５０１４２３号公報
は、原色ＲＧＢモザイクフィルタのＧ成分に特化した補
間法を開示している。この方法では、Ｇ成分の欠落を復
元するに際し、欠落画素周辺の３×３近傍内のＧ画素の
値を用いて近傍を平坦部か稜か筋か隅かに分類する。そ
して、この分類結果に応じて最適な線形補間係数を選択
し、欠落画素を線形補間により求めている。

【０００５】一方、第２の従来技術は異なる色成分の画
素値を関連づけて補間を行うものである。例えば特開平
５−５６４４６号公報は、局所領域では輝度成分の変化
に対して色差成分の変化が少ないという仮定のもとで、
色成分同士を関連づけて補間を行う方法を開示してい
る。この方法では、ある位置の欠落色成分を回復するに
あたり、近傍における色成分の低域成分間の比を求め、
その比に基づいて当該位置に存在する色成分から欠落色
成分を計算している。

【０００６】

【発明が解決しようとする課題】しかしながら、上記し
た従来の撮像装置はいずれも、欠落色成分を十分に補間
することができず、偽色が発生したりして高品位のカラ
ー画像信号を得ることができなかった。

【０００７】本発明のカラー画像処理装置はこのような
課題に着目してなされたものであり、その目的とすると
ころは、色信号間の空間的相関情報を用いて欠落色成分
を補間することにより、より高品位のカラー画像信号を
生成することができるカラー画像処理装置を提供するこ
とにある。

【０００８】

【課題を解決するための手段】上記の目的を達成するた
めに、第１の発明に係るカラー画像処理装置は、複数の
色信号のうち少なくとも１つ以上の色信号が欠落する撮
像画素を有する撮像手段から得られた色信号を処理する
カラー画像処理装置において、上記撮像画素の色信号に
関する配置情報を格納する格納手段と、上記撮像手段か
ら得られた色信号に関して所定領域の色信号間の空間的
相関情報を生成する色相関情報生成手段と、上記格納手
段に格納された色信号に関する配置情報と、上記色相関
情報生成手段によって生成された色信号間の空間的相関
情報とに基づき、上記所定領域内の欠落する色信号を補
間する補間手段とを具備する。

【０００９】また、第２の発明に係るカラー画像処理装
置は、複数の色信号のうち少なくとも１つ以上の色信号
が欠落する撮像画素を有する撮像手段から得られた色信
号を処理するカラー画像処理装置において、上記撮像画
素の色信号に関する配置情報と、被写体に関して予め得
られた色信号間の空間的相関情報とに基づき算出された
補間行列を保持する補間行列保持手段と、この補間行列
保持手段に保持された補間行列を用いて、上記撮像手段
から得られた色信号の所定領域内の情報に対して線形演
算により補間を行う線形補間手段とを具備する。

【００１０】また、第３の発明に係るカラー画像処理装
置は、第２の発明に係るカラー画像処理装置において、
上記補間行列保持手段は着脱可能である。すなわち、第
１の発明に係るカラー画像処理装置は、複数の色信号の
うち少なくとも１つ以上の色信号が欠落する撮像画素を
有する撮像手段から得られた色信号を処理するカラー画
像処理装置において、まず、上記撮像画素の色信号に関
する配置情報を格納手段に格納するとともに、上記撮像
手段から得られた色信号に関して所定領域の色信号間の
空間的相関情報を色相関情報生成手段によって生成す
る。そして、上記格納手段に格納された色信号に関する
配置情報と、上記色相関情報生成手段によって生成され
た色信号間の空間的相関情報とに基づき、上記所定領域
内の欠落する色信号を補間手段によって補間するように
する。

【００１１】また、第２の発明に係るカラー画像処理装
置は、複数の色信号のうち少なくとも１つ以上の色信号
が欠落する撮像画素を有する撮像手段から得られた色信
号を処理するカラー画像処理装置において、まず、上記
撮像画素の色信号に関する配置情報と、被写体に関して
予め得られた色信号間の空間的相関情報とに基づき算出
された補間行列を補間行列保持手段に保持する。次に、
この補間行列保持手段に保持された補間行列を用いて、
上記撮像手段から得られた色信号の所定領域内の情報に
対して線形演算手段によって線形演算を施して補間を行
なうようにする。また、第３の発明に係るカラー画像処
理装置は、第２の発明に係るカラー画像処理装置におい
て、上記補間行列保持手段は装置に対して着脱される。

【００１２】

【発明の実施の形態】まず、本発明の実施の形態の第１
の概略を説明する。本実施形態では先験的に得られた色
信号間の空間的相関情報に関する知識に基づき、撮像手
段によって被写体を撮像したときに欠落する色信号成分
を補間するものである。以下に、補間に際して先験的な
色成分間の空間的相関情報を用いたときの作用について
述べる。以下の説明では、二次元領域で値をもつ情報
を、行ごとに値を並べた１次元のベクトルとして表現す
る。所定領域に関して、撮像手段を通じて、ｎ種類の色
信号が観測されたとする。観測された各色信号をｇ_i
（ｉは色成分を表わす添え字）、各画素位置でまったく
色成分の欠落が生じない場合に得られる色信号をｆ_iと
する。撮像手段にモザイクフィルタを用いている場合は
対応する色フィルタのない画素位置でのｇ_i の値は０と
なる。欠落の生じ方を明らかにするために、各色信号に
ついて、各画素位置における値の有無（あれば１、なけ
れば０）、あるいはその位置の色フィルタの対応する色
成分に対する透過率を表わす行列Ｈ_i を定義する。Ｈ_i
を用いると、所定領域のｆ_i とｇ_i の関係はｇ_i ＝Ｈ_i
ｆ_i とかける。ここで全ての色成分をまとめて扱うこと
にすると、原画像と観測画像の関係は、

【００１３】

【数１】 となる。本実施形態では、情報の欠落を含む画像に関す
る欠落情報の補間を、このように全ての色成分をまとめ
た観測画像を表わすベクトルｇから、所定の規範のもと
で全ての色成分をまとめた原画像ｆに対する推測画像ｆ
^e を作成することにより行う。望ましい規範としては、
例えば、推測画像ｆ^e と原画像ｆの平均最小自乗誤差を
最小にする方法が考えられる。具体的な推定手法とし
て、ｇからｆを線形に推定する場合をとりあげる。この
場合推測画素ｆ^e はある行列Ｐを用いてｆ^e ＝Ｐｇと表
現される。推測画像ｆ^e と原画像ｆの平均最小自乗誤差
＜｜ｆ−ｆ^e ｜² ＞を最小にするという規範を用いる
と、行列Ｐの満たすべき条件は

【００１４】

【数２】 となる。この式を解くと、

【００１５】

【数３】 となる。ここで、Ｒ_fgはｆとｇの相互相関行列、Ｒ_ggは
観測画像ｇの自己相関行列であり、＜＞は集合平均を表
す。また、Ｒ_ffは原画像ｆの自己相関行列である。
（３）式の解は行列Ｈによっては一意に定まる保証はな
いが、その場合でもＲ_ggの一般逆行列を用いたり、行列
Ｐに関する所定の制約を設けたりすることで解くことが
できる。

【００１６】この例で示されるように、事前に原画像の
色信号間の空間的相関情報に関する知識が得られている
場合には所定の最適化規範に従う最適な補間画像を得る
ことができ、経験的に得られた知識に基づいた他の補間
法に比して高い精度での補正が可能である。また、すべ
ての色成分をまとめて扱う場合、上式（３）中の原画像
の自己相関は、

【００１７】

【数４】 （Ｒ_ijは色成分ｉとｊの相互相関行列）と書けるので、
あらかじめ原画像の色信号間の相互相関に関する先験的
な知識が得られている場合にはその知識を有効に活用す
ることができる。また、先験的知識がない場合でも、一
般の自然画像では各成分が完全に無相関と思われること
は少ないため、色成分を独立に扱う場合と比較して
（３）式におけるＲ_ggの推定精度を高めることができ、
更に全観測画像の情報を有効に活用できる。

【００１８】次に第２の概略を説明する。全ての色信号
をまとめた観測画像ｇから、推測画像ｆ^e と原画像ｆの
最小自乗誤差｜ｆ−ｆ^e ｜² を最小にするように線形推
定を行なう場合は、第１の概略で述べたように、（３）
式を満たす行列Ｐを用いてｆ^e ＝Ｐｇとかける。観測画
像ｇに対する原画像の色信号間の相関行列Ｒ_ffがあらか
じめわかっている場合は、（３）式から一般逆行列を用
いて求めることができる。すなわち、 Ｐ＝Ｒ_ffＨ（ＨＲ_ffＨ）^-1 （５） と解ける。ここでＰを事前に計算しておくことができ、
観測画像ｇとの行列積をとるだけで補間が完了する。

【００１９】第２の概略の作用は補間手段の動作以外は
第１の概略と同じである。第２の概略における補間手段
では、補間行列計算手段が先験的な情報より求められた
原画像の色信号間の空間的相関情報Ｒ_ffと格納手段に格
納されたフィルタ配置情報Ｈを用いて（５）式のＰを補
間行列として計算するか、あるいはあらかじめ（５）式
で計算され格納されているＰを読み出す。そして、線形
補間手段によって所定領域内の色信号と、補間行列計算
手段から得られた補間行列との行列積Ｐｇを計算するこ
とにより補間を行う。

【００２０】次に第３の概略を説明する。上記所定領域
がｍ×ｍ画素からなる場合は、各色成分ベクトルはｍ×
ｍ行１列になる色成分がｎ個あるとすれば、全ての色成
分を合わせた画像ベクトルはｎ×（ｍ×ｍ）行１列のベ
クトルである。（５）式で求めた補間行列はｎ×（ｍ×
ｍ）次正方行列となる。これに対し、（５）式右辺の逆
行列を

【００２１】

【数５】 のように、ｍ×ｍ次の正方小行列｛Ｖ_ij｝を用いて表現
すると、色成分ｉの推測画像は

【００２２】

【数６】 と書ける。ここでＱ_ijはｍ×ｍ次正方行列で、すべて観
測画像とは独立に計算しておける。ここではＱ_ijを部分
補間行列と呼ぶ。（７）式を各ｉについて順に計算すれ
ば、線形演算に必要なメモリはｆ^e ＝Ｐｇを直接計算し
た場合と比較してｎ² 分の１に減少する。実際は、観測
される色成分ｇ_j は画素が欠落しているため全ての列に
ついてＱ_ijを保持しておく必要はなく、さらにワークエ
リアを少なくすることができる。

【００２３】第３の概略の作用は、補間手段の動作以外
は上記した第１の概略と同じである。第３の概略におけ
る補間手段では、補間行列計算手段が（７）式に従って
Ｒ_ijと、格納手段に格納されたフィルタ配置情報Ｈとを
用いて部分補間行列Ｑを計算するか、あるいはあらかじ
め（７）式を用いて計算され格納されている補間行列Ｑ
を読み出す。色成分取得手段は所定領域内の画素値を色
成分ごとに読み出す。線形補間手段は色成分取得手段よ
り得られた所定領域の色成分画像ｇ_j と部分補間行列計
算手段より得られた（７）式中の対応する部分補間行列
Ｑ_ijを用いて推定色成分画像ｆ^e _i を計算する。以下に
第４の概略を述べる。第２の概略で述べた原画像の線形
推定

【００２４】

【数７】 においては、（５）式に従えばＰを事前に計算しておく
ことができたが、（５）式のままの補間行列を用いる
と、補間時に観測画像を色成分画像ごとに並べてｇを作
る必要がある。そこで、（５）式でＰを求めた後、以下
のように変形を行って補間に都合の良い形にする。

【００２５】色成分ごとの観測画像ｇ_i はＨ_i に対応す
る欠落を含むため０の要素が含まれているが、各位置に
は少なくとも一つの色成分が存在することから、ｇ_i が
０になる位置で値をもつ色成分画像ｇ_j が必ずある。ま
た、信号が一つ以上のモザイクフィルタで得られ、撮像
手段が各画素を所定の順序で読み出すものとすれば、ｇ
_i が０になる位置でｇ_j のどの画素が撮像手段により読
み出されるのかもわかる。そこで、ｇ_i の０となる各画
素位置について、対応するＰの列と、その位置で読み出
されるｇ_j の画素に対応するＰの列を交換する操作を繰
り返して、（８）式を

【００２６】

【数８】 と変形することができる。ここで、ｓは撮像手段から出
力される信号そのものである。撮像手段の色信号配置に
関する情報は、上記の列の交換操作の結果、すべてＰ^e
に含まれることになる。そのため、事前にＰ^e を観測画
像とは独立に計算しておくことで、補間時には撮像手段
の色信号配置情報は不要となり、装置構成を簡単化でき
る。

【００２７】変形した補間行列Ｐ^e を用いる場合の撮像
装置の動作は以下のようになる。被写体を撮像手段が撮
像すると、撮像手段により全ての色信号が存在しない信
号が生成される。補間行列保持手段は、あらかじめ計算
されたＰ^e を保持している。補間手段は、補間行列保持
手段から補間行列を読み出し、撮像手段から得られた所
定サイズの領域内の信号と直接行列演算を行って補間画
像を生成する。画像の全ての領域について補間手段によ
る処理が繰り返される。

【００２８】以下に、撮像手段の色信号配置をランダム
に構成する第５の概略を述べる。上記した第１の概略に
おける（３）式に例示されたように、補間行列を求める
にはＲ_ggの逆行列の特異性が小さい事が望ましい。モザ
イクフィルタで撮像が行われる場合には、Ｒ_ggには、原
画像の自己相関Ｒ_ffの各要素Ｘ_ijのうち、Ｈのｉおよび
ｊ列がともに０でないものだけが伝達され、Ｒ_ggはその
他の位置では値は０となる。すなわち、Ｒ_ggの特異性は
モザイクフィルタのパターンを表わすＨとＲ_ffの関係に
依存する。特異生が大きくなるのはモザイクパターンＨ
の持つ周期性と原画像の持つ周期性が類似してしまった
場合で、最悪の条件ではＲ_ggに伝達されたＲ_ffが全て同
じ値となり、Ｒ_ggのランクは１に低下してしまう。そこ
で、どのような原画像に対してもＲ_ggの特異性が大きく
変動しないという観点から考えると、Ｈの非ゼロ要素の
自己相関が周期性を持たないこと、すなわちランダムに
分布していることが望ましい。特に事前に求められる補
間行列以外に変更を要しない場合、ランダムにすること
によるデメリットは非常に小さい。

【００２９】以下、図面を参照して本発明の実施の形態
を詳細に説明する。まず、第１実施形態について説明す
る。図１は第１実施形態に係るカメラシステムの構成を
示す図であり、Ｇフィルタ付ＣＣＤ１００ａとＲ／Ｂ市
松モザイクフィルタ付ＣＣＤ１００ｂとを有する二板式
カラースチルカメラ（以下、カメラ部と呼ぶ）１００
と、カラー画像処理装置１０１と、データサーバ１０２
とから構成されている。すなわち、カメラ部１００は画
像入力端子１０３とフィルタ配置情報入力端子１０４と
を介してカラー画像処理装置１０１に接続されている。
カメラ部１００とカラー画像処理装置１０１の着脱は自
由であり、カメラシステムのカメラ部１００は別の撮像
系、例えば単板モザイクフィルタＣＣＤカメラや三板式
カメラなどに置き換えることもできる。ただし、カラー
画像処理装置１０１のフィルタ配置情報入力端子１０４
へ撮像系の色フィルタ配置情報を提供するために、カメ
ラ部１００はフィルタ配置情報保持ＲＯＭ１００ｄを備
えている。また、データサーバ１０２は色相関・補正情
報通信端子１０８を介してカラー画像処理装置１０１と
接続されているが、接続形態は実際のケーブルによるも
のでもよいし、通信回線によるものでもよい。

【００３０】カラー画像処理装置１０１には上記した三
つの端子があるが、カメラ部１００からの入力を受ける
端子のうち、画像入力端子１０３には入力される画像を
蓄える画像メモリ１０６が接続され、この画像メモリ１
０６は処理結果出力用の画像出力端子１１４に接続され
るとともに、ブロックＩ／Ｏ部１０７を介してブロック
バッファ１１１に接続されている。一方、フィルタ配置
情報入力端子１０４はフィルタ配置情報保持ＲＡＭ１０
５に接続されている。

【００３１】さらに、データサーバ１０２との入出力を
行う色相関・補正情報通信端子１０８は色相関推定部１
０９を介して部分補間行列計算部１１２に接続されると
ともに、補正情報バッファ１１０を介して部分補間行列
計算部１１２に接続されている。色相関推定部１０９と
部分補間行列計算部１１２とはさらにフィルタ配置情報
保持ＲＡＭ１０５からも入力を受ける。部分補間行列計
算部１１２は線形演算部１１３に部分補間行列を出力す
べく接続されている。この線形演算部１１３はさらにブ
ロックバッファ１１１中の色成分ブロックバッファ１１
１ａからも入力を受け、ブロックバッファ１１１中の復
元ブロックバッファ１１１ｂに出力信号を出力する。

【００３２】以下に、上記した構成のカメラシステムの
作用を説明する。図１においては、実線が画像データの
流れ、点線がその他の情報の流れを表わしている。カメ
ラ部１００によって被写体を撮像すると、カメラ部１０
０内のＧフィルタ付ＣＣＤ１００ａおよびＲ／Ｂ市松モ
ザイクフィルタ付ＣＣＤ１００ｂから画像信号が出力さ
れる。この画像信号はＡ／Ｄ変換部１００ｃによってデ
ジタル化されてカラー画像処理装置１０１の画像入力端
子１０３に入力され、画像メモリ１０６に全て格納され
る。このとき、カメラ部１００のフィルタ配置情報保持
ＲＯＭ１００ｄからは各色信号の欠落を表わす行列Ｈ_i
が読み出されて、カラー画像処理装置１０１のフィルタ
配置情報入力端子１０４に出力される。カラー画像処理
装置１０１はこの情報をフィルタ配置情報保持ＲＡＭ１
０５に保持する。

【００３３】カメラ部１００からの入力が終わると、制
御部１１５は所定サイズの領域を設定する。所定領域が
定まると、まず所定領域の色信号間の相関が近似的に計
算され、相関情報のデータベースをもつデータサーバ１
０２と交信することで、補間行列計算の準備が整えられ
る。

【００３４】以下の説明では、自然画像の相関行列を近
似できるようなパラメータ表示の関数があらかじめ格納
されているものとする。ブロックＩ／Ｏ部１０７は、フ
ィルタ配置情報保持ＲＯＭ１０５に記憶されたデータに
基づいて所定領域から色成分ごとの信号ｇ_i を読み出す
機能を有する。ブロックＩ／Ｏ部１０７は、全ての二つ
の色信号の組（ｇ_i ，ｇ_j ）について、画像メモリ１０
６から制御部１１５に指定された所定領域の画像を順次
読み出して色成分ブロックバッファ１１１ａに格納す
る。

【００３５】色相関推定部１０９は、ブロックバッファ
１１１に書き込まれた色成分ごとの観測画像ｇ_i とｇ_j
からｇ_i ｇ_j ^t を計算し、観測画像の相関行列とみな
す。そして、計算結果を予め求められたパラメータ表示
の関数にあてはまることで、推定される原画像の近似的
な色相関パラメータベクトルＢ^e _ijを計算する。色相関
推定部１０９は、全ての２色信号の組（ｇ_i ，ｇ_j ）に
ついてパラメータ｛Ｂ^e _ij｝を求めた後、全てのＨ_i と
共に色相関・補正情報通信端子１０８に出力する。

【００３６】データサーバ１０２では、あらかじめ様々
な対象についての先験的な色成分間の空間的相関情報が
測定されて求められ、測定結果は、上記所定のパラメー
タ表示関数に近似して得られるパラメータベクトルの組
｛Ｂ_ij｝_x を各対象ｘごとに、データベース化して保存
される。また、これらのパラメータを使った色信号間の
相互相関行列と、欠落情報の配置を表わすいくつかの色
信号配置情報｛Ｈ_i ｝の組から観測画像ｇの自己相関行
列Ｒ_ggを（３）式に従って事前に計算し、その逆行列を
求めて（６）式にあるような小行列Ｖの集まりとして同
じくデータベース化して保存しておく。

【００３７】カラー画像処理装置１０１から色相関・補
正情報通信端子１０８を介してパラメータの組｛Ｂ
^e _ij｝及び色信号配置情報｛Ｈ_i ｝が送られてくると、
データサーバ１０２は保持しているパラメータの組｛Ｂ
_ij｝_x のうち、送られてきたパラメータに最も近いパラ
メータの組｛Ｂ_ij｝を選び、さらに色信号配置情報｛Ｈ
_i｝と組み合わせて逆行列｛Ｖ｝を検索する。データサ
ーバ１０２は選択されたパラメータの組｛Ｂ_ij｝を返送
し、色相関推定部１０９は返送された｛Ｂ_ij｝を保持す
る。

【００３８】次に、部分補間行列計算部１１２と線形演
算部１１３とは、色相関推定部１０９と、ブロックＩ／
Ｏ部１０７と、データサーバ１０２とともに上記（７）
式に基づいて部分補間行列Ｑ_ijと推定色成分画像を順次
計算し、推測画像ｆ^e _i を算出する。

【００３９】部分補間行列計算部１１２は、（７）式の
Ｑ_ijの定義における右辺の各項を計算するごとに、デー
タサーバ１０２と通信して補正情報バッファ１１０に対
応する小逆行列Ｖ_kjを得る。そして、この小行列Ｖ
_kjと、色相関推定部１０９がパラメータ｛Ｂ_ij｝を用い
て計算した原画像の推定色間相互相関行列Ｒ_ijと、フィ
ルタ配置情報保持ＲＡＭ１０５が保持するＨ_k とを用い
て右辺の項を一つ計算し、線形演算部１１３に送る。

【００４０】線形演算部１１３では、この行列とブロッ
クＩ／Ｏ部１０７が読み出した行列ｇ_i との行列積を演
算し、演算結果は復元ブロックバッファ１１１ｂに加算
される。全ての添え字ｊ、ｋについて計算がなされる
と、推測画像ｆ^e _i が復元ブロックバッファ１１１ｂに
得られるので、ブロックＩ／Ｏ部１０７は画像メモリ１
０６に結果を書き込む。この処理が全ての添え字ｉにつ
いてなされると、所定領域の色信号の補正が全て終了し
たことになる。

【００４１】画像を覆う全ての所定領域での補正が完了
すると、補正された画像は画像出力端子１１４を経て外
部からの読み出しが可能になる。なお、上記した説明で
は、データサーバ１０２へ送信されるデータ量を考慮し
て色相関パラメータベクトルＢ^e _ijのみをデータサーバ
１０２に送信するようにしたが、色成分ブロックバッフ
ァ１１１ａに格納されたブロック画像データをそのまま
色相関・補正情報通信端子１０８を介してデータサーバ
１０２に送信するようにしてもよい。

【００４２】以下に図２を参照して本発明を電子スチル
カメラに適用した第２実施形態を説明する。図２におい
て、電子スチルカメラ２１２は単板カラーランダムモザ
イクフィルタＣＣＤ（以下単にＣＣＤと呼ぶ）２００を
備えている。このＣＣＤ２００はＣＣＤドライバ２０１
によって駆動され、Ａ／Ｄ変換部２０２を介して画像メ
モリ２０３に画像信号を出力する。画像メモリ２０３は
ブロックＩ／Ｏ部２０４を介してブロックバッファ２０
５に接続されるとともに、画像メモリカードスロット２
１０にも接続されている。

【００４３】ブロックバッファ２０５には線形補間部２
０９と撮影モード選択部２０８とが接続され、線形補間
部２０９と撮影モード選択部２０８とは共に画像メモリ
カードスロット２１０にも接続されている。画像メモリ
カードスロット２１０には、補間情報保持ＲＯＭ２０６
が着脱可能である。制御部２１１は上記した各部の動作
を統括する。

【００４４】以下に、上記した構成の電子スチルカメラ
２１２の作用を説明する。まず、撮影者は電子スチルカ
メラ２１２で被写体を撮影する。このとき、被写体の種
類をカメラに知らせるため、ユーザは撮影モード選択部
２０８に接続されているスイッチを操作して、撮影モー
ド（人物、風景、夕焼け等）を設定する。被写体像はＣ
ＣＤドライバ２０１によって駆動されるＣＣＤ２００に
よってカラー画像信号に変換され、Ａ／Ｄ変換部２０２
を経由して画像メモリ２０３に保持される。画像の取り
込みが終了すると、ブロックＩ／Ｏ部２０４は制御部２
１１の制御の基に所定サイズの領域のデータを画像メモ
リ２０３から読み出してブロックバッファ２０５に格納
する。

【００４５】補間情報保持ＲＯＭ２０６には、撮影モー
ドに応じた複数の補間行列のデータベースが保持されて
いる。これらは情報の欠落のない原色３板式撮像系を用
いて予め以下のように作成される。

【００４６】すなわち、まず、用意された各撮影モード
について、そのモードで撮影されると思われる様々な被
写体の組み合わせについて、そのモードで想定される撮
影条件のもとで、画像を数多く撮影する。得られた画像
から色信号間の相関を求め、ＣＣＤ２００の色フィルタ
配置情報と合わせて上記（５）式に従って補間行列を計
算し、その後、上記（９）式で与えられるように観測画
像の再配置の必要がないように構成する。同時に、例え
ば画像のテクスチャに関する統計量や色成分間の領域内
の平均の比といった、対応する被写体を特徴づける量を
画像から算出し、索引として設ける。

【００４７】撮影モード選択部２０８はブロックバッフ
ァ２０５にアクセスし、所定領域の画像から、現在の撮
影モードでの補間情報保持ＲＯＭ２０６の索引として有
効な特徴量を算出する。その後、画像メモリカードスロ
ット２０７を介して補間情報保持ＲＯＭ２０６にアクセ
スし、算出した特徴量とその差の最小値を与える索引を
求める。そして、線形補間部２０９に索引に対応する補
間行列のアドレスを伝達する。線形補間部２０９は、撮
影モード選択部２０８から伝達されたアドレスに従って
メモリカードスロット２０７を介して補間情報保持ＲＯ
Ｍ２０６から選択された補間行列を読み出し、ブロック
バッファ２０５に記憶された画像信号に補間行列をかけ
て補間画像を計算する。計算された補間画像はブロック
Ｉ／Ｏ部２０４を介して画像メモリ２０３に書き戻され
る。画像メモリ２０３に保持された画像の全領域がこの
繰り返しで処理された後、完成した補間画像は画像メモ
リカードスロット２１０を通じて図示せぬメモリカード
に書き込まれる。

【００４８】なお、上記した具体的実施形態には以下の
構成を有する発明が含まれており、各発明の対応する発
明の実施の形態及び効果は次の通りである。 （１） 複数の色信号のうち少なくとも１つ以上の色信
号が欠落する撮像画素を有する撮像手段から得られた色
信号を処理するカラー画像処理装置において、上記撮像
画素の色信号に関する配置情報を格納する格納手段と、
上記撮像手段から得られた色信号に関して所定領域の色
信号間の空間的相関情報を生成する色相関情報生成手段
と、上記格納手段に格納された色信号に関する配置情報
と、上記色相関情報生成手段によって生成された色信号
間の空間的相関情報とに基づき、上記所定領域内の欠落
する色信号を補間する補間手段と、を具備することを特
徴とするカラー画像処理装置。 （対応する発明の実施の形態）この発明に関する実施の
形態は上記した第１実施形態に対応する。構成中の色信
号が欠落する撮像画素を有する撮像手段は、図１中の二
板式カラースチルカメラ１００に対応するが、図２に示
す第２実施形態の単板カラーランダムモザイクフィルタ
ＣＣＤ２００および通常の単板ベイヤー配列ＣＣＤや補
色モザイクフィルタ方式の単体ＣＣＤ、さらにはＣＣＤ
の位置を互いにずらした三板式のカメラ等でもよい。構
成中の格納手段は図１中のフィルタ配置情報保持ＲＡＭ
１０５に対応するが、図２の第２実施形態中のモザイク
パターンＲＯＭ２０１のように、あらかじめ内部に設定
されたＲＯＭでもよい。構成中の色相関情報生成手段は
図１中のデータサーバ１０２および色相関推定部１０９
に対応するが、必ずしも装置内部で計算する必要はな
く、先験的な相関情報を保持するＲＯＭであってもよ
い。構成中の補間手段は図１中の部分補間行列計算部１
１２及び線形演算部１１３に対応するが、行われる演算
は繰り返しによる最適化手法に基づいたものでもよい。
また、最適化の規範も補正画像と原画像との最小自乗誤
差を最小にするものに限らず、更にノイズの影響やその
他の補正画像に要求される種々の制約を加えたものでも
よい。

【００４９】次に、上記した構成（１）に係る画像撮像
装置の作用を説明する。撮像手段が被写体を撮像すると
少なくとも１つ以上の色信号が欠落する画素位置が存在
する。この欠落色信号の画素位置は格納手段にあらかじ
め設定されるか、外部から撮像手段の種類に応じて入力
される。色相関情報生成手段は、所定サイズの領域ごと
に、観測された信号と格納手段からの色信号配置情報、
および事前に得られた色信号間の相関に関する知識に基
づいて推定するか、あるいはあらかじめ設定してあった
先験的な色信号間の相関情報を読み出して補間手段に伝
える。先験的な情報は、例えば設定のカテゴリーの対象
をあらかじめ高精細な三板カメラ、あるいはマルチスペ
クトルカメラ等を用いて繰り返し撮影、測定し、そのカ
テゴリーの被写体に関する色信号間の相関情報の特徴を
把握することで得ることができる。補間手段は、全色信
号をまとめて取り扱う所定の規範に基づいた補間手法を
用い、色信号間の相関情報を利用した補間を行う。画像
の全ての領域についてこの処理が繰り返される。 （効果）各色信号を独立に扱う補間に比較して事前に測
定あるいは予見される色信号間の空間的相関情報という
付加的な知識を利用することができるのでより高精度の
補間が可能となり、これによってより高品位のカラー画
像信号を得ることができる。また、最適化規範に基づい
ているため、得られる補正画像の画質が保証される。 （２） 上記補間手段は、上記所定領域内で色信号が欠
落する上記撮像画素から得られた色信号を補間処理した
画像と、上記所定領域内で色信号が欠落しない撮像画素
から得られた画像との間における各色信号ごとの自乗誤
差の全色信号にわたる平均が最小になるように補間を行
うこと、を特徴とする構成（１）に記載のカラー画像処
理装置。 （対応する発明の実施の形態）この発明の実施の形態は
上記した第１実施形態に対応する。構成中の補間手段は
部分補間行列計算部１１２及び線形演算部１１３に対応
するが、行われる演算は繰り返しによる最適化手法に基
づいたものでもよい。 （効果）補間する際の規範として特に原画像と補正画像
の自乗誤差を最小にするものを選ぶことで、原画像に最
も近い画像を得ることができる。また、上記（３）式に
見られるように先験的に得られている原画像の色信号間
の相互相関の知識を直接活用して最適な補正を行うこと
ができる。 （３） 上記補間手段は、上記格納手段から得られた色
信号に関する配置情報および上記色相関情報生成手段か
らの色信号間の空間的相関情報に基づき補間行列を算出
する補間行列計算手段と、この補間行列計算手段により
得られた補間行列と上記撮像手段から得られた色信号の
所定領域内の情報に基づき線形演算により補間を行う線
形補間手段とからなること、を特徴とする構成（１）に
記載のカラー画像処理装置。 （対応する発明の実施の形態）この発明の実施の形態は
上記した第１実施形態に対応する。構成中の補間行列計
算手段は部分補間行列計算部１１２に対応し、線形補間
手段は線形演算部１１３に対応するが、第１実施形態の
ように所定領域内の色信号ごとに計算するのではなく、
まとめて行列積演算を行ってもよい。 （効果）原画像の線形推定における推定行列を、事前に
得られた原画像の相関に関する情報から観測画像とは独
立に求められるため、実際の補間時には高速、単純な構
成による線形演算だけで補間を行える。 （４） 上記補間手段は、上記格納手段に格納された色
信号に関する配置情報に基づき上記所定領域内の各色信
号を抽出する色信号抽出手段を有し、上記補間行列は、
上記所定領域内の二つの色信号の全組み合わせにおける
空間的相互相関と上記格納手段に格納された色信号に関
する配置情報から定まる各色信号の強度を表わす行列と
の線形演算により定まる部分補間行列により構成され、
上記補間行列計算手段は、上記部分補間行列を算出し上
記色信号抽出手段により得られた各色信号と部分補間行
列との線形演算により補間を行うこと、を特徴とする構
成（３）に記載のカラー画像処理装置。 （対応する発明の実施の形態）この発明の実施の形態は
上記した第１実施形態に対応する。構成中の色成分取得
手段はブロックＩ／Ｏ部１０７およびブロックバッファ
１１１に対応する。補間行列計算手段は部分補間行列計
算部１１２に対応する。 （効果）全ての色成分をまとめた場合の線形推定演算を
観測された色成分画像ごとの部分的な線形演算の和に置
き換えることで推定時の線形演算に必要なメモリを大幅
に減らせる。 （５） 上記色相関情報算出手段は、被写体に関して予
め得られた色信号間の空間的相関情報を保持する色相関
情報保持手段を有すること、を特徴とする構成（１）に
記載のカラー画像処理装置。

【００５０】（対応する発明の実施の形態）この発明の
実施の形態は上記した第１実施形態に対応する。構成中
の色相関情報算出手段は図１中のデータサーバ１０２お
よび色相関推定部１０９に対応する。構成中の色相関情
報保持手段は図１中のデータサーバ１０２に対応する
が、先験的な相関情報を保持するＲＯＭであってもよ
い。 （効果）先験的に相関情報を利用することで対象となる
画像ごとに最適な補正を行うことができる。さらに、撮
影対象に固有の情報を一箇所に保持しておくことによ
り、撮影対象に固有の情報が様々な構成要素に分散化さ
れてハード化された場合に比して新たに色信号間の空間
的相関情報が得られた場合の更新や付加が容易になる。 （６） 上記色相関情報保持手段はその保持内容が変更
可能であること、を特徴とする構成（５）に記載のカラ
ー画像処理装置。 （対応する発明の実施の形態）この発明の実施の形態は
上記した第１実施形態に対応する。構成中の色相関情報
保持手段は図１中のデータサーバ１０２に対応するが、
先験的な相関情報を保持するメモリカードやリムーバブ
ルメディア等であってよい。 （効果）先験的な相関情報を交換可能にすることで、種
々の画像について最適な補正を行うことができる。 （７） 上記色相関情報保持手段は色相関情報を複数種
保持し、上記所定領域内の情報に基づき上記複数種の色
相関情報のうち一つ以上を選択する相関情報選択手段を
有し、上記補間手段はこの相関情報選択手段によって選
択された色相関情報に基づき補間を行うこと、を特徴と
する構成（５）に記載のカラー画像処理装置。 （対応する発明の実施の形態）この発明の実施の形態は
上記した第１実施形態に対応する。構成中の色相関情報
保持手段は図１中のデータサーバ１０２に対応するが、
装置に内蔵されたＲＯＭや先験的な相関情報を保持する
メモリカードやリムーバブルメディア等であってよい。
構成中の相関情報選択手段は図１中の色相関推定部１０
９およびデータサーバー１０２に対応するが、選択を装
置が行うのではなく、人間が被写体の種類に応じて選べ
るようにしてもよい。 （効果）画像の領域ごとに先験的に得られた色信号間の
空間的相関情報を切り替えられるようにすることで、種
々の被写体が混在する複雑な画像に対しても最適な補間
ができるようになる。 （８） 複数の色信号のうち少なくとも１つ以上の色信
号が欠落する撮像画素を有する撮像手段から得られた色
信号を処理するカラー画像処理装置において、上記撮像
画素の色信号に関する配置情報と、被写体に関して予め
得られた色信号間の空間的相関情報とに基づき算出され
た補間行列を保持する補間行列保持手段と、この補間行
列保持手段に保持された補間行列を用いて、上記撮像手
段から得られた色信号の所定領域内の情報に対して線形
演算により補間を行う線形補間手段と、を具備すること
を特徴とするカラー画像処理装置。 （対応する発明の実施の形態）この発明の実施の形態は
上記した第２実施形態に対応する。構成中の色信号が欠
落する撮像画素を有する撮像手段は図２中の単板カラー
ランダムモザイクフィルタＣＣＤ２００に対応するが、
第１実施形態における図１中の二板式カラースチルカメ
ラ１００および通常の単板ベイヤー配列ＣＣＤや補色モ
ザイクフィルタ方式の単板ＣＣＤ、さらには互いにＣＣ
Ｄの位置を互いにずらした三板式のカメラ等でもよい。
構成中の補間行列保持手段は図２中の補間行列保持ＲＯ
Ｍ２０６に対応するが、特に着脱式である必要はなく、
装置に内蔵されていてもよいし、ＲＯＭに限らずその他
のメディア、外部から情報が供給されるＲＡＭ等でもよ
い。構成中の線形補間手段は線形補間部２０９に対応す
る。 （効果）原画像の相関に関する先験的な知識および撮像
手段の色信号の配置情報を反映する補間行列を事前に計
算しておくことにより、補間行列と入力信号との線形演
算だけで、対象画像に対する補間を高速に行える。 （９） 上記補間行列保持手段は着脱可能であることを
特徴とする構成（８）に記載のカラー画像処理装置。 （対応する発明の実施の形態）この発明の実施の形態は
上記した第２実施形態に対応する。構成中の補間行列保
持手段は図２中の補間行列保持ＲＯＭ２０６に対応する
が、特にメモリカードである必要はなく、その他のリム
ーバブルメディア、外部から情報が供給されるＲＡＭ等
でもよい。 （効果）先験的な相関情報を交換可能にすることで、種
々の画像について最適な条件で補正を行うことができ
る。 （１０） 上記補間行列保持手段は上記補間行列を複数
種保持し、上記所定領域の情報に基づき上記複数種の補
間行列のうち一つ以上を選択する補間行列選択手段を有
し、上記補間手段は上記補間行列手段によって選択され
た補間行列を用いて補間を行うこと、を特徴とする構成
（８）に記載のカラー画像処理装置。 （対応する発明の実施の形態）この発明の実施の形態は
上記した第２実施形態に対応する。構成中の補間行列保
持手段は図２中の補間行列保持ＲＯＭ２０６に対応する
が、特に着脱式である必要はなく、装置に内蔵されてい
てもよいし、ＲＯＭに限らずその他のメディア、外部か
ら情報が供給されるＲＡＭ等でもよい。補間行列選択手
段は図２中の撮影モード選択部２０８に対応するが、選
択は人間が行う必要はなく、コンピュータが所定領域の
色信号に基づいて選択してもよい。 （効果）画像の領域ごとに先験的に得られた色信号間の
相関情報を切り替えられるようにすることで、種々の画
像に対して柔軟に対処できるようになる。 （１１） 上記撮像手段から得られる色信号において、
各色信号が得られる撮像画素の座標位置が空間的にラン
ダムであること、を特徴とする構成（１）〜（８）のい
ずれか１つに記載のカラー画像処理装置。 （対応する発明の実施の形態）この発明の実施の形態は
上記した第２実施形態に対応する。構成中の色信号が欠
落する撮像画素を有する撮像手段は図２中の単板カラー
ランダムモザイクフィルタＣＣＤ２００に対応する。モ
ザイクフィルタの色フィルタの種類は原色、補色等の制
約はない。 （効果）撮像手段の色信号配置をランダムにすることに
より、どのような画像に対しても最適な補間処理を行え
るようになる。

【００５１】

【発明の効果】本発明によれば、より高品位のカラー画
像信号を生成することができるカラー画像処理装置を提
供することができる。

【図面の簡単な説明】

【図１】本発明の第１実施形態が適用されるカラー画像
処理システムの構成を示す図である。

【図２】本発明の第２実施形態が適用される電子スチル
カメラの構成を示す図である。

【符号の説明】

１００…二板式カラースチルカメラ、１００ａ…Ｇフィ
ルタ付ＣＣＤ、１００ｂ…Ｒ／Ｂ市松モザイクフィルタ
付ＣＣＤ、１００ｃ…Ａ／Ｄ変換部、１００ｄ…フィル
タ配置情報保持ＲＯＭ、１０１…カラー画像処理装置、
１０２…データサーバ、１０３…画像入力端子、１０４
…フィルタ配置情報入力端子、１０５…フィルタ配置情
報保持ＲＡＭ、１０６…画像メモリ、１０７…ブロック
Ｉ／Ｏ部、１０８…色相関・補正情報通信端子、１０９
…色相関推定部、１１０…補正情報バッファ、１１１…
ブロックバッファ、１１１ａ…色成分ブロックバッフ
ァ、１１１ｂ…復元ブロックバッファ、１１２…部分補
間行列計算部、１１３…線形演算部、１１４…画像出力
端子、１１５…制御部。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 複数の色信号のうち少なくとも１つ以上
   の色信号が欠落する撮像画素を有する撮像手段から得ら
   れた色信号を処理するカラー画像処理装置において、 上記撮像画素の色信号に関する配置情報を格納する格納
   手段と、 上記撮像手段から得られた色信号に関して所定領域の色
   信号間の空間的相関情報を生成する色相関情報生成手段
   と、 上記格納手段に格納された色信号に関する配置情報と、
   上記色相関情報生成手段によって生成された色信号間の
   空間的相関情報とに基づき、上記所定領域内の欠落する
   色信号を補間する補間手段と、 を具備することを特徴とするカラー画像処理装置。
2. 【請求項２】 複数の色信号のうち少なくとも１つ以上
   の色信号が欠落する撮像画素を有する撮像手段から得ら
   れた色信号を処理するカラー画像処理装置において、 上記撮像画素の色信号に関する配置情報と、被写体に関
   して予め得られた色信号間の空間的相関情報とに基づき
   算出された補間行列を保持する補間行列保持手段と、 この補間行列保持手段に保持された補間行列を用いて、
   上記撮像手段から得られた色信号の所定領域内の情報に
   対して線形演算により補間を行う線形補間手段と、 を具備することを特徴とするカラー画像処理装置。
3. 【請求項３】 上記補間行列保持手段は着脱可能である
   ことを特徴とする請求項２記載のカラー画像処理装置。