JP3935528B2 - カラー画像処理装置 - Google Patents
カラー画像処理装置 Download PDFInfo
- Publication number
- JP3935528B2 JP3935528B2 JP17031196A JP17031196A JP3935528B2 JP 3935528 B2 JP3935528 B2 JP 3935528B2 JP 17031196 A JP17031196 A JP 17031196A JP 17031196 A JP17031196 A JP 17031196A JP 3935528 B2 JP3935528 B2 JP 3935528B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- interpolation
- matrix
- image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明はカラー画像処理装置に関し、少なくとも１つ以上の色信号が欠落する撮像画素を有する撮像手段から得られた信号を処理するカラー画像処理装置に関する。
【０００２】
【従来の技術】
高品位なカラー画像を撮像するには、高い空間解像度で各位置につき少なくとも三つの異なる光の波長帯で情報を集める必要がある。この条件を満たす装置構成として、従来から分光系と高画素数の撮像素子三枚とを用いたいわゆる三板方式の撮像装置が用いられてきた。しかしこの装置構成は高価であるため、カラー画像を撮像するより安価な構成として、モザイク色フィルタを用いた単板ＣＣＤ撮像素子や、一枚はＧ（緑）フィルタ、もう一枚はＲ（赤）とＢ（青）のモザイクフィルタを用いて計２枚のＣＣＤで撮像を行う二枚方式のカラーカメラが用いられてきた。
【０００３】
また三枚方式であるが安価な低解像度の撮像素子を用い、それらをずらして配置することで空間解像度を上げる試みもなされてきた。しかし、これらの方式では最終的に生成される画像としては画素ごとに全ての色成分情報は得られず、情報の欠落が生じる。そのため、欠落している情報を補うための種々の補間、補正法が提案されてきた。従来提案された手法は注目画素の近傍の他の画素値から線形補間により値を求めるものが多いが、大別すると二種類に分類できる。
【０００４】
第１の従来技術は色成分独立に補間を行うものである。例えば、特開昭６１−５０１４２３号公報は、原色ＲＧＢモザイクフィルタのＧ成分に特化した補間法を開示している。この方法では、Ｇ成分の欠落を復元するに際し、欠落画素周辺の３×３近傍内のＧ画素の値を用いて近傍を平坦部か稜か筋か隅かに分類する。そして、この分類結果に応じて最適な線形補間係数を選択し、欠落画素を線形補間により求めている。
【０００５】
一方、第２の従来技術は異なる色成分の画素値を関連づけて補間を行うものである。例えば特開平５−５６４４６号公報は、局所領域では輝度成分の変化に対して色差成分の変化が少ないという仮定のもとで、色成分同士を関連づけて補間を行う方法を開示している。この方法では、ある位置の欠落色成分を回復するにあたり、近傍における色成分の低域成分間の比を求め、その比に基づいて当該位置に存在する色成分から欠落色成分を計算している。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記した従来の撮像装置はいずれも、欠落色成分を十分に補間することができず、偽色が発生したりして高品位のカラー画像信号を得ることができなかった。
【０００７】
本発明のカラー画像処理装置はこのような課題に着目してなされたものであり、その目的とするところは、色信号間の空間的相関情報を用いて欠落色成分を補間することにより、より高品位のカラー画像信号を生成することができるカラー画像処理装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記の目的を達成するために、本発明の第１の態様は、複数の色信号のうち少なくとも１つ以上の色信号が欠落する撮像画素を有する撮像手段から得られた色信号を処理するカラー画像処理装置において、上記撮像画素の色信号に関する配置情報を格納する格納手段と、複数の被写体に関して予め得られた色信号間の空間的相関情報を複数保存した色相関情報保持手段と、上記格納手段に格納された色信号に関する配置情報と、上記色相関情報保持手段に保存された上記複数の空間的相関情報の中から上記撮像手段で得られた観測画像に応じて選択された前記色信号間の空間的相関情報とを用いた線形演算で算出した補間行列によって、上記所定領域内の欠落する色信号を補間する補間手段と、を具備する。
【０００９】
また、本発明の第２の態様は、複数の色信号のうち少なくとも１つ以上の色信号が欠落する撮像画素を有する撮像手段から得られた色信号を処理するカラー画像処理装置において、上記撮像画素の色信号に関する配置情報と、被写体に関して予め得られた色信号間の空間的相関情報とを用いた線形演算によって予め算出された補間行列を保持した補間行列保持手段と、この補間行列保持手段に保持された上記補間行列を用いて、上記撮像手段から得られた色信号の所定領域内の情報に対して線形演算により補間を行う線形補間手段と、を具備し、上記補間行列保持手段は、上記補間行列を複数種保持し、上記所定領域の情報に基づき上記複数種の補間行列から補間に用いる補間行列を選択する補間行列選択手段を有し、上記線形補間手段は上記補間行列選択手段によって選択された補間行列を用いて補間を行う。
【００１０】
また、本発明の第３の態様は、第２の態様において、上記補間行列保持手段は着脱可能である。
【００１２】
【発明の実施の形態】
まず、本発明の実施の形態の第１の概略を説明する。本実施形態では先験的に得られた色信号間の空間的相関情報に関する知識に基づき、撮像手段によって被写体を撮像したときに欠落する色信号成分を補間するものである。以下に、補間に際して先験的な色成分間の空間的相関情報を用いたときの作用について述べる。以下の説明では、二次元領域で値をもつ情報を、行ごとに値を並べた１次元のベクトルとして表現する。所定領域に関して、撮像手段を通じて、ｎ種類の色信号が観測されたとする。観測された各色信号をｇi （ｉは色成分を表わす添え字）、各画素位置でまったく色成分の欠落が生じない場合に得られる色信号をｆi とする。撮像手段にモザイクフィルタを用いている場合は対応する色フィルタのない画素位置でのｇi の値は０となる。欠落の生じ方を明らかにするために、各色信号について、各画素位置における値の有無（あれば１、なければ０）、あるいはその位置の色フィルタの対応する色成分に対する透過率を表わす行列Ｈi を定義する。Ｈi を用いると、所定領域のｆi とｇi の関係は
ｇi ＝Ｈi ｆi とかける。ここで全ての色成分をまとめて扱うことにすると、原画像と観測画像の関係は、
【００１３】
【数１】
となる。本実施形態では、情報の欠落を含む画像に関する欠落情報の補間を、このように全ての色成分をまとめた観測画像を表わすベクトルｇから、所定の規範のもとで全ての色成分をまとめた原画像ｆに対する推測画像ｆeを作成することにより行う。望ましい規範としては、例えば、推測画像ｆeと原画像ｆの平均最小自乗誤差を最小にする方法が考えられる。具体的な推定方法として、ｇからｆを線形に推定する場合をとりあげる。この場合、推測画素ｆeはある行列Ｐを用いてｆe＝Ｐｇと表現される。推測画像ｆeと原画像ｆの平均最小自乗誤差＜│ｆ−ｆe│2＞を最小にするという規範を用いると、行列Ｐの満たすべき条件は、
【００１４】
【数２】
となる。この式を解くと、
【００１５】
【数３】
となる。ここで、Ｒfgはｆとｇの相互相関行列、Ｒggは観測画像ｇの自己相関行列であり、＜＞は集合平均を表す。また、Ｒffは原画像ｆの自己相関行列である。（３）式の解は行列Ｈによっては一意に定まる保証はないが、その場合でもＲggの一般逆行列を用いたり、行列Ｐに関する所定の制約を設けたりすることで解くことができる。
【００１６】
この例で示されるように、事前に原画像の色信号間の空間的相関情報に関する知識が得られている場合には所定の最適化規範に従う最適な補間画像を得ることができ、経験的に得られた知識に基づいた他の補間法に比して高い精度での補正が可能である。
また、すべての色成分をまとめて扱う場合、上式（３）中の原画像の自己相関は、
【００１７】
【数４】
（Ｒijは色成分ｉとｊの相互相関行列）と書けるので、あらかじめ原画像の色信号間の相互相関に関する先験的な知識が得られている場合にはその知識を有効に活用することができる。また、先験的知識がない場合でも、一般の自然画像では各成分が完全に無相関と思われることは少ないため、色成分を独立に扱う場合と比較して（３）式におけるＲggの推定精度を高めることができ、更に全観測画像の情報を有効に活用できる。
【００１８】
次に第２の概略を説明する。全ての色信号をまとめた観測画像ｇから、推測画像ｆe と原画像ｆの最小自乗誤差｜ｆ−ｆe ｜2 を最小にするように線形推定を行なう場合は、第１の概略で述べたように、（３）式を満たす行列Ｐを用いてｆe ＝Ｐｇとかける。観測画像ｇに対する原画像の色信号間の相関行列Ｒffがあらかじめわかっている場合は、（３）式から一般逆行列を用いて求めることができる。すなわち、
Ｐ＝ＲffＨ（ＨＲffＨ）-1 （５）
と解ける。ここでＰを事前に計算しておくことができ、観測画像ｇとの行列積をとるだけで補間が完了する。
【００１９】
第２の概略の作用は補間手段の動作以外は第１の概略と同じである。第２の概略における補間手段では、補間行列計算手段が先験的な情報より求められた原画像の色信号間の空間的相関情報Ｒffと格納手段に格納されたフィルタ配置情報Ｈを用いて（５）式のＰを補間行列として計算するか、あるいはあらかじめ（５）式で計算され格納されているＰを読み出す。そして、線形補間手段によって所定領域内の色信号と、補間行列計算手段から得られた補間行列との行列積Ｐｇを計算することにより補間を行う。
【００２０】
次に第３の概略を説明する。上記所定領域がｍ×ｍ画素からなる場合は、各色成分ベクトルはｍ×ｍ行１列になる色成分がｎ個あるとすれば、全ての色成分を合わせた画像ベクトルはｎ×（ｍ×ｍ）行１列のベクトルである。（５）式で求めた補間行列はｎ×（ｍ×ｍ）次正方行列となる。これに対し、（５）式右辺の逆行列を
【００２１】
【数５】
のように、ｍ×ｍ次の正方小行列｛Ｖij｝を用いて表現すると、色成分ｉの推測画像は
【００２２】
【数６】
と書ける。ここでＱijはｍ×ｍ次正方行列で、すべて観測画像とは独立に計算しておける。ここではＱijを部分補間行列と呼ぶ。（７）式を各ｉについて順に計算すれば、線形演算に必要なメモリはｆe ＝Ｐｇを直接計算した場合と比較してｎ2 分の１に減少する。実際は、観測される色成分ｇj は画素が欠落しているため全ての列についてＱijを保持しておく必要はなく、さらにワークエリアを少なくすることができる。
【００２３】
第３の概略の作用は、補間手段の動作以外は上記した第１の概略と同じである。第３の概略における補間手段では、補間行列計算手段が（７）式に従ってＲijと、格納手段に格納されたフィルタ配置情報Ｈとを用いて部分補間行列Ｑを計算するか、あるいはあらかじめ（７）式を用いて計算され格納されている補間行列Ｑを読み出す。色成分取得手段は所定領域内の画素値を色成分ごとに読み出す。線形補間手段は色成分取得手段より得られた所定領域の色成分画像ｇj と部分補間行列計算手段より得られた（７）式中の対応する部分補間行列Ｑijを用いて推定色成分画像ｆe i を計算する。
以下に第４の概略を述べる。第２の概略で述べた原画像の線形推定
【００２４】
【数７】
においては、（５）式に従えばＰを事前に計算しておくことができたが、（５）式のままの補間行列を用いると、補間時に観測画像を色成分画像ごとに並べてｇを作る必要がある。そこで、（５）式でＰを求めた後、以下のように変形を行って補間に都合の良い形にする。
【００２５】
色成分ごとの観測画像ｇi はＨi に対応する欠落を含むため０の要素が含まれているが、各位置には少なくとも一つの色成分が存在することから、ｇi が０になる位置で値をもつ色成分画像ｇj が必ずある。また、信号が一つ以上のモザイクフィルタで得られ、撮像手段が各画素を所定の順序で読み出すものとすれば、ｇi が０になる位置でｇj のどの画素が撮像手段により読み出されるのかもわかる。そこで、ｇi の０となる各画素位置について、対応するＰの列と、その位置で読み出されるｇj の画素に対応するＰの列を交換する操作を繰り返して、（８）式を
【００２６】
【数８】
と変形することができる。ここで、ｓは撮像手段から出力される信号そのものである。撮像手段の色信号配置に関する情報は、上記の列の交換操作の結果、すべてＰe に含まれることになる。そのため、事前にＰe を観測画像とは独立に計算しておくことで、補間時には撮像手段の色信号配置情報は不要となり、装置構成を簡単化できる。
【００２７】
変形した補間行列Ｐe を用いる場合の撮像装置の動作は以下のようになる。被写体を撮像手段が撮像すると、撮像手段により全ての色信号が存在しない信号が生成される。補間行列保持手段は、あらかじめ計算されたＰe を保持している。補間手段は、補間行列保持手段から補間行列を読み出し、撮像手段から得られた所定サイズの領域内の信号と直接行列演算を行って補間画像を生成する。画像の全ての領域について補間手段による処理が繰り返される。
【００２８】
以下に、撮像手段の色信号配置をランダムに構成する第５の概略を述べる。上記した第１の概略における（３）式に例示されたように、補間行列を求めるにはＲggの逆行列の特異性が小さい事が望ましい。モザイクフィルタで撮像が行われる場合には、Ｒggには、原画像の自己相関Ｒffの各要素Ｘijのうち、Ｈのｉおよびｊ列がともに０でないものだけが伝達され、Ｒggはその他の位置では値は０となる。すなわち、Ｒggの特異性はモザイクフィルタのパターンを表わすＨとＲffの関係に依存する。特異生が大きくなるのはモザイクパターンＨの持つ周期性と原画像の持つ周期性が類似してしまった場合で、最悪の条件ではＲggに伝達されたＲffが全て同じ値となり、Ｒggのランクは１に低下してしまう。そこで、どのような原画像に対してもＲggの特異性が大きく変動しないという観点から考えると、Ｈの非ゼロ要素の自己相関が周期性を持たないこと、すなわちランダムに分布していることが望ましい。特に事前に求められる補間行列以外に変更を要しない場合、ランダムにすることによるデメリットは非常に小さい。
【００２９】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
まず、第１実施形態について説明する。図１は第１実施形態に係るカメラシステムの構成を示す図であり、Ｇフィルタ付ＣＣＤ１００ａとＲ／Ｂ市松モザイクフィルタ付ＣＣＤ１００ｂとを有する二板式カラースチルカメラ（以下、カメラ部と呼ぶ）１００と、カラー画像処理装置１０１と、データサーバ１０２とから構成されている。すなわち、カメラ部１００は画像入力端子１０３とフィルタ配置情報入力端子１０４とを介してカラー画像処理装置１０１に接続されている。カメラ部１００とカラー画像処理装置１０１の着脱は自由であり、カメラシステムのカメラ部１００は別の撮像系、例えば単板モザイクフィルタＣＣＤカメラや三板式カメラなどに置き換えることもできる。ただし、カラー画像処理装置１０１のフィルタ配置情報入力端子１０４へ撮像系の色フィルタ配置情報を提供するために、カメラ部１００はフィルタ配置情報保持ＲＯＭ１００ｄを備えている。また、データサーバ１０２は色相関・補正情報通信端子１０８を介してカラー画像処理装置１０１と接続されているが、接続形態は実際のケーブルによるものでもよいし、通信回線によるものでもよい。
【００３０】
カラー画像処理装置１０１には上記した三つの端子があるが、カメラ部１００からの入力を受ける端子のうち、画像入力端子１０３には入力される画像を蓄える画像メモリ１０６が接続され、この画像メモリ１０６は処理結果出力用の画像出力端子１１４に接続されるとともに、ブロックＩ／Ｏ部１０７を介してブロックバッファ１１１に接続されている。一方、フィルタ配置情報入力端子１０４はフィルタ配置情報保持ＲＡＭ１０５に接続されている。
【００３１】
さらに、データサーバ１０２との入出力を行う色相関・補正情報通信端子１０８は色相関推定部１０９を介して部分補間行列計算部１１２に接続されるとともに、補正情報バッファ１１０を介して部分補間行列計算部１１２に接続されている。色相関推定部１０９と部分補間行列計算部１１２とはさらにフィルタ配置情報保持ＲＡＭ１０５からも入力を受ける。部分補間行列計算部１１２は線形演算部１１３に部分補間行列を出力すべく接続されている。この線形演算部１１３はさらにブロックバッファ１１１中の色成分ブロックバッファ１１１ａからも入力を受け、ブロックバッファ１１１中の復元ブロックバッファ１１１ｂに出力信号を出力する。
【００３２】
以下に、上記した構成のカメラシステムの作用を説明する。図１においては、実線が画像データの流れ、点線がその他の情報の流れを表わしている。カメラ部１００によって被写体を撮像すると、カメラ部１００内のＧフィルタ付ＣＣＤ１００ａおよびＲ／Ｂ市松モザイクフィルタ付ＣＣＤ１００ｂから画像信号が出力される。この画像信号はＡ／Ｄ変換部１００ｃによってデジタル化されてカラー画像処理装置１０１の画像入力端子１０３に入力され、画像メモリ１０６に全て格納される。このとき、カメラ部１００のフィルタ配置情報保持ＲＯＭ１００ｄからは各色信号の欠落を表わす行列Ｈi が読み出されて、カラー画像処理装置１０１のフィルタ配置情報入力端子１０４に出力される。カラー画像処理装置１０１はこの情報をフィルタ配置情報保持ＲＡＭ１０５に保持する。
【００３３】
カメラ部１００からの入力が終わると、制御部１１５は所定サイズの領域を設定する。所定領域が定まると、まず所定領域の色信号間の相関が近似的に計算され、相関情報のデータベースをもつデータサーバ１０２と交信することで、補間行列計算の準備が整えられる。
【００３４】
以下の説明では、自然画像の相関行列を近似できるようなパラメータ表示の関数があらかじめ格納されているものとする。ブロックＩ／Ｏ部１０７は、フィルタ配置情報保持ＲＯＭ１０５に記憶されたデータに基づいて所定領域から色成分ごとの信号ｇi を読み出す機能を有する。ブロックＩ／Ｏ部１０７は、全ての二つの色信号の組（ｇi ，ｇj ）について、画像メモリ１０６から制御部１１５に指定された所定領域の画像を順次読み出して色成分ブロックバッファ１１１ａに格納する。
【００３５】
色相関推定部１０９は、ブロックバッファ１１１に書き込まれた色成分ごとの観測画像ｇi とｇj からｇi ｇj t を計算し、観測画像の相関行列とみなす。そして、計算結果を予め求められたパラメータ表示の関数にあてはまることで、推定される原画像の近似的な色相関パラメータベクトルＢe ijを計算する。色相関推定部１０９は、全ての２色信号の組（ｇi ，ｇj ）についてパラメータ｛Ｂe ij｝を求めた後、全てのＨi と共に色相関・補正情報通信端子１０８に出力する。
【００３６】
データサーバ１０２では、あらかじめ様々な対象についての先験的な色成分間の空間的相関情報が測定されて求められ、測定結果は、上記所定のパラメータ表示関数に近似して得られるパラメータベクトルの組｛Ｂij｝x を各対象ｘごとに、データベース化して保存される。また、これらのパラメータを使った色信号間の相互相関行列と、欠落情報の配置を表わすいくつかの色信号配置情報｛Ｈi ｝の組から観測画像ｇの自己相関行列Ｒggを（３）式に従って事前に計算し、その逆行列を求めて（６）式にあるような小行列Ｖの集まりとして同じくデータベース化して保存しておく。
【００３７】
カラー画像処理装置１０１から色相関・補正情報通信端子１０８を介してパラメータの組｛Ｂe ij｝及び色信号配置情報｛Ｈi ｝が送られてくると、データサーバ１０２は保持しているパラメータの組｛Ｂij｝x のうち、送られてきたパラメータに最も近いパラメータの組｛Ｂij｝を選び、さらに色信号配置情報｛Ｈi ｝と組み合わせて逆行列｛Ｖ｝を検索する。データサーバ１０２は選択されたパラメータの組｛Ｂij｝を返送し、色相関推定部１０９は返送された｛Ｂij｝を保持する。
【００３８】
次に、部分補間行列計算部１１２と線形演算部１１３とは、色相関推定部１０９と、ブロックＩ／Ｏ部１０７と、データサーバ１０２とともに上記（７）式に基づいて部分補間行列Ｑijと推定色成分画像を順次計算し、推測画像ｆe i を算出する。
【００３９】
部分補間行列計算部１１２は、（７）式のＱijの定義における右辺の各項を計算するごとに、データサーバ１０２と通信して補正情報バッファ１１０に対応する小逆行列Ｖkjを得る。そして、この小行列Ｖkjと、色相関推定部１０９がパラメータ｛Ｂij｝を用いて計算した原画像の推定色間相互相関行列Ｒijと、フィルタ配置情報保持ＲＡＭ１０５が保持するＨk とを用いて右辺の項を一つ計算し、線形演算部１１３に送る。
【００４０】
線形演算部１１３では、この行列とブロックＩ／Ｏ部１０７が読み出した行列ｇi との行列積を演算し、演算結果は復元ブロックバッファ１１１ｂに加算される。全ての添え字ｊ、ｋについて計算がなされると、推測画像ｆe i が復元ブロックバッファ１１１ｂに得られるので、ブロックＩ／Ｏ部１０７は画像メモリ１０６に結果を書き込む。この処理が全ての添え字ｉについてなされると、所定領域の色信号の補正が全て終了したことになる。
【００４１】
画像を覆う全ての所定領域での補正が完了すると、補正された画像は画像出力端子１１４を経て外部からの読み出しが可能になる。
なお、上記した説明では、データサーバ１０２へ送信されるデータ量を考慮して色相関パラメータベクトルＢe ijのみをデータサーバ１０２に送信するようにしたが、色成分ブロックバッファ１１１ａに格納されたブロック画像データをそのまま色相関・補正情報通信端子１０８を介してデータサーバ１０２に送信するようにしてもよい。
【００４２】
以下に図２を参照して本発明を電子スチルカメラに適用した第２実施形態を説明する。図２において、電子スチルカメラ２１２は単板カラーランダムモザイクフィルタＣＣＤ（以下単にＣＣＤと呼ぶ）２００を備えている。このＣＣＤ２００はＣＣＤドライバ２０１によって駆動され、Ａ／Ｄ変換部２０２を介して画像メモリ２０３に画像信号を出力する。画像メモリ２０３はブロックＩ／Ｏ部２０４を介してブロックバッファ２０５に接続されるとともに、画像メモリカードスロット２１０にも接続されている。
【００４３】
ブロックバッファ２０５には線形補間部２０９と撮影モード選択部２０８とが接続され、線形補間部２０９と撮影モード選択部２０８とは共に画像メモリカードスロット２１０にも接続されている。画像メモリカードスロット２１０には、補間情報保持ＲＯＭ２０６が着脱可能である。制御部２１１は上記した各部の動作を統括する。
【００４４】
以下に、上記した構成の電子スチルカメラ２１２の作用を説明する。まず、撮影者は電子スチルカメラ２１２で被写体を撮影する。このとき、被写体の種類をカメラに知らせるため、ユーザは撮影モード選択部２０８に接続されているスイッチを操作して、撮影モード（人物、風景、夕焼け等）を設定する。被写体像はＣＣＤドライバ２０１によって駆動されるＣＣＤ２００によってカラー画像信号に変換され、Ａ／Ｄ変換部２０２を経由して画像メモリ２０３に保持される。画像の取り込みが終了すると、ブロックＩ／Ｏ部２０４は制御部２１１の制御の基に所定サイズの領域のデータを画像メモリ２０３から読み出してブロックバッファ２０５に格納する。
【００４５】
補間情報保持ＲＯＭ２０６には、撮影モードに応じた複数の補間行列のデータベースが保持されている。これらは情報の欠落のない原色３板式撮像系を用いて予め以下のように作成される。
【００４６】
すなわち、まず、用意された各撮影モードについて、そのモードで撮影されると思われる様々な被写体の組み合わせについて、そのモードで想定される撮影条件のもとで、画像を数多く撮影する。得られた画像から色信号間の相関を求め、ＣＣＤ２００の色フィルタ配置情報と合わせて上記（５）式に従って補間行列を計算し、その後、上記（９）式で与えられるように観測画像の再配置の必要がないように構成する。同時に、例えば画像のテクスチャに関する統計量や色成分間の領域内の平均の比といった、対応する被写体を特徴づける量を画像から算出し、索引として設ける。
【００４７】
撮影モード選択部２０８はブロックバッファ２０５にアクセスし、所定領域の画像から、現在の撮影モードでの補間情報保持ＲＯＭ２０６の索引として有効な特徴量を算出する。その後、画像メモリカードスロット２０７を介して補間情報保持ＲＯＭ２０６にアクセスし、算出した特徴量とその差の最小値を与える索引を求める。そして、線形補間部２０９に索引に対応する補間行列のアドレスを伝達する。線形補間部２０９は、撮影モード選択部２０８から伝達されたアドレスに従ってメモリカードスロット２０７を介して補間情報保持ＲＯＭ２０６から選択された補間行列を読み出し、ブロックバッファ２０５に記憶された画像信号に補間行列をかけて補間画像を計算する。計算された補間画像はブロックＩ／Ｏ部２０４を介して画像メモリ２０３に書き戻される。画像メモリ２０３に保持された画像の全領域がこの繰り返しで処理された後、完成した補間画像は画像メモリカードスロット２１０を通じて図示せぬメモリカードに書き込まれる。
【００４８】
なお、上記した具体的実施形態には以下の構成を有する発明が含まれており、各発明の対応する発明の実施の形態及び効果は次の通りである。
（１） 複数の色信号のうち少なくとも１つ以上の色信号が欠落する撮像画素を有する撮像手段から得られた色信号を処理するカラー画像処理装置において、
上記撮像画素の色信号に関する配置情報を格納する格納手段と、
上記撮像手段から得られた色信号に関して所定領域の色信号間の空間的相関情報を生成する色相関情報生成手段と、
上記格納手段に格納された色信号に関する配置情報と、上記色相関情報生成手段によって生成された色信号間の空間的相関情報とに基づき、上記所定領域内の欠落する色信号を補間する補間手段と、
を具備することを特徴とするカラー画像処理装置。
（対応する発明の実施の形態）
この発明に関する実施の形態は上記した第１実施形態に対応する。構成中の色信号が欠落する撮像画素を有する撮像手段は、図１中の二板式カラースチルカメラ１００に対応するが、図２に示す第２実施形態の単板カラーランダムモザイクフィルタＣＣＤ２００および通常の単板ベイヤー配列ＣＣＤや補色モザイクフィルタ方式の単体ＣＣＤ、さらにはＣＣＤの位置を互いにずらした三板式のカメラ等でもよい。構成中の格納手段は図１中のフィルタ配置情報保持ＲＡＭ１０５に対応するが、図２の第２実施形態中のモザイクパターンＲＯＭ２０１のように、あらかじめ内部に設定されたＲＯＭでもよい。構成中の色相関情報生成手段は図１中のデータサーバ１０２および色相関推定部１０９に対応するが、必ずしも装置内部で計算する必要はなく、先験的な相関情報を保持するＲＯＭであってもよい。構成中の補間手段は図１中の部分補間行列計算部１１２及び線形演算部１１３に対応するが、行われる演算は繰り返しによる最適化手法に基づいたものでもよい。また、最適化の規範も補正画像と原画像との最小自乗誤差を最小にするものに限らず、更にノイズの影響やその他の補正画像に要求される種々の制約を加えたものでもよい。
【００４９】
次に、上記した構成（１）に係る画像撮像装置の作用を説明する。
撮像手段が被写体を撮像すると少なくとも１つ以上の色信号が欠落する画素位置が存在する。この欠落色信号の画素位置は格納手段にあらかじめ設定されるか、外部から撮像手段の種類に応じて入力される。色相関情報生成手段は、所定サイズの領域ごとに、観測された信号と格納手段からの色信号配置情報、および事前に得られた色信号間の相関に関する知識に基づいて推定するか、あるいはあらかじめ設定してあった先験的な色信号間の相関情報を読み出して補間手段に伝える。先験的な情報は、例えば設定のカテゴリーの対象をあらかじめ高精細な三板カメラ、あるいはマルチスペクトルカメラ等を用いて繰り返し撮影、測定し、そのカテゴリーの被写体に関する色信号間の相関情報の特徴を把握することで得ることができる。補間手段は、全色信号をまとめて取り扱う所定の規範に基づいた補間手法を用い、色信号間の相関情報を利用した補間を行う。画像の全ての領域についてこの処理が繰り返される。
（効果）
各色信号を独立に扱う補間に比較して事前に測定あるいは予見される色信号間の空間的相関情報という付加的な知識を利用することができるのでより高精度の補間が可能となり、これによってより高品位のカラー画像信号を得ることができる。また、最適化規範に基づいているため、得られる補正画像の画質が保証される。
（２） 上記補間手段は、上記所定領域内で色信号が欠落する上記撮像画素から得られた色信号を補間処理した画像と、上記所定領域内で色信号が欠落しない撮像画素から得られた画像との間における各色信号ごとの自乗誤差の全色信号にわたる平均が最小になるように補間を行うこと、
を特徴とする構成（１）に記載のカラー画像処理装置。
（対応する発明の実施の形態）
この発明の実施の形態は上記した第１実施形態に対応する。構成中の補間手段は部分補間行列計算部１１２及び線形演算部１１３に対応するが、行われる演算は繰り返しによる最適化手法に基づいたものでもよい。
（効果）
補間する際の規範として特に原画像と補正画像の自乗誤差を最小にするものを選ぶことで、原画像に最も近い画像を得ることができる。また、上記（３）式に見られるように先験的に得られている原画像の色信号間の相互相関の知識を直接活用して最適な補正を行うことができる。
（３） 上記補間手段は、上記格納手段から得られた色信号に関する配置情報および上記色相関情報生成手段からの色信号間の空間的相関情報に基づき補間行列を算出する補間行列計算手段と、この補間行列計算手段により得られた補間行列と上記撮像手段から得られた色信号の所定領域内の情報に基づき線形演算により補間を行う線形補間手段とからなること、
を特徴とする構成（１）に記載のカラー画像処理装置。
（対応する発明の実施の形態）
この発明の実施の形態は上記した第１実施形態に対応する。構成中の補間行列計算手段は部分補間行列計算部１１２に対応し、線形補間手段は線形演算部１１３に対応するが、第１実施形態のように所定領域内の色信号ごとに計算するのではなく、まとめて行列積演算を行ってもよい。
（効果）
原画像の線形推定における推定行列を、事前に得られた原画像の相関に関する情報から観測画像とは独立に求められるため、実際の補間時には高速、単純な構成による線形演算だけで補間を行える。
（４） 上記補間手段は、上記格納手段に格納された色信号に関する配置情報に基づき上記所定領域内の各色信号を抽出する色信号抽出手段を有し、
上記補間行列は、上記所定領域内の二つの色信号の全組み合わせにおける空間的相互相関と上記格納手段に格納された色信号に関する配置情報から定まる各色信号の強度を表わす行列との線形演算により定まる部分補間行列により構成され、上記補間行列計算手段は、上記部分補間行列を算出し上記色信号抽出手段により得られた各色信号と部分補間行列との線形演算により補間を行うこと、
を特徴とする構成（３）に記載のカラー画像処理装置。
（対応する発明の実施の形態）
この発明の実施の形態は上記した第１実施形態に対応する。構成中の色成分取得手段はブロックＩ／Ｏ部１０７およびブロックバッファ１１１に対応する。補間行列計算手段は部分補間行列計算部１１２に対応する。
（効果）
全ての色成分をまとめた場合の線形推定演算を観測された色成分画像ごとの部分的な線形演算の和に置き換えることで推定時の線形演算に必要なメモリを大幅に減らせる。
（５） 上記色相関情報算出手段は、被写体に関して予め得られた色信号間の空間的相関情報を保持する色相関情報保持手段を有すること、
を特徴とする構成（１）に記載のカラー画像処理装置。
【００５０】
（対応する発明の実施の形態）
この発明の実施の形態は上記した第１実施形態に対応する。構成中の色相関情報算出手段は図１中のデータサーバ１０２および色相関推定部１０９に対応する。構成中の色相関情報保持手段は図１中のデータサーバ１０２に対応するが、先験的な相関情報を保持するＲＯＭであってもよい。
（効果）
先験的に相関情報を利用することで対象となる画像ごとに最適な補正を行うことができる。さらに、撮影対象に固有の情報を一箇所に保持しておくことにより、撮影対象に固有の情報が様々な構成要素に分散化されてハード化された場合に比して新たに色信号間の空間的相関情報が得られた場合の更新や付加が容易になる。
（６） 上記色相関情報保持手段はその保持内容が変更可能であること、
を特徴とする構成（５）に記載のカラー画像処理装置。
（対応する発明の実施の形態）
この発明の実施の形態は上記した第１実施形態に対応する。構成中の色相関情報保持手段は図１中のデータサーバ１０２に対応するが、先験的な相関情報を保持するメモリカードやリムーバブルメディア等であってよい。
（効果）
先験的な相関情報を交換可能にすることで、種々の画像について最適な補正を行うことができる。
（７） 上記色相関情報保持手段は色相関情報を複数種保持し、
上記所定領域内の情報に基づき上記複数種の色相関情報のうち一つ以上を選択する相関情報選択手段を有し、上記補間手段はこの相関情報選択手段によって選択された色相関情報に基づき補間を行うこと、
を特徴とする構成（５）に記載のカラー画像処理装置。
（対応する発明の実施の形態）
この発明の実施の形態は上記した第１実施形態に対応する。構成中の色相関情報保持手段は図１中のデータサーバ１０２に対応するが、装置に内蔵されたＲＯＭや先験的な相関情報を保持するメモリカードやリムーバブルメディア等であってよい。構成中の相関情報選択手段は図１中の色相関推定部１０９およびデータサーバー１０２に対応するが、選択を装置が行うのではなく、人間が被写体の種類に応じて選べるようにしてもよい。
（効果）
画像の領域ごとに先験的に得られた色信号間の空間的相関情報を切り替えられるようにすることで、種々の被写体が混在する複雑な画像に対しても最適な補間ができるようになる。
（８） 複数の色信号のうち少なくとも１つ以上の色信号が欠落する撮像画素を有する撮像手段から得られた色信号を処理するカラー画像処理装置において、
上記撮像画素の色信号に関する配置情報と、被写体に関して予め得られた色信号間の空間的相関情報とに基づき算出された補間行列を保持する補間行列保持手段と、
この補間行列保持手段に保持された補間行列を用いて、上記撮像手段から得られた色信号の所定領域内の情報に対して線形演算により補間を行う線形補間手段と、
を具備することを特徴とするカラー画像処理装置。
（対応する発明の実施の形態）
この発明の実施の形態は上記した第２実施形態に対応する。構成中の色信号が欠落する撮像画素を有する撮像手段は図２中の単板カラーランダムモザイクフィルタＣＣＤ２００に対応するが、第１実施形態における図１中の二板式カラースチルカメラ１００および通常の単板ベイヤー配列ＣＣＤや補色モザイクフィルタ方式の単板ＣＣＤ、さらには互いにＣＣＤの位置を互いにずらした三板式のカメラ等でもよい。構成中の補間行列保持手段は図２中の補間行列保持ＲＯＭ２０６に対応するが、特に着脱式である必要はなく、装置に内蔵されていてもよいし、ＲＯＭに限らずその他のメディア、外部から情報が供給されるＲＡＭ等でもよい。構成中の線形補間手段は線形補間部２０９に対応する。
（効果）
原画像の相関に関する先験的な知識および撮像手段の色信号の配置情報を反映する補間行列を事前に計算しておくことにより、補間行列と入力信号との線形演算だけで、対象画像に対する補間を高速に行える。
（９） 上記補間行列保持手段は着脱可能であることを特徴とする構成（８）に記載のカラー画像処理装置。
（対応する発明の実施の形態）
この発明の実施の形態は上記した第２実施形態に対応する。構成中の補間行列保持手段は図２中の補間行列保持ＲＯＭ２０６に対応するが、特にメモリカードである必要はなく、その他のリムーバブルメディア、外部から情報が供給されるＲＡＭ等でもよい。
（効果）
先験的な相関情報を交換可能にすることで、種々の画像について最適な条件で補正を行うことができる。
（１０） 上記補間行列保持手段は上記補間行列を複数種保持し、
上記所定領域の情報に基づき上記複数種の補間行列のうち一つ以上を選択する補間行列選択手段を有し、
上記補間手段は上記補間行列手段によって選択された補間行列を用いて補間を行うこと、
を特徴とする構成（８）に記載のカラー画像処理装置。
（対応する発明の実施の形態）
この発明の実施の形態は上記した第２実施形態に対応する。構成中の補間行列保持手段は図２中の補間行列保持ＲＯＭ２０６に対応するが、特に着脱式である必要はなく、装置に内蔵されていてもよいし、ＲＯＭに限らずその他のメディア、外部から情報が供給されるＲＡＭ等でもよい。補間行列選択手段は図２中の撮影モード選択部２０８に対応するが、選択は人間が行う必要はなく、コンピュータが所定領域の色信号に基づいて選択してもよい。
（効果）
画像の領域ごとに先験的に得られた色信号間の相関情報を切り替えられるようにすることで、種々の画像に対して柔軟に対処できるようになる。
（１１） 上記撮像手段から得られる色信号において、各色信号が得られる撮像画素の座標位置が空間的にランダムであること、
を特徴とする構成（１）〜（８）のいずれか１つに記載のカラー画像処理装置。
（対応する発明の実施の形態）
この発明の実施の形態は上記した第２実施形態に対応する。構成中の色信号が欠落する撮像画素を有する撮像手段は図２中の単板カラーランダムモザイクフィルタＣＣＤ２００に対応する。モザイクフィルタの色フィルタの種類は原色、補色等の制約はない。
（効果）
撮像手段の色信号配置をランダムにすることにより、どのような画像に対しても最適な補間処理を行えるようになる。
【００５１】
【発明の効果】
本発明によれば、より高品位のカラー画像信号を生成することができるカラー画像処理装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態が適用されるカラー画像処理システムの構成を示す図である。
【図２】本発明の第２実施形態が適用される電子スチルカメラの構成を示す図である。
【符号の説明】
１００…二板式カラースチルカメラ、１００ａ…Ｇフィルタ付ＣＣＤ、１００ｂ…Ｒ／Ｂ市松モザイクフィルタ付ＣＣＤ、１００ｃ…Ａ／Ｄ変換部、１００ｄ…フィルタ配置情報保持ＲＯＭ、１０１…カラー画像処理装置、１０２…データサーバ、１０３…画像入力端子、１０４…フィルタ配置情報入力端子、１０５…フィルタ配置情報保持ＲＡＭ、１０６…画像メモリ、１０７…ブロックＩ／Ｏ部、１０８…色相関・補正情報通信端子、１０９…色相関推定部、１１０…補正情報バッファ、１１１…ブロックバッファ、１１１ａ…色成分ブロックバッファ、１１１ｂ…復元ブロックバッファ、１１２…部分補間行列計算部、１１３…線形演算部、１１４…画像出力端子、１１５…制御部。
【発明の属する技術分野】
本発明はカラー画像処理装置に関し、少なくとも１つ以上の色信号が欠落する撮像画素を有する撮像手段から得られた信号を処理するカラー画像処理装置に関する。
【０００２】
【従来の技術】
高品位なカラー画像を撮像するには、高い空間解像度で各位置につき少なくとも三つの異なる光の波長帯で情報を集める必要がある。この条件を満たす装置構成として、従来から分光系と高画素数の撮像素子三枚とを用いたいわゆる三板方式の撮像装置が用いられてきた。しかしこの装置構成は高価であるため、カラー画像を撮像するより安価な構成として、モザイク色フィルタを用いた単板ＣＣＤ撮像素子や、一枚はＧ（緑）フィルタ、もう一枚はＲ（赤）とＢ（青）のモザイクフィルタを用いて計２枚のＣＣＤで撮像を行う二枚方式のカラーカメラが用いられてきた。
【０００３】
また三枚方式であるが安価な低解像度の撮像素子を用い、それらをずらして配置することで空間解像度を上げる試みもなされてきた。しかし、これらの方式では最終的に生成される画像としては画素ごとに全ての色成分情報は得られず、情報の欠落が生じる。そのため、欠落している情報を補うための種々の補間、補正法が提案されてきた。従来提案された手法は注目画素の近傍の他の画素値から線形補間により値を求めるものが多いが、大別すると二種類に分類できる。
【０００４】
第１の従来技術は色成分独立に補間を行うものである。例えば、特開昭６１−５０１４２３号公報は、原色ＲＧＢモザイクフィルタのＧ成分に特化した補間法を開示している。この方法では、Ｇ成分の欠落を復元するに際し、欠落画素周辺の３×３近傍内のＧ画素の値を用いて近傍を平坦部か稜か筋か隅かに分類する。そして、この分類結果に応じて最適な線形補間係数を選択し、欠落画素を線形補間により求めている。
【０００５】
一方、第２の従来技術は異なる色成分の画素値を関連づけて補間を行うものである。例えば特開平５−５６４４６号公報は、局所領域では輝度成分の変化に対して色差成分の変化が少ないという仮定のもとで、色成分同士を関連づけて補間を行う方法を開示している。この方法では、ある位置の欠落色成分を回復するにあたり、近傍における色成分の低域成分間の比を求め、その比に基づいて当該位置に存在する色成分から欠落色成分を計算している。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記した従来の撮像装置はいずれも、欠落色成分を十分に補間することができず、偽色が発生したりして高品位のカラー画像信号を得ることができなかった。
【０００７】
本発明のカラー画像処理装置はこのような課題に着目してなされたものであり、その目的とするところは、色信号間の空間的相関情報を用いて欠落色成分を補間することにより、より高品位のカラー画像信号を生成することができるカラー画像処理装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記の目的を達成するために、本発明の第１の態様は、複数の色信号のうち少なくとも１つ以上の色信号が欠落する撮像画素を有する撮像手段から得られた色信号を処理するカラー画像処理装置において、上記撮像画素の色信号に関する配置情報を格納する格納手段と、複数の被写体に関して予め得られた色信号間の空間的相関情報を複数保存した色相関情報保持手段と、上記格納手段に格納された色信号に関する配置情報と、上記色相関情報保持手段に保存された上記複数の空間的相関情報の中から上記撮像手段で得られた観測画像に応じて選択された前記色信号間の空間的相関情報とを用いた線形演算で算出した補間行列によって、上記所定領域内の欠落する色信号を補間する補間手段と、を具備する。
【０００９】
また、本発明の第２の態様は、複数の色信号のうち少なくとも１つ以上の色信号が欠落する撮像画素を有する撮像手段から得られた色信号を処理するカラー画像処理装置において、上記撮像画素の色信号に関する配置情報と、被写体に関して予め得られた色信号間の空間的相関情報とを用いた線形演算によって予め算出された補間行列を保持した補間行列保持手段と、この補間行列保持手段に保持された上記補間行列を用いて、上記撮像手段から得られた色信号の所定領域内の情報に対して線形演算により補間を行う線形補間手段と、を具備し、上記補間行列保持手段は、上記補間行列を複数種保持し、上記所定領域の情報に基づき上記複数種の補間行列から補間に用いる補間行列を選択する補間行列選択手段を有し、上記線形補間手段は上記補間行列選択手段によって選択された補間行列を用いて補間を行う。
【００１０】
また、本発明の第３の態様は、第２の態様において、上記補間行列保持手段は着脱可能である。
【００１２】
【発明の実施の形態】
まず、本発明の実施の形態の第１の概略を説明する。本実施形態では先験的に得られた色信号間の空間的相関情報に関する知識に基づき、撮像手段によって被写体を撮像したときに欠落する色信号成分を補間するものである。以下に、補間に際して先験的な色成分間の空間的相関情報を用いたときの作用について述べる。以下の説明では、二次元領域で値をもつ情報を、行ごとに値を並べた１次元のベクトルとして表現する。所定領域に関して、撮像手段を通じて、ｎ種類の色信号が観測されたとする。観測された各色信号をｇi （ｉは色成分を表わす添え字）、各画素位置でまったく色成分の欠落が生じない場合に得られる色信号をｆi とする。撮像手段にモザイクフィルタを用いている場合は対応する色フィルタのない画素位置でのｇi の値は０となる。欠落の生じ方を明らかにするために、各色信号について、各画素位置における値の有無（あれば１、なければ０）、あるいはその位置の色フィルタの対応する色成分に対する透過率を表わす行列Ｈi を定義する。Ｈi を用いると、所定領域のｆi とｇi の関係は
ｇi ＝Ｈi ｆi とかける。ここで全ての色成分をまとめて扱うことにすると、原画像と観測画像の関係は、
【００１３】
【数１】
【００１４】
【数２】
【００１５】
【数３】
【００１６】
この例で示されるように、事前に原画像の色信号間の空間的相関情報に関する知識が得られている場合には所定の最適化規範に従う最適な補間画像を得ることができ、経験的に得られた知識に基づいた他の補間法に比して高い精度での補正が可能である。
また、すべての色成分をまとめて扱う場合、上式（３）中の原画像の自己相関は、
【００１７】
【数４】
【００１８】
次に第２の概略を説明する。全ての色信号をまとめた観測画像ｇから、推測画像ｆe と原画像ｆの最小自乗誤差｜ｆ−ｆe ｜2 を最小にするように線形推定を行なう場合は、第１の概略で述べたように、（３）式を満たす行列Ｐを用いてｆe ＝Ｐｇとかける。観測画像ｇに対する原画像の色信号間の相関行列Ｒffがあらかじめわかっている場合は、（３）式から一般逆行列を用いて求めることができる。すなわち、
Ｐ＝ＲffＨ（ＨＲffＨ）-1 （５）
と解ける。ここでＰを事前に計算しておくことができ、観測画像ｇとの行列積をとるだけで補間が完了する。
【００１９】
第２の概略の作用は補間手段の動作以外は第１の概略と同じである。第２の概略における補間手段では、補間行列計算手段が先験的な情報より求められた原画像の色信号間の空間的相関情報Ｒffと格納手段に格納されたフィルタ配置情報Ｈを用いて（５）式のＰを補間行列として計算するか、あるいはあらかじめ（５）式で計算され格納されているＰを読み出す。そして、線形補間手段によって所定領域内の色信号と、補間行列計算手段から得られた補間行列との行列積Ｐｇを計算することにより補間を行う。
【００２０】
次に第３の概略を説明する。上記所定領域がｍ×ｍ画素からなる場合は、各色成分ベクトルはｍ×ｍ行１列になる色成分がｎ個あるとすれば、全ての色成分を合わせた画像ベクトルはｎ×（ｍ×ｍ）行１列のベクトルである。（５）式で求めた補間行列はｎ×（ｍ×ｍ）次正方行列となる。これに対し、（５）式右辺の逆行列を
【００２１】
【数５】
【００２２】
【数６】
【００２３】
第３の概略の作用は、補間手段の動作以外は上記した第１の概略と同じである。第３の概略における補間手段では、補間行列計算手段が（７）式に従ってＲijと、格納手段に格納されたフィルタ配置情報Ｈとを用いて部分補間行列Ｑを計算するか、あるいはあらかじめ（７）式を用いて計算され格納されている補間行列Ｑを読み出す。色成分取得手段は所定領域内の画素値を色成分ごとに読み出す。線形補間手段は色成分取得手段より得られた所定領域の色成分画像ｇj と部分補間行列計算手段より得られた（７）式中の対応する部分補間行列Ｑijを用いて推定色成分画像ｆe i を計算する。
以下に第４の概略を述べる。第２の概略で述べた原画像の線形推定
【００２４】
【数７】
【００２５】
色成分ごとの観測画像ｇi はＨi に対応する欠落を含むため０の要素が含まれているが、各位置には少なくとも一つの色成分が存在することから、ｇi が０になる位置で値をもつ色成分画像ｇj が必ずある。また、信号が一つ以上のモザイクフィルタで得られ、撮像手段が各画素を所定の順序で読み出すものとすれば、ｇi が０になる位置でｇj のどの画素が撮像手段により読み出されるのかもわかる。そこで、ｇi の０となる各画素位置について、対応するＰの列と、その位置で読み出されるｇj の画素に対応するＰの列を交換する操作を繰り返して、（８）式を
【００２６】
【数８】
【００２７】
変形した補間行列Ｐe を用いる場合の撮像装置の動作は以下のようになる。被写体を撮像手段が撮像すると、撮像手段により全ての色信号が存在しない信号が生成される。補間行列保持手段は、あらかじめ計算されたＰe を保持している。補間手段は、補間行列保持手段から補間行列を読み出し、撮像手段から得られた所定サイズの領域内の信号と直接行列演算を行って補間画像を生成する。画像の全ての領域について補間手段による処理が繰り返される。
【００２８】
以下に、撮像手段の色信号配置をランダムに構成する第５の概略を述べる。上記した第１の概略における（３）式に例示されたように、補間行列を求めるにはＲggの逆行列の特異性が小さい事が望ましい。モザイクフィルタで撮像が行われる場合には、Ｒggには、原画像の自己相関Ｒffの各要素Ｘijのうち、Ｈのｉおよびｊ列がともに０でないものだけが伝達され、Ｒggはその他の位置では値は０となる。すなわち、Ｒggの特異性はモザイクフィルタのパターンを表わすＨとＲffの関係に依存する。特異生が大きくなるのはモザイクパターンＨの持つ周期性と原画像の持つ周期性が類似してしまった場合で、最悪の条件ではＲggに伝達されたＲffが全て同じ値となり、Ｒggのランクは１に低下してしまう。そこで、どのような原画像に対してもＲggの特異性が大きく変動しないという観点から考えると、Ｈの非ゼロ要素の自己相関が周期性を持たないこと、すなわちランダムに分布していることが望ましい。特に事前に求められる補間行列以外に変更を要しない場合、ランダムにすることによるデメリットは非常に小さい。
【００２９】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
まず、第１実施形態について説明する。図１は第１実施形態に係るカメラシステムの構成を示す図であり、Ｇフィルタ付ＣＣＤ１００ａとＲ／Ｂ市松モザイクフィルタ付ＣＣＤ１００ｂとを有する二板式カラースチルカメラ（以下、カメラ部と呼ぶ）１００と、カラー画像処理装置１０１と、データサーバ１０２とから構成されている。すなわち、カメラ部１００は画像入力端子１０３とフィルタ配置情報入力端子１０４とを介してカラー画像処理装置１０１に接続されている。カメラ部１００とカラー画像処理装置１０１の着脱は自由であり、カメラシステムのカメラ部１００は別の撮像系、例えば単板モザイクフィルタＣＣＤカメラや三板式カメラなどに置き換えることもできる。ただし、カラー画像処理装置１０１のフィルタ配置情報入力端子１０４へ撮像系の色フィルタ配置情報を提供するために、カメラ部１００はフィルタ配置情報保持ＲＯＭ１００ｄを備えている。また、データサーバ１０２は色相関・補正情報通信端子１０８を介してカラー画像処理装置１０１と接続されているが、接続形態は実際のケーブルによるものでもよいし、通信回線によるものでもよい。
【００３０】
カラー画像処理装置１０１には上記した三つの端子があるが、カメラ部１００からの入力を受ける端子のうち、画像入力端子１０３には入力される画像を蓄える画像メモリ１０６が接続され、この画像メモリ１０６は処理結果出力用の画像出力端子１１４に接続されるとともに、ブロックＩ／Ｏ部１０７を介してブロックバッファ１１１に接続されている。一方、フィルタ配置情報入力端子１０４はフィルタ配置情報保持ＲＡＭ１０５に接続されている。
【００３１】
さらに、データサーバ１０２との入出力を行う色相関・補正情報通信端子１０８は色相関推定部１０９を介して部分補間行列計算部１１２に接続されるとともに、補正情報バッファ１１０を介して部分補間行列計算部１１２に接続されている。色相関推定部１０９と部分補間行列計算部１１２とはさらにフィルタ配置情報保持ＲＡＭ１０５からも入力を受ける。部分補間行列計算部１１２は線形演算部１１３に部分補間行列を出力すべく接続されている。この線形演算部１１３はさらにブロックバッファ１１１中の色成分ブロックバッファ１１１ａからも入力を受け、ブロックバッファ１１１中の復元ブロックバッファ１１１ｂに出力信号を出力する。
【００３２】
以下に、上記した構成のカメラシステムの作用を説明する。図１においては、実線が画像データの流れ、点線がその他の情報の流れを表わしている。カメラ部１００によって被写体を撮像すると、カメラ部１００内のＧフィルタ付ＣＣＤ１００ａおよびＲ／Ｂ市松モザイクフィルタ付ＣＣＤ１００ｂから画像信号が出力される。この画像信号はＡ／Ｄ変換部１００ｃによってデジタル化されてカラー画像処理装置１０１の画像入力端子１０３に入力され、画像メモリ１０６に全て格納される。このとき、カメラ部１００のフィルタ配置情報保持ＲＯＭ１００ｄからは各色信号の欠落を表わす行列Ｈi が読み出されて、カラー画像処理装置１０１のフィルタ配置情報入力端子１０４に出力される。カラー画像処理装置１０１はこの情報をフィルタ配置情報保持ＲＡＭ１０５に保持する。
【００３３】
カメラ部１００からの入力が終わると、制御部１１５は所定サイズの領域を設定する。所定領域が定まると、まず所定領域の色信号間の相関が近似的に計算され、相関情報のデータベースをもつデータサーバ１０２と交信することで、補間行列計算の準備が整えられる。
【００３４】
以下の説明では、自然画像の相関行列を近似できるようなパラメータ表示の関数があらかじめ格納されているものとする。ブロックＩ／Ｏ部１０７は、フィルタ配置情報保持ＲＯＭ１０５に記憶されたデータに基づいて所定領域から色成分ごとの信号ｇi を読み出す機能を有する。ブロックＩ／Ｏ部１０７は、全ての二つの色信号の組（ｇi ，ｇj ）について、画像メモリ１０６から制御部１１５に指定された所定領域の画像を順次読み出して色成分ブロックバッファ１１１ａに格納する。
【００３５】
色相関推定部１０９は、ブロックバッファ１１１に書き込まれた色成分ごとの観測画像ｇi とｇj からｇi ｇj t を計算し、観測画像の相関行列とみなす。そして、計算結果を予め求められたパラメータ表示の関数にあてはまることで、推定される原画像の近似的な色相関パラメータベクトルＢe ijを計算する。色相関推定部１０９は、全ての２色信号の組（ｇi ，ｇj ）についてパラメータ｛Ｂe ij｝を求めた後、全てのＨi と共に色相関・補正情報通信端子１０８に出力する。
【００３６】
データサーバ１０２では、あらかじめ様々な対象についての先験的な色成分間の空間的相関情報が測定されて求められ、測定結果は、上記所定のパラメータ表示関数に近似して得られるパラメータベクトルの組｛Ｂij｝x を各対象ｘごとに、データベース化して保存される。また、これらのパラメータを使った色信号間の相互相関行列と、欠落情報の配置を表わすいくつかの色信号配置情報｛Ｈi ｝の組から観測画像ｇの自己相関行列Ｒggを（３）式に従って事前に計算し、その逆行列を求めて（６）式にあるような小行列Ｖの集まりとして同じくデータベース化して保存しておく。
【００３７】
カラー画像処理装置１０１から色相関・補正情報通信端子１０８を介してパラメータの組｛Ｂe ij｝及び色信号配置情報｛Ｈi ｝が送られてくると、データサーバ１０２は保持しているパラメータの組｛Ｂij｝x のうち、送られてきたパラメータに最も近いパラメータの組｛Ｂij｝を選び、さらに色信号配置情報｛Ｈi ｝と組み合わせて逆行列｛Ｖ｝を検索する。データサーバ１０２は選択されたパラメータの組｛Ｂij｝を返送し、色相関推定部１０９は返送された｛Ｂij｝を保持する。
【００３８】
次に、部分補間行列計算部１１２と線形演算部１１３とは、色相関推定部１０９と、ブロックＩ／Ｏ部１０７と、データサーバ１０２とともに上記（７）式に基づいて部分補間行列Ｑijと推定色成分画像を順次計算し、推測画像ｆe i を算出する。
【００３９】
部分補間行列計算部１１２は、（７）式のＱijの定義における右辺の各項を計算するごとに、データサーバ１０２と通信して補正情報バッファ１１０に対応する小逆行列Ｖkjを得る。そして、この小行列Ｖkjと、色相関推定部１０９がパラメータ｛Ｂij｝を用いて計算した原画像の推定色間相互相関行列Ｒijと、フィルタ配置情報保持ＲＡＭ１０５が保持するＨk とを用いて右辺の項を一つ計算し、線形演算部１１３に送る。
【００４０】
線形演算部１１３では、この行列とブロックＩ／Ｏ部１０７が読み出した行列ｇi との行列積を演算し、演算結果は復元ブロックバッファ１１１ｂに加算される。全ての添え字ｊ、ｋについて計算がなされると、推測画像ｆe i が復元ブロックバッファ１１１ｂに得られるので、ブロックＩ／Ｏ部１０７は画像メモリ１０６に結果を書き込む。この処理が全ての添え字ｉについてなされると、所定領域の色信号の補正が全て終了したことになる。
【００４１】
画像を覆う全ての所定領域での補正が完了すると、補正された画像は画像出力端子１１４を経て外部からの読み出しが可能になる。
なお、上記した説明では、データサーバ１０２へ送信されるデータ量を考慮して色相関パラメータベクトルＢe ijのみをデータサーバ１０２に送信するようにしたが、色成分ブロックバッファ１１１ａに格納されたブロック画像データをそのまま色相関・補正情報通信端子１０８を介してデータサーバ１０２に送信するようにしてもよい。
【００４２】
以下に図２を参照して本発明を電子スチルカメラに適用した第２実施形態を説明する。図２において、電子スチルカメラ２１２は単板カラーランダムモザイクフィルタＣＣＤ（以下単にＣＣＤと呼ぶ）２００を備えている。このＣＣＤ２００はＣＣＤドライバ２０１によって駆動され、Ａ／Ｄ変換部２０２を介して画像メモリ２０３に画像信号を出力する。画像メモリ２０３はブロックＩ／Ｏ部２０４を介してブロックバッファ２０５に接続されるとともに、画像メモリカードスロット２１０にも接続されている。
【００４３】
ブロックバッファ２０５には線形補間部２０９と撮影モード選択部２０８とが接続され、線形補間部２０９と撮影モード選択部２０８とは共に画像メモリカードスロット２１０にも接続されている。画像メモリカードスロット２１０には、補間情報保持ＲＯＭ２０６が着脱可能である。制御部２１１は上記した各部の動作を統括する。
【００４４】
以下に、上記した構成の電子スチルカメラ２１２の作用を説明する。まず、撮影者は電子スチルカメラ２１２で被写体を撮影する。このとき、被写体の種類をカメラに知らせるため、ユーザは撮影モード選択部２０８に接続されているスイッチを操作して、撮影モード（人物、風景、夕焼け等）を設定する。被写体像はＣＣＤドライバ２０１によって駆動されるＣＣＤ２００によってカラー画像信号に変換され、Ａ／Ｄ変換部２０２を経由して画像メモリ２０３に保持される。画像の取り込みが終了すると、ブロックＩ／Ｏ部２０４は制御部２１１の制御の基に所定サイズの領域のデータを画像メモリ２０３から読み出してブロックバッファ２０５に格納する。
【００４５】
補間情報保持ＲＯＭ２０６には、撮影モードに応じた複数の補間行列のデータベースが保持されている。これらは情報の欠落のない原色３板式撮像系を用いて予め以下のように作成される。
【００４６】
すなわち、まず、用意された各撮影モードについて、そのモードで撮影されると思われる様々な被写体の組み合わせについて、そのモードで想定される撮影条件のもとで、画像を数多く撮影する。得られた画像から色信号間の相関を求め、ＣＣＤ２００の色フィルタ配置情報と合わせて上記（５）式に従って補間行列を計算し、その後、上記（９）式で与えられるように観測画像の再配置の必要がないように構成する。同時に、例えば画像のテクスチャに関する統計量や色成分間の領域内の平均の比といった、対応する被写体を特徴づける量を画像から算出し、索引として設ける。
【００４７】
撮影モード選択部２０８はブロックバッファ２０５にアクセスし、所定領域の画像から、現在の撮影モードでの補間情報保持ＲＯＭ２０６の索引として有効な特徴量を算出する。その後、画像メモリカードスロット２０７を介して補間情報保持ＲＯＭ２０６にアクセスし、算出した特徴量とその差の最小値を与える索引を求める。そして、線形補間部２０９に索引に対応する補間行列のアドレスを伝達する。線形補間部２０９は、撮影モード選択部２０８から伝達されたアドレスに従ってメモリカードスロット２０７を介して補間情報保持ＲＯＭ２０６から選択された補間行列を読み出し、ブロックバッファ２０５に記憶された画像信号に補間行列をかけて補間画像を計算する。計算された補間画像はブロックＩ／Ｏ部２０４を介して画像メモリ２０３に書き戻される。画像メモリ２０３に保持された画像の全領域がこの繰り返しで処理された後、完成した補間画像は画像メモリカードスロット２１０を通じて図示せぬメモリカードに書き込まれる。
【００４８】
なお、上記した具体的実施形態には以下の構成を有する発明が含まれており、各発明の対応する発明の実施の形態及び効果は次の通りである。
（１） 複数の色信号のうち少なくとも１つ以上の色信号が欠落する撮像画素を有する撮像手段から得られた色信号を処理するカラー画像処理装置において、
上記撮像画素の色信号に関する配置情報を格納する格納手段と、
上記撮像手段から得られた色信号に関して所定領域の色信号間の空間的相関情報を生成する色相関情報生成手段と、
上記格納手段に格納された色信号に関する配置情報と、上記色相関情報生成手段によって生成された色信号間の空間的相関情報とに基づき、上記所定領域内の欠落する色信号を補間する補間手段と、
を具備することを特徴とするカラー画像処理装置。
（対応する発明の実施の形態）
この発明に関する実施の形態は上記した第１実施形態に対応する。構成中の色信号が欠落する撮像画素を有する撮像手段は、図１中の二板式カラースチルカメラ１００に対応するが、図２に示す第２実施形態の単板カラーランダムモザイクフィルタＣＣＤ２００および通常の単板ベイヤー配列ＣＣＤや補色モザイクフィルタ方式の単体ＣＣＤ、さらにはＣＣＤの位置を互いにずらした三板式のカメラ等でもよい。構成中の格納手段は図１中のフィルタ配置情報保持ＲＡＭ１０５に対応するが、図２の第２実施形態中のモザイクパターンＲＯＭ２０１のように、あらかじめ内部に設定されたＲＯＭでもよい。構成中の色相関情報生成手段は図１中のデータサーバ１０２および色相関推定部１０９に対応するが、必ずしも装置内部で計算する必要はなく、先験的な相関情報を保持するＲＯＭであってもよい。構成中の補間手段は図１中の部分補間行列計算部１１２及び線形演算部１１３に対応するが、行われる演算は繰り返しによる最適化手法に基づいたものでもよい。また、最適化の規範も補正画像と原画像との最小自乗誤差を最小にするものに限らず、更にノイズの影響やその他の補正画像に要求される種々の制約を加えたものでもよい。
【００４９】
次に、上記した構成（１）に係る画像撮像装置の作用を説明する。
撮像手段が被写体を撮像すると少なくとも１つ以上の色信号が欠落する画素位置が存在する。この欠落色信号の画素位置は格納手段にあらかじめ設定されるか、外部から撮像手段の種類に応じて入力される。色相関情報生成手段は、所定サイズの領域ごとに、観測された信号と格納手段からの色信号配置情報、および事前に得られた色信号間の相関に関する知識に基づいて推定するか、あるいはあらかじめ設定してあった先験的な色信号間の相関情報を読み出して補間手段に伝える。先験的な情報は、例えば設定のカテゴリーの対象をあらかじめ高精細な三板カメラ、あるいはマルチスペクトルカメラ等を用いて繰り返し撮影、測定し、そのカテゴリーの被写体に関する色信号間の相関情報の特徴を把握することで得ることができる。補間手段は、全色信号をまとめて取り扱う所定の規範に基づいた補間手法を用い、色信号間の相関情報を利用した補間を行う。画像の全ての領域についてこの処理が繰り返される。
（効果）
各色信号を独立に扱う補間に比較して事前に測定あるいは予見される色信号間の空間的相関情報という付加的な知識を利用することができるのでより高精度の補間が可能となり、これによってより高品位のカラー画像信号を得ることができる。また、最適化規範に基づいているため、得られる補正画像の画質が保証される。
（２） 上記補間手段は、上記所定領域内で色信号が欠落する上記撮像画素から得られた色信号を補間処理した画像と、上記所定領域内で色信号が欠落しない撮像画素から得られた画像との間における各色信号ごとの自乗誤差の全色信号にわたる平均が最小になるように補間を行うこと、
を特徴とする構成（１）に記載のカラー画像処理装置。
（対応する発明の実施の形態）
この発明の実施の形態は上記した第１実施形態に対応する。構成中の補間手段は部分補間行列計算部１１２及び線形演算部１１３に対応するが、行われる演算は繰り返しによる最適化手法に基づいたものでもよい。
（効果）
補間する際の規範として特に原画像と補正画像の自乗誤差を最小にするものを選ぶことで、原画像に最も近い画像を得ることができる。また、上記（３）式に見られるように先験的に得られている原画像の色信号間の相互相関の知識を直接活用して最適な補正を行うことができる。
（３） 上記補間手段は、上記格納手段から得られた色信号に関する配置情報および上記色相関情報生成手段からの色信号間の空間的相関情報に基づき補間行列を算出する補間行列計算手段と、この補間行列計算手段により得られた補間行列と上記撮像手段から得られた色信号の所定領域内の情報に基づき線形演算により補間を行う線形補間手段とからなること、
を特徴とする構成（１）に記載のカラー画像処理装置。
（対応する発明の実施の形態）
この発明の実施の形態は上記した第１実施形態に対応する。構成中の補間行列計算手段は部分補間行列計算部１１２に対応し、線形補間手段は線形演算部１１３に対応するが、第１実施形態のように所定領域内の色信号ごとに計算するのではなく、まとめて行列積演算を行ってもよい。
（効果）
原画像の線形推定における推定行列を、事前に得られた原画像の相関に関する情報から観測画像とは独立に求められるため、実際の補間時には高速、単純な構成による線形演算だけで補間を行える。
（４） 上記補間手段は、上記格納手段に格納された色信号に関する配置情報に基づき上記所定領域内の各色信号を抽出する色信号抽出手段を有し、
上記補間行列は、上記所定領域内の二つの色信号の全組み合わせにおける空間的相互相関と上記格納手段に格納された色信号に関する配置情報から定まる各色信号の強度を表わす行列との線形演算により定まる部分補間行列により構成され、上記補間行列計算手段は、上記部分補間行列を算出し上記色信号抽出手段により得られた各色信号と部分補間行列との線形演算により補間を行うこと、
を特徴とする構成（３）に記載のカラー画像処理装置。
（対応する発明の実施の形態）
この発明の実施の形態は上記した第１実施形態に対応する。構成中の色成分取得手段はブロックＩ／Ｏ部１０７およびブロックバッファ１１１に対応する。補間行列計算手段は部分補間行列計算部１１２に対応する。
（効果）
全ての色成分をまとめた場合の線形推定演算を観測された色成分画像ごとの部分的な線形演算の和に置き換えることで推定時の線形演算に必要なメモリを大幅に減らせる。
（５） 上記色相関情報算出手段は、被写体に関して予め得られた色信号間の空間的相関情報を保持する色相関情報保持手段を有すること、
を特徴とする構成（１）に記載のカラー画像処理装置。
【００５０】
（対応する発明の実施の形態）
この発明の実施の形態は上記した第１実施形態に対応する。構成中の色相関情報算出手段は図１中のデータサーバ１０２および色相関推定部１０９に対応する。構成中の色相関情報保持手段は図１中のデータサーバ１０２に対応するが、先験的な相関情報を保持するＲＯＭであってもよい。
（効果）
先験的に相関情報を利用することで対象となる画像ごとに最適な補正を行うことができる。さらに、撮影対象に固有の情報を一箇所に保持しておくことにより、撮影対象に固有の情報が様々な構成要素に分散化されてハード化された場合に比して新たに色信号間の空間的相関情報が得られた場合の更新や付加が容易になる。
（６） 上記色相関情報保持手段はその保持内容が変更可能であること、
を特徴とする構成（５）に記載のカラー画像処理装置。
（対応する発明の実施の形態）
この発明の実施の形態は上記した第１実施形態に対応する。構成中の色相関情報保持手段は図１中のデータサーバ１０２に対応するが、先験的な相関情報を保持するメモリカードやリムーバブルメディア等であってよい。
（効果）
先験的な相関情報を交換可能にすることで、種々の画像について最適な補正を行うことができる。
（７） 上記色相関情報保持手段は色相関情報を複数種保持し、
上記所定領域内の情報に基づき上記複数種の色相関情報のうち一つ以上を選択する相関情報選択手段を有し、上記補間手段はこの相関情報選択手段によって選択された色相関情報に基づき補間を行うこと、
を特徴とする構成（５）に記載のカラー画像処理装置。
（対応する発明の実施の形態）
この発明の実施の形態は上記した第１実施形態に対応する。構成中の色相関情報保持手段は図１中のデータサーバ１０２に対応するが、装置に内蔵されたＲＯＭや先験的な相関情報を保持するメモリカードやリムーバブルメディア等であってよい。構成中の相関情報選択手段は図１中の色相関推定部１０９およびデータサーバー１０２に対応するが、選択を装置が行うのではなく、人間が被写体の種類に応じて選べるようにしてもよい。
（効果）
画像の領域ごとに先験的に得られた色信号間の空間的相関情報を切り替えられるようにすることで、種々の被写体が混在する複雑な画像に対しても最適な補間ができるようになる。
（８） 複数の色信号のうち少なくとも１つ以上の色信号が欠落する撮像画素を有する撮像手段から得られた色信号を処理するカラー画像処理装置において、
上記撮像画素の色信号に関する配置情報と、被写体に関して予め得られた色信号間の空間的相関情報とに基づき算出された補間行列を保持する補間行列保持手段と、
この補間行列保持手段に保持された補間行列を用いて、上記撮像手段から得られた色信号の所定領域内の情報に対して線形演算により補間を行う線形補間手段と、
を具備することを特徴とするカラー画像処理装置。
（対応する発明の実施の形態）
この発明の実施の形態は上記した第２実施形態に対応する。構成中の色信号が欠落する撮像画素を有する撮像手段は図２中の単板カラーランダムモザイクフィルタＣＣＤ２００に対応するが、第１実施形態における図１中の二板式カラースチルカメラ１００および通常の単板ベイヤー配列ＣＣＤや補色モザイクフィルタ方式の単板ＣＣＤ、さらには互いにＣＣＤの位置を互いにずらした三板式のカメラ等でもよい。構成中の補間行列保持手段は図２中の補間行列保持ＲＯＭ２０６に対応するが、特に着脱式である必要はなく、装置に内蔵されていてもよいし、ＲＯＭに限らずその他のメディア、外部から情報が供給されるＲＡＭ等でもよい。構成中の線形補間手段は線形補間部２０９に対応する。
（効果）
原画像の相関に関する先験的な知識および撮像手段の色信号の配置情報を反映する補間行列を事前に計算しておくことにより、補間行列と入力信号との線形演算だけで、対象画像に対する補間を高速に行える。
（９） 上記補間行列保持手段は着脱可能であることを特徴とする構成（８）に記載のカラー画像処理装置。
（対応する発明の実施の形態）
この発明の実施の形態は上記した第２実施形態に対応する。構成中の補間行列保持手段は図２中の補間行列保持ＲＯＭ２０６に対応するが、特にメモリカードである必要はなく、その他のリムーバブルメディア、外部から情報が供給されるＲＡＭ等でもよい。
（効果）
先験的な相関情報を交換可能にすることで、種々の画像について最適な条件で補正を行うことができる。
（１０） 上記補間行列保持手段は上記補間行列を複数種保持し、
上記所定領域の情報に基づき上記複数種の補間行列のうち一つ以上を選択する補間行列選択手段を有し、
上記補間手段は上記補間行列手段によって選択された補間行列を用いて補間を行うこと、
を特徴とする構成（８）に記載のカラー画像処理装置。
（対応する発明の実施の形態）
この発明の実施の形態は上記した第２実施形態に対応する。構成中の補間行列保持手段は図２中の補間行列保持ＲＯＭ２０６に対応するが、特に着脱式である必要はなく、装置に内蔵されていてもよいし、ＲＯＭに限らずその他のメディア、外部から情報が供給されるＲＡＭ等でもよい。補間行列選択手段は図２中の撮影モード選択部２０８に対応するが、選択は人間が行う必要はなく、コンピュータが所定領域の色信号に基づいて選択してもよい。
（効果）
画像の領域ごとに先験的に得られた色信号間の相関情報を切り替えられるようにすることで、種々の画像に対して柔軟に対処できるようになる。
（１１） 上記撮像手段から得られる色信号において、各色信号が得られる撮像画素の座標位置が空間的にランダムであること、
を特徴とする構成（１）〜（８）のいずれか１つに記載のカラー画像処理装置。
（対応する発明の実施の形態）
この発明の実施の形態は上記した第２実施形態に対応する。構成中の色信号が欠落する撮像画素を有する撮像手段は図２中の単板カラーランダムモザイクフィルタＣＣＤ２００に対応する。モザイクフィルタの色フィルタの種類は原色、補色等の制約はない。
（効果）
撮像手段の色信号配置をランダムにすることにより、どのような画像に対しても最適な補間処理を行えるようになる。
【００５１】
【発明の効果】
本発明によれば、より高品位のカラー画像信号を生成することができるカラー画像処理装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態が適用されるカラー画像処理システムの構成を示す図である。
【図２】本発明の第２実施形態が適用される電子スチルカメラの構成を示す図である。
【符号の説明】
１００…二板式カラースチルカメラ、１００ａ…Ｇフィルタ付ＣＣＤ、１００ｂ…Ｒ／Ｂ市松モザイクフィルタ付ＣＣＤ、１００ｃ…Ａ／Ｄ変換部、１００ｄ…フィルタ配置情報保持ＲＯＭ、１０１…カラー画像処理装置、１０２…データサーバ、１０３…画像入力端子、１０４…フィルタ配置情報入力端子、１０５…フィルタ配置情報保持ＲＡＭ、１０６…画像メモリ、１０７…ブロックＩ／Ｏ部、１０８…色相関・補正情報通信端子、１０９…色相関推定部、１１０…補正情報バッファ、１１１…ブロックバッファ、１１１ａ…色成分ブロックバッファ、１１１ｂ…復元ブロックバッファ、１１２…部分補間行列計算部、１１３…線形演算部、１１４…画像出力端子、１１５…制御部。
Claims (3)
- 複数の色信号のうち少なくとも１つ以上の色信号が欠落する撮像画素を有する撮像手段から得られた色信号を処理するカラー画像処理装置において、
上記撮像画素の色信号に関する配置情報を格納する格納手段と、
複数の被写体に関して予め得られた色信号間の空間的相関情報を複数保存した色相関情報保持手段と、
上記格納手段に格納された色信号に関する配置情報と、上記色相関情報保持手段に保存された上記複数の空間的相関情報の中から上記撮像手段で得られた観測画像に応じて選択された前記色信号間の空間的相関情報とを用いた線形演算で算出した補間行列によって、上記所定領域内の欠落する色信号を補間する補間手段と、
を具備することを特徴とするカラー画像処理装置。 - 複数の色信号のうち少なくとも１つ以上の色信号が欠落する撮像画素を有する撮像手段から得られた色信号を処理するカラー画像処理装置において、
上記撮像画素の色信号に関する配置情報と、被写体に関して予め得られた色信号間の空間的相関情報とを用いた線形演算によって予め算出された補間行列を保持した補間行列保持手段と、
この補間行列保持手段に保持された上記補間行列を用いて、上記撮像手段から得られた色信号の所定領域内の情報に対して線形演算により補間を行う線形補間手段と、
を具備し、
上記補間行列保持手段は、上記補間行列を複数種保持し、上記所定領域の情報に基づき上記複数種の補間行列から補間に用いる補間行列を選択する補間行列選択手段を有し、上記線形補間手段は上記補間行列選択手段によって選択された補間行列を用いて補間を行うことを特徴とするカラー画像処理装置。 - 上記補間行列保持手段は着脱可能であることを特徴とする請求項２記載のカラー画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17031196A JP3935528B2 (ja) | 1996-06-28 | 1996-06-28 | カラー画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17031196A JP3935528B2 (ja) | 1996-06-28 | 1996-06-28 | カラー画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1023448A JPH1023448A (ja) | 1998-01-23 |
| JP3935528B2 true JP3935528B2 (ja) | 2007-06-27 |
Family
ID=15902627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17031196A Expired - Fee Related JP3935528B2 (ja) | 1996-06-28 | 1996-06-28 | カラー画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3935528B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020191104A1 (en) | 2001-03-26 | 2002-12-19 | Mega Chips Corporation | Image conversion device, image conversion method and data conversion circuit as well as digital camera |
| JP4545206B2 (ja) * | 2008-05-09 | 2010-09-15 | オリンパス株式会社 | 画像処理装置及び画像処理プログラムを格納した記録媒体 |
| WO2023234079A1 (ja) * | 2022-06-01 | 2023-12-07 | コニカミノルタ株式会社 | データ処理装置、データ処理システム、データ処理方法及びプログラム |
-
1996
- 1996-06-28 JP JP17031196A patent/JP3935528B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1023448A (ja) | 1998-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3753385B2 (ja) | 輝度階調を用いたフルカラーイメージ適応的補間装置 | |
| EP1977613B1 (en) | Interpolation of panchromatic and color pixels | |
| US6809765B1 (en) | Demosaicing for digital imaging device using perceptually uniform color space | |
| US5808674A (en) | Producing and improved digital image from digital signals corresponding to pairs of photosites | |
| JP3429061B2 (ja) | 電子スチルカメラ | |
| US9338364B2 (en) | Imaging device and image generation method | |
| US7072509B2 (en) | Electronic image color plane reconstruction | |
| US20020101524A1 (en) | Integrated color interpolation and color space conversion algorithm from 8-bit bayer pattern RGB color space to 12-bit YCrCb color space | |
| US20030086606A1 (en) | Electronic image colour plane reconstruction | |
| CN107623844B (zh) | 中间位置处的像素的颜色值的确定 | |
| JP3771054B2 (ja) | 画像処理装置及び画像処理方法 | |
| US6205245B1 (en) | Method and apparatus for rapid down-scaling of color images directly from sensor color filter array space | |
| JPH08298670A (ja) | 適応カラー補間単一センサカラー電子カメラ | |
| EP3547680A1 (en) | Image processing method and filter array | |
| WO2005122554A1 (ja) | 撮像装置 | |
| KR20080106585A (ko) | 컬러 비디오 신호 생성 방법 및 장치 | |
| JP2010537228A (ja) | パンクロ画素を使用する画素アスペクト比の補正 | |
| US7071978B2 (en) | Image mosaic data reconstruction | |
| JP3908169B2 (ja) | カラー画像データをセンシングかつ補間するための方法およびシステム | |
| JP4934991B2 (ja) | 撮像信号処理装置及び方法並びに撮像装置 | |
| JP3935528B2 (ja) | カラー画像処理装置 | |
| JP3777861B2 (ja) | 画像処理方法及び画像処理装置並びに画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体 | |
| JP2004201311A (ja) | オフセットセンサアレイを変形する方法 | |
| JP2004056640A (ja) | 補色系単板式カラーディジタルカメラにおける撮像画像の補間方法、その補間装置及びそれを備えたディジタルカメラ | |
| JP5572992B2 (ja) | 画像処理装置、撮像装置及び画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040909 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050920 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070216 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070313 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070320 |
|
| LAPS | Cancellation because of no payment of annual fees |