JP4311794B2 - 画像処理装置及び画像処理プログラムを格納した記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理装置及び画像処理プログラムを格納した記録媒体に関するものである。
【０００２】
【従来の技術】
図２２は、代表的な電子スチルカメラシステムを示す図である。図２２の（ａ）に示す電子スチルカメラ８０４により被写体を撮影することにより得られた画像データは、通常は図２２の（ｂ）に示されるようなメモリカード８０５に保存される。また、図２２の（ｃ）に示すようなカラープリンタ８０１を接続ケーブルにより接続してＡ６サイズ程度の小サイズのカラー印刷を行うことができる。
【０００３】
またメモリカード８０５は、所定のアダプタに収納することで図２２の（ｄ）に示すようなドッキングステーション８０２に挿入することができ、このドッキングステーション８０２を介して図２２の（ｅ）に示すＴＶモニター８００により画像の観察を行なうことができる。また、ドッキングステーション８０２に図２２の（ｆ）に示すようなＭＯドライブ８０３を接続することにより図２２の（ｇ）に示すＭＯディスク８０６へ画像データを保存することができる。
【０００４】
一方、電子スチルカメラ８０４で得られた画像データは、接続ケーブルにより図２２の（ｈ）に示すようなデスクトップパソコン８０９に転送することができる。また、メモリカード８０５を所定のアダプタに収納してノートパソコン８１０に画像データを取り込むことができる。さらに、ＭＯディスク８０６の画像データを所定のＭＯドライブを介してノートパソコン８１０に転送することができる。デスクトップパソコン８０９のモニターやノートパソコン８１０の液晶画面は、ＴＶモニター８００と比較してより高精細な表示が可能である。さらに、デスクトップパソコン８０９やノートパソコン８１０に、接続ケーブルにより図２２の（ｊ）に示すような、カラープリンタ８０１よりも大型のカラープリンタ８１１を接続して画像を印刷することも可能である。
【０００５】
上記電子スチルカメラシステムにおいて、一般に電子スチルカメラの有する画素数は６４０×４８０( 約３０万画素) 〜１２８０×１０２４( 約１３０万画素) 程度が用いられている。一方、ＴＶモニターでは３０万画素程度、パソコンのモニターでは１００万画素程度、３００ｄｐｉのＡ６サイズのプリントでは１３０万画素程度、Ａ４サイズのプリントでは５００万画素程度が要求される。また、電子スチルカメラでも画質モードに応じた画素数の１／２×１／２サイズでの撮影や、デジタルズームによって相対的な画素数の低下が発生するが、このように、システム全体では入力における画素数と出力に必要とされる画素数が一致していない場合が多数発生する。
【０００６】
また、上記電子スチルカメラは、単板または二板または三板画素ずらし式ＣＣＤを用いた撮像系が一般に普及している。画素ずらし方式による解像度向上の技術については、例えば、「画像入力技術ハンドブック」（１９９２年３月３１日初版発行、木内雄二編、日刊工業新聞社刊）の第１４３頁〜第１４５頁、及び第２５９頁〜第２６０頁に一般的に解説されている。
【０００７】
このような撮像系では、１つの画素が複数の色信号から構成され、画素の位置に応じて少なくとも１つ以上の色信号が欠落していることが多い。
【０００８】
図２３は、単板式撮像系で一般的に用いられているシアン（Ｃｙ）、マゼンタ( Ｍｇ) 、イエロー( Ｙｅ) 、グリーン（Ｇ）の補色モザイクフィルタの配置を示す。図２３において、偶数フィールドのｎラインとｎ＋１ラインに対応する輝度信号をそれぞれＹ_e,n 、Ｙ_e,n+1 、色差信号をＣ_e,n 、Ｃ_e,n+1 とする。同様に奇数フィールドのｎラインとｎ＋１ラインに対応する輝度信号をＹ_o,n 、Ｙ_o,n+1 、色差信号をＣ_o,n 、Ｃ_o,n+1 とする。これらの信号は、次式で示される。
【０００９】
Ｙ_o,n ＝Ｙ_o,n+1 ＝Ｙ_e,n ＝Ｙ_e,n+1 ＝２Ｒ＋３Ｇ＋２Ｂ （１）
Ｃ_o,n ＝Ｃ_e,n ＝２Ｒ−Ｇ （２）
Ｃ_o,n+1 ＝Ｃ_e,n+1 ＝２Ｂ−Ｇ （３）
ただし、Ｃｙ、Ｍｇ、ＹｅはＧおよびレッド( Ｒ) 、ブルー( Ｂ) により次式で示される。
【００１０】
Ｃｙ＝Ｇ＋Ｂ （４）
Ｍｇ＝Ｒ＋Ｂ （５）
Ｙｅ＝Ｒ＋Ｇ （６）
( １) 式で示されるように、輝度信号は偶数，奇数フィールドの全ラインで生成される。これに対し、( ２) 、( ３) 式で示されるように２つの色差信号は１ラインごとにしか生成されず、線形補間により欠落するラインを補っている。この後、マトリックス演算を行うことでＲ、Ｇ、Ｂの三原色を得ることができる。このような方法では、色差信号は輝度信号に対して１／２の情報量しかなく、エッジ部に色モワレと呼ばれるアーティファクトが発生する。一般に、このような色モワレを低減するために水晶フィルタを用いたローパスフィルタを撮像素子前面に配置することが行われるが、ローパスフィルタの挿入により解像度が低下するという新たな問題が発生する。
【００１１】
一方、上記のように色差信号のみで単純な補間を行うのでなく、輝度信号の成分を用いて色差信号を補正する方法が提案されている。その１つは輝度信号Ｙを線形補間により作成するとともに、色差信号Ｃについては、輝度信号Ｙの変化の少ない領域では線形補間にて補い、変化の大きい領域では輝度信号Ｙを以下の（７）式に示されるように変形することで回復された色差信号Ｃ′を得る。
【００１２】
Ｃ′＝ａＹ＋ｂ （７）
ここでａ、ｂは定数である。
【００１３】
また、特開平０５−０５６４４６号公報では、輝度信号Ｙは線形補間で作成され、色差信号Ｃについては、輝度信号Ｙと色差信号Ｃを電気回路的ローパスフィルタにて処理し、それぞれの低周波成分Ｙ_low とＣ_low を得る。欠落が回復された色信号Ｃ′は（８）式で得られる。
【００１４】
【数１】

【００１５】
これは、色差信号を補正した輝度信号で置き換えることに相当する。上記従来技術では輝度信号を基準に色差信号を補正するが、輝度信号自体が三板式に比べて１／２の情報量しかない。また、これらの方法においても色モワレを低減するために水晶フィルタを用いたローパスフィルタを使用する必要がある。このため、基準となる輝度信号はさらに解像度が低下することになり、三板式に匹敵する画質向上は実現することができない。
【００１６】
【発明が解決しようとする課題】
上記したように、従来技術は、色差信号を線形補間または輝度信号に基づき補っており、欠落する色信号を高精度にかつ高速に復元するという点について対応することができない。本発明はこの点に着目し、欠落する色信号を高精度にかつ高速に復元可能な画像処理装置を提供することを目的とする。
【００１７】
また、従来技術は、画像中のエッジや色の境界部などに無関係に、機械的にライン単位で加減算により輝度信号や色差信号を生成しており、エッジや色の境界部に発生する偽色を解像度の犠牲なしに低減するという点について対応することができない。本発明はこの点に着目し、解像度を低下させずにエッジや色の境界部に発生する偽色を低減可能な画像処理装置を提供することを目的とする。
【００１８】
また、従来技術は、撮像系の有する画素数と出力系の要する画素数との関係を考慮することなく信号処理を行なっており、適切な処理時間で適切な画質を得るという点については対応することができない。本発明はこの点に着目し、適切な処理時間で適切な画質を得ることが可能な画像処理装置を提供することを目的とする。
【００１９】
また、従来技術は、撮像系の有する画素数と出力系の要する画素数との関係を考慮することなく信号処理を行なっており、自動的処理にて適切な処理時間で適切な画質を得るという点について対応することができない。本発明はこの点に着目し、自動的処理にて適切な処理時間で適切な画質を得ることが可能な画像処理装置を提供することを目的とする。
【００２０】
また、従来技術は、撮像系の有する画素数と出力系の要する画素数との関係を考慮することなく信号処理を行なっており、使用者の希望に基づき処理時間または画質のどちらかを優先するという点について対応することができない。本発明はこの点に着目し、使用者の希望に基づき処理時間または画質のどちらかを優先して信号処理を行なえることが可能な画像処理装置を提供することを目的とする。
【００２１】
また、従来技術は、色差信号を線形補間または輝度信号に基づいて補っており、欠落する色信号を高精度にかつ低コストで復元するという点については対応することができない。本発明はこの点に着目し、欠落する色信号を高精度にかつ低コストで復元可能な画像処理装置を提供することを目的とする。
【００２２】
また、従来技術は、色差信号を線形補間または輝度信号に基づき補っており、欠落する色信号を高精度に復元するという点について対応することができない。また、一度線形補間または輝度信号に基づき欠落する色信号を補った信号に対して、これを再度処理して高精度な復元をするという点について対応することができない。本発明はこの点に着目し、一度線形補間などの処理をした信号に対しても色信号を高精度に復元可能な画像処理装置を提供することを目的とする。
【００２３】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明に係る画像処理装置は、単板または二板または三板画素ずらし式撮像系を介して得られた画像信号を処理する画像処理装置であって、上記画像信号を画素単位で順次走査し現注目画素を包含する少なくとも一つ以上の近傍領域から領域分割のためのパラメータを算出するパラメータ算出手段と、上記算出されたパラメータに基づき上記画像信号を単一な色相関関係が成立する均一領域に分割する画像信号分割手段と、上記均一領域内に存在する色信号間の色相関関係を線形式として回帰する回帰手段と、上記均一領域内に存在する色信号と上記線形式とに基づき欠落する色信号を回復する第１の回復手段と、を具備する。
【００２４】
また、第２の発明に係る画像処理装置は、第１の発明において、前記パラメータ算出手段は、上記近傍領域内に存在する色信号から分光スペクトルの勾配を求め、上記勾配の大小関係から領域分割のためのパラメータを算出する。
【００２５】
また、第３の発明に係る画像処理装置は、第１の発明において、前記パラメータ算出手段は、上記近傍領域内に存在する色信号から輝度信号を求め、上記輝度信号のエッジ強度から領域分割のためのパラメータを算出する。
【００２６】
また、第４の発明に係る画像処理装置は、第１の発明において、前記パラメータ算出手段は、上記近傍領域内に存在する色信号間の色相関関係を線形式として回帰し、上記線形式の定数項から領域分割のためのパラメータを算出する。
【００２７】
また、第５の発明に係る画像処理装置は、第１の発明において、前記パラメータ算出手段は、上記近傍領域内に存在する色信号間の色相関関係を線形式として回帰し、上記線形式の回帰に使用した色信号の最大値および最小値を代入したときの誤差から領域分割のためのパラメータを算出する。
【００２８】
また、第６の発明に係る画像処理装置は、第１の発明において、上記撮像系で撮像された画像信号の欠落する色信号を線形補間にて回復する第２の回復手段と、上記第１の回復手段と、上記第２の回復手段とを切り換える切り換え手段とをさらに具備する。
【００２９】
また、第７の発明に係る画像処理装置は、第６の発明において、前記切り換え手段は、撮像時の画像信号の画素数と出力媒体の要する画素数、または電子ズームの使用の有無に基づき自動的に切り換えを行う。
【００３０】
また、第８の発明に係る画像処理装置は、第６の発明において、前記切り換え手段による切り換えは、手動によるものである。
【００３１】
また、第９の発明に係る画像処理装置は、単板または二板または三板画素ずらし式撮像系を介して得られた画像信号を処理する画像処理装置であって、上記画像信号を画素単位で順次走査し現注目画素を包含する局所領域を抽出する局所領域抽出手段と、上記抽出された局所領域内にて複数の微小領域を設定し、各微小領域から領域分割のためのパラメータを算出するパラメータ算出手段と、上記算出されたパラメータに基づき上記局所領域を単一な色相関関係が成立する均一領域に分割する局所領域分割手段と、上記局所領域内にて上記均一領域に基づき現注目画素と同一の領域に属する色信号を選択し、この色信号間の色相関関係を線形式として回帰する選択回帰手段と、上記局所領域内にて上記均一領域に基づき現注目画素と同一の領域に属する色信号を選択し、この色信号と上記線形式に基づき現注目画素と同等の領域における欠落する色信号を回復する第１の回復手段と、を具備する。
【００３２】
また、第１０の発明に係る画像処理装置は、第９の発明において、前記パラメータ算出手段は、上記微小領域内に存在する色信号から分光スペクトルの勾配を求め、上記勾配の大小関係から領域分割のためのパラメータを算出する。
【００３３】
また、第１１の発明に係る画像処理装置は、第９の発明において、前記パラメータ算出手段は、上記微小領域内に存在する色信号から輝度信号を求め、上記輝度信号のエッジ強度から領域分割のためのパラメータを算出する。
【００３４】
また、第１２の発明に係る画像処理装置は、第９の発明において、前記パラメータ算出手段は、上記微小領域内に存在する色信号間の色相関関係を線形式として回帰し、上記線形式の定数項から領域分割のためのパラメータを算出する。
【００３５】
また、第１３の発明に係る画像処理装置は、第９の発明において、前記パラメータ算出手段は、上記微小領域内に存在する色信号間の色相関関係を線形式として回帰し、上記線形式の回帰に使用した色信号の最大値および最小値を代入したときの誤差から領域分割のためのパラメータを算出する。
【００３６】
また、第１４の発明に係る画像処理装置は、第９の発明において、上記撮像系で撮像された画像信号の欠落する色信号を線形補間にて回復する第２の回復手段と、上記第１の回復手段と、上記第２の回復手段とを切り換える切り換え手段とをさらに具備する。
【００３７】
また、第１５の発明に係る画像処理装置は、第１４の発明において、前記切り換え手段は、撮像時の画像信号の画素数と出力媒体の要する画素数、または電子ズームの使用の有無に基づき自動的に切り換えを行う。
【００３８】
また、第１６の発明に係る画像処理装置は、第１４の発明において、前記切り換え手段による切り換えは、手動によるものである。
【００３９】
また、第１７の発明に係るコンピュータが読み取り可能な記録媒体は、単板または二板または三板画素ずらし式撮像系を介して得られた画像信号を画素単位で順次走査し現注目画素を包含する少なくとも一つ以上の近傍領域から領域分割のためのパラメータを算出するパラメータ算出処理と、上記算出されたパラメータに基づき上記画像信号を単一な色相関関係が成立する均一領域に分割する画像信号分割処理と、上記均一領域内に存在する色信号間の色相関関係を線形式として回帰する回帰処理と、上記均一領域内に存在する色信号と上記線形式とに基づき欠落する色信号を回復する回復処理と、をコンピュータに実行させる命令を含むプログラムを格納する。
【００４０】
また、第１８の発明に係るコンピュータが読み取り可能な記録媒体は、単板または二板または三板画素ずらし式撮像系を介して得られた画像信号を画素単位で順次走査し現注目画素を包含する局所領域を抽出する局所領域抽出処理と、上記抽出された局所領域内にて複数の微小領域を設定し、各微小領域から領域分割のためのパラメータを算出するパラメータ算出処理と、上記算出されたパラメータに基づき上記局所領域を単一な色相関関係が成立する均一領域に分割する局所領域分割処理と、上記局所領域内にて上記均一領域に基づき現注目画素と同一の領域に属する色信号を選択し、この色信号間の色相関関係を線形式として回帰する選択回帰処理と、上記局所領域内にて上記均一領域に基づき現注目画素と同一の領域に属する色信号を選択し、この色信号と上記線形式に基づき現注目画素と同等の領域における欠落する色信号を回復する選択回復処理と、をコンピュータに実行させる命令を含むプログラムを格納する。
【００４５】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００４６】
本出願人は特願平１０−０１５３２５において、局所領域内の色信号間の色相関関係に基づき高精細に欠落する色信号を回復する方法を提案している。この方法は、局所領域内が均一な被写体であり単一の色相関関係がある場合には三板式に匹敵する画像が得られるが、複数の被写体があり複数の色相関関係がある場合には偽信号が発生する。このため、この特願平では局所領域ごとに信頼性を検証する方法を採用しているが、偽信号の発生を完全に抑止することができない。また、信頼性の低い領域を線形補間に切り換えるため、偽信号の抑止を優先させると画質向上の効果が低下してしまう。さらに、局所領域ごとに色相関関係を算出するために高速な処理を実現することが困難である。
【００４７】
そこで、このような問題を克服するための方法を具体的な実施形態に基づいて以下に詳細に説明する。
【００４８】
（第１実施形態）
図１は、本発明の第１実施形態の構成図である。第１実施形態は、本発明の画像処理装置が図２２の電子スチルカメラシステムにおける電子スチルカメラ８０４により構成され、画像処理された信号をメモリカード８０５やカラープリンタ８０１に出力する場合を想定している。
【００４９】
単板式ＣＣＤを用いた入力部１０１は、Ｒ信号用バッファ１０２、Ｇ信号用バッファ１０３、Ｂ信号用バッファ１０４に接続されている。Ｒ信号用バッファ１０２、Ｇ信号用バッファ１０３、Ｂ信号用バッファ１０４は、処理切り換え部１０５を介して近傍領域抽出部１０６と線形補間部１１６に接続されている。近傍領域抽出部１０６は、パラメータ算出部１０７、パラメータ用バッファ１０８、画像信号分割部１０９を介して、分割画像用バッファ１１０に接続されている。
【００５０】
分割画像用バッファ１１０と処理切り換え部１０５は均一領域抽出部１１１に接続され、均一領域抽出部１１１は、均一領域用バッファ１１２を介して色相関回帰部１１３と欠落画素復元部１１４とに接続されている。色相関回帰部１１３は欠落画素復元部１１４に接続されている。欠落画素復元部１１４は、復元画像用バッファ１１５を介してメモリカードやプリンタなどの出力部１１７に接続されている。線形補間部１１６もまた出力部１１７に接続されている。
【００５１】
また、マイクロコンピュータなどの制御部１１８は、入力部１０１、処理切り換え部１０５、近傍領域抽出部１０６、画像信号分割部１０９、均一領域抽出部１１１、色相関回帰部１１３、欠落画素復元部１１４、線形補間部１１６に接続されている。
【００５２】
以下に上記した構成の作用を説明する。ここでは信号の流れに沿って説明する。入力部１０１からのＲＧＢ三信号は、制御部１１８の制御により、Ｒ信号用バッファ１０２、Ｇ信号用バッファ１０３、Ｂ信号用バッファ１０４に転送される。各信号用バッファ１０２、１０３、１０４内の色信号は、制御部１１８の制御に基づき処理切り換え部１０５を介して近傍領域抽出部１０６または線形補間部１１６へ転送される。この選択は、図示しない切り換えスイッチにより行うことも可能であるし、デジタルズームが使用された場合には近傍領域抽出部１０６へ、使用されなかった場合には線形補間部１１６へ転送するなど自動切り換えにすることも可能である。
【００５３】
線形補間部１１６へ転送された場合は、公知の線形補間により欠落する色信号が復元され、出力部１１７へ転送され処理は終了する。近傍領域抽出部１９６に転送された場合は、信号を画素単位に順次走査していき、現注目画素を包含する少なくとも１つ以上の所定サイズの近傍領域を抽出する。抽出するサイズは、入力部１０１で使用されるフィルタ配置に基づき決められ、抽出する領域数は処理速度と画質改善効果との兼ね合いで決められる。パラメータ算出部１０７では、各近傍領域ごとに近傍領域内に存在する色信号からスペクトルの勾配を求め、この勾配の符号に基づきクラスに分類することで領域分割のパラメータとする。１つの近傍領域が抽出される場合はその近傍領域のクラスが、複数の近傍領域が抽出される場合は最多数のクラスが現注目画素のパラメータとされる。パラメータ算出部１０７で算出されたパラメータは、パラメータ用バッファ１０８に転送されて保存される。制御部１１８は、全画素の走査が終了するまで上記過程を反復させる。全画素の走査が終了すると、パラメータ用バッファ１０８には全画素に対するクラスがパラメータとして存在されることになる。
【００５４】
次に制御部１１８は、パラメータ用バッファ１０８上のパラメータを画像信号分割部１０９へ転送させる。画像信号分割部１０９は、公知の平滑化，ラベリング処理を行うことでクラスごとに領域分離を行い、この結果を分割画像用バッファ１１０へ転送する。領域分割終了後、均一領域抽出部１１１は制御部１１８の制御により分割画像用バッファ１１０上の領域分割結果から順次個々の領域に対応するＲＧＢ三信号を処理切り換え部１０５から読み込み均一領域用バッファ１１２へ転送する。
【００５５】
色相関回帰部１１３は、均一領域用バッファ１１２上にある各色信号の色相関関係を線形式に回帰し、この線形式のデータを欠落画素復元部１１４へ転送する。欠落画素復元部１１４では、均一領域用バッファ１１２上にある各色信号と色相関回帰部１１３からの線形式のデータに基づき欠落する色信号を回復あるいは復元し、復元画像用バッファ１１５へ転送する。制御部１１８は、分割画像用バッファ１１０上にある全ての領域が終了するまで上記過程を反復させる。全ての領域が終了すると復元画像用バッファ１１５上には欠落信号が回復された完全な画像信号が存在することになり、この信号は出力部１１７へ出力される。
【００５６】
図２は、入力部１０１の具体的構成の一例を示す説明図である。レンズ系２０１とローパスフィルタ２０２を介して単板式のＣＣＤ２０３が配置されている。ＣＣＤ２０３は、例えば図３に示されるＲ、Ｇ、Ｂ原色型のフィルタ配置を持つＣＣＤである。ＣＣＤ２０３で得られた画像信号は、Ａ／Ｄ変換器２０４、色分離回路２０５、プロセス回路２０６、２０７、２０８、マトリックス回路２０９を介してＲＧＢの三信号に変換され、Ｒ信号用バッファ１０２、Ｇ信号用バッファ１０３、Ｂ信号バッファ１０４に保存される。また、ＣＣＤ２０３にはクロックジェネレータ２１０に基づいて動作されるＣＣＤ駆動回路２１１が接続されている。
【００５７】
図３は、図２のＣＣＤ２０３におけるフィルタ配置の具体的構成の一例を示す説明図である。ここでは、図３（ａ）に示すように２×２サイズの基本配置があり、図３（ｂ）に示すようにこの基本パターンが反復的に繰り返されてＣＣＤ上の全画素を充填する構造となっている。図３（ｃ）は２×４サイズのその他の基本配置を示す図である。
【００５８】
図４は、近傍領域抽出部１０６、パラメータ算出部１０７でのスペクトルの勾配に基づく領域分割に関する説明図である。図４（ａ）は、入力画像の一例を示すもので、上部のＡ領域を白とし下部のＢ領域を赤とする。図４（ｂ）は、Ａ領域とＢ領域において、Ｒ、Ｇ、Ｂ３つの波長( λ) に対する強度( Ｉ) をプロットした図である。Ａ領域は白であり、Ｒ、Ｇ、Ｂ３つの波長に対するスペクトル強度の勾配はＩ_R （Ａ）＝Ｉ_G （Ａ）＝Ｉ_B （Ａ）とほぼ等しく、これをクラス０とする。
【００５９】
また、Ｂ領域は赤であり、スペクトル強度の勾配Ｉ_R （Ｂ）＞Ｉ_G （Ｂ）＝Ｉ_B （Ｂ）とＲ信号の強度が大きく、Ｇ、Ｂはほぼ等しくＲ信号の強度より小さい。これをクラス４とする。Ｒ、Ｇ、Ｂ３つの信号の勾配の組み合わせは１３通り存在し、これに分類が不可能な場合のクラスを付加したものを図５に示す。
【００６０】
図４（ｃ）は、図４（ａ）の入力画像を図３（ｂ）に示すフィルタ配置の単板ＣＣＤで撮像したときの画像を示す。スペクトルの勾配を求めるためにはＲＧＢ３信号が必要になる。このため、ある画素を注目画素としたときフィルタの基本配置のサイズに等しい領域を近傍領域として設定し、この近傍領域内からスペクトルの勾配を求める。本実施形態では２×２サイズの近傍領域を設定する。図４（ｃ）に示されるように、注目画素を含有する近傍領域は４つの場合が考えられる。本実施形態では、４つの近傍領域全てでスペクトルの勾配を求める。なお、近傍領域内に同一の色信号が複数含まれる場合はこれを加算平均するものとする。図４（ｃ）では、４つの近傍領域はＩ_R （Ａ）＝Ｉ_G （Ａ）＝Ｉ_B （Ａ）であり、クラス０に分類される。もし４つの近傍領域でクラスが異なる場合は、最多数のクラスに分類するものとし、最多数のクラスが存在しない場合は不定のクラス１３に分類するものとする。
【００６１】
図４（ｄ）は、各画素で上記のように０〜１３までのクラスが割り当てられた状態を示すもので、このクラス分けされた画像が分割画像用バッファ１１０へ出力される。このクラス分けはスペクトルの形態に基づき行われるため、同一のクラスにおいては同一のスペクトル形態をもち、色相関に関しても同一の関係式で近似することができる。画像信号分割部１０９は、クラス分けされた画像を公知の平滑化，ラベリング処理を行うことでクラスごとに領域分離を行う。図４（ｅ）は、三領域に分割された状態を示すもので、この結果を分割画像用バッファ１１０へ転送する。
【００６２】
図６は、色相関回帰部１１３における色相関関係の線形式への回帰の説明図である。図６（ａ）は、入力画像の一例を示す。色相関回帰部１１３で処理される画像は、上記パラメータ算出部１０７でのスペクトルの勾配に基づき色相関に関して均一な領域に分割されたものを対象としている。図６（ｂ）は、図６（ａ）の入力画像を図３（ｂ）に示すフィルタ配置の単板ＣＣＤで撮像したときの画像を示す。以後、ＲＧＢ３信号をＳ_i （ｉ＝Ｒ、Ｇ、Ｂ）で表記する。Ｓ_i 信号の平均をＡＶ_ Ｓ_i 、標準偏差をＤＥＶ_ Ｓ_i とする。２つの色信号Ｓ_i とＳ_j （ｊ＝Ｒ、Ｇ、Ｂ、かつ、ｊはｉに等しくない）間に線形な色相関が成立するならば、その線形式は、
【数２】

【００６３】
で回帰される。図６（ｃ）は、Ｒ−Ｇ信号間での色相関関係の線形式への回帰を示す。同様にＧ−Ｂ、Ｒ−Ｂの信号間でも線形式への回帰が行われる。上記の線形式が得られれば、Ｒ信号が存在する画素からＧ信号を回復でき、逆にＧ信号が存在する画素からＲ信号を回復できる。ＲとＢ信号間、ＧとＢ信号間でも同様にして回復できる。上記過程を分割画像用バッファ１１０にある全ての領域に行うことで復元画像用バッファ１１５上には全ての色信号が復元された画像が得られる。
【００６４】
なお、本実施形態ではハードウェア的に処理を行っているが、図７に示されるようにソフトウェア的に処理を行うことも可能である。
【００６５】
すなわち、図７において、まずステップＳ１において入力部１０１からの単板画像信号を読み込む。次にステップＳ２において図示しない切り換えスイッチや、電子ズームの使用の有無に基づき処理を選択し、線形補間の場合はステップＳ３へ、それ以外の場合はステップＳ５へ分岐する。ステップＳ３では線形補間を行い、欠落する色信号を回復する。ステップＳ４では回復された色信号を出力し、処理を完了する。
【００６６】
次にステップＳ５においてスペクトル勾配に基づき領域分割を行う。ステップＳ５の詳細な処理については後述する。次にステップＳ６において領域分割画像を走査して個々の領域を順次抽出して次段の処理を行う。次にステップＳ７にて、均一領域内のＲ，Ｇ，Ｂ各色信号の平均ＡＶ_ Ｓ_i と標準偏差ＤＥＶ_ Ｓ_i を算出する。次にステップＳ８にて、（９）式に基づきＲ−Ｇ、Ｇ−Ｂ、Ｒ−Ｂ間の線形式を算出する。
【００６７】
次にステップＳ９にて線形式に基づき領域内の欠落する色信号を回復する。次にステップＳ１０にて、回復された色信号を出力する。次にステップＳ１１にて全領域の走査が終了したかどうかを判断し、終了した場合は処理を完了し、終了していない場合はステップＳ６へ分岐する。
【００６８】
上記のステップＳ５での領域分割は図８のように行われる。まずステップＳ５−１にて、画像信号を画素単位に走査し次段の処理を行う。次にステップＳ５−２にて、現注目画素を含有する４つの２×２サイズの近傍領域を抽出する。次にステップＳ５−３にて、上記の図５に基づき近傍領域のスペクトル勾配からクラスを求める。次にステップＳ５−４にて、最多数のクラスが存在するかどうかを判断し、存在するならステップＳ５−５へ、存在しない場合はステップＳ５−６へ分岐する。ステップＳ５−５では最多数のクラスを出力する。ステップＳ５−６では不定クラスとして１３を出力する。
【００６９】
次にステップＳ５−７にて、全画素の走査が終了したかどうかを判断し、終了した場合はステップＳ５−８へ、終了していない場合はステップＳ５−１へ分岐する。
【００７０】
次にステップＳ５−８にて、３×３サイズのメディアンフィルタによる平滑化を行う。次にステップＳ５−９にて、ラベリング処理にて領域を分割する。次にステップＳ５−１０にて、領域分割画像を出力する。
【００７１】
上記のように、入力される画像信号に対しフィルタ配置に基づく近傍領域からスペクトルの勾配を求め領域分割を行うことで、単一の色相関関係の成立する領域が得られる。この個々の領域に対して色相関関係を線形式に回帰して算出し、欠落画素を回復する。このため、従来の線形補間では不可能であった高周波成分の回復が行え、高精細な再生画像を生成できる。
【００７２】
また、予め均一な領域に分割しておくため偽信号の発生も防止できる。さらに、従来例では矩形領域ごとに多数回の回帰計算を要していたが、より大きな領域に対してのみ回帰計算を行えばよいので計算時間を短縮することもできる。スペクトルの勾配は色信号の大小関係から求めることができるため、高速かつ低コストで行うことができる。また、必要に応じて通常画質の線形補間による回復も選択できるため処理速度の一層の高速化も可能となる。
【００７３】
なお本実施形態では、図３（ａ）に示すように２×２サイズのフィルタ配置を用いているが、これに限定される必要はなく自由な設定が可能である。例えば、図３（ｃ）に示すフィルタ配置も使用できる。この場合、近傍領域抽出部１０６では２×４サイズの領域を抽出することになる。また、近傍領域を４つ抽出することに限定される必要もなく、計算時間を短縮したい場合は例えば１つで行うこともできる。この場合、パラメータ算出部１０７では最多数のクラスを求める必要が無く、不定クラスもなくなることになる。また、本実施形態では圧縮処理に関しては図示していないが、メモリカードなどに保存する場合は出力部１１７の前段にＪＰＥＧなどの公知の圧縮部を付加する構成も可能である。
【００７４】
（第２実施形態）
以下に本発明の第２実施形態を説明する。第２実施形態は上記した第１実施形態におけるパラメータ算出部１０７の機能が異なる以外は、構成自体は図１，２に示す第１実施形態と基本的に同等である。
【００７５】
以下に第２実施形態の作用を説明する。基本的に第１実施形態と同等であり、以下は異なる部分のみ説明する。図９は、図２のＣＣＤ２０３におけるフィルタ配置の具体的構成の一例を示す説明図である。本実施形態では、第１実施形態と異なり、Ｃｙ、Ｍｇ、Ｙｅ、Ｇの補色系のフィルタを用いる。図９（ａ）に示すように２×４サイズの基本配置を用い、図９（ｂ）に示すようにこの基本パターンが反復的に繰り返されてＣＣＤ上の全画素を充填する構造となっている。なお、図２の色分離回路２０５、プロセス回路２０６、２０７、２０８、マトリックス回路２０９は補色系のフィルタ配置にあわせて変更され、図１、図２のＲ信号用バッファ１０２、Ｇ信号用バッファ１０３、Ｂ信号バッファ１０４はＣｙ、Ｍｇ、Ｙｅ、Ｇ用の４信号用バッファに拡張される。
【００７６】
図１０は、近傍領域抽出部１０６、パラメータ算出部１０７での輝度信号に基づく領域分割に関する説明図である。図１０（ａ）は、入力画像の一例を示すもので、上部のＡ領域を白とし下部のＢ領域を赤とする。図１０（ｂ）は、図１０（ａ）の入力画像を図９（ｂ）に示すフィルタ配置の単板ＣＣＤで撮像したときの画像を示す。この単板状態から輝度信号を算出するにはＣｙ、Ｍｇ、Ｙｅ、Ｇの４色の信号が必要になる。このため、ある画素を注目画素としたとき左下方向に２×２サイズの近傍領域を設定する。図９（ｂ）に示すフィルタ配置では、左下方向に２×２サイズの近傍領域を設定すれば必ずＣｙ、Ｍｇ、Ｙｅ、Ｇの４色の信号が存在することになる。輝度信号Ｙは
Ｙ＝Ｃｙ＋Ｍｇ＋Ｙｅ＋Ｇ＝２Ｒ＋３Ｇ＋２Ｂ （１０）
で与えられる。図１０（ｃ）は、（１０）式に基づき各画素単位で算出された輝度信号を示す。図１０（ｄ）は、この輝度信号に公知のエッジ抽出処理を行い算出されたエッジ強度を示す。このエッジ強度に対して、所定の閾値、例えば本実施形態では１５を用いて二値化処理した結果が斜線で示されている。図１０（ｅ）は、二値化処理された画素に基づき、公知のラベリング処理を行うことで領域分離を行った結果を示す。本実施形態では四領域に分割された状態を示すもので、この結果を分割画像用バッファ１１０へ転送する。以後の処理は第１実施形態と同様に行われ、各画素につきＣｙ、Ｍｇ、Ｙｅ、Ｇの４信号が回復され回復画像用バッファ１１５へ転送される。その後、（４）〜（６）式に示される関係からＲ，Ｇ，Ｂの３信号が算出されて出力部１１７へ出力される。
【００７７】
なお、本実施形態ではハードウェア的に処理を行っているが、図１１に示されるようにソフトウェア的に処理を行うことも可能である。内容は、図７に示される第１実施形態と同等であり、ステップＳ５のみがステップＳ１２に置換される。ステップＳ１２の領域分割は図１２のように行われる。
【００７８】
すなわち、まずステップＳ１２−１にて、画像信号を画素単位に走査し次段の処理を行う。次にステップＳ１２−２にて、現注目画素を含有する２×２サイズの近傍領域を抽出する。次にステップＳ１２−３にて、（１０）式に基づき輝度信号を算出する。次にステップＳ１２−４にて、全画素の走査が終了したかどうかを判断し、終了した場合はステップＳ１２−５へ、終了していない場合はステップＳ１２−１へ分岐する。ステップＳ１２−５ではエッジ抽出を行う。次にステップＳ１２−６にて、二値化処理を行う。次にステップＳ１２−７にて、ラベリング処理を行い、領域を分割する。次にステップＳ１２−８にて、領域分割画像を出力する。
【００７９】
上記のように、入力される画像信号に対しフィルタ配置に基づく近傍領域から輝度信号のエッジ強度を求め領域分割を行うことで、単一の色相関関係の成立する領域が得られる。この個々の領域に対して色相関関係を線形式に回帰して算出し、欠落画素を回復する。このため、従来の線形補間では不可能であった高周波成分の回復が行え、高精細な再生画像を生成できる。
【００８０】
また、予め均一な領域に分割しておくため偽信号の発生も防止できる。さらに、従来例では矩形領域ごとに多数回の回帰計算を要していたが、より大きな領域に対してのみ回帰計算を行えばよいので計算時間を短縮することもできる。輝度信号の算出は加算演算のみで実現でき、高速かつ低コストで行うことができる。また、必要に応じて通常画質の線形補間による回復も選択できるため処理速度の一層の高速化も可能となる。
【００８１】
また、本実施形態では補色式ＣＣＤを使用しているが、原色式ＣＣＤにおいても適用することができる。例えば図３（ａ）に示すフィルタ配置を用いる場合の輝度信号算出法を図１３に示す。図１３（ａ）、（ｂ）、（ｃ）は、注目画素をＲ、Ｇ、Ｂとした場合の３×３サイズの近傍領域抽出部を示す。この近傍領域に図１３（ｄ）に示すマトリックス係数を乗算すると、すべての場合で４Ｒ＋８Ｇ＋４Ｂとなり、これを正規化して輝度信号として用いることができる。また、二板または三板画素ずらし式にも適用できる。
【００８２】
（第３実施形態）
以下に本発明の第３実施形態を説明する。図１４は、本発明の第３実施形態の構成図である。第３実施形態は、本発明の画像処理装置が図２２の電子スチルカメラシステムにおける電子スチルカメラ８０４とドッキングステーション８０２とから構成される。これら２つは分離されており、電子スチルカメラ８０４で得られた画像信号は、メモリカード８０５を介してドッキングステーション８０２に入力されて画像処理され、処理された信号はドッキングステーション８０２に接続されたカラープリンタ８０１や、ＴＶモニター８００、ＭＯドライブ８０３に出力される。
【００８３】
電子スチルカメラ８０４内の二板式ＣＣＤを用いた入力部３０１の信号は、Ｒ信号用バッファ３０２、Ｇ信号用バッファ３０３、Ｂ信号用バッファ３０４へ転送され、線形補間部３０５を介してメモリカード３０６へ出力される。一方、ドッキングステーション内のカード読み取り部３０７は処理切り換え部３０８へ接続されている。処理切り換え部３０８は、変換部３０９と出力部３２５へ接続されている。変換部３０９は、フィルタ配置ＲＯＭ３１０からの信号を受け、Ｒ信号用バッファ３１１、Ｇ信号用バッファ３１２、Ｂ信号用バッファ３１３へ接続している。Ｒ信号用バッファ３１１、Ｇ信号用バッファ３１２、Ｂ信号用バッファ３１３は、局所領域抽出部３１４、色相関回帰部３１５、パラメータ用バッファ３１６、局所領域分割部３１７、分割画像用バッファ３１８の順に転送される。分割画像用バッファ３１８と局所領域抽出部３１４からの信号は均一領域抽出部３１９へ転送され、均一領域抽出部３１９からの信号は均一領域用バッファ３２０を介して色相関回帰部３２１と欠落画素復元部３２２へ転送される。色相関回帰部３２１からの信号は、欠落画素復元部３２２へ接続されている。欠落画素復元部３２２からの信号は、復元画像用バッファ３２３、加算平均部３２４を介してプリンタやモニターなどの出力部３２５へ出力される。また、マイクロコンピュータなどの制御部３２６は、処理切り換え部３０８、局所領域抽出部３１４、局所領域分割部３１７、均一領域抽出部３１９、色相関回帰部３２１、欠落画素復元部３２２、加算平均部３２４へ接続されている。
【００８４】
以下に第３実施形態の作用を説明する。入力部３０１からのＲＧＢ三信号は、Ｒ信号用バッファ３０２、Ｇ信号用バッファ３０３、Ｂ信号用バッファ３０４に転送され、線形補間部３０５にて欠落する色信号が復元され、メモリカード３０６へ出力される。メモリカード３０６上の画像信号は、ドッキングステーション８０２内のカード読み取り部３０７へ挿入され、上記画像信号は処理切り換え部３０８へ転送される。処理切り換え部３０８は、制御部３２６の制御に基づき画像信号を変換部３０９または出力部３２５へ転送する。この選択は、図示しない切り換えスイッチにより行うことも可能であるし、画像信号の画素数と出力媒体の画素数を比較し、カラープリンタなどの出力媒体の画素数が多い場合は変換部３０９へ、ＴＶモニターなどの出力媒体の画素数が少ない場合は無処理で出力部３２５へ転送するなど自動切り換えにすることも可能である。
【００８５】
変換部３０９に転送された場合、変換部３０９はフィルタ配置ＲＯＭ３１０内から撮像系で使用されたフィルタ配置を読み出し、このフィルタ配置情報に基づきメモリカード３０６上の画像信号を本来の撮像系で得られた状態に変更し、信号ごとにＲ信号用バッファ３１１、Ｇ信号用バッファ３１２、Ｂ信号用バッファ３１３へ転送する。局所領域抽出部３１４は、変換された画像信号を画素単位に順次走査していき、現注目画素を包含する所定サイズ、例えば６×６サイズの局所領域を抽出する。色相関回帰部３１５は、上記した第１実施形態における（９）式に従い、上記局所領域内の色相関関係の定数項を算出する。定数項は、（９）式を（１１）式に示すように変形して得られる（ＤＥＶ_ Ｓ_i ／ＤＥＶ_ Ｓ_j ）ＡＶ_ Ｓ_j ＋ＡＶ_ Ｓ_i に相当する。
【００８６】
【数３】

【００８７】
この定数項は、単一な色相関関係が成立する領域では０に近い値となるため、この値に基づき領域分割を行うことができる。色相関回帰部３１５は、上記局所領域内に２×２サイズの微小領域を設定し、これを順次走査して行く。この微小領域ごとに上記定数項をＲ−Ｇ、Ｇ−Ｂ、Ｒ−Ｂの３組の信号間で算出し、３つの定数項の最大値をパラメータ用バッファ３１６へ転送する。制御部３２６は、局所領域内の走査が終了するまで上記過程を反復させる。走査が終了すると、パラメータ用バッファ３１６には局所領域内の画素に対する定数項がパラメータとして存在されることになる。
【００８８】
次に制御部３２６は、パラメータ用バッファ３１６上のパラメータを局所領域分割部３１７へ転送させる。局所領域分割部３１７は、上記パラメータに対して、所定の閾値を用いて二値化処理を行う。これにより単一な色相関関係が成立する領域では０に、それ以外の境界領域は１に区分される。次に、公知のラベリング処理を行うことで領域分離が行われ、この結果を分割画像用バッファ３１８へ転送する。領域分割終了後、均一領域抽出部３１９は制御部３２６の制御により、分割画像用バッファ３１８上の領域分割結果から現注目画素と同一の領域に属するＲＧＢ三信号を局所領域抽出部３１４から読み込み均一領域用バッファ３２０へ転送する。色相関回帰部３２１は、均一領域用バッファ３２０上にある各色信号の色相関関係を線形式に回帰し、この線形式のデータを欠落画素復元部３２２へ転送する。なお、本実施形態では二板式ＣＣＤを想定しているため、Ｇ信号には欠落する画素が存在しない。よって、Ｒ、Ｂ信号の欠落する色信号を回復するためＲ−Ｇ、Ｇ−Ｂの２組の信号間で線形式への回帰が行われる。欠落画素復元部３２２では、均一領域用バッファ３２０上にある各色信号と色相関回帰部３２１からの線形式のデータに基づき欠落する色信号を回復し復元画像用バッファ３２３へ転送する。回復処理の基本となる局所領域は、変換された画像信号を画素単位に走査しながら設定される。このため、局所領域のサイズに応じた重複が発生することになり、回復される色信号も重複が生じることになる。本実施形態では、復元画像用バッファ３２３へ積算しながら保存するものとする。制御部３２６は、局所領域抽出部３１４による画像信号の走査が終了するまで上記過程を反復させる。全ての画素が終了すると加算平均部３２４は、復元画像用バッファ３２３上の積算された画像信号を積算数に応じて平均化し、出力部３２５へ出力する。
【００８９】
図１５は入力部３０１の具体的構成の一例を示す説明図である。レンズ系４０１を介してＧ信号用ローパスフィルタ４０２とＧ信号用ＣＣＤ４０４およびＲ、Ｂ信号用ローパスフィルタ４０３とＲ、Ｂ信号用ＣＣＤ４０５が配置されている。Ｇ信号用ＣＣＤ４０４は全画素にＧフィルタが、Ｒ、Ｂ信号用ＣＣＤ４０５はＲとＢのフィルタが市松状に配置されている。Ｇ信号用ＣＣＤ４０４からの電気信号はＡ／Ｄ変換器４０６を介してＧ信号用バッファ３０４に保存される。また、Ｒ、Ｂ信号用ＣＣＤ４０５は、Ａ／Ｄ変換器４０７とＲ／Ｂ分離回路４０８を介してＲ信号用バッファ３０２とＢ信号用バッファ３０３へ転送される。Ｇ信号用ＣＣＤ４０４とＲ、Ｂ信号用ＣＣＤ４０５は、クロックジェネレータ４０９に基づいて動作されるＧ信号用ＣＣＤ駆動回路４１０とＲ、Ｂ信号用ＣＣＤ駆動回路４１１とにそれぞれ接続されている。
【００９０】
図１６は、局所領域抽出部３１４、色相関回帰部３１５での定数項に基づく領域分割に関する説明図である。図１６（ａ）は、入力画像の一例を示すもので、上部のＡ領域が白で下部のＢ領域が赤とする。図１６（ｂ）、（ｃ）は、図１６（ａ）の入力画像を、図１５に示す二板ＣＣＤで撮像したときの局所領域の画像を示す。局所領域は、例えば６×６サイズとなっている。この局所領域内で、色信号間の色相関関係の定数項を算出するためにＲ、Ｇ、Ｂの３信号が必要となる。色相関回帰部３１５は２×２サイズの微小領域を設定し、図１６（ｂ）、（ｃ）に示すように局所領域内を左上を原点として走査していく。２×２サイズの微小領域を設定すれば必ずＲ、Ｇ、Ｂの３信号が存在することになる。この微小領域内で（１１）式に基づき各微小領域ごとに３組の色相関関係の定数項を求め、その最大値を選択する。図１６（ｄ）は選択された定数項を示す。微小領域を２×２サイズとしたため、この段階では５×５サイズに対応する定数項が得られる。この定数項に対して所定の閾値、例えば本実施形態では１５を用いて二値化処理した結果を斜線で示す。図１６（ｅ）は、二値化処理された画素に基づき、公知のラベリング処理を行うことで領域分離を行った結果を示す。本実施形態では注目画素は１のラベルに属しており、均一領域抽出部３１９は１のラベルに属する画素を抽出することになる。
【００９１】
なお、本形態例ではハードウェア的に処理を行っているが、図１７に示されるようにソフトウェア的に処理を行うことも可能である。
【００９２】
すなわち、まずステップＳ２１にて、入力部３０１からの画像信号を読み込む。次にステップＳ２２にて図示しない切り換えスイッチや、電子ズームの使用の有無に基づき処理を選択し、線形補間の場合は処理を完了し、それ以外はステップＳ２３へ分岐する。ステップＳ２３では撮像系で得られる本来の原画像信号へ変換する。次にステップＳ２４にて、原画像信号を画素単位に走査し次段の処理を行う。次にステップＳ２５にて、現注目画素を含有する６×６サイズの局所領域を抽出する。次にステップＳ２６にて、色相関関係の定数項に基づき局所領域内を分割する。ステップＳ２６の処理の詳細は後述する。
【００９３】
次にステップＳ２７にて、現注目画素と同一な領域内のＲ、Ｇ、Ｂ各色信号の平均ＡＶ_ Ｓ_i と標準偏差ＤＥＶ_ Ｓ_i を算出する。次にステップＳ２８にて、（９）式に基づきＲ−Ｇ、Ｇ−Ｂ間の線形式を算出する。
【００９４】
次にステップＳ２９にて、線形式に基づき領域内の欠落する色信号を回復あるいは復元する。次にステップＳ３０にて、回復された色信号を積算しながら出力する。次にステップＳ３１にて、全領域の走査が終了したかどうかを判断し、終了した場合はステップＳ３２へ、終了していない場合はステップＳ２４へ分岐する。ステップＳ３２では積算された色信号を平均して出力する。
【００９５】
上記したステップＳ２６の局所領域分割は図１８のように行われる。
【００９６】
すなわち、まずステップＳ２６−１にて、局所領域を画素単位に走査し次段の処理を行う。次にステップＳ２６−２にて、２×２サイズの微小領域を抽出する。次にステップＳ２６−３にて、（１１）式に基づきＲ−Ｇ、Ｇ−Ｂ、Ｒ−Ｂ３組の定数項を算出する。次にステップＳ２６−４にて、最大値の定数項を出力する。次にステップＳ２６−５にて、局所領域の走査が終了したかどうかを判断し、終了した場合はステップＳ２６−６へ、終了していない場合はステップＳ２６−１へ分岐する。ステップＳ２６−６では得られた定数項に対して二値化処理を行う。次にステップＳ２６−７にて、ラベリング処理により領域を分割する。次にステップＳ２６−８にて、現注目画素と同一の領域を出力する。
【００９７】
上記のように、本実施形態では、通常の線形補間により欠落する色信号が回復された画像信号に対し、撮像系のフィルタ配置に基づき、撮像系で得られる本来の原画像信号に変換する。この後、所定サイズの局所領域内で色相関関係を回帰した場合の定数項を求め領域分割を行うことで、単一の色相関関係の成立する領域が得られる。この領域に対して色相関関係を線形式に回帰して算出し、欠落画素を回復する。このため、従来の線形補間では不可能であった高周波成分の回復が行え、高精細な再生画像を生成できる。また、予め均一な領域に分割しておくため偽信号の発生も防止できる。
【００９８】
また、本実施形態での処理は、電子スチルカメラと分離して行えるため、従来の電子スチルカメラに対しても汎用的に適用することができる。さらに、処理が局所領域を単位として行われるため使用するメモリ量が少なく低コストにて実現できる。また、必要に応じて処理を迂回できるため無駄な処理を行う必要がない。
【００９９】
なお、本実施形態では局所領域内の分割を定数項を用いて行っているがこれに限定される必要はない。第１実施形態におけるスペクトルの勾配や第２実施形態における輝度信号のエッジ強度なども利用できる。逆に、本実施形態の定数項による分割は第１，第２実施形態でも利用できる。また、本実施形態では二板ＣＣＤにて処理を行っているが、単板または三板画素ずらし式にも適用できる。さらに、ソフトウェアにて行う場合は、専用のドッキングステーションで行う必要はなく、一般のデスクトップパソコンやノートパソコンにて処理を実現できる。本実施形態は、上記例で示したように圧縮処理のされていない画像信号に対して最大の効果が得られる。しかし、改善効果が低下するが、圧縮処理された画像信号に対しても適用することができる。この場合は、図１４における線形補間部３０５とメモリカード３０６間に圧縮部を、カード読み取り部３０７と処理切り換え部３０８間に伸張部を付加すればよい。
【０１００】
（第４実施形態）
以下に本発明の第４実施形態を説明する。第４実施形態は、上記した第３実施形態における色相関回帰部３１５の機能が異なる以外は、構成自体は図１４、図１５に示す第３実施形態と基本的に同等である。
【０１０１】
以下に第４実施形態の作用を説明する。基本的に第３実施形態と同等であり、以下は異なる部分のみ説明する。図１９は、局所領域抽出部３１４、色相関回帰部３１５での最大値・最小値による線形式の誤差に基づく領域分割に関する説明図である。図１９（ａ）は、入力画像の一例を示すもので、均一な領域となっている。図１９（ｂ）は、（９）式に基づきＲ−Ｇ信号間での色相関関係を平均ＡＶ_ Ｓ_i と標準偏差ＤＥＶ_ Ｓ_i から線形式に回帰する過程を示す。以後、各信号における最大値をＭａｘ_ Ｓ_i 、最小値をＭｉｎ_ Ｓ_i で示す。（９）式に示す線形式に最大値または最小値を代入した場合、本実施形態のように均一な領域では等号が成立することになる。
【０１０２】
【数４】

【０１０３】
ここで両辺の誤差をE ｒｒ_ ｍａｘとＥｒｒ_ ｍｉｎとすると
【数５】

【０１０４】
となる。一方、図１９（ｄ）は上部の領域Ａを白とし下部の領域Ｂを赤とする不均一な領域である。図１９（ｅ）は、（９）式に基づき領域全体のＲ−Ｇ信号間での色相関関係の線形式と、領域Ａと領域Ｂの個々の色相関関係の線形式を示す図である。領域全体で回帰した線形式は、領域Ａと領域Ｂでの個々の特性に影響され正しい色相関関係を示さない。このような線形式に最大値または最小値を代入した場合は等号が成立しなくなる。
【０１０５】
【数６】

【０１０６】
よって、誤差Ｅｒｒ_ ｍａｘとＥｒｒ_ ｍｉｎを用いて領域分割を行うことが可能となる。
【０１０７】
色相関回帰部３１５は、局所領域抽出部３１４で抽出された局所領域に対して例えば３×３サイズの微小領域を設定し、これを順次走査して行く。微小領域のサイズは使用する撮像系のフィルタ配置により調整される。この微小領域ごとに上記２組の誤差をＲ−Ｇ、Ｇ−Ｂ、Ｒ−Ｂの３組の信号間で算出し、これらの誤差の最大値をパラメータ用バッファ３１６へ転送する。制御部３２６は、局所領域内の走査が終了するまで上記過程を反復させる。以後は上記した第３実施形態と同様に、パラメータ用バッファ３１６上のパラメータを局所領域分割部３１７へ転送させる。局所領域分割部３１７は、上記パラメータに対して、所定の閾値を用いて二値化処理を行う。これにより単一な色相関関係が成立する領域では０に、それ以外の境界領域は１に区分される。次に、公知のラベリング処理を行うことで領域分離が行われ、この結果を分割画像用バッファ３１８へ転送する。
【０１０８】
なお、本実施形態ではハードウェア的に処理を行っているが、図２０に示されるようにソフトウェア的に処理を行うことも可能である。内容は、図２０に示される第３実施形態と同等であり、ステップＳ２６のみがステップＳ３３に置換される。
【０１０９】
ステップＳ３３の領域分割は図２１のように行われる。
【０１１０】
すなわち、まずステップＳ３３−１にて、局所領域を画素単位に走査し次段の処理を行う。次にステップＳ３３−２にて、３×３サイズの微小領域を抽出する。次にステップＳ３３−３にて、（９）式に基づき各色信号の色相関関係を線形式に回帰する。次にステップＳ３３−４にて、（１３）式に基づき最大値・最小値による誤差を算出する。次にステップＳ３３−５にて、誤差の最大値を出力する。次にステップＳ３３−６にて、全画素の走査が終了したかどうかを判断し、終了した場合はステップＳ３３−７へ、終了していない場合はステップＳ３３−１へ分岐する。次にステップＳ３３−７にて、二値化処理を行う。次にステップＳ３３−８にて、ラベリング処理を行い、領域を分割する。次にステップＳ３３−９にて、領域分割画像を出力する。
【０１１１】
上記のように、所定サイズの局所領域内で色相関関係を回帰した場合の誤差を求めて領域分割を行うことで、単一の色相関関係の成立する領域が得られる。この領域に対して色相関関係を線形式に回帰して算出し、欠落画素を回復する。このため、従来の線形補間では不可能であった高周波成分の回復を行え、高精細な再生画像を生成できる。また、予め均一な領域に分割しておくため偽信号の発生も防止できる。本実施形態の処理は、電子スチルカメラと分離して行えるため、従来の電子スチルカメラに対しても汎用的に適用することができる。さらに、処理が局所領域を単位として行われるため使用するメモリ量が少なく低コストにて実現できる。また、必要に応じて処理を迂回できるため無駄な処理を行う必要がない。
【０１１２】
なお、本実施形態の誤差による分割は第１，第２実施形態でも利用できる。
【０１１３】
なお、上記した具体的実施形態からは以下のような構成の発明が抽出される。
１．
単板または二板または三板画素ずらし式撮像系を有する画像処理装置であって、
画像信号を画素単位で順次走査し現注目画素を包含する少なくとも一つ以上の近傍領域から領域分割のためのパラメータを算出するパラメータ算出手段と、
上記算出されたパラメータに基づき上記画像信号を単一な色相関関係が成立する均一領域に分割する画像信号分割手段と、
上記均一領域内に存在する色信号間の色相関関係を線形式として回帰する回帰手段と、
上記均一領域内に存在する色信号と上記線形式とに基づき欠落する色信号を回復する第１の回復手段と、
を具備することを特徴とする画像処理装置。
【０１１４】
（対応する発明の実施の形態）
この発明に関する実施の形態は、図１〜図８に示される第１実施形態および図１，図２，図９〜図１３に示される第２実施形態に少なくとも対応する。構成中のパラメータ算出手段は、図１に示される近傍領域抽出部１０６、パラメータ算出部１０７に該当する。構成中の画像信号分割手段は、図１に示される画像信号分割部１０９、均一領域抽出部１１１に該当する。構成中の回帰手段は、図１に示される色相関回帰部１１３に該当する。構成中の回復手段は、図１に示される欠落画素復元部１１４に該当する。
【０１１５】
この発明の画像処理装置の好ましい適用例は、図１に示す処理切り換え部１０５からの信号に関して所定サイズの近傍領域が近傍領域抽出部１０６にて抽出され、パラメータ算出部１０７と画像信号分割部１０９にて領域分割がなされ、この領域分割に基づき色相関回帰部１１３と欠落画素復元部１１４において、図６に示す色相関関係を回帰した線形式に基づき欠落する色信号が回復されて出力部１１７へ転送される画像処理装置である。
【０１１６】
（作用）
画像信号を予め単一な色相関関係の成立する均一領域に分割し、各領域ごとに色相関関係に基づき欠落する色信号を回復する。
【０１１７】
（効果）
欠落する色信号を高精度にかつ高速に復元可能な画像処理装置を提供することができる。
【０１１８】
２．
１．において、前記パラメータ算出手段は、上記近傍領域内に存在する色信号から分光スペクトルの勾配を求め、上記勾配の大小関係から領域分割のためのパラメータを算出する。
【０１１９】
（対応する発明の実施の形態）
この発明に関する実施の形態は、図１〜図８に示される第１実施形態に少なくとも対応する。構成中のパラメータ算出手段は、図１に示される近傍領域抽出部１０６、パラメータ算出部１０７に該当する。
【０１２０】
この発明の画像処理装置の好ましい適用例は、図１に示す処理切り換え部１０５からの信号に関して所定サイズの近傍領域が近傍領域抽出部１０６にて抽出され、パラメータ算出部１０７と画像信号分割部１０９にて図４に示す近傍領域内のスペクトルの勾配に基づき領域分割がなされる画像処理装置である。
【０１２１】
（作用）
色相関関係による復元は、画像信号をスペクトルの勾配から均一領域に分割し各領域ごとに色相関関係に基づき欠落する色信号を回復する。
【０１２２】
（効果）
解像度を低下させずにエッジや色の境界部に発生する偽色を低減可能な画像処理装置を提供することができる。
【０１２３】
３．
１．において、前記パラメータ算出手段は、上記近傍領域内に存在する色信号から輝度信号を求め、上記輝度信号のエッジ強度から領域分割のためのパラメータを算出する。
【０１２４】
（対応する発明の実施の形態）
この発明に関する実施の形態は、図１、図２、図９〜図１３に示される第２実施形態に少なくとも対応する。構成中のパラメータ算出手段は、図１に示される近傍領域抽出部１０６、パラメータ算出部１０７に該当する。
【０１２５】
この発明の画像処理装置の好ましい適用例は、図１に示す処理切り換え部１０５からの信号に関して所定サイズの近傍領域が近傍領域抽出部１０６にて抽出され、パラメータ算出部１０７にて図１０に示す近傍領域内の輝度信号のエッジ強度に基づき領域分割がなされる画像処理装置である。
【０１２６】
（作用）
色相関関係による復元は、画像信号を輝度信号のエッジ強度から均一領域に分割し各領域ごとに色相関関係に基づき欠落する色信号を回復する。
【０１２７】
（効果）
２．の効果と同様である。
【０１２８】
４．
１．において、前記パラメータ算出手段は、上記近傍領域内に存在する色信号間の色相関関係を線形式として回帰し、上記線形式の定数項から領域分割のためのパラメータを算出する。
【０１２９】
（対応する発明の実施の形態）
この発明に関する実施の形態は、図１４〜図１８に示される第３実施形態に少なくとも対応する。構成中のパラメータ算出手段は、図１４に示される色相関回帰部３１５に該当する。
【０１３０】
この発明の画像処理装置の好ましい適用例は、図１４に示す処理切り換え部３０８からの信号に関して所定サイズの近傍領域が局所領域抽出部３１４にて抽出され、色相関回帰部３１５にて図１６に示す局所領域内の色相関関係の線形式の定数項に基づき領域分割がなされる画像処理装置。
【０１３１】
（作用）
色相関関係による復元は、画像信号を色相関関係の線形式の定数項に基づき均一領域に分割し各領域ごとに色相関関係に基づき欠落する色信号を回復する。
【０１３２】
（効果）
２．の効果と同様である。
【０１３３】
５．
１．において、前記パラメータ算出手段は、上記近傍領域内に存在する色信号間の色相関関係を線形式として回帰し、上記線形式の回帰に使用した色信号の最大値および最小値を代入したときの誤差から領域分割のためのパラメータを算出する。
【０１３４】
（対応する発明の実施の形態）
この発明に関する実施の形態は、図１４、図１５、図１９、図２０に示される第４実施形態に少なくとも対応する。構成中のパラメータ算出手段は、図１４に示される色相関回帰部３１５に該当する。
【０１３５】
この発明の画像処理装置の好ましい適用例は、図１４に示す処理切り換え部３０８からの信号に関して所定サイズの近傍領域が局所領域抽出部３１４にて抽出され、色相関回帰部３１５にて図１９に示す色相関関係の線形式に最大値・最小値を代入したときの誤差に基づき領域分割がなされる画像処理装置である。
【０１３６】
（作用）
色相関関係による復元は、画像信号を色相関関係の線形式に最大値・最小値を代入したときの誤差に基づき均一領域に分割し各領域ごとに色相関関係に基づき欠落する色信号を回復する。
【０１３７】
（効果）
２．の効果と同様である。
【０１３８】
６．
１．において、上記撮像系で撮像された画像信号の欠落する色信号を線形補間にて回復する第２の回復手段と、
上記第１の回復手段と、上記第２の回復手段とを切り換える切り換え手段と、をさらに具備する。
【０１３９】
（対応する発明の実施の形態）
この発明に関する実施の形態は、図１〜図８に示される第１実施形態および図１、図２、図９〜図１３に示される第２実施形態に少なくとも対応する。構成中の第２の回復手段は、図１に示される線形補間部１１６に該当する。構成中の第１の回復手段は、図１に示される近傍領域抽出部１０６、パラメータ算出部１０７、画像信号分割部１０９、均一領域抽出部１１１、色相関回帰部１１３、欠落画素復元部１１４に該当する。構成中の切り換え手段は、図１に示される処理切り換え部１０５に該当する。
【０１４０】
この発明の画像処理装置は、図１および図２および図３に示す入力部１０１からの画像信号がＲ信号用バッファ１０２、Ｇ信号用バッファ１０３、Ｂ信号用バッファ１０４にて保存され、処理切り換え部１０５にて線形補間１１６または欠落画素復元部１１４にいたる処理が選択され、線形補間１１６が選択された場合は線形補間にて欠落する色信号が回復されて出力部１１７へ転送され、欠落画素復元部１１４にいたる処理が選択された場合は色相関回帰部１１３と欠落画素復元部１１４により図６に示す色相関関係を回帰した線形式に基づき欠落する色信号が回復されて出力部１１７へ転送される画像処理装置である。
【０１４１】
（作用）
色相関関係に基づき欠落する色信号を回復する手段と、線形補間に基づき欠落する色信号を回復する手段とを有し、この２つの回復手段を切り替えるようにする。
【０１４２】
（効果）
適切な処理時間で適切な画質を得ることが可能な画像処理装置を提供することができる。
【０１４３】
７．
６．において、前記切り換え手段は、撮像時の画像信号の画素数と出力媒体の要する画素数、または電子ズームの使用の有無に基づき自動的に切り換えを行う。
【０１４４】
（対応する発明の実施の形態）
この発明に関する実施の形態は、図１〜図８に示される第１実施形態および図１、図２、図９〜図１３に示される第２実施形態に少なくとも対応する。構成中の切り換え手段は、図１に示される処理切り換え部１０５に該当する。
【０１４５】
この発明の画像処理装置の好ましい適用例は、図１および図２および図３に示す入力部１０１からの画像信号がＲ信号用バッファ１０２、Ｇ信号用バッファ１０３、Ｂ信号用バッファ１０４にて保存され、処理切り換え部１０５にて線形補間１１６または欠落画素復元部１１４にいたる処理が選択される画像処理装置である。
【０１４６】
（作用）
色相関関係に基づき欠落する色信号を回復する手段と、線形補間に基づき欠落する色信号を回復する手段とを有し、この２つの回復手段を撮像時の画像信号の画素数と出力媒体の要する画素数、または電子ズームの使用の有無に基づき自動的に切り替えるようにする。
【０１４７】
（効果）
自動的処理にて適切な処理時間で適切な画質を得ることが可能な画像処理装置を提供することができる。
【０１４８】
８．
６．において前記切り換え手段による切り換えは、手動によるものである。
【０１４９】
（対応する発明の実施の形態）
この発明に関する実施の形態は、図１〜図８に示される第１実施形態および図１、図２、図９〜図１３に示される第２実施形態に少なくとも対応する。構成中の切り換え手段は、図１に示される処理切り換え部１０５に該当する。
【０１５０】
この発明の画像処理装置の好ましい適用例は、図１および図２および図３に示す入力部１０１からの画像信号がＲ信号用バッファ１０２、Ｇ信号用バッファ１０３、Ｂ信号用バッファ１０４にて保存され、処理切り換え部１０５にて線形補間１１６または欠落画素復元部１１４にいたる処理が選択される画像処理装置である。
【０１５１】
（作用）
色相関関係に基づき欠落する色信号を回復する手段と、線形補間に基づき欠落する色信号を回復する手段とを有し、この２つの回復手段を手動により切り換えを行う。
【０１５２】
（効果）
使用者の希望に基づき処理時間または画質のどちらかを優先して信号処理を行なえることが可能な画像処理装置を提供することができる。
【０１５３】
９．
単板または二板または三板画素ずらし式撮像系を有する画像処理装置であって、
画像信号を画素単位で順次走査し現注目画素を包含する局所領域を抽出する局所領域抽出手段と、
上記抽出された局所領域内にて複数の微小領域を設定し、各微小領域から領域分割のためのパラメータを算出するパラメータ算出手段と、
上記算出されたパラメータに基づき上記局所領域を単一な色相関関係が成立する均一領域に分割する局所領域分割手段と、
上記局所領域内にて上記均一領域に基づき現注目画素と同一の領域に属する色信号を選択し、この色信号間の色相関関係を線形式として回帰する選択回帰手段と、
上記局所領域内にて上記均一領域に基づき現注目画素と同一の領域に属する色信号を選択し、この色信号と上記線形式に基づき現注目画素と同等の領域における欠落する色信号を回復する第１の回復手段と、
を具備することを特徴とする画像処理装置。
【０１５４】
（対応する発明の実施の形態）
この発明に関する実施の形態は、図１４〜図１８に示される第３実施形態および図１４、図１５、図１９〜図２１に示される第４実施形態に少なくとも対応する。構成中の局所領域抽出手段は、図１４に示される局所領域抽出部３１４に該当する。構成中のパラメータ算出手段は、図１４に示される色相関回帰部３１５に該当する。構成中の局所領域分割手段は、図１４に示される局所領域分割部３１７に該当する。構成中の選択回帰手段は、図１４に示される均一領域抽出部３１９、色相関回帰部３２１に該当する。構成中の第１の回復手段は、図１４に示される欠落画素復元部３２２、加算平均部３２４に該当する。
【０１５５】
この発明の画像処理装置の好ましい適用例は、図１４に示す処理切り換え部３０８からの信号に関して所定サイズの局所領域が局所領域抽出部３１４にて抽出され、色相関回帰部３１５と局所領域分割部３１７にて領域分割がなされ、この領域分割に基づき色相関回帰部３２１と欠落画素復元部３２２が色相関関係を回帰した線形式に基づき欠落する色信号を回復し、加算平均部３２４にて重複されて回復された色信号が平均化され出力部３２５へ転送される画像処理装置である。
【０１５６】
（作用）
画像信号から局所領域を順次抽出して、この局所領域内で単一な色相関関係の成立する均一領域に分割し、現注目画素と同一な均一領域内の欠落する色信号を色相関関係に基づきを回復する。
【０１５７】
（効果）
欠落する色信号を高精度にかつ低コストで復元可能な画像処理装置を提供することができる。
【０１５８】
１０．
９．において、前記パラメータ算出手段は、上記微小領域内に存在する色信号から分光スペクトルの勾配を求め、上記勾配の大小関係から領域分割のためのパラメータを算出する。
【０１５９】
（対応する発明の実施の形態）
この発明に関する実施の形態は、図１〜図８に示される第１実施形態に少なくとも対応する。構成中のパラメータ算出手段は、図１に示される近傍領域抽出部１０６、パラメータ算出部１０７に該当する。
【０１６０】
この発明の画像処理装置の好ましい適用例は、図１に示す処理切り換え部１０５からの信号に関して所定サイズの近傍領域が近傍領域抽出部１０６にて抽出され、パラメータ算出部１０７と画像信号分割部１０９にて図４に示す近傍領域内のスペクトルの勾配に基づき領域分割がなされる画像処理装置である。
【０１６１】
（作用）
色相関関係による復元は、画像信号をスペクトルの勾配から均一領域に分割し各領域ごとに色相関関係に基づき欠落する色信号を回復する。
【０１６２】
（効果）
解像度を低下させずにエッジや色の境界部に発生する偽色を低減可能な画像処理装置を提供することができる。
【０１６３】
１１．
９．において、前記パラメータ算出手段は、上記微小領域内に存在する色信号から輝度信号を求め、上記輝度信号のエッジ強度から領域分割のためのパラメータを算出する。
【０１６４】
（対応する発明の実施の形態）
この発明に関する実施の形態は、図１、図２、図９〜図１３に示される第２実施形態に少なくとも対応する。構成中のパラメータ算出手段は、図１に示される近傍領域抽出部１０６、パラメータ算出部１０７に該当する。
【０１６５】
この発明の画像処理装置の好ましい適用例は、図１に示す処理切り換え部１０５からの信号に関して所定サイズの近傍領域が近傍領域抽出部１０６にて抽出され、パラメータ算出部１０７にて図１０に示す近傍領域内の輝度信号のエッジ強度に基づき領域分割がなされる画像処理装置である。
【０１６６】
（作用）
色相関関係による復元は、画像信号を輝度信号のエッジ強度から均一領域に分割し各領域ごとに色相関関係に基づき欠落する色信号を回復する。
【０１６７】
（効果）
解像度を低下させずにエッジや色の境界部に発生する偽色を低減可能な画像処理装置を提供することができる。
【０１６８】
１２．
９．において、前記パラメータ算出手段は、上記微小領域内に存在する色信号間の色相関関係を線形式として回帰し、上記線形式の定数項から領域分割のためのパラメータを算出する。
【０１６９】
（対応する発明の実施の形態）
この発明に関する実施の形態は、図１４〜図１８に示される第３実施形態に少なくとも対応する。構成中のパラメータ算出手段は、図１４に示される色相関回帰部３１５に該当する。
【０１７０】
この発明の画像処理装置の好ましい適用例は、図１４に示す処理切り換え部３０８からの信号に関して所定サイズの近傍領域が局所領域抽出部３１４にて抽出され、色相関回帰部３１５にて図１６に示す局所領域内の色相関関係の線形式の定数項に基づき領域分割がなされる画像処理装置である。
【０１７１】
（作用）
色相関関係による復元は、画像信号を色相関関係の線形式の定数項に基づき均一領域に分割し各領域ごとに色相関関係に基づき欠落する色信号を回復する。
【０１７２】
（効果）
解像度を低下させずにエッジや色の境界部に発生する偽色を低減可能な画像処理装置を提供することができる。
【０１７３】
１３．
９．において、前記パラメータ算出手段は、上記微小領域内に存在する色信号間の色相関関係を線形式として回帰し、上記線形式の回帰に使用した色信号の最大値および最小値を代入したときの誤差から領域分割のためのパラメータを算出する。
【０１７４】
（対応する発明の実施の形態）
この発明に関する実施の形態は、図１４、図１５、図１９〜図２１に示される第４実施形態に少なくとも対応する。構成中のパラメータ算出手段は、図１４に示される色相関回帰部３１５に該当する。
【０１７５】
この発明の画像処理装置の好ましい適用例は、図１４に示す処理切り換え部３０８からの信号に関して所定サイズの近傍領域が局所領域抽出部３１４にて抽出され、色相関回帰部３１５にて図１９に示す色相関関係の線形式に最大値・最小値を代入したときの誤差に基づき領域分割がなされる画像処理装置である。
【０１７６】
（作用）
色相関関係による復元は、画像信号を色相関関係の線形式に最大値・最小値を代入したときの誤差に基づき均一領域に分割し各領域ごとに色相関関係に基づき欠落する色信号を回復する。
【０１７７】
（効果）
解像度を低下させずにエッジや色の境界部に発生する偽色を低減可能な画像処理装置を提供することができる。
【０１７８】
１４．
９．において、上記撮像系で撮像された画像信号の欠落する色信号を線形補間にて回復する第２の回復手段と、
上記第１の回復手段と、上記第２の回復手段とを切り換える切り換え手段と、をさらに具備する。
【０１７９】
（対応する発明の実施の形態）、（作用）、
（効果）は６．と同様である。
【０１８０】
１５．
１４．において、前記切り換え手段は、撮像時の画像信号の画素数と出力媒体の要する画素数、または電子ズームの使用の有無に基づき自動的に切り換えを行う。
【０１８１】
（対応する発明の実施の形態）、（作用）、
（効果）は７．と同様である。
【０１８２】
１６．
１４．において、前記切り換え手段による切り換えは、手動によるものである。
【０１８３】
（対応する発明の実施の形態）、（作用）、
（効果）は８．と同様である。
【０１８４】
１７．
単板または二板または三板画素ずらし式撮像系を有する画像処理装置であって、
上記撮像系により撮像された画像信号の欠落する色信号を線形補間にて回復する第１の回復手段と、
この第１の回復手段により回復された画像信号を上記撮像系で得られる本来の画像信号に変換する変換手段と、
上記変換された画像信号の欠落する色信号を各色信号間の色相関関係に基づき回復する第２の回復手段と、
上記変換手段と上記第２の回復手段とを切り換える切り換え手段と、
を具備することを特徴とする画像処理装置。
【０１８５】
（対応する発明の実施の形態）
この発明に関する実施の形態は、図１４〜図１８に示される第３実施形態および図１４、図１５、図１９〜図２１に示される第４実施形態に少なくとも対応する。構成中の第１の回復手段は、図１４に示される線形補間部３０５に該当する。構成中の変換手段は、図１４に示される変換部３０９に該当する。構成中の第２の回復手段は、図１４に示される局所領域抽出部３１４、色相関回帰部３１５、局所領域分割部３１７、均一領域抽出部３１９、色相関回帰部３２１、欠落画素復元部３２２、加算平均部３２４に該当する。構成中の切り換え手段は、図１４に示される処理切り換え部３０８に該当する。
【０１８６】
この発明の画像処理装置の好ましい適用例は、図１４および図１５に示す入力部３０１からの画像信号がＲ信号用バッファ３０２、Ｇ信号用バッファ３０３、Ｂ信号用バッファ３０４にて保存され、線形補間部３０５にて欠落する色信号が復元されてメモリカード３０６に出力される。このメモリカード上の画像信号はカード読み取り部３０７にて読み取られ、処理切り換え部３０８にて迂回処理または加算平均部３２４にいたる処理が選択され、迂回処理が選択された場合はメモリカード上の画像信号がそのまま出力部３２５へ転送され、加算平均部３２４にいたる処理が選択された場合は色相関回帰部３２１と欠落画素復元部３２２により色相関関係を回帰した線形式に基づき欠落する色信号が回復されて出力部３２５へ転送される画像処理装置である。
【０１８７】
（作用）
線形補間に基づき欠落する色信号を回復する手段と、回復された色信号を撮像系の情報に基づき本来の画像信号に変換した後、この画像信号から色相関関係に基づき欠落する色信号を回復する手段を有し、後者の回復手段を迂回可能とする。
【０１８８】
（効果）
一度線形補間などの処理をした信号に対しても色信号を高精度に復元可能な画像処理装置を提供することができる。
【０１８９】
１８．
１７．において、前記切り換え手段は、撮像時の画像信号の画素数と出力媒体の要する画素数、または電子ズームの使用の有無に基づき自動的に切り換えを行う。
【０１９０】
（対応する発明の実施の形態）、（作用）、
（効果）は７．と同様である。
【０１９１】
１９．
前記切り換え手段による切り換えは、手動によるものである。
【０１９２】
（対応する発明の実施の形態）、（作用）、
（効果）は８．と同様である。
【０１９３】
２０．
単板または二板または三板画素ずらし式撮像系により撮像して得られた画像信号を画素単位で順次走査し現注目画素を包含する少なくとも一つ以上の近傍領域から領域分割のためのパラメータを算出するパラメータ算出処理と、
上記算出されたパラメータに基づき上記画像信号を単一な色相関関係が成立する均一領域に分割する画像信号分割処理と、
上記均一領域内に存在する色信号間の色相関関係を線形式として回帰する回帰処理と、
上記均一領域内に存在する色信号と上記線形式とに基づき欠落する色信号を回復する回復処理と、
をコンピュータに実行させる命令を含むプログラムを格納した、コンピュータが読み取り可能な記録媒体。
【０１９４】
（対応する発明の実施の形態）、（作用）、
（効果）は１．と同様である。
【０１９５】
２１．
単板または二板または三板画素ずらし式撮像系により撮像して得られた画像信号を画素単位で順次走査し現注目画素を包含する局所領域を抽出する局所領域抽出処理と、
上記抽出された局所領域内にて複数の微小領域を設定し、各微小領域から領域分割のためのパラメータを算出するパラメータ算出処理と、
上記算出されたパラメータに基づき上記局所領域を単一な色相関関係が成立する均一領域に分割する局所領域分割処理と、
上記局所領域内にて上記均一領域に基づき現注目画素と同一の領域に属する色信号を選択し、この色信号間の色相関関係を線形式として回帰する選択回帰処理と、
上記局所領域内にて上記均一領域に基づき現注目画素と同一の領域に属する色信号を選択し、この色信号と上記線形式に基づき現注目画素と同等の領域における欠落する色信号を回復する選択回復処理と、
をコンピュータに実行させる命令を含むプログラムを格納した、コンピュータが読み取り可能な記録媒体。
【０１９６】
（対応する発明の実施の形態）、（作用）、
（効果）は９．と同様である。
【０１９７】
２２． 単板または二板または三板画素ずらし式撮像系により撮像して得られた画像信号の欠落する色信号を線形補間にて回復する第１の回復処理と、
この第１の回復処理により回復された画像信号を上記撮像系で得られる本来の画像信号に変換する変換処理と、
上記変換された画像信号の欠落する色信号を各色信号間の色相関関係に基づき回復する第２の回復処理と、
上記変換処理と上記第２の回復処理とを切り換える切り換え処理と、
をコンピュータに実行させる命令を含むプログラムを格納した、コンピュータが読み取り可能な記録媒体。
【０１９８】
（対応する発明の実施の形態）、（作用）、
（効果）は１７．と同様である。
【０１９９】
【発明の効果】
請求項１または２０に記載の発明によれば、欠落する色信号を高精度にかつ高速に復元可能な画像処理装置を提供することができる。
【０２００】
また、請求項２〜５、１０〜１３に記載の発明によれば、解像度を低下させずにエッジや色の境界部に発生する偽色を低減可能な画像処理装置を提供することができる。
【０２０１】
また、請求項６または１４に記載の発明によれば、適切な処理時間で適切な画質を得ることが可能な画像処理装置を提供することができる。
【０２０２】
また、請求項７，１５，１８に記載の発明によれば、自動的処理にて適切な処理時間で適切な画質を得ることが可能な画像処理装置を提供することができる。
【０２０３】
また、請求項８，１６，１９に記載の発明によれば、使用者の希望に基づき処理時間または画質のどちらかを優先して信号処理を行なうことが可能な画像処理装置を提供することができる。
【０２０４】
また、請求項９または２１に記載の発明によれば、欠落する色信号を高精度にかつ低コストで復元可能な画像処理装置を提供することができる。
【０２０５】
また、請求項１７または２２に記載の発明によれば、一度線形補間などの処理をした信号に対しても色信号を高精度に復元可能な画像処理装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態の構成図である。
【図２】単板式ＣＣＤ入力部の説明図である。
【図３】本発明の第１実施形態におけるフィルタ配置図である。
【図４】スペクトル勾配に基づく領域分割の説明図である。
【図５】スペクトルの勾配とクラスの対応関係を示す図である。
【図６】色相関関係の線形式へ回帰の説明図である。
【図７】本発明の第１実施形態の作用を説明するためのフローチャート（その１）である。
【図８】本発明の第１実施形態の作用を説明するためのフローチャート（その２）である。
【図９】本発明の第２実施形態におけるフィルタ配置図である。
【図１０】輝度信号に基づく領域分割の説明図である。
【図１１】本発明の第２実施形態の作用を説明するためのフローチャート（その１）である。
【図１２】本発明の第２実施形態の作用を説明するためのフローチャート（その２）である。
【図１３】原色フィルタの輝度信号算出の説明図である。
【図１４】本発明の第３実施形態の構成図である。
【図１５】二板ＣＣＤ入力部の説明図である。
【図１６】定数項に基づく領域分割の説明図である。
【図１７】本発明の第３実施形態の作用を説明するためのフローチャート（その１）である。
【図１８】本発明の第３実施形態の作用を説明するためのフローチャート（その２）である。
【図１９】最大値・最小値による線形式の検証の説明図である。
【図２０】本発明の第４実施形態の作用を説明するためのフローチャート（その１）である。
【図２１】本発明の第４実施形態の作用を説明するためのフローチャート（その２）である。
【図２２】電子スチルカメラシステムの構成例を示す図である。
【図２３】単板式撮像素子のフィルタ配置の説明図である。
【符号の説明】
１０１…入力部、
１０２…Ｒ信号用バッファ、
１０３…Ｇ信号用バッファ、
１０４…Ｂ信号用バッファ、
１０５…処理切換部、
１０６…近傍領域抽出部、
１０７…パラメータ算出部、
１０８…パラメータ用バッファ、
１０９…画像信号分割部、
１１０…分割画像用バッファ、
１１１…均一領域抽出部、
１１２…均一領域用バッファ、
１１３…色相関回帰部、
１１４…欠落画素復元部、
１１５…復元画像用バッファ、
１１６…線形補間部、
１１７…出力部。

Claims (18)

1. 単板または二板または三板画素ずらし式撮像系を介して得られた画像信号を処理する画像処理装置であって、
   上記画像信号を画素単位で順次走査し現注目画素を包含する少なくとも一つ以上の近傍領域から領域分割のためのパラメータを算出するパラメータ算出手段と、
   上記算出されたパラメータに基づき上記画像信号を単一な色相関関係が成立する均一領域に分割する画像信号分割手段と、
   上記均一領域内に存在する色信号間の色相関関係を線形式として回帰する回帰手段と、
   上記均一領域内に存在する色信号と上記線形式とに基づき欠落する色信号を回復する第１の回復手段と、
   を具備することを特徴とする画像処理装置。
2. 前記パラメータ算出手段は、上記近傍領域内に存在する色信号から分光スペクトルの勾配を求め、上記勾配の大小関係から領域分割のためのパラメータを算出することを特徴とする請求項１記載の画像処理装置。
3. 前記パラメータ算出手段は、上記近傍領域内に存在する色信号から輝度信号を求め、上記輝度信号のエッジ強度から領域分割のためのパラメータを算出することを特徴とする請求項１記載の画像処理装置。
4. 前記パラメータ算出手段は、上記近傍領域内に存在する色信号間の色相関関係を線形式として回帰し、上記線形式の定数項から領域分割のためのパラメータを算出することを特徴とする請求項１記載の画像処理装置。
5. 前記パラメータ算出手段は、上記近傍領域内に存在する色信号間の色相関関係を線形式として回帰し、上記線形式の回帰に使用した色信号の最大値および最小値を代入したときの誤差から領域分割のためのパラメータを算出することを特徴とする請求項１記載の画像処理装置。
6. 上記撮像系で撮像された画像信号の欠落する色信号を線形補間にて回復する第２の回復手段と、
   上記第１の回復手段と、上記第２の回復手段とを切り換える切り換え手段と、をさらに具備することを特徴とする請求項１記載の画像処理装置。
7. 前記切り換え手段は、撮像時の画像信号の画素数と出力媒体の要する画素数、または電子ズームの使用の有無に基づき自動的に切り換えを行うことを特徴とする請求項６記載の画像処理装置。
8. 前記切り換え手段による切り換えは、手動によるものであることを特徴とする請求項６記載の画像処理装置。
9. 単板または二板または三板画素ずらし式撮像系を介して得られた画像信号を処理する画像処理装置であって、
   上記画像信号を画素単位で順次走査し現注目画素を包含する局所領域を抽出する局所領域抽出手段と、
   上記抽出された局所領域内にて複数の微小領域を設定し、各微小領域から領域分割のためのパラメータを算出するパラメータ算出手段と、
   上記算出されたパラメータに基づき上記局所領域を単一な色相関関係が成立する均一領域に分割する局所領域分割手段と、
   上記局所領域内にて上記均一領域に基づき現注目画素と同一の領域に属する色信号を選択し、この色信号間の色相関関係を線形式として回帰する選択回帰手段と、
   上記局所領域内にて上記均一領域に基づき現注目画素と同一の領域に属する色信号を選択し、この色信号と上記線形式に基づき現注目画素と同等の領域における欠落する色信号を回復する第１の回復手段と、を具備することを特徴とする画像処理装置。
10. 前記パラメータ算出手段は、上記微小領域内に存在する色信号から分光スペクトルの勾配を求め、上記勾配の大小関係から領域分割のためのパラメータを算出することを特徴とする請求項９記載の画像処理装置。
11. 前記パラメータ算出手段は、上記微小領域内に存在する色信号から輝度信号を求め、上記輝度信号のエッジ強度から領域分割のためのパラメータを算出することを特徴とする請求項９記載の画像処理装置。
12. 前記パラメータ算出手段は、上記微小領域内に存在する色信号間の色相関関係を線形式として回帰し、上記線形式の定数項から領域分割のためのパラメータを算出することを特徴とする請求項９記載の画像処理装置。
13. 前記パラメータ算出手段は、上記微小領域内に存在する色信号間の色相関関係を線形式として回帰し、上記線形式の回帰に使用した色信号の最大値および最小値を代入したときの誤差から領域分割のためのパラメータを算出することを特徴とする請求項９記載の画像処理装置。
14. 上記撮像系で撮像された画像信号の欠落する色信号を線形補間にて回復する第２の回復手段と、
    上記第１の回復手段と、上記第２の回復手段とを切り換える切り換え手段と、をさらに具備することを特徴とする請求項９記載の画像処理装置。
15. 前記切り換え手段は、撮像時の画像信号の画素数と出力媒体の要する画素数、または電子ズームの使用の有無に基づき自動的に切り換えを行うことを特徴とする請求項１４記載の画像処理装置。
16. 前記切り換え手段による切り換えは、手動によるものであることを特徴とする請求項１４記載の画像処理装置。
17. 単板または二板または三板画素ずらし式撮像系を介して得られた画像信号を画素単位で順次走査し現注目画素を包含する少なくとも一つ以上の近傍領域から領域分割のためのパラメータを算出するパラメータ算出処理と、
    上記算出されたパラメータに基づき上記画像信号を単一な色相関関係が成立する均一領域に分割する画像信号分割処理と、
    上記均一領域内に存在する色信号間の色相関関係を線形式として回帰する回帰処理と、
    上記均一領域内に存在する色信号と上記線形式とに基づき欠落する色信号を回復する回復処理と、
    をコンピュータに実行させる命令を含むプログラムを格納した、コンピュータが読み取り可能な記録媒体。
18. 単板または二板または三板画素ずらし式撮像系を介して得られた画像信号を画素単位で順次走査し現注目画素を包含する局所領域を抽出する局所領域抽出処理と、
    上記抽出された局所領域内にて複数の微小領域を設定し、各微小領域から領域分割のためのパラメータを算出するパラメータ算出処理と、
    上記算出されたパラメータに基づき上記局所領域を単一な色相関関係が成立する均一領域に分割する局所領域分割処理と、
    上記局所領域内にて上記均一領域に基づき現注目画素と同一の領域に属する色信号を選択し、この色信号間の色相関関係を線形式として回帰する選択回帰処理と、
    上記局所領域内にて上記均一領域に基づき現注目画素と同一の領域に属する色信号を選択し、この色信号と上記線形式に基づき現注目画素と同等の領域における欠落する色信号を回復する選択回復処理と、
    をコンピュータに実行させる命令を含むプログラムを格納した、コンピュータが読み取り可能な記録媒体。

Images