JPWO2004088992A1 - 画像処理装置及び画像処理プログラム - Google Patents

Abstract

画像処理装置は、光学像を撮像系により撮像した画像を入力し、各画素で欠落する色成分を補ってカラー画像を出力する。重み設定部は、注目画素を含む所定サイズの近傍において、注目画素から発する複数の方向Ｓ１，Ｓ２，．．Ｓｎ（ｎは１以上の整数）の各方向Ｓｋ（ｋは１からｎの整数）に対する重みＷｋを設定する。平均算出部は、前記所定サイズの近傍において各方向Ｓｋ（ｋは１からｎの整数）上にあり、かつ特定の色成分を有する画素の画素値Ｖｋに対し、画素値Ｖ１からＶｎの前記重みＷ１からＷｎによる加重平均を計算する。復元部は、複数種類の色成分に対して前記平均算出部により加重平均を算出し、この加重平均結果と、前記注目画素の画素値とに基づいて、前記注目画素において欠落する色成分の値を復元する。

Description

本発明は画像処理装置及び画像処理プログラムに関し、特に、例えば単板撮像系または二板撮像系または三板画素ずらし撮像系から出力された画像をコンピュータにより処理し、画素ごとに３色成分値をもつカラーデジタル画像を生成する画像処理装置及び画像処理プログラムに関する。

デジタルカメラ等に利用されている単板撮像系では、画素ごとに異なる色フィルタを装着した単板撮像素子を用いており、このような単板撮像素子からの出力画像においては、各画素につき一種類の色成分値しか得られない。その結果、カラーデジタル画像を生成するためには、各画素で欠落している色成分値を補うカラー化処理が必要となる。これは、二板撮像系や三板画素ずらし撮像系を用いる場合でも同様である。
このカラー化処理は、工夫しないと最終的なカラー画像にぼけや偽色などの劣化が生じる。そのため、従来から種々の方法が提案されている。例えばエッジ検出に関する技術が開示された特開平８−２９８６６９号公報では、図１５Ａに示す色フィルタ配置を持つ単板ベイヤ配列の撮像素子に対し、図１５Ｂに示すように注目画素の周囲に十字状の近傍をとり、注目画素に対する水平方向と垂直方向の補間値Ｇｈ，Ｇｖを、

と推定する。次に、水平、垂直どちらの方向に段差が多いかを示す評価値ｄＨ，ｄＶを、

と計算し、評価値が小さく、より平坦と判断された方向の補間値を用いる。なお、｜ｘ｜はｘの絶対値を表す。また、＊は乗算を示している。
また、もう一つの従来技術の例である特開平１０−１６４６０２号公報では、水平方向に対して差分｜Ｇ２−Ｇ８｜を求め、その関数として値ｎを算出する。また、垂直方向に対しても差分｜Ｇ４−Ｇ６｜を求め、その関数として値ｍを算出する。そして、最終的な注目画素の補間結果Ｇｘを、

と、水平方向の画素値と垂直方向の画素値の重み付けで求める。この式は、実質的に、垂直方向の補間値

を計算し、それらの加重平均

を算出することに等しい。
上記の従来技術では、図１５Ｃに示すような斜めの色エッジの場合、水平、垂直どちらの方向でも色エッジをまたいで補間結果Ｇｈ，Ｇｖを算出するため、誤差が大きくなる。また、特に、水平、垂直いずれかの方向を選択する従来技術の場合、平坦で周囲の画素全てを用いて補間した方が望ましい場合にも、補間結果算出に用いる画素が限られてしまい、ノイズ低減効果が少ない。

本発明の目的は、水平、垂直のエッジ以外のパターンに対しても最適な補間を行った高精度なカラー化処理が可能な画像処理装置及び画像処理プログラムを提供することにある。
本発明の第１の側面によれば、光学像を撮像系により撮像した画像を入力し、各画素で欠落する色成分を補ってカラー画像を出力する画像処理装置であって、注目画素を含む所定サイズの近傍において、注目画素から発する複数の方向Ｓ１，Ｓ２，．．Ｓｎ（ｎは１以上の整数）の各方向Ｓｋ（ｋは１からｎの整数）に対する重みＷｋを設定する重み設定部と、前記所定サイズの近傍において各方向Ｓｋ（ｋは１からｎの整数）上にあり、かつ特定の色成分を有する画素の画素値Ｖｋに対し、画素値Ｖ１からＶｎの前記重みＷ１からＷｎによる加重平均を計算する平均算出部と、複数種類の色成分に対して前記平均算出部により加重平均を算出し、この加重平均結果と、前記注目画素の画素値とに基づいて、前記注目画素において欠落する色成分の値を復元する復元部と、を具備する。
また、本発明の第２の側面によれば、第１の側面に係る画像処理装置に関し、前記重み設定部は、所定の色成分に関して、前記近傍内での各方向Ｓｋに平行に並び、かつ該当色成分を有する二つの画素の組を一組以上選択し、前記各方向Ｓｋに対する重みＷｋを、各組の画素値差分に基づいて計算する。
また、本発明の第３の側面によれば、第２の側面に係る画像処理装置に関し、前記重み設定部は、複数種類の色成分に関する前記各組の画素値差分を計算し、前記画素値差分に所定の係数を乗じて総和した値に基づいて、前記各方向Ｓｋに対する重みＷｋを決定する。
また、本発明の第４の側面によれば、第１の側面に係る画像処理装置に関し、前記重み設定部は、前記注目画素における所定の色成分の概算値を前記所定サイズの近傍内で推定する推定部を有し、前記各方向Ｓｋに対する重みＷｋを、各方向Ｓｋ上にありかつ前記所定の色成分を有する画素の画素値と、前記概算値との差分に基づいて計算する。
また、本発明の第５の側面によれば、第１の側面に係る画像処理装置に関し、前記重み設定部は、前記各方向Ｓｋに対する重みＷｋの計算において、前記所定サイズの近傍内で各方向Ｓｋに平行に並び、かつ所定の色成分を有する二つの画素の組を複数選択し、各組の画素値差分の最小値を計算する。
また、本発明の第６の側面によれば、第２、第３，第５のいずれか１つの側面に係る画像処理装置に関し、前記重み設定部は、前記各方向Ｓｋに対する画素値差分の計算を１からｎの全ての整数に対して行った後、前記画素値差分の最大値を求め、その大きさが小さいほど各方向に対する重みが均等になるように重みを計算する。
また、本発明の第７の側面によれば、第３または第５のいずれか１つの側面に係る画像処理装置に関し、前記重み設定部は、前記各方向Ｓｋに対する画素値差分に反比例し、かつ前記複数の方向に渡る重みの総和が１になるように前記各方向に対する重みＷｋを計算する。
また、本発明の第８の側面によれば、第２、第３、第５のいずれか１つの側面に係る画像処理装置に関し、前記重み設定部は、前記注目画素における色成分間のエッジのずれ量を評価する色ずれ評価部を有し、この色ずれ評価部での評価結果に応じて重みの計算方法を変える。
また、本発明の第９の側面によれば、第８の側面に係る画像処理装置に関し、前記重み設定部は、前記所定の係数を前記色ずれ評価部での評価結果に応じて変化させることで前記重みの計算方法を変える。
また、本発明の第１０の側面によれば、第１の側面に係る画像処理装置に関し、前記復元部は、前記注目画素の画素値および前記複数種類の色成分に対する前記平均算出部の加重平均結果に所定の係数を乗じた後、総和して前記欠落する色成分の値を求める。
また、本発明の第１１の側面によれば、第１又は第１０の側面に係る画像処理装置に関し、前記復元部は、前記注目画素における色成分間のエッジのずれ量を評価する色ずれ評価部を有し、この色ずれ評価部での評価結果に応じて前記欠落する色成分の計算方法を変える。
また、本発明の第１２の側面によれば、第１０の側面に係る画像処理装置に関し、前記復元部は、前記注目画素における色成分間のエッジのずれ量を評価する色ずれ評価部を有し、前記所定の係数を前記色ずれ評価部の評価結果に応じて変化させることで前記欠落する色成分の計算方法を変える。
また、本発明の第１３の側面によれば、第８または第１１または第１２のいずれか１つの側面に係る画像処理装置に関し、前記色ずれ評価部は、前記光学像が有する色収差に基づいて色成分間のエッジのずれ量を評価する。
また、本発明の第１４の側面によれば、第３の側面に係る画像処理装置に関し、前記単板撮像素子は原色ベイヤ配列のモザイクフィルタを有し、前記注目画素において色成分ＲまたはＢが得られており、前記注目画素に対する上下左右の４方向を前記複数の方向Ｓ１からＳ４とし、前記複数種類の色成分は、当該注目画素において得られている色成分、およびＧであり、前記欠落する色成分がＧである。
また、本発明の第１５の側面によれば、第３の側面に係る画像処理装置に関し、前記単板撮像素子は原色ベイヤ配列のモザイクフィルタを有し、前記注目画素において色成分Ｇが得られており、当該注目画素と、この注目画素を中心とする所定サイズの近傍内で色成分Ｒを有する画素の各々を結んだ方向を前記複数の方向とし、前記複数種類の色成分はＲおよびＧであり、前記欠落する色成分がＲである。
また、本発明の第１６の側面によれば、第３の側面に係る画像処理装置に関し、前記単板撮像素子は原色ベイヤ配列のモザイクフィルタを有し、前記注目画素において色成分Ｇが得られており、当該注目画素と、この注目画素を中心とする所定サイズ近傍内で色成分Ｂを有する画素の各々とを結んだ方向を前記複数の方向とし、前記複数種類の色成分はＢおよびＧであり、前記欠落する色成分がＢである。
また、本発明の第１７の側面によれば、第１１の側面に係る画像処理装置に関し、前記複数の方向は、前記注目画素の所定サイズの近傍において、前記注目画素において欠落する色成分と、当該注目画素において得られている色成分のうちいずれか一つと、の両方の色成分が得られている画素の各々と、前記注目画素とを結んだ方向に設定される。
また、本発明の第１８の側面によれば、第１７の側面に係る画像処理装置に関し、前記単板撮像素子は原色ベイヤ配列のモザイクフィルタを有し、前記注目画素において欠落する色成分がＲまたはＢであり、前記注目画素において得られている色成分のうちいずれか一つはＧである。
また、本発明の第１９の側面によれば、第９の側面に係る画像処理装置に関し、前記所定の係数を前記色ずれ評価部での評価結果に応じて変化させる際に、前記注目画素で得られている色成分とのずれ量が大きな色成分の種類を調べ、該当色成分に関する前記画素値差分に対して割り当てる係数を小さくする。
また、本発明の第２０の側面によれば、第１２の側面に係る画像処理装置に関し、前記所定の係数を前記色ずれ評価部での評価結果に応じて変化させる際に、前記欠落を復元したい色成分とのずれ量が大きな色成分の種類を調べ、該当色成分に関する前記加重平均結果に割り当てる係数を小さくする。
また、本発明の第２１の側面によれば、コンピュータに光学像を撮像系により撮像した画像を入力し、各画素で欠落する色成分を補ってカラー画像を出力する画像処理プログラムであって、前記コンピュータに、注目画素を含む所定サイズの近傍において、注目画素から発する複数の方向Ｓ１，Ｓ２，．．Ｓｎ（ｎは１以上の整数）の各方向Ｓｋ（ｋは１からｎの整数）に対する重みＷｋを設定する重み設定機能と、前記所定サイズの近傍において各方向Ｓｋ（ｋは１からｎの整数）上にあり、かつ特定の色成分を有する画素の画素値Ｖｋに対し、画素値Ｖ１からＶｎの前記重みＷ１からＷｎによる加重平均を計算する平均機能と、複数種類の色成分に対して前記平均機能により加重平均を算出し、この加重平均結果と、前記注目画素の画素値とに基づいて、前記注目画素において欠落する色成分の値を復元する復元機能と、を実現させる。
また、本発明の第２２の側面によれば、第２１の側面に係る画像処理プログラムに関し、前記重み設定機能は、複数の色成分各々に対して前記近傍内での方向Ｓｋに平行に並びかつ該当色成分を有する二つの画素の組を一組以上選択し、前記各組の画素値差分に所定の係数を乗じて緩和した値に基づいて、前記各方向Ｓｋに対する重みＷｋを計算する。
また、本発明の第２３の側面によれば、第２１の側面に係る画像処理プログラムに関し、前記復元機能は、前記注目画素における色成分間のエッジのずれ量を評価する色ずれ評価機能を有し、この色ずれ評価機能での評価結果に応じて前記欠落する色成分の計算方法を変える。
また、本発明の第２４の側面によれば、第２１の側面に係る画像処理プログラムに関し、前記復元機能は、前記注目画素における色成分間のエッジのずれ量を評価する色ずれ評価機能を有し、当該注目画素の画素値、および前記複数種類の色成分に対する前記平均機能の加重平均結果に、前記色ずれ評価機能の評価結果に応じて変わる係数を乗じた後、総和して前記欠落する色成分の値を求める。
また、本発明の第２５の側面によれば、第２３または第２４のいずれか１つの側面に係る画像処理プログラムに関し、前記色ずれ評価機能は、前記光学像の有する色収差に基づいて色成分間のエッジのずれ量を評価する。

図１は、本発明の第１実施形態に係る画像処理装置としてのデジタルカメラ１００の概略構成を示すブロック図である。
図２は、重み計算回路Ａ１０６で設定される重み計算用の領域の説明図である。
図３Ａ，３Ｂは、重み計算回路Ｂ１１２における一回目の動作時の作用説明図（その１）である。
図４は、重み計算回路Ｂ１１２における一回目の動作時の作用説明図（その２）である。
図５Ａ，５Ｂは、重み計算回路Ｂ１１２における一回目の動作時の作用説明図（その３）である。
図６Ａ，６Ｂ，６Ｃは、重み計算回路Ｂ１１２における二回目の動作時の作用説明図である。
図７は、本発明の第１実施形態における好ましい第二の変形例における推定回路１１９の図である。
図８は、本発明の第１実施形態において、第三の好ましい変形例で設定される重み計算用の領域の説明図である。
図９は、本発明の第１実施形態に対応したソフト処理のフローである。
図１０は、本発明の第１実施形態に対応したソフト処理におけるＲＢ復元処理のフローである。
図１１は、本発明の第２実施形態に係る画像処理装置としてのデジタルカメラ１００の概略構成を示すブロック図である。
図１２Ａ，１２Ｂは、色ずれ量に応じて重み計算を制御する関数の説明図である。
図１３は、本発明の第２実施形態中好ましい変形例における色ずれ判定回路２２０の図である。
図１４は、本発明の第２実施形態に対応したソフト処理における色ずれ量計算のフローである。
図１５Ａ，Ｂ，Ｃは、従来技術の説明図である。

以下、図面を参照して本発明の実施形態について詳細に説明する。
（第１実施形態）
図１は、本発明の第１実施形態に係る画像処理装置としてのデジタルカメラ１００の概略構成を示すブロック図である。デジタルカメラ１００は、図１に示すように、光学系１０１と、単板ベイヤ配列ＣＣＤ１０２と、単板ベイヤ配列ＣＣＤ１０２からの出力画像を記憶する単板画像バッファ１０３と、単板画像バッファ１０３内の画像に対し、Ｇ成分が欠落している画素位置におけるＧ成分を推定してＧ成分画像を生成し、これをＧ画像バッファ１０９に記憶するＧ復元回路１０４と、Ｇ画像バッファ１０９に記憶されたＧ成分画像および単板画像バッファ１０３内の画像に基づいてＲおよびＢ成分の欠落を復元し、３色カラー画像を生成してカラー画像バッファ１１５に記憶するＲ／Ｂ復元回路１１０と、カラー画像バッファ１１５内の３色カラー画像に対して色変換やエッジ強調を行う画質調整回路１１６と、画質の調整された画像を記録する記録回路１１７と、前記した各回路の動作を制御する制御回路１１８とからなる。
上記したＧ復元回路１０４は、重み計算回路Ａ１０６と、平均回路Ａ１０７と、Ｇ計算回路１０８とからなり、ＲＢ復元回路１１０は、重み計算回路Ｂ１１２と、平均回路Ｂ１１３と、ＲＢ計算回路１１４とからなる。重み計算回路Ａ１０６および重み計算回路Ｂ１１２は、いずれも近傍の複数の方向に対して凹凸度を評価し、評価結果に基づいて各領域に割り当てる重みを計算するが、計算方法は異なる。
また、平均回路Ａ１０７および平均回路Ｂ１１３は、いずれも各方向で特定色成分を有する画素を選択し、各方向に割り当てられた重みに基づいて選択した画素の画素値の加重平均を計算するが、計算方法は異なる。
また、Ｇ計算回路１０８は、平均回路Ａ１０７から得られた色成分ごとの加重平均結果から最終的に欠落するＧ成分の値を計算し、ＲＢ計算回路１１４は平均回路Ｂ１１３から得られた色成分ごとの加重平均結果から最終的に欠落するＲ成分ないしＢ成分の値を計算する。
上記したデジタルカメラ１００の作用は以下の通りである。図示しないシャッタがユーザにより押下されると、まず、光学系１０１による光学像が単板ベイヤ配列ＣＣＤ１０２で撮像され、各画素あたり一種類の色成分しかない単板状態の画像が単板画像バッファ１０３に得られる。次に、重み計算回路Ａ１０６は、単板画像バッファ１０３内の単板状態の画像の各画素に対して処理を行うが、注目画素で得られている色成分の種類により処理が異なる。
注目画素で得られている色成分がＧの場合、画素値をそのままＧ画像バッファ１０９の対応する画素位置に書き込む。
一方、注目画素でＲまたはＢ成分が得られている場合は、欠落するＧ成分を補う処理を行う。以下、注目画素で得られている色成分が図２のようにＢの場合を例に説明するが、注目画素で得られている色成分がＲの場合はＢをＲに置き換えればよい。
この場合、図２に示すように、まず注目画素の５×５近傍内で上下左右の４方向に計算用の領域Ｓｊ（ｊは１から４の整数）を設定し、各領域Ｓｊに対し、領域に隣接するＧ画素も利用して、以下の式で凹凸度Ｅｊを計算する。式中、ｍｉｎ（ｘ，ｙ）はｘとｙの小さい方を返す関数である。

ここで算出された凹凸度Ｅｊは、各領域が平坦でないほど大きく、平坦なほど小さくなる指標である。
次に、重み計算回路Ａ１０６は、凹凸度Ｅｊから、各方向に対する重みＷｊを、

に従って計算し、結果を平均回路Ａ１０７に出力する。
平均回路Ａ１０７では、重み計算回路Ａ１０７から入力された重みＷ１からＷ４に基づいて、各領域Ｓｊ内の画素値を使って色成分ごとの加重平均を計算し、結果をＧ計算回路１０８に出力する。具体的には、色成分Ｇに対しては領域Ｓ１〜Ｓ４からそれぞれＧ６，Ｇ８，Ｇ４，Ｇ２をとり、加重平均

を計算する。また、色成分Ｂに対しては、領域Ｓ１〜Ｓ４からそれぞれＢ７，Ｂ９，Ｂ３，Ｂ１をとり、加重平均

を計算する。ただし、色成分Ｒに対しては、領域Ｓ１〜Ｓ４にＲ成分が含まれていないので計算しない。
Ｇ計算回路１０８では、平均回路Ａ１０７から出力されたＧａ，Ｂａおよび注目画素で得られているＢ５から、最終的に欠落するＧ成分Ｇ５を、Ｇ５＝Ｇａ＋（Ｂ５−Ｂａ）と計算し、Ｇ画像バッファ１０９内の対応する画素位置に書きこむ。
単板画像バッファ１０３内の画像の全画素に対してこれらの一連の処理が終了すると、Ｇ画像バッファ１０９にはＧ成分の欠落が補われた画像が得られる。その後、制御回路１１８はＲＢ復元回路１１０を動作させる。ＲＢ復元回路１１０内では、重み計算回路Ｂ１１２が単板画像バッファ１０３内の画像の各画素に対する処理を開始するが、各画素で単板ベイヤ配列ＣＣＤ１０２から得られている色成分の種類により、処理が異なる。
まず、注目画素で得られている色成分がＧ以外の場合は、注目画素の画素値をカラー画像バッファ１１５に書きこむ。また、Ｇ画像バッファ１０９から注目画素に対応する画素位置の画素値を読み出し、同じくカラー画像バッファ１１５に書きこむ。
一方、注目画素で得られている色成分がＧの場合は、単板画像バッファ１０３から注目画素の周囲５×５の近傍の画素値を読み出し、同時に、Ｇ画像バッファ１０９からも対応する近傍の画素値を読み出して、複数の方向に対する凹凸度を計算する。
計算する方向は図３Ａ，３Ｂに示すＤ１〜Ｄ１２の１２方向で、計算用の領域は図４のＳ１〜Ｓ１２である。各領域は、近傍内で色成分ＲまたはＢが得られている画素（図３中斜線で示した部分）と注目画素の二つの画素からなっている。
各方向Ｄｊ（ｊは１から１２までの整数）に対する凹凸度Ｅｊは、各領域Ｓｊに含まれる二つの画素のＧ成分の差分により計算される。例えば、５×５近傍において得られている色成分のパターンが図５Ａの場合、方向Ｄ１に対する凹凸度は、Ｅ１＝｜Ｇ２−Ｇ１３｜と算出され、Ｄ７に対する凹凸度は、Ｅ７＝｜Ｇ６−Ｇ１３｜となる。
次に、重み計算回路Ｂ１１２は各方向Ｄｊの凹凸度Ｅｊから、以下のように方向ごとの重みを計算する。

そして、これらの計算結果を平均回路Ｂ１１３に出力する。Ｄ１〜Ｄ６とＤ７〜Ｄ１２の二組に分けて計算している理由は、各領域で得られる色成分のパターンが異なるからである。５×５近傍において得られている色成分のパターンが図５Ａの場合は、Ｄ１〜Ｄ６に対応する領域Ｓ１〜Ｓ６ではＧ成分とＢ成分、Ｄ７〜Ｄ１２に対応する領域Ｓ１〜Ｓ６ではＧ成分とＲ成分が得られる。５×５内で得られる色成分のパターンとしては他に図５Ｂがあるが、この場合はＤ１〜Ｄ６に対応する領域Ｓ１〜Ｓ６ではＧ成分とＲ成分、Ｄ７〜Ｄ１２に対応する領域Ｓ１〜Ｓ６ではＧ成分とＢ成分が得られる。
平均回路Ｂ１１３は、重み計算回路Ｂ１１２において設けられた各方向ごとに、まず計算用の領域Ｓｊ（ｊは１〜１２までの整数）から、注目画素以外の画素を選択する。例えば、図５Ａにおいて、Ｓ１からは色成分Ｂに対してＢ２、色成分Ｇに対してＧ２を選ぶ。そして、Ｄ１〜Ｄ６とＤ７〜Ｄ１２の二通りの方向の組に対し、対応する領域から選択された画素の画素値を方向ごとの重みで加重平均し、色成分ごとの近傍内の平均Ｒａ，Ｇａ，Ｂａを求める。ただし領域に該当する色成分が含まれない場合は計算は行わない。図５Ａおよび図５Ｂに対して行われる加重平均の計算式は、図５Ａに対して：

図５Ｂに対して：

近傍内の加重平均がこのように完了すると、平均回路Ｂ１１３は加重平均結果をＲＢ計算回路１１４に出力する。
ＲＢ計算回路１１４では、注目画素の画素値と平均回路Ｂ１１３からの出力に基づいて、以下のように欠落色成分Ｂ１３およびＲ１３を計算する：

そして、計算結果をカラー画像バッファ１１５の注目画素に対応する位置に書き込む。 なお、式（９）でＢａやＲａに、さらにＧａ１やＧａ２と注目画素のＧ成分との差を加えている理由は、ＢａやＲａをそのまま欠落色成分の推定値とすると、注目画素自身の情報が利用されないために全体的にのっぺりした不自然な印象が生じてしまう現象を防ぐためである。
ここまでの処理が単板画像バッファ１０３内の画像の全ての画素に対して終了すると、カラー画像バッファ１１５内に単板画像バッファ１０３と同じ画素数の画像が生成され、各画素では、ＲＧＢ全ての色成分が得られているか、またはＲ成分またはＢ成分のみが欠落する状態となる。すると、次に重み計算回路Ｂ１１２が再度作動する。
重み計算回路Ｂ１１２は、今度はカラー画像バッファ１１５の各画素の近傍を読み出して処理を行うが、注目画素でＲＧＢ全ての色成分が得られている場合は何もしない。欠落している色成分がある画素では、注目画素の３×３近傍の画素値をカラー画像バッファ１１５から読み出し、まず図６Ｃに示すように上下左右および４つの対角方向の計８方向Ｄ１〜Ｄ８で近傍内の凹凸度を計算する。図６Ａは、３×３近傍で得られる色成分のパターンを例示したものだが、計算用の領域は、方向Ｄ１〜Ｄ８に対し、図６Ｂに示すように注目画素の周囲で３×３近傍に含まれる８画素のいずれかと注目画素との２画素からなるＳ１〜Ｓ８の８通りである。方向Ｄｊの凹凸度Ｅｊは、領域Ｓｊに含まれる二つの画素のＧ成分の差分で評価する。例えばＤ１に対する凹凸度は、Ｅ１＝｜Ｇ１−Ｇ５｜と算出され、Ｄ５における凹凸度は、Ｅ７＝｜Ｇ９−Ｇ５｜となる。そして、全領域の凹凸度の計算が終了すると、凹凸度Ｅｊから、各方向に対する重みを以下のように計算する（ｊは１から８までの整数）

そして、結果を平均回路Ｂ１１３に出力する。なお、３×３近傍で得られる色成分のパターンとしては、他に図６ＡのＲとＢを入れ替えたものがあるが、この場合でも重みの計算は同一となる。
平均回路Ｂ１１３では、各方向Ｄｊに対し、Ｓｊから注目画素以外の画素を選択する。そして、注目画素で欠落する色成分Ｃ（ＣはＲ，Ｂのいずれか）および色成分Ｇに対し、選択された画素の画素値を平均回路Ｂ１１３から出力された重みＷｊで加重平均した値

をＲＢ計算回路１１４に出力する。
ＲＢ計算回路１１４では、注目画素においてすでに計算されているＧ成分Ｇ５および平均計算回路Ｂ１１３から出力された加重平均値を用いて、注目画素において欠落する色成分Ｃ５（ＣはＲ，Ｂのいずれか）を、Ｃ５＝Ｃａ＋（Ｇ５−Ｇａ）と推定する。そして、結果をカラー画像バッファ１１５の対応する画素位置に書き込む。
ここまでの処理が完了すると、カラー画像バッファ１１５には全画素で欠落色成分が復元されたカラー画像が得られる。その後、得られたカラー画像は画質調整回路１１６により色変換、エッジ強調、階調変換などの処理を施され、記録回路１１７により図示しない記録媒体に記録され、デジタルカメラ１００の撮像動作が完了する。
なお、本実施形態には多くの変形例が考えられる。第一の好ましい変形例は、重み計算回路Ａ１０６における重み計算の仕方である。重み計算回路Ａ１０６では、各方向に対して算出された凹凸度に基づいて重み計算を行うが、前述の計算式（４），（７），（１０）では、凹凸度の絶対的な大小に関係なく同じ重み付けを行ってしまう。しかし、現実的には凹凸度が全方向で一様に小さい場合はノイズの影響が支配的と考えられ、重み付けもできるだけ均等にするほうが望ましい。そこで、例えば計算式（１０）を以下のように変形し、Ｗｊに替えて以下の新しい重みＷ’ｊを用いる。

式中、Ｗｊは式（１０）で計算された値である。また、ｈ（ｘ）はｘの単調減少な関数，ｍａｘ（ｖ１，ｖ２，．．ｖ８）はｖｊ（ｊは１から８の整数）中最大値を与える関数である。これにより、近傍における凹凸度の絶対的な大きさが大きいほどγは小さく、逆に小さいとγは大きくなる。その結果、ノイズの影響が相対的に小さい場合は式（１０）で計算される重み付けに近づき、ノイズの影響が大きい場合は均等な重み付けに近づくように重みが計算される。
第二の好ましい変形例は、重み計算回路Ａ１０６の計算方法の変更である。重み計算回路Ａ１０６では、各方向の凹凸度をＧ成分の差分で評価しているが、画像パターンによってはＧ成分がほとんど変化せずＲ，Ｂ成分だけが変化している場合もありうる。そのような場合に対処するため、図５Ａ，Ｂにおいて各方向Ｄｊの凹凸度を、Ｇ以外の色成分も用いて計算する。そのために、重み計算回路Ａ１０６は図７に示す推定回路１１９を有し、注目画素におけるＧ以外の色成分の値を推定する。例えば図３の場合、Ｄ１からＤ６の方向に対しては、注目画素のＢ成分の推定値としてＢ’＝（Ｂ１２＋Ｂ１４）／２を計算し、凹凸度Ｅｊ（ｊは１から６の整数）を、Ｅｊ＝｜Ｇｋ−Ｇ１３｜＋｜Ｂ’−Ｂｋ｜と計算する。
ここで、ｋは領域Ｓｊに含まれる注目画素以外の画素の番号である。Ｄ７からＤ１２の方向に対しては、注目画素のＲ成分の推定値としてＲ’＝（Ｒ８＋Ｒ１８）／２を計算し、凹凸度Ｅｊ（ｊは７から１２の整数）を、Ｅｊ＝｜Ｇｋ−Ｇ１３｜＋｜Ｒ’−Ｒｋ｜と計算する。ｋはＤ１からＤ６に対する場合と同じである。
同様に、図６Ａにおいてはまず、注目画素におけるＢ成分の推定値としてＢ’＝（Ｂ１＋Ｂ３＋Ｂ７＋Ｂ９）／４を計算し、方向Ｄ１からＤ８に対する凹凸度ＥｊをＥｊ＝｜Ｇ５−Ｇｋ｜＋｜Ｂ’−Ｂｋ｜と計算する。ここで、ｋは領域Ｓｊに含まれる注目画素以外の画素の番号である。
また、重み計算回路Ａ１０６の計算の変更法として、第三の好ましい変形例をあげることが出来る。この変形例では、上下左右方向の凹凸度を計算する領域に図８に示すようにＧ画素を加え、例えば右方向の凹凸度Ｅ１を、１５０，１５１で示す矩形領域の差分も含めて

と計算する。このように、互いに位置がずれているが方向は平行となっている画素値差分を組み合わせることで斜めエッジに対する復元精度を向上させることが出来る。
また、本実施形態ではデジタルカメラ内での回路処理を示したが、図９および図１０に示すフローによるソフトウェア処理も可能である。このフローは、ＩｎＩｍｇ，ＯｕｔＩｍｇという二つのメモリ領域を用いる。そして、単板ベイヤ配列ＣＣＤ１０２より出力された、各画素につき二種の色成分が欠落する状態の画像をＩｎＩｍｇに書き込み、処理を行うと、ＯｕｔＩｍｇに各画素に３色そろったカラー画像が得られる。以下、フローのステップを説明する。
まず、ステップＳ１では、ＩｎＩｍｇの画素値をＯｕｔＩｍｇにコピーする。その際、ＩｎＩｍｇの各画素位置で得られる色成分の種類Ｃを計算し、ＯｕｔＩｍｇの対応する画素の、色成分Ｃの値として書き込む。次に、ステップＳ２では、ＩｎＩｍｇを走査し、色成分ＲまたはＢが得られている画素が存在するかどうか探索する。該当する画素がない場合はステップＳ６に進み、ある場合はステップＳ３に進む。以下、該当する画素をＸとする。
ステップＳ３では、画素Ｘの５×５近傍内で図２に示すように上下左右に領域をとり、各方向の重みを計算する。計算式は、式（３），（４）である。なお、式（４）は画素ＸにおいてＢ成分が得られている例で、Ｒ成分が得られている場合はＢをＲに置き換える。
次に、ステップＳ４では、画素Ｘの上下左右にあって色成分Ｇを持つ画素の画素値を、ステップＳ３で計算された各方向の重みで加重平均し、Ｇａを得る。計算式は式（５）である。また、画素Ｘで得られている色成分Ｃ（あるいはＲまたはＢ）に対し、画素Ｘの上下左右にあって色成分Ｃを持つ画素の画素値を、ステップＳ３で計算された各方向の重みで加重平均し、Ｃａを得る。ＣがＢの場合の計算式は式（６）である。
ステップＳ５では、ステップＳ４で計算された加重平均、および画素Ｘの画素値（図２と対応付けて、以下これをＣ５とする。ＣはＲ，Ｂのいずれかである。）から、欠落するＧ成分の値（同様にこれをＧ５とする）を、Ｇ５＝Ｇａ＋（Ｃ５−Ｃａ）と計算する。そして、Ｇ５をＯｕｔＩｍｇに書き込む。
ステップＳ６では、図１０のフローに示す工程に従ったＲＢ復元処理を行う。以下は、ＲＢ復元処理のフローの各ステップの説明である。
まずステップＳ７では、ＯｕｔＩｍｇを走査し、色成分Ｇしか得られていない未処理の画素が存在するかどうか探索する。未処理の画素がない場合にはただちにステップＳ１１に移行し、未処理の画素がある場合にはステップＳ８に進む。以下、該当する画素をＹと呼ぶ。
ステップＳ８では、画素Ｙの５×５近傍内に図３に示したＤ１からＤ６，およびＤ７からＤ１２の二組各６通りの方向を設け、各方向の重みを計算する。そのために、各方向上で、図３の斜線で示した画素のＧ成分の値と、画素ＹのＧ成分の値の差分の絶対値Ｅｊ（ｊは１から１２の整数）を求め、重みを組ごとに式（７）で計算する。
ステップＳ９では、Ｄ１からＤ６、およびＤ７からＤ１２の各組ごとに、図３の斜線で示した画素の画素値を色成分ごとにステップＳ８で計算された重みで加重平均する。斜線で示した画素では色成分ＧとＲまたはＧとＢが得られているので、二種類の色成分に対する加重平均結果が得られる。得られる色成分の種類および計算式は、画素Ｙの近傍で得られている色成分のパターンが図５Ａ，Ｂのいずれかに応じて式（８−１）から式（８−４）に示したとおりである。
ステップＳ１０では、ステップＳ９で得られた加重平均結果、および画素Ｙで得られている画素値（図５Ａないし５Ｂと対応付けて、以下Ｇ１３とする）に基づいて、欠落するＲ成分およびＢ成分（これらを同様にＲ１３，Ｂ１３とする）を、計算式（９）で求め、ＯｕｔＩｍｇに書き込む。
ステップＳ１１では、ＯｕｔＩｍｇを走査し、欠落する色成分のある画素を探す。該当する画素がない場合は終了し、ある場合はステップＳ１２に進む。以下、該当する画素をＺとする。
ステップＳ１２では、画素Ｚの３×３近傍で図６Ｃに示した８方向をとり、各方向の重みを計算する。そのために、まず各方向にある近傍画素と画素Ｚの注目画素の差分の絶対値Ｅｊ（ｊは１から８の整数）を求め、重みを式（１０）に従い計算する。
ステップＳ１３では、画素Ｚで欠落する色成分Ｃおよび色成分Ｇに対し、各方向にある画素の対応する色成分の値をＳ１２で求めた重みにより加重平均する。計算式は式（１１）である。
ステップＳ１４では、ステップＳ１３の加重平均結果、および画素Ｚで得られているＧ成分（図６Ａと対応付けてＧ５とする）に基づいて、欠落色成分（同じくＣ５とする）をＣ５＝Ｇａ＋（Ｃ５−Ｃａ）により求め、ＯｕｔＩｍｇに書き込む。
なお、本実施形態および変形例は、請求項１、２、３、４、５、６、７、１０、１４、１５、１６、１７、１８、２１、２２に記載の発明を含んでいる。
（第２実施形態）
図１１は、本発明の第２実施形態に係る画像処理装置としてのデジタルカメラ２００の概略構成を示すブロック図である。第２実施形態は第１実施形態と同様の部分が多いので、以下では第１実施形態と異なる部分についてのみ記載する。第２実施形態は第１実施形態と同じく本発明をデジタルカメラに適用した例であるが、光学系１０１の状態に応じて補間処理の特性を変化させる点が異なる他は第１実施形態とは同一である。そのために、図１１に示すように、光学系１０１の状態に基づき単板画像バッファ１０３内の各画素位置でのエッジの色ずれ量を算出する収差計算回路２１９が設けられ、その出力によりＧ復元回路２０４中の重み計算回路Ａ２０６とＧ計算回路２０８、およびＲＢ復元回路２１０中の重み計算回路Ｂ１１２とＲＢ計算回路２１４が制御される。
以下、デジタルカメラ２００の作用を、第１実施形態と異なる点を中心に説明する。図示しないシャッタがユーザにより押下されると、第１実施形態と同じく、光学系１０１による光学像が単板ベイヤ配列ＣＣＤ１０２で撮像され、各画素あたり一種類の色成分しかない単板状態の画像が単板画像バッファ１０３に得られる。また、光学系１０１の焦点距離と被写体距離が収差計算回路２１９に出力される。
次に、重み計算回路Ａ２０６が単板画像バッファ１０３内の単板状態の画像の各画素に対して処理を行うが、注目画素で得られている色成分がＧの場合は、第一の形態と同じ処理が行われる。一方、注目画素で色成分ＲまたはＢが得られている場合は、第一の形態と同じく注目画素近傍の上下左右の４方向に対する凹凸度の計算を行うが、それに先立って、まず収差計算回路２１９に注目画素の座標（ｘ，ｙ）を出力する。
収差計算回路２１９は、焦点距離、被写体距離、および光軸中心からの距離、の３つの量の離散的な値の組に対して、色成分Ｇに対する色成分ＲおよびＢの色ずれ量が記録されたＬＵＴを回路内に保持している。そして、座標（ｘ，ｙ）が入力されると、まず光軸中心に対応する座標（ｃｘ，ｃｙ）と注目画素の座標（ｘ，ｙ）の距離の２乗Ｄを、Ｄ＝（ｃｘ−ｘ）^２＋（ｃｙ−ｙ）^２により計算する。次に、先に入力された焦点距離、被写体距離、計算されたＤ、およびＬＵＴに保持されたデータから、公知のテーブル補間法により座標（ｘ，ｙ）における色成分Ｇに対する色成分Ｒの色ずれ量Ａｒ、および色成分Ｇに対する色成分Ｂの色ずれ量Ａｂを算出して重み計算回路Ａ２０６に出力する。
その後、重み計算回路Ａ２０６では、注目画素の上下左右に図２に示すＳ１〜Ｓ４の領域を設け、各領域の平坦度Ｅｊ（ｊは１〜４の整数）を、以下の式で計算する。第一の形態例での説明同様、注目画素で得られている色成分が図２のようにＢの場合についての説明である。

式中、ｆ，ｇは図１２Ａ，Ｂに示す関数で、図中のＴ１，Ｔ２は所定の閾値である。また、ｍａｘ（ｘ，ｙ）はｘとｙの大きい方を表す。式（１４）のαは、色ずれ評価量ＡｒないしＡｂがＴ１付近、かつＧ成分の水平方向の差分｜Ｇ４−Ｇ６｜と垂直方向の差分｜Ｇ２−Ｇ８｜が比較的近い値の場合に０に近づき、その他の場合は１に近づくことを特徴とする。その結果、特に色ずれ量が１画素に近い斜めのエッジに対し、凹凸度が近傍の色成分Ｇのみに基づいて計算されるようになる。
重み計算回路Ａ２０６におけるこの後の重みの計算自体は、第１実施形態と同じであり、計算結果は平均回路Ａ１０７に出力される。ただし、第１実施形態と異なり、収差計算回路２１９で計算された色ずれ量ＡｒおよびＡｂをＧ計算回路２０８に出力する。
平均回路Ａ１０７での処理は第１実施形態と同じであり、色成分ごとに、注目画素近傍の上下左右方向の画素値に対し、重み計算回路Ａ２０６で計算された重みによる加重平均が計算される。色成分Ｒを持つ画素は図２で設けた領域にないので、色成分ＢとＧの加重平均値Ｂａ，Ｇａのみ得られる。
Ｇ計算回路２０８では、平均回路Ａ１０７から出力された色成分ごとの加重平均と注目画素の画素値から、最終的に欠落するＧ成分Ｇ５を算出し、Ｇ画像バッファ１０９内の対応する画素位置に書きこむ。ただし、計算式が第１実施形態と少し異なり、重み計算回路Ａ２０６から得られた色ずれ量Ａｂを用いて、

と計算する。ここで、ｇは図１２Ｂに示した関数である。
単板画像バッファ１０３内の画像の全画素に対してこれらの一連の処理が終了すると、第１実施形態と同じく、Ｇ画像バッファ１０９にはＧ成分の欠落が補われた画像が得られる。その後、制御回路１１８はＲＢ復元回路２１０を動作させる。ＲＢ復元回路２１０内では、重み計算回路Ｂ１１２が単板画像バッファ１０３内の画像の各画素に対する処理を開始するが、その内容は第１実施形態と同じである。その結果、色成分Ｇが得られている注目画素の近傍で、図５Ａに示したＤ１〜Ｄ１２の１２方向に対し、Ｄ１〜Ｄ６の組とＤ７〜Ｄ１２の組各々に対して重みＷ１からＷ６、およびＷ７からＷ１２が得られる。その後平均回路Ｂ１１３が動作するが、その処理内容も第１実施形態と同一であり、例えば近傍で得られている色成分のパターンが図５Ｂの場合は方向Ｄ１〜Ｄ６に対する加重平均結果としてＢａおよびＧａ１が得られ、方向Ｄ７〜Ｄ１２の加重平均結果としてＲａおよびＧａ２が得られる。
次にＲＢ計算回路２１４が動作するが、第１実施形態と異なり、まず収差計算回路２１９に注目画素の座標（ｘ，ｙ）を出力する。収差計算回路２１９はＧ成分の欠落を補う際に行ったの同じ処理を行い、注目画素におけるＧ成分に対するＲ成分の色ずれ量ＡｒとＧ成分に対するＢ成分の色ずれ量Ａｂを算出してＲＢ計算回路２１４に出力する。
ＲＢ計算回路２１４では、平均回路Ｂ１１３からの加重平均結果および色ずれ量Ａｒ，Ａｂを用いて、

のように注目画素で欠落するＲ成分とＢ成分を計算し、結果をカラー画像バッファ１１５の注目画素に対応する位置に書き込む。 式中ｇは図１２Ｂに示す関数である。
ここまでの処理が単板画像バッファ１０３内の画像の全ての画素に対して終了すると、カラー画像バッファ１１５内に単板画像バッファ１０３と同じ画素数の画像が生成され、各画素では、ＲＧＢ全ての色成分が得られているか、またはＲ成分またはＢ成分のみが欠落する状態となる。すると次に重み計算回路Ｂ１１２が再度作動するが、その処理内容は第１実施形態と同一であり、欠落している色成分がある画素に対し、図６Ｃに示した、近傍の方向Ｄ１〜Ｄ８に対する重みＷｊ（ｊは１から８までの整数）を算出して平均回路Ｂ１１３に出力する。
平均回路Ｂ１１３の処理内容も第１実施形態と同一であり、注目画素で欠落する色成分Ｃ（ＣはＲ，Ｂのいずれか）および色成分Ｇに対する近傍画素の加重平均ＣａおよびＧａをＲＢ計算回路２１４に出力する。
ＲＢ計算回路２１４は、再び収差計算回路２１９に注目画素の座標（ｘ，ｙ）を出力し、注目画素におけるＧ成分に対するＲ成分の色ずれ量ＡｒとＧ成分に対するＢ成分の色ずれ量Ａｂを得る。そして、平均回路Ｂ１１３からの加重平均結果および色ずれ量Ａｃ（ｃは欠落している色成分がＲかＢかに応じてｒかｂのいずれか）を用いて、

のように、注目画素で欠落する色成分Ｃ（欠落している色成分に応じてＲかＢのいずれか）を計算し、結果をカラー画像バッファ１１５の注目画素に対応する位置に書き込む。
ここまでの処理が完了すると、カラー画像バッファ１１５には全画素で欠落色成分が復元されたカラー画像が得られる。その後の作用は第１実施形態と同一であり、得られたカラー画像が画質調整回路１１６により色変換、エッジ強調、階調変換などの処理を施され、記録回路１１７により図示しない記録媒体に記録されてデジタルカメラ２００の撮像動作が完了する。
なお、本実施形態は種々の変形が可能である。好ましい変形例は、収差計算回路２１９が存在しない場合に各画素位置での色ずれを推定して補間処理を制御するものである。具体的には、図１３に示すように、重み計算回路Ａ２０６に以下の作用を持つ色ずれ判定回路２２０を設ける。この場合、はじめに重み計算回路Ａ２０６が式（１４）により上下左右方向の凹凸度Ｅｊ（ｊは１から４の整数）を求めるが、収差計算回路２１９が存在しないので、式（１４）中Ａｒ、Ａｂを共に０とおいて計算する。次に、色ずれ判定回路２２０が動作し、まず凹凸度Ｅ１からＥ４のいずれが最小かを調べる。そして、最小の凹凸度を与える方向ｋについて、領域Ｓｋの両脇に色ずれ判定用領域を二つ設ける。例えばｋが１の場合、色ずれ判定用領域は図８中Ｓ１’中１５０，１５１で示したような二つの領域となる。そして、各領域で凹凸度Ｅｋを計算したのと同じ方向でＧ成分の差分を計算し、その最小値をΔとする。また、領域Ｓｋ上でＧ以外の色成分を持つ画素同士の差分を計算し、Δ’とする。ｋが１の例では、
Δ＝ｍｉｎ（｜Ｇ２−Ｇ１０｜，｜Ｇ８−Ｇ１１｜），Δ’＝｜Ｂ５−Ｂ７｜となる。
最後に、色ずれ判定回路２２０は色ずれ量Ａを、

と計算する。ここで、Ｔ１は図１２Ｂに示した所定の値である。また、Ｔ３，Ｔ４はあらかじめ設定された閾値である。その後、重み計算回路Ａ２０６は再度各方向の凹凸度Ｅｊ（ｊは１から４の整数）を求めるが、今度は式（１４）中のＡｒ，ＡｂをＡとおいて計算する。そして前述の方法で凹凸度から重みを計算し、平均回路Ａ１０７に出力する。
また、本実施形態ではデジタルカメラ内での回路処理を示したが、ソフトウェア処理も可能である。その場合、フローは、第１実施形態中図９および図１０に示したものとほぼ同じになるが、ステップＳ３，Ｓ５，Ｓ１０，Ｓ１４の処理内容が変わり、また、図１４に示すフローが付加される。以下、第１実施形態と異なる点についてのみ述べる。
まず、図９のステップＳ３については、重みの計算式が式（３）から式（１４）に変更になる。ステップＳ５については、ステップＳ４で計算された加重平均、および画素Ｘの画素値（図３Ａ，３Ｂと対応付けて、以下これをＣ５とする。ＣはＲ，Ｂのいずれか。）から、欠落するＧ成分の値（同様にこれをＧ５とする）を式（１５）により計算し、結果をＯｕｔＩｍｇに書き込む。ステップＳ１０については、計算式（９）に替えて計算式（１６）を用いる。ステップＳ１４については、ステップＳ１３の加重平均結果、および画素Ｚで得られているＧ成分（図６Ａと対応付けてＧ５とする）に基づいて、欠落色成分（同じくＣ５とする）を式（１７）により求め、ＯｕｔＩｍｇに書き込む。
そして、ステップＳ３，Ｓ５，Ｓ１０，Ｓ１４の各ステップで色ずれ量Ａｒ，Ａｂが必要となった際には、注目画素（ＸまたはＹまたはＺ）の座標、およびパラメータとして与えられる光学系１０１の焦点距離Ｐから、図１４に示すフローを用いて色ずれ量の計算を行う。
図１４において、まず、ステップＳ１５では、あらかじめ設定されている、光学系１０１の光軸中心の画像上での座標（ｃｘ，ｃｙ）と、与えられた座標（ｘ，ｙ）により、光軸中心からの距離の２乗ｄを求める。次に、ステップＳ１６ではあらかじめテーブルとしてメモリ上に与えられている色ずれ量を、光軸中心からの距離の２乗ｄおよびパラメータとして与えられる光学系１０１の焦点距離Ｐを索引として引き、与えられた座標における色ずれ量Ａｒ，Ａｂを求める。
なお、本実施形態及びその変形例は、請求項１、２、３、７、８、９、１０、１１、１２、１３、１４、１５、１６、１７、１８、１９、２０、２１、２２、２３に記載の発明を含んでいる。
（付記）
１． 光学像を撮像系により撮像した画像を入力し、各画素で欠落する色成分を補ってカラー画像を出力する画像処理装置であって、
注目画素を含む所定サイズの近傍において、注目画素から発する複数の方向Ｓ１，Ｓ２，．．Ｓｎ（ｎは１以上の整数）の各方向Ｓｋ（ｋは１からｎの整数）に対する重みＷｋを設定する重み設定部と、
前記所定サイズの近傍において各方向Ｓｋ（ｋは１からｎの整数）上にあり、かつ特定の色成分を有する画素の画素値Ｖｋに対し、画素値Ｖ１からＶｎの前記重みＷ１からＷｎによる加重平均を計算する平均算出部と、
複数種類の色成分に対して前記平均算出部により加重平均を算出し、この加重平均結果と、前記注目画素の画素値とに基づいて、前記注目画素において欠落する色成分の値を復元する復元部と、
を具備する画像処理装置。
（対応する実施の形態）
第１実施形態では、重み設定部は、少なくとも重み計算回路Ａ１０６および重み計算回路Ｂ１１２に対応し、平均算出部は、少なくとも平均回路Ａ１０７および平均回路Ｂ１１３に対応し、復元部は、少なくともＧ計算回路１０８およびＲＢ計算回路１１４に対応する。
また、第２実施形態では、重み設定部は、少なくとも重み計算回路Ａ２０６および重み計算回路Ｂ１１２および収差計算回路２１９に対応し、平均算出部は、少なくとも平均回路Ａ１０７および平均回路Ｂ１１３に対応し、復元部は、少なくともＧ計算回路２０８およびＲＢ計算回路２１４に対応する。
（作用・効果）
近傍の複数の方向で重み設定部が各方向に重みを割り当て、その重みに基づいて平均算出部が近傍内の画素の画素値の加重平均をとり、復元部が加重平均結果および注目画素の画素値に基づいて欠落色成分を求めるので、単純補間より高精度の欠落色復元が行える。
２． 前記重み設定部は、所定の色成分に関して、前記近傍内での各方向Ｓｋに平行に並び、かつ該当色成分を有する二つの画素の組を一組以上選択し、前記各方向Ｓｋに対する重みＷｋを、各組の画素値差分に基づいて計算する１に記載の画像処理装置。
（対応する実施の形態）
１．に記載の「対応する実施の形態」と同様である。
（作用・効果）
重み設定部が、重みを計算する各方向に対し、当方向に平行に並びかつ該当色成分を有する二つの画素の画素値差分を計算し、それに基づいて重みを計算する結果、種々のエッジパターンに対して最適な欠落色復元が行える。
３． 前記重み設定部は、複数種類の色成分に関する前記各組の画素値差分を計算し、前記画素値差分に所定の係数を乗じて総和した値に基づいて、前記各方向Ｓｋに対する重みＷｋを決定する２に記載の画像処理装置。
（対応する実施の形態）
１．に記載の「対応する実施の形態」と同様である。
（作用・効果）
重み設定部が、複数種類の色成分に対する画素値差分を混合して重み計算する結果、単一の色成分に対する画素値差分を利用するだけでは対応できないエッジパターンに対しても最適な欠落色復元が行える。
４． 前記重み設定部は、前記注目画素における所定の色成分の概算値を前記所定サイズの近傍内で推定する推定部を有し、前記各方向Ｓｋに対する重みＷｋを、各方向Ｓｋ上にありかつ前記所定の色成分を有する画素の画素値と、前記概算値との差分に基づいて計算する１に記載の画像処理装置。
（対応する実施の形態）
少なくとも第二の好ましい変形例に対応する。推定部、少なくとも推定回路１１９に対応する。
（作用・効果）
推定部が注目画素における所定の色成分の概算値を近傍内で推定し、その結果と近傍画素の画素値の差分に基づいて重み設定部が重み計算を行うことにより、近傍内での所定の色成分の値の変化は大きいがその他の色成分の値の変化は小さいようなエッジパターンに対しても最適な欠落色復元が行える。
５． 前記重み設定部は、前記各方向Ｓｋに対する重みＷｋの計算において、前記所定サイズの近傍内で各方向Ｓｋに平行に並び、かつ所定の色成分を有する二つの画素の組を複数選択し、各組の画素値差分の最小値を計算する１に記載の画像処理装置。
（対応する実施の形態）
少なくとも第三の好ましい変形例に対応する。複数通りの画素の組は、図８の１５０，１５１で示す矩形領域に対応する。
（作用・効果）
所定の色成分を有する二つの画素の組を複数通り設け、各組の画素値差分の最小値を計算することで、近傍内の種々のエッジパターンに、より高精度に対応することが出来る。
６． 前記重み設定部は、前記各方向Ｓｋに対する画素値差分の計算を１からｎの全ての整数に対して行った後、前記画素値差分の最大値を求め、その大きさが小さいほど各方向に対する重みが均等になるように重みを計算する２、３、５のいずれか１つに記載の画像処理装置。
（対応する実施の形態）
少なくとも第一の好ましい変形例に対応する。
（作用・効果）
複数の方向の画素値差分の最大値が小さいほど各方向に対する重みが均等になるように重みを計算することにより、重み計算結果へのノイズの悪影響を低減できる。
７． 前記重み設定部は、前記各方向Ｓｋに対する画素値差分に反比例し、かつ前記複数の方向に渡る重みの総和が１になるように前記各方向に対する重みＷｋを計算する３または５のいずれか１つに記載の画像処理装置。
（対応する実施の形態）
１に記載の「対応する実施の形態」と同様である。
（作用・効果）
画素値の変化が少ない方向ほど重みが大きくなるため、欠落復元結果に占めるエッジに沿った方向での補間の比重が大きくなり、エッジ部でもより高精度な欠落色復元が行える。
８． 前記重み設定部は、前記注目画素における色成分間のエッジのずれ量を評価する色ずれ評価部を有し、この色ずれ評価部での評価結果に応じて重みの計算方法を変える２、３、５のいずれか１つに記載の画像処理装置。
（対応する実施の形態）
重み設定部は、少なくとも重み計算回路Ａ２０６および収差計算回路２１９に対応する。色ずれ評価部は、少なくとも収差計算回路２１９および、好ましい変形例の色ずれ判定回路２２０に対応する。
（作用・効果）
色ずれの存在によりエッジ部での最適な重みの計算が失敗するのを防止できる。
９． 前記重み設定部は、前記所定の係数を前記色ずれ評価部での評価結果に応じて変化させることで前記重みの計算方法を変える８に記載の画像処理装置。
（対応する実施の形態）
８に記載の「対応する実施の形態」と同様である。所定の係数はαである。
（作用・効果）
重み計算の際に、複数の色成分を利用した計算を行うか、単一の色成分を利用した計算を行うかの比重を簡単に変化させることができ、色ずれの存在によりエッジ部での最適な重みの計算が失敗するのを防止できる。
１０． 前記復元部は、前記注目画素の画素値および前記複数種類の色成分に対する前記平均算出部の加重平均結果に所定の係数を乗じた後、総和して前記欠落する色成分の値を求める１に記載の画像処理装置。
（対応する実施の形態）
１に記載の「対応する実施の形態」と同様である。
（作用・効果）
複数種類の色成分に対する画素値差分を混合して欠落色の復元を行うことで、単一の色成分に基づいた復元では対応できないエッジパターンに対しても最適な欠落色復元が行える。
１１． 前記復元部は、前記注目画素における色成分間のエッジのずれ量を評価する色ずれ評価部を有し、この色ずれ評価部での評価結果に応じて前記欠落する色成分の計算方法を変える１又は１０に記載の画像処理装置。
（対応する実施の形態）
復元部は、少なくともＲＢ計算回路２１４に対応する。色ずれ評価部は収差計算回路２１９および好ましい変形例の色ずれ判定回路に対応する。
（作用・効果）
色ずれの存在によりエッジ部での欠落色復元結果が単純補間の結果に比べて返って悪化するのを防止できる。
１２． 前記復元部は、前記注目画素における色成分間のエッジのずれ量を評価する色ずれ評価部を有し、前記所定の係数を前記色ずれ評価部の評価結果に応じて変化させることで前記欠落する色成分の計算方法を変える１０に記載の画像処理装置。
１１．に記載の「対応する実施の形態」と同様である。所定の係数はβｒおよびβｂである。
（作用・効果）
色ずれの存在によりエッジ部での欠落色復元結果が単純補間の結果に比べて返って悪化するのを防止できる。
１３． 前記色ずれ評価部は、前記光学像が有する色収差に基づいて色成分間のエッジのずれ量を評価する８または１１または１２のいずれか１つに記載の画像処理装置。
（対応する実施の形態）
色ずれ評価部は、少なくとも収差計算回路２１９に対応する。
（作用・効果）
色ずれの評価が他の方法より確実に行える。
１４． 前記単板撮像素子は原色ベイヤ配列のモザイクフィルタを有し、前記注目画素において色成分ＲまたはＢが得られており、前記注目画素に対する上下左右の４方向を前記複数の方向Ｓ１からＳ４とし、前記複数種類の色成分は、当該注目画素において得られている色成分、およびＧであり、前記欠落する色成分がＧであること
を特徴とする３に記載の画像処理装置。
（対応する実施の形態）
３．に記載の「対応する実施の形態」と同様である。
（作用・効果）
原色ベイヤ配列に特に適している点を除いて３と同様である。
１５． 前記単板撮像素子は原色ベイヤ配列のモザイクフィルタを有し、前記注目画素において色成分Ｇが得られており、当該注目画素と、この注目画素を中心とする所定サイズの近傍内で色成分Ｒを有する画素の各々を結んだ方向を前記複数の方向とし、前記複数種類の色成分はＲおよびＧであり、前記欠落する色成分がＲであること
を特徴とする３に記載の画像処理装置。
（対応する実施の形態）
３に記載の「対応する実施の形態」と同様である。
（作用・効果）
原色ベイヤ配列に特に適している点を除いて３と同様である。
１６． 前記単板撮像素子は原色ベイヤ配列のモザイクフィルタを有し、前記注目画素において色成分Ｇが得られており、当該注目画素と、この注目画素を中心とする所定サイズ近傍内で色成分Ｂを有する画素の各々とを結んだ方向を前記複数の方向とし、前記複数種類の色成分はＢおよびＧであり、前記欠落する色成分がＢであること
を特徴とする３に記載の画像処理装置。
（対応する実施の形態）
３に記載の「対応する実施の形態」と同様である。
（作用・効果）
原色ベイヤ配列に特に適している点を除いて３と同様である。
１７． 前記複数の方向は、前記注目画素の所定サイズの近傍において、前記注目画素において欠落する色成分と、当該注目画素において得られている色成分のうちいずれか一つと、の両方の色成分が得られている画素の各々と、前記注目画素とを結んだ方向に設定される１に記載の画像処理装置。
（対応する実施の形態）
２に記載の「対応する実施の形態」と同様である。
（作用・効果）
注目画素と同じ色成分が得られている画素と、注目画素とを結ぶ方向に重みを計算する方向を設定することで重み計算がより適切に行える。
１８． 前記単板撮像素子は原色ベイヤ配列のモザイクフィルタを有し、前記注目画素において欠落する色成分がＲまたはＢであり、前記注目画素において得られている色成分のうちいずれか一つはＧである１７に記載の画像処理装置。
（対応する実施の形態）
３に記載の「対応する実施の形態」と同様である。
（作用・効果）
原色ベイヤ配列に特に適している点を除いて１７と同様である。
１９． 前記所定の係数を前記色ずれ評価部での評価結果に応じて変化させる際に、前記注目画素で得られている色成分とのずれ量が大きな色成分の種類を調べ、該当色成分に関する前記画素値差分に対して割り当てる係数を小さくすることを特徴とする９に記載の画像処理装置。
（対応する実施の形態）
９に記載の「対応する実施の形態」と同様である。
（作用・効果）
近傍内の、注目画素において得られていない色成分の情報について、その利用比率を色ずれが大きい場合は小さくすることによってかえって副作用が生じることを防ぐことができる。
２０． 前記所定の係数を前記色ずれ評価部での評価結果に応じて変化させる際に、前記欠落を復元したい色成分とのずれ量が大きな色成分の種類を調べ、該当色成分に関する前記加重平均結果に割り当てる係数を小さくする１２に記載の画像処理装置。
（対応する実施の形態）
１２に記載の「対応する実施の形態」と同様である。
（作用・効果）
近傍内の、注目画素において欠落を復元したい色成分以外の色成分の情報について、その利用比率ｓを色ずれが大きい場合は小さくすることによってかえって副作用が生じることを防ぐことができる。
２１． コンピュータに光学像を撮像系により撮像した画像を入力し、各画素で欠落する色成分を補ってカラー画像を出力する画像処理プログラムであって、
前記コンピュータに、
注目画素を含む所定サイズの近傍において、注目画素から発する複数の方向Ｓ１，Ｓ２，．．Ｓｎ（ｎは１以上の整数）の各方向Ｓｋ（ｋは１からｎの整数）に対する重みＷｋを設定する重み設定機能と、
前記所定サイズの近傍において各方向Ｓｋ（ｋは１からｎの整数）上にあり、かつ特定の色成分を有する画素の画素値Ｖｋに対し、画素値Ｖ１からＶｎの前記重みＷ１からＷｎによる加重平均を計算する平均機能と、
複数種類の色成分に対して前記平均機能により加重平均を算出し、この加重平均結果と、前記注目画素の画素値とに基づいて、前記注目画素において欠落する色成分の値を復元する復元機能と、
を実現させるための画像処理プログラム。
（対応する実施の形態）
１に記載の「対応する実施の形態」と同様である。
（作用・効果）
１に記載の「作用・効果」と同様である。
２２． 前記重み設定機能は、複数の色成分各々に対して前記近傍内での方向Ｓｋに平行に並びかつ該当色成分を有する二つの画素の組を一組以上選択し、前記各組の画素値差分に所定の係数を乗じて緩和した値に基づいて、前記各方向Ｓｋに対する重みＷｋを計算する２１に記載の画像処理プログラム。
（対応する実施の形態）
１に記載の「対応する実施の形態」と同様である。
（作用・効果）
重み設定機能が、重みを計算する各方向に対し、当方向に平行に並びかつ該当色成分を有する二つの画素の画素値差分を計算し、それに基づいて重みを計算する結果、種々のエッジパターンに対して最適な欠落色復元が行える。
２３． 前記復元機能は、前記注目画素における色成分間のエッジのずれ量を評価する色ずれ評価機能を有し、この色ずれ評価機能での評価結果に応じて前記欠落する色成分の計算方法を変えること
を特徴とする２１に記載の画像処理プログラム。
（対応する実施の形態）
１１に記載の「対応する実施の形態」と同様である。
（作用・効果）
１１に記載の「作用・効果」と同様である。
２４． 前記復元機能は、前記注目画素における色成分間のエッジのずれ量を評価する色ずれ評価機能を有し、当該注目画素の画素値、および前記複数種類の色成分に対する前記平均機能の加重平均結果に、前記色ずれ評価機能の評価結果に応じて変わる係数を乗じた後、総和して前記欠落する色成分の値を求める２１に記載の画像処理プログラム。
（対応する実施の形態）
１及び１１に記載の「対応する実施の形態」と同様である。係数はβｒおよびβｂである。
複数種類の色成分に対する画素値差分を混合して欠落色の復元を行うことで、単一の色成分に基づいた復元では対応できないエッジパターンに対しても最適な欠落色復元が行える。
また、色ずれの存在によりエッジ部での欠落色復元結果が単純補間の結果に比べて返って悪化するのを防止できる。
２５． 前記色ずれ評価機能は、前記光学像の有する色収差に基づいて色成分間のエッジのずれ量を評価する２，３または２４のいずれか１つに記載の画像処理プログラム。
（対応する実施の形態）
色ずれ評価機能は、少なくとも収差計算回路２１９の実現する機能に対応し、具体的には図１４のフローで表わされる。
（作用・効果）
色ずれの評価が他の方法より確実に行える。

本発明によれば、水平、垂直のエッジ以外のパターンに対して最適な補間を行うことができ、これによってより高精度な欠落色の復元が可能になる。

Claims (25)

1. 光学像を撮像系により撮像した画像を入力し、各画素で欠落する色成分を補ってカラー画像を出力する画像処理装置であって、
   注目画素を含む所定サイズの近傍において、注目画素から発する複数の方向Ｓ１，Ｓ２，．．Ｓｎ（ｎは１以上の整数）の各方向Ｓｋ（ｋは１からｎの整数）に対する重みＷｋを設定する重み設定部と、
   前記所定サイズの近傍において各方向Ｓｋ（ｋは１からｎの整数）上にあり、かつ特定の色成分を有する画素の画素値Ｖｋに対し、画素値Ｖ１からＶｎの前記重みＷ１からＷｎによる加重平均を計算する平均算出部と、
   複数種類の色成分に対して前記平均算出部により加重平均を算出し、この加重平均結果と、前記注目画素の画素値とに基づいて、前記注目画素において欠落する色成分の値を復元する復元部と、
   を具備する画像処理装置。
2. 前記重み設定部は、所定の色成分に関して、前記近傍内での各方向Ｓｋに平行に並び、かつ該当色成分を有する二つの画素の組を一組以上選択し、前記各方向Ｓｋに対する重みＷｋを、各組の画素値差分に基づいて計算する請求項１記載の画像処理装置。
3. 前記重み設定部は、複数種類の色成分に関する前記各組の画素値差分を計算し、前記画素値差分に所定の係数を乗じて総和した値に基づいて、前記各方向Ｓｋに対する重みＷｋを決定する請求項２記載の画像処理装置。
4. 前記重み設定部は、前記注目画素における所定の色成分の概算値を前記所定サイズの近傍内で推定する推定部を有し、前記各方向Ｓｋに対する重みＷｋを、各方向Ｓｋ上にありかつ前記所定の色成分を有する画素の画素値と、前記概算値との差分に基づいて計算する請求項１記載の画像処理装置。
5. 前記重み設定部は、前記各方向Ｓｋに対する重みＷｋの計算において、前記所定サイズの近傍内で各方向Ｓｋに平行に並び、かつ所定の色成分を有する二つの画素の組を複数選択し、各組の画素値差分の最小値を計算する請求項１記載の画像処理装置。
6. 前記重み設定部は、前記各方向Ｓｋに対する画素値差分の計算を１からｎの全ての整数に対して行った後、前記画素値差分の最大値を求め、その大きさが小さいほど各方向に対する重みが均等になるように重みを計算する請求項２、３、５のいずれか１つに記載の画像処理装置。
7. 前記重み設定部は、前記各方向Ｓｋに対する画素値差分に反比例し、かつ前記複数の方向に渡る重みの総和が１になるように前記各方向に対する重みＷｋを計算する請求項３または５のいずれか１つに記載の画像処理装置。
8. 前記重み設定部は、前記注目画素における色成分間のエッジのずれ量を評価する色ずれ評価部を有し、この色ずれ評価部での評価結果に応じて重みの計算方法を変える請求項２，３，５のいずれか１つに記載の画像処理装置。
9. 前記重み設定部は、前記所定の係数を前記色ずれ評価部での評価結果に応じて変化させることで前記重みの計算方法を変える請求項８記載の画像処理装置。
10. 前記復元部は、前記注目画素の画素値および前記複数種類の色成分に対する前記平均算出部の加重平均結果に所定の係数を乗じた後、総和して前記欠落する色成分の値を求める請求項１記載の画像処理装置。
11. 前記復元部は、前記注目画素における色成分間のエッジのずれ量を評価する色ずれ評価部を有し、この色ずれ評価部での評価結果に応じて前記欠落する色成分の計算方法を変える請求項１又は１０記載の画像処理装置。
12. 前記復元部は、前記注目画素における色成分間のエッジのずれ量を評価する色ずれ評価部を有し、前記所定の係数を前記色ずれ評価部の評価結果に応じて変化させることで前記欠落する色成分の計算方法を変える請求項１０記載の画像処理装置。
13. 前記色ずれ評価部は、前記光学像が有する色収差に基づいて色成分間のエッジのずれ量を評価する請求項８または１１または１２のいずれか１つに記載の画像処理装置。
14. 前記単板撮像素子は原色ベイヤ配列のモザイクフィルタを有し、前記注目画素において色成分ＲまたはＢが得られており、前記注目画素に対する上下左右の４方向を前記複数の方向Ｓ１からＳ４とし、前記複数種類の色成分は、当該注目画素において得られている色成分、およびＧであり、前記欠落する色成分がＧである請求項３記載の画像処理装置。
15. 前記単板撮像素子は原色ベイヤ配列のモザイクフィルタを有し、前記注目画素において色成分Ｇが得られており、当該注目画素と、この注目画素を中心とする所定サイズの近傍内で色成分Ｒを有する画素の各々を結んだ方向を前記複数の方向とし、前記複数種類の色成分はＲおよびＧであり、前記欠落する色成分がＲである請求項３記載の画像処理装置。
16. 前記単板撮像素子は原色ベイヤ配列のモザイクフィルタを有し、前記注目画素において色成分Ｇが得られており、当該注目画素と、この注目画素を中心とする所定サイズ近傍内で色成分Ｂを有する画素の各々とを結んだ方向を前記複数の方向とし、前記複数種類の色成分はＢおよびＧであり、前記欠落する色成分がＢである請求項３記載の画像処理装置。
17. 前記複数の方向は、前記注目画素の所定サイズの近傍において、前記注目画素において欠落する色成分と、当該注目画素において得られている色成分のうちいずれか一つと、の両方の色成分が得られている画素の各々と、前記注目画素とを結んだ方向に設定される請求項１記載の画像処理装置。
18. 前記単板撮像素子は原色ベイヤ配列のモザイクフィルタを有し、前記注目画素において欠落する色成分がＲまたはＢであり、前記注目画素において得られている色成分のうちいずれか一つはＧである請求項１７記載の画像処理装置。
19. 前記所定の係数を前記色ずれ評価部での評価結果に応じて変化させる際に、前記注目画素で得られている色成分とのずれ量が大きな色成分の種類を調べ、該当色成分に関する前記画素値差分に対して割り当てる係数を小さくする請求項９記載の画像処理装置。
20. 前記所定の係数を前記色ずれ評価部での評価結果に応じて変化させる際に、前記欠落を復元したい色成分とのずれ量が大きな色成分の種類を調べ、該当色成分に関する前記加重平均結果に割り当てる係数を小さくする請求項１２記載の画像処理装置。
21. コンピュータに光学像を撮像系により撮像した画像を入力し、各画素で欠落する色成分を補ってカラー画像を出力する画像処理プログラムであって、
    前記コンピュータに、
    注目画素を含む所定サイズの近傍において、注目画素から発する複数の方向Ｓ１，Ｓ２，．．Ｓｎ（ｎは１以上の整数）の各方向Ｓｋ（ｋは１からｎの整数）に対する重みＷｋを設定する重み設定機能と、
    前記所定サイズの近傍において各方向Ｓｋ（ｋは１からｎの整数）上にあり、かつ特定の色成分を有する画素の画素値Ｖｋに対し、画素値Ｖ１からＶｎの前記重みＷ１からＷｎによる加重平均を計算する平均機能と、
    複数種類の色成分に対して前記平均機能により加重平均を算出し、この加重平均結果と、前記注目画素の画素値とに基づいて、前記注目画素において欠落する色成分の値を復元する復元機能と、
    を実現させるための画像処理プログラム。
22. 前記重み設定機能は、複数の色成分各々に対して前記近傍内での方向Ｓｋに平行に並びかつ該当色成分を有する二つの画素の組を一組以上選択し、前記各組の画素値差分に所定の係数を乗じて緩和した値に基づいて、前記各方向Ｓｋに対する重みＷｋを計算する請求項２１記載の画像処理プログラム。
23. 前記復元機能は、前記注目画素における色成分間のエッジのずれ量を評価する色ずれ評価機能を有し、この色ずれ評価機能での評価結果に応じて前記欠落する色成分の計算方法を変える請求項２１記載の画像処理プログラム。
24. 前記復元機能は、前記注目画素における色成分間のエッジのずれ量を評価する色ずれ評価機能を有し、当該注目画素の画素値、および前記複数種類の色成分に対する前記平均機能の加重平均結果に、前記色ずれ評価機能の評価結果に応じて変わる係数を乗じた後、総和して前記欠落する色成分の値を求める請求項２１記載の画像処理プログラム。
25. 前記色ずれ評価機能は、前記光学像の有する色収差に基づいて色成分間のエッジのずれ量を評価する請求項２，３または２４のいずれか１つに記載の画像処理プログラム。

Images