JP5708099B2 - 画像処理装置、及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置、及び画像処理方法に関する。

従来、カラー画像を撮影する撮像素子として、例えばＣＣＤ（電荷結合素子：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（相補形金属酸化膜半導体：Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の一枚のイメージセンサの画素ごとに、光のＲ、Ｇ、Ｂ成分のみを透過するカラーフィルタを配置した単板式カラーイメージセンサが知られている。

上述したＲＧＢ領域分割カラーフィルタが配置された単板式カラーイメージセンサでは、一般的に「偽色」と呼ばれる画質劣化が生じる場合がある。ここで、図１は、偽色が発生する原理を説明するための図である。図１（Ａ）〜（Ｃ）は、領域分割カラーフィルタを備えた撮像素子に、特定の光が入射した場合の各受光素子の出力値等を示している。

図１（Ａ）は、３つの受光素子（Ｃ０、Ｃ１、Ｃ２）と、それぞれの直上に配置された３種類のカラーフィルタ（ｆＲ、ｆＧ、ｆＢ）を横から見た様子を示している。図１（Ａ）に示すカラーフィルタ上から照射される光は、カラーフィルタを透過して受光素子に入射し、各受光素子で電気信号（画素値）に変換される。

なお、カラーフィルタ（ｆＲ、ｆＧ、ｆＢ）は、３つの受光素子（Ｃ０、Ｃ１、Ｃ２）のそれぞれを覆っており、各カラーフィルタは、３種類の光成分（Ｒ、Ｇ、Ｂ）のうちそれぞれ１つを完全に透過し、他の成分を完全に遮断するものと仮定する。

図１（Ｂ）は、撮像素子上の光の分光強度分布の一例を示している。横軸は、図１（Ａ）の各受光素子に対応する位置を示し、縦軸は光の各成分の強度を示している。図１（Ｂ）の例では、受光素子（Ｃ０、Ｃ１、Ｃ２）全てを含む領域で、Ｒ成分だけが一定強度で入射し、Ｇ及びＢ成分の強度はいずれも０となっている。すなわち、どの画素にも一定強度の赤い光が照射されている例を示している。

図１（Ｃ）は、図１（Ｂ）に示す光が入射した場合に、各受光素子が出力する画素値を示している。横軸は、図１（Ａ）及び図１（Ｂ）に対応する位置を示しており、縦軸は画素値を示している。図１（Ｃ）の例では、Ｒ成分に反応する受光素子Ｃ０のみ一定の画素値を出力し、入射強度が０のＧ、Ｂ成分に反応する受光素子Ｃ１、Ｃ２の出力画素値はともに０となっている。

次に、図１（Ｄ）〜（Ｆ）は、図１（Ａ）と同じ撮像素子に別の光が入射した場合の様子を示している。すなわち、図１（Ｄ）は、図１（Ａ）と同じ図を示している。また、図１（Ｅ）には、図１（Ｂ）に示す光とは異なる特性の光の強度分布が示され、図１（Ｆ）には、図１（Ｅ）に示す光が入射した場合の出力画素値を示している。

図１（Ｄ）の例では、例えば受光素子Ｃ０の位置に、Ｒ＝Ｇ＝Ｂの強度を持つ白い光が入射し、受光素子Ｃ１、Ｃ２の位置にはどの成分も入射していない黒い状態を示している。このような場合、白い光は、Ｒ成分のみフィルタｆＲを透過するため、受光素子Ｃ０は一定の画素値を出力し、光の当たらない受光素子Ｃ１、Ｃ２の出力画素値は０となる。

ここで、異なる２つの光強度分布を示す図１（Ｂ）及び図１（Ｅ）に対して、出力される画素値の分布を示す図１（Ｃ）及び図１（Ｆ）が全く同じ形を示していることが問題となる。すなわち、図１（Ｃ）及び図１（Ｆ）に示すように、撮像素子が出力する画素値が同一であるため、後段において上述した３つの画素値を用いて信号処理を行う場合、撮像素子に入射した光が図１（Ｂ）に示す光か、又は図１（Ｅ）に示す光かを判別することができない。

なお、図１（Ｆ）に示す画素値分布が得られた場合には、一般的に近傍領域に同じ光が入射する可能性が高いため、図１（Ｂ）に示す赤い光が入射していると推定され、結果として、本来は白と黒の無彩色どうしのエッジ部分に赤色が現れる等の画質劣化が生じる。これを「偽色」という。

更に、上述の説明では、図１（Ｂ）及び図１（Ｅ）に示す２種類の強度分布を例として示したが、例えば、受光素子Ｃ０の位置でのＲ強度、受光素子Ｃ１の位置でのＧ強度、受光素子Ｃ２の位置でのＢ強度が同じ強度である場合、受光素子Ｃ０の位置でのＧ、Ｂ強度、受光素子Ｃ１の位置、受光素子Ｃ２の位置でのＲ強度の値がどのような値あっても、出力される画素値は同じ値となる。すなわち、ある一つの画素値分布が多数の光強度分布に対応して示される。

上述した現象は、入射光の各成分を異なる位置の受光素子で検知するために生じるものであり、領域分割型フィルタを利用した撮像方式において生じる問題である。

なお、領域分割フィルタ式イメージセンサにおいて生じる偽色現象を低減するための信号処理方法として、例えば被対象画素と隣接する縦方向の２画素の信号量の差と横方向の２画素の信号量の差とを比較して連続性のある方向を判断し、その方向の画素の信号量を平均した信号量で被対象画素を補間する方法が知られている（例えば、特許文献１参照。）。この方法では、撮影画像データから輪郭成分としての局所的なエッジ方向を判定し、その判定結果に応じてエッジ方向に並んだ画素を利用して補間処理を実行することで、エッジを跨ぐ補間を避けることで偽色の発生を防止しようとしている。

また、例えば参照領域内の同種の色成分を平均化することで着目画素に欠けている色成分を補間する画素補間装置が知られている（例えば、特許文献２参照。）。この方法は、上述した方法と同様に画像データからエッジ方向等を判定し補間処理を変更する処理を、より小規模な回路構成で実現しようとするものである。

しかしながら、上記特許文献１及び特許文献２の手法は、いずれもベイヤー型フィルタ配列を前提としているため、例えば画素位置によって連続的にフィルタ配置が変化するタイプの撮像素子に対しては適用することができない。

例えば、受光素子アレイの縦方向の受光素子に対するフィルタの配置が、傾き１対２となる斜めストライプ配列の場合、フィルタを設置する位置にずれが生じると、注目画素を含むラインがそのずれた位置にあたる場合がある。このような場合、例えば入力画像が横方向のエッジである場合にも、注目画素を含むライン内での補間結果に対する信頼性は低くなる。したがって、上述したフィルタ配置の場合には、入力画像の性質だけでなく、画素位置によって異なるフィルタ配置の状況にも応じた処理方法を用いる必要がある。

本発明は、上記の課題に鑑みてなされたものであり、画質劣化を防止し、高品質な画像データを得る画像処理装置、及び画像処理方法を提供することを目的とする。

本発明は、上記目的を達成するために、各画素に複数の成分が所定の比率で混在する画像データを入力し、入力画像データから成分画像データを復元する画像処理装置であって、前記入力画像データのうち、注目画素を含む所定の参照画素領域内に複数の小領域を設定し、設定された小領域の有効性を前記成分の混在比率に基づいて評価する第１評価値算出手段と、前記設定された小領域の有効性を輝度変化に基づいて評価する第２評価値算出手段と、前記参照画素領域内の画素データと、前記第１評価値算出手段より得られた第１評価値と、前記第２評価値算出手段より得られた第２評価値とを用いて、前記注目画素位置の復元成分画素データを算出する復元成分画素データ算出手段とを有することを特徴とする。

また、本発明は、各画素に複数の成分が所定の比率で混在する画像データを入力し、入力画像データから成分画像データを復元する画像処理装置によって実行される画像処理方法であって、前記入力画像データのうち、注目画素を含む所定の参照画素領域内に複数の小領域を設定し、設定された小領域の有効性を前記成分の混在比率に基づいて評価する第１評価値算出手順と、前記設定された小領域の有効性を輝度変化に基づいて評価する第２評価値算出手順と、前記参照画素領域内の画素データと、前記第１評価値算出手順より得られた第１評価値と、前記第２評価値算出手順より得られた第２評価値とを用いて、前記注目画素位置の復元成分画素データを算出する復元成分画素データ算出手順とを有することを特徴とする。

本発明によれば、画質劣化を防止し、高品質な画像データを得ることを可能とする。

偽色が発生する原理を説明するための図である。 本発明に係る画像処理装置を含む撮像装置全体の構成を示す図である。 領域分割偏光フィルタの配置パターンを示す図である。 偏光フィルタ部の受光素子に対する相対位置が横方向にずれた場合の配置を示す図である。 ２×２画素領域内の６組の画素ペアを示す図である。 実施例１の画素値復元処理を実行する信号処理部のブロック図である。 実施例２の画素値復元処理を実行する信号処理部のブロック図である。 選択平均手段により実行される選択平均処理の流れを示すフローチャートである。

以下、本発明の実施の形態について詳細に説明する。

＜撮像装置全体の構成＞
図２は、本発明に係る画像処理装置を含む撮像装置全体の構成を示す図である。図２に示す撮像装置１は、イメージセンサ２と、領域分割偏光フィルタ３と、結像光学系４と、画像処理装置としての信号処理部５とを有するように構成される。

イメージセンサ２は、例えば受光素子が行方向（横方向）及び列方向（縦方向）に二次元的に配列された受光素子アレイである。イメージセンサ２には、例えばＣＣＤ、ＭＯＳ（金属酸化膜半導体：Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＭＯＳ等を用いることができる。

領域分割偏光フィルタ３は、例えば縦方向及び横方向の２種類の偏光フィルタを用いた斜めストライプ型の領域分割フィルタである。領域分割偏光フィルタ３は、イメージセンサ２に受光される光の光路上であってイメージセンサ２の手前に設けられるが、例えばイメージセンサ２の表面に密着するように設けられても良い。なお、領域分割偏光フィルタ３のフィルタパターンについては後述する。

結像光学系４は、例えば被写体等の撮影対象の像（光）をイメージセンサ２に結像させる。

信号処理部（画像処理装置）５は、イメージセンサ２から出力される各画素に複数の成分（例えば縦偏光成分及び横偏光成分）が所定の比率で混在する画像データを入力し、入力した画像（撮影画像）データから、例えば各画素に複数種類の単一成分を有する複数の成分画像データ（縦横偏光成分画像）を生成する。

図２に示す撮像装置１０の左側から入射する光は、結像光学系４により結像され、領域分割偏光フィルタ３を透過して、イメージセンサ２の撮像面上に像を結ぶ。イメージセンサ２は、各受光素子（セル）に入射した光をデジタル電気信号に変換し、信号処理部５へ出力する。

信号処理部５は、イメージセンサ２から入力した画像データのうち、注目画素を含む所定の参照画素領域内に複数の小領域を設定し、設定された小領域に基づいて、注目画素の成分画素データを復元することにより、複数の成分画像データ（縦横偏光成分画像）を生成し、外部へ出力する。なお、信号処理部５の具体的な処理内容については後述する。

＜領域分割偏光フィルタ＞
次に、図３を用いて、上述した領域分割偏光フィルタ３の配置パターンについて説明する。図３は、領域分割偏光フィルタの配置パターンを示す図である。

図３に示すように、領域分割フィルタ２は、偏光方向が互いに異なる光を透過する複数種類の帯状の偏光フィルタ部を有する。例えば、領域分割偏光フィルタ３は、偏光方向が縦方向の偏光フィルタ部３１と偏光方向が横方向の偏光フィルタ部３２とを、イメージセンサ２の縦横に格子状に配列された受光素子２０上に有している。

偏光フィルタ部３１及び偏光フィルタ部３２は、例えば幅方向に沿って交互に繰り返し配列され、偏光フィルタ部３１により覆われた領域からは縦偏光成分が透過し、偏光フィルタ部３２により覆われた領域からは横偏光成分が透過する。また、偏光フィルタ部３１及び偏光フィルタ部３２は、図３に示す横方向の受光素子２０（１画素分）の幅に等しい幅寸法を有し、縦方向の受光素子２０（２画素分）の幅寸法に等しい幅寸法を有する斜めストライプ型パターンによって構成されている。

なお、図４は、偏光フィルタ部の受光素子に対する相対位置が横方向にずれた場合の配置を示している。図４の例では、２行２列に配列された４つの受光素子２１〜２４と、受光素子２１〜２４に重なる偏光フィルタ部３１と、偏光フィルタ部３２とを示している。

図４（Ａ）〜図４（Ｃ）は、受光素子に対する偏光フィルタ部のずれ量をｄとしたときに、ずれ量ｄが、横方向（行方向）に１／４画素分、１／２画素分、３／４画素分となったときの偏光フィルタ部の配置状態を示している。

図４（Ａ）〜図４（Ｃ）に示すように、偏光フィルタ部の受光素子に対する相対位置がずれると、各受光素子が偏光フィルタ部３１及び偏光フィルタ部３２によって覆われる領域（カバー率）が、ずれ量ｄに応じてそれぞれ変化する。

＜小領域の設定＞
次に、図５を用いて、上述した成分画像データ（縦横偏光成分画像）を復元するために設定される注目画素を含む所定の参照画素領域、及び小領域について説明する。図５は、２×２画素領域内の６組の画素ペアを示す図である。

上述したように、領域分割偏光フィルタ３は、縦方向及び横方向の２種類の偏光フィルタを採用しているため、各画素において２つの偏光成分が混在することになる。したがって、最低２画素の画素データがあれば、元の縦横偏光成分を復元することができる。そこで、まず注目画素近隣に複数の画素ペアを設定し、設定した画素ペアごとに縦横偏光成分を復元する。

具体的には、図５に示すように、入力画像データのうち、注目画素を含む２×２画素を参照領域として設定する。この設定された参照領域内には、図５（Ａ）〜図５（Ｆ）に示すように、隣接する画素ペアとして合計６組の画素ペアを組み合わせることができる。

例えば、図５（Ａ）の例では、注目画素（図５（Ａ）〜（Ｆ）において×印のある画素）を含む縦方向の２画素、図５（Ｂ）の例では、注目画素を含まない縦方向の２画素、図５（Ｃ）の例では、注目画素を含む横方向の２画素、図５（Ｄ）の例では、注目画素を含まない横方向の２画素、図５（Ｅ）の例では、注目画素を含む画素と、参照領域の中心から注目画素の点対象にある画素の２画素、図５（Ｆ）の例では、注目画素を含まない参照領域の中心から点対象にある２画素である。

本実施例では、上述した画素ペアを、注目画素を含む参照領域における「小領域」として設定する。なお、本実施例において、上述した参照領域は２×２画素の領域に限定されず、例えば注目画素を含み、上述した２×２以外の画素数から構成される領域を参照領域としても良い。

また、本実施例では、上述のように設定した各画素ペアについて、フィルタ配置パターン（各偏光成分の混在比率）、及び撮影画像のエッジ度（輝度変化）の２つの基準を用いて「有効性」を評価し、両方の評価が高い画素ペアにより重みをかけ、加重平均を算出し、注目画素の成分画素データを復元する。

以下、各画素ペアから復元される成分画素データ算出ステップ、フィルタ配置パターンに基づく第１評価値算出ステップ、撮影画像のエッジ度に基づく第２評価値算出ステップについて説明する。

＜画素ペアから復元される成分画素データ（縦横偏光成分）＞
まず、上述した図５に示すように、小領域として設定した各画素ペアから復元される成分画素データ算出ステップについて説明する。例えば、画素ペアの一方の画素値をＩ_０、他方をＩ_１とし、入射光の縦偏光成分をＬ_ｖ、横偏光成分をＬ_ｈ、受光素子ｉでの縦偏光成分の感度をａ_ｖｉ、横偏光成分の感度をａ_ｈｉとすると、縦横偏光成分Ｌ_ｖ、Ｌ_ｈの光に照らされた画素ペアの画素値Ｉ_０、Ｉ_１は、式（１）のように示される。

なお、以下の説明では、行列Ｍを画素ペアの成分混合行列と呼ぶ。画素値Ｉ_０、Ｉ_１から元の縦横偏光成分Ｌ_ｖ、Ｌ_ｈを復元するためには、成分混合行列Ｍの逆行列Ｍ^−１を求め、式（２）に示すように、画素値ベクトルに掛ければ良い。

上述のように算出されたＯ_ｐを画素ペアで復元された成分画素データ（復元成分画素データ）とする。なお、成分混合行列Ｍは、予め計測しておくと良い。具体的には、予めイメージセンサ２の受光素子アレイ全体に一様な強度の１００％縦偏光の光を照射し、その時の受光素子アレイから出力されるデータを参照画像データ１として記録する。

次に、同様に一様な強度の１００％横偏光の光を照射し、その時の受光素子アレイから出力されるデータを参照画像データ２として記録する。ここで、各画素における参照画像データ１及び参照画像データ２の画素値そのものが、その画素位置での縦偏光成分及び横偏光成分の感度（ａ_ｖ、ａ_ｈ）に比例していると考えることができる。したがって、上述のように計測した感度から、各画素ペアに対する逆行列Ｍ^−１を予め計算しておき、例えばフラッシュメモリ等の記録媒体に記録しておくと良い。

なお、記録内容は、例えば特願２００９−２４８１３５号に示す方法を用いて、上述した各画素位置のずれ量ｄと、各ずれ量ｄに対する逆行列Ｍ^−１という形で分解し、更に隣接方向別に分けて記録することで記憶容量を節約することも可能である。

＜フィルタ配置パターンによる画素ペアの評価：第１評価値＞
次に、フィルタ配置パターンに基づく画素ペアの第１評価値を算出する第１評価値算出ステップについて説明する。上述した図４に示すように、領域分割偏光フィルタ３のフィルタ配置パターン（各偏光成分の混在比率）は、ずれ量ｄに応じて撮像素子上の画素位置で変化すると想定される。

そのため、例えば画素ペア内の２画素の縦横偏光フィルタのカバー率がほぼ同じ場合（例えば図４（Ｂ）に示すそれぞれ縦方向の２画素からなる画素ペア等）、このような画素ペアで復元された成分画素データに対する信頼性は低くなる。

そこで、第１評価値算出ステップでは、上述した式（１）の成分混合行列Ｍの行列式の絶対値を利用して、例えばフィルタ配置パターンによる画素ペアの有効性を評価する第１評価値ｗ_ｐ０を式（３）から算出する。

ここで、行列式ｄｅｔ（Ｍ_ｐ）は、上述した逆行列Ｍ^−１と同様に、予め参照画像データ１及び参照画像データ２から計算して、例えばフラッシュメモリ等の記録媒体に記録しておくと良い。

＜撮影画像のエッジ度による画素ペアの評価：第２評価値＞
次に、撮影画像のエッジ度に基づく画素ペアの第２評価値を算出する第２評価値算出ステップについて説明する。上述した逆行列Ｍ^−１により算出される画素ペアの成分画素データ（縦横偏光成分）Ｏ_ｐは、例えば画素ペア内の２つの画素に対して、同じ縦横偏光成分Ｌ_ｖ、Ｌ_ｈが照射されていると仮定したものである。したがって、画素ペア内の２つの画素位置に異なる成分の光が当たっている場合には、上述した画素ペアから算出される成分画素データの信頼性は低くなる。

そこで、第２評価値算出ステップでは、例えば似た光が当たっている画素ペアに対して大きな加重をおくものとする。すなわち、一般的に明暗の大きく異なるエッジ部では偏光状態も含め、光の性質が大きく変わる可能性が高いため、このような輝度変化の激しい２画素からなる画素ペアに対しては重みを下げるものとする。

上述した図３に示すように、領域分割偏光フィルタ３は、例えば偏光フィルタ部（偏光フィルタ部３１及び偏光フィルタ部３２）の横方向の幅は１画素分の幅寸法となっているため、例えば横方向に隣接する２画素の画素ペアの場合、フィルタ配置のずれ量ｄによらず、常に縦横偏光フィルタのカバー率が逆になる。例えば、図４（Ａ）〜（Ｃ）に示すように、横方向に隣接する２画素において、偏光フィルタ部３１が覆う領域と偏光フィルタ部３２が覆う領域とは逆パターンとなっている。

したがって、横方向に隣接する２画素の画素値を加算すると縦偏光成分と横偏光成分の合計、すなわち輝度を推定することが可能である。具体的には、画素位置の輝度を推定するため、例えば注目画素の左右の画素値を用いて、入力される画像（撮影画像）に横方向に（１／４、１／２、１／４）の重みをつけた平滑フィルタをかけたデータを、その画素位置での輝度の推定値Ｉｎｔ_ｉ，ｊとして、式（４）により算出する。

ここで、第２評価値算出ステップにより算出する画素ペアの第２評価値ｗ_ｐ１は、輝度差の激しい画素ペアほど小さい値にし、更に明るさの影響を排除するため、２つの画素位置での推定輝度値の和を、差の絶対値で割った値として式（５）により算出する。

なお、式（４）に示すＩ_ｉ，ｊは、入力される画像の画素値を示しており、式（５）の分母の３項目は、零除算を避けるためのオフセットである。上述した第２評価値算出ステップにより、輝度変化が激しい２画素の画素ペアに低い評価を与えることが可能となる。

＜画素ペアごとの復元成分の加重平均＞
次に、上述した第１評価値算出ステップにより得られた評価値ｗ_ｐ０、第２評価値算出ステップにより得られた評価値ｗ_ｐ１を用いて、加重値算出ステップにより、式（６）から両者の積を求め、最終的な画素ペアの評価値ｗ_ｐとする。

本実施例では、加重値算出ステップにより得られた評価値ｗ_ｐを重みとして、加重平均算出ステップにより、式（７）を用いて各画素ペアによる復元成分画素データＯ_ｐの加重平均をとり、注目画素位置での最終的な出力画素値Ｏ_ｉ，ｊ（復元成分画素データ）とする。

なお、上述の説明では１つのＯ_ｐとして説明したが、本実施例では縦偏光成分と横偏光成分の２成分による画素データを出力するため、Ｏ_ｐは２成分のベクトルである。

＜信号処理部のブロック図：実施例１＞
図６は、実施例１の画素値復元処理を実行する信号処理部のブロック図を示している。図６に示すように、実施例１の画素値復元処理を実行する信号処理部５−１は、行列積算出手段５１と、逆行列算出手段５２と、第１評価値算出手段５３と、平滑化手段５４と、第２評価値算出手段５５と、加重値算出手段５６と、加重平均算出手段５７とを有するように構成される。なお、本発明に係る復元成分画素データ算出手段は、実施例１の加重値算出手段５６と加重平均算出手段５７に対応する。

信号処理部５には、入力される画像（撮影画像）データの画素データ（Ｉ_ｉ，ｊ）と、注目画素の画素位置（_ｉ，ｊ）が順次スキャン順に入力される。なお、既に入力された画素データは、各処理ブロックの必要に応じて、適宜、信号処理部５が有する記憶手段等にバッファリングされるものとする。

行列積算出手段５１は、入力される撮影画像の画素データ（Ｉ_ｉ，ｊ）が、上述した図５等に示す２×２画素の参照領域における６組の画素ペア（小領域）として設定されるため、画素ペアごとに、上述した式（２）を用いて逆行列算出手段５２により算出された逆行列Ｍ_ｐ ^−１との積を算出し、画素ペアごとに成分画素データ（復元成分画素データ）Ｏ_ｐを算出する。

逆行列算出手段５２は、予め計測しておいた参照画像データ１及び参照画像データ２を用いて画素ペアごとに、上述した式（１）により成分混合行列Ｍを算出し、算出した成分混合行列Ｍから逆行列Ｍ_ｐ ^−１を算出して、装置内のフラッシュメモリ等に記録しておく。

第１評価値算出手段５３は、逆行列算出手段５２により得られた成分混合行列Ｍを用いて画素ペアごとに、上述した式（３）により成分混合行列Ｍの絶対値を算出し、画素ペアに対する第１評価値（加重要素）ｗ_ｐ０として装置内のフラッシュメモリ等に記録しておく。

なお、上述のように予め記録される逆行列Ｍ_ｐ ^−１及び第１評価値ｗ_ｐ０は、注目画素の画素位置（_ｉ，ｊ）が順次入力されると、上述した参照領域から設定される画素ペアの位置に応じてそれぞれ読み出される。

平滑化手段５４は、入力される撮影画像の画素データ（Ｉ_ｉ，ｊ）に対して、上述した式（４）を用いて、横方向の３画素の平滑化処理を施し、各画素位置における推定輝度値（Ｉｎｔ_ｉ，ｊ）を算出する。

第２評価値算出手段５５は、平滑化手段５４より得られた各画素位置における推定輝度値（Ｉｎｔ_ｉ，ｊ）を用いて、上述した式（５）により画素ペアの輝度変化に基づく第２評価値（加重要素）ｗ_ｐ１を算出する。

加重値算出手段５６は、第１評価値算出手段５３より得られた第１評価値ｗ_ｐ０と第２評価値算出手段５５より得られた第２評価値ｗ_ｐ１を用いて、上述した式（６）により積算し、画素ペアの評価値ｗ_ｐを求める。

加重平均算出手段５７は、加重値算出手段５６より算出した画素ペアの評価値ｗ_ｐを重みとして、行列積算出手段５１より得られた各画素ペアの復元成分画素データＯ_ｐの加重平均を上述した式（７）により算出し、その結果を、注目画素位置における出力画素値（復元成分画素データＯ_ｉ，ｊ）として出力する。

第１実施例では、上述した構成により、注目画素位置の近隣の画素のうち、フィルタ配置パターン（各偏光成分の混在比率）の悪い部分（カバー率が同じような部分）や、輝度変化（撮影画像のエッジ度）の激しい部分の影響を避け、高精度な縦横偏光成分画像を復元することが可能となる。

＜画素値復元処理演算のブロック図：実施例２＞
次に、本発明の実施例２について説明する。実施例２では、実施例１と同様に、フィルタ配置パターン及び撮影画像のエッジ度の２つの基準を用いて画素ペアを評価する。

また、両方の評価値が高い画素ペアを選択し、上位の画素ペアにおける成分画素データ（復元成分画素データ）を単純平均した値を、注目画素位置における復元成分画素データ（Ｏ_ｉ，ｊ）として出力する。これにより、輝度変化の激しい部分や、フィルタ配置パターンの悪い部分の影響を避けながら、加重平均演算を使用する実施例１と比較して、回路規模を小さくすることができる。

図７は、実施例２の画素値復元処理を実行する信号処理部のブロック図を示している。図７に示すように、実施例２の画素値復元処理を実行する信号処理部５−２は、図６に示す信号処理部５−１と比較して、加重平均算出手段５７の代わりに選択平均手段５８を設けている点が異なる。なお、本発明に係る復元成分画素データ算出手段は、実施例２の選択平均手段５８に対応する。

次に、選択平均手段５８が実行する処理内容について説明する。図８は、選択平均手段により実行される選択平均処理の流れを示すフローチャートである。

図８に示すように、行列積算出手段５１より画素ペアごとに復元された成分画素データＯ_ｐと、加重値算出手段５６により得られた画素ペアごとの評価値ｗ_ｐとが、選択平均手段５８に入力される（Ｓ１０）と、選択平均手段５８は、画素ペアに対する評価値ｗ_ｐを降順にソートする（Ｓ１１）。

選択平均手段５８は、Ｓ１１の処理でソートした後、上位から２番目に評価が高い画素ペアの評価値ｗ_ｐと予め設定した閾値ｔｈとを比較し、上位から２番目に評価が高い画素ペアの評価値ｗ_ｐの値が閾値ｔｈより大きいか否か判断する（Ｓ１２）。

選択平均手段５８は、２番目に評価が高い画素ペアの評価値ｗ_ｐが閾値ｔｈよりも大きくないと判断した場合（Ｓ１２において、ＮＯ）、最上位の（１番目に評価が高い）画素ペアの評価値ｗ_ｐと上述した閾値ｔｈとを比較し、最上位の画素ペアの評価値ｗ_ｐの値が閾値ｔｈより大きいか否か判断する（Ｓ１３）。

一方、上位から２番目に評価が高い画素ペアの評価値ｗ_ｐの値の方が閾値ｔｈよりも大きいと判断した場合（Ｓ１２において、ＹＥＳ）、上位２個の評価値ｗ_ｐ（最上位の画素ペアの評価値ｗ_ｐと２番目に評価が高い画素ペアの評価値ｗ_ｐ）に対応する２つの画素ペアの成分画素データＯ_ｐを用いて単純平均を算出し（Ｓ１４）、その結果を、注目画素位置における復元成分画素データ（Ｏ_ｉ，ｊ）として出力し（Ｓ１５）、処理を終了する。

また、最上位の画素ペアの評価値ｗ_ｐの値が閾値ｔｈよりも大きいと判断した場合（Ｓ１３において、ＹＥＳ）、最上位の画素ペアの成分画素データＯ_ｐを注目画素位置における復元成分画素データ（Ｏ_ｉ，ｊ）として出力する（Ｓ１５）。

なお、最上位の画素ペアの評価値ｗ_ｐの値が閾値ｔｈよりも小さいと判断した場合（Ｓ１３において、ＮＯ）、注目画素近傍領域内のいずれの画素ペア（小領域）も、撮影画像内容、又はフィルタ配置の観点から、成分画素データを復元するには不適当と判断し、無効画素を表す予め設定した画素値を選択し（Ｓ１５）、注目画素位置における復元成分画素データ（Ｏ_ｉ，ｊ）として出力する（Ｓ１６）。

上述した実施例１及び実施例２に示す手法により、注目画素位置における復元成分画素データの取得を、入力される撮影画像全体に対して行うことで、画質劣化を防止し、高品質な画像データ（縦横偏光成分画像）を得ることが可能となる。また、例えば斜めストライプ型の領域分割フィルタを用いたイメージセンサから得られる入力画像データに対しても、画質劣化を防止し、高品質な画像データを復元することが可能となる。

以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

１ 撮像装置
２ イメージセンサ
３ 領域分割偏光フィルタ
４ 結像光学系
５ 信号処理部
２０〜２４ 受光素子
３１，３２ 偏光フィルタ部
５１ 行列積算出手段
５２ 逆行列算出手段
５３ 第１評価値算出手段
５４ 平滑化手段
５５ 第２評価値算出手段
５６ 加重値算出手段
５７ 加重平均算出手段
５８ 選択平均手段

特開２０００−１６５８９２号公報 特許第４３０２３９１号公報

Claims (8)

1. 各画素に複数の成分が所定の比率で混在する画像データを入力し、入力画像データから成分画像データを復元する画像処理装置であって、
   前記入力画像データのうち、注目画素を含む所定の参照画素領域内に複数の小領域を設定し、設定された小領域の有効性を前記成分の混在比率に基づいて評価する第１評価値算出手段と、
   前記設定された小領域の有効性を輝度変化に基づいて評価する第２評価値算出手段と、
   前記参照画素領域内の画素データと、前記第１評価値算出手段より得られた第１評価値と、前記第２評価値算出手段より得られた第２評価値とを用いて、前記注目画素位置の復元成分画素データを算出する復元成分画素データ算出手段とを有することを特徴とする画像処理装置。
2. 前記復元成分画素データ算出手段は、
   前記第１評価値と前記第２評価値とを用いて、前記設定された小領域に対する加重値を算出する加重値算出手段と、
   前記設定された小領域ごとの成分画素データに対して前記加重値算出手段より得られた加重値を用いて加重平均を算出する加重平均算出手段とを有することを特徴とする請求項１に記載の画像処理装置。
3. 前記復元成分画素データ算出手段は、
   前記設定された小領域の成分画素データうち、前記第１評価値と前記第２評価値とを用いて算出された前記設定された小領域に対する加重値に基づいて、前記第１評価値及び前記第２評価値が高い小領域を選択する小領域選択手段と、
   前記小領域選択手段により選択された小領域ごとの成分画素データから平均を算出する平均値算出手段とを有することを特徴とする請求項１に記載の画像処理装置。
4. 前記復元成分画素データ算出手段は、
   前記小領域選択手段により選択された小領域がなかった場合、無効画素を示す予め設定された画素データを前記復元成分画素データとすることを特徴とする請求項３に記載の画像処理装置。
5. 各画素に複数の成分が所定の比率で混在する画像データを入力し、入力画像データから成分画像データを復元する画像処理装置によって実行される画像処理方法であって、
   前記入力画像データのうち、注目画素を含む所定の参照画素領域内に複数の小領域を設定し、設定された小領域の有効性を前記成分の混在比率に基づいて評価する第１評価値算出手順と、
   前記設定された小領域の有効性を輝度変化に基づいて評価する第２評価値算出手順と、
   前記参照画素領域内の画素データと、前記第１評価値算出手順より得られた第１評価値と、前記第２評価値算出手順より得られた第２評価値とを用いて、前記注目画素位置の復元成分画素データを算出する復元成分画素データ算出手順とを有することを特徴とする画像処理方法。
6. 前記復元成分画素データ算出手順は、
   前記第１評価値と前記第２評価値とを用いて、前記設定された小領域に対する加重値を算出する加重値算出手順と、
   前記設定された小領域ごとの成分画素データに対して前記加重値算出手順より得られた加重値を用いて加重平均を算出する加重平均算出手順とを有することを特徴とする請求項５に記載の画像処理方法。
7. 前記復元成分画素データ算出手順は、
   前記設定された小領域の成分画素データうち、前記第１評価値と前記第２評価値とを用いて算出された前記設定された小領域に対する加重値に基づいて、前記第１評価値及び前記第２評価値が高い小領域を選択する小領域選択手順と、
   前記小領域選択手順により選択された小領域ごとの成分画素データから平均を算出する平均値算出手順とを有することを特徴とする請求項５に記載の画像処理方法。
8. 前記復元成分画素データ算出手順は、
   前記小領域選択手順により選択された小領域がなかった場合、無効画素を示す予め設定された画素データを前記復元成分画素データとすることを特徴とする請求項７に記載の画像処理方法。

Images