JP5414691B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、高解像度の増感画像を得る画像処理装置及び画像処理方法に関する。

ＣＣＤなどの撮像素子を備えているディジタルスチルカメラでは、例えば、夜間などの低照度の条件でフラッシュ等を使わずに適正露光の撮影を行う場合、長時間露光を行うか、もしくは、撮像素子から出力される画像信号を電気的に増幅して、画像信号レベルを上昇させる高感度撮影を行うのが一般的である。
しかし、長時間露光を行う場合、カメラの手ブレや被写体ブレが生じ易いため、カメラを三脚に固定して撮影する制約や、人物のように動きのあるものは被写体として採用しない制約など、撮影環境に制約が生じる場合が多い。
また、高感度撮影を行う場合、アナログ回路で混入するノイズが、画像情報と一緒に高い増幅率で増幅されるため、画像のＳ／Ｎが悪化する問題がある。

これに対して、異なる感度及び露光時間で撮影された２枚の画像のうち、相対的に低い感度で撮影された画像の情報を用いて、比較的高感度で撮影された画像のノイズを除去する画像処理方法が以下の特許文献１に開示されている。
しかし、この画像処理方法を使用する場合でも、２枚の画像を撮影する間に発生する手ブレや被写体ブレを防ぐことができないため、依然として撮影環境に制約が伴っている。
また、複数枚の画像を用いずに、１回の撮影で得られた画像内で近傍画素の信号レベルを加算することで、ランダムノイズをキャンセルしつつ、被写体の信号レベルを上昇させるディジタル画素混合処理を用いる方法も使用されているが、被写体の解像度が著しく低下する問題がある。

特開２００７−３１２２８４号公報（段落番号［０００９］、図１）

従来の画像処理方法は以上のように構成されているので、比較的高感度で撮影された画像のノイズを除去することができるが、２枚の画像を撮影する間に発生する手ブレや被写体ブレを防ぐことができず、撮影環境に多くの制約が生じるなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、撮影環境の制約を受けることなく、高解像度で低ノイズの適正露光画像を取得することができる画像処理装置及び画像処理方法を得ることを目的とする。

この発明に係る画像処理装置は、２次元画像における着目画素の周辺に存在している被写体の２つの特徴量として、着目画素を中心として直交する２方向についての２次微分値の絶対値をそれぞれ検出する特徴量検出部と、２つの特徴量の差を着目画素の周辺に存在している被写体の方向相関値として算出する方向相関値算出部と、２つの特徴量の絶対値の和を周辺画素に対する着目画素の振幅レベルとして算出する振幅レベル算出部と、着目画素の画素信号及び着目画素の周辺画素の画素信号を参照して、直交する２方向の１次元ローパスフィルタ値、直交する２方向の１次元メディアンフィルタ値、２次元ローパスフィルタ値及び２次元メディアンフィルタ値を算出するフィルタ値算出部とを設け、出力値算出部が、上記振幅レベルを用いて、直交する２方向のうちの１方向についての１次元ローパスフィルタ値と１次元メディアンフィルタ値との間の第１の重み付け演算、直交する２方向のうちのもう一方についての１次元ローパスフィルタ値と１次元メディアンフィルタ値との間の第２の重み付け演算及び２次元ローパスフィルタ値と２次元メディアンフィルタ値の間の第３の重み付け演算の各々を実施し、２つの特徴量を用いて、第１の重み付け演算の結果と第２の重み付け演算の結果との間の第４の重み付け演算を実施し、上記方向相関値を用いて、第３の重み付け演算の結果と第４の重み付け演算の結果との間の第５の重み付け演算を実施し、第５の重み付け演算の結果に対して増感倍率を乗算するようにしたものである。

この発明によれば、出力値算出部が、着目画素の振幅レベルを用いて、直交する２方向のうちの１方向についての１次元ローパスフィルタ値と１次元メディアンフィルタ値との間の第１の重み付け演算、直交する２方向のうちのもう一方についての１次元ローパスフィルタ値と１次元メディアンフィルタ値との間の第２の重み付け演算及び２次元ローパスフィルタ値と２次元メディアンフィルタ値の間の第３の重み付け演算の各々を実施し、２つの特徴量を用いて、第１の重み付け演算の結果と第２の重み付け演算の結果との間の第４の重み付け演算を実施し、被写体の方向相関値を用いて、第３の重み付け演算の結果と第４の重み付け演算の結果との間の第５の重み付け演算を実施し、第５の重み付け演算の結果に対して増感倍率を乗算するように構成したので、撮影環境の制約を受けることなく、高解像度で低ノイズの適正露光画像を取得することができる効果がある。

この発明の実施の形態１による画像処理装置を示す構成図である。 この発明の実施の形態１による画像処理装置の処理内容を示すフローチャートである。 ディジタルスチルカメラで一般的に使用される原色系ベイヤー型単板イメージセンサの受光素子群を表している模式図である。 特徴量検出を行う際の画素位置の関係を表している説明図である。 着目画素と水平方向の３画素を用いるフィルタ演算を示す説明図である。 着目画素と垂直方向の３画素を用いるフィルタ演算を示す説明図である。 着目画素を含む９画素を用いるフィルタ演算を示す説明図である。 代表的な補色系イメージセンサの受光素子と色フィルタの配列を模式的に表している説明図である。 図８の２次元画像を輝度色差系信号に変換した後の輝度信号Ｙの分布を表している模式図である。 式（１９）（２０）のフィルタ演算に対応する参照画素位置を示す説明図である。 式（２１）（２２）のフィルタ演算に対応する参照画素位置を示す説明図である。 式（２３）（２４）のフィルタ演算に対応する参照画素位置を示す説明図である。 使用可能な周辺画素の分布を示す説明図である。 閾値ＴＨ１と閾値ＴＨ２の設定例を示す説明図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１はこの発明の実施の形態１による画像処理装置を示す構成図である。
図１において、特徴量検出部１は２次元画像を入力すると、その２次元画像における着目画素の周辺に存在している被写体の特徴量を検出する処理を実施する。なお、特徴量検出部１は特徴量検出手段を構成している。
方向相関値算出部２は特徴量検出部１により検出された特徴量から、着目画素の周辺に存在している被写体の方向相関値を算出する処理を実施する。なお、方向相関値算出部２は方向相関値算出手段を構成している。

振幅レベル算出部３は特徴量検出部１により検出された特徴量から、周辺画素（着目画素を中心とする周辺の画素）に対する着目画素の振幅レベルを算出する処理を実施する。なお、振幅レベル算出部３は振幅レベル算出手段を構成している。
フィルタ値算出部４は着目画素の画素信号及び周辺画素の画素信号を参照して、複数のフィルタ値（例えば、着目画素を含む１次元方向のローパスフィルタ値、着目画素を含む１次元方向のメディアンフィルタ値、着目画素を含む２次元のローパスフィルタ値、着目画素を含む２次元のメディアンフィルタ値）を算出する処理を実施する。なお、フィルタ値算出部４はフィルタ値算出手段を構成している。

出力値算出部５は特徴量検出部１により検出された特徴量、方向相関値算出部２により算出された方向相関値及び振幅レベル算出部３により算出された振幅レベルを用いて、フィルタ値算出部４により算出された複数のフィルタ値に対する重み付け演算を実施し、その重み付け演算の結果に増感倍率を乗算して適正露光画像の画素信号を生成する処理を実施する。なお、出力値算出部５は適正露光画像生成手段を構成している。

図２はこの発明の実施の形態１による画像処理装置の処理内容を示すフローチャートである。
図３はディジタルスチルカメラで一般的に使用される原色系ベイヤー型単板イメージセンサの受光素子群を表している模式図である。
図３において、各マスは１つの受光素子を表しており、２次元に配置された受光素子群が光電変換を行うことで２次元画像を撮影する。
この２次元受光素子群を１セット使用しているものが単板イメージセンサと呼ばれ、１セットでフルカラーの画像を撮影することができるようにするために、受光素子毎に撮影する色を割り当てる色フィルタが設置されている。
図３の例では、Ｇ（グリーン）の色フィルタが貼られた受光素子はＧ色のみを撮影し、Ｒ（レッド）の色フィルタが貼られた受光素子はＲ色のみを撮影し、Ｂ（ブルー）の色フィルタが貼られた受光素子はＢ色のみを撮影する。色フィルタが図３の配列で配置されているものはベイヤー配列と呼ばれ、一般的に用いられている。

次に動作について説明する。
この実施の形態１では、図３の原色系ベイヤー型単板イメージセンサを用いて撮影されているものとする。
以下の説明では、各処理部が、着目画素を中心とする水平５×垂直５画素からなる処理ウィンドウで処理しているものとする。

まず、特徴量検出部１は、２次元画像を入力すると、その２次元画像における着目画素の周辺に存在している被写体の特徴量を検出する（ステップＳＴ１）。
以下、特徴量検出部１による特徴量の検出処理を具体的に説明する。

図４は特徴量検出を行う際の画素位置の関係を表している説明図である。
この実施の形態１では、Ｇ信号については、ＧＲラインのＧ（以下、「Ｇｒ」と表記する）と、ＧＢラインのＧ（以下、「Ｇｂ」と表記する）とを別個の色の信号として扱うものとする。
図４において、「Ｐ」は、Ｒ色、Ｇｒ色、Ｇｂ色又はＢ色のいずれかの撮像信号を有する画素を表している。
また、「Ｐ２２」は処理対象の着目画素であり、Ｐ００〜Ｐ４４までの９画素が５×５ウィンドウにおけるＰ２２と同色画素である。

特徴量検出部１は、上述したように、着目画素の周辺に存在している被写体の特徴量を検出するものであるが、具体的には、下記の式（１）及び式（２）に示すように、被写体の特徴量として、着目画素の水平方向の２次微分値ＩｎｔＨと、着目画素の垂直方向の２次微分値ＩｎｔＶを算出する。
ＩｎｔＨ＝｜Ｐ２２−Ｐ０２｜＋｜Ｐ２２−Ｐ４２｜ （１）
ＩｎｔＶ＝｜Ｐ２２−Ｐ２０｜＋｜Ｐ２２−Ｐ２４｜ （２）

例えば、図４のＰ２２から見て、垂直方向に被写体のエッジが横切っている場合、２次微分値ＩｎｔＨは比較的大きい値になり、２次微分値ＩｎｔＶは比較的小さい値になる。
逆に、図４のＰ２２から見て、水平方向に被写体のエッジが横切っている場合、２次微分値ＩｎｔＶは比較的大きい値になり、２次微分値ＩｎｔＨは比較的小さい値になる。

方向相関値算出部２は、特徴量検出部１が特徴量として、２次微分値ＩｎｔＨ，ＩｎｔＶを算出すると、下記の式（３）に示すように、その２次微分値ＩｎｔＨ，ＩｎｔＶを用いて、着目画素の周辺に存在している被写体の方向相関値ＩｎｔＨＶ（着目画素が、水平方向の画素又は垂直方向の画素のうち、いずれかの方向の画素と相関性が高い場合には、その旨を示す指標値）を算出する（ステップＳＴ２）。
ＩｎｔＨＶ＝｜ＩｎｔＨ−ＩｎｔＶ｜ （３）

式（３）において、着目画素がいずれかの方向の画素と相関性が高い場合、２次微分値ＩｎｔＨと２次微分値ＩｎｔＶの差が大きくなるため、方向相関値ＩｎｔＨＶは比較的大きい値になる。
逆に、方向相関性が同程度の場合（例えば、被写体がエッジ周辺にない平坦な部分に位置する場合や、被写体が凹凸の頂点にある場合など）、方向相関値ＩｎｔＨＶは比較的小さい値になる。

振幅レベル算出部３は、特徴量検出部１が特徴量として、２次微分値ＩｎｔＨ，ＩｎｔＶを算出すると、下記の式（４）に示すように、その２次微分値ＩｎｔＨ，ＩｎｔＶを用いて、周辺画素に対する着目画素の振幅レベルＤｉｆＨＶ（着目画素が周辺画素に対して、どの程度の凹凸を有しているか示す信号レベルの振幅指標値）を算出する（ステップＳＴ３）。
ＤｉｆＨＶ＝ＩｎｔＨ＋ＩｎｔＶ （４）

式（４）において、着目画素がエッジ周辺にない平坦な部分に位置する場合、２次微分値ＩｎｔＨ，ＩｎｔＶが共に比較的小さい値であるため、振幅レベルＤｉｆＨＶは小さい値になる。
逆に、着目画素が凹凸の頂点にある場合、２次微分値ＩｎｔＨ，ＩｎｔＶが共に比較的大きい値であるため、振幅レベルＤｉｆＨＶは大きい値になる。

フィルタ値算出部４は、着目画素の画素信号及び周辺画素の画素信号を参照して、複数のフィルタ値（例えば、着目画素を含む１次元方向のローパスフィルタ値、着目画素を含む１次元方向のメディアンフィルタ値、着目画素を含む２次元のローパスフィルタ値、着目画素を含む２次元のメディアンフィルタ値）を算出する（ステップＳＴ４）。
即ち、フィルタ値算出部４は、図５に示す着目画素と水平方向の３画素を用いるフィルタ演算と、図６に示す着目画素と垂直方向の３画素を用いるフィルタ演算と、図７に示す着目画素を含む９画素を用いるフィルタ演算とを行う。

このうち、図５の水平方向については、下記の式（５）を用いて、ローパスフィルタ値ｌｐｆ０００を算出するとともに、下記の式（６）を用いて、３画素のメディアンフィルタ値ｍｅｄ０００を算出する。
ｌｐｆ０００＝（Ｐ２２＋Ｐ０２＋Ｐ４２）／３ （５）
ｍｅｄ０００＝［Ｐ２２，Ｐ０２，Ｐ４２の中央値］ （６）
また、図６の垂直方向については、下記の式（７）を用いて、ローパスフィルタ値ｌｐｆ０９０を算出するとともに、下記の式（８）を用いて、３画素のメディアンフィルタ値ｍｅｄ０９０を算出する。
ｌｐｆ０９０＝（Ｐ２２＋Ｐ２０＋Ｐ２４）／３ （７）
ｍｅｄ０９０＝［Ｐ２２，Ｐ２０，Ｐ２４の中央値］ （８）

また、図７については、下記の式（９）を用いて、ローパスフィルタ値Ａｌｐｆを算出するとともに、下記の式（１０）を用いて、メディアンフィルタ値Ａｍｅｄを算出する。
Ａｌｐｆ
＝（Ｐ２２＋Ｐ００＋Ｐ２０＋Ｐ４０＋Ｐ０２＋Ｐ４２＋Ｐ０４＋Ｐ２４＋Ｐ４４）／９
（９）
Ａｍｅｄ
＝［Ｐ２２，Ｐ００，Ｐ２０，Ｐ４０，Ｐ０２，Ｐ４２，Ｐ０４，Ｐ２４，Ｐ４４の中央値］ （１０）

出力値算出部５は、特徴量検出部１により検出された特徴量である２次微分値ＩｎｔＨ，ＩｎｔＶ、方向相関値算出部２により算出された方向相関値ＩｎｔＨＶ及び振幅レベル算出部３により算出された振幅レベルＤｉｆＨＶを用いて、フィルタ値算出部４により算出された複数のフィルタ値に対する重み付け演算を実施し、その重み付け演算の結果に増感倍率ＤＧａｉｎを乗算して、適正露光画像の画素信号Ｏｕｔを生成する（ステップＳＴ５）。
以下、出力値算出部５による適正露光画像の画素信号Ｏｕｔの生成処理を具体的に説明する。

まず、出力値算出部５は、振幅レベル算出部３により算出された振幅レベルＤｉｆＨＶを用いて、各方向毎のローパスフィルタ値とメディアンフィルタ値を重み付け加算する。
下記の式（１１）は、図５に対応する水平方向のローパスフィルタ値とメディアンフィルタ値の重み付け加算を行っており、下記の式（１２）は、図６に対応する垂直方向のローパスフィルタ値とメディアンフィルタ値の重み付け加算を行っている。
また、下記の式（１３）は、図７に対応するローパスフィルタ値とメディアンフィルタ値の重み付け加算を行っている。
ただし、式（１１）〜（１３）において、Ｄｉｆｌｉｍｉｔは、振幅レベルＤｉｆＨＶが取り得る最大値を示しており、事前に設定されている固定値である。
また、振幅レベルＤｉｆＨＶは、Ｄｉｆｌｉｍｉｔ値に基づいて事前にリミッタ処理されているものとする。

ｄｌｐｆ０００
＝｛ＤｉｆＨＶ×ｍｅｄ０００＋（Ｄｉｆｌｉｍｉｔ−ＤｉｆＨＶ）×ｌｐｆ０００｝
／Ｄｉｆｌｉｍｉｔ （１１）
ｄｌｐｆ０９０
＝｛ＤｉｆＨＶ×ｍｅｄ０９０＋（Ｄｉｆｌｉｍｉｔ−ＤｉｆＨＶ）×ｌｐｆ０９０｝
／Ｄｉｆｌｉｍｉｔ （１２）
Ａｌｐｆ２
＝｛ＤｉｆＨＶ×Ａｍｅｄ＋（Ｄｉｆｌｉｍｉｔ−ＤｉｆＨＶ）×Ａｌｐｆ｝
／Ｄｉｆｌｉｍｉｔ （１３）

出力値算出部５が式（１１）〜（１３）の計算を実施することにより、着目画素が周辺画素と比べて振幅が大きい場合、メディアンフィルタ値の重みが大きくなり、着目画素が孤立点ノイズであった場合に除去され易くなる。
また、着目画素が周辺画素と同程度のレベルで振幅が小さい場合、ローパスフィルタ値の重みが大きくなり、画像の平滑化効果が増加する。

次に、出力値算出部５は、下記の式（１４）に示すように、特徴量検出部１により検出された特徴量である２次微分値ＩｎｔＨ，ＩｎｔＶに基づいて、各方向に対するフィルタ値の重み付け加算を行う。
Ｄｌｐｆ＝（ＩｎｔＶ×ｄｌｐｆ０００＋ＩｎｔＨ×ｄｌｐｆ０９０）／ＤｉｆＨＶ
（１４）
式（１４）において、例えば、着目画素が垂直方向のエッジ上にある場合、２次微分値ＩｎｔＨが大きく、２次微分値ＩｎｔＶが小さいため、Ｄｌｐｆは、垂直方向のフィルタ値ｄｌｐｆ０９０の重みが大きくなる。
また、着目画素が水平方向のエッジ上にある場合、２次微分値ＩｎｔＶが大きく、２次微分値ＩｎｔＨが小さいため、Ｄｌｐｆは、水平方向のフィルタ値ｄｌｐｆ０００の重みが大きくなる。

次に、出力値算出部５は、方向相関値算出部２により算出された方向相関値ＩｎｔＨＶを用いて、下記の式（１５）に示すように、水平方向又は垂直方向に重み付けされたＤｌｐｆと領域一様のＡｌｐｆ２を重み付け加算することで、最終的な出力値である適正露光画像の画素信号Ｏｕｔを算出する。
Ｏｕｔ
＝｛ＩｎｔＨＶ×Ｄｌｐｆ＋（Ｉｎｔｌｉｍｉｔ−ＩｎｔＨＶ）×Ａｌｐｆ２｝
×ＤＧａｉｎ／Ｉｎｔｌｉｍｉｔ （１５）
ただし、式（１５）において、Ｉｎｔｌｉｍｉｔは、方向相関値ＩｎｔＨＶが取り得る最大値を示しており、事前に設定されている固定値である。
また、方向相関値ＩｎｔＨＶは、Ｉｎｔｌｉｍｉｔ値に基づいて事前にリミッタ処理されているものとする。
また、ＤＧａｉｎはディジタル増感を行う増感倍率である。
式（１５）から、方向相関性が低い場合、領域一様のフィルタ値Ａｌｐｆ２に重みがかかり、方向相関性が高い場合、方向性フィルタ値Ｄｌｐｆに重みがかかる。

以上で明らかなように、この実施の形態１によれば、２次元画像における着目画素の周辺に存在している被写体の特徴量を検出する特徴量検出部１と、特徴量検出部１により検出された特徴量から、着目画素の周辺に存在している被写体の方向相関値を算出する方向相関値算出部２と、特徴量検出部１により検出された特徴量から、周辺画素に対する着目画素の振幅レベルを算出する振幅レベル算出部３と、着目画素の画素信号及び周辺画素の画素信号を参照して、複数のフィルタ値を算出するフィルタ値算出部４とを設け、出力値算出部５が特徴量検出部１により検出された特徴量、方向相関値算出部２により算出された方向相関値及び振幅レベル算出部３により算出された振幅レベルを用いて、フィルタ値算出部４により算出された複数のフィルタ値に対する重み付け演算を実施し、その重み付け演算の結果に増感倍率を乗算して適正露光画像の画素信号を生成するように構成したので、撮影環境の制約を受けることなく、高解像度で低ノイズの適正露光画像を取得することができる効果を奏する。

即ち、この実施の形態１によれば、１画面内で増感処理を行うことで、複数フレームを用いた増感処理で生じる手ブレや被写体ブレの影響を受けることなく、増感処理を行うことが可能になる。
また、ローパスフィルタやメディアンフィルタなどのノイズリダクション効果を有するフィルタを用いて、適正露光画像の画素信号を算出しているので、アンダー露光の入力画像をアナログ回路で信号増幅する場合や、ディジタルデータに対して単純に信号増幅する場合と比べて、低ノイズでの増感が可能になる。

また、微小領域に対して被写体の特徴量を検出して方向相関値を算出し、その方向相関値に応じて方向性のあるフィルタ値を重み付け加算しているので、単純に周辺画素を加算する従来の画素混合処理と比べて高解像度の増感画像が得られる。
また、微小領域に対して被写体の特徴量を検出して着目画素の振幅レベルを算出し、その振幅レベルに応じてローパスフィルタ値とメディアンフィルタ値の重み付け加算を行っているので、画像中のランダムノイズを除去しつつ、階調が平坦な部分のノイズによる揺らぎが抑制されている高画質の増感画像が得られる。

また、微小領域に対して被写体の特徴量を検出し、その特徴量から重み付け加算用の各種重み係数を算出し、複数のフィルタ値を重み付け加算しているので、シームレスに適用するフィルタが変化する。このため、領域の特徴検出結果に従って適用するフィルタを切り替えて使用する場合と比べて、画素単位で画像の質感が突然変化する画質劣化が発生し難くなる特徴がある。

実施の形態２．
上記実施の形態１では、図３の原色系ベイヤー型単板イメージセンサを用いて撮影されている２次元画像を入力するものについて示したが、他のイメージセンサを用いて撮影された２次元画像を入力するようにしてもよい。
ただし、適用するイメージセンサの種類が異なると、特徴量検出部１やフィルタ値算出部４の演算が若干変わる。

図８は代表的な補色系イメージセンサの受光素子と色フィルタの配列を模式的に表している説明図である。
補色系イメージセンサでは、Ｙｅ（イエロー）、Ｍｇ（マゼンタ）、Ｃｙ（シアン）の補色フィルタが配置されており、さらに、輝度検出用にＧ色フィルタが配置されている。
原色系センサでは、Ｇのみが明るさに対して十分な反応を示すが、補色系センサ用色フィルタでは、各画素が明るさに反応を示し易く、全画素から輝度情報を取り出すことができるため、撮影した画像の解像度が高いという特徴がある。

この実施の形態２では、補色系イメージセンサの解像度の高さを活かして処理を行うために、補色系イメージセンサを用いて撮影された２次元画像を輝度色差系信号に変換（図示せず）した上で、演算の際の参照画素位置を変更して処理を行うようにする。
図９は図８の２次元画像を輝度色差系信号に変換した後の輝度信号Ｙの分布を表している模式図である。
補色系イメージセンサを用いて撮影された２次元画像は、水平２画素、垂直２画素を１単位として、下記の式（１６）を用いて、輝度信号Ｙに変換することができる。
Ｙ＝Ｍｇ＋Ｇ＋Ｃｙ＋Ｙｅ （１６）

上記実施の形態１では、同色の画素を用いて、特徴量の検出とフィルタ値の算出を行うために、図４から図７に示すように、１画素おきの画素を使用していたが、補色系イメージセンサでは、図９に示すように、全ての画素に輝度信号が分布しているため、着目画素Ｙ２２に近接している画素Ｙ１１〜Ｙ３３を用いて演算を行う点で、上記実施の形態１と相違している。

特徴量検出部１は、例えば、式（１）（２）を下記の式（１７）（１８）のように変形し、式（１７）（１８）を用いて、特徴量である２次微分値ＩｎｔＨ，ＩｎｔＶを算出する。
ＩｎｔＨ＝｜Ｙ２２−Ｙ１２｜＋｜Ｙ２２−Ｙ３２｜ （１７）
ＩｎｔＶ＝｜Ｙ２２−Ｙ２１｜＋｜Ｙ２２−Ｙ２３｜ （１８）

フィルタ値算出部４は、例えば、式（５）〜（１０）の代わりに、下記の式（１９）〜（２４）を用いることで、ローパスフィルタ値やメディアンフィルタ値を算出する。
ここで、図１０は式（１９）（２０）のフィルタ演算に対応する参照画素位置を示す説明図であり、図１１は式（２１）（２２）のフィルタ演算に対応する参照画素位置を示す説明図である。
また、図１２は式（２３）（２４）のフィルタ演算に対応する参照画素位置を示す説明図である。

ｌｐｆ０００＝（Ｙ２２＋Ｙ１２＋Ｙ３２）／３ （１９）
ｍｅｄ０００＝［Ｙ２２，Ｙ１２，Ｙ３２の中央値］ （２０）
ｌｐｆ０９０＝［Ｙ２２＋Ｙ２１＋Ｙ２３］／３ （２１）
ｍｅｄ０９０＝［Ｙ２２，Ｙ２１，Ｙ２３の中央値］ （２２）
Ａｌｐｆ
＝（Ｙ２２＋Ｙ１１＋Ｙ２１＋Ｙ３１＋Ｙ１２＋Ｙ３２＋Ｙ１３＋Ｙ２３＋Ｙ３３）／９
（２３）
Ａｍｅｄ
＝［Ｙ２２，Ｙ１１，Ｙ２１，Ｙ３１，Ｙ１２，Ｙ３２，Ｙ１３，Ｙ２３，Ｙ３３の中央値］ （２４）

原色系イメージセンサに対する処理では、同色画素が存在しない隣接画素の特徴量を使用することができないため、例えば、１画素おきの縞模様が被写体に存在する場合には、被写体の特徴量を適切に検出することができないが、この実施の形態２のように、補色系イメージセンサを用いて処理することで、隣接画素を含む特徴量を検出することができるため、より高解像度な画素混合処理が可能になる。

実施の形態３．
上記実施の形態１では、ＧｂとＧｒを別の色として処理するものについて示したが、ＧｂとＧｒを同一のＧ色として処理するようにしてもよい。
この場合、使用可能な周辺画素は図１３の分布になる。このため、図７と異なり、着目画素の斜め方向に隣接する画素が使用可能になり、斜め方向に隣接する画素を特徴量の検出や方向相関値の算出に使用することで、より高解像度な処理が可能になる。

上記実施の形態１，２では、式（１５）において、方向相関値ＩｎｔＨＶに応じてフィルタ値Ｄｌｐｆとフィルタ値Ａｌｐｆ２の重み付け加算を自動的に行うものについて示したが、これは一例に過ぎず、ユーザの好みに応じて、制御可能な構成にしてもよい。
例えば、ユーザが予め閾値ＴＨ１と閾値ＴＨ２を設定し（図１４を参照）、ＩｎｔＨＶ≦ＴＨ１であれば、無条件にフィルタ値Ａｌｐｆ２を最終的な出力値Ｏｕｔとし、ＩｎｔＨＶ≧ＴＨ２であれば、無条件にフィルタ値Ｄｌｐｆを最終的な出力値Ｏｕｔとする。
また、ＴＨ１＜ＩｎｔＨＶ＜ＴＨ２であれば、式（１５）に準じて、方向相関値ＩｎｔＨＶによる重み付け加算を行うようにする。
これにより、ユーザの好みに合わせた画質調整の自由度が増えるメリットが得られる。

上記実施の形態１，２では、式（１５）において、増感倍率ＤＧａｉｎを乗じるものについて示したが、例えば、ｄｌｐｆ０００やｄｌｐｆ０９０、ＡｌｐｆやＡｌｐｆ２の算出過程で除算前にＤＧａｉｎを乗じるようにしてもよい。
このように、式（９）（１１）（１２）（１３）の除算前に増感倍率ＤＧａｉｎを乗じることで、除算時の丸め演算に増感倍率ＤＧａｉｎを含ませることが可能になるため、より高精度の画素値演算が可能になる。

上記実施の形態１，２では、式（１３）において、振幅レベルＤｉｆＨＶに応じてフィルタ値Ａｍｅｄとフィルタ値Ａｌｐｆの重み付け加算を行うものについて示したが、これは一例に過ぎず、領域一様のフィルタ値として、常時、フィルタ値Ａｌｐｆを用いるようにしてもよい。
この場合、方向性の低い領域で、孤立点のようなランダムノイズが低減し難くなるが、式（１０）と式（１３）の演算を行わずに済むため、画像処理装置を回路化する場合には、回路規模の削減に効果的である。

上記実施の形態１，２では、式（１１）及び式（１２）において、振幅レベルＤｉｆＨＶに応じてメディアンフィルタ値とローパスフィルタ値の重み付け加算を行うものについて示したが、これは一例に過ぎず、例えば、ユーザが振幅レベルＤｉｆＨＶに相当するパラメータを固定パラメータとして予め与えるようにして、メディアンフィルタ値とローパスフィルタ値の重みを固定にしてもよい。
この場合、ユーザに画質調整の自由度が与えられるメリットがあるほか、式（１３）において、フィルタ値Ａｍｅｄとフィルタ値Ａｌｐｆの重み付け加算を行わない構成と併せることで、振幅レベルＤｉｆＨＶを算出する必要がなくなり（振幅レベル算出部３が不要になる）、画像処理装置を回路化する場合には、回路規模の削減に効果的である。

上記実施の形態１，２では、イメージセンサから入力される２次元画像に対して処理を行うものについて示したが、この限りではなく、各画素でＲＧＢあるいは輝度色差系信号が揃っている画像に対して処理を行うようにしてもよい。
即ち、上記実施の形態２において、全画素の輝度信号を算出してから処理を行っているが、予め全画素の処理対象信号が揃っている前提で、同様の処理を構成することが可能である。

上記実施の形態１，２では、特徴量検出部１が特徴量として、２次微分値を算出するものについて示したが、この限りではなく、領域における被写体の形状を表す物理量であれば、例えば、１次微分値を算出するようにしてもよいし、水平エッジ及び垂直エッジを検出するために予め定義されたパターンと領域の画素信号値を比較することで得られる類似度を算出するようにしてもよく、同様の効果を奏することができる。

また、上記実施の形態１，２では、特徴量検出部１が水平及び垂直の２方向に対して特徴量を検出するものについて示したが、この限りではなく、例えば、図４における斜め方向の画素Ｐ００、Ｐ４０、Ｐ０４、Ｐ４４を用いて、斜め方向の特徴量を検出するようにしてもよい。
この場合、演算規模が増加する反面、斜め方向のエッジについても、高解像度に再現することが可能になる。

この発明に係る画像処理装置及び画像処理方法によれば、撮影環境の制約を受けることなく、高解像度で低ノイズの適正露光画像を取得することができる効果がある。このため、高解像度の増感画像を得る画像処理装置及び画像処理方法等に用いるのに適している。

Claims (2)

1. ２次元画像における着目画素の周辺に存在している被写体の２つの特徴量として、上記着目画素を中心として直交する２方向についての２次微分値の絶対値をそれぞれ検出する特徴量検出部と、
   上記２つの特徴量の差を上記着目画素の周辺に存在している被写体の方向相関値として算出する方向相関値算出部と、
   上記２つの特徴量の絶対値の和を周辺画素に対する着目画素の振幅レベルとして算出する振幅レベル算出部と、
   上記着目画素の画素信号及び上記着目画素の周辺画素の画素信号を参照して、上記直交する２方向の１次元ローパスフィルタ値、上記直交する２方向の１次元メディアンフィルタ値、２次元ローパスフィルタ値及び２次元メディアンフィルタ値を算出するフィルタ値算出部と、
   上記振幅レベルを用いて、上記直交する２方向のうちの１方向についての上記１次元ローパスフィルタ値と上記１次元メディアンフィルタ値との間の第１の重み付け演算、上記直交する２方向のうちのもう一方についての上記１次元ローパスフィルタ値と上記１次元メディアンフィルタ値との間の第２の重み付け演算及び上記２次元ローパスフィルタ値と上記２次元メディアンフィルタ値の間の第３の重み付け演算の各々を実施し、上記２つの特徴量を用いて、上記第１の重み付け演算の結果と上記第２の重み付け演算の結果との間の第４の重み付け演算を実施し、上記方向相関値を用いて、上記第３の重み付け演算の結果と上記第４の重み付け演算の結果との間の第５の重み付け演算を実施し、上記第５の重み付け演算の結果に対して増感倍率を乗算する出力値算出部と
   を備えた画像処理装置。
2. 特徴量検出部が２次元画像における着目画素の周辺に存在している被写体の２つの特徴量として、上記着目画素を中心として直交する２方向についての２次微分値の絶対値をそれぞれ検出する特徴量検出ステップと、
   方向相関値算出部が上記２つの特徴量の差を上記着目画素の周辺に存在している被写体の方向相関値として算出する方向相関値算出ステップと、
   振幅レベル算出部が上記２つの特徴量の絶対値の和を周辺画素に対する着目画素の振幅レベルとして算出する振幅レベル算出ステップと、
   フィルタ値算出部が上記着目画素の画素信号及び上記着目画素の周辺画素の画素信号を参照して、上記直交する２方向の１次元ローパスフィルタ値、上記直交する２方向の１次元メディアンフィルタ値、２次元ローパスフィルタ値及び２次元メディアンフィルタ値を算出するフィルタ値算出ステップと、
   出力値算出部が上記振幅レベルを用いて、上記直交する２方向のうちの１方向についての上記１次元ローパスフィルタ値と上記１次元メディアンフィルタ値との間の第１の重み付け演算、上記直交する２方向のうちのもう一方についての上記１次元ローパスフィルタ値と上記１次元メディアンフィルタ値との間の第２の重み付け演算及び上記２次元ローパスフィルタ値と上記２次元メディアンフィルタ値の間の第３の重み付け演算の各々を実施し、上記２つの特徴量を用いて、上記第１の重み付け演算の結果と上記第２の重み付け演算の結果との間の第４の重み付け演算を実施し、上記方向相関値を用いて、上記第３の重み付け演算の結果と上記第４の重み付け演算の結果との間の第５の重み付け演算を実施し、上記第５の重み付け演算の結果に対して増感倍率を乗算する出力値算出ステップと
   を備えた画像処理方法。

Images