JP6553826B1 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

解像度向上効果とアーティファクト抑制を両立することを目的として、本発明に係る画像処理装置（１）は、時系列に取得された基準画像および１以上の参照画像からなる複数枚の低解像度画像間の位置ずれ量を検出する位置ずれ検出部（１１）と、検出された位置ずれ量に基づいて参照画像の画素情報を基準画像の位置に位置合わせして高解像度画像空間上で合成し高解像度合成画像を生成する高解像度合成部（１２）と、高解像度合成画像を生成する際に、参照画像を高解像度画像空間に位置合わせするときの高解像度化倍率に起因する位置合わせ誤差を評価する位置合わせ誤差評価部（１３）と、評価結果に基づいて高解像度合成画像を補正する画像補正部（１４）とを備える。

Description

本発明は、画像処理装置、画像処理方法および画像処理プログラムに関するものである。

従来、複数枚の画像間で相関量を算出し、相関量に基づいて画像の合成比率を制御し合成する技術が知られている（例えば、特許文献１参照。）。この技術は、撮影した複数枚の画像のうち１枚を基準画像、その他の画像を参照画像として基準画像と参照画像間で領域毎に相関量（差分値）を算出し、相関が高いほど参照画像の合成比率を大きく、相関が低いほど参照画像の合成比率を小さく（基準画像の比率を大きく）制御するものである。

具体的には、相関が高い領域は位置合わせ誤差が少ない領域であると判定して補正処理を行わず、相関が低い領域は位置合わせ誤差がある領域であると判定し、高解像度画像に対してフィルタ処理等の補正処理によりギザギザした位置ずれアーティファクトを補正するものである。

一方、複数枚の低解像度画像を合成して高解像度画像を取得する場合に、複数枚の低解像度画像の情報（画素）を低解像度画像よりも高解像度な画像空間上の適切な位置に配置することが重要となり、適切な位置への配置が失敗すると解像度向上効果が得られない。

特開２０１１−１９９７８６号公報

しかしながら、高解像度化処理において特許文献１の技術を適用すると、位置合わせの誤差によってギザギザがある領域においては差分値が大きくなり相関が低いと判定できるが、低解像度画像でエイリアシング（モアレ）がある細かい模様の被写体領域でも差分値が大きくなり相関が低いと誤判定されてしまうという不都合がある。
すなわち、本来、エイリアシング領域ほど合成による解像度向上効果は高いので、その領域で相関が低いと誤判定しフィルタ処理等の補正処理を施すと解像度向上効果が得られなくなるという問題がある。

本発明は上述した事情に鑑みてなされたものであって、解像度向上効果とアーティファクト抑制を両立することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的としている。

本発明の一態様は、時系列に取得された基準画像および１以上の参照画像からなる複数枚の低解像度画像間の位置ずれ量を検出する位置ずれ検出部と、該位置ずれ検出部により検出された位置ずれ量に基づいて前記参照画像の画素情報を前記基準画像の位置に位置合わせして高解像度画像空間上で合成し高解像度合成画像を生成する高解像度合成部と、該高解像度合成部により前記高解像度合成画像を生成する際に、前記参照画像を前記高解像度画像空間に位置合わせするときの高解像度化倍率に起因する位置合わせ誤差を評価する位置合わせ誤差評価部と、該位置合わせ誤差評価部による評価結果に基づいて前記高解像度合成画像を補正する画像補正部とを備える画像処理装置である。

本態様によれば、時系列に取得された基準画像および１以上の参照画像からなる複数枚の低解像度画像が入力されると、入力された低解像度画像間の位置ずれ量が位置ずれ検出部により検出され、検出された位置ずれ検出量に基づいて参照画像の画素情報が高解像度画像空間上で基準画像の位置に位置合わせされて高解像度合成画像が高解像度合成部により合成される。合成された高解像度合成画像が位置合わせ誤差評価部に入力されると、参照画像を高解像度画像空間に位置合わせするときの高解像度化倍率に起因する位置合わせ誤差が評価され、その評価結果に基づいて画像補正部により高解像度合成画像が補正される。

すなわち、高解像度合成画像を補正するために使用する位置合わせ誤差が高解像度化倍率に起因するものであるので、もとの低解像度画像を高解像度化するときの高解像度化倍率によって決められる画素周期に該当する画素であるか否かの情報に基づくことにより、アーティファクトになり得る画素だけを適切に判定して、補正処理を施すことができる。

上記態様においては、複数枚の前記低解像度画像を時系列に取得する画像取得部を備え、該画像取得部が、被写体からの光を集光する光学系と、該光学系により集光された光を撮像して各前記低解像度画像を取得する撮像素子と、前記光学系と前記撮像素子との相対位置を光軸方向に交差する方向にシフトさせるセンサシフト機構と、該センサシフト機構によるシフト方向とシフト量を制御するセンサシフト制御部とを備えていてもよい。

また、上記態様においては、前記位置ずれ検出部が、前記センサシフト制御部により制御されたシフト方向とシフト量に基づいて前記低解像度画像間の位置ずれ量を検出してもよい。
また、上記態様においては、前記位置ずれ検出部が、前記基準画像および前記参照画像に基づいて前記低解像度画像間の位置ずれ量を算出してもよい。

また、上記態様においては、前記高解像度合成部は、前記高解像度画像空間上に配置された前記画素情報に基づいて、該画素情報が配置されてない画素を補間してもよい。
また、上記態様においては、前記位置合わせ誤差評価部が、前記高解像度合成画像の任意の注目画素を含む領域の特徴量を算出する特徴量算出部と、該特徴量算出部により算出された前記特徴量と前記高解像度合成画像とを用いて前記注目画素の誤差評価値を算出する評価値算出部とを備えていてもよい。

また、上記態様においては、前記特徴量算出部が、前記高解像度合成画像における前記領域のエッジの方向情報を前記特徴量として算出してもよい。
また、上記態様においては、前記評価値算出部は、前記注目画素を含む前記領域において、前記誤差評価値の演算の対象画素が高解像度化倍率によって決まる画素周期に該当する画素であるか否かの情報に基づいて前記誤差評価値を算出してもよい。

また、上記態様においては、前記評価値算出部は、前記高解像度化倍率がＭ（Ｍは自然数）のときに、前記注目画素から２Ｍ画素だけ離れた位置にある１以上の画素と前記注目画素との第１相関値と、それ以外の位置にある１以上の画素と前記注目画素との第２相関値とを用いて前記注目画素の位置における前記誤差評価値を算出してもよい。

また、上記態様においては、前記評価値算出部は、前記高解像度化倍率がＭ（Ｍは自然数）のときに、前記注目画素および該注目画素から２Ｍ画素だけ離れた位置にある画素の寄与度を、それ以外の位置にある画素の寄与度よりも大きくして相関演算した結果を前記注目画素の位置における前記誤差評価値としてもよい。

また、上記態様においては、前記画像補正部は、前記位置合わせ誤差評価部の評価結果に基づき前記高解像度合成画像に対してフィルタをかけて高解像度補正画像を生成してもよい。
また、上記態様においては、前記画像補正部は、前記評価結果に基づく合成比率によって、前記高解像度合成画像と前記高解像度補正画像とを合成してもよい。

また、本発明の他の態様は、時系列に取得された基準画像および１以上の参照画像からなる複数枚の低解像度画像間の位置ずれ量を検出する位置ずれ検出ステップと、該位置ずれ検出ステップにより検出された位置ずれ量に基づいて前記参照画像の画素情報を前記基準画像の位置に位置合わせして高解像度画像空間上で合成し高解像度合成画像を生成する高解像度合成ステップと、該高解像度合成ステップにより前記高解像度合成画像を生成する際に、前記参照画像を前記高解像度画像空間に位置合わせするときの高解像度化倍率に起因する位置合わせ誤差を評価する位置合わせ誤差評価ステップと、該位置合わせ誤差評価ステップによる評価結果に基づいて前記高解像度合成画像を補正する画像補正ステップとを含む画像処理方法である。

また、本発明の他の態様は、時系列に取得された基準画像および１以上の参照画像からなる複数枚の低解像度画像間の位置ずれ量を検出する位置ずれ検出ステップと、該位置ずれ検出ステップにより検出された位置ずれ量に基づいて前記参照画像の画素情報を前記基準画像の位置に位置合わせして高解像度画像空間上で合成し高解像度合成画像を生成する高解像度合成ステップと、該高解像度合成ステップにより前記高解像度合成画像を生成する際に、前記参照画像を前記高解像度画像空間に位置合わせするときの高解像度化倍率に起因する位置合わせ誤差を評価する位置合わせ誤差評価ステップと、該位置合わせ誤差評価ステップによる評価結果に基づいて前記高解像度合成画像を補正する画像補正ステップとをコンピュータに実行させる画像処理プログラムである。

本発明の第１実施形態に係る画像処理装置を示す全体構成図である。 図１の画像処理装置により生成されるＧｒチャネルの高解像度合成画像の一例を示す図である。 図１の画像処理装置により生成されるＲチャネルの高解像度合成画像の一例を示す図である。 図１の画像処理装置により生成されるＢチャネルの高解像度合成画像の一例を示す図である。 図１の画像処理装置により生成されるＧｂチャネルの高解像度合成画像の一例を示す図である。 図１の画像処理装置の位置合わせ誤差評価部を示すブロック図である。 図１の画像処理装置により生成されるＧｒチャネルとＧｂチャネルの高解像度合成画像を加算平均したＧチャネルの高解像度画像を示す図である。 図４Ａの高解像度画像に存在するエッジの方向を示す図である。 図１の画像処理装置による評価値算出の例を示すＧｒチャネルの高解像度合成画像の一例を示す図である。 図４Ｂのエッジの方向ｅ１に対する方向フィルタの一例を示す図である。 図４Ｂのエッジの方向ｅ２に対する方向フィルタの一例を示す図である。 図４Ｂのエッジの方向ｅ３に対する方向フィルタの一例を示す図である。 図４Ｂのエッジの方向ｅ４に対する方向フィルタの一例を示す図である。 図４Ｂのエッジの方向なしに対する方向フィルタの一例を示す図である。 図１の画像処理装置の画像補正部による高解像度合成画像と高解像度補正画像との合成比率と評価値との関係の一例を示す図である。 図１の画像処理装置を用いた画像処理方法を示すフローチャートである。 図１の画像処理装置により生成された高解像度合成画像のＧｒチャネルの位置合わせ誤差評価の具体的な数値例を示す図である。 図１の画像処理装置の変形例を示す全体構成図である。 本発明の第２実施形態に係る画像処理装置により生成されるＧｒチャネルの高解像度合成画像の一例を示す図である。 図１１Ａの画像処理装置により生成されるＧｂチャネルの高解像度合成画像の一例を示す図である。 ８枚の画像を位置ずれ量に基づいて高解像度画像空間上に配置し、空白画素の補間処理を施した後のＧｒチャネルの高解像度合成画像を示す図である。 図１２Ａと同様のＧｂチャネルの高解像度合成画像を示す図である。 図１２Ａおよび図１２Ｂの注目画素３００を中心とする９×９画素の領域３０１を用いて従来手法通りに算出したＳＡＤの比較例を示す図である。 図１２Ａおよび図１２Ｂの注目画素３００を中心とする９×９画素の領域３０１を用いた図１１Ａの画像処理装置によるＳＡＤを示す図である。

本発明の第１実施形態に係る画像処理装置１および画像処理方法について、図面を参照して以下に説明する。
本実施形態に係る画像処理装置１は、図１に示されるように、被写体を撮影して画像として取り込む画像取得部１０と、位置ずれ検出部１１と、高解像度合成部１２と、位置合わせ誤差評価部１３と、画像補正部１４とを備えている。

画像取得部１０は、被写体からの光を集光する撮像レンズ（光学系）１００と、該撮像レンズ１００により集光された光を撮影する撮像素子１０１と、該撮像素子１０１を光軸に直交する方向にシフトさせるセンサシフト機構１０２と、該センサシフト機構１０２を制御するセンサシフト制御部１０３と、フレームメモリ１０４とを備えている。
フレームメモリ１０４は、画像取得部１０以外からもアクセスできるようになっている。

撮像レンズ１００は、被写体からの光を集光し、撮像素子１０１の像面上に被写体の光学像を形成する。撮像素子１０１は、例えば、Ｒ，Ｇｒ，Ｇｂ，Ｂの４種類のカラーフィルタが２×２画素単位で画素毎に配置されたいわゆるベイヤー配列構造を有している。

撮像素子１０１により時系列的に取得された複数枚の画像（低解像度画像）は、最初に取得された画像を基準画像、その後に取得された１枚以上の画像を参照画像としてフレームメモリ１０４に記憶されるようになっている。
また、センサシフト機構１０２は撮像素子１０１を、光軸に直交しかつ相互に水平、垂直方向にサブピクセル単位でシフト可能な機構を有している。

センサシフト制御部１０３は、センサシフト機構１０２を介して撮像素子１０１をシフトさせるシフト方向およびシフト量を制御するようになっている。また、センサシフト制御部１０３は、シフト方向およびシフト量の情報を位置ずれ検出部１１に出力するようになっている。位置ずれ検出部１１は、センサシフト制御部１０３から送られてきたシフト方向およびシフト量の情報から位置ずれ量を算出し、高解像度合成部１２へ出力するようになっている。

高解像度合成部１２は、フレームメモリ１０４に記憶された複数枚の低解像度画像と、位置ずれ検出部１１から出力されてきた位置ずれ量に基づいて位置合わせしながら色チャネル（Ｒ、Ｇｒ、Ｇｂ、Ｂ）毎の高解像度画像空間上に複数枚の低解像度画像の画素情報を配置するようになっている。

具体的には、まず、基準画像の画素を高解像度画像空間上に配置し、次に、位置ずれ検出部１１において算出された基準画像とある参照画像との間の位置ずれ量を用いて、参照画像の画素を基準画像に対して移動した所定位置に配置するようになっている。参照画像の画素を配置する際には、配置する画素の色と同色の画素が、既に基準画像の画素や別の対象画像の画素で配置されていれば、新たに画素配置しなくてもよいし、既に配置されている同色画素と加算平均して画素値を更新してもよいし、画素値を累積加算後に加算回数で正規化してもよい。

さらに、高解像度合成部１２は、全ての低解像度画像の画素を高解像度画像空間上に配置した後、画素がまだ配置されていない空間を補間して埋める処理を行うようになっている。補間の方法は、例えば、周囲の配置されている画素を用いてエッジ方向を考慮した方向判別補間を施したり、周囲５ｘ５画素を用いた加重平均で補間したり、最近傍に存在する画素をコピーして補間したりすればよい。

高解像度合成画像のイメージを図２Ａから図２Ｄに示す。本実施形態では、時系列的に取得した８枚の低解像度画像を合成し、縦横２倍（M＝２）の画素数の高解像度画像を生成する場合について説明する。

図２Ａには、８枚の低解像度画像のＧｒチャネルだけを高解像度画像空間上に配置した図を示しており、矢印の左側は画素情報が配置されていない画素（図中に密な斜線で示す画素）を含む高解像度画像空間、矢印の右側は、画素情報が配置されてない画素（図中に疎な斜線で示す画素）を補間して埋めた高解像度画像空間を示している。

ベイヤー配列の場合、図２Ａに示されるＧｒチャネル以外に、図２Ｂに示されるＲチャネル、図２Ｃに示されるＢチャネルおよび図２Ｄに示されるＧｂチャネルも存在している。図中の各チャネルを示すアルファベットの後に付された番号は、複数枚撮影の撮影順番を示しており、この例の場合、ベイヤー配列であるので、同じ座標位置でも各チャネルの撮影順番（画素値取得タイミング）は異なっている。

図２Ａのような画素の配置になる際の撮影時のセンサシフト制御を以下に示す。
すなわち、１枚目の基準画像の位置を基準として、２枚目の参照画像は水平方向に１画素、垂直方向に０画素、３枚目の参照画像は水平方向に０画素、垂直方向に１画素、４枚目の参照画像は水平方向に１画素、垂直方向に１画素、５枚目の参照画像は水平方向に０．５画素、垂直方向に０．５画素、６枚目の参照画像は水平方向に１．５画素、垂直方向に０．５画素、７枚目の参照画像は水平方向に０．５画素、垂直方向に１．５画素、８枚目の参照画像は水平方向に１．５画素、垂直方向に１．５画素、センサシフト制御部１０３が撮像素子１０１をずらして撮影したものである。

位置合わせ誤差評価部１３は、図３に示されるように、特徴量算出部１３０と、該特徴量算出部１３０により算出された特徴量に基づいて評価値（誤差評価値）を算出する評価値算出部１３１とを備えている。
特徴量算出部１３０は、高解像度合成部１２により生成された高解像度合成画像を用いて特徴量を算出するようになっている。
図４Ａおよび図４Ｂに、特徴量算出部１３０による特徴量の算出例を示す。

この例では、高解像度合成画像のＧｒチャネルとＧｂチャネルを加算平均してＧチャネル画像を生成し、注目画素を中心とした３×３画素からエッジ方向情報を算出するようになっている。
図４Ａは、ＧｒチャネルとＧｂチャネルを加算平均したＧチャネル画像を示しており、図４Ｂは、図４ＡのＧチャネル画像に存在するエッジの方向を矢印で示している。

すなわち、下式によりエッジ情報ｅ１，ｅ２，ｅ３，ｅ４の値を算出し、それらの最小値を注目画素位置におけるエッジ方向情報とするようになっている。
ｅ１＝｜Ｇ１０−Ｇ１２｜
ｅ２＝｜Ｇ２０−Ｇ０２｜
ｅ３＝｜Ｇ０１−Ｇ２１｜
ｅ４＝｜Ｇ００−Ｇ２２｜

評価値算出部１３１は、高解像度合成部１２により生成された高解像度合成画像と特徴量算出部１３０により算出されたエッジ方向情報（特徴量）に基づいて、注目画素がギザギザのアーティファクトを生じさせる画素であるか否かを評価する評価値を算出するようになっている。ここでは、高解像度合成画像のＧｒチャネルについて評価値を算出する例を説明する。図５に示すように、注目画素位置をＧｒ４４とする。また、注目画素位置のエッジ方向の情報が垂直方向（図４Ｂのｅ３方向）であると判定されたとして説明する。

評価値算出部１３１は、まず、注目画素Ｇｒ４４と垂直方向に隣接する画素Ｇｒ３４，Ｇｒ５４を用いて次の式により相関を算出するようになっている。この式は隣接する画素との差分絶対値をそれぞれ求め、それらを平均化したものを相関値（第１相関値）Ｖ１としている。
Ｖ１＝（｜Ｇｒ４４−Ｇｒ３４｜＋｜Ｇｒ４４−Ｇｒ５４｜）／２

評価値算出部１３１は、次に、注目画素Ｇｒ４４と垂直方向に４画素だけ離れた位置にある画素Ｇｒ０４，Ｇｒ８４を用いて次式により相関値（第２相関値）Ｖ２を算出するようになっている。
Ｖ２＝（｜Ｇｒ４４−Ｇｒ０４｜＋｜Ｇｒ４４−Ｇｒ８４｜）／２

ここで、４画素だけ離れた位置にある画素を計算に使う理由は、もとの８枚の画像に対して縦横２倍の画素数の高解像度画像を生成する場合、図２Ａに示すように、特定の１枚の画像（例えば、Ｇｒ画像の１枚目）の画素Ｇｒ１の配置に着目すると４画素周期で画素Ｇｒ１が配置されるため、もし、特定の１枚の位置合わせに誤差が生じたなら、誤差を含んだ画素が４画素周期で現れることになるからである。

この式も同様に、４画素離れた位置にある画素との差分絶対値をそれぞれ求め、それらを平均化したものを相関値としている。
そして、評価値算出部１３１は、このように計算された相関値Ｖ１，Ｖ２を用いて評価値Ｅｖａを下式により算出するようになっている。
Ｅｖａ＝Ｖ１−Ｖ２

この式は、評価値Ｅｖａの値が大きいほど、注目画素はギザギザのアーティファクトになり得る画素であることを示し、評価値Ｅｖａの値が小さいほど、注目画素はギザギザのアーティファクトにはならない画素であることを示している。このように計算された評価値Ｅｖａは、画像補正部１４に出力されるようになっている。

画像補正部１４は、フレームメモリ１０４から入力した高解像度合成画像を用いて画像を補正するようになっている。
まず、高解像度合成画像に位置合わせ誤差評価部１３から出力されるエッジ方向情報に合わせた方向で方向フィルタを掛けて高解像度補正画像を補正するようになっている。例えば、図６Ａから図６Ｅに示すように、注目画素を中心としてエッジ方向に沿った４画素に対して係数が掛かるような方向フィルタを掛ける。

画像補正部１４は、次に、高解像度合成画像と、画素毎にフィルタを施した高解像度補正画像とを、評価値Ｅｖａに基づく合成比率で合成するようになっている。例えば、図７に示すような折線で評価値Ｅｖａを合成比率に変換する。評価値Ｅｖａが大きいほどギザギザのアーティファクトになる可能性がある画素であるため、高解像度補正画像の比率が大きくなるようにし、評価値Ｅｖａが小さいほど高解像度補正画像の比率を小さく（補正なしの高解像度合成画像の比率を大きく）するようになっている。

図７の実線は高解像度画像の合成比率を、破線は高解像度補正画像の合成比率を表している。また、第１閾値ＴＨ１と第２閾値ＴＨ２を設定し、評価値Ｅｖａが第１閾値ＴＨ１以下であれば高解像度合成画像の合成比率を１（高解像度補正画像の合成比率を０）、評価値Ｅｖａが第２閾値ＴＨ２以上であれば高解像度合成画像の合成比率を０（高解像度補正画像の合成比率を１）、その間で評価値Ｅｖａが大きいほど高解像度補正画像の合成比率が高くなるように変換している。
画素毎に評価値Ｅｖａを合成比率に変換し、高解像度合成画像と高解像度補正画像とを合成することで、ギザギザのアーティファクトを補正した高解像度合成画像を生成することができるようになっている。

このように構成された本実施形態に係る画像処理装置１を用いた画像処理方法について以下に説明する。
本実施形態に係る画像処理方法は、図８に示されるように、画像取得部１０により撮像素子１０１の位置をずらしながら時系列に取得された基準画像および１以上の参照画像からなる複数枚の低解像度画像間の位置ずれ量を位置ずれ検出部１１により検出する位置ずれ検出ステップＳ１と、検出された位置ずれ量に基づいて参照画像の画素情報を基準画像の位置に位置合わせして高解像度画像空間上で合成し高解像度合成画像を高解像度合成部１２により生成する高解像度合成ステップＳ２と、高解像度合成画像を生成する際に、参照画像を高解像度画像空間に位置合わせするときの高解像度化倍率に起因する位置合わせ誤差を評価する評価値Ｅｖａを位置合わせ誤差評価部１３により算出する位置合わせ誤差評価ステップＳ３と、算出された評価値Ｅｖａに基づいて高解像度合成画像を補正する画像補正ステップＳ４とを含んでいる。

本実施形態に係る画像処理装置１および画像処理方法の効果を、図９の具体的な数値例を用いて説明する。図９はセンサシフト制御部１０３で撮像素子１０１をずらして撮影した複数枚の低解像度画像の画素情報を位置ずれ量に基づいて高解像度画像空間上に配置し、空白画素の補間処理を施した後の高解像度合成画像のＧｒチャネルの例を示している。

図９には位置合わせ誤差を含むエッジ部の画像が示されている。この図９において、注目画素２００がギザギザのアーティファクトになり得るか否かを判定する場合について説明する。まず、注目画素２００を中心とする３×３領域を用いて、特徴量としてエッジ方向を算出すると、
ｅ１＝｜１８２−１０１｜＝８１
ｅ２＝｜１８０−１００｜＝８０
ｅ３＝｜１８０−１７７｜＝３
ｅ４＝｜９７−１８０｜＝８３
となり、エッジ方向は垂直方向（ｅ３方向）と判定される。

次に注目画素２００と垂直方向に隣接する画素および垂直方向に４画素離れた画素を用いて相関値Ｖ１，Ｖ２を算出すると、
Ｖ１＝（｜１００−１７７｜＋｜１００−１８０｜）／２＝７８．５
Ｖ２＝（｜１００−１００｜＋｜１００−１０１｜）／２＝０．５
となる。

これらを用いて注目画素２００がギザギザのアーティファクトを生じさせる画素であるか否かを評価する評価値Ｅｖａを算出すると、
Ｅｖａ＝Ｖ１−Ｖ２＝７８．５−０．５＝７８
となる。

次に、画像補正部１４により注目画素２００に図６Ｃに示す垂直方向の方向フィルタを掛けると、補正後画素値Ｉｃは、
Ｉｃ＝（１７９＋１７７＋１８０＋１８１）／４＝１７９
となる。

次に、算出した評価値Ｅｖａに基づいて元画素値Ｉと補正後画素値Ｉｃの合成比率を求める。図７に示す評価値Ｅｖａを合成比率に変換する際の閾値ＴＨ１，ＴＨ２がそれぞれ閾値ＴＨ１＝２０、閾値ＴＨ２＝８０であるとすると、補正後画素値Ｉｃの合成比率αは α＝（Ｅｖａ−ＴＨ１）／（ＴＨ２−ＴＨ１）
＝（７８−２０）／（８０−２０）＝０．９７
となる。

この結果、注目画素２００の最終的な画素値Ｉ’は
Ｉ’＝（１−α）×Ｉ＋α×Ｉｃ＝０．０３×１００＋０．９７×１７９＝１７７
となる。
すなわち、本実施形態に係る画像処理装置１および画像処理方法によれば、注目画素２００の補正後の画素値Ｉ’が垂直方向の隣接画素の画素値とほぼ同等に補正されており、ギザギザのアーティファクトが適切に補正されていることがわかる。

なお、本実施形態に係る画像処理装置１においては、画像取得部１０に備えられたセンサシフト制御部１０３から送られてくる撮像素子１０１のシフト方向およびシフト量の情報に基づいて位置ずれ検出部１１が位置ずれ量を算出することとした。これに代えて、図１０に示されるように、位置ずれ検出部１１が、フレームメモリ１０４に保存されている複数枚の低解像度画像を用いて、低解像度画像間における画像全体のグローバルな動き量、または、領域毎のローカルな動き量を算出することにより位置ずれ量を検出することにしてもよい。

例えば、３２×３２画素を１ブロックとする分割領域毎にブロックマッチング法等を用いて水平方向と垂直方向の動きベクトルを取得し、マッチング誤差評価値の分布からサブピクセル精度の動き情報を推定してもよい。また、取得し推定する動き情報は、水平方向と垂直方向の動きだけでなく、回転方向や拡大縮小の変化でもよく、例えば、サブピクセル精度に推定した動き情報から画像全体の幾何的な変形を推定することで、各画素位置の動き量を検出することにしてもよい。

また、エッジ方向ｅ１，ｅ２，ｅ３，ｅ４の値や分布を考慮して方向無しの判定をエッジ方向情報として与えてもよい。また、方向情報の算出方法や方向の数については上記手法に限らず、別の方法を用いてもよい。例えば、水平方向と垂直方向の微分フィルタから勾配の大きさと方向を計算することでエッジ方向を取得してもよいし、平滑化フィルタをかけてノイズの影響を低減したあとでエッジ方向を算出するようにしてもよい。

また、方向フィルタとしては、方向依存型のフィルタ係数であればどのようなフィルタでもよい。また、上記の例では注目画素２００の係数を０に設定しているが、０でなくてもよい。また、方向情報が「方向無し」の場合は図６Ｅのように注目画素２００のみに１の係数（実質は補正無し）が掛かるようにしてもよいし、ガウシアンフィルタのような方向依存型ではないフィルタを掛けてもよい。

また、本実施形態では、エッジ方向に沿って注目画素２００に対して両側の隣接画素および両側の４画素離れた画素を用いて評価値Ｅｖａを算出しているが、エッジ方向に沿った片側の画素のみを用いて評価値Ｅｖａを算出してもよいし、より広範囲の画素を用いて評価値Ｅｖａを算出してもよい。また、隣接画素だけでなく２画素離れた位置の画素も用いて、相関値Ｖ１を算出してもよい。

また、本実施形態においては、画像処理装置１をハードウェアによって構成した場合について説明したが、上述した画像処理方法の各ステップをコンピュータにより実行可能な画像処理プログラムにより、ソフトウェアとして構成してもよい。

次に、本発明の第２実施形態に係る画像処理装置について、図面を参照して以下に説明する。
本実施形態に係る画像処理装置は、評価値算出部１３１において第１実施形態に係る画像処理装置１と相違している。

本実施形態に係る画像処理装置の評価値算出部１３１においては、高解像度合成部１２から出力された高解像度合成画像のＧｒチャネルとＧｂチャネルを用いて評価値Ｅｖａを算出するようになっている。
図１１Ａおよび図１１Ｂに示されるように、ＧｒチャネルおよびＧｂチャネルにおいて、注目画素はＧｒ４４およびＧｂ４４である。

特徴量算出部１３０において、注目画素位置のエッジ方向が垂直方向（図４Ｂのｅ３方向）であると判定されたものとして説明する。
ＧｒチャネルおよびＧｂチャネルの注目画素Ｇｒ４４，Ｇｂ４４を中心とした９×９画素を処理単位として差分絶対値和（ＳＡＤ）を算出するときに、注目画素位置の差分絶対値（｜Ｇｒ４４−Ｇｂ４４｜）の重みと、注目画素Ｇｒ４４，Ｇｂ４４から４画素離れた位置にある画素Ｇｒ０４，Ｇｒ８４，Ｇｂ０４，Ｇｂ８４の差分絶対値（｜Ｇｒ０４−Ｇｂ０４｜および｜Ｇｒ８４−Ｇｂ８４｜）の重みをその他の画素位置の差分絶対値の重みよりも大きくするようになっている。

このようにする理由は、もとの８枚の画像に対して縦横２倍の画素数の高解像度画像を生成する場合の画素周期が４となるからである。画素周期が４となる理由は、第１実施形態で述べたのと同様で、特定の１枚の位置合わせに誤差が生じた場合に、誤差を含んだ画素が４画素周期で現れやすいからである。

図１２Ａ、図１２Ｂ、図１３Ａおよび図１３Ｂに具体的な数値例で示す。
図１２Ａおよび図１２Ｂは８枚の画像を位置ずれ量に基づいて高解像度画像空間上に配置し、空白画素の補間処理を施した後の高解像度合成画像のＧｒチャネルおよびＧｂチャネルであり、位置合わせ誤差を含むエッジ部の画像例を示している。

ＧｒチャネルとＧｂチャネルのギザギザの模様が２画素分ずれているのは、撮影画像がベイヤー画像であり、同じ座標位置でも各チャネルの撮影順番（画素値取得タイミング）が異なっているからである。

この例において、注目画素３００を中心とする９×９画素の領域３０１を用いて従来手法通りにＳＡＤを算出した結果が図１３Ａである。この図１３Ａでは、９×９画素のＳＡＤが計算できない画素位置は省略して示している。図１３Ａ中、位置合わせ誤差を含む画素３００でのＳＡＤよりも位置合わせ誤差が無い画素３０２でのＳＡＤのほうが大きな値となっている。

このため、画像補正部１４でギザギザのアーティファクトが生じる可能性のある画素３００に補正処理を施すためには、ギザギザのアーティファクトが生じない画素３０２についても補正処理を施す必要があり、解像度向上効果を低減させてしまう。
反対に、画素３０２に補正処理を施さないようにすると、画素３００も補正処理が施されず合成画像でギザギザのアーティファクトが生じてしまう。このように解像度向上効果とアーティファクト抑制を両立できない。

これに対して、本実施形態では、高解像度化倍率（この例では２倍）に応じて決まる画素（この例では４画素）分だけ離れた位置の画素の寄与度を大きくするので、図１３Ｂに示すように、画素３００におけるＳＡＤが他の画素よりも大きな値となり、ギザギザのアーティファクトが生じる可能性のある画素であることが容易に判定することができるという利点がある。

なお、本数値では注目画素３００と注目画素３００から４画素離れた位置における重みを、その他の位置における重みの４倍として評価値Ｅｖａを算出しているが、重みの付け方はこれに限るものではない。
また、第１実施形態および第２実施形態では、センサシフト制御部１０３で撮像素子１０１をシフトして撮影した複数枚画像を用いて縦横２倍の高解像度画像を生成する例を示したが、高解像度化倍率は２倍に限るものではない。また、撮像素子１０１はＲＧＢのベイヤーではなく、補色系であってもよい。

このように、上記各実施形態に係る画像処理装置１、画像処理方法および画像処理プログラムによれば、注目画素がギザギザのアーティファクトになり得る画素であるか否かを判定するための位置合わせ誤差評価において、もとの低解像度画像を高解像度化するときの高解像度化倍率によって決められる画素周期に該当する画素であるか否かの情報に基づいて、評価値Ｅｖａを算出するため、アーティファクトになり得る画素だけを適切に判定し、補正処理を施すことができる。つまり、従来法では困難であった解像度向上効果とアーティファクト発生の抑制とを両立することができるという利点がある。

１ 画像処理装置
１０ 画像取得部
１１ 位置ずれ検出部
１２ 高解像度合成部
１３ 位置合わせ誤差評価部
１４ 画像補正部
１００ 撮像レンズ（光学系）
１０１ 撮像素子
１０２ センサシフト機構
１０３ センサシフト制御部
１３０ 特徴量算出部
１３１ 評価値算出部
２００，３００ 注目画素
Ｅｖａ 評価値（誤差評価値）
Ｖ１ 相関値（第１相関値）
Ｖ２ 相関値（第２相関値）
Ｓ１ 位置ずれ検出ステップ
Ｓ２ 高解像度合成ステップ
Ｓ３ 位置合わせ誤差評価ステップ
Ｓ４ 画像補正ステップ

Claims (12)

1. 時系列に取得された基準画像および１以上の参照画像からなる複数枚の低解像度画像間の位置ずれ量を検出する位置ずれ検出部と、
   該位置ずれ検出部により検出された位置ずれ量に基づいて前記参照画像の画素情報を前記基準画像の位置に位置合わせして高解像度画像空間上で合成し高解像度合成画像を生成する高解像度合成部と、
   該高解像度合成部により前記高解像度合成画像を生成する際に、前記参照画像を前記高解像度画像空間に位置合わせするときの高解像度化倍率に起因する位置合わせ誤差を評価する位置合わせ誤差評価部と、
   該位置合わせ誤差評価部による評価結果に基づいて前記高解像度合成画像を補正する画像補正部とを備え、
   該画像補正部は、前記位置合わせ誤差評価部による評価結果に基づき前記高解像度合成画像に対してフィルタをかけて生成された高解像度補正画像と、前記高解像度合成画像とを、前記評価結果に基づく合成比率によって合成する画像処理装置。
2. 複数枚の前記低解像度画像を時系列に取得する画像取得部を備え、
   該画像取得部が、被写体からの光を集光する光学系と、該光学系により集光された光を撮像して各前記低解像度画像を取得する撮像素子と、前記光学系と前記撮像素子との相対位置を光軸方向に交差する方向にシフトさせるセンサシフト機構と、該センサシフト機構によるシフト方向とシフト量を制御するセンサシフト制御部とを備える請求項１に記載の画像処理装置。
3. 前記位置ずれ検出部が、前記センサシフト制御部により制御されたシフト方向とシフト量に基づいて前記低解像度画像間の位置ずれ量を検出する請求項２に記載の画像処理装置。
4. 前記位置ずれ検出部が、前記基準画像および前記参照画像に基づいて前記低解像度画像間の位置ずれ量を算出する請求項１に記載の画像処理装置。
5. 前記高解像度合成部は、前記高解像度画像空間上に配置された前記画素情報に基づいて、該画素情報が配置されてない画素を補間する請求項１から請求項４のいずれかに記載の画像処理装置。
6. 前記位置合わせ誤差評価部が、前記高解像度合成画像の任意の注目画素を含む領域の特徴量を算出する特徴量算出部と、該特徴量算出部により算出された前記特徴量と前記高解像度合成画像とを用いて前記注目画素の誤差評価値を算出する評価値算出部とを備える請求項１から請求項５のいずれかに記載の画像処理装置。
7. 前記特徴量算出部が、前記高解像度合成画像における前記領域のエッジの方向情報を前記特徴量として算出する請求項６に記載の画像処理装置。
8. 前記評価値算出部は、前記注目画素を含む前記領域において、前記誤差評価値の演算の対象画素が高解像度化倍率によって決まる画素周期に該当する画素であるか否かの情報に基づいて前記誤差評価値を算出する請求項６または請求項７に記載の画像処理装置。
9. 前記評価値算出部は、前記高解像度化倍率がＭ（Ｍは自然数）のときに、前記注目画素から２Ｍ画素だけ離れた位置にある１以上の画素と前記注目画素との第１相関値と、それ以外の位置にある１以上の画素と前記注目画素との第２相関値とを用いて前記注目画素の位置における前記誤差評価値を算出する請求項８に記載の画像処理装置。
10. 前記評価値算出部は、前記高解像度化倍率がＭ（Ｍは自然数）のときに、前記注目画素および該注目画素から２Ｍ画素だけ離れた位置にある画素の寄与度を、それ以外の位置にある画素の寄与度よりも大きくして相関演算した結果を前記注目画素の位置における前記誤差評価値とする請求項８に記載の画像処理装置。
11. 時系列に取得された基準画像および１以上の参照画像からなる複数枚の低解像度画像間の位置ずれ量を検出する位置ずれ検出ステップと、
    該位置ずれ検出ステップにより検出された位置ずれ量に基づいて前記参照画像の画素情報を前記基準画像の位置に位置合わせして高解像度画像空間上で合成し高解像度合成画像を生成する高解像度合成ステップと、
    該高解像度合成ステップにより前記高解像度合成画像を生成する際に、前記参照画像を前記高解像度画像空間に位置合わせするときの高解像度化倍率に起因する位置合わせ誤差を評価する位置合わせ誤差評価ステップと、
    該位置合わせ誤差評価ステップによる評価結果に基づいて前記高解像度合成画像を補正する画像補正ステップとを含み、
    該画像補正ステップにおいて、前記位置合わせ誤差評価ステップにおける評価結果に基づき前記高解像度合成画像に対してフィルタをかけて生成された高解像度補正画像と、前記高解像度合成画像とが、前記評価結果に基づく合成比率によって合成される画像処理方法。
12. 時系列に取得された基準画像および１以上の参照画像からなる複数枚の低解像度画像間の位置ずれ量を検出する位置ずれ検出ステップと、
    該位置ずれ検出ステップにより検出された位置ずれ量に基づいて前記参照画像の画素情報を前記基準画像の位置に位置合わせして高解像度画像空間上で合成し高解像度合成画像を生成する高解像度合成ステップと、
    該高解像度合成ステップにより前記高解像度合成画像を生成する際に、前記参照画像を前記高解像度画像空間に位置合わせするときの高解像度化倍率に起因する位置合わせ誤差を評価する位置合わせ誤差評価ステップと、
    該位置合わせ誤差評価ステップによる評価結果に基づいて前記高解像度合成画像を補正する画像補正ステップとをコンピュータに実行させ、
    前記画像補正ステップにおいて、前記位置合わせ誤差評価ステップにおける評価結果に基づき前記高解像度合成画像に対してフィルタをかけて生成された高解像度補正画像と、前記高解像度合成画像とが、前記評価結果に基づく合成比率によって合成される画像処理プログラム。

Images