JP5587322B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Description

本発明は、撮像装置で撮像された第一の解像度を有する複数の第一の画像を用いて第二の解像度を有する第二の画像を生成する画像処理装置、画像処理方法、及び画像処理プログラムに関するものである。

デジタルビデオカメラなどの撮像装置で撮像可能な画像データの解像度は、撮像装置の設計や規格に依存して決定される。しかし、撮像装置で撮影可能な解像度を超える高解像度の画像データを取得したいという要求が存在する。このような要求に対し、２枚以上の画像データを合成することにより、撮像装置で撮像可能な解像度を超えた高解像度の画像データを生成する撮像装置が提案されている。例えば、非特許文献１では、複数枚の位置ずれを有する低解像度画像を合成して、高解像度画像を生成する手法が提案されている。非特許文献２は、ＭＡＰ（Ｍａｘｉｍｕｍ Ａ Ｐｏｓｔｅｒｉｏｒ）推定に基づく方法により高解像度画像を生成する手法を開示している。ＭＡＰ法は、二乗誤差に高解像度画像の確率情報を付加した評価関数を最小化するような高解像度画像を推定する方法である。高解像度画像に対するある先見情報を利用して、事後確率を最大化する最適化問題として高解像度画像の推定を行う。これらの方法で高解像度画像を生成するため、入力となる低解像度画像は位置ずれを持つ良く似た画像が必要となる。

青木 伸，"複数のデジタルデータによる超解像処理"，Ｒｉｃｏｈ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｎｏ．２４，ＮＯＶＥＭＢＥＲ，１９９８年 Ｓｕｎｇ Ｃ．Ｐ．，Ｍｉｎ Ｋ．Ｐ．，"Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ Ｉｍａｇｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ：Ａ Ｔｅｃｈｎｉｃａｌ Ｏｖｅｒｖｉｅｗ"， 米国 ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃ．Ｍａｇａｚｉｎｅ，第２６巻，第３号，ｐ．２１−３６，２００３年

しかしながら、非特許文献１、非特許文献２で提案される方法では、入力される複数の低解像度画像の中に、被写体が変化した画像（例えば、人物の表情など）、ぶれ画像等が含まれる場合は、複数枚の画像間に好ましくない差異が生じる。そのため、良好な高解像度画像が生成できないという課題があった。また、入力画像の位置合わせに失敗した場合にも、同様に良好な高解像度画像が生成できないという課題があった。

そこで本発明は、入力される複数の低解像度画像を合成して解像度変換を行う際に、複数の低解像度画像の中に、合成処理に不適切な画像が含まれることによる不具合を解消又は低減させ、適切な高解像度画像を生成することを目的とする。

上記の目的を達成するため、本発明による画像処理装置は以下の構成を備える。即ち、撮像装置で撮像された第一の解像度を有する複数の第一の画像を用いて第二の解像度を有する第二の画像を生成する画像処理装置であって、前記複数の第一の画像のうち、前記複 数の第一画像の被写体を代表する画像を基準画像として選択する選択手段と、前記選択手 段で選択された基準画像と、前記複数の第一の画像のそれぞれとの相対移動量を取得する第一の取得手段と、前記複数の第一の画像のそれぞれに対して、前記複数の第一の画像のそれぞれに対応する前記相対移動量と、前記第二の解像度を有する第三の画像と、前記撮像装置の撮像特性とに基づいて、前記第一の解像度を有する第四の画像を生成する第一の生成手段と、前記第一の生成手段で生成された前記複数の第四の画像のそれぞれと、前記複数の第四の画像のそれぞれに対応する前記第一の画像との差分を領域ごとに重みづけした値に基づく評価値を取得する第二の取得手段と、前記第二の取得手段で取得された前記複数の評価値に基づいて、前記複数の第四の画像により決定される更新値を用いて前記第三の画像を更新することにより、前記第二の解像度を有する前記第二の画像を生成する第二の生成手段と、を備える。

本発明は、入力された複数の低解像度画像を合成して高解像度画像を生成する際に、入力された複数の低解像度画像の中に合成処理に不適切な画像が含まれていることによって生じる、画像がぼけるなどの不具合を解消又は低減し、適切な高解像度画像を生成する効果を奏する。

実施例１の画像処理装置の構成を示すブロック図である。 画像合成部１０９の構成を示すブロック図である。 劣化過程を表す行列を示す図である。 画像合成処理の流れを示すフローチャートである。 低解像度画像と、それに対する劣化画像を示す図である。 評価値算出部で算出される評価値の一例を示す図である。 フレーム間の相対移動量を求める方法を説明するためのフローチャートである。 有効ブロック判定方法を説明するためのフローチャートである。 有効動きベクトル判定方法を説明するためのフローチャートである。 ぶれ画像を含む複数枚の入力画像を示す図である。 実施例２の画像処理装置の構成に含まれる画像合成部を示すブロック図である。 実施例３の画像処理装置の構成に含まれる画像合成部を示すブロック図である。 実施例４の画像処理装置の構成に含まれる画像合成部を示すブロック図である。 評価値を取得する際の領域の重みづけを示した図である。 初期ＸＲ画像Ｘ０を選択する方法を説明するためのフローチャートである。

（実施例１）
＜画像処理装置の構成図＞
図１は、実施例１の画像処理装置の構成を示したブロック図である。撮像部１０１は、撮像レンズ群とＣ−ＭＯＳやＣＣＤ等の半導体撮像素子からなる。撮像部１０１から出力される映像信号は、Ａ／Ｄ変換部１０２によりデジタル画像に変換され、画像処理部１０３に入力される。画像処理部１０３は、入力された画像に対して解像度変換処理を実施し、入力画像の解像度よりも高解像度の画像を生成する。生成された高解像度の画像は、画像表示部１０４で表示されるか、或いは、画像記録部１０５で記録媒体に記録される。

画像処理部１０３の処理について説明する。入力端子１０６は画像処理部１０３の入力端子であり、Ａ／Ｄ変換部１０２によりデジタル変換された画像を入力する。入力された画像は、メモリ部１０７に格納される。１０８は移動量算出部であり、メモリ部１０７から複数枚の画像を読み出し、画像間の相対移動量の算出を行う。具体的には、読み出された複数枚の画像から一枚の基準画像を選択し、全ての読み出された画像と選択された画像との相対移動量を算出する。次に、画像合成部１０９において、移動量算出部１０８から得られる相対移動量を用いて、メモリ部１０７から読み出した複数の画像を合成し、高解像度画像を生成する。画像合成部１０９の詳細については後で詳述する。最後に、生成された高解像度画像を出力端子１１０より出力し、画像処理部１０３の処理が完了する。なお、各処理部（画像処理部１０３や画像表示部１０４）は、中央処理装置（ＣＰＵ）により制御されている。

なお、画像処理装置は、画像処理を実行するコンピュータや、画像表示インターフェースを有する撮像装置（静止画カメラ、動画カメラ）、テレビなどの表示装置、或いはプリンターなどの印刷装置である。

＜画像合成部の詳細＞
図２は、画像合成部１０９を説明するブロック図である。本実施例では、出力される高解像度画像をＨＲ画像（Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎ画像）、入力画像をＬＲ画像（Ｌｏｗ Ｒｅｓｏｌｕｔｉｏｎ画像）と表す。メモリ部１０７に記憶されている複数枚のＬＲ画像は、画像入力端子２０１を介して画像合成部１０９に入力される。移動量算出部１０８から出力される相対移動量は相対移動量入力端子２０２を介して画像合成部１０９に入力される。初期画像生成部２０３は、複数枚のＬＲ画像の中から選択された一枚のＬＲ画像に基づいて、出力されるＨＲ画像の初期画像として初期ＨＲ画像（Ｘ０）を生成する。選択されたＬＲ画像は移動量算出部１０８で相対移動量の算出の基準となる基準画像（後に詳しく述べる）と同一であることが望ましい。画像劣化部２０４は、撮像特性保持部２０５から得られる撮像特性と相対移動量入力端子２０２から得られる相対移動量に基づいて、初期画像生成部２０３で生成された初期ＨＲ画像（Ｘ０）又は画像更新部２０９で生成されたＨＲ画像を劣化させ、劣化画像を生成する。実施例１で扱う劣化条件は、撮像装置における光学系の特性を示す点広がり関数（ＰＳＦ，Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）、センサ画素数の制限によるダウンサンプリング率、相対移動量である。ダウンサンプリング率の劣化条件はダウンサンプリング時の縮小倍率（１／ｓｘ，１／ｓｙ）により取得される。なお、ｓｘ，ｓｙは正の数であるとする。また、これらの劣化条件は画像合成に先立ってあらかじめ規定されているものとする。評価値算出部２０６は、画像入力端子２０１から入力されるＬＲ画像と、画像劣化部２０４から入力される劣化画像とを用いて、ＬＲ画像を画像合成処理に使用するか否かを判定するための評価値をＬＲ画像毎に算出する。使用画像判定部２０７は、評価値算出部２０６から算出された各ＬＲ画像の評価値に基づいて各ＬＲ画像を合成処理に使用するか否かの判定を行う。評価値の算出法及び、判定法については後述する。更新量算出部２０８は、ＨＲ画像を更新するための更新量を算出する。画像更新部２０９は、更新量算出部２０８から取得される更新量を用いて、ＨＲ画像を更新する。具体的には、後述する画像合成処理によって、複数のＬＲ画像から一のＨＲ画像を推定すべく、ＨＲ画像の各画素に対する画素値の変化量を示した更新量が算出される。よって、更新量の解像度はＨＲ画像の解像度と同一となる。更新量に対して更新の度合いを示すパラメータを乗じ、ＨＲ画像に加算することで更新を行う。終了判定部２１０は、初期画像生成部２０３又は、画像更新部２０９で生成されたＨＲ画像の更新処理を終了するか否かを判定する。実施例１では更新処理の更新回数に基づいて終了判定を行う。具体的には閾値ｔをあらかじめ設定しておき、更新処理の回数がｔ以上となった場合に更新処理を終了する。更新処理を終了する場合は、ＨＲ画像を出力端子２１１へ出力する。更新処理を終了しない場合は、更新したＨＲ画像を画像劣化部２０４へ出力しＨＲ画像の更新処理を続行する。

＜劣化条件＞
撮像装置の劣化条件が、撮像装置の点広がり関数（ＰＳＦ）と、センサ画素数の制限による劣化過程であるダウンサンプリングと位置ずれ（相対移動量）である場合について説明する。なお、本実施例では、撮像装置の点広がり関数（ＰＳＦ）と、ダウンサンプリング率の条件を撮像特性とよぶ。撮像されるＬＲ画像をＹとすると、（数１）で定義されるように劣化条件が作用する。

行列ＢはＰＳＦによる劣化過程を示す正方行列である。行列Ｄはダウンサンプリング処理の画像縮小の倍率を反映した行列である。Ｍは画像間の相対移動量を表す行列である。ＸはＨＲ画像となる。（数１）は、撮像装置の点像広がり特性と撮像素子によるダウンサンプリング、更に入力ＬＲ画像間の位置ずれを高解像度画像に適用して、劣化画像（Ｙ）を取得することを示している。

行列Ｍ、Ｂ、ＤのサイズはＬＲ画像のサイズによって変化する。ＬＲ画像のサイズをＷ（横画素数）とＨ（縦画素数）、ダウンサンプリング時の画像縮小の倍率を（１／ｓｘ，１／ｓｙ）とする場合、（数１）に記載される各行列サイズは図３の通りとなる。ＨＲ画像であるＸはベクトル記述として扱うため、その行列サイズは（Ｈ×Ｗ）×１となる。画像間の相対移動量を表す行列Ｍと、ＰＳＦによる劣化処理を行う行列Ｂは、（Ｈ×Ｗ）×（Ｈ×Ｗ）の正方行列となる。ダウンサンプリング処理を表す行列Ｄのサイズは、（Ｈ×１／ｓｘ×Ｗ×１／ｓｙ）×（Ｈ×Ｗ）となる。

相対移動量を表す行列Ｍの生成方法について説明する。行列Ｍの作成に際しては、後述の相対移動量の算出にて得られる基準画像と対象画像との相対関係を示すアフィンパラメータにより決定される。入力される複数の画像のうち１枚を基準画像と定め、その他の画像を対象画像とする。このとき、画素位置（ｘ，ｙ）は対象画像上の画素位置に対応し、（ｘ’，ｙ’）は基準画像上の画素位置に対応する。推定されたアフィンパラメータから、対象画像上の画素位置（ｘ，ｙ）が基準画像上のどの座標位置に対応するかを把握することができる。対応の結果、画素位置（ｘ’，ｙ’）が基準画像の格子点上にプロットされる場合には、基準画像の画素位置に対応する行列Ｍの要素を１と規定し、その他の要素に０を代入する。基準画像の格子点上にプロットされない場合には、（ｘ’，ｙ’）の周辺画素の画素値から、線形補間等の補間処理を利用して、その重みから行列Ｍの係数を算出する。このとき、行列Ｍは、（ｘ，ｙ）と（ｘ’，ｙ’）の周辺画素の位置から決定される行及び列の要素に、（ｘ’，ｙ’）の周辺画素に割り当てられる重み値をそれぞれ代入する。それ以外の要素に０を代入することで画像間の相対移動量を表す行列Ｍを生成する。なお、ブロック単位で相対移動量を算出する手法については後述する。

＜画像合成処理＞
実施例１での画像合成処理は、非特許文献２に開示されているＭＡＰ推定法をベースに行う。ＭＡＰ推定法とは、二乗誤差に高解像画像の確率情報を付加した評価関数を最小化することで、高解像画像を推定する方法である。高解像画像に対するある事前情報を利用して、事後確率を最大化する最適化問題として高解像度画像を推定する超解像処理方法である。実施例１では、（数２）に従って複数のＬＲ画像からＨＲ画像を推定する。

ここで、Ｘ’は推定されたＨＲ画像、Ｘは後述する初期ＨＲ画像Ｘ０又はＭＡＰ法の繰返し演算におけるＨＲ画像、Ｙ_ｋはＬＲ画像、Ｃは推定されたＨＲ画像に適用される線形フィルタである。また、ｋは各ＬＲ画像のインデックス（通し番号）である。
（数２）の

は、「隣接画素の画素値は類似した値を持つことが多い」という事前情報を加味した拘束項である。実施例１では画像全体に平滑化の効果があるラプラシアンフィルタを線形フィルタＣとして使用する。αは結果画像における平滑化度合いを調整するパラメータである。平滑度合いの高い結果画像を得たい場合にはαの値を大きくすることが有効である。
（数２）の

は、ＬＲ画像Ｙ_ｋと劣化過程を経て推定された劣化画像との差分値を演算する項である。この差分は、（数１）のＨＲ画像推定の正確性を表しており、（数１）の推定が正しいものであれば、この項はゼロとなる。なお、σ_ｋは入力画像Ｙ_ｋのノイズ量の標準偏差である。

（数３）は、（数２）の右辺部を抽出し、画像合成時Ｉの評価関数として用いる数式である。

後述するが、上記評価関数の微分値を更新値として高解像度画像を更新する。

画像合成部１０９で行なわれる画像合成方法を図４のフローチャートを用いて説明する。まず、メモリ部１０７から画像入力端子２０１を介して複数枚のＬＲ画像Ｙｋが入力される（ステップＳ４０１）。ここでは、Ｎ枚のＬＲ画像Ｙｋが入力されるとする。なお、ｋは入力されたＬＲ画像Ｙｋの枚数をカウントするカウンター（インデックス）であり、ｋの変動範囲はｋ＝［０，１，‥，Ｎ−１］とする。

次に、撮像装置の劣化条件を取得する（ステップＳ４０２）。実施例１で扱う劣化条件は、撮像装置の光学系の点拡がり関数（ＰＳＦ）と、センサ画素数の制限による劣化過程であるダウンサンプリング率と、画像間の位置ずれ（相対移動量）である。

ステップＳ４０３では、前述のＭＡＰ推定で必要となる初期ＨＲ画像Ｘ０を作成する。初期ＨＲ画像Ｘ０は、入力されたＬＲ画像Ｙｋから選択された一枚のＬＲ画像に基づいて、補間処理によって横画像サイズをｓｘ倍、縦画像サイズをｓｙ倍に拡大する。補間処理としては線形補間を使用する（キュービック補間など、その他の補間処理を使用してもよい）。

続いて、ステップＳ４０４において、処理を終了するか否かの判定を行う。実施例１ではＨＲ画像更新処理の処理回数に基づいて処理を終了するか否かの判定を行う。あらかじめ設定しておいた閾値ｔを用いて、処理回数がｔ回より小さい場合はＨＲ画像Ｘの更新処理を続行し、処理回数がｔ回以上となったらステップＳ４１３進む。

Ｓ４０４で処理を続行する場合について引き続き説明する。続くステップＳ４０５でカウンターｋをｋ＝０に初期化した後、入力された劣化条件を加味しながら、ＨＲ画像に基づいて各ＬＲ画像Ｙｋに対応する劣化画像Ｙ’ｋを作成する（ステップＳ４０６）。劣化画像の作成に際しては、（数１）を用いて次式のように計算する。

Ｍｋは、Ｙｋについての相対移動量である。入力された全てのＬＲ画像Ｙｋについて劣化画像Ｙ’ｋを生成したか否かを判定し（ステップＳ４０７）、全てのＬＲ画像について劣化画像Ｙ’ｋの生成が完了していないと判定した場合には、カウンターｋの値を更新し（ステップＳ４０８）、ステップＳ４０６からステップＳ４０７までの処理を繰り返し行う。一方、ステップＳ４０７において、劣化画像Ｙ’ｋの生成が全てのＬＲ画像Ｙｋについて完了したと判定した場合には、生成した劣化画像Ｙ’ｋを用いて、ＬＲ画像Ｙｋを使用するか否かを判定する評価値ｅｋを算出する（ステップＳ４０９）。評価値ｅｋはＬＲ画像Ｙｋと劣化画像Ｙ’ｋの差分を用いて計算する。実施例１では（数５）を用いて各Ｙｋ・Ｙ’ｋに対して計算するものとする。

評価値ｅｋはＬＲ画像Ｙｋと劣化画像Ｙ’ｋの差分画像の二乗和（差分画像の行列ノルム）として表され、ＬＲ画像Ｙｋと劣化画像Ｙ’ｋとの差分が大きいほど大きな値となる。

ここで、ＨＲ画像として初期ＨＲ画像Ｘ０を扱う場合を例に、図５を用いてどのようなＬＲ画像Ｙｋでｅｋが大きな画像となるのか説明する。図５に６枚のＬＲ画像（Ｙ０〜Ｙ５）と、Ｙ０〜Ｙ５から選択したＬＲ画像Ｙ４を補間拡大して生成した初期ＨＲ画像Ｘ０を示す。Ｙ０〜Ｙ５は連続して撮影された複数枚のＬＲ画像であり、その間に被写体の表情が変化している。ＬＲ画像Ｙ４を含む４枚のＬＲ画像では、被写体の目が開いている（Ｙ０、Ｙ１、Ｙ４、Ｙ５）が、それ以外の２枚の画像では目を閉じている（Ｙ２、Ｙ３）。各ＬＲ画像に対応する劣化画像Ｙ’ｋはＨＲ画像に対して入力された劣化条件を加味して生成される。劣化条件には被写体の表情の変化は含まれないため、ＨＲ画像と被写体の表情が異なるＹ２、Ｙ３に対する劣化画像Ｙ’２、Ｙ’３は目を開けた画像（開けた画像と閉じた画像の中間的な画像）となる。このため、評価値ｅｋを算出した場合、他のＬＲ画像と比較してＹ２、Ｙ３は表情の変化分だけ評価値が大きくなる。

ステップＳ４１０では、ステップＳ４０９で算出した評価値ｅｋを基にＬＲ画像Ｙｋを合成処理に使用するか否かを各Ｙｋごとに判定する。この処理では、合成処理に使用するＬＲ画像Ｙｋを選択する。具体的には、閾値ｔｈを用いてｅｋに対して閾値処理（閾値ｔｈとの比較による処理）を行い、ｅｋが閾値ｔｈ以上の場合、ＬＲ画像Ｙｋを合成処理に用いないものとする。実施例１において、閾値ｔｈはあらかじめ設定しておくものとする。図６は、評価値算出部で算出される評価値の一例を示す図である。この場合、ＬＲ（２）とＬＲ（３）にかかる評価値は閾値ｔｈを超えるため、合成処理に用いられないこととなる。

評価値ｅｋが高いＬＲ画像を合成処理に用いない理由は以下の通りである。図５において、初期ＨＲ画像Ｘ０として選択されたＹ４（目が開いている画像）に対して、ＬＲ画像Ｙ２（目を閉じている画像）を用いて、下に示す方法によりＨＲ画像を推定したとする。そうした場合、推定されたＨＲ画像は、目が開いている画像と、目を閉じている画像との両者から推定され、結果として目の部分がぼやけた画像となってしまう。実施例は、このような問題を回避すべく、あえてＹ２やＹ３を合成処理に用いないこととしている。

なお、上記の説明では、Ｙ４を初期ＨＲ画像Ｘ０としたが、Ｙ２（やＹ３）を初期ＨＲ画像Ｘ０とすることも可能である。ただし、Ｙ４を初期ＨＲ画像Ｘ０とした場合であれば、４枚のＬＲ画像に基づいてＨＲ画像を生成できる一方で、Ｙ２を初期ＨＲ画像Ｘ０とした場合であれば、２枚のＬＲ画像に基づいてＨＲ画像を生成することとなる。（数１）におけるＨＲ画像Ｘの推定の精度を高めるためには、より多くのＬＲ画像に基づいてＨＲ画像を生成する方が好ましい。よって、Ｙ２を初期ＨＲ画像Ｘ０とするよりも、Ｙ４を初期ＨＲ画像Ｘ０とする方が望ましい。

このことから、初期ＨＲ画像Ｘ０を選択する場合、「最も代表的な」画像が選択されることが好適である。例えば、ＬＲ画像其々に対して、他のＬＲ画像中、何枚のＬＲ画像が評価値を満たすかを事前に取得することで、初期ＨＲ画像Ｘ０を選択することが望ましい。図１５は、初期ＸＲ画像Ｘ０を選択する方法を説明するためのフローチャートである。

ステップＳ１５０１にて、ｋに０をセットする。ステップＳ１５０２にてｋがＮ−１か否かを判断する。なお、前述のとおり、ｋはＬＲ画像のインデックス、ＮはＬＲ画像の枚数である。ステップＳ１５０３にて、Ｙｋを初期ＨＲ画像Ｘ０として、各Ｙｋに対する評価値ｅｋを（数４）、及び（数５）に基づいて算出する。ステップＳ１５０４にて、何枚のＬＲ画像の評価値が条件を満たすかを取得する。ステップＳ１５０５にて、条件を満たしたＬＲ画像の枚数をＺｋとして設定する。ステップＳ１５０６にて、ｋを１だけインクリメントする。

ステップＳ１５０３からステップＳ１５０６までの処理をＬＲ画像の枚数分、繰返し行なう。ステップＳ１５０２でｋ＝Ｎ−１の条件を満たすと、ステップＳ１５０７へ進み、取得されたＺｋの中で最大のものを初期ＨＲ画像Ｘ０とする。一般的に、合成処理に使用されるＬＲ画像が多ければ多いほど、適切な高解像度画像が得られる。よって、図１５に示したフローチャートに基づいて初期ＨＲ画像Ｘ０を選択することにより、合成処理に使用されるＬＲ画像の枚数を最適化（最大化）することが可能となる。ステップＳ４１１では、ステップＳ４１０にて合成処理に使用すると判定されたＬＲ画像のみに基づいてＨＲ画像の更新処理を行う。ＬＲ画像Ｙｋと劣化画像Ｙ’ｋとの差分値を減少させるために必要となる更新項ΔＸ（更新値）を、（数３）をＸで微分した（数６）を用いて計算する。

前述の通り、（数６）の第二項はＬＲ画像と劣化画像との差分値を示す項である。この差分値は、（数１）のＨＲ画像の推定の正確性を表しており、（数１）の推定が正しいものであれば、この項はゼロとなる。σ_ｋは入力画像Ｙ_ｋのノイズ量の標準偏差である。（数１）の差分値を示す項だけを用いて更新項を決定すると特に画像のエッジ部分で不自然さが強調されてしまうため、それを第一項の「隣接画素の画素値は類似した値を持つことが多い」という事前情報を加味した拘束項で補償する。実施例１では画像全体に平滑化の効果があるラプラシアンフィルタを線形フィルタＣとして使用する。αは結果画像における平滑化度合いを調整するパラメータである。平滑度合いの高い結果画像を得たい場合にはαの値を大きくすることが有効である。

更新項ΔＸの算出が完了したら、ステップＳ４１２において（数７）を用いてＨＲ画像Ｘを更新する。

（数７）
Ｘ←Ｘ＋ηΔＸ
なお、ηは更新の幅を決定するパラメータである。ηを大きくすれば、最適なＨＲ画像への収束は早くなる。一方で、ηを必要以上に大きくしすぎると、オーバーシュート量が大きくなりすぎて収束に時間がかかってしまう場合もある。そこで、最適なηをステップＳ４０４で用いられる条件（処理回数）やユーザーによる設定に基づいて決定してもよい。

更新画像の作成が完了すると、ステップＳ４０４で規定される条件（処理回数＞＝ｔ）を満足するまで、ステップＳ４０４からステップＳ４１２の処理を繰り返し行う。最後に、ステップＳ４１３にて合成画像（即ち、ｔ回更新された高解像度画像Ｘ）を出力し、複数枚の入力ＬＲ画像Ｙｋに対する合成処理が完了する。

以上の例では、ステップＳ４０９で評価値を算出する際に、ＬＲ画像Ｙｋと劣化画像Ｙ’ｋの全体を用いて、評価値ｅｋを算出したが、画像中の画素の重要度（注目度）に基づいて重み付けをすることにより評価値を取得することも可能である。

図１４は、評価値を取得する際の領域の重みづけを示した図である。

図１４（ａ）は、画像の中心に位置する領域（ブロック、ピクセル）に対する重みは大きく、周辺に行くほど重みが小さくなることを示している。

図１４（ｂ）は、顔認識、人物認識、物体認識等の技術により特定された領域（ブロック、ピクセル）に対する重みづけを示している。特定の人物に対して重みを大きくすることにより、相対的に他の領域の評価値による影響を小さくすることを示している。入力画像Ｙｋと劣化画像Ｙ‘ｋの中の領域をＲｋｉとＲ’ｋｉとすると（ｉは画像中の領域を示す番号、Ｎは領域数）、評価値は以下のように求まる。

なお、ｗｉは各領域の重みである。

このように画像中の注目領域（例えば、画像中心や人物領域）に応じた重み付けを行なうことにより、
・重要でない画像の周辺部で大きな動きがある場合
・注目しているのは人物であるにも関わらず、背景に動きがある場合
などで評価値ｅｋが大きくなってしまうことにより、適切な評価処理が行なえないという問題を回避している。

＜相対移動量の算出＞
図７は、移動量算出部１０８で行なわれるフレーム間の相対移動量を求める方法を説明するためのフローチャートである。ここでは、ブロック毎に動きベクトルを求め、そこから画面全体の動き量をアフィンパラメータとして求める方法について説明する。ブロック毎の動きベクトルを求める際にその前処理としてステップＳ７０１の有効ブロック判定を行う。これは正しい動きベクトルが求まらない可能性のあるブロックを除外する処理である。詳細は後述する。ステップＳ７０２では、ブロックの動きベクトルを算出する。ここでは一般的なブロックマッチング方法について説明する。ブロックマッチング法では、マッチングの評価値としてブロック内の画素間の差分二乗和もしくは差分絶対値和を用いる。ベクトルを求める対象ブロックを基準画像のサーチ範囲内で順次動かしなら評価値を求めていく。サーチ範囲内で求めた全ての評価値の中から最小の評価値もつ位置が対称ブロックと最も相関の高い位置であり、その移動量が動きベクトルとなる。サーチ範囲を１画素ずつ求めていく方法はフルサーチと呼ばれている。これに対し、サーチ範囲を間引きながら最小の評価値を求め、次にその近傍に対して細かくサーチする方法は、ステップサーチと呼ばれている。ステップサーチは高速に動きベクトルを求める方法としてよく知られている。次にステップＳ７０４にて、有効動きベクトル判定を行う。これは、求めた動きベクトルのうち、算出結果が正しくないと判断されるものを除外する処理である。詳細は後述する。ステップＳ７０３で、終了判定を行い、すべてのブロックの処理が終わると、ステップＳ７０５にて、有効な動きベクトルから、アフィンパラメータの検出を行う。

次に、アフィンパラメータ検出の詳細を説明する。対象ブロックの中心座標が、（ｘ，ｙ）であり、動きベクトルの算出結果から基準画像におけるブロックの中心座標が（ｘ’，ｙ’）に移動したとすると、これらの関係は、（数９）のように表すことができる。

ここで、３×３の行列がアフィン変換行列である。行列の各要素がアフィンパラメータであり、ａ＝１，ｂ＝０，ｄ＝０，ｅ＝１のとき、この変換は平行移動となり、ｃが水平方向の移動量、ｆが垂直方向の移動量となる。また、回転角θでの回転移動は、ａ＝ｃｏｓθ，ｂ＝−ｓｉｎθ，ｄ＝ｓｉｎθ，ｅ＝ｃｏｓθで表すことができる。（数９）は一般化した行列の形式で（数１０）のように表現することができる。

ここでｘとｘ’は１×３の行列、Ａは３×３の行列である。有効な動きベクトルがｎ個であった場合、対象画像の座標値は、（数１１）のようにｎ×３の行列で表現できる。

同様に、移動後の座標値も（数１２）のようにｎ×３の行列で表現できる。

よって、ｎ個の動きベクトルに対しては、（数１３）のような表現となる。

すなわち、（数１３）におけるアフィン行列Ａを求めれば、それが画面全体の位置ずれ量になる。（数１３）を変形すると、アフィン行列は（数１４）のように求まる。

この方式では、動き量が、アフィン変換のパラメータで表現できるため、カメラを保持しているときに起こるシフトぶれ以外にも、面内方向でのロールぶれや前後方向のズームぶれなどにも対応することが可能である。

ここで、有効ブロック判定方法を図８のフローチャートを用いて説明する。ブロックマッチングによりブロック間の相関を求めようとする場合、ブロック内の画像が何らかの特徴量を持っている必要がある。平坦でほとんど直流成分しか含んでいないブロックでは正しい動きベクトルを求めることはできない。逆に水平方向や垂直方向にエッジを含んでいると、マッチングがとりやすくなると考えられる。図８は、このような平坦部のブロックを除外する一手法である。ここでは１つのブロックに対する処理で説明する。

まずステップＳ８０１で、ブロック内にある水平方向の１つのラインに対し、最大値と最小値の差分値を算出する。例えば、ブロックのサイズが５０×５０の画素で構成されているとすると、ブロック内における水平方向の５０の画素から最大値と最小値を求め、その差分値を算出する。これを水平ライン数分、すなわち５０回繰り返す。そして、ステップＳ８０３で５０の差分値の中から最大の差分値を求める。ステップＳ８０４で、あらかじめ設定したＴｘと最大差分値の比較を行う。最大差分値が閾値Ｔｘよりも小さければ、水平方向には特徴量を持たないブロックであるとみなし、ステップＳ８０５にて、無効ブロックとする。水平方向に特徴量を持つとみなせる場合は、垂直方向で同様の検証を行う。まず、ステップＳ８０６で、ブロック内にある垂直方向の１つのラインに対し、最大値と最小値の差分値を算出する。つまりブロック内における垂直方向の５０の画素から最大値と最小値を求め、その差分値を算出する。これを垂直ライン数分、すなわち５０回繰り返す。そして、ステップＳ８０８で５０の差分値の中から最大の差分値を求める。ステップＳ８０９で、あらかじめ設定したＴｙと最大差分値の比較を行う。最大差分値が閾値Ｔｙよりも小さければ、垂直方向には特徴量を持たないブロックであるとみなし、ステップＳ８０５にて、無効ブロックとする。水平・垂直両方向に特徴を持つブロックならば、正確なブロックマッチングが行われることが期待できるので、ステップＳ８１０にて、有効ブロックと判定する。

次に、有効動きベクトル判定方法を図９のフローチャートを用いて説明する。まずは、ステップＳ９０１にて動きベクトルを入力し、ステップＳ９０２にて、その発生頻度を算出する。ステップＳ９０３にて、全ての動きベクトルの発生頻度が求まるまでこの処理を繰り返し、終了するとステップＳ９０４にて、最大発生頻度の動きベクトルを求める。次に、ステップＳ９０５にて、再度動きベクトルを入力し、ステップＳ９０６で、この動きベクトルが最大発生頻度の動きベクトル、もしくはその近傍の動きベクトルであるかどうかの判定を行う。画面全体のぶれが、シフトのみである場合、各ブロックの動きベクトルは、最大発生頻度の動きベクトルにほぼ一致するはずであり、ロールぶれを伴う場合は、最大発生頻度の動きベクトルの近傍に多くの動きベクトルが発生すると考えられる。したがって、これらの値に含まれる動きベクトルは、ステップＳ９０７にて、有効動きベクトルと判定し、これらの値から外れている動きベクトルは、ステップＳ９０８にて無効動きベクトルと判定する。ステップＳ９０９では、すべての動きベクトルに対して処理が終わったかどうかの判定を行い、終了までステップＳ９０５からの処理を繰り返す。

相対移動量は全ての有効動きベクトルの平均値に基づいて決定される。また、相対移動量の決定方法は、単純平均に限らず、加重平均などに基づいて決定してもよい。

なお、実施例１では、入力となるＬＲ画像Ｙｋを図５に示すように６枚としたが、これに限定されるものではない。２枚、３枚、１０枚などでも、実施例１の目的を達成できる。

また、実施例１ではループ処理の終了判定をループ処理の回数に基づいて行っていたが、終了処理の判定基準はこれに限るものではない。（数３）に示す評価関数の大きさや、（数６）に示す更新量の大きさを基にループ処理の終了判定を行っても実施例１の目的を達成できる。例えば、以下のような終了判定条件を用いても良い。

さらに、実施例１では評価値ｅｋとして、ＬＲ画像と劣化画像との差分画像の二乗和を用いたが、評価値はこれに限るものではない。（Ａ）平均二乗和や、（Ｂ）差分画像の絶対値などでも、実施例１の目的を達成できることは言うまでもない。

さらに、実施例１では、表情の変化に着目し説明を行ったが、図１０に示すように入力画像に手ぶれなどによるぶれ画像が含まれる場合であっても、同様に処理することが可能である。図１０において、ＬＲ（２）とＬＲ（３）はぶれ画像である。初期ＨＲ画像Ｘ０をＬＲ（２）とＬＲ（３）以外のＬＲ画像を選択するという条件の下、図４に示される処理と同一の処理を行う。ＬＲ（２）とＬＲ（３）のぼけは、撮像装置のＰＳＦによる劣化過程で生じるぼけとは異なるため、それぞれに対応する評価値ｅｋは大きなものとなり、ＬＲ（２）とＬＲ（３）はＨＲ画像生成過程において用いられないものとなる。また、相対移動量算出部１０８で、相対移動量の算出に失敗した場合（例えば、画像中の特徴量を誤検出した場合）であっても、同様に処理することが可能である。すなわち、相対移動量の算出が誤っている場合、評価値ｅｋの値が大きくなるため、誤って算出された相対移動量に基づいた劣化画像ＹｋやＨＲ画像Ｘの生成を防ぐことができる。

さらに、実施例１ではＭＡＰ法を用いて高解像度画像を生成したが，他のループ処理を含む高解像度画像生成手法を使用しても構わない。例えば、ＰＯＣＳ法、ＰＯＣＳ−ＭＬ法、Ｂａｃｋ Ｐｒｏｊｅｃｔｉｏｎ法などが挙げられる。

実施例１では、画像合成処理前後で画像の解像度が拡大する処理方法について説明したが、画像合成処理前後で画像フレームの解像度が縮小、或いは不変の場合でも構わない。解像度を縮小する場合には、画像合成時の劣化条件の一項目であり、図２の撮像特性保持部２０５で規定されるダウンサンプリング率をアップサンプリング率に置き換え、その時の画像拡大倍率を（ｓｘ，ｓｙ）とすれば実現可能である。なお、ｓｘ、ｓｙは正の数であるとする。また、解像度を不変とする場合には、前記拡大倍率を（１，１）とすれば実現可能である。

以上説明したように、実施例１によれば、入力される複数のＬＲ画像と、そのＬＲ画像に基づいて撮像特性や相対移動量に基づいて生成される劣化画像との差分に基づく評価値により、高解像度画像の画質に寄与する低解像度画像を特定することが可能となる。また、一部の低解像度画像に対して位置合わせが失敗した場合（不適切な相対移動量を算出した場合）にも、適切な高解像度画像を生成することを目的とする。

そして、特定された低解像度画像のみを用いて、或いは特定された低解像度画像に重みをつけて画像を合成することにより、生成された高解像度画像がぼけてしまうことを回避することが可能となる。

（実施例２）
実施例１において、画像合成処理はＭＡＰ推定等のループ処理を含む方法によって実現されていた。実施例２では、複数画像間の位置補正後に補間処理を用いて高解像度画像を生成する構成とする。

実施例２である画像処理装置の構成は図１に示す画像処理装置と比較して画像合成部１０９が異なる。図１１は、実施例２における画像合成部１１０１を示したブロック図である。実施例２は、図２で示した画像合成部１０９のブロック図と比較し、特に以下の点で異なる。
（１）画像間の相対位置を補正し加算合成処理を行う加算合成部１１０２が実施例２では追加されている点
（２）初期画像生成部２０３、画像修正部２０９が実施例２では存在しない点
実施例２による高解像度画像の生成方法は、実施例１とは異なり、ループ処理を必要としないため、終了判定部２１０は構成にない。

実施例２の処理を図１１を用いて説明する。メモリ部１０７から画像入力端子２０１を介して複数枚のＬＲ画像が入力される。そして、入力された複数枚のＬＲ画像の中から選択された一枚のＬＲ画像に対して、初期画像生成部２０３により初期画像が生成される。画像劣化部２０４は、相対移動量入力端子２０２から得られる相対移動量と、撮像特性保持部２０５に保持されている撮像特性とを（数５）に基づいて初期画像に適用することにより劣化画像を生成する。実施例１と同様に、評価値算出部２０６は、評価値を各劣化画像に対して算出する。使用画像判定部２０７は、算出された評価値に基づいて次の加算合成処理を行うＬＲ画像を選択する。加算合成処理部１１０２は、選択されたＬＲ画像と相対移動量であるアフィンパラメータに基づいて、全ＬＲ画像の位置合わせを行う。そして、位置合わせが完了したＬＲ画像に対して画像合成を行う。画像合成は補間処理によって実現される。

この合成処理では、まず、折り返し成分を含む高周波成分を全て透過する帯域の広いローパスフィルタを用いて補間処理を行い、劣化画像を再サンプリングする。再サンプリングした各画像を画像間の相対移動量を考慮しながら加算合成することで、サンプリング時の折り返し成分を打ち消した高解像度画像を生成する。

実施例２は、実施例１と同様に、画像合成を行う前に、適切な低解像度画像を選択することに特徴がある。すなわち、実施例２によれば、相対移動量と撮像特性に基づいて評価値を算出する。そして、算出された評価値に基づいて、高解像度画像の画質に寄与する低解像度画像を特定し、適切な高解像度画像を生成することが可能となる。これにより、不要な低解像度画像により高解像度画像がぼやけてしまうことが回避可能となる。

また、実施例２では、繰返し計算を必要としないため、計算コストを押さえつつ高解像度画像を得ることが可能となる。

（実施例３）
実施例１では、評価値ｅｋを基に入力画像の選択を行っていた。実施例３では、評価値を基に入力される複数枚画像に対する重み値を算出し、この重み値を考慮して複数枚画像を合成し高解像度画像を生成する構成とする。

実施例３である画像処理装置の構成は図１に示す画像処理装置と比較して画像合成部１０９が異なる。図１２は、実施例３における画像合成部１２０１を示したブロック図である。図２で示した画像合成部１０３のブロック図と比較し、使用画像判定部２０７の代わりに入力される各画像の重みを算出する重み値算出部１２０２が追加され、修正量算出部２０８が修正値算出部１２０３に変更される。重み値の算出は評価値を基に行い、評価値が大きなほど小さな重みとする。例えば、評価値ｅｋの逆数を画像合成処理に使用する画像枚数で正規化した値を重み値ｗｋとして用いる方法が挙げられる。具体的には（数１５）のように表される。

ここで、Ｅは正規化するための定数である。

重み値算出部において算出された重み値は、続く修正値算出部１２０３において修正値を算出する際に使用する。ＬＲ画像Ｙｋの重みをｗｋとした場合、具体的には（数１６）のように修正値ΔＸを計算する。

算出した修正値ΔＸを用いて画像修正部２０９においてＨＲ画像を修正する。

以上説明したように、実施例３によれば、評価値を基に画像合成時に使用する各入力ＬＲ画像Ｙｋの重み値ｗｋを算出し画像合成処理を行う。重み値ｗｋは、高解像度画像の画質に寄与する割合を示していることから、画質に寄与するＬＲ画像には大きな重みを設定し、そうでないＬＲ画像には小さな重みを設定するという制御が可能となる。この制御により、適切な高解像度画像を生成することが可能となる。

（実施例４）
実施例２では、評価値を基に入力画像の選択を行っていた。実施例４では、評価値を基に入力される複数枚画像に対する重み値を算出し、この重み値を考慮して複数枚画像を加算合成し高解像度画像を生成する構成とする。

実施例４である画像処理装置の構成は図１に示す画像処理装置と比較して画像合成部１０９が異なる。図１３は、実施例４における画像合成部１３０１を示したブロック図である。図１１で示した画像合成部１１０１のブロック図と比較し、使用画像判定部２０７の代わりに入力される各画像の重みを算出する前述の重み値算出部１２０２が追加され、さらに重み付け画像生成部１３０２が追加される。重み付け画像生成部１３０２は、重み値算出部で算出された各ＬＲ画像の重み値を基に、全ＬＲ画像に対して重み付け画像を生成する。具体的には各画像の重み値ｗｋを各ＬＲ画像Ｙｋに掛けることで重み付け画像を生成する。その後、この重み付け画像を用いて加算合成部１１０２において合成処理を行い高解像度画像を生成する。

以上、説明したように画像合成を行なう前に、適切な低解像度画像を選択することに特徴がある。すなわち、実施例４によれば、相対移動量と撮像特性に基づいて評価値を算出する。そして、算出された評価値に基づいて、高解像度画像の画質に寄与する低解像度画像を特定し、重み付け処理をすることにより、適切な高解像度画像を生成することが可能となる。これにより、不要な低解像度画像による要因により、高解像度画像がぼやけてしまうことが回避可能となる。また、実施例４では、繰返し計算を必要としないため、計算コストを押さえつつ高解像度画像を得ることが可能となる。

（実施例５）
上述の実施例は、入力画像全体に対して解像度変換することとなっている。本実施例は画像の一部の領域に対して、実施例１−４の処理を行なっても良い。その画像の一部の領域とは、以下のようなものが考えられる。
（１）固定領域（例えば、画像中の右上１／４領域）
（２）フォーカスが合っている領域
（３）顔認識、物体認識などで特定される領域
以上説明したように、画像の一部分のみで解像度変換処理を行なうことにより、計算負荷を軽減しつつ高解像度画像を得ることが可能となる。

（実施例６）
上述した実施例の機能（例えば、図４、図７、図８、図９のフローチャートにより示される機能）を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても実現できる。この場合、そのシステム或いは装置のコンピュータがコンピュータが読み取り可能に記憶媒体に格納されたプログラムコードを読み出し実行することにより、上述した実施例の機能を実現する。

Claims (13)

1. 撮像装置で撮像された第一の解像度を有する複数の第一の画像を用いて第二の解像度を有する第二の画像を生成する画像処理装置であって、
   前記複数の第一の画像のうち、前記複数の第一画像の被写体を代表する画像を基準画像 として選択する選択手段と、
   前記選択手段で選択された基準画像と、前記複数の第一の画像のそれぞれとの相対移動量を取得する第一の取得手段と、
   前記複数の第一の画像のそれぞれに対して、前記複数の第一の画像のそれぞれに対応する前記相対移動量と、前記第二の解像度を有する第三の画像と、前記撮像装置の撮像特性とに基づいて、前記第一の解像度を有する第四の画像を生成する第一の生成手段と、
   前記第一の生成手段で生成された前記複数の第四の画像のそれぞれと、前記複数の第四の画像のそれぞれに対応する前記第一の画像との差分を領域ごとに重みづけした値に基づく評価値を取得する第二の取得手段と、
   前記第二の取得手段で取得された前記複数の評価値に基づいて、前記複数の第四の画像により決定される更新値を用いて前記第三の画像を更新することにより、前記第二の解像度を有する前記第二の画像を生成する第二の生成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記第二の生成手段で生成された前記第二の画像を、前記第三の画像として更新する更新手段を更に有し、
   前記第一の生成手段は、前記更新手段で更新された第三の画像と、前記第一の取得手段により取得された前記複数の相対移動量と、前記撮像装置の前記撮像特性とに基づいて、前記第一の解像度を有する前記複数の第四の画像を、前記第一の画像ごとに生成することを特徴とする請求項１に記載の画像処理装置。
3. 初期の前記第三の画像は、前記複数の第一の画像のうちから選択された一の第一の画像を補間処理することによって取得することを特徴とする請求項２に記載の画像処理装置。
4. 前記更新手段は、設定されている条件を満たすまで前記第二の画像を前記第三の画像として更新することを特徴とする請求項２に記載の画像処理装置。
5. 前記設定されている条件は、前記更新手段による更新回数であることを特徴とする請求項４に記載の画像処理装置。
6. 前記第二の生成手段は、前記第二の取得手段で取得された前記複数の評価値に基づいて、前記複数の第四の画像の一部を選択し、選択された画像のみを前記複数の第四の画像として前記更新値を決定し、前記第二の画像を生成することを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
7. 前記第二の生成手段は、前記第二の取得手段で取得された前記複数の評価値に基づく重み付けを用いて前記更新値を決定することを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
8. 前記撮像装置の撮像特性は、前記撮像装置の点広がり関数と、前記第二の解像度から前記第一の解像度へのダウンサンプリング率であることを特徴とする請求項１乃至７のいずれかに記載の画像処理装置。
9. 前記重みづけは、画像の周辺にいくほど重みが小さくなることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置
10. 前記重みづけは、顔認識、人物認識、又は物体認識により特定された領域に基づく重みであることを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
11. 前記基準画像は、前記複数の第一の画像のうち、該画像と差分が小さい他の前記複数の 第一の画像の数が多い画像であることを特徴とする請求項１乃至１０のいずれか一項に記 載の画像処理装置。
12. 撮像装置で撮像された第一の解像度を有する複数の第一の画像を用いて第二の解像度を有する第二の画像を生成する画像処理方法であって、
    前記複数の第一の画像のうち、前記複数の第一画像の被写体を代表する画像を基準画像 として選択する選択ステップと、
    前記選択ステップで選択された基準画像と、前記複数の第一の画像それぞれとの相対移動量を取得する第一の取得ステップと、
    前記複数の第一の画像のそれぞれに対して、前記複数の第一の画像のそれぞれに対応する前記相対移動量と、前記第二の解像度を有する第三の画像と、前記撮像装置の撮像特性とに基づいて、前記第一の解像度を有する第四の画像を生成する第一の生成ステップと、
    前記第一の生成ステップで生成された前記複数の第四の画像のそれぞれと、前記複数の第四の画像のそれぞれに対応する前記第一の画像との差分を領域ごとに重みづけした値に基づく評価値を取得する第二の取得ステップと、
    前記第二の取得ステップで取得された前記複数の評価値に基づいて、前記複数の第四の画像により決定される更新値を用いて前記第三の画像を更新することにより、前記第二の解像度を有する前記第二の画像を生成する第二の生成ステップとを備えることを特徴とする画像処理方法。
13. コンピュータを、請求項１乃至１２に記載の画像処理装置の各手段として機能させるための画像処理プログラム。

Images