JP5523017B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関する。

近年、カメラで撮影した画像のレンズの特性値を用いて、レンズ収差と呼ばれる画像劣化を復元する処理が注目されている。レンズ収差のうち、特に歪曲収差と倍率色収差とは、本来像を結ぶべき像高と、実際にレンズを通して得られる像高とのずれから生じることが知られている。ここで像高とは、光軸からの距離を指す。これらの収差を補正する方法の一つに、像高が正しい位置になるように各画素の座標を変換する方法がある。
デジタル画像であるビットマップデータの場合、処理後の座標と処理前の座標とが対応するとは限らない。したがって、座標変換を伴う画像の変形処理は一般に、変形後の座標を変形前の座標に変換し、その座標に応じて隣接画素を補間処理することで、変形後の画素値を算出する。
このような変形処理を適用した場合、特にレンズ収差補正処理では画像の端部が大きく引き伸ばされることになり、座標の移動量が大きいほど、解像感も大きく低下することが知られている。画像の位置によって異なる移動量の座標変換を伴う変形処理には、この他には例えば、プロジェクタのキーストーン補正がある。
このような解像感低下への対策には、補間処理の改善と、低下した解像度の回復とがある。
補間処理の改善による対策とは、解像感低下の原因が補間処理にあると考えて、エッジ検出を併用するなどして補間処理自体を工夫するという方法である（例えば、特許文献１）。この方法は、ノイズがほとんど無い画像の場合は良好な結果が得られるが、デジタルカメラによる撮影で通常得られるようなノイズを含んだ画像ではあまりよい結果は得られない。
一方、低下した解像感の回復による対策とは例えば、シャープネス強度のコントロールによる回復や、ノイズ量のコントロールによる回復がある。
シャープネス強度のコントロールによる回復とは、画素毎にレンズの状態に応じた強度のシャープネスを適用し、低下した解像感を補う方法である（例えば、特許文献２）。しかしながら、画像の引き伸ばしによって撮影画像に含まれるノイズもぼけてしまい、単にシャープネス強度（或いはフィルタ半径）を調整しただけでは好ましい結果は得られない。
ノイズ量のコントロールによる回復とは、拡大処理による解像感の低下に対し、変形前の画素のノイズ量を考慮したノイズを補間結果に加える方法である。この方法を用いた場合、補間処理によって失われたノイズ感が回復し、見掛け上の解像感を向上させることができる。しかしながら、処理対象画像にノイズがあまり含まれない場合には解像感を向上させることができない。

このような問題を解決する方法として、超解像（ｓｕｐｅｒ ｒｅｓｏｌｕｔｉｏｎ）処理と呼ばれる処理が検討されている。超解像処理とは、複数の低解像度の画像を入力として、より画素数の多い超解像度の画像を生成する技術である。１枚の低解像度画像を拡大する場合、低解像度画像に含まれる信号の周波数帯域が限られるため、向上させられる解像感には限界がある。そこで、複数枚の低解像度画像を用いて高解像度画像を生成する。この技術を応用することで、レンズ収差補正に伴って低下した解像感の復元処理を実現することができる。例えば特許文献３では、撮像系による劣化過程から評価関数を決定し、補正結果を得る方法について述べられている。
超解像の解法にはさまざまな方法が提案されている。例えば、複数フレームの位置ずれを有する低解像度画像を合成して、高解像度な画像を生成する撮像手法が提案されている（非特許文献１）。その他の超解像技術として、ＭＡＰ（Ｍａｘｉｍｕｍ Ａ Ｐｏｓｔｅｒｉｏｒ、最大事後確率）推定に基づく方法が有名である（例えば、非特許文献２）。ＭＡＰ推定法とは、予め設定した確率密度関数に応じ、事後確率が最大となる画像を推定する方法である。ＭＡＰ推定法を超解像処理に応用する場合には、二乗誤差に高解像度画像の確率情報を付加した評価関数を最小化するような高解像度画像を推定するという捉え方もできる。ＭＡＰ推定法を用いた超解像処理とは、つまり、高解像度画像に対する先見情報を利用して、事後確率を最大化する最適化問題として高解像度画像を推定する処理である。

特開２００４−１５３６６８号公報 米国特許第６６０３８８５号明細書 特開２００１−１９７３５４号公報

Ｓｕｎｇ Ｃ． Ｐ， Ｍｉｎ Ｋ． Ｐ，"Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ Ｉｍａｇｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ： Ａ Ｔｅｃｈｎｉｃａｌ Ｏｖｅｒｖｉｅｗ"， 米国 ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃ． Ｍａｇａｚｉｎｅ， 第２６巻， 第３号， ｐ．２１−３６，２００３年 Ｒ． Ｒ． Ｓｃｈｕｌｚ， Ｒ． Ｌ． Ｓｔｅｖｅｎｓｏｎ， "Ｅｘｔｒａｃｔｉｏｎ ｏｆ ｈｉｇｈ−ｒｅｓｏｌｕｔｉｏｎ ｆｒａｍｅｓ ｆｒｏｍ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅｓ"， ＩＥＥＥ Ｔｒａｎｓ． Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， 第５巻， ｐ．９９６−１０１１， １９９６年

しかしながら、一般的に超解像処理における推定処理は非常に重い処理となる。例えば非特許文献２で提案される手法では、高解像度画像を得るためには最適化問題を解く必要があり、繰り返し処理が不可避となる。したがって、超解像処理結果の画像を得るために膨大な処理時間を要する。
したがって、デジタル一眼レフカメラ等でこの機能を実現する場合、連写速度が低下したり、高速なプロセッサの搭載が要求され消費電力が大きくなってしまったりする問題が生じる。
本発明はこのような問題点に鑑みなされたもので、画像の変形処理を実行した場合であっても、高画質の画像を低コストで得ることを目的とする。

そこで、本発明は画像処理装置であって、画素の移動を伴う画像の変形処理における前記画素の移動量を示す情報に基づいて、画像の超解像処理における、繰返し演算の繰り返し回数を決定する決定手段と、前記決定手段で決定された前記繰返し回数に基づいて、画像に前記超解像処理を実行する超解像手段と、を有し、前記決定された繰返し回数は、前記超解像処理が行われる画像における、第一の画素位置と第二の画素位置とで異なる。

本発明によれば、画像の変形に伴って低下した解像感の復元処理を、より高画質、かつ、低コストに実現することができる。

画像処理装置の一例であるデジタルカメラとしてレンズ交換式一眼レフデジタルカメラの回路構成の一例を示す図である。 デジタルカメラの外観を示す斜視図である。 デジタルカメラの垂直断面図である。 実施形態１のレンズ収差補正処理に係るデジタルカメラの構成図である。 歪曲収差補正の概要を説明するための図である。 レンズ特性値を説明するための図である。 レンズ補正処理の一例を示すフローチャートである。 指定された画素（ｉ，ｊ）の画素値を、歪曲補正ルックアップテーブルを用いて算出する処理を説明するための図である。 フレーム間の相対移動量を求める処理の一例を示すフローチャートである。 平坦部のブロックを除外する処理の一例を示すフローチャートである。 有効動きベクトル判定処理の一例を示すフローチャートである。 ＭＡＰ推定法を用いた画像合成処理の一例を示すフローチャートである。 イタレーションマップ生成処理の一例を示すフローチャートである。 実施形態２のレンズ収差補正処理に係るデジタルカメラの構成図である。 キーストーン補正における画素の移動量の様子を説明する図である。

以下、本発明の実施形態について図面に基づいて説明する。
＜実施形態１＞
通常、デジタルカメラでは、指定された露光時間の間、露光した画像を記録媒体に出力する。しかしながら本実施形態では複数画像から超解像処理によって高画質な画像を得るので、デジタルカメラ指定された露光時間が経過するまでの間、時分割露光して複数のフレーム画像を得、このフレーム画像を超解像処理することで１枚の高画質な画像データを得る。
本実施形態における座標の移動を伴う変形処理とは、レンズ収差補正処理とする。ここでは説明を簡単にするために特に、レンズ収差補正処理の一例として歪曲補正処理を例に説明を行う。但し、歪曲補正と同様に、理想像高と撮影時の像高とのずれによって生じる収差には倍率色収差補正がある。したがって、レンズ収差補正処理にレンズ収差補正処理を含めてもよい。
レンズ収差補正処理と超解像処理とで、どちらを先に適用してもよいが、本実施形態では先にレンズ収差補正処理を適用することとする。実施形態２において、先に超解像処理を適用する場合について説明する。

図１は、画像処理装置の一例であるデジタルカメラとしてレンズ交換式一眼レフデジタルカメラの回路構成の一例を示す図である。
図１において、マイクロコンピュータ１０２は、撮像素子（本実施形態ではＣＣＤ）１１８が出力する画像データの処理や、ＬＣＤモニター装置１１７の表示制御をはじめ、カメラ全体の動作を制御する。
スイッチ（ＳＷ１）１０５は、レリーズボタン２１４（図２参照）の半押し状態でオンになる。スイッチ（ＳＷ１）１０５がオンになると本実施形態のデジタルカメラは撮影準備状態になる。スイッチ（ＳＷ２）１０６は、レリーズボタン２１４が最後まで押された状態（全押し状態）でオンになる。スイッチ（ＳＷ２）１０６がオンになると本実施形態のデジタルカメラは撮影動作を開始する。
レンズ制御回路１０７は、撮影レンズ３００（図３参照）との通信及びＡＦ（オートフォーカス）時の撮影レンズ３００の駆動制御や絞り羽根の駆動制御を行う。
また図１において、外部表示制御回路１０８は、外部表示装置（ＯＬＣ）１０９や、ファインダ内の表示装置（不図示）の制御を行う。スイッチセンス回路１１０は、カメラに設けられた電子ダイヤル１１１を含む多数のスイッチ類の信号をマイクロコンピュータ１０２に伝える。
ストロボ発光調光制御回路１１２は、Ｘ接点１１２ａを介して接地されており、外部ストロボの制御を行う。測距回路１１３は、ＡＦのための被写体に対するデフォーカス量を検出する。測光回路１１４は、被写体の輝度を測定する。
シャッター制御回路１１５は、シャッターの制御を行い、撮像素子に対して適正な露光を行う。ＬＣＤモニター装置１１７とバックライト照明装置１１６とは、画像表示装置を構成している。記録装置１１９は、例えばカメラ本体に着脱可能なハードディスクドライブや半導体メモリカード等である。
また、マイクロコンピュータ１０２には、Ａ／Ｄコンバータ１２３、画像バッファメモリ１２４、ＤＳＰ等からなる画像処理回路１２５、及び、後述する超解像処理に必要な移動量算出処理回路１２６、画像合成処理回路１２７が接続されている。

図２は、デジタルカメラの外観を示す斜視図である。図３は、デジタルカメラの垂直断面図である。
図２において、カメラ本体２００の上部には、ファインダ観察用の接眼窓２１１、ＡＥ（自動露出）ロックボタン２１２、ＡＦの測距点選択ボタン２１３、撮影操作をするためのレリーズボタン２１４が設けられている。また、カメラ本体２００の上部には、電子ダイヤル１１１、撮影モード選択ダイヤル２１７、及び外部表示装置１０９も設けられている。電子ダイヤル１１１は、他の操作ボタンと併用して、ユーザが、カメラに数値を入力したり、撮影モードを切り換えたりするための多機能信号入力装置である。また、外部表示装置１０９は、液晶表示装置から構成され、シャッタースピード、絞り、撮影モード等の撮影条件や、他の情報を表示する。
また、カメラ本体２００の背面には、撮影された画像や各種設定画面等を表示するＬＣＤモニター装置１１７、ＬＣＤモニター装置１１７をオン／オフするためのモニタスイッチ２２１、十字配置スイッチ２１６、及びメニューボタン２２４が設けられている。
十字配置スイッチ２１６は、上下左右に配された４つのボタンと、中央に配されたＳＥＴボタンを有し、ユーザがＬＣＤモニター装置１１７に表示されるメニュー項目等の選択や実行をカメラに指示するために用いられる。
メニューボタン２２４は、ＬＣＤモニター装置１１７にカメラの各種設定を行うためのメニュー画面を表示させるためのボタンである。例えば、撮影モードを選択、設定する時は、ユーザが、このメニューボタン２２４を押した後、十字配置スイッチ２１６の上下左右のボタンを操作して希望のモードを選択し、希望のモードが選択された状態でＳＥＴボタンを押すことにより設定が完了する。このメニューボタン２２４と十字配置スイッチ２１６とは、後述するレンズ収差補正モードの設定にも使用される。
本実施形態のＬＣＤモニター装置１１７は、透過型であるため、ＬＣＤモニター装置１１７の駆動だけでは画像を視認することはできず、必ずその裏面には図３に示すようにバックライト照明装置１１６が必要である。このようにＬＣＤモニター装置１１７とバックライト照明装置１１６とは画像表示装置を構成している。

図３に示すように、撮像光学系の撮影レンズ３００は、カメラ本体２００に対してレンズマウント３０２を介して着脱可能である。図３において３０１は、撮影光軸である。また、３０３は、クイックリターンミラーである。
クイックリターンミラー３０３は、撮影光路中に配置され、撮影レンズ３００からの被写体光をファインダ光学系に導く位置（図３に示す位置、斜設位置という）と撮影光路外に退避する位置（退避位置という）との間で移動可能である。
図３において、ピント板３０４上にはクイックリターンミラー３０３からファインダ光学系に導かれる被写体光が結像される。３０５は、ファインダの視認性を向上させるためのコンデンサレンズである。３０６は、ペンタゴナルダハプリズムである。コンデンサレンズ３０５及びペンタゴナルダハプリズム３０６は、ピント板３０４及びコンデンサレンズ３０５を通った被写体光をファインダ観察用の接眼レンズ３０８及び測光センサ３０７に導く。
３０９、３１０は、それぞれシャッターを構成する後幕と先幕とで、これら後幕３０９、先幕３１０の開放によって後方に配置されている固体撮像素子である撮像素子１１８が必要時間だけ露光される。撮像素子によって画素毎の電気信号に変換された撮影画像は、Ａ／Ｄコンバータ１２３や画像処理回路１２５等によって処理され、画像データとして記録装置１１９に記録される。
撮像素子１１８は、プリント基板３１１に保持されている。このプリント基板３１１の後方には、もう一枚のプリント基板である表示基板３１５が配置されている。この表示基板３１５の反対側の面にＬＣＤモニター装置１１７及びバックライト照明装置１１６が配置されている。
１１９は、画像データを記録する記録装置である。３１７は、電池（携帯用電源）である。この記録装置１１９及び電池３１７は、カメラ本体に対して着脱可能である。

図４は、実施形態１のレンズ収差補正処理に係るデジタルカメラの構成図である。本実施形態におけるデジタルカメラは、通常とは異なり、指定された露光時間の間、時分割露光を行う。時分割露光で得たフレーム画像４２０は、画像処理回路１２５への入力信号であり、画像処理回路１２５にレンズ収差補正処理回路４０２が含まれる。ここで、レンズ補正テーブル生成回路４０１は、レンズ特性値データベース４１１から、レンズ制御回路１０７やシャッター制御回路１１５、測距（ＡＦ）回路１１３の出力から得た撮影時情報４１２に応じたレンズ特性値を取得する。そして、レンズ補正テーブル生成回路４０１は、取得したレンズ特性値に基づき像高毎のレンズ補正テーブル（移動量）を生成（算出）する。レンズ補正テーブル生成回路４０１は、移動量算出処理回路１２６に含まれる。
レンズ補正テーブルは、撮影時の像高とその像高に対応する理想像高との組みである。レンズ補正テーブル生成回路４０１は、撮影時情報に応じたレンズ特性値をスプライン補間して各画素の像高に対応した理想像高を得る（後述する図６参照）。
超解像処理回路４０４は、レンズ収差補正処理回路４０２でレンズ収差補正処理が実行されたフレーム画像（複数のレンズ収差補正済み画像）に対して超解像処理を実行することで、画像周辺まで解像感が低下しない画像を得る。ここで、超解像パラメータ生成回路４０３が、レンズ補正テーブルに応じて、超解像処理のパラメータを決定する。また、超解像処理回路４０４の出力解像度は、入力画像データの解像度と同一とする。
なお、超解像パラメータ生成回路４０３及び超解像処理回路４０４は、画像合成処理回路１２７に含まれるものとする。

（レンズ収差補正処理の詳細）
本実施形態におけるレンズ収差補正処理について説明する。前述のように、本実施形態においては、説明を簡単にするためにレンズ収差補正処理の一例として歪曲収差補正処理を説明する。図５は、歪曲収差補正の概要を説明するための図である。図５の（ａ）は、樽形に歪んだ画像を補正する場合の概要を説明するための図である。また、図５の（ｂ）は、糸巻形に歪んだ画像を補正する場合の概要を説明するための図である。歪曲収差は画素位置の移動を伴う補正で、像高毎に複雑に移動量が変化する。倍率色収差も同様に画素位置の移動を伴う補正だが、入力光の波長によってずれ方が異なるために生じるものである。これらのレンズ収差は一般的に光軸を中心とした回転対象になることが多く、画素毎に像高を算出し、レンズ特徴量から像高に応じた補正量を算出するのは処理が冗長になってしまう。そこで、レンズ補正テーブル生成回路４０１は、図６に示すようなレンズ特性値をスプライン補間したレンズ補正テーブルを生成する。そして、レンズ収差補正処理回路４０２は、これを参照しながらレンズ収差補正処理を適用する。図６中の破線は、レンズ収差補正前後の像高が一致する場合を示している。図６の場合、補間したカーブがこの破線よりも上を通っているので樽型歪となり、レンズ収差補正後の画像は、像高が高いほど引き伸ばされる。

図７（ａ）は、歪曲収差補正処理の一例を示すフローチャートである。
ステップＳ７０１において、レンズ補正テーブル生成回路４０１は、処理対象画像の撮影時情報（レンズの種類、焦点距離、ｆ値等）に対応するレンズ特性データをレンズ特性値データベース４１１から取得する。本実施形態におけるレンズ補正テーブルの一例である歪曲補正用特性データは、歪曲補正後の像高に対する歪曲補正前の像高のデータであるとする。
次に、ステップＳ７０２において、レンズ補正テーブル生成回路４０１は、処理対象画像の撮影時情報から、処理対象画像の画素ピッチを取得する。画素ピッチとは画素と画素との距離のことであり、本実施形態では、撮像素子上でのミリ単位の距離を表すものとする。
ステップＳ７０３において、レンズ補正テーブル生成回路４０１は、画像サイズ（幅ｆｗピクセル、高さｆｈピクセル）を用いて、次の式（１）に基づき、歪曲補正ルックアップテーブルサイズｆｓを算出する。ｆｓは、フィット表示用画像の中心から頂点までのピクセル単位での距離である。
ｆｓ＝√（（（ｆｗ／２）×（ｆｗ／２））＋（（ｆｈ／２）×（ｆｈ／２））） 式（１）
ステップＳ７０４において、レンズ補正テーブル生成回路４０１は、ステップＳ７０１で得たレンズ特性データをスプライン補間して、ステップＳ７０３で求めたサイズの歪曲補正ルックアップテーブルを作成する。ここで、ルックアップテーブルの入力は処理対象画像の中心からのピクセル単位の距離で、出力は歪曲補正後の画像データの中心からのピクセル単位の距離である。
ステップＳ７０５において、レンズ収差補正処理回路４０２は、歪曲補正後の画像データの各画素に対して、図８に示す歪曲補正画素値算出処理を実行する。全ての画素について画素値を算出した後、処理を終了する。

図７（ｂ）は、ステップＳ７０５の歪曲補正画素値算出処理の一例を示すフローチャートである。
歪曲補正画素値算出処理は、レンズ収差補正処理回路４０２が、幅ｆｗピクセル、高さｆｈピクセルの処理対象画像のうち、指定された画素（ｉ，ｊ）の画素値を、歪曲補正ルックアップテーブルを用いて算出する処理である（図８）。
まず、ステップＳ８０１において、レンズ収差補正処理回路４０２は、画像中心から画素（ｉ，ｊ）までのピクセル単位の距離（像高）を求める。
次に、ステップＳ８０２において、レンズ収差補正処理回路４０２は、歪曲補正ルックアップテーブルを用いて像高に応じた補正量（歪曲補正前の像高）を求める。像高は整数値にならない場合があるが、その場合、レンズ収差補正処理回路４０２は、線形補間で補正量を算出する。
ステップＳ８０３において、レンズ収差補正処理回路４０２は、ステップＳ８０２で求めた補正量を用いて、歪曲補正前の縮小画像上での座標を次の式（２）で算出する。
Ｉ'（ｉ，ｊ）＝ｄ'×Ｉ（ｉ，ｊ）×ｄ 式（２）
ここで、Ｉ（ｉ，ｊ）は、画像中心から歪曲補正後の画素（ｉ，ｊ）への方向ベクトルである。Ｉ'（ｉ，ｊ）は、画像中心から画素（ｉ，ｊ）を歪曲補正する前の座標への方向ベクトルである。ｄは、歪曲補正後の画素（ｉ，ｊ）のピクセル単位での像高である。ｄ'は、歪曲補正ルックアップテーブルを用いて算出した歪曲補正前の画素（ｉ，ｊ）のピクセル単位での像高である。
ステップＳ８０４において、レンズ収差補正処理回路４０２は、縮小画像上でＩ'（ｉ，ｊ）に相当する座標の近傍の画素値をバイリニア補間して画素（ｉ，ｊ）の画素値を決定する。

（超解像処理の詳細）
本実施形態における超解像処理は、ＭＡＰ推定法を用いて実現する。超解像処理は、複数画像の位置を合わせるための相対移動量算出処理と、算出した相対移動量と入力画像群から高解像度画像を生成する画像合成処理と、の２ステップから成る。以下、これらについて順に説明する。
（相対移動量算出処理）
図９は、フレーム間の相対移動量を求める処理の一例を示すフローチャートである。ここでは、超解像処理回路４０４が、ブロック毎に動きベクトルを求め、そこから画面全体の動き量をアフィンパラメータとして求める方法について説明する。
ブロック毎の動きベクトルを求める際にその前処理としてステップＳ９０１において、超解像処理回路４０４は、有効ブロック判定を行う。この処理は、正しい動きベクトルが求まらない可能性のあるブロックを除外する処理である。ステップＳ９０１の処理の詳細は後述する図１０に示す。
ステップＳ９０２において、超解像処理回路４０４は、ブロックの動きベクトルを算出する。ここでは一般的なブロックマッチング方法について説明する。ブロックマッチング法では、マッチングの評価値としてブロック内の画素間の差分二乗和若しくは差分絶対値和を用いる。ブロックマッチング法では、ベクトルを求める対象ブロックを参照画像のサーチ範囲内で順次動かしなら評価値を求めていく。サーチ範囲内で求めた全ての評価値の中から最小の評価値もつ位置が対称ブロックと最も相関の高い位置であり、その移動量が動きベクトルとなる。サーチ範囲を１画素ずつ求めていく方法はフルサーチと呼ばれている。これに対し、サーチ範囲を間引きながら最小の評価値を求め、次にその近傍に対して細かくサーチする方法は、ステップサーチと呼ばれている。ステップサーチは高速に動きベクトルを求める方法としてよく知られている。
ステップＳ９０３において、超解像処理回路４０４は、全ブロックを処理したか否かを判定する。超解像処理回路４０４は、全ブロックを処理した場合、ステップＳ９０４の処理に進み、全ブロックを処理していない場合、ステップＳ９０１の処理に戻る。
ステップＳ９０４において、超解像処理回路４０４は、有効動きベクトル判定を行う。これは、求めた動きベクトルのうち、算出結果が正しくないと判断されるものを除外する処理である。ステップＳ９０４の処理の詳細は後述する図１１に示す。
ステップＳ９０５において、超解像処理回路４０４は、有効な動きベクトルから、アフィンパラメータの検出を行う。
ここで、アフィンパラメータ検出の詳細を説明する。対象ブロックの中心座標が、（ｘ，ｙ）であり、動きベクトルの算出結果から参照画像におけるブロックの中心座標が（ｘ'，ｙ'）に移動したとすると、これらの関係は、式（３）のように表すことができる。

式（３）

ここで、３×３の行列がアフィン変換行列である。行列の各要素がアフィンパラメータであり、ａ＝１、ｂ＝０、ｄ＝０、ｅ＝１のとき、この変換は平行移動となり、ｃが水平方向の移動量、ｆが垂直方向の移動量となる。また、回転角θでの回転移動は、ａ＝ｃｏｓθ、ｂ＝−ｓｉｎθ、ｄ＝ｓｉｎθ，ｅ＝ｃｏｓθで表すことができる。式（３）は一般化した行列の形式で式（４）のように表現することができる。
ｘ'＝Ａ・ｘ 式（４）
ここでｘとｘ'は１×３の行列、Ａは３×３の行列である。有効な動きベクトルがｎ個であった場合、対象画像の座標値は、式（５）のようにｎ×３の行列で表現することができる。
Ｘ＝（ｘ１、ｘ２、・・・、ｘｎ） 式（５）
同様に、移動後の座標値も式（６）のようにｎ×３の行列で表現することができる。
Ｘ＝（ｘ１、ｘ２、・・・、ｘｎ） 式（６）

よって、ｎ個の動きベクトルに対しては、式（７）のような表現となる。
Ｘ'＝Ａ・Ｘ 式（７）
即ち、式（７）におけるアフィン行列Ａを求めることができれば、それが画面全体の位置ずれ量になる。式（７）を変形すると、アフィン行列は式（８）のように求めることができる。
Ａ＝Ｘ'・Ｘ^T・（Ｘ・Ｘ）^T-1 式（８）

この方式では、動き量が、アフィン変換のパラメータで表現できるため、ユーザがデジタルカメラを保持しているときに起こるシフトぶれ以外にも、面内方向でのロールぶれや前後方向のズームぶれ等にも対応することができる。
ここで、有効ブロック判定処理を図１０のフローチャートを用いて説明する。
ブロックマッチングによりブロック間の相関を求めようとする場合、ブロック内の画像が何らかの特徴量を持っている必要がある。平坦でほとんど直流成分しか含んでいないブロックでは正しい動きベクトルを求めることはできない。逆に水平方向や垂直方向にエッジを含んでいると、マッチングがとりやすくなる。図１０は、平坦部のブロックを除外する処理の一例を示すフローチャートである。ここでは１つのブロックに対する処理で説明する。
まずステップＳ１００１において、超解像処理回路４０４は、ブロック内にある水平方向の１つのラインに対し、最大値と最小値との差分値を算出する。例えば、ブロックのサイズが５０×５０の画素で構成されているとすると、超解像処理回路４０４は、ブロック内における水平方向の５０の画素から最大値と最小値とを求め、その差分値を算出する。超解像処理回路４０４は、これを水平ライン数分、即ち５０回繰り返す（Ｓ１００２）。
そして、ステップＳ１００３において、超解像処理回路４０４は、５０の差分値の中から最大の差分値を求める。
ステップＳ１００４において、超解像処理回路４０４は、予め設定されているＴｘと最大差分値との比較を行う。最大差分値が閾値Ｔｘよりも小さければ、水平方向には特徴量を持たないブロックであるとみなし、ステップＳ１００５において、超解像処理回路４０４は、無効ブロックと判定する。水平方向に特徴量を持つとみなせる場合、超解像処理回路４０４は、垂直方向で同様の検証を行う。
まず、ステップＳ１００６において、超解像処理回路４０４は、ブロック内にある垂直方向の１つのラインに対し、最大値と最小値の差分値とを算出する。つまり、超解像処理回路４０４は、ブロック内における垂直方向の５０の画素から最大値と最小値とを求め、その差分値を算出する。超解像処理回路４０４は、これを垂直ライン数分、即ち５０回繰り返す（Ｓ１００７）。
そして、ステップＳ１００８において、超解像処理回路４０４は、５０の差分値の中から最大の差分値を求める。
ステップＳ１００９において、超解像処理回路４０４は、予め設定されているＴｙと最大差分値との比較を行う。最大差分値が閾値Ｔｙよりも小さければ、垂直方向には特徴量を持たないブロックであるとみなし、ステップＳ１００５において、超解像処理回路４０４は、無効ブロックと判定する。水平・垂直両方向に特徴を持つブロックならば、正確なブロックマッチングが行われることが期待できるので、ステップＳ１０１０において、超解像処理回路４０４は、有効ブロックと判定する。

次に、有効動きベクトル判定処理を図１１のフローチャートを用いて説明する。
ステップＳ１１０１において、超解像処理回路４０４は、図９のステップＳ９０２等で検出した動きベクトルを入力する。
ステップＳ１１０２において、超解像処理回路４０４は、動きベクトルの発生頻度を算出する。
ステップＳ１１０３において、超解像処理回路４０４は、全ての動きベクトルの発生頻度が求まるまでこの処理を繰り返す。全ての動きベクトルの発生頻度が求まると、ステップＳ１１０４において、超解像処理回路４０４は、最大発生頻度の動きベクトルを求める。
次に、ステップＳ１１０５において、超解像処理回路４０４は、再度動きベクトルを入力する。
ステップＳ１１０６において、超解像処理回路４０４は、入力した動きベクトルが最大発生頻度の動きベクトル、若しくは最大発生頻度の動きベクトルの近傍（所定範囲内）の動きベクトル、であるかどうかの判定を行う。画面全体のぶれが、シフトのみである場合、各ブロックの動きベクトルは、最大発生頻度の動きベクトルにほぼ一致するはずであり、ロールぶれを伴う場合は、最大発生頻度の動きベクトルの近傍に多くの動きベクトルが発生するはずである。
したがって、超解像処理回路４０４は、入力した動きベクトルが最大発生頻度の動きベクトル、若しくは最大発生頻度の動きベクトルの近傍（所定範囲内）の動きベクトル、である場合、ステップＳ１１０７において有効動きベクトルと判定する。一方、超解像処理回路４０４は、入力した動きベクトルが最大発生頻度の動きベクトル、若しくは最大発生頻度の動きベクトルの近傍（所定範囲内）の動きベクトル、でない場合、ステップＳ１１０８において無効動きベクトルと判定する。ステップＳ１１０９において、超解像処理回路４０４は、全ての動きベクトルに対して処理が終わったかどうかの判定を行い、終了するまでステップＳ１１０５からの処理を繰り返す。

（画像合成処理）
本実施形態では、超解像処理回路４０４は、ＭＡＰ推定法を用いて画像合成処理を実現するものとする。即ち、本実施形態における超解像処理とは、入力画像群から推定される出力画像の事後確率を最大化する処理とする。ここで、事後確率Ｐ（Ｘ｜Ｙ）に関し、Ｘを入力画像群とすると、Ｙは式（９）で表現することができる。
Ｙ＝Ｄ（ｈ）ＭＸ＋ ｎ 式（９）

ここでＤ（ｈ）は、撮影時の像高と理想像高とのずれ量から算出される、レンズ収差補正による局所的な拡大処理の倍率を反映した行列である。また、Ｍは、画像間の位置ずれを表す行列である。ｎは、ノイズ項である。
画像間の位置ずれを表す行列Ｍの生成方法について説明する。行列Ｍの作成に際しては、前述の相対移動量算出処理にて得られた参照画像と対象画像との相対関係を示すアフィンパラメータにより決定される。超解像処理回路４０４は、入力される複数の画像データのうち１枚を参照画像と定め、その他の画像データを対象画像とする。このとき、式（３）の画素位置（ｘ，ｙ）は、対象画像上の画素位置に対応し、（ｘ'，ｙ'）は、参照画像上の画素位置に対応する。超解像処理回路４０４は、これらの対応関係と推定されたアフィンパラメータとから、対象画像上の画素位置（ｘ，ｙ）が参照画像上のどの座標位置に対応するかを把握することができる。これらの対応関係が、行列Ｍに反映される構成である。超解像処理回路４０４は、対応関係の結果、画素位置（ｘ'，ｙ'）が参照画像の格子点上にプロットされる場合には、参照画像の画素位置に対応する行列Ｍの要素を１と規定し、その他の要素に０を代入する。超解像処理回路４０４は、参照画像の格子点上にプロットされない場合には、（ｘ'，ｙ'）の周辺画素の画素値から、線形補間等の補間処理を利用して、その重み付け和として行列Ｍの係数を算出する。このとき、超解像処理回路４０４は、行列Ｍの（ｘ，ｙ）と（ｘ'，ｙ'）との周辺画素の位置から決定される行及び列の要素に、（ｘ'，ｙ'）の周辺画素に割り当てられる重み値をそれぞれ代入する。そして、超解像処理回路４０４は、それ以外の要素に０を代入することで画像間の位置ずれを表す行列Ｍを生成する。

ＭＡＰ推定法による超解像処理では、超解像処理回路４０４は、入力画像から初期画像を生成し、予め設定した確率密度関数を用いて状態を推定し、終端条件を満たすまで推定を繰り返すことで、最適な解を算出する。図１２は、ＭＡＰ推定法を用いた画像合成処理の一例を示すフローチャートである。
ステップＳ１２０１において、超解像処理回路４０４は、初期画像を生成する。ここで超解像処理回路４０４は、初期画像を入力画像群の画素値の平均値で生成する。次にステップＳ１２０２において、超解像処理回路４０４は、各画素について、式（９）で示す確率密度関数を用いて画素値を推定する。

ただし、超解像処理回路４０４は、この推定処理を、イタレーションマップを参照し、対応する画素のイタレーション回数に到達していない場合にのみ適用する。イタレーションマップは、出力画素の幅、高さと同じサイズのビットマップデータであり、その画素値は各画素のイタレーション回数の最大値となる。イタレーションマップの生成方法については後述する図１３に示す。推定処理を行わない場合、超解像処理回路４０４は、推定後の画素値として、推定前の画素値をそのまま用いる。
ステップＳ１２０３において、超解像処理回路４０４は、ステップＳ１２０２で画素値が変化した画素について、画素値を更新する。本実施形態では、ステップＳ１２０２で得た推定値を用いるものとするが、超解像処理回路４０４は、予め定められた更新割合に応じて推定前後の画素値から更新する画素値を算出してもよい。
ステップＳ１２０４において、超解像処理回路４０４は、全ての画素について終端条件を満たしているかどうかを判定し、全ての画素が終端条件を満たしている場合、処理を終了する。超解像処理回路４０４は、終端条件を満たしていない画素が存在する場合、ステップＳ１２０２へ戻り、再度画素値の推定処理を実行する。
ここで、本実施形態における終端条件は、推定前後で全ての画素の状態が更新されていないこととする。

（イタレーションマップ生成処理）
図１３は、イタレーションマップ生成処理の一例を示すフローチャートである。
ステップＳ１３０１において、超解像パラメータ生成回路４０３は、レンズ収差補正後の画像の幅、高さと同じサイズのビットマップを作成し、０で初期化する。
ステップＳ１３０２において、超解像パラメータ生成回路４０３は、レンズ収差補正処理で用いた歪曲補正ルックアップテーブルサイズｆｓの値から、イタレーション倍率を決定する。本実施形態では、超解像パラメータ生成回路４０３は、ずれ量の絶対値に応じて繰り返し回数を決定する。イタレーション倍率αは式（１１）のように表すことができる。
α＝Ｎ／ｍ 式（１１）
ここでｍは、予め定めた基準ずれ量とする。式（１１）でイタレーション倍率を定義した場合、ずれ量が１ｍｍの場合に繰り返し回数を５０回と設定すると、αは５０となる。
ステップＳ１３０３において、超解像パラメータ生成回路４０３は、画素毎に歪曲補正ルックアップテーブルを参照してずれ量を算出し、イタレーション倍率αをかけて整数値にした値をイタレーションマップに格納する。ここで、値が負になる場合、超解像パラメータ生成回路４０３は、０を格納する。

このようなイタレーションマップを利用することで、本実施形態のデジタルカメラは、レンズ収差補正による解像度低下の影響の大きさに応じて推定処理回数をコントロールすることができる。即ち、デジタルカメラは、レンズ収差補正処理の前後で画素値が更新されない画素については推定処理を行わず、大きく変化するものほど推定処理を多く適用する。このことで、画像全体を均一に補正できるだけでなく、無駄な推定処理を省略し、処理速度を大幅に向上させることができる。
本実施形態では、デジタルカメラは、ＭＡＰ推定法を用いて高解像度画像を生成するものとして説明を行ったが、他のループ処理を含む高解像度画像生成処理方法を使用して高解像度画像を生成してもよい。例えば、デジタルカメラは、ＰＯＣＳ法、ＰＯＣＳ−ＭＬ法、Ｂａｃｋ Ｐｒｏｊｅｃｔｉｏｎ法等を使用して高解像度画像を生成してもよい。更に、デジタルカメラは、推定処理回数の低減のためにイタレーションマップを用いたが推定処理の繰り返し回数以外のパラメータを撮影時の像高と理想像高とのずれ量に応じて決定し、決定したパラメータを用いて高解像度画像を生成してもよい。例えば、デジタルカメラは、確率密度関数Ｐ（ｘ｜ｙ）に収束項を設けるようにし、ずれ量に応じて早く収束するような処理にしてもよい。
或いは、デジタルカメラは、更新割合の値を撮影時の像高と理想像高とのずれ量を用いて画素毎に変更してもよい。本実施形態では、推定した画素の値をそのまま採用しているが、デジタルカメラは、推定前後の画素値に対して重みつきの加算平均で画素値を更新するようにしてもよい。ここで、更新割合とは、推定後の画素の重みを指す。このように、ずれ量の値が小さいほど推定値の重みを上げることで、より早く収束するようにすることもできる。
以上説明したように、本実施形態によれば、複数のフレームを使用して高解像度な画像フレームへ変換する超解像度処理（高解像度化処理）において、レンズ収差補正による画素の移動量（或いは局所的な拡大倍率）に応じてパラメータを決定する。このことで、レンズ収差補正処理によって低下した解像感を高速に回復することができる。

＜実施形態２＞
実施形態１のデジタルカメラは、時分割露光された全ての画像（時分割された複数の露光画像）に対し、レンズ収差補正処理を実行した。この方法では、デジタルカメラは、レンズ補正テーブルから歪曲補正適用後の画像サイズが計算可能なことから、レンズ収差補正処理と超解像処理とを実行するよりも前に必要なメモリ量を算出することができる。また、画素単位で処理が簡潔するので、使用メモリ量が少なくて済むという利点がある。
しかしながら、実施形態１で述べた処理は、レンズ収差補正処理を全ての時分割露光画像に適用するため計算コストの面では効率がよいとは言えない。そこで、本実施形態では、先に超解像処理を適用して複数枚の画像を一枚に合成し、超解像処理済み（高解像度化処理済み）の一枚の画像に対してレンズ収差補正処理を適用することで、トータルでの計算コストを低減する処理について述べる。

図１４は、実施形態２のレンズ収差補正処理に係るデジタルカメラの構成図である。実施形態１とは異なり、本実施形態のデジタルカメラは、時分割露光画像１４２０を超解像処理回路１４０３で１枚の画像に合成する。実施形態１では超解像処理の適用前後で画像データの解像度は変わらなかったが、本実施形態では、超解像処理回路１４０３は、レンズ収差補正処理による画質劣化の影響を考慮した、高い解像度の画像を出力する。例えば本実施形態では、超解像処理回路１４０３は、レンズ収差補正によって拡大される倍率の最大値によって出力解像度を算出し、この解像度で超解像処理適用済画像を生成する。拡大された画像データにレンズ収差補正処理回路１４０４が、レンズ収差補正処理を適用し、本来の解像度に縮小することで、レンズ収差補正による解像感の低下を回避する。
例えば本実施形態では、式（１２）で算出される拡大率βに応じて超解像処理回路１４０３の出力画像解像度を決定する。
β＝Ｉ（ｈ＿ｍａｘ）／Ｉ'（ｈ＿ｍａｘ） 式（１２）
ここで、ｈ＿ｍａｘは、理想像高と撮影時像高とのずれが最大となる像高である。Ｉ'（ｈ）は、撮影時の像高、Ｉ（ｈ）は理想像高である。ただし、β＜１の場合には、βの値を１とする。この倍率をフレーム画像の幅と高さに乗じたサイズを、超解像処理の出力画像サイズとする。
本実施形態においても、超解像処理の処理パラメータについては、実施形態１と同様にイタレーションマップを用いる。本実施形態では画像を大きく拡大するため、実施形態１に比べて繰り返し回数が多くなるようにイタレーション倍率αを決定するのが望ましい。そこで本実施形態では、イタレーション倍率αを、予め定められた最大繰り返し回数Ｎ、撮影時の像高と理想像高とのずれ量の最大値ｄ＿ｍａｘを用いて、式（１３）のように表す。
α＝Ｎ／ｄ＿ｍａｘ （１３）
即ち、本実施形態では、像高のずれ量が最大になる画素に対して最大Ｎ回推定処理を繰り返す。このように、画像に対して最大繰り返し回数を設定することで、超解像処理の処理時間の最大値が計算可能になるという利点もある。
超解像処理回路１４０３の出力画像に対し、実施形態１と同様の方法によってレンズ収差補正処理を適用する。レンズ収差補正処理回路１４０４の出力解像度は、時分割露光画像１４２０のうち、先頭のフレーム画像にレンズ収差補正処理を適用した場合の解像度と同一とする。レンズ収差補正処理を適用した後の解像度は、実際にレンズ収差補正処理を適用しなくても、レンズ補正テーブルから算出可能であるが、本実施形態の主眼ではないためこの処理の詳細については省略する。
本実施形態で説明した処理を適用することで、大幅に計算コストを低減しつつ、実施形態１と同様の結果を得ることができる。

＜実施形態３＞
実施形態１、実施形態２では、画素の移動を伴う変形処理として、レンズ収差補正処理について述べた。本実施形態では、同様の変形処理の一例として、プロジェクタ等で用いるキーストーン補正処理への適用例について述べる。
図１５は、キーストーン補正における画素の移動量の様子を説明する図である。図１５に示したように、キーストーン補正は、ある特定の基準ライン（図１５中の例では画面の一番下）を固定し、垂直方向と水平方向とに変倍することで補正処理を実現する。図１５では、説明を簡単にするために、プロジェクタのあおり方向の補正に限定している。
図１５に示したように、キーストーン補正処理による画素の移動量（即ち、局所的な拡大率）は、場所によって異なる。したがって、サブピクセル単位でのぶれを含む連続画像を入力とする場合、実施形態１や実施形態２で説明した処理を用いることによって、デジタルカメラは、座標毎に最適なパラメータで超解像処理を適用することができる。
キーストーン補正の場合、基本的に縮小方向に変倍されるので、実施形態１や実施形態２で述べたような拡大方向に限定した実装では効果が無い。しかしながら、キーストーン補正によって縮小される部分は、投影時点で引き伸ばされて解像感が低下している部分であり、キーストーン補正処理によって縮小されたとしても解像感は向上しない。
そこで本実施形態のデジタルカメラは、実施形態１や実施形態２とは逆に、拡大倍率が小さいほど超解像処理の推定処理回数を増加させる。このような処理を適用することで、より解像感の高い縮小画像を得ることができ、画面全体に渡って良好な補正結果を得ることができる。

＜その他の実施形態＞
以上、上述した実施形態では、画像処理回路１２５、移動量算出処理回路１２６、画像合成処理回路１２７等、ハードウェアとして本発明に係る機能をデジタルカメラに実装した例を示した。しかしながら、前記機能をデジタルカメラにソフトウェア（プログラム）として実装してもよい。
また、上述した実施形態の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを、装置の中央演算処理手段（ＣＰＵやＭＰＵ）が記憶媒体から読み出し実行することによっても達成される。
また、読み出したプログラムコードの指示に基づき、オペレーティングシステム（ＯＳ）等が実際の処理の一部又は全部を行うことで上述した実施形態の機能が実現される場合も含まれる。
上述した実施形態を前記記憶媒体に適用する場合、その記憶媒体（コンピュータ読み取り可能な記憶媒体）には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
ここで、特許請求の範囲に記載の高解像度化手段は、例えば、上述した超解像処理回路４０４、又は超解像処理回路１４０３等に対応する。また、特許請求の範囲に記載の変形手段は、例えば、上述したレンズ収差補正処理回路４０２、又はレンズ収差補正処理回路１４０４等に対応する。

１２５ 画像処理回路、移動量算出処理回路１２６、画像合成処理回路１２７

Claims (16)

1. 画素の移動を伴う画像の変形処理における前記画素の移動量を示す情報に基づいて、画像の超解像処理における、繰返し演算の繰り返し回数を決定する決定手段と、
   前記決定手段で決定された前記繰返し回数に基づいて、画像に前記超解像処理を実行する超解像手段と、
   を有し、
   前記決定された繰返し回数は、前記超解像処理が行われる画像における、第一の画素位置と第二の画素位置とで異なる、画像処理装置。
2. 画素の移動量を示す情報を取得する取得手段と、
   前記取得手段で取得された前記移動量を示す情報に基づいて、画像に対して前記変形処理を実行する変形手段と、
   を更に有し、
   前記決定手段は、前記取得手段で取得された前記移動量を示す情報に基づいて、前記繰り返し回数を決定する、請求項１記載の画像処理装置。
3. 撮影により得られた複数の画像を入力する入力手段を更に有し、
   前記変形手段は、前記複数の画像のそれぞれに対して前記変形処理を実行し、
   前記超解像手段は、前記変形処理が実行された画像に対して前記超解像処理を実行する、請求項２記載の画像処理装置。
4. 撮影により得られた複数の画像を入力する入力手段を更に有し、
   前記超解像手段は、前記複数の画像に対して前記超解像処理を実行し、
   前記変形手段は、前記超解像処理が実行された画像に対して、前記変形処理を実行する、請求項２記載の画像処理装置。
5. 前記移動量を示す情報は、前記複数の画像における、理想像高と撮影時像高とのずれを示す情報である、請求項３又は４記載の画像処理装置。
6. 前記取得手段は、前記撮影を行うカメラのレンズ特性値に基づいて前記移動量を示す情報を取得する、請求項３乃至５いずれか１項記載の画像処理装置。
7. 前記レンズ特性値は、レンズの種類、焦点距離、ｆ値のうちの少なくとも１つを含む、請求項６記載の画像処理装置。
8. 前記変形処理が行われる画像は、時分割露光により得られた画像である、請求項１乃至７いずれか１項記載の画像処理装置。
9. 前記超解像処理が行われる画像は、時分割露光により得られた画像である、請求項１乃至７いずれか１項記載の画像処理装置。
10. 前記変形処理は、レンズ収差補正処理である、請求項１乃至９いずれか１項記載の画像処理装置。
11. 前記変形処理は、キーストーン補正処理である、請求項１又は２記載の画像処理装置。
12. 前記移動量を示す情報は、前記キーストーン補正処理で用いられる変倍パラメータである、請求項１１記載の画像処理装置。
13. 前記超解像処理は画素値の推定処理を含み、前記推定処理は前記繰返し演算を含む、請求項１乃至１２いずれか１項記載の画像処理装置。
14. 前記第一の画素位置における前記移動量は、前記第二の画素位置における前記移動量と異なる、請求項１乃至１３いずれか１項記載の画像処理装置。
15. 画像処理装置が実行する画像処理方法であって、
    画素の移動を伴う画像の変形処理における前記画素の移動量を示す情報に基づいて、画像の超解像処理における、繰返し演算の繰り返し回数を決定する決定ステップと、
    前記決定ステップで決定された前記繰り返し回数に基づいて、画像に前記超解像処理を実行する超解像ステップと、
    を含み、
    前記決定された繰返し回数は、前記超解像処理が行われる画像における、第一の画素位置と第二の画素位置とで異なる、画像処理方法。
16. コンピュータを、請求項１乃至１４いずれか１項記載の画像処理装置の各手段として機能させるための、プログラム。

Images