JP6513941B2 - 画像処理方法、画像処理装置及びプログラム - Google Patents

Description

本発明の実施形態は、画像処理方法、画像処理装置及びプログラムに関する。

近年、ＴＶやディスプレイに超解像技術を使った製品が市販されている。超解像技術は、画像の画素サンプリング時に失われる詳細な部分を画像処理によって再現する技術である。ここで画素サンプリング時とは、例えば撮像素子による光電変換時や撮影後の縮小処理時である。例えば、解像度が低いＤＶＤ（登録商標）の映像を大画面ＴＶに表示する場合に、超解像技術を使うと詳細な部分が再現されて、解像度が高い鮮明な画像が得られる。ＴＶ放送やＤＶＤ向けの超解像技術は、入力される映像タイプが事前に予測不能であるために、特定の映像タイプに特化した最適化が十分になされていない。そのために、超解像技術の性能が最大限に発揮されずに、解像度の向上に限界が生じる場合がある。ここで映像タイプとは、撮影対象、撮影環境、カメラやレンズ、伝送方法、記録方法の特性などの違いによる映像の型や種類である。

また、近年では、カメラの小型化により、自動車、列車、飛翔体に搭載されて撮影された映像が増加している。そういったタイプの映像では、高速移動による被写体の拡大、縮小、回転、振動の時系列的な変動が生じているが、変動幅が大きいため従来の超解像技術では十分な画質改善ができない場合があった。すなわち、従来技術の超解像は、被写体の平行移動に対して十分な効果を発揮するものであり、処理に用いる数フレーム期間で被写体の動きの少ない映像では充分な効果が得られた。しかし、高速の移動体から撮影された映像で生じている被写体の拡大、縮小、回転といった複雑な変動には対応できないという問題があった。

また、超解像技術は、処理結果を人間が見る以外に、画像認識（周囲状況把握）の前処理として用いて認識結果を向上させる用途も増えてきた。

超解像技術が用いられるシーンが広がった結果、従来の技術では対応できない映像の高解像度化が可能な技術の開発が望まれている。

特開２０１２−１９５８８０号公報 特開２００７−２４０１７０号公報 特開２００８−９１９７９号公報

本発明が解決しようとする課題は、高速の移動体からの撮影等、広いシーンで高解像度化を可能とすることができる画像処理方法、画像処理装置及びプログラムを提供することである。

実施形態の画像処理方法は、複数の低解像度画像から、高解像度画像を再構成によって生成する超解像処理において、前記低解像度画像と比較される予測画像を生成するためのフィルタ特性を、前記複数の低解像度画像間の平行移動量と、複数の前記低解像度画像に対応した所定の画像特徴量との両方を用いて計算して高解像度化を行う前に前記複数の前記低解像度画像に対応した所定の画像特徴量のうち前記高解像度化に用いる画像特徴量を選択し、選択した前記画像特徴量の一部の画像特徴量と、前記平行移動量とに基づいて第１のフィルタ特性を計算し、選択した前記画像特徴量の一部の画像特徴量と、前記平行移動量とに基づいて前記第１のフィルタ特性と異なる第２のフィルタ特性を計算し、前記第１のフィルタ特性と前記第２のフィルタ特性とを前記フィルタ特性として用いて高解像度化を行う。

背景技術の画像処理装置１００を示すブロック図。 背景技術の再構成部３を示すブロック図。 背景技術の再構成部３の動作例を示すフローチャート。 背景技術の画像処理装置１００の動作例を説明するための模式図。 第１実施形態の画像処理装置１００ａを示すブロック図。 第１実施形態の特徴検出部１を示すブロック図。 第１実施形態の特徴検出部１の動作例を説明するための模式図。 第１実施形態の特徴検出部１の動作例を説明するための模式図。 第１実施形態の特徴検出部１の動作例を説明するための模式図。 第１実施形態の特徴検出部１の動作例を説明するための模式図。 第１実施形態の再構成部３ａを示すブロック図。 第１実施形態のＰＳＦ計算部１０７ａの動作例を示すフローチャート。 第１実施形態の画像処理装置１００ａの動作例を説明するための模式図。 第２実施形態の画像処理装置１００ｂを示すブロック図。 第３実施形態の画像処理装置１００ｃを示すブロック図。

以下、実施形態の画像処理方法、画像処理装置及びプログラムを、図面を参照して説明する。

（第１の実施形態）
まず、図１から図３を参照して、第１の実施形態の背景技術について説明する。図１は、第１の実施形態の背景技術の画像処理装置１００を示すブロック図である。図１に示した画像処理装置１００は、動き検出部２と、再構成部３と、補間拡大部４と、一時記憶部５とを備える。画像処理装置１００は、複数の低解像度画像１０から、高解像度画像２０を再構成によって生成する超解像処理を実行する。画像処理装置１００は、例えば、ＣＰＵ（中央処理装置）とメモリと入出力装置とを含むハードウェアと、ＣＰＵが実行するプログラムと処理対象のデータ等とを含むソフトウェアとから構成することができる。

一時記憶部５は、拡大したい時刻ｔ１の低解像度画像１０と前後の時刻ｔ０及びｔ２の低解像度画像１０とを一時記憶する。一時記憶部５が出力した低解像度画像１０を、低解像度画像１５として示す。時刻ｔ０〜ｔ２の低解像度画像１０は、例えば動画像において１フレームずつずれた画像である。

動き検出部２は、拡大したい時刻ｔ１の低解像度画像１５と前後の時刻ｔ０及びｔ２の低解像度画像１５とから相対的な平行移動の動きを画素毎に検出する。動き検出部２は、検出した各画素の動きを表す情報である平行移動量１１を出力する。

補間拡大部４は、拡大したい時刻ｔ１の低解像度画像１５を、出力する高解像度画像２０の解像度まで補間拡大した初期画像１２を求める。補間拡大部４は、求めた初期画像１２を再構成部３へ出力する。

再構成部３は、動き検出部２が求めた平行移動量１１と、補間拡大部４が求めた初期画像１２と、一時記憶部５が出力した前後の時刻ｔ０及びｔ２の低解像度画像１５とに基づいて、高解像度画像２０を生成する。

次に、図２及び図３を参照して、図１に示した再構成部３について説明する。図２は、図１に示した再構成部３を示すブロック図である。図３は、図２に示した再構成部３の動作例を示すフローチャートである。

図２に示した再構成部３は、初期画像補正部１０１と、予測画像生成部１０２と、誤差計算部１０４と、誤差補正部１０６と、ＰＳＦ（点広がり関数：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）計算部１０７とを備える。再構成部３は、以下の動作で、拡大したい時刻ｔ１の低解像度画像１５を高解像度化した高解像度画像２０を生成して出力する。

まず、初期画像補正部１０１が、図１の補間拡大部１２が出力した拡大したい時刻ｔ１に対応する初期画像１２を入力し、最初の初期画像１２に設定する（ＡＣＴ１１）。次に、ＰＳＦ計算部１０７が、動き検出部２で低解像度の画素ごとに求めた平行移動量１１からＰＳＦ１１３を計算する（ＡＣＴ１２）。

次に、予測画像生成部１０２が、初期画像補正部１０１が設定した初期画像１２と、ＰＳＦ計算部１０７が算出したＰＳＦ１１３との畳み込み演算を行い、低解像度の予測画像１０３を生成する（ＡＣＴ１３）。初期画像１２とＰＳＦ１１３との畳み込み演算は、初期画像１２の各画素と各画素の近傍の複数の画素と画素値（濃淡値）に重みを掛けて和をとることで、高解像度画像における複数の画素値を平滑化して低解像度画像の画素値を求める積和演算である。ＰＳＦ１１３は重み係数の２次元配列であり、予測画像１０３を生成するための空間フィルタのフィルタ特性を決定する。

次に、誤差計算部１０４が、前後の時刻ｔ０及びｔ２の低解像画像１５と予測画像１０３とを比較して誤差画像１０５を求める（ＡＣＴ１４）。

次に、誤差補正部１０６は、誤差計算部１０４が算出した誤差画像１０５に基づいて、誤差が小さくなるように初期画像１２の各画素の画素値を補正するための指示を初期画像補正部１０１へ出力する（ＡＣＴ１５）。さらに、初期画像補正部１０１が、誤差補正部１０６が出力した指示に基づいて、初期画像１２の各画素の画素値を補正する（ＡＣＴ１５）。

次に、初期画像補正部１０１が、誤差画像１０５の誤差が予め定めた許容範囲内にあるか否かを判定する（ＡＣＴ１６）。許容範囲内にある場合、初期画像補正部１０１は、初期画像１２を出力する高解像度画像２０とする（ＡＣＴ１６：ＹＥＳからＡＣＴ１７）。許容範囲内にない場合、初期画像補正部１０１は、初期画像１２を予測画像生成部１０２へ出力し、ＡＣＴ１３〜ＡＣＴ１５を再度実行する（ＡＣＴ１６：ＮＯからＡＣＴ１３）。

図２に示した再構成部３は、ＡＣＴ１３〜ＡＣＴ１６を繰り返し、誤差画像１０５の誤差が少なくなった時点で初期画像１２を出力画像２０とする。

なお、ＰＳＦ計算部１０７が計算するＰＳＦ１１３は、点光源から発せられた光が、空間を伝送し、撮像系を経た後にどのような画像パターンで観測されるかを示す２次元の実数値である。先鋭さが失われた低解像度のぼけた画像を生成するＰＳＦの関数ｈ（ｘ，ｙ）は、一般的には式（１）に示すガウシアン分布に近似される。ＰＳＦの関数ｈ（ｘ，ｙ）は、平行移動量１１を求めたｔ０及びｔ２の低解像度画像１５の画素毎に設定される。

ここで、ｘ及びｙは初期画像２０の各画素を中心座標（原点）とするｘ及びｙ座標、σは広がりを表す標準偏差であり、焦点ぼけの程度又は点の広がり程度を表すパラメータである。σが大きいほど焦点ぼけの程度が大きい。

図４は、ＰＳＦ計算部１０７によって計算されたある画素についてのＰＳＦの例を、ＰＳＦの２次元の実数値を濃淡で示す画像として模式的に示した図である。画像２０１は画像２１１の時刻より前の時刻のＰＳＦを表す。画像２２１は画像２１１の時刻より後の時刻のＰＳＦを表す。平行移動のみを考慮する場合は、ＰＳＦの分布形状の変化はなく、位置２０２、位置２１２及び位置２２２のように、中心座標が変化するのみである。実際の計算では、ＰＳＦ２０３、ＰＳＦ２１３及びＰＳＦ２２３のように高解像度画像のグリッドに合わせて離散化されたＰＳＦが用いられる。ＰＳＦ２０３、ＰＳＦ２１３及びＰＳＦ２２３は、それぞれ中心部の画素と中心部の画素近傍各１画素の合計９画素に対応する２次元の実数値で設定されたＰＳＦを表す。

なお、図４に示したように、座標（ｘ，ｙ）が、（ｘ’，ｙ’）に（ｕ，ｖ）だけ移動する変換は式（２）で表される。被写体が平行移動する場合、ＰＳＦ計算部１０７は、動き検出部２が検出した画素毎の平行移動量１１に基づき式（２）を用いてＰＳＦの中心座標を相対的に移動させることで、各画素に対するＰＳＦを適切に求めることができる。

図１及び図２を参照して説明した画像処理装置１００による超解像処理は、被写体の平行移動に対して十分な高解像度化の効果を発揮する。すなわち、画像処理装置１００による超解像処理では、例えば処理に用いる数フレーム期間で被写体の動きの少ない映像に対しては、同一のモデルでＰＳＦを近似することが可能であった。しかし、例えば高速の移動体から撮影された映像で生じている被写体の拡大、縮小、回転といった複雑な動きには対応できないという課題がある。これに対して図５に示した第１の実施形態の画像処理装置１００ａは、被写体の拡大、縮小、回転といった複雑な動きに対応させてＰＳＦを算出することができる。

図５は、第１の実施形態の画像処理装置１００ａを示したブロック図である。図６は、図５に示した特徴検出部１を示すブロック図である。図１１は、図５に示した再構成部３ａを示すブロック図である。図５及び図１１において図１及ぶ図２に示した構成と同一の構成又は対応する構成には同一の符号を付けて説明を適宜省略する。

図５に示した画像処理装置１００ａは、特徴検出部１と、動き検出部２と、再構成部３ａと、補間拡大部４と、一時記憶部５とを備える。図１に示した画像処理装置１００と比較し、特徴検出部１が、新たに設けられた構成である。動き検出部２と、補間拡大部４と、一時記憶部５とは、図１に示した構成と同一である。再構成部３ａは、図１に示した再構成部３に対応する構成であるが、特徴検出部１が出力した画像特徴量１３を入力する機能と、入力した画像特徴量１３に応じてＰＳＦ１１３を調整する機能とを新たに備えている。画像処理装置１００ａは、複数の低解像度画像１０から、高解像度画像２０を再構成によって生成する超解像処理を実行する。画像処理装置１００ａは、例えば、ＣＰＵとメモリと入出力装置とを含むハードウェアと、ＣＰＵが実行するプログラムと処理対象のデータ等とを含むソフトウェアとから構成することができる。

特徴検出部１は、一時記憶部５が出力した拡大したい時刻ｔ１の低解像度画像１５と前後の時刻ｔ０及びｔ２の低解像度画像１５とを入力するとともに、図示していない撮像部や各種センサから出力された情報を入力する。そして、特徴検出部１は、１若しくは複数の低解像度画像１５、又は、撮像部や各種センサから出力された情報に基づいて、画像特徴量１３を生成して出力する。

画像特徴量１３は、画像中の被写体の特徴又は画像の撮像状態の特徴を定量的に表す値である。ただし、本実施形態において、画像特徴量１３は、動き検出部２が出力する平行移動量１１は含まない。画像特徴量１３は、例えば、被写体の拡大、縮小、回転といった複雑な動きを推定する際に基準とすることができる値である。また、本実施形態において画像特徴量１３は、予測画像生成部１０２が予測画像１０３を生成する際に用いるフィルタ特性であるＰＳＦ１１３を調整する際に基準となる値として用いられる。例えばＰＳＦが式（１）で表される場合、画像特徴量１３は、座標ｘ及び座標ｙに所定の変換を加えるための基準の値として用いたり、標準偏差σを変化させる際の基準の値として用いたりすることができる。

画像特徴量１３は、例えば、１又は複数の低解像度画像１５に対する所定の画像処理によって得られたズーム量、回転量、画像消失点の座標、距離マップ、ローリングシャッターひずみ量等の値とすることができる。あるいは、画像特徴量１３は、例えば、１又は複数の低解像度画像１５を撮像した際に外部から入力された加速度センサ又は角速度センサの出力値から計算されたズーム量、回転量、動きぼけ量等の値とすることができる。あるいは、画像特徴量１３は、１又は複数の低解像度画像１５を撮像した際に外部から入力されたレンズのズーム信号、フォーカス信号、絞り信号、又はセンサ感度信号から計算されたズーム量、ぼけ量等の値とすることができる。あるいは、画像特徴量１３は、１又は複数の低解像度画像１５を撮像した際に外部から入力された波長の異なる複数センサの特性値等の値とすることができる。

次に図６から図１０を参照して、図５に示した特徴検出部１の構成例について説明する。図７から図１０は図６に示した特徴検出部１の動作例を説明するための模式図である。

図６に示した特徴検出部１は、ズーム量・回転量算出部４１と、画像消失点座標算出部４２と、距離マップ算出部４３と、ローリングシャッターひずみ量算出部４４と、ズーム量・回転量算出部４５と、動きぼけ量算出部４６と、ズーム量・ぼけ量算出部４７と、特性値設定部４８とを備える。ただし、特徴検出部１は、図６に示した構成に限定されない。例えば、特徴検出部１は、図６に示した算出部４１〜４７及び設定部４８の少なくとも１つを備えていればよい。

ズーム量・回転量算出部４１は、複数の低解像度画像１５に対して所定の画像処理を実行することで得たズーム量及び回転量を、画像特徴量１３として出力する。ズーム量・回転量算出部４１は、例えば特許文献２に記載されているような既存の技術による画像処理を実行することでズーム量及び回転量を求めることができる。なお、ズーム量は被写体の拡大又は縮小の量を表す値であり、回転量は被写体の回転中心の位置と回転角とを表す値である。なお、画像特徴量１３は、低解像度画像１５の画素毎に値を有していてもよいし、複数の画素あるいは領域を単位として値を有していてもよい。

画像消失点座標算出部４２は、１又は複数の低解像度画像１５に対して所定の画像処理を実行することで得た画像消失点の座標を、画像特徴量１３として出力する。図７は、画像消失点座標算出部４２の動作を説明するために用いる画像４００を示した模式図である。画像消失点座標算出部４２における消失点検出手法は既存の技術を用いることができる。例えば、自動車が高速道路を走行中は、車線境界線４０１及び４０２を延長して交差する点を消失点４０３として求めることができる。

距離マップ算出部４３は、１又は複数の低解像度画像１５に対して所定の画像処理を実行することで得た距離マップを、画像特徴量１３として出力する。図８は、距離マップ算出部４３の動作を説明するために用いる距離マップ５００の計算例を示した模式図である。図８に示した距離マップ５００は、水平線へ続く風景について求めた結果を示している。距離マップ５００において濃度が濃い画素が近距離部分、濃度が薄い画素が遠距離部分である。距離マップ算出部４３は、例えば、ステレオ画像処理や、ＳｆＭ（Structure from Motion）画像処理によって、カメラと被写体間の距離マップを求めることができる。

ローリングシャッターひずみ量算出部４４は、１又は複数の低解像度画像１５に対して所定の画像処理を実行することで得たローリングシャッターひずみ量を、画像特徴量１３として出力する。図９は、ローリングシャッターひずみ量算出部４４の動作を説明するために用いる画像６００を示した模式図である。安価なカメラで多く使われているＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサのシャッター方式は、ローリングシャッターである。上から下に順に１ライン単位で光電変換するため、シャッタータイミングが画像の上と下でずれることでフォーカルプレーン歪が発生する。図９の画像６００で列車６０１は右に進行しているために上と下では撮影時間が異なり車体が変形して見える。ローリングシャッターひずみ量算出部４４は、例えば、被写体またはカメラが搭載された移動体の横方向の動きを検出することで被写体の上下方向のひずみ量であるローリングシャッターひずみ量を算出する。

ズーム量・回転量算出部４５は、複数の低解像度画像１５を撮像した際に外部から入力された加速度センサ又は角速度センサの出力値１６から計算したズーム量及び回転量を、画像特徴量１３として出力する。ズーム量・回転量算出部４５は、図示してない画像処理装置１００ａの外部に設けられている加速度センサ又は角速度センサからの出力値１６に基づいて、ズーム量及び回転量を算出する。なお、ズーム量・回転量算出部４５は、さらに撮像部のレンズの設定状態を示す信号を信号１６として入力し、ズーム量及び回転量の算出値を補正することができる。加速度センサ又は角速度センサとしては、近年では低価格な半導体方式センサが利用できる。リアルタイムで処理する場合はセンサ出力値をそのまま用いればよいが、録画後に処理する場合はセンサ出力値も映像に対応付けて記録しておく。

動きぼけ量算出部４６は、１又は複数の低解像度画像１５を撮像した際に外部から入力された加速度センサ又は角速度センサの出力値１６から計算した動きぼけ量を、画像特徴量１３として出力する。撮像センサのシャッター時間内で数画素に渡る動きが生じた場合は、カメラの出力画像で動きぼけが発生する。図１０は、動きぼけ量算出部４６の動作を説明するために用いる画像７００を示した模式図である。動きぼけ量算出部４６は、加速度センサ又は角速度センサの出力値１６から、例えば斜め方向の画素の動き７０１の大きさと方向とを、動きぼけ量として算出する。この場合、加速度センサ又は角速度センサは、撮像部内に取り付けられていることが望ましい。

ズーム量・ぼけ量算出部４７は、１又は複数の低解像度画像１５を撮像した際に外部から入力されたレンズのズーム信号、フォーカス信号、絞り信号、又はセンサ感度信号等の信号１７から計算したズーム量又はぼけ量を、画像特徴量１３として出力する。ズーム量・ぼけ量算出部４７は、入力したズーム信号に基づいてズーム量を算出する。また、ズーム量・ぼけ量算出部４７は、フォーカス信号、絞り信号、及び感度信号からフォーカスが合っている範囲を特定し、フォーカスが合っているか否か又は算出した合焦の度合いに応じて、ぼけ量を決定する。

特性値設定部４８は、低解像度画像１５を撮像する際に赤外線画像等の波長が異なる画像を撮像する場合に、低解像度画像１５を撮像した撮像センサの特性値と、波長が異なる画像を撮像した撮像センサの特性値とを外部から信号１４として入力し、入力した複数センサの特性値を、画像特徴量１３として出力する。信号１４は、感度値、光電変換素子のサイズ、レンズのズーム信号、フォーカス信号、絞り信号等からなる。また、画像特徴量１３は、複数センサの特性値として、感度値、光電変換素子のサイズ、レンズのズーム信号、フォーカス信号、絞り信号等を表すデータを含む。再構成部３ａは、例えば予測画像１０３との比較対象である低解像度画像１５に代えて赤外線画像等の波長が異なる画像を用いることができる。再構成部３ａは、特性値設定部４８が出力した画像特徴量１３に基づき、予測画像１０３を生成する際に用いるフィルタの特性であるＰＳＦ１１３を調整したり、誤差補正する際に用いるＰＳＦを調整したりすることができる。

次に、図１１を参照して、図５に示した再構成部３ａの構成例について説明する。図１１に示した再構成部３ａは、初期画像補正部１０１と、予測画像生成部１０２と、誤差計算部１０４と、誤差補正部１０６と、ＰＳＦ計算部１０７ａとを備える。図２に示した再構成部３と比較し、ＰＳＦ計算部１０７ａは、ＰＳＦ計算部１０７ａが対応するＰＳＦ計算部１０７と内部の構成が一部異なる。他の初期画像補正部１０１と、予測画像生成部１０２と、誤差計算部１０４と、誤差補正部１０６とは、再構成部３と再構成部３ａとで互いに同一である。

図１１に示したＰＳＦ計算部１０７ａは、低解像度画像１５と比較される予測画像１０３を生成するためのフィルタ特性を表すＰＳＦ１１３を、複数の低解像度画像１５間の平行移動量１１と、１又は複数の低解像度画像に対応した所定の画像特徴量１３との両方を用いて計算する。ＰＳＦ計算部１０７が平行移動量１１に基づいてＰＳＦ１１３を計算するのに対し、ＰＳＦ計算部１０７ａは平行移動量１１と画像特徴量１３とに基づいてＰＳＦ１１３を計算する。平行移動量１１は図５の動き検出部２から図１１のＰＳＦ計算部１０７ａへ入力される。画像特徴量１３は図５の特徴検出部１から図１１のＰＳＦ計算部１０７ａへ入力される。

図５に示した再構成部３ａの動作は、図３を参照して説明した図１の再構成部３の動作と一部を除き同一である。相違点は、図３のＡＣＴ１２の内容、すなわちＰＳＦ計算部１０７ａがＰＳＦを計算する動作の内容である。図１２を参照して第１実施形態のＰＳＦ計算部１０７ａの動作例について説明する。

図１２は、図１１に示したＰＳＦ計算部１０７ａの動作例を示すフローチャートである。ＰＳＦ計算部１０７ａは、まず平行移動量１１に基づきＰＳＦを計算する（ＡＣＴ１０１）。ＰＳＦ計算部１０７ａは、例えば、他の時刻の高解像度画像１２を算出する際に用いた各画素に対する各ＰＳＦを、動き検出部２が出力した各画素の平行移動量１１に基づき、式（２）を用いて中心座標を変更することで、拡大したい時刻の高解像度画像１２に対応する各ＰＳＦを計算する。なお、ＰＳＦの初期値は、シミュレーション等の結果に基づき設定することができる。

次に、ＰＳＦ計算部１０７ａは、ＡＣＴ１０２〜ＡＣＴ１０９において、ＡＣＴ１０１で計算したＰＳＦを調整する。

まず、ＰＳＦ計算部１０７ａは、ズーム量に基づきＰＳＦを調整する（ＡＣＴ１０２）。ＰＳＦ計算部１０７ａは、図６のズーム量・回転量算出部４１、ズーム量・回転量算出部４５又はズーム量・ぼけ量算出部４７が出力した画像特徴量１３に基づいてズーム量を取得する。特徴検出部１において複数のズーム量が算出されている場合、ＰＳＦ計算部１０７ａは、いずれかのズーム量を選択的に用いてもよいし、複数のズーム量を適宜合成してズーム量を設定してもよい。ＰＳＦが式（１）で計算される場合、ＰＳＦ計算部１０７ａは、式（３）を用い、ズーム量に応じて、各画素のＰＳＦのｘ及びｙ座標のスケールを変更する。

式（３）は、拡大縮小の変換式であり、座標（ｘ，ｙ）が、座標（ｘ’，ｙ’）に倍率（Ｓｘ，Ｓｙ）だけ拡大縮小される。

なお、ＡＣＴ１０２では、式（３）を用いた調整に加えて、あるいは代えて、ズーム量に応じて式（２）の標準偏差σの値を変更してもよい。

図１３は、ＰＳＦ計算部１０７ａによって計算されたある画素についてのＰＳＦ１１３の例を、ＰＳＦの２次元の実数値を濃淡で示す画像として模式的に示した図である。画像３０１は画像３１１の時刻より前の時刻のＰＳＦを表す。画像３２１は画像３１１の時刻より後の時刻のＰＳＦを表す。画像３０１、画像３１１、及び画像３２１は、平行移動と拡大のズームによって変化している。拡大または、縮小のズームが生じている場合は、画像のスケール変化がある。このため、ＰＳＦをズームに従って変更しなければ再構成の誤差補正が正常に行えないという不都合が生じるが、ＰＳＦ計算部１０７ａはズーム量を表す画像特徴量１３に基づいてＰＳＦをズーム量に従って変更することができる。したがって、第１実施形態によれば、再構成の誤差補正が正常に行えないという不都合を防止することができる。なお、実際の計算では、ＰＳＦ３０３、ＰＳＦ３１３及びＰＳＦ３２３のように高解像度画像のグリッドに合わせて離散化されたＰＳＦが用いられる。

次に、ＰＳＦ計算部１０７ａは、回転量に基づきＰＳＦを調整する（ＡＣＴ１０３）。ＰＳＦ計算部１０７ａは、図６のズーム量・回転量算出部４１、ズーム量・回転量算出部４５又はズーム量・ぼけ量算出部４７が出力した画像特徴量１３に基づいて回転量を取得する。特徴検出部１において複数の回転量が算出されている場合、ＰＳＦ計算部１０７ａは、いずれかの回転量を選択的に用いてもよいし、複数の回転量を適宜合成して回転量を設定してもよい。ＰＳＦが式（１）で計算される場合、ＰＳＦ計算部１０７ａは、式（４）を用い、回転量（角度θ）に応じて、ＰＳＦの２次元配列の実数値を変更する。式（１）で求められるＰＳＦは等方的であるため回転による影響は受けない。一方、離散化されたＰＳＦの２次元配列は異方的であるため回転による影響を受ける。したがって、回転量に応じた調整が有用である。

式（４）は回転の変換式で（ｘ，ｙ）が、（ｘ’，ｙ’）に角度θだけ回転する。

次に、ＰＳＦ計算部１０７ａは、画像消失点座標に基づきＰＳＦを調整する（ＡＣＴ１０４）。ＰＳＦ計算部１０７ａは、図６の画像消失点座標算出部４２が出力した画像特徴量１３に基づいて画像消失点座標を取得する。図７に示したように例えば自動車が高速道路を走行中の画像では、直進中は、映像は消失点４０３に向かってズームしている状態である。したがって、ＰＳＦ計算部１０７ａは、ＡＣＴ１０２と同様にズーム量に応じてＰＳＦを調整することができる。具体的には、画面上の処理の対象とする領域と消失点４０３との距離に応じて式（１）のσ値を変更することができる。

次に、ＰＳＦ計算部１０７ａは、距離マップに基づきＰＳＦを調整する（ＡＣＴ１０５）。ＰＳＦ計算部１０７ａは、図６の距離マップ算出部４３が出力した画像特徴量１３に基づいて距離マップを取得する。超解像処理を行うと、被写界深度が浅い（注目する被写体にのみピントが合った）ぼけ味を生かした画像が、被写界深度が深い（画面全体にピントが合った）パンフォーカスの画像になってしまう場合がある。これに対し、ＰＳＦ計算部１０７ａは、カメラと被写体間の距離を表す距離マップに応じて、式（１）のσ値でＰＳＦ形状をコントロールすることで、ぼけ味を生かした映像表現を維持した映像にすることができる。または、ＰＳＦ計算部１０７ａは、パンフォーカスとなるように式（１）のσ値でＰＳＦ形状をコントロールして監視カメラや、画像認識に適した画像とすることも可能である。

次に、ＰＳＦ計算部１０７ａは、ローリングシャッターひずみ量に基づきＰＳＦを調整する（ＡＣＴ１０６）。ＰＳＦ計算部１０７ａは、図６のローリングシャッターひずみ量算出部４４が出力した画像特徴量１３に基づいてローリングシャッターひずみ量を取得する。ＰＳＦ計算部１０７ａは、ローリングシャッターひずみ量に基づき被写体またはカメラの搭載された移動体の横方向の動きに応じて、ＰＳＦを式（５）により変形することできる。これによって再構成部３ａは、歪を低減した高解像度画像２０を得ることができる。

ここで、ｍは横方向の動きの大きさを表すパラメータである。

次に、ＰＳＦ計算部１０７ａは、動きぼけ量に基づきＰＳＦを調整する（ＡＣＴ１０７）。ＰＳＦ計算部１０７ａは、図６の動きぼけ量算出部４６が出力した画像特徴量１３に基づいて動きぼけ量を取得する。ＰＳＦ計算部１０７ａは、図１０に示した動きぼけに対応させて、ＰＳＦのサイズを変更するとともに、ＰＳＦの２次元配列の各要素の値を設定する。ＰＳＦ計算部１０７ａは、ＰＳＦのサイズをシャッター時間内で動いた画素数に対応させる。また、ＰＳＦ計算部１０７ａは、ＰＳＦを動きの方向のみ要素を持つ２次元配列で構成する。

次に、ＰＳＦ計算部１０７ａは、ぼけ量に基づきＰＳＦを調整する（ＡＣＴ１０８）。ＰＳＦ計算部１０７ａは、図６のズーム量・ぼけ量算出部４７が出力した画像特徴量１３に基づいてぼけ量を取得する。ＰＳＦ計算部１０７ａは、ぼけ量に応じて式（１）のσ値でＰＳＦ形状をコントロールする。このコントロールによって再構成部３ａは、不自然な高解像度画像２０が生成されるのを防ぐことができる。または、ＰＳＦ計算部１０７ａは、ぼけ量に応じてパンフォーカスとなるように式（１）のσ値をコントロールして監視カメラや、画像認識に適した画像とすることも可能である。

次に、ＰＳＦ計算部１０７ａは、複数センサの特性値に基づきＰＳＦを調整する（ＡＣＴ１０９）。ＰＳＦ計算部１０７ａは、図６の特性値設定部４８が出力した画像特徴量１３に基づいて複数センサの特性値を取得する。ＰＳＦ計算部１０７ａは、複数センサの特性値に応じて、ＰＳＦの値を調整する。ＰＳＦの調整の仕方は、例えば、各センサの仕様に基づいてシミュレーションした結果や実際に超解像処理を行った結果に基づいて設定することができる。

ＰＳＦ計算部１０７ａがＡＣＴ１０１〜１０９で計算及び調整したＰＳＦ１１３は予測画像生成部１０２へ出力される。

なお、ＰＳＦ計算部１０７ａによるＰＳＦを調整動作であるＡＣＴ１０２〜ＡＣＴ１０９は一部を省略することができる。すなわち、ＰＳＦ計算部１０７ａは、ＡＣＴ１０２〜ＡＣＴ１０９のうちの少なくとも１つの動作でＰＳＦを調整すればよい。また、ＰＳＦ計算部１０７ａは、ユーザの指示に応じてあるいは撮像部の仕様等に応じて、ＡＣＴ１０２〜ＡＣＴ１０９の一部を省略することができるように、実行する調整動作を選択する機能を有していてもよい。

また、図１２を参照して説明したＰＳＦ計算部１０７ａの動作では、各画素について平行移動量１１に応じて計算された１組のＰＳＦを、画像特徴量１３に応じて１又は複数回調整することとしたが、各画素について複数組のＰＳＦを計算することもできる。すなわち、ＰＳＦ計算部１０７ａは、平行移動量１１に応じて計算されたＰＳＦをズーム量及び回転量に基づいて調整したＰＳＦ、平行移動量１１に応じて計算されたＰＳＦを距離マップに基づいて調整したＰＳＦ、平行移動量１１に応じて計算されたＰＳＦをぼけ量に基づいて調整したＰＳＦ等を個々に計算する。そして、図１１の予測画像生成部１０２では、画素毎に複数のＰＳＦの計算結果を複数同時に作用させることが可能である。すなわち、予測画像生成部１０２は、複数のＰＳＦを初期画像１２に対して連続して畳み込み演算して予測画像１０３を計算することができる。

図５に示した画像処理装置１００ａは、複数の低解像度画像１５から、高解像度画像２０を、図１１に示した再構成部３ａによって生成する超解像処理において、低解像度画像１５と比較される予測画像１０３を生成するためのフィルタ特性を、複数の低解像度画像１５間の平行移動量１１と、１又は複数の低解像度画像１５に対応した所定の画像特徴量１３との両方を用いて計算して高解像度化を行う。したがって、画像処理装置１００ａは、例えば、高速の移動体から撮影された映像で生じている被写体の拡大、縮小、回転といった複雑な変動には対応して、より精度の高い高解像度化を行うことができる。また、画像処理装置１００ａは、画像認識（周囲状況把握）等の前処理として用いる場合に、認識結果を向上させる効果も奏する。

なお、ＰＳＦ計算部１０７ａで計算されたＰＳＦは、本実施形態の再構成を用いる超解像のみならず、ウィーナーフィルタ等による画像復元にも用いることができる。

（第２の実施形態）
図１４を参照して第２の実施形態について説明する。図１４は第２の実施形態の画像処理装置１００ｂを示すブロック図である。図１４に示した第２の実施形態の画像処理装置１００ｂは、図５に示した第１の実施形態の画像処理装置１００ａと比較して、次の点が異なる。すなわち、図１４に示した第２の実施形態の画像処理装置１００ｂは、特徴検出部１を省略し、画像特徴量１３ｂを再構成部３ｂへ外部から入力する。画像特徴量１３ｂは、図６を参照して説明した、ズーム量・回転量算出部４５、動きぼけ量算出部４６、ズーム量・ぼけ量算出部４７、又は特性値設定部４８が出力した画像特徴量１３（画像特徴量１３ｂ）に対応する。第２の実施形態において画像特徴量１３ｂは、図示していない撮像部又は各種センサの制御部等から供給させることができる。再構成部３ｂは、図１１に示した再構成部３ａと次の点を除いて同一である。すなわち、再構成部３ｂは、図１１に示したＰＳＦ計算部１０７ａに対して、画像特徴量１３に代えて画像特徴量１３ｂが入力される点で異なる。

（第３の実施形態）
図１５を参照して第３の実施形態について説明する。図１５は第３の実施形態の画像処理装置１００ｃを示すブロック図である。図１５に示した第３の実施形態の画像処理装置１００ｃは、図５に示した第１の実施形態の画像処理装置１００ａと比較して、次の点が異なる。すなわち、図１５に示した第３の実施形態の画像処理装置１００ｃは、特徴検出部１を省略し、図６を参照して説明した複数センサの感度値、光電変換素子のサイズ、レンズのズーム信号、フォーカス信号、絞り信号等からなる信号１４を再構成部３ｃへ入力する。また、画像処理装置１００ｃは、赤外線画像３０を再構成部３ｃへ入力する。再構成部３ｃは、図１１に示した再構成部３ａと次の点を除いて同一である。すなわち、再構成部３ｂは、図１１に示したＰＳＦ計算部１０７ａに対して画像特徴量１３に代えて信号１４が入力されるとともに、誤差計算部１０４に対して低解像度画像１５に代えて赤外線画像３０が入力される点で異なる。第３の実施形態では例えば入力画像１０及び低解像度画像１５は可視光画像である。再構成部３ｃは、波長の異なる撮像センサで得られた複数の低解像画像を入力し、１つの高解像画像２０を得る。

第３の実施形態において、入力画像１０を可視光画像、入力画像３０を赤外線画像とした場合は、２種類のセンサの画像を処理するのに適切なＰＳＦが異なるために、同じＰＳＦを用いて再構成処理を行うと正しい高解像画像を得ることが困難である。そこで、再構成部３ｃは、各センサの感度値、光電変換素子のサイズ、レンズのズーム信号、フォーカス信号、絞り信号等の特性値に応じてＰＳＦを調整する。なお、信号１４に基づくＰＳＦの調整は、予測画像１０３を生成する際に用いるＰＳＦに限らず、誤差補正部１０６等で誤差補正をする際に用いるＰＳＦについても行うことができる。例えば、感度値とレンズの絞り信号からＰＳＦの全体レベルを決定し、光電変換素子のサイズ、レンズのズーム信号、フォーカス信号、絞り信号からＰＳＦのσ値を決定することができる。

以上説明した少なくともひとつの実施形態によれば、複数の低解像度画像１５から、高解像度画像２０を再構成によって生成する超解像処理において、低解像度画像１５と比較される予測画像１０３を生成するためのフィルタ特性を、複数の低解像度画像１５間の平行移動量１１と、１又は複数の低解像度画像１５に対応した所定の画像特徴量１３との両方を用いて計算して高解像度化を行うことにより、高速の移動体から撮影された映像等、広いシーンで精度の高い高解像度化を可能とすることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…特徴検出部 ２…動き検出部 ３、３ａ、３ｂ、３ｃ…再構成部 ４…補間拡大部 ５…一時記憶部 １１…平行移動量 １２…初期画像 １３、１３ｂ…画像特徴量 １０、１５…低解像度画像 ２０…高解像度画像 ３０…赤外線画像 ４１…ズーム量・回転量算出部 ４２…画像消失点座標算出部 ４３…距離マップ算出部 ４４…ローリングシャッターひずみ量算出部 ４５…ズーム量・回転量算出部 ４６…動きぼけ量算出部 ４７…ズーム量・ぼけ量算出部 ４８…特性値設定部 １００、１００ａ、１００ｂ、１００ｃ…画像処理装置 １０１…初期画像補正部 １０２…予測画像生成部 １０３…予測画像 １０４…誤差計算部 １０５…誤差画像 １０６…誤差補正部 １０７、１０７ａ…ＰＳＦ計算部

Claims (18)

1. 複数の低解像度画像から、高解像度画像を再構成によって生成する超解像処理において、前記低解像度画像と比較される予測画像を生成するためのフィルタ特性を、前記複数の低解像度画像間の平行移動量と、複数の前記低解像度画像に対応した所定の画像特徴量との両方を用いて計算して高解像度化を行う前に前記複数の前記低解像度画像に対応した所定の画像特徴量のうち前記高解像度化に用いる画像特徴量を選択し、選択した前記画像特徴量の一部の画像特徴量と、前記平行移動量とに基づいて第１のフィルタ特性を計算し、選択した前記画像特徴量の一部の画像特徴量と、前記平行移動量とに基づいて前記第１のフィルタ特性と異なる第２のフィルタ特性を計算し、前記第１のフィルタ特性と前記第２のフィルタ特性とを前記フィルタ特性として用いて高解像度化を行う画像処理方法。
2. 前記画像特徴量が、前記複数の低解像度画像に対する所定の画像処理によって得られたズーム量及び回転量のいずれかまたは双方である請求項１に記載の画像処理方法。
3. 前記画像特徴量が、１又は複数の前記低解像度画像に対する所定の画像処理によって得られた画像消失点の座標である請求項１に記載の画像処理方法。
4. 前記画像特徴量が、１又は複数の前記低解像度画像に対する所定の画像処理によって得られた距離マップである請求項１に記載の画像処理方法。
5. 前記画像特徴量が、１又は複数の前記低解像度画像に対する所定の画像処理によって得られたローリングシャッターひずみ量である請求項１に記載の画像処理方法。
6. 前記画像特徴量が、前記複数の低解像度画像を撮像した際に外部から入力された加速度センサ又は角速度センサの出力値から計算されたズーム量及び回転量のいずれかまたは双方である請求項１に記載の画像処理方法。
7. 前記画像特徴量が、１又は複数の前記低解像度画像を撮像した際に外部から入力された加速度センサ又は角速度センサの出力値から計算された動きぼけ量である請求項１に記載の画像処理方法。
8. 前記画像特徴量が、１又は複数の前記低解像度画像を撮像した際に外部から入力されたレンズのズーム信号、フォーカス信号、絞り信号、又はセンサ感度信号から計算されたズーム量又はぼけ量である請求項１に記載の画像処理方法。
9. 前記画像特徴量が、１又は複数の前記低解像度画像を撮像した際に外部から入力された波長の異なる複数センサの特性値である請求項１に記載の画像処理方法。
10. 複数の低解像度画像から、高解像度画像を再構成によって生成する超解像処理において、前記低解像度画像と比較される予測画像を生成するためのフィルタ特性を、前記複数の低解像度画像間の平行移動量と、請求項２から請求項９に記載した２以上の画像特徴量との両方を用いて計算して高解像度化を行う前に前記複数の前記低解像度画像に対応した所定の画像特徴量のうち前記高解像度化に用いる画像特徴量を選択し、選択した前記画像特徴量の一部の画像特徴量と、前記平行移動量とに基づいて第１のフィルタ特性を計算し、選択した前記画像特徴量の一部の画像特徴量と、前記平行移動量とに基づいて前記第１のフィルタ特性と異なる第２のフィルタ特性を計算し、前記第１のフィルタ特性と前記第２のフィルタ特性とを前記フィルタ特性として用いて高解像度化を行う画像処理方法。
11. 複数の低解像度画像から、高解像度画像を再構成によって生成する超解像処理において、前記低解像度画像と比較される予測画像を生成するためのフィルタ特性を、前記複数の低解像度画像間の平行移動量と、複数の前記低解像度画像に対応した所定の画像特徴量との両方を用いて計算して高解像度化を行う前に前記複数の前記低解像度画像に対応した所定の画像特徴量のうち前記高解像度化に用いる画像特徴量を選択し、選択した前記画像特徴量の一部の画像特徴量と、前記平行移動量とに基づいて第１のフィルタ特性を計算し、選択した前記画像特徴量の一部の画像特徴量と、前記平行移動量とに基づいて前記第１のフィルタ特性と異なる第２のフィルタ特性を計算し、前記第１のフィルタ特性と前記第２のフィルタ特性とを前記フィルタ特性として用いて高解像度化を行う画像処理装置。
12. 前記画像特徴量が、１又は複数の前記低解像度画像に対する所定の画像処理によって得られたズーム量、回転量、画像消失点の座標、距離マップ、又は、ローリングシャッターひずみ量の少なくとも１つである請求項１１に記載の画像処理装置。
13. 前記画像特徴量が、１又は複数の前記低解像度画像を撮像した際に外部から入力された加速度センサ又は角速度センサの出力値から計算されたズーム量及び回転量又は動きぼけ量、１又は複数の前記低解像度画像を撮像した際に外部から入力されたレンズのズーム信号、フォーカス信号、絞り信号、又はセンサ感度信号から計算されたズーム量又はぼけ量、又は、１又は複数の前記低解像度画像を撮像した際に外部から入力された波長の異なる複数センサの特性値の少なくとも１つである請求項１１に記載の画像処理装置。
14. 複数の低解像度画像から、高解像度画像を再構成によって生成する超解像処理において、前記低解像度画像と比較される予測画像を生成するためのフィルタ特性を、前記複数の低解像度画像間の平行移動量と、請求項１２又は請求項１３に記載した２以上の画像特徴量との両方を用いて計算して高解像度化を行う前に前記複数の前記低解像度画像に対応した所定の画像特徴量のうち前記高解像度化に用いる画像特徴量を選択し、選択した前記画像特徴量の一部の画像特徴量と、前記平行移動量とに基づいて第１のフィルタ特性を計算し、選択した前記画像特徴量の一部の画像特徴量と、前記平行移動量とに基づいて前記第１のフィルタ特性と異なる第２のフィルタ特性を計算し、前記第１のフィルタ特性と前記第２のフィルタ特性とを前記フィルタ特性として用いて高解像度化を行う画像処理装置。
15. 複数の低解像度画像から、高解像度画像を再構成によって生成する超解像処理において、前記低解像度画像と比較される予測画像を生成するためのフィルタ特性を、前記複数の低解像度画像間の平行移動量と、複数の前記低解像度画像に対応した所定の画像特徴量との両方を用いて計算して高解像度化を行う前に前記複数の前記低解像度画像に対応した所定の画像特徴量のうち前記高解像度化に用いる画像特徴量を選択し、選択した前記画像特徴量の一部の画像特徴量と、前記平行移動量とに基づいて第１のフィルタ特性を計算し、選択した前記画像特徴量の一部の画像特徴量と、前記平行移動量とに基づいて前記第１のフィルタ特性と異なる第２のフィルタ特性を計算し、前記第１のフィルタ特性と前記第２のフィルタ特性とを前記フィルタ特性として用いて高解像度化を行う処理を
    コンピュータに実行させるプログラム。
16. 前記画像特徴量が、１又は複数の前記低解像度画像に対する所定の画像処理によって得られたズーム量、回転量、画像消失点の座標、距離マップ、又は、ローリングシャッターひずみ量の少なくとも１つである請求項１５に記載のプログラム。
17. 前記画像特徴量が、１又は複数の前記低解像度画像を撮像した際に外部から入力された加速度センサ又は角速度センサの出力値から計算されたズーム量及び回転量又は動きぼけ量、１又は複数の前記低解像度画像を撮像した際に外部から入力されたレンズのズーム信号、フォーカス信号、絞り信号、又はセンサ感度信号から計算されたズーム量又はぼけ量、又は、１又は複数の前記低解像度画像を撮像した際に外部から入力された波長の異なる複数センサの特性値の少なくとも１つである請求項１５に記載のプログラム。
18. 複数の低解像度画像から、高解像度画像を再構成によって生成する超解像処理において、前記低解像度画像と比較される予測画像を生成するためのフィルタ特性を、前記複数の低解像度画像間の平行移動量と、請求項１６又は請求項１７に記載した２以上の画像特徴量との両方を用いて計算して高解像度化を行う前に前記複数の前記低解像度画像に対応した所定の画像特徴量のうち前記高解像度化に用いる画像特徴量を選択し、選択した前記画像特徴量の一部の画像特徴量と、前記平行移動量とに基づいて第１のフィルタ特性を計算し、選択した前記画像特徴量の一部の画像特徴量と、前記平行移動量とに基づいて前記第１のフィルタ特性と異なる第２のフィルタ特性を計算し、前記第１のフィルタ特性と前記第２のフィルタ特性とを前記フィルタ特性として用いて高解像度化を行う処理を
    コンピュータに実行させるプログラム。