WO2014132754A1 - 画像処理装置および画像処理方法 - Google Patents

Abstract

　画像処理装置（１）は、それぞれが共通する部分領域を有する多視点の入力画像群のうちの１つの入力画像に基づく画像を基準画像とし、基準画像以外の入力画像ごとに、環境条件に基づく基準画像に応じた探索エリアを設定するための設定部（３２１）と、基準画像を用いて探索エリア内でテンプレートマッチング処理を行なうことで、基準画像以外の入力画像ごとの基準画像に対する位置ずれを推定するための位置ずれ推定部（３２）と、入力画像について、推定された位置ずれをパラメーターとして用いて超解像処理を実行するための超解像処理部（３６）とを備える。

Description

画像処理装置および画像処理方法

　この発明は画像処理装置および画像処理方法に関し、特に、解像度を向上させる処理を行なう画像処理装置および画像処理方法に関する。

　それぞれが共通する部分領域を有し、低解像度である多視点の入力画像群から１枚の高解像度画像を生成する画像処理技術がある。このような処理は、超解像処理とも呼ばれる。

　入力画像ごとに超解像処理に用いる画素位置がずれると、これら入力画像群に対して超解像処理を施しても解像度が向上しない。

　たとえば、特開２００９－５５４１０号公報（以下、特許文献１）は、縮小画像において概略の動き量（ずれ量）を検出する技術を開示している。

特開２００９－５５４１０号公報

　しかしながら、上記特許文献１は、入力画像ごとの視点の異なりを利用したものではなく、多視点の入力画像群から１枚の高解像度画像を生成する際の、各入力画像における画素位置のずれに対して適切に対処することはできない。そのため、上記特許文献１の技術を用いても、入力画像ごとに超解像処理に用いる画素位置がずれている場合には、超解像処理を施しても解像度が向上しないという問題が解消されない。

　本発明はこのような問題に鑑みてなされたものであって、画質の劣化を抑えて高解像度画像を生成することが可能な画像処理装置および画像処理方法を提供することを目的としている。

　上記目的を達成するために、本発明のある局面に従うと、画像処理装置のコントローラーは、それぞれが共通する部分領域を有する多視点の入力画像群から入力画像よりも高い周波数情報を持つ高解像度画像を作成して出力する画像処理装置であって、入力画像群のうちの１つの入力画像を基準画像とし、基準画像以外の入力画像ごとに、環境条件に基づく基準画像に応じた探索エリアを設定するための設定部と、基準画像を用いて探索エリア内でテンプレートマッチング処理を行なうことで、基準画像以外の入力画像ごとの基準画像に対する位置ずれを推定するための推定部と、入力画像について、推定された位置ずれをパラメーターとして用いて超解像処理を実行するための処理部とを備える。

　好ましくは、設定部は、基準画像とする入力画像の視点と基準画像以外の入力画像のうちの少なくとも１つの入力画像の視点との位置関係と、環境条件とに基づいて探索エリアを設定する。

　より好ましくは、設定部は、基準画像の視点と多視点のうちの最も遠い視点との間の距離および方向と、環境条件に対して予め規定されている変形率とから特定した探索エリアを、基準画像以外の入力画像のそれぞれに設定する。

　好ましくは、設定部は、基準画像とする入力画像の視点と基準画像以外の入力画像それぞれの視点との間の距離および方向と、環境条件とに基づいて探索エリアを設定する。

　好ましくは、設定部は、基準画像の視点との位置関係に応じて選択された基準画像以外の入力画像のうちの１つの入力画像を第２の基準画像とし、第２の基準画像について推定された位置ずれに基づいて、基準画像および第２の基準画像以外の入力画像ごとに探索エリアを設定する。

　好ましくは、設定部は、環境条件に基づく基準画像に応じた探索エリアを第１の探索エリアとし、第１の探索エリアと、基準画像とする入力画像の視点から基準画像以外の入力画像それぞれの視点までの距離に応じて設定される、基準画像からの視差に基づく位置ずれを探索するための第２の探索エリアとを含むエリアを探索エリアとして設定する。

　好ましくは、設定部は、入力画像群のうちの、多視点の中で内側に配置された視点の入力画像を基準画像とする。

　好ましくは、画像処理装置は、基準画像に対してぼけ度合いに応じたぼけを付加してテンプレートマッチング処理を行なうことで、入力画像のぼけ度合いを推定するためのぼけ度合推定部をさらに備え、処理部は、推定されたぼけ度合いもさらにパラメーターとして用いて超解像処理を実行する。

　好ましくは、入力画像群は、互いに光軸が異なる複数レンズを含んだレンズアレイで得られる画像群である。

　本発明の他の局面に従うと、画像処理方法は、それぞれが共通する部分領域を有する多視点の入力画像群から、入力画像よりも高い周波数情報を持つ高解像度画像を出力画像として生成する方法であって、入力画像群のうちの１つの入力画像を基準画像とし、基準画像以外の入力画像ごとに、環境条件に基づく基準画像に応じた探索エリアを設定するステップと、基準画像を用いて探索エリア内でテンプレートマッチング処理を行なうことで、基準画像以外の入力画像ごとの基準画像に対する位置ずれを推定するステップと、入力画像について、推定された位置ずれをパラメーターとして用いて超解像処理を実行するステップとを備える。

　本発明のさらに他の局面に従うと、画像処理プログラムは、コンピューターに、それぞれが共通する部分領域を有する多視点の入力画像群から、入力画像よりも高い周波数情報を持つ高解像度画像を出力画像として生成する処理を実行させるプログラムであって、入力画像群のうちの１つの入力画像を基準画像とし、基準画像以外の入力画像ごとに、環境条件に基づく基準画像に応じた探索エリアを設定するステップと、基準画像を用いて探索エリア内でテンプレートマッチング処理を行なうことで、基準画像以外の入力画像ごとの基準画像に対する位置ずれを推定するステップと、入力画像について、推定された位置ずれをパラメーターとして用いて超解像処理を実行するステップとをコンピューターに実行させる。

　この発明によると、低解像度である多視点の入力画像群から、画質の劣化を抑えて高解像度画像を生成することができる。

実施の形態にかかる画像処理装置の構成の基本的構成を示すブロック図である。 画像処理装置を具現化したデジタルカメラの構成を示すブロック図である。 画像処理装置を具現化したパーソナルコンピューターの構成を示すブロック図である。 画像処理装置のカメラに含まれるレンズの配置の具体例を表わした図である。 レンズの温度変化の、超解像処理に対する影響を説明するための図である。 レンズの温度変化の、超解像処理に対する影響を説明するための図である。 レンズの温度変化の、超解像処理に対する影響を説明するための図である。 画像処理装置での動作の流れを表わすフローチャートである。 各レンズからの入力画像の温度変化による画素位置のずれを説明するための図である。 図８のステップＳ１での、第１の位置ずれ推定処理としての位置ずれ概略推定処理の第１の具体例を説明するための図である。 図８のステップＳ２での、第２の位置ずれ推定処理としての位置ずれ推定処理を説明するための図である。 図８のステップＳ２での、第２の位置ずれ推定処理としての位置ずれ推定処理を説明するための図である。 図８のステップＳ２での、第２の位置ずれ推定処理としての位置ずれ推定処理を説明するための図である。 図８のステップＳ３での超解像処理の流れを表わした図である。 図１４のステップ＃３３で用いられる劣化情報を説明するための図である。 劣化情報の具体例を表わした図である。 図８のステップＳ３での超解像処理の他の例を表わした図である。 位置ずれ概略推定処理の第２の例を表わした図である。 位置ずれ概略推定処理の第２の例を表わした図である。 位置ずれ概略推定処理の第２の例を表わした図である。 位置ずれ概略推定処理の第３の例を表わした図である。 位置ずれ概略推定処理の第３の例を表わした図である。 位置ずれ概略推定処理の第３の例を表わした図である。 位置ずれ概略推定処理の第３の例を表わした図である。 位置ずれ概略推定処理の第４の例を表わした図である。 位置ずれ概略推定処理の第４の例を表わした図である。 位置ずれ概略推定処理の第４の例を表わした図である。 位置ずれ概略推定処理の第４の例を表わした図である。 位置ずれ概略推定処理の第４の例を表わした図である。 位置ずれ概略推定処理の第４の例を表わした図である。 第２の変形例にかかる画像処理装置の構成の基本的構成を示すブロック図である。 図８の上記ステップＳ２での位置ずれ推定処理の第２の変形例を説明するための図である。 図８の上記ステップＳ２での位置ずれ推定処理の第２の変形例を説明するための図である。 図８の上記ステップＳ２での位置ずれ推定処理の第２の変形例を説明するための図である。 図８の上記ステップＳ２での位置ずれ推定処理の第２の変形例を説明するための図である。 図８の上記ステップＳ２での位置ずれ推定処理の第２の変形例を説明するための図である。 図８のステップＳ３の超解像処理に先だって行なわれる、パラメーター算出のための処理を表わすフローチャートである。 図３７のステップ＃１１でのガウシアンフィルターの係数の換算方法を説明するための図である。 図３７のステップ＃１２でのＰＳＦの算出方法を説明するための図である。

　以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらの説明は繰り返さない。

　＜システム構成＞
　図１は、本実施の形態にかかる画像処理装置１の構成の基本的構成を示すブロック図である。

　図１を参照して、画像処理装置１は、撮像部２と、画像処理部３と、画像出力部４とを含む。図１に示す画像処理装置１においては、撮像部２が被写体を撮像することで画像（以下、「入力画像」とも称する）を取得し、画像処理部３がこの取得された入力画像に対して後述するような画像処理を行なうことで、入力画像よりも高周波数成分を有する高解像度の出力画像（以下、「高解像度画像」とも称する）を生成する。そして、画像出力部４は、この高解像度画像を表示デバイスなどへ出力する。

　撮像部２は、対象物（被写体）を撮像して入力画像を生成する。より具体的には、撮像部２は、カメラ２２と、カメラ２２と接続されたＡ／Ｄ（Analog　to　Digital）変換部２４とを含む。Ａ／Ｄ変換部２４は、カメラ２２により撮像された被写体を示す入力画像を出力する。

　カメラ２２は、被写体を撮像するための光学系であって、アレイカメラである。すなわち、カメラ２２は、格子状に配置された視点の異なるＮ個のレンズ２２ａ－１～２２ａ－ｎ（これらを代表させて、レンズ２２ａとも称する）と、レンズ２２ａにより形成された光学像を電気信号に変換するデバイスである撮像素子（イメージセンサー）２２ｂとを含む。

　Ａ／Ｄ変換部２４は、撮像素子２２ｂから出力される被写体を示す映像信号（アナログ電気信号）をデジタル信号に変換して出力する。撮像部２はさらに、カメラ各部分を制御するための制御処理回路などを含み得る。

　画像処理部３は、撮像部２によって取得された入力画像に対して、本実施の形態に従う画像処理方法を実施することで高解像度画像を生成する。より具体的には、画像処理部３は、後述する位置ずれ推定処理を行なうための位置ずれ推定部３２と、超解像処理部３６とを含む。位置ずれ推定部３２は、さらに第１の位置ずれ推定処理を行なうための第１推定部３２１と第２の位置ずれ推定処理を行なうための第２推定部３２２とを含み、第１推定部３２１は、さらに、後述する探索エリアを設定するための設定部３２４を含む。また、超解像処理部３６は、さらに、推定された位置ずれ等に基づいて、超解像処理に用いるパラメーターを算出するための算出部３６１を含む。

　超解像処理部３６は、入力画像に対して後述する超解像処理を行なう。超解像処理とは、入力画像が持つナイキスト周波数を超える周波数情報を生成する処理である。その際に、位置ずれ推定部３２は、後述する第１の位置ずれ推定処理および第２の位置ずれ推定処理を行なって、入力画像それぞれについて、基準画像からの位置ずれを推定する。

　画像出力部４は、画像処理部３によって生成される高解像度画像を表示デバイスなどへ出力する。

　図１に示す画像処理装置１は、各部を独立の装置で具現化したシステムとして構成することもできるが、汎用的には、以下に説明するデジタルカメラやパーソナルコンピューターなどとして具現化される場合が多い。そこで、本実施の形態に従う画像処理装置１の具現化例として、デジタルカメラでの具現化例とＰＣ（パーソナルコンピューター）での具現化例とについて説明する。

　図２は、図１に示す画像処理装置１を具現化したデジタルカメラ１００の構成を示すブロック図である。図２において、図１に示す画像処理装置１を構成するそれぞれのブロックに対応するコンポーネントには、図１と同一の参照符号を付している。

　図２を参照して、デジタルカメラ１００は、ＣＰＵ（Central　Processing　Unit）１０２と、デジタル処理回路１０４と、画像表示部１０８と、カードインターフェイス（Ｉ／Ｆ）１１０と、記憶部１１２と、カメラ部１１４とを含む。

　ＣＰＵ１０２は、予め格納されたプログラムなどを実行することで、デジタルカメラ１００の全体を制御する。デジタル処理回路１０４は、本実施の形態に従う画像処理を含む各種のデジタル処理を実行する。デジタル処理回路１０４は、典型的には、ＤＳＰ（Digital　Signal　Processor）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＬＳＩ（Large　Scale　Integration）、ＦＰＧＡ（Field-Programmable　Gate　Array）などによって構成される。このデジタル処理回路１０４は、図１に示す画像処理部３が提供する機能を実現するための画像処理回路１０６を含む。

　画像表示部１０８は、カメラ部１１４により提供される入力画像、デジタル処理回路１０４（画像処理回路１０６）によって生成される出力画像、デジタルカメラ１００に係る各種設定情報、および、制御用ＧＵＩ（Graphical　User　Interface）画面などを表示する。

　カードインターフェイス（Ｉ／Ｆ）１１０は、画像処理回路１０６によって生成された画像データを記憶部１１２へ書き込み、あるいは、記憶部１１２から画像データなどを読み出すためのインターフェイスである。記憶部１１２は、画像処理回路１０６によって生成された画像データや各種情報（デジタルカメラ１００の制御パラメーターや動作モードなどの設定値）を格納する記憶デバイスである。この記憶部１１２は、フラッシュメモリ、光学ディスク、磁気ディスクなどからなり、データを不揮発的に記憶する。

　カメラ部１１４は、被写体を撮像することで入力画像を生成する。
　図２に示すデジタルカメラ１００は、本実施の形態に従う画像処理装置１の全体を単体の装置として実装したものである。すなわち、ユーザーは、デジタルカメラ１００を用いて被写体を撮像することで、画像表示部１０８において高解像度の画像を視認することができる。

　図３は、図１に示す画像処理装置１を具現化したパーソナルコンピューター２００の構成を示すブロック図である。図３に示すパーソナルコンピューター２００は、本実施の形態に従う画像処理装置１の一部を単体の装置として実装したものである。図３に示すパーソナルコンピューター２００では、入力画像を取得するための撮像部２が搭載されておらず、任意の撮像部２によって取得された入力画像が外部から入力される構成となっている。このような構成であっても、本発明の実施の形態に従う画像処理装置１に含まれ得る。なお、図３においても、図１に示す画像処理装置１を構成するそれぞれのブロックに対応するコンポーネントには、図１と同一の参照符号を付している。

　図３を参照して、パーソナルコンピューター２００は、パーソナルコンピューター本体２０２と、モニター２０６と、マウス２０８と、キーボード２１０と、外部記憶装置２１２とを含む。

　パーソナルコンピューター本体２０２は、典型的には、汎用的なアーキテクチャーに従う汎用コンピューターであり、基本的な構成要素として、ＣＰＵ、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）などを含む。パーソナルコンピューター本体２０２は、図１に示す画像処理部３が提供する機能を実現するための画像処理プログラム２０４が実行可能になっている。このような画像処理プログラム２０４は、ＣＤ－ＲＯＭ（Compact　Disk-Read　Only　Memory）などの記憶媒体に格納されて流通し、あるいは、ネットワークを介してサーバー装置から配信される。そして、画像処理プログラム２０４は、パーソナルコンピューター本体２０２のハードディスクなどの記憶領域内に格納される。

　このような画像処理プログラム２０４は、パーソナルコンピューター本体２０２で実行されるオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち必要なモジュールを、所定のタイミングおよび順序で呼出して処理を実現するように構成されてもよい。この場合、画像処理プログラム２０４自体には、ＯＳが提供するモジュールは含まれず、ＯＳと協働して画像処理が実現される。また、画像処理プログラム２０４は、単体のプログラムではなく、何らかのプログラムの一部に組込まれて提供されてもよい。このような場合にも、画像処理プログラム２０４自体には、当該何らかのプログラムにおいて共通に利用されるようなモジュールは含まれず、当該何らかのプログラムと協働して画像処理が実現される。このような一部のモジュールを含まない画像処理プログラム２０４であっても、本実施の形態に従う画像処理装置１の趣旨を逸脱するものではない。

　もちろん、画像処理プログラム２０４によって提供される機能の一部または全部を専用のハードウェアによって実現してもよい。

　モニター２０６は、オペレーティングシステム（ＯＳ）が提供するＧＵＩ画面、画像処理プログラム２０４によって生成される画像などを表示する。

　マウス２０８およびキーボード２１０は、それぞれユーザー操作を受付け、その受付けたユーザー操作の内容をパーソナルコンピューター本体２０２へ出力する。

　外部記憶装置２１２は、何らかの方法で取得された入力画像を格納しており、この入力画像をパーソナルコンピューター本体２０２へ出力する。外部記憶装置２１２としては、フラッシュメモリ、光学ディスク、磁気ディスクなどのデータを不揮発的に記憶するデバイスが用いられる。

　図４は、カメラ２２に含まれるレンズ２２ａの配置の具体例を表わした図である。図４の例では、一例として、カメラ２２が、格子状に配置された１６個のレンズ２２ａ－１～２２ａ－１６（レンズＡ～Ｐ）を含むアレイカメラであるものとする。図４のレンズＡ～Ｐの間隔（基線長）は、縦方向および横方向ともに均一であるものとする。なお、カメラ２２で撮影したときの、カメラ２２からの入力画像Ａ，Ｂ，Ｃ，Ｅ，Ｆ，Ｇ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍ，Ｎ，Ｏ，Ｐは、それぞれ、レンズＡ～Ｐからの入力画像であることを表わすものとする。

　＜動作概要＞
　（課題の説明）
　レンズ２２ａ等の部材は、環境条件によって変形することがある。特に、レンズ２２ａや、レンズ２２ａを保持する部材等がプラスチックなどの影響を受けやすい素材で形成されている場合、その変形率が大きい。そのため、入力画像がその変形の影響を受けることになり、その入力画像を用いる超解像処理が影響を受ける。なお、環境条件としては、たとえば温度や湿度などがあり、以下の説明では温度変化を例に挙げる。

　図５～図７は、レンズの温度変化の、超解像処理に対する影響を説明するための図である。詳しくは、図５を参照して、第１の影響として、レンズの温度変化によってレンズ２２ａと撮像素子（イメージセンサー）２２ｂとの間の距離が変化し、それによって入力画像がぼけるという影響がある。たとえば、各レンズからの焦点が撮像素子２２ｂのセンサー面上となるレンズ２２ａの位置を基準位置としたとき、レンズに対する３０℃の温度変化によって焦点が基準位置から１５～２０μｍ程度ずれるため、撮像素子２２ｂでセンシングされる画像がぼける。なお、この場合、色によって焦点の基準位置からのずれ量が多少異なる場合がある。

　また、図６を参照して、第２の影響として、レンズ２２ａを保持する部材の温度変化によってレンズピッチ（レンズの位置）が変わり、それによって入力画像における画素位置がずれるという影響がある。たとえば、レンズ２２ａを保持する部材に対して３０℃の温度上昇があった場合、図６に表わされたように、外側に配置されたレンズほど大きい移動距離で、外側に移動するよう、レンズの位置が変化する。これにより、各入力画像における超解像処理に用いる画素位置が予め規定した位置からずれることになる。

　また、図７を参照して、第３の影響として、撮像素子（イメージセンサー）２２ｂの温度変化によってセンサー面が変形（反るなど）し、それによって、レンズ２２ａからの入力画像群のうちの一部の入力画像や、１枚の入力画像中の一部領域がぼけるという影響がある。たとえば、各レンズからの焦点が撮像素子２２ｂのセンサー面上となるレンズ２２ａの位置を基準位置としたとき、撮像素子２２ｂに３０℃の温度変化があった場合、図７に表わされたように、センサー面が基準位置から反るように変形する。これにより、各入力画像におけるぼけ方（ぼけ度合い）が、入力画像群に軸対称に変化することになる。

　レンズ２２ａ等の部材の温度変化による変形の入力画像への影響は、図５に表わされた第１の影響が最も大きく、概ね、すべての入力画像に一律にぼけが含まれる。一方、図７に表わされた例ではレンズ位置ごとの変形量が異なるため入力画像ごとや、入力画像中の領域ごとにぼけ度合いが異なる。

　（動作概要）
　画像処理装置１では、アレイカメラであるカメラ２２で撮影されることで得られる、それぞれ異なる視点の複数の入力画像について超解像処理を施し、高解像度画像を得る。このとき、画像処理装置１は、図６に表わされたそれぞれの入力画像における環境条件（温度変化等）による画素位置のずれを考慮して超解像処理を行なう。

　＜動作フロー＞
　（全体動作）
　図８は、本実施の形態にかかる画像処理装置１での動作の流れを表わすフローチャートである。図８を参照して、まず、画像処理装置１ではレンズ２２ａそれぞれで入力画像を取得する処理が実行されることで、１６枚の入力画像が取得される。ここでは、たとえば１０００×７５０画素程度の低解像度の画像が入力されるものとする。

　入力画像が取得されると、第１の位置ずれ推定処理として、位置ずれ概略推定処理が実行される（ステップＳ１）。ここでは、ピクセル単位（整数画素）でのずれ量が推定される。なお、ここではレンズ２２ａが温度変化によって位置が変化することによる、入力画像ごとの画素の位置ずれが推定される。

　次に、ピクセル単位でのずれ量に基づいて、第２の位置ずれ推定処理が実行される（ステップＳ２）。ここでは、サブピクセル単位（小数画素）でのずれ量が推定される。

　そして、位置ずれ量を考慮して超解像処理が実行され（ステップＳ３）、４０００×３０００画素程度の高解像度画像が出力画像として生成される。

　（位置ずれ概略推定）
　図９および図１０は、上記ステップＳ１での、第１の位置ずれ推定処理としての位置ずれ概略推定処理の第１の具体例を説明するための図である。図９は、各レンズ２２ａからの入力画像の温度変化による画素位置のずれを説明するための図であって、一例として、３０℃、温度が上昇した場合の入力画像を模式的に表わした図である。図９の温度上昇前の図（左図）において、１６個の実線矩形はそれぞれ、入力画像Ａ～Ｐを表わしている。図９の温度上昇後の図（右図）では、１６個の細線矩形が温度上昇前の入力画像Ａ～Ｐを表わし、１６個の点線矩形が温度上昇後の入力画像Ａ～Ｐを表わしている。

　図９を参照して、温度が上昇すると、各レンズ２２ａおよび図示しないレンズ２２ａを保持する部材が膨張するため、各入力画像の撮影範囲が中央を中心として全体的に拡大する。温度によるレンズ２２ａの位置のずれは、内側に配置されたレンズほど小さく、外側に配置されたレンズほど大きい。そのため、内側に配置されたレンズ（たとえばレンズＦ，Ｇ，Ｊ，Ｋ）からの入力画像の温度上昇前からのずれは、外側に配置されたレンズ（たとえばレンズＡ～Ｅ，Ｈ，Ｉ，Ｌ～Ｐ）からの入力画像のずれよりも小さい。そこで、好ましくは、画像処理装置１は、内側に配置されたレンズからの入力画像を上記ステップＳ１での基準画像として用いる。以下の例では、内側に配置されたレンズＦからの入力画像Ｆを基準画像として用いるものとする。この場合、レンズＦから最も離れた位置に配置されたレンズＰからの入力画像Ｐが最も大きく位置がずれることになる。

　図９の例に表わされたように、一例として、入力画像上の位置の伸びが３０℃の温度上昇に対して１／１０００倍であるものとする。この場合、基準画像である入力画像Ｆと入力画像Ｐとの間の距離が、斜め方向（Ｘ方向、Ｙ方向それぞれ）に４０００画素であるとすると、入力画像Ｐが３０℃の温度変化によって斜め方向（Ｘ方向、Ｙ方向それぞれ）に４画素変化する、つまり、９×９画素の範囲で変化することになる。

　上記ステップＳ１では、基準画像である入力画像Ｆ上の、図９において黒丸で表わした画素（基準画素）Ｓの位置ずれを推定するものとすると、図１０を参照して、基準画像である入力画像Ｆから視点が最も離れた入力画像Ｐの、温度変化による位置ずれがない場合に対応する画素Ｓ’が特定される（点線丸）。そして、３０℃の温度変化における位置ずれを推定する場合、この画素Ｓ’を中心に、上記の３０℃の画素の変化の範囲が、基準画素Ｓに対応する画素を探索するためのエリア（探索エリア）として設定される。すなわち、図１０を参照して、上記の変化の量と変化の方向とから、３０℃温度低下した場合に画素Ｓ’に対応する位置にある画素Ｒ１と、３０℃温度上昇した場合の画素Ｒ２とが特定され、一例として、画素Ｒ１およびＲ２を対角とした矩形（太点線矩形）が探索エリアとして設定される。

　なお、上記の探索エリアは、温度変化に加えて、たとえば実際のレンズ２２ａ間の距離等の設計値からのずれを考慮して、温度変化のみから設定されるエリアよりも広いエリアが設定されてもよい。

　上記探索エリア内に対して、入力画像Ｆの基準画素Ｓを含む画像を用いてテンプレートマッチング処理が行なわれて、基準画素Ｓと最も一致度が高い画素Ｔが基準画素Ｓに対応する位置にある画素として特定される。ここでのテンプレートマッチング処理の一例として、ＮＣＣ（Normalized　Cross　Correlation）が挙げられる。他の例として、ＳＡＤ（Sum　of　Absolute　Difference）やＳＳＤ（Sum　of　Squared　Difference）などであってもよい。上記ステップＳ１では、上記の処理が、入力画像Ｆの各画素について行なわれることで、各入力画像について、超解像処理に用いる画素が検出される。すなわち、図９の右図に示されたように、入力画像Ｐについて図１０のようにして設定された探索エリアが、算出画像とされた入力画像Ｆおよび入力画像Ｐ以外の入力画像それぞれについて、同様に設定される。そして、各入力画像について探索エリアに対して上記のテンプレートマッチング処理が行なわれて、各入力画像における基準画素Ｓに対応する位置にある画素が特定される。

　（位置ずれ推定）
　図１１～図１３は、上記ステップＳ２での、第２の位置ずれ推定処理としての位置ずれ推定処理を説明するための図である。図１１を参照して、参照画像である、温度変化後の入力画像Ｐ（点線矩形）について、上記ステップＳ１の第１の位置ずれ推定処理によって特定された、入力画像Ｆの基準画素Ｓに対応する画素Ｔを中心とした３×３画素の範囲などの画素Ｔに基づく規定範囲（太点線矩形）でのテンプレートマッチングにおける画素ごとの一致度（たとえばＮＣＣ値）（図１２）を元に２次曲面フィッティングが行なわれ、サブピクセル単位での位置ずれが推定される。ステップＳ２の位置ずれ推定では、一例として、図１３に表わされた、論文「位置ずれ量を考慮した画素選択に基づくロバスト超解像処理」（電子情報通信学会論文誌、Ｖｏｌ．Ｊ９２－Ｄ、Ｎｏ．５、ｐｐ．６５０－６６０、２００９、２００９年５月）に記載された手法を採用することができる。すなわち、図１２および図１３に表わされたように、画素ごとの一致度のうち、最も一致度の高い画素の座標がずれ量として特定される。

　なお、ステップＳ２では、上記の２次曲面フィッティングに替えて、Ｘ座標およびＹ座標それぞれで２次曲線にフィッティングするなどの他の手法が採用されてもよい。

　（超解像処理）
　図１４は、上記ステップＳ３での超解像処理の流れを表わした図である。図１４では、具体例として、論文「Ｆａｓｔ　ａｎｄ　Ｒｏｂｕｓｔ　Ｍｕｌｔｉｆｒａｍｅ　Ｓｕｐｅｒ　Ｒｅｓｏｌｕｔｉｏｎ」（ＩＥＥＥ　ＴＲＡＮＳＡＣＴＩＯＮＳ　ＯＮ　ＩＭＡＧＥ　ＰＲＯＣＥＳＳＩＮＧ，　ＶＯＬ．　１３，　ＮＯ．　１０，　ＯＣＴＯＢＥＲ　２００４　ｐａｇｅ．１３２７－１３４４）に記載された処理を行なう場合の超解像処理の流れが示されている。

　図１４を参照して、ステップ＃３１で、入力画像のうちの１枚に対してバイリニア法等の補間処理を施して入力画像の解像度を超解像処理後の解像度である高解像度に変換することで、初期画像としての出力候補画像が生成される。

　ステップ＃３２で、ノイズにロバストに収束させるためのＢＴＶ（Bilateral　Total　Variation）量が算出される。

　ステップ＃３３で、上記生成された出力候補画像と１６枚分の入力画像とが比較されて、残差が算出される。すなわち、ステップ＃３３では、上記生成された出力候補画像が、各入力画像とその劣化情報（超解像後の画像と入力画像との間の関係を示す情報）とに基づいて入力画像サイズに変換（低解像度化）されて（図１５の＃４１）、１６枚分の入力画像との差異が算出され、記録される。そして、その差異が、超解像処理後のサイズに戻され（図１５の＃４３）、残差とされる。

　ステップ＃３４で、上記ステップ＃３１で生成された出力候補画像から算出された残差とＢＴＶ量とが減ぜられて次の出力候補画像が生成される。

　上記ステップ＃３１～＃３４の処理が、出力候補画像が収束するまで繰り返され、収束した出力候補画像が超解像処理後の出力画像として出力される。

　繰り返しは、おおよそ充分に収束する回数（たとえば２００回）などの、予め規定された回数であってもよいし、一連の処理の都度、収束判定がなされ、その結果に応じて繰り返されてもよい。

　図１５は、上記ステップ＃３３で用いられる劣化情報を説明するための図である。
　劣化情報とは、超解像処理後の高解像度画像に対する入力画像それぞれの関係を表わす情報を指し、たとえば行列形式で表わされる。劣化情報には、上記ステップＳ２で推定された入力画像それぞれのサブピクセルレベルでのずれ量、ダウンサンプリング量、およびぼけ量などが含まれる。

　図１５を参照して、劣化情報は、入力画像および超解像処理後の高解像度画像それぞれを１次元のベクトル表現した場合に、その変換を示す行列で規定される。画像処理装置１は、上記ステップＳ１およびＳ２の推定処理にて推定された位置ずれに基づいて超解像処理に用いるパラメーターを算出し、劣化情報として組み込む。

　図１６は、劣化情報の具体例を表わした図である。画像処理装置１は、画素のずれ量が０．２５画素と推定され、ダウンサンプリング量が縦方向および横方向それぞれに１／４であった場合に、図１６に表わされたような劣化情報を規定する。入力画像の内の１画素に対応した１か所と、超解像処理後の高解像度画像の１６か所の１６画素とが対応しているときに、劣化情報には、１６か所に１／１６の係数が記載されている。そのため、画素のずれ量が０．２５画素である場合、高解像度画像の１６画素それぞれに対してはそのずれ量の１／１６分、寄与することになる。

　なお、上記ステップＳ３での超解像処理は、図１４に表わされた処理に限定されるものではなく、複数枚の入力画像から１枚の画像を生成する再構成型超解像処理であれば他の処理が採用されてもよい。図１７は、上記ステップＳ３での超解像処理の他の例を表わした図である。すなわち、図１７を参照して、上記ステップＳ３２で算出される拘束項はＢＴＶ量に替えて、たとえば、４近傍ラプラシアンなどの他のものが用いられてもよい（ステップ＃３２’）。

　［変形例１］
　上記ステップＳ１での位置ずれ概略推定処理は、図９および図１０に表わされた処理に限定されるものではない。すなわち、位置ずれ概略推定処理において、図９および図１０に示された処理では、探索エリアが、基準画像Ｆの視点（レンズＦ）と最も遠い視点（レンズＰ）との間の距離および方向と、環境条件（温度変化）に対して予め規定されている変形率とから特定され、その探索エリアが基準画像Ｆ以外の入力画像Ａ～Ｅ，Ｇ～Ｐのそれぞれに設定されるものとしていた。しかしながら、探索エリアは、基準画像とする入力画像の視点と基準画像以外の入力画像のうちの少なくとも１つの入力画像の視点との位置関係と、環境条件（温度変化）とに基づいて設定されるものであれば、上記の方法以外であってもよい。

　位置ずれ概略推定処理の他の例として、探索エリアが、基準画像とする入力画像の視点と基準画像以外の入力画像それぞれの視点との間の距離および方向と、環境条件（温度変化）とに基づいて設定されてもよい。すなわち、入力画像ごとの画素のずれ量は基準画像からの距離（レンズ２２ａの距離）に応じて大きくなり、またずれる方向はレンズ２２ａの位置関係によって決まる。そのため、入力画像ごとに異なる探索エリアを設定してもよい。

　図１８～図２０は、位置ずれ概略推定処理の第２の例を表わした図である。位置ずれ概略推定処理の第２の例では、図１８の右図に表わされたように、基準画像Ｆの視点（レンズＦ）と視点（レンズ）と間の距離および方向と、温度変化とに基づいて、入力画像ごとに探索エリアが設定される。

　一例として、図１９に表わされたように、温度変化ごとに、基準画像に対する各入力画像における探索エリアが予め規定されており、画像処理装置１は、該当する温度変化に応じた探索エリアを、それぞれの入力画像に設定するようにしてもよい。すなわち、各入力画像の、温度変化による位置ずれがない場合に基準画素Ｓに対応する画素Ｓ’の位置を中心とした、図１９から読み取られた範囲を、探索エリアとして設定してもよい（図１８の右図）。図１８および図１９に示されるように、探索エリアは、基準画像から遠いほど広く、また放射状の方向に長く設定される。なお、図１９のような関係に替えて、予め、温度変化と基準画像に対する各入力画像（の視点）と基づいて探索エリアを算出するための演算式を記憶しておき、画像処理装置１は、その演算式に温度変化と入力画像の視点とを入力することで、入力画像ごとの探索エリアを算出し各入力画像に設定してもよい。この演算式でも、図１８および図１９に示されたように、基準画像から遠いほど広く、また放射状の方向に長い探索エリアが算出されるものとする。このように探索エリアが設定されることで、位置ずれの推定精度を向上させることができると共に、基準画像に近い入力画像については探索エリアを狭くすることができるため、位置ずれの概略推定処理に要する時間を短縮し、処理を高速化することができる。

　なお、探索エリアの方向はこれまで例示されたように入力画像の方向と一致するものに限定されず、図２０に示されたように、異なる方向であってもよい。すなわち、図２０に示されたように、探索エリアは、基準画像からの方向に応じた方向で、各入力画像に設定されてもよい。このように探索エリアが設定されることで、位置ずれの推定精度を向上させることができると共に、基準画像からの方向に応じて放射状の方向に探索エリアを狭くすることができるため、位置ずれの概略推定処理に要する時間を短縮し、処理を高速化することができる。

　図２１～図２４は、位置ずれ概略推定処理の第３の例を表わした図である。位置ずれ概略推定処理の第３の例では、まず、図２１の右図に表わされたように、入力画像群のうちの１つの入力画像を第２の基準画像とし、第２の基準画像での位置ずれの概略推定結果を用いて他の入力画像の探索エリアが設定される。詳しくは、基準画像Ｆの視点（レンズＦ）と第２の基準画像の視点（レンズ）と間の距離および方向と、温度変化とに基づいて、設定された探索エリア内でテンプレートマッチング処理が行なわれることで基準画素Ｓと最も一致度が高い画素として画素Ｔ’が検出される。好ましくは、第２の基準画像としては、基準画像の視点から近い入力画像であって、視点間のベクトルが斜め方向（Ｘ方向、Ｙ方向それぞれ）の成分を有する入力画像が選択される。基準画像Ｆに対しては、好ましくは、入力画像Ａが第２の基準画像として選択される。このようにすることで、後述するようにして各入力画像に対して設定される探索エリアを狭くすることができ、位置ずれの推定精度を向上させることができると共に、処理を高速化することができる。

　次に、図２４に表わされたように、第２の基準画像における画素Ｔ’に基づいて基準画像および第２の基準画像以外の入力画像のそれぞれについて基準画素Ｓと最も一致度が高い画素が推定される（図２４の黒丸）。そして、各入力画像における推定された画素に基づく所定範囲が探索エリアとして設定される（図２４の太点線矩形）。

　より詳しくは、図２２を参照して、第２の基準画像Ａの、基準画像Ｆ上の基準画素Ｓに温度変化による位置ずれがない場合に対応する画素Ｓ”が特定され、画素Ｓ”を中心に、基準画像Ｆと第２の基準画像Ａとの視点間の距離および方向と、温度変化（たとえば±３０℃）による画素の変化量（たとえば１／１０００倍）とから探索エリアが設定される（図２２中の太点線矩形）。その探索エリア内で入力画像Ｆの基準画素Ｓを含む画像を用いてテンプレートマッチング処理が行なわれて、基準画素Ｓと最も一致度が高い画素Ｔ’が基準画素Ｓに対応する位置にある画素として特定される。

　次に、上記の入力画像Ａについての位置ずれ概略推定処理の結果である画素Ｓ”と画素Ｔ’との位置関係に基づいて、各入力画像での、基準画素Ｓと最も一致度が高い画素が特定される。ここでは、一例として、図２３に示されるように、予め、温度変化ごとの、基準画像上の基準画素の各入力画像における位置関係を記憶しておき、その位置関係の一つ（この例では入力画像Ａの位置関係）に上記位置ずれ概略推定処理の結果（画素Ｓ”と画素Ｔ’との位置関係）を代入することで特定される。なお、図２３では各入力画像における位置関係がテーブル形式で表わされているが、入力画像ごとの演算式として記憶されていてもよい。

　図２４を参照して、各入力画像での基準画素Ｓと最も一致度が高い画素が特定されると、その画素に基づく所定範囲が探索エリアとして設定される（太点線矩形）。一例として、上記画素を中心とした、温度変化に応じて予め規定されている範囲が探索エリアとして設定されてもよい。このようにすることで、探索エリアをより狭くすることができるため、位置ずれの推定精度を向上させることができると共に、処理を高速化することができる。

　図２５～図３０は、位置ずれ概略推定処理の第４の例を表わした図である。位置ずれ概略推定処理の第４の例では、温度変化による位置ずれに加えて、基準画像とする入力画像とその他の入力画像との視点（レンズ２２ａ）間の距離に応じて設定される、基準画像からの視差に基づく位置ずれを考慮して探索エリアが設定される。

　図２５は、視差がある場合の各入力画像の具体例を示す図である。図２５の例は、無限遠にある視差のない背景画像（不図示）に、被写体距離５０ｃｍに置かれたりんごが撮影されたときの各入力画像Ａ～Ｐを表わしている。図２５を参照して、背景部分には視差は生じないが、りんご部のみ温度が上がった場合と同様な、（全体として拡大方向の）画素の位置ずれが生じる。

　図２６は、説明を簡易にするために温度変化を考慮せず、視差による位置ずれの推定を行なう場合を説明するための図であり、図２７は、視差による位置ずれの推定する場合に設定される探索エリアの具体例を座標で表した図である。図２６を参照して、視差による位置ずれを推定する場合も、各入力画像の基準画像Ｆ上の基準画素に対応する画素位置（視差なしの場合の画素位置）に対して探索エリア（太点線矩形）を設定し、その探索エリア内でテンプレートマッチング処理を実行することで最も一致度の高い画素が検出される。この場合も、図２７に示されたように、各入力画像における視差用の探索エリア（推定範囲）は予め規定されていてもよいし、予め記憶している演算式を用いて算出してもよい。なお、視差は、画像全体として拡大して見える方向にしか現れないため、視差用の探索エリアは、視差なしの場合の画素位置を端部として設定される。

　図２８は視差と温度変化との双方を考慮して画素の位置ずれを推定する場合の探索エリアの一例を表わす図であり、図２９はその説明のための図である。図２８および図２９を参照して、視差と温度変化との双方を考慮する場合、温度変化による位置ずれを推定する際に設定される探索エリア（第１の探索エリア）と、視差による位置ずれを推定する際に設定される探索エリア（第２の探索エリア）との両エリアを含む（カバーする）範囲が探索エリアとして設定される。

　図３０は、視差と温度変化との双方を考慮して画素の位置ずれを推定する場合に設定される探索エリアの具体例を座標で表した図であって、上記第１の探索エリアとして図１９に表わされた探索エリアが設定され、上記第２の探索エリアとして図２７に表わされた探索エリアが設定された場合の例を表わしている。図３０を参照して、図２９に図示されているように、一例として、この場合、探索エリアは、上記第１の探索エリアと第２の探索エリアとを足し合わせた（外接する）範囲とすることができる。

　なお、上記の探索エリアもまた、たとえば実際のレンズ２２ａ間の距離等の設計値からのずれを考慮して、上記第１の探索エリアと第２の探索エリアとをカバーする範囲から設定されるエリアよりも広いエリアが設定されてもよい。また、図２０で表わされたように入力画像の方向とは一致しない方向に設定されてもよいし、位置ずれ概略推定処理の第３の例で説明されたように、入力画像群のうちの１つの入力画像を第２の基準画像とし、第２の基準画像での位置ずれの概略推定結果を用いて他の入力画像の探索エリアを設定するようにしてもよい。

　［変形例２］
　第２の変形例として、画像処理装置１は、図５および図７に表わされたそれぞれの入力画像におけるぼけ度合いをさらに考慮して超解像処理を行なうようにしてもよい。

　図３１は、第２の変形例にかかる画像処理装置１の構成の基本的構成を示すブロック図である。

　図３１を参照して、画像処理装置１の第２推定部３２２は、図１の構成に加えて、ぼけ度合い推定処理を行なうためのぼけ度合い推定部３２３を含む。ぼけ度合い推定部３２３は、第２の位置ずれ推定処理の際にぼけ度合い推定処理を行なって、入力画像それぞれについて、基準画像からのぼけ度合いを推定する。

　第２の変形例にかかる画像処理装置１では、上記ステップＳ２でサブピクセル単位（小数画素）でのずれ量が推定される際に、ぼけ度合いも推定される。そして、上記ステップＳ３では、位置ずれ量およびぼけ度合いを考慮して超解像処理が実行される。

　図３２～図３６は、第２の変形例にかかる画像処理装置１で上記ステップＳ２で実行される、ぼけ度合いもさらに行なう場合の位置ずれ推定処理を説明するための図である。図３２を参照して、第２の変形例での上記ステップＳ２では、基準画像として、入力画像Ｆ中の基準画素Ｓを含む範囲の画像の他に、その画像にぼけ度合いに応じたぼけを付加した画像が生成され、それぞれがテンプレートマッチング処理に用いられる。そして、これらぼけ度合いの異なる複数の基準画像を用いたテンプレートマッチング処理の結果、最も一致度（ＮＣＣ度）の高い基準画像と参照画像中の位置とで、サブピクセル単位での位置ずれが推定されると共に、ぼけ度合いも推定される。

　図３２の例では、「ぼけ度」０として入力画像Ｆ中の画像の他、「ぼけ度」１として入力画像Ｆ中の画像にぼけを付加した画像と、「ぼけ度」２としてぼけを付加した画像とが、それぞれ基準画像として生成され、用いられる。これら基準画像を用いた、画素Ｔに基づく規定範囲（点線矩形）での各テンプレートマッチング処理の結果、画素ごとの一致度（たとえばＮＣＣ値）が最も高い画素の座標がずれ量として特定されると共に、そのときの基準画像の示すぼけ度合いが、入力画像Ｐのその位置での、基準画像とされた入力画像に対するぼけ度合いと推定される。

　これは、参照画像が基準画像よりもぼけている場合には、ぼかした基準画像（図３２の例では、「ぼけ度」２の基準画像）の方が参照画像と似てくるため、ぼけ度合いが推定できることになるためである。すなわち、ぼけ度合いが似た画像間で上記の位置ずれ推定処理を行なう方が画像同士の類似性が高くなるため、画素の推定精度が高くなるためである。

　なお、ぼけを付加した画像の生成方法の一例として、入力画像Ｆに対して平滑化フィルターを適用する方法が挙げられる。平滑化フィルターとしては、たとえば、ガウシアンフィルターや平均化フィルターなどが挙げられる。以下の説明では、ガウシアンフィルターを用いる場合を例に挙げる。ガウシアンフィルターとは、以下の式（１）に座標値（ｘ，ｙ）とぼけ度合いを表わす定数σとを代入することで得られる：
　　ｆ（ｘ，ｙ）＝ｅｘｐ｛－（ｘ²＋ｙ²）／２／σ²｝／２π／σ²　…式（１）。

　すなわち、図３３を参照して、「ぼけ度」１の基準画像を生成するためには、定数σをσ＝０．４としてガウシアンフィルターの係数が算出される。このとき、フィルターの係数の合計が１になるように正規化される。この係数のフィルターが「ぼけ度」０の基準画像である入力画像Ｆに適応されることにより、ぼけ度合いの異なる（「ぼけ度」１の）基準画像が生成される。さらに、よりぼけ方の進んだ「ぼけ度」２の基準画像を生成するためには、図３３に示された方法と同様に、定数σをσ＝０．６としてガウシアンフィルターの係数が算出される。

　なお、図３３ではフィルターのサイズが３×３画素である例が示されているが、定数σの選び方によってサイズが異なってもよい。フィルター係数が０に近い（たとえば、０．０１以下）と、フィルター処理にほとんど影響しなくなるので、実際のフィルター係数からフィルターサイズを決定するものとする。

　「ぼけ度」０の基準画像と、「ぼけ度」１の基準画像と、「ぼけ度」２の基準画像とのそれぞれを用いてパターンマッチング処理を行なった場合の、参照画像の画素Ｔに基づく規定範囲（画素Ｔの周辺８画素を含む９画素分の領域）の各画素についての一致度であるＮＣＣ値が、それぞれ、図３４～図３６のように得られたものとする。この場合、「ぼけ度」２の基準画像を用いたときの中央の画素のＮＣＣ値がこれらの中で最も高い値であるため、この画素に基づいて位置ずれ量が推定されると共に、「ぼけ度」２がこの参照画像のぼけ度合いであると推定される。

　第２の変形例では、上記ステップＳ３の超解像処理に先だって、推定されたぼけ度合いを用いて超解像処理に用いるパラメーターが算出される、超解像処理では、超解像後の画素ピッチに応じたパラメーターが必要となる。そのため、上記ステップＳ２の位置ずれ推定処理に用いられた、入力画像の画素ピッチに応じた平滑化フィルター（ガウシアンフィルター）の係数が、入力画像と出力画像との画素ピッチに応じて換算される。

　具体例として、上述のように、ぼけを付加するためにガウシアンフィルターが用いられる場合、超解像処理に用いられるパラメーターとしてＰＳＦ（Point　Spread　Function）を用いる。図３７は、上記ステップＳ３の超解像処理に先だって行なわれる、パラメーター算出のための処理を表わすフローチャートである。すなわち、図３７を参照して、はじめに、入力画像ごとに、上記ステップＳ２の位置ずれ推定処理で最もＮＣＣ値の高かった基準画像のぼけの付加に用いられたガウシアンフィルターの係数が、超解像処理後の画像の画素ピッチに換算され（ステップ＃１１）、ＰＳＦが算出される（ステップ＃１２）。

　図３８は、上記ステップ＃１１でのガウシアンフィルターの係数の換算方法を説明するための図である。図３９は、上記ステップ＃１２でのＰＳＦの算出方法を説明するための図である。

　図３８では超解像処理で縦横３倍の画素数にするとした場合のガウシアンフィルターの係数の換算方法が表わされている。超解像処理で縦横３倍の画素数にすることは、入力画像を１／３画素ピッチで細かくすることに相当する。そのため、ぼけを付加するために用いられたガウシアンフィルター（たとえば図３３）の１／３画素間隔で係数を算出する必要がある。

　このとき、ぼけ度合いを表わす定数σは同じ値を用いる。つまり、σ＝０．４の場合には、図３８に表わされたように、１／３画素間隔とされた座標値（ｘ，ｙ）と「ぼけ度」１を表わす定数σ＝０．４とを上記式（１）に代入することで係数が算出される。なお、ここでは座標値（ｘ，ｙ）の最大値を１としているが、定数σが大きくなると１．３３や１．６７などの１以上の座標値でのフィルター係数が無視できない数値となる。そのため、その場合には、図３８に示された例より大きなフィルターサイズで係数を算出する。なお、図１４～図１６のように、超解像の劣化情報でダウンサンプリング量が１／４の場合には、ガウシアンフィルターの係数は、１／４画素間隔で算出する。

　次に、図３９を参照して、レンズの設計値などに基づいて「ぼけ度」０の超解像画像の画素ピッチで定義されたＰＳＦを図３９の上図のように定義されたとする。そして、この係数を画素と同様に扱って図３８の換算されたガウシアンフィルターを適用することにより、「ぼけ度」１に対応するパラメーターであるＰＳＦが算出される。なお、この場合も、フィルター係数の合計が１になるように、正規化する。入力画像ごと、またはその部分領域ごとにこのようにして算出されたパラメーターを用いて劣化情報を規定し、上記ステップＳ３で超解像処理が実行される。

　＜実施の形態の効果＞
　本実施の形態にかかる画像処理装置１は上記処理を実行することで、入力画像ごとの、環境条件（温度変化等）による画素の位置ずれに応じて、入力画像群に対して超解像処理を行なうことができる。これにより、超解像処理後の高解像度画像のそれぞれの入力画像における画素の位置ずれによる画質の劣化を抑えることができる。

　また、画像処理装置１は、画素の位置ずれを検出する際に、基準画像とする入力画像の視点（レンズ）と基準画像以外の入力画像のうちの少なくとも１つの入力画像の視点（レンズ）との位置関係と、環境条件とに基づいて探索エリアを設定するため、効率のよい探索を可能として処理速度を向上させつつ、位置ずれの推定精度も向上させることができる。

　さらに、画像処理装置１は、位置ずれ推定処理において入力画像ごとのぼけ度合いも推定することで、さらに、入力画像ごとの、入力画像群のうちの１枚の基準画像に対するぼけ度合いに応じて、入力画像群に対して超解像処理を行なうことができる。これにより、超解像処理後の高解像度画像のそれぞれの入力画像のぼけ度合いの異なりによる画質の劣化もさらに抑えることができる。

　今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

　１　画像処理装置、２　撮像部、３　画像処理部、４　画像出力部、２２　カメラ、２２ａ　レンズ、２２ｂ　撮像素子、２４　変換部、３２　位置ずれ推定部、３６　超解像処理部、１００　デジタルカメラ、１０４　デジタル処理回路、１０６　画像処理回路、１０８　画像表示部、１１２　記憶部、１１４　カメラ部、２００　パーソナルコンピューター、２０２　パーソナルコンピューター本体、２０４　画像処理プログラム、２０６　モニター、２０８　マウス、２１０　キーボード、２１２　外部記憶装置、３２１　第１推定部、３２２　第２推定部、３２３　ぼけ度合い推定部、３２４　設定部、３６１　算出部。

Claims (11)

1. 　それぞれが共通する部分領域を有する多視点の入力画像群から、前記入力画像よりも高い周波数情報を持つ高解像度画像を作成して出力する画像処理装置であって、
   　前記画像処理装置のコントローラーは、
   　前記入力画像群のうちの１つの入力画像を基準画像とし、前記基準画像以外の入力画像ごとに、環境条件に基づく前記基準画像に応じた探索エリアを設定するための設定部と、
   　前記基準画像を用いて前記探索エリア内でテンプレートマッチング処理を行なうことで、前記基準画像以外の入力画像ごとの前記基準画像に対する位置ずれを推定するための推定部と、
   　前記入力画像について、推定された前記位置ずれをパラメーターとして用いて超解像処理を実行するための処理部とを備える、画像処理装置。
2. 　前記設定部は、前記基準画像とする入力画像の視点と前記基準画像以外の入力画像のうちの少なくとも１つの入力画像の視点との位置関係と、前記環境条件とに基づいて前記探索エリアを設定する、請求項１に記載の画像処理装置。
3. 　前記設定部は、前記基準画像の視点と前記多視点のうちの最も遠い視点との間の距離および方向と、前記環境条件に対して予め規定されている変形率とから特定した前記探索エリアを、前記基準画像以外の入力画像のそれぞれに設定する、請求項２に記載の画像処理装置。
4. 　前記設定部は、前記基準画像とする入力画像の視点と前記基準画像以外の入力画像それぞれの視点との間の距離および方向と、前記環境条件とに基づいて前記探索エリアを設定する、請求項２に記載の画像処理装置。
5. 　前記設定部は、前記基準画像の視点との位置関係に応じて選択された前記基準画像以外の入力画像のうちの１つの入力画像を第２の基準画像とし、前記第２の基準画像について推定された位置ずれに基づいて、前記基準画像および前記第２の基準画像以外の入力画像ごとに前記探索エリアを設定する、請求項２に記載の画像処理装置。
6. 　前記設定部は、前記環境条件に基づく前記基準画像に応じた前記探索エリアを第１の探索エリアとし、前記第１の探索エリアと、前記基準画像とする入力画像の視点から前記基準画像以外の入力画像それぞれの視点までの距離に応じて設定される、前記基準画像からの視差に基づく位置ずれを探索するための第２の探索エリアとを含むエリアを前記探索エリアとして設定する、請求項１～５のいずれかに記載の画像処理装置。
7. 　前記設定部は、前記入力画像群のうちの、前記多視点の中で内側に配置された視点の入力画像を前記基準画像とする、請求項１～６のいずれかに記載の画像処理装置。
8. 　前記基準画像に対してぼけ度合いに応じたぼけを付加して生成して前記テンプレートマッチング処理を行なうことで、前記入力画像のぼけ度合いを推定するためのぼけ度合推定部をさらに備え、
   　前記処理部は、推定された前記ぼけ度合いもさらにパラメーターとして用いて前記超解像処理を実行する、請求項１～７のいずれかに記載の画像処理装置。
9. 　前記入力画像群は、互いに光軸が異なる複数レンズを含んだレンズアレイで得られる画像群である、請求項１～８のいずれかに記載の画像処理装置。
10. 　それぞれが共通する部分領域を有する多視点の入力画像群から、前記入力画像よりも高い周波数情報を持つ高解像度画像を出力画像として生成する方法であって、
    　前記入力画像群のうちの１つの入力画像を基準画像とし、前記基準画像以外の入力画像ごとに、環境条件に基づく前記基準画像に応じた探索エリアを設定するステップと、
    　前記基準画像を用いて前記探索エリア内でテンプレートマッチング処理を行なうことで、前記基準画像以外の入力画像ごとの前記基準画像に対する位置ずれを推定するステップと、
    　前記入力画像について、推定された前記位置ずれをパラメーターとして用いて超解像処理を実行するステップとを備える、画像処理方法。
11. 　コンピューターに、それぞれが共通する部分領域を有する多視点の入力画像群から、前記入力画像よりも高い周波数情報を持つ高解像度画像を出力画像として生成する処理を実行させるプログラムであって、
    　前記入力画像群のうちの１つの入力画像を基準画像とし、前記基準画像以外の入力画像ごとに、環境条件に基づく前記基準画像に応じた探索エリアを設定するステップと、
    　前記基準画像を用いて前記探索エリア内でテンプレートマッチング処理を行なうことで、前記基準画像以外の入力画像ごとの前記基準画像に対する位置ずれを推定するステップと、
    　前記入力画像について、推定された前記位置ずれをパラメーターとして用いて超解像処理を実行するステップとを前記コンピューターに実行させる、画像処理プログラム。

Images