JPWO2014192642A1 - 画像処理装置および画像処理方法 - Google Patents

Abstract

画像処理部（１）は、それぞれが共通する部分領域を有する多視点の入力画像群のうちの１つの入力画像を基準画像とし、基準画像上の１画素の、基準画像以外の入力画像での対応する画素を推定する対応点探索を行なう。画像処理部は、基準画像以外の入力画像の上記１画素に対応する位置から、基準画像の視点と基準画像以外の入力画像の視点とのなす方向に対応した方向で第１のピッチでテンプレートマッチングを行なうことで上記１画素に対応する画素を推定するための第１推定部（３２１）と、推定された画素に対して第１のピッチよりも細かい第２のピッチでテンプレートマッチングを行なうことで上記１画素に対応する画素を推定するための第２推定部（３２２）とを備える。

Description

この発明は画像処理装置および画像処理方法に関し、特に、対応点探索を行なう画像処理装置および画像処理方法に関する。

それぞれが共通する部分領域を有する多視点の入力画像間の対応点を探索し、各視点から対象物までの距離を算出し、その距離に応じて視差量を補正する画像処理の手法がある。たとえば、特開２０００−２８３５５号公報（以下、特許文献１）は、エピポーラ線のずれを検出することで、視差推定ミスを減らす技術を開示している。また、特開平９−１５３１４８号公報（以下、特許文献２）は、移動、回転、倍率変換などを行なって、最もエピポーラ線の平行化された条件を探す技術を開示している。また、特開２０１２−１０７９７１号公報（以下、特許文献３）は、対応点の探索を、粗い検索と、近くの被写体についての細かい探索との２段階で行なう技術を開示している。

特開２０００−２８３５５号公報 特開平９−１５３１４８号公報 特開２０１２−１０７９７１号公報

上記特許文献１〜３は対応点探索の精度を向上させるものではあるが、高速化のニーズには対応することができない。

本発明はこのような問題に鑑みてなされたものであって、高速かつ高精度で対応点を探索することのできる画像処理装置および画像処理方法を提供することを目的としている。

上記目的を達成するために、本発明のある局面に従うと、画像処理装置は、それぞれが共通する部分領域を有する多視点の入力画像群のうちの１つの入力画像を基準画像とし、基準画像上の１画素の、基準画像以外の入力画像での対応する画素を推定する画像処理装置であって、基準画像以外の入力画像の１画素に対応する位置から、基準画像の視点と基準画像以外の入力画像の視点とのなす方向に対応した方向で第１のピッチでテンプレートマッチングを行なうことで、上記１画素に対応する画素を推定するための第１の推定部と、第１の推定部で推定された画素に対して、第１のピッチよりも細かい第２のピッチでテンプレートマッチングを行なうことで、上記１画素に対応する画素を推定するための第２の推定部とを備える。

好ましくは、第２の推定部は、第１の推定部で用いるテンプレートのサイズ以下のサイズのテンプレートを用いてテンプレートマッチングを行なう。

好ましくは、画像処理装置は、上記１画素と第２の推定部で推定された上記１画素に対応する画素との間のずれに基づいて、小数画素でのずれ量を推定するための第３の推定部をさらに備える。

好ましくは、上記１画素と基準画像以外の入力画像の上記１画素に対応する画素との間のずれに基づいて、基準画像の視点から被写体までの距離を算出する処理を実行するための処理部をさらに備える。

より好ましくは、処理部は、基準画像以外の複数の入力画像それぞれのずれを加算することで、基準画像の視点から被写体までの距離を算出する。

より好ましくは、処理部は、基準画像以外の複数の入力画像それぞれのずれから補正量を算出し、それぞれのずれを補正する。

好ましくは、画像処理装置は、基準画像以外の入力画像について、上記１画素と基準画像以外の入力画像の上記１画素に対応する画素との間のずれをパラメーターとして用いて超解像処理を実行するための処理部をさらに備える。

好ましくは、画像処理装置は、入力画像のそれぞれに対して、前処理として歪曲補正と平行化処理とを行なうための前処理部をさらに備える。

本発明の他の局面に従うと、画像処理方法は、それぞれが共通する部分領域を有する多視点の入力画像群のうちの１つの入力画像を基準画像とし、基準画像上の１画素の、基準画像以外の入力画像での対応する画素を推定する方法であって、基準画像以外の入力画像の上記１画素に対応する位置から、基準画像の視点と基準画像以外の入力画像の視点とのなす方向に対応した方向で第１のピッチでテンプレートマッチングを行なうことで、上記１画素に対応する画素を推定するステップと、推定された画素に対して、第１のピッチよりも細かい第２のピッチでテンプレートマッチングを行なうことで、上記１画素に対応する画素を推定するステップとを備える。

本発明のさらに他の局面に従うと、画像処理プログラムは、コンピューターに、それぞれが共通する部分領域を有する多視点の入力画像群のうちの１つの入力画像を基準画像とし、基準画像上の１画素の、基準画像以外の入力画像での対応する画素を推定する処理を実行させるプログラムであって、基準画像以外の入力画像の上記１画素に対応する位置から、基準画像の視点と基準画像以外の入力画像の視点とのなす方向に対応した方向で第１のピッチでテンプレートマッチングを行なうことで、上記１画素に対応する画素を推定するステップと、推定された画素に対して、第１のピッチよりも細かい第２のピッチでテンプレートマッチングを行なうことで、上記１画素に対応する画素を推定するステップとをコンピューターに実行させる。

この発明によると、高速かつ高精度で対応点を探索することができる。

実施の形態にかかる画像処理装置の構成の基本的構成を示すブロック図である。 画像処理装置を具現化したデジタルカメラの構成を示すブロック図である。 画像処理装置を具現化したパーソナルコンピューターの構成を示すブロック図である。 アレイカメラであるカメラに含まれるレンズと撮像センサーである撮像素子との関係を表わした概略図である。 カメラに含まれるレンズの配置の具体例を表わした図である。 アレイレンズの温度変化によるピッチ変化の理想的な状態を表わした概略図である。 温度変化によるレンズの位置ずれの測定結果を表わした図である。 温度変化がない場合の、基準レンズと周囲のレンズとのずれを比較するための図である。 図８の場合のずれの方向を説明するための図である。 温度変化がある場合の、基準レンズと周囲のレンズとのずれを比較するための図である。 図１０の場合のずれの方向を説明するための図である。 第１の実施の形態にかかる画像処理装置での動作の流れを表わすフローチャートである。 図１２のステップＳ１での位置ずれ推定処理の第１の例を説明するための図である。 図１２のステップＳ１での位置ずれ推定処理の第１の例を説明するための図である。 図１２のステップＳ２のサブピクセル単位（小数画素）での位置ずれを推定する処理を説明するための図である。 図１２のステップＳ２のサブピクセル単位（小数画素）での位置ずれを推定する処理を説明するための図である。 入力画像ごとの基準画像に対する対応画素のずれ量を画素値（色の濃淡）として表わした図である。 温度変化がある場合（Ａ）とない場合（Ｂ）との、距離画像の具体例を表わした図である。 図１２のステップＳ４のリフォーカス処理のうちの準備処理の流れを表わした図である。 リフォーカス処理の流れを表わした図である。 リフォーカス画像の具体例を表わした図である。 リフォーカス画像の具体例を表わした図である。 リフォーカス画像の具体例を表わした図である。 第２の実施の形態にかかる画像処理装置での動作の流れを表わすフローチャートである。 図２４のステップＳ１’での位置ずれ推定処理の第１の例を説明するための図である。 図２４のステップＳ１’での位置ずれ推定処理の第２の例を説明するための図である。 図２４のステップＳ５での超解像処理の流れを表わした図である。 図２７のステップ＃３３で用いられる劣化情報を説明するための図である。 図２７のステップ＃３３での処理を説明するための図である。 図２７のステップ＃３３での処理を説明するための図である。 図２７のステップ＃３３での処理を説明するための図である。 図２７のステップ＃３３での処理を説明するための図である。 図２７のステップ＃３３での処理を説明するための図である。 図２７のステップ＃３３の残差算出処理の一例を表わしたフローチャートである。 図２４のステップＳ５での超解像処理の他の例を表わした図である。 第３の実施の形態にかかる画像処理装置での動作の流れを表わすフローチャートである。 図３６のステップＳ７での合成処理について説明するための図である。 図３６のステップＳ７での合成処理の他の例について説明するための図である。 第４の実施の形態にかかる画像処理装置での動作の流れを表わすフローチャートである。 図３９のステップＳ８での位置ずれ量を補正する方法を説明するための図である。 図３９のステップＳ８での位置ずれ量を補正する方法を説明するための図である。 図３９のステップＳ８での位置ずれ量を補正する方法を説明するための図である。 図３９のステップＳ９での間違いデータを抽出する方法を説明するための図である。 図３９のステップＳ９での間違いデータを抽出する方法を説明するための図である。 図３９のステップＳ９での間違いデータを抽出する方法を説明するための図である。 間違いデータを抽出した距離画像の具体例を表わした図である。 カメラに含まれるレンズの他の例を表わした図である。 カメラに含まれるレンズの他の例を表わした図である。

以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらの説明は繰り返さない。

＜システム構成＞
図１は、本実施の形態にかかる画像処理装置１の構成の基本的構成を示すブロック図である。

図１を参照して、画像処理装置１は、撮像部２と、画像処理部３と、画像出力部４とを含む。図１に示す画像処理装置１においては、撮像部２が被写体を撮像することで画像（以下、「入力画像」とも称する）を取得し、画像処理部３がこの取得された入力画像に対して後述するような画像処理を行なう。そして、画像出力部４は、画像処理後の画像を表示デバイスなどへ出力する。

撮像部２は、対象物（被写体）を撮像して入力画像を生成する。より具体的には、撮像部２は、カメラ２２と、カメラ２２と接続されたＡ／Ｄ（Analog to Digital）変換部２４とを含む。Ａ／Ｄ変換部２４は、カメラ２２により撮像された被写体を示す入力画像を出力する。

カメラ２２は、被写体を撮像するための光学系であって、アレイカメラである。すなわち、カメラ２２は、格子状に配置された視点の異なるＮ個のレンズ２２ａ−１〜２２ａ−ｎ（これらを代表させて、レンズ２２ａとも称する）と、撮像素子（イメージセンサー）２２ｂとを含む。

Ａ／Ｄ変換部２４は、撮像素子２２ｂから出力される被写体を示す映像信号（アナログ電気信号）をデジタル信号に変換して出力する。撮像部２はさらに、カメラ各部分を制御するための制御処理回路などを含み得る。

画像処理部３は、位置ずれ推定処理を行なうことで対応点を探索するための位置ずれ推定部３２と、後述する画像処理を行なうための処理部３３とを含む。好ましくは、画像処理部３は、入力された画像に対して前処理として歪曲補正および平行化処理を実行するための前処理部３１を含む。

位置ずれ推定部３２は、ピクセル（整数画素）単位でのずれ量を推定する処理のうちの第１段階の「粗い」推定処理を行なうための第１推定部３２１と、ピクセル単位でのずれ量を推定する処理のうちの第２段階の推定処理を行なうための第２推定部３２２とを含む。好ましくは、位置ずれ推定部３２は、さらに、サブピクセル（小数画素）単位でのずれ量を推定する処理を行なうための第３推定部３２３を含む。

図１に示す画像処理装置１は、各部を独立の装置で具現化したシステムとして構成することもできるが、汎用的には、以下に説明するデジタルカメラやパーソナルコンピューターなどとして具現化される場合が多い。そこで、本実施の形態に従う画像処理装置１の具現化例として、デジタルカメラでの具現化例とＰＣ（パーソナルコンピューター）での具現化例とについて説明する。

図２は、図１に示す画像処理装置１を具現化したデジタルカメラ１００の構成を示すブロック図である。図２において、図１に示す画像処理装置１を構成するそれぞれのブロックに対応するコンポーネントには、図１と同一の参照符号を付している。

図２を参照して、デジタルカメラ１００は、ＣＰＵ（Central Processing Unit）１０２と、デジタル処理回路１０４と、画像表示部１０８と、カードインターフェイス（Ｉ／Ｆ）１１０と、記憶部１１２と、カメラ部１１４とを含む。

ＣＰＵ１０２は、予め格納されたプログラムなどを実行することで、デジタルカメラ１００の全体を制御する。デジタル処理回路１０４は、本実施の形態に従う画像処理を含む各種のデジタル処理を実行する。デジタル処理回路１０４は、典型的には、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＬＳＩ（Large Scale Integration）、ＦＰＧＡ（Field-Programmable Gate Array）などによって構成される。このデジタル処理回路１０４は、図１に示す画像処理部３が提供する機能を実現するための画像処理回路１０６を含む。

画像表示部１０８は、カメラ部１１４により提供される入力画像、デジタル処理回路１０４（画像処理回路１０６）によって生成される出力画像、デジタルカメラ１００に係る各種設定情報、および、制御用ＧＵＩ（Graphical User Interface）画面などを表示する。

カードインターフェイス（Ｉ／Ｆ）１１０は、画像処理回路１０６によって生成された画像データを記憶部１１２へ書き込み、あるいは、記憶部１１２から画像データなどを読み出すためのインターフェイスである。記憶部１１２は、画像処理回路１０６によって生成された画像データや各種情報（デジタルカメラ１００の制御パラメーターや動作モードなどの設定値）を格納する記憶デバイスである。この記憶部１１２は、フラッシュメモリ、光学ディスク、磁気ディスクなどからなり、データを不揮発的に記憶する。

カメラ部１１４は、被写体を撮像することで入力画像を生成する。
図２に示すデジタルカメラ１００は、本実施の形態に従う画像処理装置１の全体を単体の装置として実装したものである。すなわち、ユーザーは、デジタルカメラ１００を用いて被写体を撮像することで、画像表示部１０８において高解像度の画像を視認することができる。

図３は、図１に示す画像処理装置１を具現化したパーソナルコンピューター２００の構成を示すブロック図である。図３に示すパーソナルコンピューター２００は、本実施の形態に従う画像処理装置１の一部を単体の装置として実装したものである。図３に示すパーソナルコンピューター２００では、入力画像を取得するための撮像部２が搭載されておらず、任意の撮像部２によって取得された入力画像が外部から入力される構成となっている。このような構成であっても、本発明の実施の形態に従う画像処理装置１に含まれ得る。なお、図３においても、図１に示す画像処理装置１を構成するそれぞれのブロックに対応するコンポーネントには、図１と同一の参照符号を付している。

図３を参照して、パーソナルコンピューター２００は、パーソナルコンピューター本体２０２と、モニター２０６と、マウス２０８と、キーボード２１０と、外部記憶装置２１２とを含む。

パーソナルコンピューター本体２０２は、典型的には、汎用的なアーキテクチャーに従う汎用コンピューターであり、基本的な構成要素として、ＣＰＵ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを含む。パーソナルコンピューター本体２０２は、図１に示す画像処理部３が提供する機能を実現するための画像処理プログラム２０４が実行可能になっている。このような画像処理プログラム２０４は、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などの記憶媒体に格納されて流通し、あるいは、ネットワークを介してサーバー装置から配信される。そして、画像処理プログラム２０４は、パーソナルコンピューター本体２０２のハードディスクなどの記憶領域内に格納される。

このような画像処理プログラム２０４は、パーソナルコンピューター本体２０２で実行されるオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち必要なモジュールを、所定のタイミングおよび順序で呼出して処理を実現するように構成されてもよい。この場合、画像処理プログラム２０４自体には、ＯＳが提供するモジュールは含まれず、ＯＳと協働して画像処理が実現される。また、画像処理プログラム２０４は、単体のプログラムではなく、何らかのプログラムの一部に組込まれて提供されてもよい。このような場合にも、画像処理プログラム２０４自体には、当該何らかのプログラムにおいて共通に利用されるようなモジュールは含まれず、当該何らかのプログラムと協働して画像処理が実現される。このような一部のモジュールを含まない画像処理プログラム２０４であっても、本実施の形態に従う画像処理装置１の趣旨を逸脱するものではない。

もちろん、画像処理プログラム２０４によって提供される機能の一部または全部を専用のハードウェアによって実現してもよい。

モニター２０６は、オペレーティングシステム（ＯＳ）が提供するＧＵＩ画面、画像処理プログラム２０４によって生成される画像などを表示する。

マウス２０８およびキーボード２１０は、それぞれユーザー操作を受付け、その受付けたユーザー操作の内容をパーソナルコンピューター本体２０２へ出力する。

外部記憶装置２１２は、何らかの方法で取得された入力画像を格納しており、この入力画像をパーソナルコンピューター本体２０２へ出力する。外部記憶装置２１２としては、フラッシュメモリ、光学ディスク、磁気ディスクなどのデータを不揮発的に記憶するデバイスが用いられる。

図４は、アレイカメラであるカメラ２２に含まれるレンズ２２ａと撮像センサーである撮像素子２２ｂとの関係を表わした概略図である。図４を参照して、レンズ２２ａは、入光を焦点に集めることで光学像を形成する。撮像素子２２ｂはレンズ２２ａの焦点に位置するように配置される。そのため、レンズ２２ａは撮像素子２２ｂに光学像を形成する。撮像素子２２ｂは、レンズ２２ａにより形成された光学像を電気信号に変換して、Ａ／Ｄ変換部２４に対して出力する。

図５は、カメラ２２に含まれるレンズ２２ａの配置の具体例を表わした図である。図５の例では、一例として、カメラ２２が、格子状に配置された９個のレンズ２２ａ−１〜２２ａ−９（レンズＡ〜Ｉ）を含むアレイカメラであるものとする。図５のレンズＡ〜Ｉの間隔（基線長）は、縦方向および横方向ともに均一であるものとする。なお、カメラ２２で撮影したときの、カメラ２２からの入力画像Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉは、それぞれ、レンズＡ〜Ｉからの入力画像であることを表わすものとする。

［第１の実施の形態］
＜動作概要＞
（レンズへの環境変化の影響の説明）
図６〜図１１は、レンズ２２ａがプラスチックアレイレンズであるときの環境条件の変化の一例としての温度変化の影響を説明するための図である。プラスチックアレイレンズであるレンズ２２ａの温度変化による影響の１つに、レンズ２２ａ間のピッチ（間隔）が変化し、画素位置がずれることが挙げられる。

図６は、アレイレンズの温度変化によるピッチ変化の理想的な状態を表わした概略図である。すなわち、図６に示されたように、温度変化によってアレイレンズは、理想的には、中央のレンズＥを中心として放射状に、つまり、各レンズからの入力画像の視差の方向（レンズの配置方向）に、均等に伸び縮みすることが予想される。

これに対して、図７は、実際のレンズごとの位置ずれの測定結果を表わした図である。図７は、図５に示した３×３で配置された９眼のレンズアレイを用い、四隅に配置されたレンズＡ，Ｃ，Ｇ，Ｉそれぞれについて、２４℃の状態を基準として、４３℃、６４℃、および８１℃に変化させたときの位置ずれの測定結果を示している。図７に示されたように実際のレンズは、レンズごとに変形量が異なり、アレイレンズ全体として非対称に変形することが分かる。なお、どのように非対称に変形するかについても個体ごとに異なる。

図８および図１０は、レンズアレイのうちのレンズＥ（中央のレンズ）を基準レンズとして、基準レンズと周囲のレンズとのずれを比較するための図である。図８は温度変化がない場合のずれを表わし、図１０は温度変化がある場合のずれを表わしている。

図８を参照して、温度変化がない場合には、無限遠ではずれがなく、近くの被写体ほどずれが大きく現れる。図９は、図８の場合のずれの方向を説明するための図である。すなわち、図８の場合のずれは、図９に表わされたようにレンズ２２ａの配置方向に沿った方向（レンズ２２ａの中央画素と基準レンズの中央画素とを結んだ方向）に現れる。たとえば、左上のレンズＡの場合には、ずれ方向は左上方向となる。なお、図８は、ステレオキャリブレーションとして歪曲補正および平行化処理を行なっている。また、視差の現れる方向（エピポールライン）は、個眼の配置に沿うものとしている。ただし、歪曲収差が小さいレンズを光軸が平行になるように配置したアレイの場合、歪曲補正や平行化処理による補正効果が小さいため、処理を行なわなくてもよい。

これに対して、温度変化がある場合には、図１０に示されたように、変形の影響がレンズ２２ａごとに不均等に現れる。すなわち、レンズ２２ａごとにずれる方向もずれ量も異なってくる。図１１は、図１０の場合のずれの方向を説明するための図である。図１１の破線の矢印は温度変化によってずれの現れる方向を表わし、実線の矢印はカメラ２２から被写体までの距離により現れる視差の方向を表わしている。図１１を参照して、温度変化によるずれの現れる方向（破線矢印）は、被写体の距離により現れる視差の方向（実線矢印）に近いが、多少異なっていることがわかる。各画像には、この２つの方向のずれが合成されて、現れることになる。すなわち、図１０の場合のずれの方向は、変形が非対称であるためにエピポールラインとは多少異なる方向となる。

（動作概要）
第１の実施の形態にかかる画像処理装置１は、カメラ２２に対して環境変化の一例としての温度変化があった場合であっても、入力画像を用いて画像処理の一例としてのリフォーカス処理を行なう。

＜動作フロー＞
（全体動作）
図１２は、本実施の形態にかかる画像処理装置１での動作の流れを表わすフローチャートである。図１２を参照して、まず、画像処理装置１では図５に表わされたレンズ２２ａそれぞれで入力画像を取得する処理が実行されることで９枚の入力画像が取得される。ここでは、たとえば５００×５００画素程度の解像度の画像が入力されるものとする。

入力画像が取得されると、ピクセル単位（整数画素）での位置ずれを推定する処理が実行される（ステップＳ１）。ステップＳ１では、環境変化（温度変化等）や部材の変形などによる位置ずれが推定される。次に、好ましくは、サブピクセル単位（小数画素）での位置ずれを推定する処理が実行される（ステップＳ２）。ステップＳ２での推定は後述する距離の推定精度を向上させるものではあるが、必須ではない。そして、位置ずれ量を考慮して視点から被写体までの距離が算出され（ステップＳ３）、その距離をパラメーターとして用いて距離に応じたぼけを付加することで、画像処理としてのリフォーカス処理が実行される（ステップＳ４）。なお、リフォーカス処理では距離が相対的に把握されればよい（距離の違いが認識できればよい）ため、ステップＳ３の距離算出では、必ずしも実際の距離の算出まで必要とはされず、相対的な距離、つまり、距離の違いを認識できる単位で算出されればよい。たとえば、距離の逆数や、視差を変換した数値でもよく、この説明ではそのような算出を距離算出と称する。リフォーカス処理後の画像が出力画像として生成される。

（位置ずれ推定）
ステップＳ１の位置ずれ推定処理は、第１段階の推定処理として、参照画像に対して、基準画像の視点と算出画像の視点とのなす方向に対応した方向で、粗いピッチでテンプレートマッチングを行なう推定処理（＃１）と、第２段階の推定処理として第１段階でのピッチよりも細かいピッチでテンプレートマッチングを行なう推定処理（＃２）とを含む。図１３および図１４は、それぞれ、ステップＳ１での位置ずれ推定処理の第１の例および第２の例を説明するための図である。

第１の例については、図１３を参照して、まず、画像処理装置１は、１つの入力画像を基準画像、基準画像以外の入力画像であって温度変化のある入力画像を参照画像とする。そして、画像処理装置１は、基準画像中のテンプレート（図中の矩形枠）を、参照画像の対応する位置に対して、基準画像の視点（レンズ）の位置と参照画像の視点（レンズ）の位置とのなす方向で粗いピッチ（たとえば４画素刻み程度）でマッチングして対応位置を特定する粗推定（＃１）を行なう。上記のように、温度変化による変形（ずれ）と視差の現れる方向とは概ね同じ方向であるためである。

たとえば、レンズＥからの入力画像Ｅを基準画像とし、レンズＡからの入力画像Ａを参照画像とする。そして、基準画像の位置（ｘ，ｙ）＝（１００，１５０）に対応する参照画像の画素位置を第１の例にかかる位置ずれ推定処理にて探索する場合を説明する。このとき、画像処理装置１は、基準画像の対応する位置に対して、（−４，−４），（０，０），（４，４），（８，８），（１２，１２），（１６，１６），（２０，２０），（２４，２４）だけずらした８画素でテンプレートマッチングを行なう。すなわち、画像処理装置１は、基準画像の位置（ｘ，ｙ）＝（９６，１４６），（１００，１５０），（１０４，１５４），（１０８，１５８），（１１２，１６２），（１１６，１６６），（１２０，１７０），（１２４，１７４）でテンプレートマッチングを行なう。そして、画像処理装置１は、最も一致度の高い画素を特定する。なお、画像処理装置１は、参照画像とする入力画像の視差（レンズ）の位置（参照画像のレンズとなす角度）に応じて、上記したずらす画素の方向を切り替える。たとえば参照画像がレンズＢからの入力画像Ｂである場合、画像処理装置１は、上下方向にたとえば４画素ピッチでずらしながらテンプレートマッチングを行なう。

なお、ここでのテンプレートマッチング処理の一例として、ＮＣＣ（Normalized Cross Correlation）が挙げられる。他の例として、ＳＡＤ（Sum of Absolute Difference）やＳＳＤ（Sum of Squared Difference）などであってもよい。

次に、画像処理装置１は、第１段階の推定処理（＃１）でテンプレートに対して最も一度が高いと特定された位置の周辺を第１段階の推定処理（＃１）よりも細かいピッチ（たとえば１画素刻み程度）でマッチングして対応位置を特定する精密推定（＃２）を行なう。

たとえば、第１段階の推定処理（＃１）で特定された位置が（ｘ，ｙ）＝（１０４，１５４）であった場合、画像処理装置１は、その画素の周辺を１画素の精度で平面的に探索（テンプレートマッチング）し、（ｘ，ｙ）＝（１０２，１５５）のように一致する画素を特定する。

「粗いピッチ」は、テンプレートマッチングを行なう画素のずらす方向に限定されない。第２の例として、テンプレートのサイズを第１段階の推定処理（＃１）と第２段階の推定処理（＃２）とで異ならせてもよい。すなわち、図１４を参照して、画像処理装置１は、第１段階の推定処理（＃１）では、入力画像が５００×５００画素の場合、６５×６５画素サイズのテンプレートを用いてテンプレートマッチングするものとする。この場合、好ましくは、画像処理装置１は、入力画像を５００×５００画素から縦横１／４のサイズに縮小して１２５×１２５画素サイズとし、その入力画像に対して１７×１７画素サイズのテンプレートを用いてテンプレートマッチングしてもよい。これにより、テンプレートマッチング処理を高速化することができる。また、好ましくは、画像処理装置１は、入力画像を５００×５００画素から縦横１／４のサイズに縮小して１２５×１２５画素サイズにする代わりに、４画素ごとの画素を抜き出して１２５×１２５画素サイズの低画素画像に変換し、その入力画像に対して１７×１７画素サイズのテンプレートを用いてテンプレートマッチングしてもよい。これにより、テンプレートマッチング処理をより高速化することができる。

さらに、画像処理装置１は、第２の例として、第２段階の推定処理（＃２）において、第１段階の推定処理（＃１）で特定された画素周辺を平面的に探索（テンプレートマッチング）する代わりに、縮小した画像を用いてピラミッド状に探索してもよい。すなわち、図１４を参照して、第２段階の推定処理（＃２）の第１のステップとして、画像処理装置１は、５００×５００画素の入力画像を縦横１／４のサイズに縮小して１２５×１２５画素サイズとし、その入力画像に対して１７×１７画素サイズのテンプレートを用いて特定された画素から±１画素の９か所に対してテンプレートマッチングを行なう。テンプレートマッチングの範囲は、縮小前の元画像の特定された画素から±４画素の範囲に相当する。次に、第２段階の推定処理（＃２）の第２のステップとして、画像処理装置１は、５００×５００画素の入力画像を縦横１／２のサイズに縮小して２５０×２５０画素サイズとし、その入力画像に対して１７×１７画素サイズのテンプレートを用いて特定された画素から±１画素の９か所に対してテンプレートマッチングを行なう。テンプレートマッチングの範囲は、縮小前の元画像の特定された画素から±２画素の範囲に相当する。次に、第２段階の推定処理（＃２）の第３のステップとして、画像処理装置１は、５００×５００画素の入力画像を縮小することなく１７×１７画素サイズのテンプレートを用いて特定された画素から±１画素の９か所に対してテンプレートマッチングを行なう。なお、第１段階の推定処理（＃１）と同様に、画像処理装置１は、縮小画像を生成する代わりに、入力画像を数画素ごとに抜き出して低画素画像に変換することで、テンプレートマッチング処理をより高速化することができる。

画像処理装置１が、上記ステップＳ１の位置ずれ推定処理にて、探索方向、探索ピッチを変えて、第１段階の推定処理（粗推定（＃１））と第２段階の推定処理（精密推定（＃２））とを実行することで、推定精度を落とすことなくテンプレートマッチングの回数（探索回数）を削減することができる。そのため、ピクセルレベルで高速に位置ずれを推定（対応画素を探索）することができる。

（サブピクセル推定）
ステップＳ２のサブピクセル単位（小数画素）での位置ずれを推定する処理は、ステップＳ１の位置ずれ推定処理にて対応点として推定された画素の近傍の画素を含む画素群（たとえば周囲８画素を含む９画素）それぞれのテンプレートマッチングの一致度（たとえばＮＣＣ値）を算出する処理を含む。図１５は、対応点として推定された画素およびその周囲８画素のＮＣＣ値の具体例を表わしている。

ステップＳ２では、それら一致度を元に２次曲面フィッティングが行なわれ、サブピクセル単位での位置ずれが推定される。ステップＳ２のサブピクセル単位（小数画素）での位置ずれ推定では、一例として、図１６に表わされた、論文「位置ずれ量を考慮した画素選択に基づくロバスト超解像処理」（電子情報通信学会論文誌、Ｖｏｌ．Ｊ９２−Ｄ、Ｎｏ．５、ｐｐ．６５０−６６０、２００９、２００９年５月）に記載された手法を採用することができる。すなわち、図１５および図１６に表わされたように、画素ごとの一致度のうち、最も一致度の高い画素の座標がずれ量として特定される。

なお、ステップＳ２では、上記の２次曲面フィッティングに替えて、Ｘ座標およびＹ座標それぞれで２次曲面フィッティングするなどの他の手法が採用されてもよい。

（距離算出）
図１７は、入力画像ごとの基準画像（入力画像Ｅ）に対する対応画素のずれ量を画素値（色の濃淡）として表わした図である。図１７では、基準画像（入力画像Ｅ）の視点からの視点の方向が斜め方向にある入力画像（入力画像Ａ，Ｃ，Ｇ，Ｉ）については、Ｘ方向Ｙ方向それぞれのずれ量を異なる画像で表わしている。画像処理装置１は、ステップＳ３の距離算出処理にて、一例として、図１７に表わされている各入力画像のずれ量を加算する。

図１８（Ａ）は、図１７の各図に画素値で表わされた各入力画像のずれ量の、加算結果を表わした図である。図１７に表わされたように、入力画像ごとにずれ量が異なるために全体的なオフセット量が異なるが、各入力画像のずれを表わす画素値をそのまま加算した画像が図１８（Ａ）となる。なお、基準画像である入力画像Ｅに対する入力画像Ａの関係のように、視点（レンズ）の位置に応じて斜め方向にずれが現れる入力画像については、上記したようにＸ方向Ｙ方向それぞれ加算する代わりに、視点（レンズ）方向に応じた斜め方向のずれを算出して加算してもよい。

図１８（Ａ）において、画素値の高い（色の白い）画素ほどずれ量が大きく、画素値の低い（色の濃い）画素ほどずれ量が小さいことを表わしている。カメラから被写体までの距離が近いほどずれ量は大きくなり、距離が遠いほどずれ量は小さくなる。そのため、図１８（Ａ）において画素値の高い（色の白い）画素にある被写体ほどカメラから被写体までの距離が近く、画素値の低い（色の濃い）画素にある被写体ほどカメラから被写体までの距離が遠いことになる。従って、図１８（Ａ）は、カメラ２２から被写体までの距離を表わす距離画像であると言える。

なお、図１８（Ｂ）に、比較のために、温度変化がない場合の各入力画像のずれを表わす画素値をそのまま加算した画像を示す。図１８（Ａ）と図１８（Ｂ）とを比較することで、カメラ２２から被写体までの距離の相対量（距離の違い）は、レンズ２２ａが温度変化の影響を受けたとしても、温度変化の影響がない場合と同じ精度で認識できることが分かる。

（リフォーカス処理）
リフォーカス処理は、準備処理として、距離画像を修正する処理と、カメラ２２から被写体までの距離を段階分けする処理とを含む。図１９は、ステップＳ４のリフォーカス処理のうちの準備処理の流れを表わした図である。図１９を参照して、画像処理装置１は、距離画像を修正する処理として、入力画像のうちの１つの入力画像（入力画像Ｅ）を基準画像（図１９（Ａ））として生成された距離画像（図１９（Ｂ））を、被写体ごとにカメラ２２からの距離が何段階かに揃うように修正する（図１９（Ｃ））。ここではたとえばジョイントバイラテラルフィルタが好適に用いられる。他の例として、近傍の画素を用い、色が近いほど大きな重み付けをした平均化フィルターが用いられてもよい。これにより、図１９（Ｂ）の距離画像から図１９（Ｃ）の距離画像が生成される。

次に、画像処理装置１は、カメラ２２から被写体までの距離を段階分けする処理として、一例として、修正後の距離を８段階に分割する。これにより、図１９（Ｃ）の距離画像から図１９（Ｄ）の距離画像が生成される。

図２０は、リフォーカス処理の流れを表わした図である。画像処理装置１は、リフォーカス処理を行なって、図１９（Ｄ）を元にぼけを付加したリフォーカス画像を作成する。図２０を参照して、たとえば、撮影画像の右下の被写体（ぬいぐるみ）にピントを合わせたリフォーカス画像を作成する場合を説明する。この場合、画像処理装置１はリフォーカス処理を行なって、ピントを合わせる被写体とは異なる距離の被写体部分ほど強いぼけを付加する。なお、ぼけを付加した画像の生成方法の一例として、入力画像に対して平滑化フィルターを適用する方法が挙げられる。平滑化フィルターとしては、たとえば、ガウシアンフィルターや平均化フィルターなどが挙げられる。以下の説明では、３×３の平均化フィルターを複数回、用いる場合を例に挙げる。複数回、用いる代わりに、５×５、７×７などカーネルサイズを大きくしてもよい。

なお、好ましくは、画像処理装置１は、遠くの距離に相当するぼけから順に、合成する。これにより、人が見た時の同様のぼけを画像上に表現でき、表示品質を向上させることができる。

図２１〜図２３は、画像処理装置１にて上記の処理を行なって生成したリフォーカス画像の具体例を表わした図である。図２１はカメラ２２からの距離の近い、画面左下にある被写体にピントを合わせた画像、図２２はカメラ２２からの距離が中程度である、画面右下にある被写体にピントを合わせた画像、および図２３はカメラ２２からの距離が遠い、画面左上にある被写体にピントを合わせた画像を表わしている。

［第２の実施の形態］
第２の実施の形態にかかる画像処理装置１は、カメラ２２に対して環境変化の一例としての温度変化があった場合であっても、入力画像を用いて画像処理の一例としての超解像処理を実行する。

＜動作フロー＞
図２４は、本実施の形態にかかる画像処理装置１での動作の流れを表わすフローチャートである。図２４を参照して、第１の実施の形態と同様に図５に表わされたレンズ２２ａそれぞれで入力画像を取得する処理が実行されることで９枚の入力画像が取得される。ここでは、たとえば５００×５００画素程度の解像度の画像が入力されるものとする。

入力画像が取得されると、ピクセル単位（整数画素）での位置ずれを推定する処理が実行される（ステップＳ１’）。次に、好ましくは、サブピクセル単位（小数画素）での位置ずれを推定する処理が実行される（ステップＳ２’）。そして、位置ずれ量を考慮して、画像処理としての超解像処理が実行される（ステップＳ５）、１５００×１５００画素程度の高解像度画像が出力画像として生成される。

（位置ずれ推定）
上記ステップＳ１’およびステップＳ２’での位置ずれ推定処理は、第１の実施の形態にかかる画像処理装置１でのステップＳ１およびステップＳ２での位置ずれ推定処理と同様である。しかしながら、第２の実施の形態にかかる画像処理装置１では、基準画像と参照画像とを入れ替えて同様の処理を行なう。

図２５および図２６は、それぞれ、ステップＳ１’での位置ずれ推定処理の第１の例および第２の例を説明するための図である。第１の例および第２の例は、それぞれ、図１３および図１４で表わされた、第１の実施の形態での位置ずれ推定処理の第１例および第２の例に対応したものである。

すなわち、図２５を参照して、第２の実施の形態にかかる位置ずれ推定処理（ステップＳ１’）でも、画像処理装置１は、１つの入力画像を基準画像、基準画像以外の入力画像であって温度変化のある入力画像を参照画像として、基準画像中のテンプレートを、参照画像の対応する位置に対して、基準画像の視点（レンズ）の位置と参照画像の視点（レンズ）の位置とのなす方向で粗いピッチ（たとえば４画素刻み程度）でマッチングして対応位置を特定する粗推定（＃１）を行なう。なお、第２の実施の形態では、画像処理装置１は、上記のように、基準画像と参照画像とを逆に用いる。すなわち、第２の実施の形態にかかる画像処理装置１は、第１の実施の形態で基準画像とした入力画像Ｅを参照画像として用い、第１の実施の形態で参照画像とした他の入力画像（たとえば入力画像Ａ）を基準画像として用いる。そして、第２の実施の形態にかかる画像処理装置１は、第１の実施の形態と同様のテンプレートマッチングを行なう。

また、図２６を参照して、第１の実施の形態と同様に、テンプレートのサイズを第１段階の推定処理（＃１）と第２段階の推定処理（＃２）とで異ならせてもよい。すなわち、画像処理装置１は、第１段階の推定処理（＃１）では、入力画像が５００×５００画素の場合、６５×６５画素サイズのテンプレートを用いてテンプレートマッチングするものとする。さらに、画像処理装置１は、第２の例として、第２段階の推定処理（＃２）において、第１段階の推定処理（＃１）で特定された画素周辺を平面的に探索（テンプレートマッチング）する代わりに、図２６に示されたように（第１の実施の形態と同様に）、縮小した画像を用いてピラミッド状に探索してもよい。なお、この場合も、第２の実施の形態にかかる画像処理装置１は、第１の実施の形態で基準画像とした入力画像Ｅを参照画像として用い、第１の実施の形態で参照画像とした他の入力画像（たとえば入力画像Ａ）を基準画像として用いる。

（超解像処理）
図２７は、ステップＳ５での超解像処理の流れを表わした図である。図２７では、具体例として、論文「Ｆａｓｔ ａｎｄ Ｒｏｂｕｓｔ Ｍｕｌｔｉｆｒａｍｅ Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ」（ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ， ＶＯＬ． １３， ＮＯ． １０， ＯＣＴＯＢＥＲ ２００４ ｐａｇｅ．１３２７−１３４４）に記載された処理を行なう場合の超解像処理の流れが示されている。

図２７を参照して、ステップ＃３１で、９枚の入力画像のうちの１枚に対してバイリニア法等の補間処理を施して入力画像の解像度を超解像処理後の解像度である高解像度に変換することで、初期画像としての出力候補画像が生成される。

ステップ＃３２で、ノイズにロバストに収束させるための拘束項としてのＢＴＶ（Bilateral Total Variation）量が算出される。

ステップ＃３３で、上記生成された出力候補画像と９枚分の入力画像とが比較されて、残差が算出される。ステップ＃３４で、上記ステップ＃３１で生成された出力候補画像から算出された残差とＢＴＶ量とが減ぜられて次の出力候補画像が生成される。

上記ステップ＃３１〜＃３４の処理が、出力候補画像が収束するまで繰り返され、収束した出力候補画像が超解像処理後の出力画像として出力される。

繰り返しは、おおよそ充分に収束する回数（たとえば２００回）などの、予め規定された回数であってもよいし、一連の処理の都度、収束判定がなされ、その結果に応じて繰り返されてもよい。

図２８は、上記ステップ＃３３で用いられる劣化情報を説明するための図である。また、図２９〜図３３は、上記ステップ＃３３での処理を説明するための図である。

劣化情報とは、超解像処理後の高解像度画像に対する入力画像それぞれの関係を表わす情報を指し、たとえば行列形式で表わされる。劣化情報には、入力画像それぞれのサブピクセルレベルでのずれ量Ｆ（平行移動した残りの少数画素分）、ダウンサンプリング量Ｄ（上記の例では縦横それぞれ１／３）、およびぼけ量Ｈ（ＰＳＦ）などが含まれる。

図２８を参照して、劣化情報は、入力画像および超解像処理後の高解像度画像それぞれを１次元のベクトル表現した場合に、その変換を示す行列で規定される。

上記ステップ＃３３では、まず、図２９を参照して、入力画像Ｙｋから生成された出力候補画像Ｘｎにその入力画像Ｙｋについての劣化情報ＤｋＨｋＦｋを当てはめることで、入力サイズの画像ＤｋＨｋＦｋＸｎが生成される（ステップ＃４１）。ここでの処理は、詳しくは、図３０を参照して、まず、出力候補画像Ｘｎに対して、ぼけ量Ｈｋを表わすパラメーターであるＰＳＦを係数とした行列を用いたフィルター処理が施される（ステップＳ１１）。

そして、次に、ずれを考慮してダウンサンプリングされる（ステップＳ１２）。これにより、入力サイズの画像ＤｋＨｋＦｋＸｎが出力される。一例として、図３０の右に表わされたように、ずれ量ＦがＸ方向に１／３画素のずれであり、ダウンサンプリング量Ｄが縦横１／３である場合には、フィルター処理された後の出力候補画像Ｘｎの１／３画素分ずらした位置にある９画素分の矩形領域の各画素の平均値が、入力サイズの画像ＤｋＨｋＦｋＸｎの１／３画素分ずらす前の位置にある１画素分の画素値として出力される（ステップＳ１３）。

次に、図３１を参照して、入力サイズの画像とされた出力候補画像ＤｋＨｋＦｋＸｎは入力画像Ｙｋと比較され、その差異の画像ｓｉｇｎ（ＤｋＨｋＦｋＸｎ−Ｙｋ）が記録される（ステップ＃４２）。図３１の例では、一例として、出力候補画像ＤｋＨｋＦｋＸｎと入力画像Ｙｋとの差異に符号関数ｓｉｇｎが適用される例が示されている。

次に、超解像処理の収束演算に用いられるように、上記の差異が超解像画像のどの画素の影響によるものであるのか、算出された差異に表わされる影響を超解像画像上の対応する画素に戻すために、上記差異の画像ｓｉｇｎ（ＤｋＨｋＦｋＸｎ−Ｙｋ）を超解像後の画像サイズに戻す処理が行なわれる（ステップ＃４３）。上記のように、劣化情報Ｄｋ，Ｈｋ，Ｆｋを行列で定義した場合、ステップ＃４３ではその転置行列が用いられる。すなわち、図３２を参照して、記録された差異の画像ｓｉｇｎ（ＤｋＨｋＦｋＸｎ−Ｙｋ）にその入力画像Ｙｋについての劣化情報ＤｋＨｋＦｋの転置行列Ｄｋ^TＨｋ^TＦｋ^Tを当てはめることで、超解像後の画像サイズに戻される。ここでの処理は、詳しくは、図３３を参照して、上記のようにして差異の画像ｓｉｇｎ（ＤｋＨｋＦｋＸｎ−Ｙｋ）が生成されると（ステップＳ１４）、ずれを考慮してアップサンプリングされる（ステップＳ１５）。一例として、図３３の右に表わされたように、ずれ量ＦがＸ方向に１／３画素のずれであり、ダウンサンプリング量Ｄが縦横１／３である場合には、差異の画像ｓｉｇｎ（ＤｋＨｋＦｋＸｎ−Ｙｋ）の所定位置にある１画素分の画素値（差異の値）が均等分（この例では９等分）され、１／３画素分ずらした位置にある９画素分の矩形領域の各画素に出力される。この処理の後、ぼけ量Ｈｋを表わすパラメーターであるＰＳＦを係数としたフィルターの転置行列が当てはめられてぼけ量Ｈｋの影響を戻す処理が施され（ステップＳ１６）、処理後の画像が超解像後の画像サイズに戻された差異の画像Ｄｋ^TＨｋ^TＦｋ^Tｓｉｇｎ（ＤｋＨｋＦｋＸｎ−Ｙｋ）が出力される（ステップＳ１７）。以上の処理によって、１つの入力画像Ｙｋに対する差異の画像Ｄｋ^TＨｋ^TＦｋ^Tｓｉｇｎ（ＤｋＨｋＦｋＸｎ−Ｙｋ）が作成される。

図３４は、上記ステップ＃３３の残差算出処理の一例を表わしたフローチャートである。入力画像はこの例では９枚あるため、上記ステップ＃３３の残差算出処理では図３４のように枚数分、上記ステップＳ１１〜Ｓ１７の処理を繰り返す。すなわち、図３４を参照して、１枚目の入力画像Ｙ１について上記の処理がステップＳ１１〜Ｓ１７として行なわれて超解像後の画像サイズの差異の画像が出力され、２枚目の入力画像Ｙ２について上記の処理がステップＳ２１〜Ｓ２７として行なわれて超解像後の画像サイズの差異の画像が出力され、…（中略）、９枚目の入力画像Ｙ９について上記の処理がステップＳ９１〜Ｓ９７として行なわれて超解像後の画像サイズの差異の画像が出力される。

そして、その合計値が残差として出力される（ステップＳ１００）。なお、上の例では、ずれ量Ｆとぼけ量Ｈとの処理順が論文での説明とは逆になっているが、ぼけは画像のある程度大きな範囲で生じているため、順序を入れ替えても実質的な影響はない。

なお、上記のぼけ量Ｈの行列の処理は、以下のフィルター処理と等価となる。すなわち、ぼけ量Ｈの処理については、入力画素値Ｉ、出力画素値Ｉ’を用いて、
Ｉ’（ｘ，ｙ）＝ΣΣＰＳＦ（ｉ，ｊ）Ｉ（ｘ＋ｉ，ｙ＋ｊ）
と表わされる。なお、Σは、ＰＳＦのフィルターサイズ分（たとえば７×７のフィルターなら、ｉ，ｊそれぞれ−３〜３）となる。

また、ぼけ量Ｈの転置行列の処理については、
Ｉ’（ｘ＋ｉ，ｙ＋ｊ）＝ΣΣＰＳＦ（ｉ，ｊ）Ｉ（ｘ，ｙ）
と表わされる。つまり、出力画素値Ｉ’は、入力画素値Ｉを全画素処理した合計値となる。

なお、超解像処理は、図２７に表わされた処理に限定されるものではなく、複数枚の入力画像から１枚の画像を生成する再構成型超解像処理であれば他の処理が採用されてもよい。図３５は、上記ステップＳ５での超解像処理の他の例を表わした図である。すなわち、図３５を参照して、上記ステップ＃３２で算出される拘束項はＢＴＶ量に替えて、たとえば、４近傍ラプラシアンなどの他のものが用いられてもよい（ステップ＃３２’）。

また、ステップ＃３３の残差算出処理も異なる算出方法であってよい。一例として、符号関数ｓｉｇｎを用いず、出力候補画像ＤｋＨｋＦｋＸｎと入力画像Ｙｋとの差異が直接用いられてもよい。

［第３の実施の形態］
上記の第１の実施の形態と第２の実施の形態とを組み合わせてもよい。すなわち、第３の実施の形態にかかる画像処理装置１は、カメラ２２に対して環境変化の一例としての温度変化があった場合であっても、入力画像を用いて画像処理の一例としての超解像処理およびリフォーカス処理を実行する。

図３６は、本実施の形態にかかる画像処理装置１での動作の流れを表わすフローチャートである。第３の実施の形態にかかる画像処理装置１は、第１の実施の形態にかかる画像処理であるリフォーカス処理と、第２の実施の形態にかかる画像処理である超解像処理とをそれぞれ入力画像に対して行なうことでリフォーカス画像と超解像画像とを得、それらを合成する。すなわち、図３６を参照して、第１の実施の形態にかかる画像処理装置１でのステップＳ１〜Ｓ４（図１２）の処理と、第２の実施の形態にかかる画像処理装置１でのステップＳ１’，Ｓ２’（図２４）の処理とを、それぞれ、入力画像に対して行なって、リフォーカス画像と超解像画像とを得る。なお、図３６に表わされたように、リフォーカス画像と超解像画像とでは画素サイズが異なる。そこで、画像処理装置１は、ステップＳ１〜Ｓ４の処理で得られたリフォーカス画像に対してたとえばバイリニア補間などの解像度変換を施した後に（ステップＳ６）、超解像画像と合成する（ステップＳ７）。

図３７は、ステップＳ７での合成処理について説明するための図である。図３７を参照して、画像処理装置１は、リフォーカス画像のうちのステップＳ４のリフォーカス処理の際にぼけを付加した画素（領域）については、リフォーカス画像のうちのステップＳ６で解像度変換された画素を用いる。

一方、リフォーカス画像のうちのピントを合わせた領域については、そのうちの最もピントのあった領域（画素）のみ、ステップＳ５の超解像処理によって得られた画素をそのまま用いる。最もピントを合わせた領域（画素）の周辺領域については、リフォーカス画像のうちのステップＳ５の超解像処理によって得られた画素をたとえば３×３の平均化フィルターを用いて平均化して用いる。リフォーカス処理の際に３×３の平均化フィルターを用いることは、超解像画像に対して９×９の平均化フィルターを用いて平均化することと解像度が実質的に同じになる。そのため、このように平均化することで、ぼけた領域と超解像された領域との間を滑らかに変化させることができる。なお、図３７において３×３の平均化フィルターを用いて平均化する、リフォーカス画像のうちのピントを合わせた領域（画素）の周辺領域については、図３８に表わされたように、リフォーカス画像を解像度変換して用いてもよい。

［第４の実施の形態］
第４の実施の形態にかかる画像処理装置１は、カメラ２２に対して環境変化の一例としての温度変化があった場合であっても、入力画像を用いて画像処理を行なうことでカメラ２２から被写体までの距離を精度よく算出する。

＜動作フロー＞
図３９は、本実施の形態にかかる画像処理装置１での動作の流れを表わすフローチャートである。図３９を参照して、第４の実施の形態にかかる画像処理装置１は、第１〜第３の実施の形態にかかる画像処理装置１と同様にして位置ずれを推定した後（ステップＳ１）、位置ずれ量を補正する（ステップＳ８）。

図４０〜図４２は、ステップＳ８での位置ずれ量を補正する方法を説明するための図である。図４０に示された、入力画像ごとの基準画像（入力画像Ｅ）に対する対応画素のずれ量を表わす距離画像では、画像ごとにずれ量が全体的に異なることが表わされている。そこで、画像処理装置１は、図４１に表わされたように、画像ごとのずれ量の平均値を算出し、１２個の平均値の中から最小値を特定する。そして、画像ごとの最小値からの差分を補正量とする。画像処理装置１は、画像ごとに、ずれ量から補正量を減じる。図４２は、図４０の各図を補正した結果を表わしている。この補正を行なうことで、各画像の平均値が、揃うことになる。

図３９に戻って、画像処理装置１は、ステップＳ８の補正後の画像から間違いのデータ（ノイズ）を抽出する（ステップＳ９）。図４３〜図４５は、ステップＳ９での間違いデータを抽出する方法を説明するための図である。画像処理装置１は、補正後の１２枚の画像の対応する画素位置についてのヒストグラムを作成する。そして、画像処理装置１は、ヒストグラムから外れた画素値（ずれ量）を間違いと判定する。画像処理装置１は、各図について、たとえば３画素ピッチでヒストグラムを作成するなどして、画像全体を判定する。

図４４は、図４３の１２枚の画像各図の右上の丸印部分について、対応する画素位置ごとに作成されたヒストグラムを表わしている。画像処理装置１は、図４４のヒストグラムにおいて、連続した２つの画素値でのヒストグラム値の最大となる箇所を特定し、その箇所以外の画素値は間違いデータと判定する。図４４のヒストグラムでは、ヒストグラム値の最大となる箇所が画素値０〜６である箇所Ａと特定され、この箇所Ａに示された画素値を有する画素は正しい（適切な画素値を有する画素）と判定される。画素値３０付近である箇所Ｂのヒストグラム値は間違いデータと判定される。

図４５は、図４３の１２枚の画像各図についての間違いデータの判定結果を表わした図である。図中の白領域が、間違いデータであると判定された画素値の領域を表わしている。

再び図３９に戻って、画像処理装置１は、ステップＳ９で上記した方法で入力画像それぞれについて間違いデータ（ノイズ）を判定すると、各図の間違いデータとされた画素を除いた画素を用いて加算処理を行なうことで、距離を推定する（ステップＳ１０）。図４６は、図４５で白色で表わされた画素を除いた各図を加算することで得られた距離画像を表わしている。

ステップＳ１０での加算処理では、全入力画像とも正しいと判定された画素はそのまま加算するものの、例えば図４４のヒストグラムで示されたように１２枚の画像中の１０枚だけが正しいと判定されている画素は、１０枚分を加算した後、１２／１０倍して画素の重みを合わせる。

図１８（Ａ）のすべての画像を加算して生成した距離画像と図４６の上記の処理で生成した距離画像とを比較すると、図４６の距離画像では、図１８（Ａ）の距離画像の左上や右上に現れていた画素値が間違いデータ（ノイズ）として除かれている。これより、ステップＳ１０で間違いデータを除去した上で加算することでより正しい距離画像を作成できていることが分かる。

［変形例１］
以上の説明では、環境条件の変化の一例としての温度変化により画素が想定している対応位置からずれてしまうことが想定されているが、環境変化は温度変化には限定されない。他の例として、図示しないレンズ２２ａの保持部などの機械的な部品の経時変化（伸び、たわみ、等）が挙げられる。その場合も、画像処理装置１は上記ステップＳ１と同様にして対応点探索を行なうことができる。また、第１の実施の形態にて説明したようにキャリブレーション（歪曲補正や平行化処理）を行なわない場合などでも適応できる。すなわち、何らかの誤差要因があれば、画像処理装置１は、その誤差精度に合わせて２段階に探索方向をおよび探索ピッチを切り替えて、対応画素を探索することで適応できる。

［変形例２］
以上の説明では、画像処理装置１が図５のようにレンズの配置されたアレイカメラであるカメラ２２からの入力画像を用いるものとしているが、レンズは図５のものに限定されない。図４７および図４８は、カメラ２２に含まれるレンズの他の例を表わした図である。すなわち、上記の説明では、アレイレンズＡ〜Ｐが四隅で保持されていることが想定されている。しかしながら、図４７のように、四隅のうちの１か所（たとえば左上）のみでアレイレンズＡ〜Ｐが保持されていてもよい。この場合、図４７に示されるように、各レンズの変形は非対称であって、保持されている隅を中心とした略放射状に変形することになる。しかしながら、保持されている隅に最も近いレンズＡを基準とした各レンズの位置ずれは、図６での説明と同様に、レンズＡを中心として各レンズからの入力画像の視差の方向（レンズの配置方向）に伸び縮みする。そのため、こういった場合であっても、画像処理装置１は、上記ステップＳ１と同様の位置ずれ推定処理を行なうことで対応点を探索することができる。

また、図４８のように、カメラ２２に含まれるレンズ２２ａが１６個（１６眼）の場合も、温度変化などの環境変化により各レンズ２２ａの位置ずれの方向は、図６での説明と同様に、基準とするレンズと対象とするレンズとのなす方向（視差方向）である。そのため、こういった場合であっても、画像処理装置１は、上記ステップＳ１と同様の位置ずれ推定処理を行なうことで対応点を探索することができる。

＜実施の形態の効果＞
アレイカメラであるカメラ２２に含まれるレンズ２２ａが温度変化などの環境変化の影響を受けると全体として伸び縮みしてレンズ間隔（ピッチ）が変動することがある。特に、レンズ２２ａやその保持部材がプラスチックなどの環境の影響を受けやすい素材である場合には、その変動が現れやすくなる。しかしながら、その変動は必ずしも全体的に均等に生じるものではない。そのため、距離算出処理や超解像処理やリフォーカス処理などの画像処理のために必要な対応点は、非対称にずれる場合がある。

本実施の形態にかかる画像処理装置１は、対応点探索において、各レンズの配置方向（視差の現れる方向）と温度変化によるピッチ変動の方向とがおおよそ同じ方向である、という特徴を利用して、第一段階として粗い精度（ピッチ）でその方向に探索し、第二段階として一致すると探索された画素周辺で第一段階よりも細かい精度（ピッチ）で方向を制限せず平面的に探索する。これにより、高速かつ高精度で対応点を探索することができる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 画像処理装置、２ 撮像部、３ 画像処理部、４ 画像出力部、２２ カメラ、２２ａ レンズ、２２ｂ 撮像素子、２４ Ａ／Ｄ変換部、３１ 前処理部、３２ 位置ずれ推定部、３３ 処理部、１００ デジタルカメラ、１０２ ＣＰＵ、１０４ デジタル処理回路、１０６ 画像処理回路、１０８ 画像表示部、１１２ 記憶部、１１４ カメラ部、２００ パーソナルコンピューター、２０２ パーソナルコンピューター本体、２０４ 画像処理プログラム、２０６ モニター、２０８ マウス、２１０ キーボード、２１２ 外部記憶装置、３２１ 第１推定部、３２２ 第２推定部、３２３ 第３推定部。

Claims (10)

1. それぞれが共通する部分領域を有する多視点の入力画像群のうちの１つの入力画像を基準画像とし、前記基準画像上の１画素の、前記基準画像以外の入力画像での対応する画素を推定する画像処理装置であって、
   前記基準画像以外の入力画像の前記１画素に対応する位置から、前記基準画像の視点と前記基準画像以外の入力画像の視点とのなす方向に対応した方向で第１のピッチでテンプレートマッチングを行なうことで、前記１画素に対応する画素を推定するための第１の推定部と、
   前記第１の推定部で推定された画素に対して、前記第１のピッチよりも細かい第２のピッチでテンプレートマッチングを行なうことで、前記１画素に対応する画素を推定するための第２の推定部とを備える、画像処理装置。
2. 前記第２の推定部は、前記第１の推定部で用いるテンプレートのサイズ以下のサイズのテンプレートを用いてテンプレートマッチングを行なう、請求項１に記載の画像処理装置。
3. 前記１画素と前記第２の推定部で推定された前記１画素に対応する画素との間のずれに基づいて、小数画素でのずれ量を推定するための第３の推定部をさらに備える、請求項１または２に記載の画像処理装置。
4. 前記１画素と前記基準画像以外の入力画像の前記１画素に対応する画素との間のずれに基づいて、前記基準画像の視点から被写体までの距離を算出する処理を実行するための処理部をさらに備える、請求項１〜３のいずれかに記載の画像処理装置。
5. 前記処理部は、前記基準画像以外の複数の入力画像それぞれの前記ずれを加算することで、前記基準画像の視点から前記被写体までの距離を算出する、請求項４に記載の画像処理装置。
6. 前記処理部は、前記基準画像以外の複数の入力画像それぞれの前記ずれから補正量を算出し、前記それぞれのずれを補正する、請求項５に記載の画像処理装置。
7. 前記基準画像以外の入力画像について、前記１画素と前記基準画像以外の入力画像の前記１画素に対応する画素との間のずれをパラメーターとして用いて超解像処理を実行するための処理部をさらに備える、請求項１〜３のいずれかに記載の画像処理装置。
8. 前記入力画像のそれぞれに対して、前処理として歪曲補正と平行化処理とを行なうための前処理部をさらに備える、請求項１〜７のいずれかに記載の画像処理装置。
9. それぞれが共通する部分領域を有する多視点の入力画像群のうちの１つの入力画像を基準画像とし、前記基準画像上の１画素の、前記基準画像以外の入力画像での対応する画素を推定する方法であって、
   前記基準画像以外の入力画像の前記１画素に対応する位置から、前記基準画像の視点と前記基準画像以外の入力画像の視点とのなす方向に対応した方向で第１のピッチでテンプレートマッチングを行なうことで、前記１画素に対応する画素を推定するステップと、
   推定された画素に対して、前記第１のピッチよりも細かい第２のピッチでテンプレートマッチングを行なうことで、前記１画素に対応する画素を推定するステップとを備える、画像処理方法。
10. コンピューターに、それぞれが共通する部分領域を有する多視点の入力画像群のうちの１つの入力画像を基準画像とし、前記基準画像上の１画素の、前記基準画像以外の入力画像での対応する画素を推定する処理を実行させるプログラムであって、
    前記基準画像以外の入力画像の前記１画素に対応する位置から、前記基準画像の視点と前記基準画像以外の入力画像の視点とのなす方向に対応した方向で第１のピッチでテンプレートマッチングを行なうことで、前記１画素に対応する画素を推定するステップと、
    推定された画素に対して、前記第１のピッチよりも細かい第２のピッチでテンプレートマッチングを行なうことで、前記１画素に対応する画素を推定するステップとを前記コンピューターに実行させる、画像処理プログラム。