JPWO2020021879A1 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

マイクロレンズアレイを用いた撮影画像からの移動ベクトル算出処理を、全体画像を生成することなく行う装置、方法を提供する。マイクロレンズアレイを有する撮像部によって撮影された連続撮影画像を入力して画像間の移動ベクトルを算出する。移動ベクトル算出部はマイクロレンズ各々が撮影したマイクロレンズ撮影画像を利用して特徴点対応の移動ベクトルを算出する。複数のマイクロレンズ撮影画像内に同じ画像領域を持つ重複画像領域内の特徴点に対応する移動ベクトルを算出する際、同一特徴点対応の複数の移動ベクトルの平均値を算出して、特徴点の移動ベクトルとする。または、外れ値（異常値）を排除した残りの複数移動ベクトルの平均値を算出して、特徴点の移動ベクトルとする。

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、マイクロレンズアレイ（ＭＬＡ：Ｍｉｃｒｏ Ｌｅｎｓ Ａｒｒａｙ）を用いた撮像装置の撮影画像から移動ベクトル（オプティカルフロー）を検出する画像処理装置、および画像処理方法、並びにプログラムに関する。

複数のマイクロレンズを配列したマイクロレンズアレイ（ＭＬＡ：Ｍｉｃｒｏ Ｌｅｎｓ Ａｒｒａｙ）を用いた撮像装置が知られている。マイクロレンズアレイ（ＭＬＡ）を用いることでレンズと撮像素子（イメージセンサ）との距離を小さくすることができ、薄型の撮像装置を構成することができる。
例えばスマホ（スマートホン）等のような薄型の機器にも装着可能であり、今後、多くの利用がなされると推定される。なお、マイクロレンズアレイ（ＭＬＡ）を用いた撮像装置については例えば特許文献１（特開２０１０−２４０２１５号公報）に記載がある。

マイクロレンズアレイ（ＭＬＡ）を用いた撮像装置の具体的な利用例として、例えばスマホのような電子機器の指紋認証装置がある。
指紋認証処理のシーケンスは例えば以下の処理となる。まず、ユーザの指の動画像を撮影する。次に、動画像を構成する複数の連続撮影画像の位置合わせを行い、位置合わせ後の画像を合成して高画質画像を生成する。最後に生成した高画質画像と予めメモリに登録済みの指紋登録データとの照合処理を行う。

複数画像の合成を行うのは１枚の静止画のみでは指の特徴情報が不足し、認証精度が低下してしまう等の理由である。複数の連続撮影画像の合成を行うためには、複数の連続撮影画像フレームの位置合わせを行うことが必要となる。この位置合わせのためには、画像に含まれる特徴点の移動ベクトルを算出する処理が必要となる。

しかし、マイクロレンズアレイ（ＭＬＡ）型の撮像装置では、撮像素子に撮影される画像はアレイを構成する各マイクロレンズ対応の多数の画像となる。従って、上記の移動ベクトル算出処理と位置合わせ処理を行う前に、撮像素子に撮影された多数の画像を結合して１枚の全体画像を生成することが必要となる。

しかし、各マイクロレンズ対応の多数の画像は、すべて上下左右が反転した画像であり、さらに多くの場合、１つのマイクロレンズ撮影画像と、隣接するマイクロレンズ撮影画像には重複して撮影されたオーバーラップ画像領域が存在する。
従って、１つの全体画像を生成するためには、アレイを構成するマイクロレンズ各々に対応する多数のマイクロレンズ撮影画像の各々について上下、左右反転処理を行い、かつ、各画像のオーバーラップ領域を検出して、オーバーラップ画像を削除する画像切り出しを行い、切り出し後の画像を結合するといった多数の処理が必要となる。

高画質な合成画像を生成するためには、これらの処理を複数の連続撮影画像の各フレーム単位で実行することが必要であり、処理時間、処理負荷が多大になるという問題がある。

特開２０１０−２４０２１５号公報

本開示は、例えば、上記の問題点に鑑みてなされたものであり、マイクロレンズアレイ（ＭＬＡ）型の撮像装置を用いた撮影画像からの効率的な移動ベクトル（オプティカルフロー）検出を可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

また、本開示の一実施例では、マイクロレンズアレイ（ＭＬＡ）型の撮像装置を用いた撮影画像からの効率的な移動ベクトル（オプティカルフロー）検出を行い、さらに高画質画像を生成可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
マイクロレンズアレイを有する撮像部の連続撮影画像を入力して、画像間の移動ベクトルを算出する移動ベクトル算出部を有し、
前記移動ベクトル算出部は、
前記マイクロレンズアレイを構成するマイクロレンズ各々が撮影したマイクロレンズ撮影画像を利用して特徴点対応の移動ベクトルを算出する画像処理装置にある。

さらに、本開示の第２の側面は、
マイクロレンズアレイを有する撮像部によって撮影された指の連続撮影画像を入力して、画像間の移動ベクトルを算出する移動ベクトル算出部と、
前記移動ベクトル算出部の算出した移動ベクトルを用いて、前記連続撮影画像の合成処理により高画質画像を生成する画像合成部と、
前記画像合成部の生成した合成画像と、予め記憶部に格納された登録指紋画像との照合処理を実行する画像照合部を有する指紋認証処理を実行する画像処理装置にある。

さらに、本開示の第３の側面は、
画像処理装置において実行する画像処理方法であり、
移動ベクトル算出部が、
マイクロレンズアレイを有する撮像部の連続撮影画像を入力して、画像間の移動ベクトルを算出する移動ベクトル算出ステップを実行し、
前記移動ベクトル算出ステップは、
前記マイクロレンズアレイを構成するマイクロレンズ各々が撮影したマイクロレンズ撮影画像を利用して特徴点対応の移動ベクトルを算出するステップである画像処理方法にある。

さらに、本開示の第４の側面は、
画像処理装置において指紋認証処理を実行する画像処理方法であり、
移動ベクトル算出部が、
マイクロレンズアレイを有する撮像部によって撮影された指の連続撮影画像を入力して、画像間の移動ベクトルを算出する移動ベクトル算出ステップと、
画像合成部が、
前記移動ベクトル算出部の算出した移動ベクトルを用いて、前記連続撮影画像の合成処理により高画質画像を生成する画像合成ステップと、
画像照合部が、
前記画像合成部の生成した合成画像と、予め記憶部に格納された登録指紋画像との照合処理を実行する画像照合ステップを実行する画像処理方法にある。

さらに、本開示の第５の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
移動ベクトル算出部に、
マイクロレンズアレイを有する撮像部の連続撮影画像を入力して、画像間の移動ベクトルを算出する移動ベクトル算出ステップを実行させ、
前記移動ベクトル算出ステップにおいて、
前記マイクロレンズアレイを構成するマイクロレンズ各々が撮影したマイクロレンズ撮影画像を利用して特徴点対応の移動ベクトルを算出する処理を実行させるプログラムにある。

さらに、本開示の第６の側面は、
画像処理装置において指紋認証処理を実行させるプログラムであり、
移動ベクトル算出部に、
マイクロレンズアレイを有する撮像部によって撮影された指の連続撮影画像を入力して、画像間の移動ベクトルを算出する移動ベクトル算出ステップを実行させ、
画像合成部に、
前記移動ベクトル算出部の算出した移動ベクトルを用いて、前記連続撮影画像の合成処理により高画質画像を生成させる画像合成ステップを実行させ、
画像照合部に、
前記画像合成部の生成した合成画像と、予め記憶部に格納された登録指紋画像との照合処理を実行する画像照合ステップを実行させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、マイクロレンズアレイを用いた撮影画像からの移動ベクトル算出処理を、全体画像を生成することなく行う装置、方法が実現される。
具体的には、例えばマイクロレンズアレイを有する撮像部によって撮影された連続撮影画像を入力して画像間の移動ベクトルを算出する。移動ベクトル算出部はマイクロレンズ各々が撮影したマイクロレンズ撮影画像を利用して特徴点対応の移動ベクトルを算出する。複数のマイクロレンズ撮影画像内に同じ画像領域を持つ重複画像領域内の特徴点に対応する移動ベクトルを算出する際、同一特徴点対応の複数の移動ベクトルの平均値を算出して、特徴点の移動ベクトルとする。または、外れ値（異常値）を排除した残りの複数移動ベクトルの平均値を算出して、特徴点の移動ベクトルとする。
これらの処理により、マイクロレンズアレイを用いた撮影画像からの移動ベクトル算出処理を、全体画像を生成することなく行う装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

マイクロレンズアレイ（ＭＬＡ）を有する撮像装置の構成例について説明する図である。 マイクロレンズアレイ（ＭＬＡ）を有する撮像装置を用いた指紋認証処理例について説明する図である。 マイクロレンズアレイ（ＭＬＡ）を有する撮像装置の撮影画像について説明する図である。 マイクロレンズアレイ（ＭＬＡ）を有する撮像装置の撮影画像について説明する図である。 移動ベクトル算出処理について説明する図である。 本開示の画像処理装置が実行するマイクロレンズアレイ（ＭＬＡ）型撮像装置の撮影画像に基づく移動ベクトル算出処理について説明する図である。 本開示の画像処理装置が実行するマイクロレンズアレイ（ＭＬＡ）型撮像装置の撮影画像に基づく移動ベクトル算出処理について説明する図である。 本開示の画像処理装置が実行するマイクロレンズアレイ（ＭＬＡ）型撮像装置の撮影画像に基づく移動ベクトル算出処理について説明する図である。 本開示の画像処理装置が実行するマイクロレンズアレイ（ＭＬＡ）型撮像装置の撮影画像に基づく移動ベクトル算出処理について説明する図である。 本開示の画像処理装置が実行するマイクロレンズアレイ（ＭＬＡ）型撮像装置の撮影画像に基づく移動ベクトル算出処理について説明する図である。 本開示の画像処理装置が実行するマイクロレンズアレイ（ＭＬＡ）型撮像装置の撮影画像に基づく移動ベクトル算出処理について説明する図である。 本開示の画像処理装置が実行するマイクロレンズアレイ（ＭＬＡ）型撮像装置の撮影画像に基づく移動ベクトル算出処理について説明する図である。 本開示の画像処理装置が実行するマイクロレンズアレイ（ＭＬＡ）型撮像装置の撮影画像に基づく移動ベクトル算出処理について説明する図である。 本開示の画像処理装置が実行するマイクロレンズアレイ（ＭＬＡ）型撮像装置の撮影画像に基づく移動ベクトル算出処理について説明する図である。 本開示の画像処理装置が実行する指紋認証処理シーケンスについて説明する図である。 本開示の画像処理装置が実行する指紋認証処理シーケンスについて説明する図である。 本開示の画像処理装置が実行する指紋認証処理シーケンスについて説明する図である。 本開示の画像処理装置の構成例について説明する図である。 本開示の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の画像処理装置の構成例について説明する図である。 本開示の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の画像処理装置の構成例について説明する図である。 本開示の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の移動ベクトル算出処理を実行する装置の具体例について説明する図である。 本開示の移動ベクトル算出処理を実行する装置の具体例について説明する図である。 本開示の移動ベクトル算出処理を実行する装置の具体例について説明する図である。 画像処理装置のハードウェア構成例について説明する図である。

以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．マイクロレンズアレイ型撮像装置について
２．マイクロレンズアレイ型撮像装置を用いた指紋認証処理とその問題点について
３．本開示の画像処理装置における移動ベクトル算出処理について
４．本開示の画像処理装置を適用した指紋認証処理について
５．本開示の画像処理装置の構成例と処理シーケンスについて
６．本開示の移動ベクトル算出処理を利用した具体的な装置例について
７．画像処理装置のハードウェア構成例について
８．本開示の構成のまとめ

［１．マイクロレンズアレイ型撮像装置について］
まず、図１以下を参照してマイクロレンズアレイ型撮像装置について説明する。
マイクロレンズアレイ（ＭＬＡ：Ｍｉｃｒｏ Ｌｅｎｓ Ａｒｒａｙ）型撮像装置は、複数のマイクロレンズを配列した撮像装置である。

図１には、マイクロレンズアレイ型撮像装置の（ａ）平面図（上面図）と（ｂ）断面図を示している。（ａ）平面図（上面図）に示すように、マイクロレンズアレイ型撮像装置の上面には小さなレンズが多数、装着される。すなわちマイクロレンズを配列したマイクロレンズアレイ（ＭＬＡ：Ｍｉｃｒｏ Ｌｅｎｓ Ａｒｒａｙ）１０が構成されている。

（ｂ）断面図に示すように、マイクロレンズアレイ（ＭＬＡ）１０を構成するマイクロレンズ１１を介して入射した光は、イメージセンサ（撮像素子）１２に照射され撮像される。
イメージセンサ（撮像素子）１２には、マイクロレンズアレイ（ＭＬＡ）１０を構成するマイクロレンズ１１各々の撮影画像が個別に生成される。

［２．マイクロレンズアレイ型撮像装置を用いた指紋認証処理とその問題点について］
次に、図２以下を参照してマイクロレンズアレイ型撮像装置を用いた指紋認証処理とその問題点について説明する。

図２は、マイクロレンズアレイ（ＭＬＡ）型撮像装置を用いた指紋認証処理のシーケンスを説明する図である。
指紋認証処理のシーケンスは、例えば図２に示すステップＳ１１〜Ｓ１４の処理となる。
まず、ステップＳ１１において、ユーザの指の動画像を撮影する。
図２には、時間（ｔ１）で撮影したマイクロレンズアレイ（ＭＬＡ）撮影画像＠ｔ１，２１と、時間（ｔ２）で撮影したマイクロレンズアレイ（ＭＬＡ）撮影画像＠ｔ２，２２を示している。なお、ここでは２枚の連続撮影画像を用いた処理例について説明するが、さらに３枚以上の連続撮影画像を撮影して利用してもよい。

図２のステップＳ１１に示すマイクロレンズアレイ（ＭＬＡ）撮影画像２１，２２内に示す四角形の各々が、１つのマイクロレンズ撮影画像２３である。
先に説明したように、マイクロレンズアレイ（ＭＬＡ）型の撮像装置では、撮像素子に撮影される画像はアレイを構成する各マイクロレンズ対応の多数の画像となる。

次のステップＳ１２では、各マイクロレンズアレイ（ＭＬＡ）撮影画像２１，２２各々の合成処理を行う。
マイクロレンズアレイ（ＭＬＡ）撮影画像２１，２２に含まれる個々のマイクロレンズ撮影画像２３は、すべて上下左右が反転した画像であり、さらに多くの場合、１つのマイクロレンズ撮影画像と、隣接するマイクロレンズ撮影画像には重複して撮影されたオーバーラップ画像領域がある。

従って、ステップＳ１２の合成処理によって１つの全体画像を生成するためには、アレイを構成するマイクロレンズ各々に対応するマイクロレンズ撮影画像の各々について上下、左右反転処理を行い、かつ、各画像のオーバーラップ領域を検出して、オーバーラップ画像を削除する画像切り出しを行い、切り出し後の画像を結合するといった多数の処理が必要となる。
この処理を連続撮影画像であるマイクロレンズアレイ（ＭＬＡ）撮影画像２１，２２の各々について実行することが必要となる。

この合成処理の結果として、合成全体画像＠ｔ１，３１と、合成全体画像＠ｔ２，３２の２枚の全体画像が生成される。これらは、時間ｔ１と時間ｔ２に連続撮影された指の画像となる。

ステップＳ１３において、この２枚の画像、すなわち、合成全体画像＠ｔ１，３１と、合成全体画像＠ｔ２，３２を用いて、画像内の特徴点の移動ベクトル（オプティカルフロー）を検出する処理を実行する。
これは、合成全体画像＠ｔ１，３１と、合成全体画像＠ｔ２，３２から共通被写体であると推定される特徴点を見出し、２つの画像間の移動量と移動方向を算出する処理である。

次に、ステップＳ１４において、ステップＳ１３で算出した移動ベクトルに基づいて、２つの画像、すなわち合成全体画像＠ｔ１，３１と、合成全体画像＠ｔ２，３２の位置合わせを実行して、２つの画像の合成処理により高画質画像を生成する。例えば各対応画素の画素値のアルファブレンド処理等を実行して、より鮮明な高画質画像を生成する。
この処理の結果として指の鮮明な指紋情報等を持つ高画質画像３５が生成される。
図には示していないが、最後にこの高画質画像３５と予めメモリに登録してある指紋データとの照合処理を行う。

複数画像の合成を行うのは１枚の静止画のみでは指の特徴情報が不足し、認証精度が低下してしまう等の理由である。複数の連続撮影画像の合成を行うためには、複数の連続撮影画像フレームの位置合わせを行うことが必要となる。この位置合わせのために画像に含まれる特徴点の移動ベクトル（オプティカルフロー）を算出する処理が必要となる。

ステップＳ１３の移動ベクトル（オプティカルフロー）算出では、２枚の連続撮影全体画像を用いた処理を行う。この全体画像生成処理のためにステップＳ１２の合成処理が実行される。
前述したように、１つの全体画像を生成するためには、マイクロレンズアレイ（ＭＬＡを構成するマイクロレンズ各々に対応するマイクロレンズ撮影画像の各々について上下、左右反転処理を行うことが必要である。

さらに、マイクロレンズアレイ（ＭＬＡ）を構成するマイクロレンズ撮影画像の各々には、多くの場合、オーバーラップ画像領域が存在する。従って、各画像のオーバーラップ領域を検出して、オーバーラップ画像を削除する画像切り出しを行い、切り出し後の画像を結合するといった大きな負荷の処理が必要となる。

図３を参照して、マイクロレンズアレイ（ＭＬＡ）を構成するマイクロレンズ各々に対応する画像に発生するオーバーラップ画像領域について説明する。
図３（１）は、図１（ｂ）を参照して説明したと同様のマイクロレンズアレイ型撮像装置の（ｂ）断面図を示している。マイクロレンズアレイ（ＭＬＡ）を構成するマイクロレンズの入射光の一部は隣接するマイクロレンズの入射光と重複した領域を含む。この結果、１つのマイクロレンズ撮影画像と、隣接するマイクロレンズ撮影画像には重複して撮影されたオーバーラップ画像領域が発生する。

図３（２）には、マイクロレンズアレイ４０と、撮影領域４１と、撮影画像４２を示している。撮影領域４１は、アルファベット、数値、記号から構成される。撮影画像４２は、この撮影領域４１の撮影結果であり、マイクロレンズアレイ４０の左上部の４×４のマイクロレンズによる１６個のマイクロレンズ撮影画像を示している。

図３（２）の撮影画像４２から理解されるように、撮影画像４２を構成するマイクロレンズ撮影画像の各々は、上下、左右が反転した画像として撮影されている。さらに、１つのマイクロレンズ撮影画像と、隣接するマイクロレンズ撮影画像には重複して撮影されたオーバーラップ画像領域が発生する。

例えば、撮影画像４２の左上端のマイクロレンズ撮影画像にはアルファベット画像「Ａ，Ｂ」のほぼ全体像と、数値画像「２，３」の一部が撮影されている。その右隣りのマイクロレンズ撮影画像にもアルファベット画像「Ｂ」の半分の画像が撮影されている。すなわち少なくともアルファベット画像「Ｂ」の一部は、この２つのマイクロレンズ撮影画像の双方の画像に撮影されているオーバーラップ画像である。

また、撮影画像４２の左上端のマイクロレンズ撮影画像には数値画像「２，３」の上半分程度が撮影されているが、その下隣りのマイクロレンズ撮影画像にも数値画像「２，３」の下部が半分以上、撮影されている。すなわち少なくとも画像「２，３」の一部は、この２つのマイクロレンズ撮影画像の双方の画像に撮影されているオーバーラップ画像である。

マイクロレンズ撮影画像のオーバーラップ画像の発生態様について図４を参照して説明する。
図４に示す１つのマイクロレンズ撮影画像４５に発生するオーバーラップ画像領域について説明する。
図４に示す１つのマイクロレンズ撮影画像４５には、上下左右の辺領域の画像が、それぞれ他のマイクロレンズ撮影画像にも含まれるオーバーラップ画像領域となる。

マイクロレンズ撮影画像４５の上端領域画像（Ｕ画像）は、図に示すマイクロレンズ撮影画像４５の下方向に隣接する他のマイクロレンズ撮影画像の下端領域画像と同一のオーバーラップ画像となる。
マイクロレンズ撮影画像４５の下端領域画像（Ｄ画像）は、図に示すマイクロレンズ撮影画像４５の上方向に隣接する他のマイクロレンズ撮影画像の上端領域画像と同一のオーバーラップ画像となる。
マイクロレンズ撮影画像４５の左端領域画像（Ｌ画像）は、図に示すマイクロレンズ撮影画像４５の右方向に隣接する他のマイクロレンズ撮影画像の右端領域画像と同一のオーバーラップ画像となる。
マイクロレンズ撮影画像４５の右端領域画像（Ｒ画像）は、図に示すマイクロレンズ撮影画像４５の左方向に隣接する他のマイクロレンズ撮影画像の左端領域画像と同一のオーバーラップ画像となる。

このように、マイクロレンズ撮影画像の各々には、オーバーラップ画像領域が存在する。従って、全体画像を生成するためには、各画像のオーバーラップ領域を検出して、オーバーラップ画像を削除する画像切り出しを行い、切り出し後の画像を結合するといった処理が必要となる。これらの処理は負荷が大きく、処理遅延の発生や処理コストの増大といった問題が発生する。

［３．本開示の画像処理装置における移動ベクトル算出処理について］
次に、本開示の画像処理装置における移動ベクトル算出処理について説明する。
先に図２を参照して説明したように、移動ベクトル（オプティカルフロー）検出処理は、例えば２つの異なるタイミングで撮影された２つの画像間の対応点（特徴点）の移動態様を検出して同一被写体位置（対応画素位置）を検出するために実行される。複数画像の対応画素位置を算出した後、複数画像の合成処理により１枚の高画質画像が生成される。

一般的な移動ベクトル算出処理例について図５を参照して説明する。
図５は、マイクロレンズを用いた撮像装置ではなく、一般的な単一レンズのカメラの撮影画像を用いた移動ベクトル（オプティカルフロー）算出処理例を示す図である。
図５には２枚の連続撮影画像フレームｆ１，ｆ２を示している。
画像フレームｆ１は時間ｔ１の撮影画像であり、画像フレームｆ２はその直後の時間ｔ２の撮影画像である。

フレームｆ１とフレームｆ２には同一被写体を撮影したと判断される特徴点ａ，５１、特徴点ｂ，５２が撮影されている。
移動ベクトルは、フレームｆ２に示すように、フレームｆ１の特徴点位置を起点とし、フレームｆ２の同一特徴点位置を終点としたベクトルである。すなわち、移動ベクトル（オプティカルフロー）は、フレームｆ１撮影時から、フレームｆ２撮影時までの特徴点の移動方向と移動量を示すベクトルである。

一般的なカメラの撮影画像を用いた場合、各撮影時間の全体画像が連続的に取得でき、このように移動ベクトルの算出も比較的容易に実行することができる。
しかし、マイクロレンズを用いた撮像装置では、先に図２〜図４を讃しようして説明したように移動ベクトル算出に利用するための全体画像を生成する処理の処理負荷が大きくなり、結果として、連続撮影画像間の移動ベクトル算出処理の処理負荷も大きくなるという問題がある。

以下では、この問題を解決する本開示の移動ベクトル算出処理について説明する。
本開示の処理では、マイクロレンズを用いた撮像装置の撮影画像から１枚の全体画像を生成することなく、マイクロレンズを用いた撮像装置の撮影画像そのもの、すなわち多数のマイクロレンズ撮影画像を用いて移動ベクトル算出処理を実行する。

図６以下を参照して、本開示の画像処理装置が実行する具体的な処理例について説明する。
図６には、マイクロレンズアレイ（ＭＬＡ）撮像装置による以下の２枚の連続撮影画像フレームの一部を示している。
（１）マイクロレンズアレイ（ＭＬＡ）撮影画像＠ｔ１（フレームｆ１）
（２）マイクロレンズアレイ（ＭＬＡ）撮影画像＠ｔ２（フレームｆ２）

（１）マイクロレンズアレイ（ＭＬＡ）撮影画像＠ｔ１（フレームｆ１）は時間ｔ１に撮影された画像であり、（２）マイクロレンズアレイ（ＭＬＡ）撮影画像＠ｔ２（フレームｆ２）は、その直後の時間ｔ２に撮影された画像である。
なお、図には各フレーム画像の一部、すなわち、３×３＝９のマイクロレンズ撮影画像を示している。（１），（２）とも同一位置の９個のマイクロレンズによって撮影された画像である。

移動ベクトルの算出時には、まず、フレームｆ１の画像から特徴点を抽出する。図６に示す例は、フレームｆ１の中央のマイクロレンズ撮影画像１０１の中央領域画像（Ｃ画像）から特徴点ａ，１０２を抽出した例を示している。
なお、マイクロレンズ撮影画像１０１の中央領域画像（Ｃ画像）は、オーバーラップ画像領域ではない。すなわち、この中央領域画像（Ｃ画像）は、他の周囲のマイクロレンズ撮影画像には含まれない単一画像領域である。

この場合、このフレームｆ１から検出した特徴点ａ，１０２のフレーム２における探索範囲を、特徴点ａ，１０２を検出したマイクロレンズ撮影画像１０１と同じマイクロレンズ撮影画像１０１の中央領域画像（Ｃ画像）に設定して特徴点探索を行う。
すなわち、レンズの位置と画像の反転態様を考慮した探索範囲を設定して特徴点探索を行う。

この特徴点探索により、図６（２）のフレームｆ２のマイクロレンズ撮影画像１０１の中央領域画像（Ｃ画像）に特徴点ａ，１０２が検出されたとする。
この結果、図６（２）のフレームｆ２のマイクロレンズ撮影画像１０１の中央領域（Ｃ画像）に示す移動ベクトル１０３が算出される。

本開示の画像処理装置は、フレームｆ１から検出した特徴点の位置に応じて、フレーム２の対応特徴点検出範囲（探索範囲）を設定する。図６に示す例では、フレームｆ１から検出した特徴点ａ，１０２は、マイクロレンズ撮影画像１０１の中央領域（Ｃ画像）であり、オーバーラップ画像領域ではないため、フレーム２における探索範囲を、特徴点ａ，１０２を検出したマイクロレンズ撮影画像１０１と同じマイクロレンズ撮影画像１０１の中央領域画像（Ｃ画像）に限定しており、この探索範囲の限定により、高速な処理が可能となる。

次に、図７を参照して、特徴点がオーバーラップ画像領域（重複画像領域）に存在する場合の処理について説明する。
図７にも図６と同様、マイクロレンズアレイ（ＭＬＡ）撮像装置による以下の２枚の連続撮影画像フレームの一部を示している。
（１）マイクロレンズアレイ（ＭＬＡ）撮影画像＠ｔ１（フレームｆ１）
（２）マイクロレンズアレイ（ＭＬＡ）撮影画像＠ｔ２（フレームｆ２）

（１）マイクロレンズアレイ（ＭＬＡ）撮影画像＠ｔ１（フレームｆ１）は時間ｔ１に撮影された画像であり、（２）マイクロレンズアレイ（ＭＬＡ）撮影画像＠ｔ２（フレームｆ２）は、その直後の時間ｔ２に撮影された画像である。（１），（２）とも同一位置の９個のマイクロレンズによって撮影された画像である。

移動ベクトルの算出時には、まず、フレームｆ１の画像から特徴点を抽出する。図７に示す例は、フレームｆ１の中央のマイクロレンズ撮影画像１０１の下部領域画像（Ｄ画像）から特徴点ａ，１２１を抽出した例を示している。
ここで、マイクロレンズ撮影画像１０１の下部領域画像（Ｄ画像）は、オーバーラップ画像領域である。すなわち、この下部領域画像（Ｄ画像）は、図に示すマイクロレンズ撮影画像１０１の上方向に隣接する上隣接マイクロレンズ撮影画像１１１にも含まれるオーバーラップ画像領域である。

この場合、このフレームｆ１から検出した特徴点ａ，１２１と同じ特徴点ａ，１２１を上隣接マイクロレンズ撮影画像１１１の上部領域画像（Ｕ画像）から検出することができる。
この場合、フレーム２における探索範囲を、特徴点ａ，１２１を検出したマイクロレンズ撮影画像１０１と同じマイクロレンズ撮影画像１０１の下部領域画像（Ｄ画像）に加え、同じ特徴点ａ，１２１を検出したオーバーラップ画像領域である上隣接マイクロレンズ撮影画像１１１と同じ上隣接マイクロレンズ撮影画像１１１の上部領域画像（Ｕ画像）に設定して特徴点探索を行う。
すなわち、レンズの位置と画像の反転態様、さらに画像重複領域を考慮した探索範囲を設定して特徴点探索を行う。

この特徴点探索により、図７（２）のフレームｆ２のマイクロレンズ撮影画像１０１の下部領域画像（Ｄ画像）と、上隣接マイクロレンズ撮影画像１１１の上部領域画像（Ｕ画像）から特徴点ａ，１２１が検出されたとする。
この結果、図７（２）のフレームｆ２のマイクロレンズ撮影画像１０１の下部領域画像（Ｄ画像）に、特徴点ａ，１２１対応の移動ベクトル１１３（１）が設定され、さらに、上隣接マイクロレンズ撮影画像１１１の上部領域画像（Ｕ画像）にも同じ特徴点ａ，１２１対応の移動ベクトル１１３（２）が設定される。

これらは、同じ１つの特徴点ａ，１２１対応の移動ベクトルであるので、最終的には１つの移動ベクトルに設定することが必要となる。この最終的な１つの移動ベクトル算出処理については後段で説明する。

ここでは、異なるマイクロレンズ撮影画像に同じ画像が含まれ、そこに同じ特徴点が検出された場合、これら２つの画像領域から１つの同じ特徴点に対応する２つの移動ベクトルが検出可能であることを説明した。
本開示の画像処理装置は、フレームｆ１から検出した特徴点の位置がオーバーラップ画像領域である場合、フレーム２の対応特徴点検出範囲（探索範囲）を、フレームｆ１から検出した特徴点の検出領域と同じ複数のオーバーラップ画像領域に設定する。この探索範囲の限定により、高速な処理が可能となる。

なお、図７に示す例は、同じ１つの特徴点ａ，１２１が、２つの異なるマイクロレンズ撮影画像から検出される例であるが、特徴点の検出位置によっては、同じ１つの特徴点が、４つの異なるマイクロレンズ撮影画像から検出される場合がある。
すなわち、同じ画像領域が４つの異なるマイクロレンズ撮影画像に含まれる場合がある。
この例について、図８を参照して説明する。

図８にも９個のマイクロレンズ撮影画像を示している。
中央のマイクロレンズ撮影画像１０１の４つの頂点の画像領域の画像の各々は、４つの異なるマイクロレンズ撮影画像に含まれる。
図８では、４つの頂点領域画像の１つであるマイクロレンズ撮影画像１０１左上端領域画像１０１ＵＬについて説明する。

このマイクロレンズ撮影画像１０１左上端領域画像１０１ＵＬは、この領域の画像と同一の画像が、マイクロレンズ撮影画像１０１と異なる他の３つのマイクロレンズ撮影画像にも含まれる。
図に丸印で示す領域であり、以下の３つの領域である。
（１）マイクロレンズ撮影画像１０１の右に隣接するマイクロレンズ撮影画像１２１の右上端領域画像１２１ＵＲ、
（２）マイクロレンズ撮影画像１０１の右下に隣接するマイクロレンズ撮影画像１２２の右下端領域画像１２２ＤＲ、
（３）マイクロレンズ撮影画像１０１の下に隣接するマイクロレンズ撮影画像１２３の左下端領域画像１２３ＤＬ、

このように、マイクロレンズ撮影画像１０１左上端領域画像１０１ＵＬは、他の３つの異なるマイクロレンズ撮影画像１２１，１２２，１２３にも存在する。すなわち同じ画像領域が４つの異なるマイクロレンズ撮影画像に含まれる。
なお、図８では、中央のマイクロレンズ撮影画像１０１の４つの頂点の１つのみについて説明したが、４つの頂点画像は、全て、同様であり、４つの異なるマイクロレンズ撮影画像に含まれる画像領域である。

このように同一の画像が４つの画像領域に含まれる場合、本開示の画像処理装置は、この領域で特徴点を検出した場合、同じ画像が含まれる４つの画像領域の全てで、同一特徴点に対応する４つの移動ベクトル検出処理を実行する。
なお、特徴点の探索範囲は、各フレームの同じ４つのマイクロレンズの４つの撮影画像領域に限定して行う。
すなわち、レンズの位置と画像の反転態様、さらに画像重複領域を考慮した探索範囲を設定して特徴点探索を行う。

次に、図９以下を参照して移動ベクトルの算出処理の具体例について説明する。
以下では、以下の３つのタイプの移動ベクトル算出処理について、順次、説明する。
（１）単一画像領域の特徴点対応の移動ベクトル算出処理
（２）２画像重複領域の特徴点対応の移動ベクトル算出処理
（３）４画像重複領域の特徴点対応の移動ベクトル算出処理

まず、（１）単一画像領域の特徴点対応の移動ベクトル算出処理について、図９（１）を参照して説明する。
この移動ベクトル算出処理は、先に図６を参照して説明した処理に対応する。
すなわち、オーバーラップ画像領域ではないマイクロレンズ撮影画像の中央領域画像（Ｃ画像）から検出した特徴点に対応する移動ベクトルの算出処理である。本例では、同一特徴点対応の移動ベクトルは１つのみ検出可能である。

マイクロレンズ撮影画像の中央領域画像（Ｃ画像）は、オーバーラップ画像領域ではなく、中央領域画像（Ｃ画像）は、他の周囲のマイクロレンズ撮影画像には含まれない単一画像領域である。
この場合、特徴点を検出したフレームｆ１のマイクロレンズ撮影画像と同じフレームｆ２のマイクロレンズ撮影画像の中央領域画像（Ｃ画像）を探索範囲に設定して特徴点探索を行う。この特徴点探索により、フレームｆ２から特徴点が検出された場合、フレームｆ１の特徴点位置（ｘ１，ｙ１）を起点とし、フレームｆ２の特徴点位置（ｘ２，ｙ２）を終点としたベクトルを算出する。

この結果、図９（１）に示すように、
移動ベクトルＶ＝（Ｖｘ，Ｖｙ）＝（ｘ２−ｘ１，ｙ２−ｙ１）
を算出することができる。

次に、（２）２画像重複領域の特徴点対応の移動ベクトル算出処理について、図９（２）を参照して説明する。
この移動ベクトル算出処理は、先に図７を参照して説明した処理に対応する。
すなわち、２つの同じ画像が存在するオーバーラップ画像領域であるマイクロレンズ撮影画像の端部領域（４頂点近傍領域を除く）の移動ベクトル算出処理である。本例では、同一特徴点対応の移動ベクトルが２つ検出可能となる。

マイクロレンズ撮影画像の端部領域（４頂点近傍領域を除く）は、オーバーラップ画像領域であり、他の１つのマイクロレンズ撮影画像に同じ画像が含まれる２画像重複領域である。

この場合、同一の特徴点を検出したフレームｆ１の２つのマイクロレンズ撮影画像の画像領域（オーバーラップ画像領域）と同じフレームｆ２の２つのマイクロレンズ撮影画像の画像領域（オーバーラップ画像領域）を探索範囲に設定して特徴点探索を行う。この特徴点探索により、フレームｆ２からは２つの同じ特徴点対応の２つの移動ベクトルが検出される場合がある。
この２つの移動ベクトルについて、図９（２）に示す処理（ステップＳ５１）によって、最終的な１つの移動ベクトルを算出する。

すなわち、同じ特徴点対応の２つの移動ベクトルの平均値Ｖ＝（Ｖｘ，Ｖｙ）を、以下の（式１）に従って算出する。

上記（式１）に従って算出された同じ特徴点対応の２つの移動ベクトルの平均値Ｖ＝（Ｖｘ，Ｖｙ）を移動ベクトルとして算出する。

次に、（３）４画像重複領域の特徴点対応の移動ベクトル算出処理について、図１０（３）を参照して説明する。
この移動ベクトル算出処理は、先に図８を参照して説明したように同じ画像が４つのマイクロレンズ撮影画像に含まれる場合の処理に対応する。
すなわち、４つの同じ画像が存在するオーバーラップ画像領域であるマイクロレンズ撮影画像４頂点近傍領域の移動ベクトル算出処理である。本例では、同一特徴点対応の移動ベクトルが４つ検出可能となる。

マイクロレンズ撮影画像の４頂点近傍領域は、オーバーラップ画像領域であり、４つのマイクロレンズ撮影画像に同じ画像が含まれる４画像重複領域である。

この場合、同一の特徴点を検出したフレームｆ１の４つのマイクロレンズ撮影画像の画像領域（オーバーラップ画像領域）と同じフレームｆ２の４のマイクロレンズ撮影画像の画像領域（オーバーラップ画像領域）を探索範囲に設定して特徴点探索を行う。この特徴点探索により、フレームｆ２からは４つの同じ特徴点対応の４つの移動ベクトルが検出される場合がある。
この４つの移動ベクトルについて、図１０（３）に示す処理（ステップＳ７１〜Ｓ７３）によって、最終的な１つの移動ベクトルを算出する。

まず、ステップＳ７１において、同じ特徴点対応の４つの移動ベクトルの平均値Ｖ＝（Ｖｘ，Ｖｙ）を、以下の（式２）に従って算出する。

次に、ステップＳ７２において、４つの移動ベクトルから、外れ値（異常値）を除外する処理を行う。
この処理は、以下の（式３）に従って実行する。

次に、ステップＳ７３において、ステップＳ７２で検出した外れ値（異常値）を除外して、再度、残りの移動ベクトルの平均値Ｖ＝（Ｖｘ，Ｖｙ）を算出する。
この結果、算出した平均値Ｖ＝（Ｖｘ，Ｖｙ）を、最終的な特徴点に対応する移動ベクトルとする。

このように、本開示の画像処理装置は、図９〜図１０を参照して説明した３つのタイプの移動ベクトル算出処理、すなわち、以下の３種類の処理を行う。
（１）単一画像領域の特徴点対応の移動ベクトル算出処理
（２）２画像重複領域の特徴点対応の移動ベクトル算出処理
（３）４画像重複領域の特徴点対応の移動ベクトル算出処理

上記処理中、
（２）２画像重複領域の特徴点対応の移動ベクトル算出処理
（３）４画像重複領域の特徴点対応の移動ベクトル算出処理
これらの処理では、同一特徴点に対応する複数の移動ベクトルを用いて、最終的な特徴点対応の１つの移動ベクトルを算出するものであり、１つのデータに依存しない複数データに基づく処理を行うことで、より高精度な移動ベクトル算出を行うことが可能となる。

なお、上記（１）〜（３）の処理のいずれを実行するかについては、画像処理装置のデータ処理部が検出した、特徴点の位置によって決定する。
マイクロレンズ撮影画像の中央領域画像（Ｃ画像）から特徴点を検出した場合は、
（１）単一画像領域の特徴点対応の移動ベクトル算出処理を実行する。
また、２つの同じ画像が存在するオーバーラップ画像領域であるマイクロレンズ撮影画像の端部領域（４頂点近傍領域を除く）から特徴点を検出した場合は、
（２）２画像重複領域の特徴点対応の移動ベクトル算出処理を実行する。
さらに、４つの同じ画像が存在するオーバーラップ画像領域であるマイクロレンズ撮影画像の４頂点近傍領域から特徴点を検出した場合は、
（３）４画像重複領域の特徴点対応の移動ベクトル算出処理を実行する。

ただし、例外的に、マイクロレンズアレイの最外周位置にあるマイクロレンズ対応のマイクロレンズ撮影画像から検出した特徴点に対する処理は異なる処理を行う。
この例外処理について、図１１以下を参照して説明する。

図１１左側には、マイクロレンズアレイ（ＭＬＡ）１０を示し、その最外周位置にあるマイクロレンズを白く示している。
例えば、この中の１つののマイクロレンズａ１５０の撮影画像について考察する。

図１１右側には、マイクロレンズアレイ（ＭＬＡ）１０の最外周位置にあるマイクロレンズａ１５０の撮影画像であるマイクロレンズａ撮影画像１５１を示している。
このマイクロレンズａ撮影画像１５１の上部領域画像（Ｕ画像）は、図に示すマイクロレンズａ撮影画像１５１の下方向に隣接する他のマイクロレンズ撮影画像の下端領域画像と同一のオーバーラップ画像となる。

また、マイクロレンズａ撮影画像１５１の下端領域画像（Ｄ画像）は、図に示すマイクロレンズａ撮影画像１５１の上方向に隣接する他のマイクロレンズ撮影画像の上端領域画像と同一のオーバーラップ画像となる。
マイクロレンズａ撮影画像１５１の左端領域画像（Ｌ画像）は、図に示すマイクロレンズａ撮影画像１５１の右方向に隣接する他のマイクロレンズ撮影画像の右端領域画像と同一のオーバーラップ画像となる。

しかし、マイクロレンズａ撮影画像１５１の右端領域画像（Ｒ画像）は、マイクロレンズａ撮影画像１５１の左側にマイクロレンズ撮影画像が存在しないため、他のマイクロレンズ撮影画像に同一画像が存在しない単一画像となる。

この場合、本開示の画像処理装置は、マイクロレンズａ撮影画像１５１の右端領域画像（Ｒ画像）から特徴点を検出した場合は、マイクロレンズ撮影画像の中央領域画像（Ｃ画像）から特徴点を検出した場合と同様、図９（１）に示す処理、すなわち、
（１）単一画像領域の特徴点対応の移動ベクトル算出処理を実行する。

図１２は、図１１と同様のマイクロレンズアレイ（ＭＬＡ）１０の最外周位置にあるマイクロレンズａ１５０の撮影画像であるマイクロレンズａ撮影画像１５１を示した図である。
図１２右側の図は、マイクロレンズａ撮影画像１５１の右上部領域画像（ＵＲ画像）１５１ＵＲのオーバーラップ態様を説明する図である。この４頂点近傍画像は、マイクロレンズ撮影画像がマイクロレンズアレイ（ＭＬＡ）１０の最外周位置でない場合は、先に図８を参照して説明したように、４つの重複画像が存在し、図１０（３）を参照して説明した
（３）４画像重複領域の特徴点対応の移動ベクトル算出処理を実行する。

しかし、図１２に示すように、マイクロレンズａ撮影画像１５１の左側にマイクロレンズ撮影画像が存在しないため、マイクロレンズａ撮影画像１５１の右上部領域画像（ＵＲ画像）１５１ＵＲのオーバーラップ画像は、マイクロレンズａ撮影画像１５１の下側に隣接するマイクロレンズ撮影画像１５２にのみ存在する。
すなわち、２つの重複画像が存在するのみとなる。

従って、本開示の画像処理装置は、マイクロレンズアレイ（ＭＬＡ）１０の最外周位置にあるマイクロレンズａ撮影画像１５１の頂点近傍領域画像から特徴点を検出した場合は、２つの同じ画像が存在するオーバーラップ画像領域から特徴点を検出した場合と同様、図９（２）に示す、
（２）２画像重複領域の特徴点対応の移動ベクトル算出処理を実行する。

図１３は、マイクロレンズアレイ（ＭＬＡ）１０の頂点位置の１つののマイクロレンズ
ｂ１６０の撮影画像に対する処理を説明する図である。図１３右側には、マイクロレンズアレイ（ＭＬＡ）１０の最外周位置でかつ頂点位置にあるマイクロレンズｂ１６０の撮影画像であるマイクロレンズｂ撮影画像１６１を示している。
このマイクロレンズｂ撮影画像１６１の上部領域画像（Ｕ画像）は、図に示すマイクロレンズｂ撮影画像１６１の下方向に隣接する他のマイクロレンズ撮影画像の下端領域画像と同一のオーバーラップ画像となる。

また、マイクロレンズｂ撮影画像１６１の左端領域画像（Ｌ画像）は、図に示すマイクロレンズｂ撮影画像１６１の右方向に隣接する他のマイクロレンズ撮影画像の右端領域画像と同一のオーバーラップ画像となる。

しかし、マイクロレンズｂ撮影画像１６１の下端領域画像（Ｄ画像）と、右端領域画像（Ｒ画像）は、マイクロレンズｂ撮影画像１６１の上側と左側にマイクロレンズ撮影画像が存在しないため、他のマイクロレンズ撮影画像に同一画像が存在しない単一画像となる。

この場合、本開示の画像処理装置は、マイクロレンズｂ撮影画像１６１の下端領域画像（Ｄ画像）、または右端領域画像（Ｒ画像）から特徴点を検出した場合は、マイクロレンズ撮影画像の中央領域画像（Ｃ画像）から特徴点を検出した場合と同様、図９（１）に示す処理、すなわち、
（１）単一画像領域の特徴点対応の移動ベクトル算出処理を実行する。

図１４は、図１３と同様のマイクロレンズアレイ（ＭＬＡ）１０の最外周位置、かつ頂点位置にあるマイクロレンズｂ１６０の撮影画像であるマイクロレンズｂ撮影画像１６１を示した図である。
図１４右側の図は、マイクロレンズｂ撮影画像１６１の右上部領域画像（ＵＲ画像）１６１ＵＲのオーバーラップ態様を説明する図である。この４頂点近傍画像は、マイクロレンズ撮影画像がマイクロレンズアレイ（ＭＬＡ）１０の最外周位置でない場合は、先に図８を参照して説明したように、４つの重複画像が存在し、図１０（３）を参照して説明した
（３）４画像重複領域の特徴点対応の移動ベクトル算出処理を実行する。

しかし、図１４に示すように、マイクロレンズｂ撮影画像１６１の上側と左側にマイクロレンズ撮影画像が存在しないため、マイクロレンズｂ撮影画像１６１の右上部領域画像（ＵＲ画像）１６１ＵＲのオーバーラップ画像は、マイクロレンズｂ撮影画像１６１の下側に隣接するマイクロレンズ撮影画像１６２にのみ存在する。
すなわち、２つの重複画像が存在するのみとなる。

従って、本開示の画像処理装置は、マイクロレンズアレイ（ＭＬＡ）１０の最外周の頂点位置にあるマイクロレンズｂ撮影画像１６１の右上部領域画像（ＵＲ画像）１６１ＵＲから特徴点を検出した場合は、２つの同じ画像が存在するオーバーラップ画像領域から特徴点を検出した場合と同様、図９（２）に示す、
（２）２画像重複領域の特徴点対応の移動ベクトル算出処理を実行する。

また、マイクロレンズｂ撮影画像１６１の右下部領域画像（ＤＲ画像）１６１ＤＲのオーバーラップ画像は、マイクロレンズｂ撮影画像１６１の上側にも左側にも隣接するマイクロレンズ撮影画像が存在しないため、重複画像が存在しない単一画像領域となる。

この場合、本開示の画像処理装置は、マイクロレンズｂ撮影画像１６１の右下部領域画像（ＤＲ画像）１６１ＤＲから特徴点を検出した場合は、マイクロレンズ撮影画像の中央領域画像（Ｃ画像）から特徴点を検出した場合と同様、図９（１）に示す処理、すなわち、
（１）単一画像領域の特徴点対応の移動ベクトル算出処理を実行する。

このように、本開示の画像処理装置は、特徴点を検出した位置の画像領域と同一の画像領域がマイクロレンズ撮影画像中ら、いくつ含まれるかを判定して、その数に応じて、図９、図１０を参照して説明した処理、すなわち、
（１）単一画像領域の特徴点対応の移動ベクトル算出処理
（２）２画像重複領域の特徴点対応の移動ベクトル算出処理
（３）４画像重複領域の特徴点対応の移動ベクトル算出処理
これらのいずれを実行するかを選択し、選択した処理を実行する。

［４．本開示の画像処理装置を適用した指紋認証処理について］
次に、上述した本開示の移動ベクトル（オプティカルフロー）処理を適用した本指紋認証処理について説明する。
なお、マイクロレンズアレイ型撮像装置を用いた生体認証装置としては、例えば、静脈認証や、指紋認証や、虹彩認証等を行う生体認証装置があるが、ここではその代表例としてマイクロレンズアレイ型撮像装置を用いた指紋認証装置について説明する。本開示の構成は、指紋認証装置に限らず、静脈認証や虹彩認証等のその他の生体認証装置にも適用可能である。

図１５は、本開示の画像処理装置による指紋認証処理のシーケンスを説明する図である。指紋認証処理のシーケンスは、例えば図１５に示すステップＳ１０１〜Ｓ１０３の処理に従って実行される。
なお、マイクロレンズアレイ型撮像装置を用いた従来型の指紋認証処理シーケンスについては、先に図２を参照して説明したが、図１５に示すシーケンスは、同じマイクロレンズアレイ型撮像装置を用いた指紋認証処理を大きな処理負荷を発生させることなく効率的に実行可能としたシーケンスである。

図１５に示すステップＳ１０１〜Ｓ１０３の処理について、順次、説明する。なお、これらの処理は、画像処理装置の記憶部に格納されたプログラムに従って、プログラム実行機能を有するＣＰＵ等を備えた制御部（データ処理部）の制御下で実行することが可能である。

（ステップＳ１０１）
まず、ステップＳ１０１において、ユーザの指の動画像を撮影する。
図１５には、時間（ｔ１）で撮影したマイクロレンズアレイ（ＭＬＡ）撮影画像＠ｔ１，２０１と、時間（ｔ２）で撮影したマイクロレンズアレイ（ＭＬＡ）撮影画像＠ｔ２，２０２を示している。なお、ここでは２枚の連続撮影画像を用いた処理例について説明するが、さらに３枚以上の連続撮影画像を利用してもよい。

図１５のステップＳ１０１に示すマイクロレンズアレイ（ＭＬＡ）撮影画像２０１，２０２内に示す四角形の各々が、１つのマイクロレンズ撮影画像２０３である。
先に説明したように、マイクロレンズアレイ（ＭＬＡ）型の撮像装置では、撮像素子に撮影される画像はアレイを構成する各マイクロレンズ対応の多数の画像となる。

（ステップＳ１０２）
次のステップＳ１０２では、２枚の連続撮影画像である２枚のマイクロレンズアレイ（ＭＬＡ）撮影画像２０１，２０２から移動ベクトル（オプティカルフロー）検出処理を実行する。

この移動ベクトル（オプティカルフロー）検出処理は、先に図６〜図１３を参照して説明した本開示の移動ベクトル検出処理である。すなわち、先に図２を参照して説明したステップＳ１２のように全体画像を生成することなく多数のマイクロレンズ撮影画像からなる撮影画像自体を用いて移動ベクトル（オプティカルフロー）検出処理を実行する。

本開示の画像処理装置は、多数のマイクロレンズ撮影画像からなる撮影画像から移動ベクトル算出対象となる特徴点を検出し、検出した特徴点の位置によって、異なる探索範囲の設定と移動ベクトル算出処理を実行する。

具体的には、１つのマイクロレンズ撮影画像の中央領域画像（Ｃ画像）から特徴点を検出した場合は、異なるタイミングで撮影されたマイクロレンズ撮影画像の同じ位置の中央領域画像（Ｃ画像）を探索範囲として対応特徴点を探索する。さらに、先に図９（１）を参照して説明した
（１）単一画像領域の特徴点対応の移動ベクトル算出処理
を実行する。

また、２つの同じ画像が存在するオーバーラップ画像領域であるマイクロレンズ撮影画像の端部領域（４頂点近傍領域を除く）から特徴点を検出した場合は、まず、同一フレームのオーバーラップ画像領域から同一の特徴点を検出する。
次に、異なるタイミングで撮影されたマイクロレンズ撮影画像の同じ２つの画像領域を探索範囲として対応特徴点を探索する。さらに、先に図９（２）を参照して説明した
（２）２画像重複領域の特徴点対応の移動ベクトル算出処理を実行する。

さらに、４つの同じ画像が存在するオーバーラップ画像領域であるマイクロレンズ撮影画像の４頂点近傍領域から特徴点を検出した場合は、まず、同一フレームのオーバーラップ画像領域から同一の特徴点を検出する。
次に、異なるタイミングで撮影されたマイクロレンズ撮影画像の同じ４つの画像領域を探索範囲として対応特徴点を探索する。さらに、先に図１０（３）を参照して説明した
（３）４画像重複領域の特徴点対応の移動ベクトル算出処理を実行する。

これらの処理を行うことで、先に図２を参照して説明したステップＳ１２のように全体画像を生成することなく移動ベクトル（オプティカルフロー）を検出することが可能となる。

（ステップＳ１０３）
次に、ステップＳ１０３において、ステップＳ１０２で検出した移動ベクトルを用いて、各画像の位置合わせを実行して高画質画像生成処理を行う。なお、この画像位置合わせ処理と、高画質画像生成処理はマイクロレンズ撮影画像単位で実行することが可能である。

画像位置合わせ処理と高画質画像生成処理をマイクロレンズ撮影画像単位で実行し、その後、高画質化されたマイクロレンズ撮影画像を結合して、１つの高画質全体画像を生成する。
ここでは、個々のマイクロレンズ撮影画像の上下左右の反転処理、およびオーバーラップ領域の検出し削除する画像切り出しと、切り出し後の画像の結合処理が必要となるが、本開示の処理ではこの処理は１回のみである。

先に図２を参照して説明した処理では、ステップＳ１２において、各撮影画像各々について全体画像を生成する処理が必要であり、最低２枚以上の連続撮影画像を利用した処理を行うことを想定すると、本開示の処理では、全体画像生成処理の工数は、図２に示す従来の処理の１／２以下になる。

ステップＳ１０３の処理の結果として指の鮮明な指紋情報等を持つ高画質画像２１０が生成される。
図には示していないが、最後にこの高画質画像２１０と予めメモリに登録してある指紋データとの照合処理を行う。

なお、本開示の処理では、ステップＳ１０２の移動ベクトル（オプティカルフロー）算出処理に際して、特徴点が重複画像領域から検出された場合、同一特徴点に対応する複数の移動ベクトルを用いて、最終的な特徴点対応の１つの移動ベクトルを算出する。すなわち、１つのデータに依存しない複数データに基づく処理を行う構成であり、より高精度な移動ベクトル算出を行うことが可能となる。

図１６、図１７は、本開示の画像処理装置を適用した指紋認証処理の具体例を説明する図である。図１６〜図１７には指紋認証処理の処理ステップＳ１０１〜Ｓ１０４の各処理の具体例を示している。ステップＳ１０１〜Ｓ１０３の処理は、図１５を参照して説明した処理ステップＳ１０１〜Ｓ１０３に対応する処理である。
図１６〜図１７に示す各ステップの処理について説明する。

（ステップＳ１０１）
ステップＳ１０１は、ユーザの指の動画像の撮影ステップである。図１７に示すように、ユーザが指をスマートホンの画面上をスライドさせる。スマートホンの画面上にはマイクロレンズアレイ（ＭＬＡ）型の撮像装置が搭載されている。
図１６に示すように、指の動きに併せてフレームｆ１〜ｆ３の３枚の連続撮影画像が撮影される。

（ステップＳ１０２）
次のステップＳ１０２は、ステップＳ１０１で撮影した３枚の画像を用いた移動ベクトル（オプティカルフロー）検出処理である。
図１６ステップＳ１０２には、
フレームｆ１とフレームｆ２間の移動ベクトル検出処理結果、
フレームｆ２とフレームｆ３間の移動ベクトル検出処理結果、
これらの移動ベクトル検出結果の例を示している。

このように２枚以上の連続撮影画像間の移動ベクトルの検出を行い、例えばフレームｆ２を基準画像として、フレームｆ１とフレームｆ３の画像の位置を基準画像（フレームｆ２）の位置に併せて合成することで高画質な合成画像を生成できる。

図１６のステップＳ１０２に示す移動ベクトル（オプティカルフロー）検出処理は、多数のマイクロレンズ撮影画像をそのまま利用した処理として実行される。
図６〜図１３を参照して説明した本開示の移動ベクトル検出処理を実行した結果である。マイクロレンズ撮影画像から検出した特徴点の位置に応じて、先に図９、図１０を参照して説明した３つのタイプの移動ベクトル算出処理、すなわち、以下の３種類の処理のいずれかを行う。
（１）単一画像領域の特徴点対応の移動ベクトル算出処理
（２）２画像重複領域の特徴点対応の移動ベクトル算出処理
（３）４画像重複領域の特徴点対応の移動ベクトル算出処理

この処理を行うことで、先に図２を参照して説明したステップＳ１２のように全体画像を生成することなく移動ベクトル（オプティカルフロー）を検出することが可能となる。

（ステップＳ１０３）
次のステップＳ１０３の処理は、ステップＳ１０２で検出した移動ベクトルを用いて、各画像の位置合わせを実行して高画質画像を生成する処理である。
図１６に示す例では、フレームｆ１〜ｆ３の３枚の画像を用いて高画質画像を生成する。例えば基準画像であるフレームｆ２の位置にフレームｆ１の画像位置を合せる。この位置合わせ処理はステップＳ１０２で検出したフレームｆ１とフレームｆ２間の移動ベクトルを用いて実行することができる。
さらに、基準画像であるフレームｆ２の位置にフレームｆ３の画像位置を合せる。この位置合わせ処理はステップＳ１０２で検出したフレームｆ２とフレームｆ３間の移動ベクトルを用いて実行することができる。

その後、これら３つの異なる撮影タイミングの対応画素のアルファブレンド等の処理により、高画質化処理を実行する。その後、高画質化されたマイクロレンズ撮影画像を結合して、１つの高画質全体画像を生成する。ここでは、個々のマイクロレンズ撮影画像の上下左右の反転処理、およびオーバーラップ領域の検出し削除する画像切り出しと、切り出し後の画像の結合処理が必要となるが、本開示の処理では、この処理は１つの全体画像生成処理のみである。
ステップＳ１０３の処理の結果として指の鮮明な指紋情報等を持つ高画質画像が生成される。

（ステップＳ１０４）
最後に図１７に示すステップＳ１０４において指紋認証処理を実行する。この指紋認証処理は、ステップＳ１０３で生成した高画質画像と、予めメモリ２３０に登録してある指紋データとの照合処理である。

ステップＳ１０３で生成した高画質画像は図１７に示す（ａ）高画質画像である。この高画質画像は、ステップＳ１０３においてあ毎の連続撮影画像に基づいて生成された画像である。
この高画質画像には鮮明な指紋（特徴点）２２１が撮影されており、メモリ２３０に予め登録済みの（ｂ）登録画像と照合することで、同一性についての高精度の判定処理が可能となる。

このように本開示の処理では、マイクロレンズ撮影画像単位での移動ベクトル検出処理を行うことで、連続撮影画像単位の全体画像生成処理工程（図２のステップＳ１２）を省略することが可能となり、効率的な処理が実現される。
また、図９、図１０を参照して説明したように重複画像領域から検出された同一特徴点対応の複数の移動ベクトルから最終的な１つの移動ベクトルを算出することにより、より高精度な移動ベクトルの算出が可能となる。

［５．本開示の画像処理装置の構成例と処理シーケンスについて］
次に、図１８以下を参照して本開示の画像処理装置の構成例と処理シーケンスについて説明する。なお、以下では、本開示の移動ベクトル算出処理を利用した画像処理装置として、以下の３つの画像処理装置について、順次、説明する。
（実施例１）指紋認証、登録処理を実行する画像処理装置
（実施例２）表示画面に対する指の操作（フリック、スワイプ等）を検出する画像処理装置
（実施例３）動画像の圧縮処理を実行する画像処理装置

（実施例１）指紋認証、登録処理を実行する画像処理装置
まず、実施例１として、指紋認証処理や指紋登録処理を実行する画像処理装置の構成例と処理シーケンスについて説明する。

図１８は、本実施例１の画像処理装置３００の構成例を示す図である。
図１８に示すように、画像処理装置３００は、撮像部３０１、移動ベクトル算出部３０２、画像合成部３０３、画像照合／登録部３０４、メモリ３０５を有する。なお、図１８に示すブロック図は、本開示の処理に必要となる主要な構成要素のみを示したブロック図であり、画像処理装置３００は図１８に示す構成要素に限らず、例えば制御部、記憶部、入力部、出力部等の構成要素を有する。
なお、撮像部３０１は、画像処理装置とは別の構成としてもよい。この場合、画像処理装置３００は、撮像部３０１の撮像画像を図示しない入力部を介して入力して処理を行う。

各構成部について説明する。
撮像部３０１は、先に図１を参照して説明したマイクロレンズアレイ（ＭＬＡ）を有する撮像部である。複数のマイクロレンズを介した撮影画像を撮影する。例えば、スマートホンの画面上でユーザの指をスライドさせた際の指の動画像を撮影する。動画像を構成する各フレームの画像は、いずれも多数のマイクロレンズ撮影画像によって構成される。マイクロレンズ撮影画像の各々は、上下左右が反転した画像であり、一部に他のマイクロレンズ撮影画像との重複領域が含まれる画像である。

撮像部３０１の撮影画像である動画像は、移動ベクトル算出部３０２に入力される。
移動ベクトル算出部３０２は、撮像部３０１の撮影画像である動画像の各フレーム画像の移動ベクトル（オプティカルフロー）の算出処理を実行する。
移動ベクトル算出部３０２は、多数のマイクロレンズ撮影画像をそのまま利用した移動ベクトル（オプティカルフロー）算出処理を実行する。

移動ベクトル算出部３０２は、マイクロレンズ撮影画像から特徴点を検出し、検出した特徴点の位置に応じて、先に図９、図１０を参照して説明した３つのタイプの移動ベクトル算出処理、すなわち、以下の３種類の処理のいずれかを行う。
（１）単一画像領域の特徴点対応の移動ベクトル算出処理
（２）２画像重複領域の特徴点対応の移動ベクトル算出処理
（３）４画像重複領域の特徴点対応の移動ベクトル算出処理

移動ベクトル算出部３０２が検出した移動ベクトル（オプティカルフロー）は、画像合成部３０３に出力される。
画像合成部３０３は、移動ベクトル算出部３０２が検出した移動ベクトル（オプティカルフロー）を利用して、撮像部３０１の撮影した動画像を構成する連続撮影画像の位置合わせを実行して高画質画像を生成する。この処理の結果として指の鮮明な指紋情報等を持つ高画質画像が生成される。

具体的には、例えば、異なる撮影タイミングの対応画素のアルファブレンド等の処理により、高画質化処理を実行する。その後、高画質化されたマイクロレンズ撮影画像を結合して、１つの高画質全体画像を生成する。ここでは、個々のマイクロレンズ撮影画像の上下左右の反転処理、およびオーバーラップ領域の検出し削除する画像切り出しと、切り出し後の画像の結合処理が必要となるが、本開示の処理では、この処理は１つの全体画像生成処理のみである。

画像合成部３０３が生成した高画質画像は、画像照合／登録部３０４に出力される。
画像照合／登録部３０４は、画像合成部３０３から指の高画質画像を入力して、画像照合処理、または登録処理を実行する。
指紋認証処理の実行時は、画像合成部３０３から入力した指の高画質画像と、メモリ３１５に格納済みの登録画像との照合処理を実行する。照合成立の場合は、次の処理に移行する。照合エラーの場合は、認証エラーであることのメッセージを出力する。

一方、指紋登録処理時には、画像合成部３０３から入力した指の高画質画像を、登録情報としてメモリ３１５に格納する。

この図１８に示す画像処理装置３００の処理シーケンスについて図１９に示すフローチャートを参照して説明する。
なお、図１９に示すフローチャートに従った処理は、例えば、画像処理装置の記憶部に格納されたプログラムに従って実行可能な処理であり、プログラム実行機能を有するＣＰＵ等を備えた制御部（データ処理部）の制御の下で実行することができる。
以下、図１９に示すフローの各ステップの処理について、順次、説明する。

（ステップＳ２０１）
まず、ステップＳ２０１において連続撮影画像、すなわち動画像を撮影する。
この処理は、図１８に示す画像処理装置３００の撮像部３０１が実行する。撮像部３０１は、複数のマイクロレンズを介した撮影画像を撮影する。例えば、スマートホンの画面上でユーザの指をスライドさせた際の指の動画像を撮影する。
撮像部３０１の撮影画像である動画像は、移動ベクトル算出部３０２に入力される。

（ステップＳ２０２）
次に、ステップＳ２０２において、マイクロレンズ撮影画像単位の移動ベクトル算出処理を実行する。この処理は、移動ベクトル算出部３０２が実行する。移動ベクトル算出部３０２は、撮像部３０１の撮影画像である動画像の各フレーム画像の移動ベクトル（オプティカルフロー）の算出処理を実行する。移動ベクトル算出部３０２は、多数のマイクロレンズ撮影画像をそのまま利用した移動ベクトル（オプティカルフロー）算出処理を実行する。

移動ベクトル算出部３０２は、マイクロレンズ撮影画像から特徴点を検出し、検出した特徴点の位置に応じて、先に図９、図１０を参照して説明した３つのタイプの移動ベクトル算出処理、すなわち、以下の３種類の処理のいずれかを行う。
（１）単一画像領域の特徴点対応の移動ベクトル算出処理
（２）２画像重複領域の特徴点対応の移動ベクトル算出処理
（３）４画像重複領域の特徴点対応の移動ベクトル算出処理
移動ベクトル算出部３０２が検出した移動ベクトル（オプティカルフロー）は、画像合成部３０３に出力される。

（ステップＳ２０３）
次に、ステップＳ２０３において、マイクロレンズ撮影画像単位の移動ベクトルを利用した位置合わせ処理を実行する。この処理は、画像合成部３０３が実行する。
画像合成部３０３は、移動ベクトル算出部３０２が検出した移動ベクトル（オプティカルフロー）を利用して、撮像部３０１の撮影した動画像を構成する連続撮影画像の位置合わせを実行して高画質画像を生成する。この処理の結果として指の鮮明な指紋情報等を持つ高画質画像が生成される。

（ステップＳ２０４）
さらに、ステップＳ２０４において、画像合成部３０３は高画質化されたマイクロレンズ撮影画像を結合して１つの高画質全体画像を生成する。ここでは、個々のマイクロレンズ撮影画像の上下左右の反転処理、およびオーバーラップ領域の検出し削除する画像切り出しと、切り出し後の画像の結合処理を行う。画像合成部３０３が生成した高画質画像は、画像照合／登録部３０４に出力される。

（ステップＳ２０５〜Ｓ２１１）
次の、ステップＳ２０５〜Ｓ２１１の処理は、画像照合／登録部３０４が実行する処理である。画像照合／登録部３０４は、画像合成部３０３から指の高画質画像を入力して、画像照合処理、または登録処理を実行する。

ステップＳ２０５で、実行する処理が指紋認証処理であるか指紋登録処理であるかを判定する。この判定は処理開示時のアプリケーションの設定に応じて判定すること等が可能である。
実行する処理が指紋認証処理である場合は、ステップＳ２０６〜Ｓ２０９の処理を実行する。
一方、実行する処理が指紋登録処理である場合は、ステップＳ２１１の処理を実行する。

実行する処理が指紋認証処理である場合は、ステップＳ２０６において、画像合成部３０３から入力した指の高画質画像と、メモリ３１５に格納済みの登録画像との照合処理を実行する。照合成立の場合（ステップＳ２０７＝Ｙｅｓ）は、ステップＳ２０８において、照合成立メッセージを出力し、次の処理に移行する。一方、照合不成立の場合（ステップＳ２０７＝Ｎｏ）は、照合エラーメッセージを出力する。

一方、ステップＳ２０５において、指紋登録処理の実行であると判定した場合は、ステップＳ２１１に進み、画像合成部３０３から入力した指の高画質画像を登録情報としてメモリ３１５に格納する。

（実施例２）表示画面に対する指の操作（フリック、スワイプ等）を検出する画像処理装置
次に、実施例２として、表示画面に対する指の操作（フリック、スワイプ等）を検出する画像処理装置の構成例と処理シーケンスについて説明する。

図２０は、本実施例２の画像処理装置３１０の構成例を示す図である。
図２０に示すように、画像処理装置３１０は、撮像部３１１、移動ベクトル算出部３１２、移動方向判別部３１３、処理実行部３１４、メモリ３１５を有する。なお、図２０に示すブロック図は、本開示の処理に必要となる主要な構成要素のみを示したブロック図であり、画像処理装置３１０は図２０に示す構成要素に限らず、例えば制御部、記憶部、入力部、出力部等の構成要素を有する。
なお、撮像部３１１は、画像処理装置とは別の構成としてもよい。この場合、画像処理装置３１０は、撮像部３１１の撮像画像を図示しない入力部を介して入力して処理を行う。

各構成部について説明する。
撮像部３１１と移動ベクトル算出部３１２は、先に図１８を参照して説明した撮像部３０１と移動ベクトル算出部３０２と同様の処理を実行する。すなわち、撮像部３１１は、マイクロレンズアレイ（ＭＬＡ）を有する撮像部である。移動ベクトル算出部３１２は、多数のマイクロレンズ撮影画像をそのまま利用した移動ベクトル（オプティカルフロー）算出処理を実行する。

移動ベクトル算出部３１２が検出した移動ベクトル（オプティカルフロー）は、移動方向判別部３１３に入力される。
移動方向判別部３１３は、移動ベクトル算出部３１２が検出した移動ベクトル（オプティカルフロー）を利用して、ユーザの指の動き方向を判別する。具体的にはユーザの指によるフリック動作やスワイプ動作の指の動き方向を判別する。
なお、フリック動作は、スマホ等の画面上で指をはじくように移動させる動作であり、スワイプ動作は、画面上に指を接触させたままスライドさせる処理である。

移動方向判別部３１３は、移動ベクトル算出部３１２が検出した移動ベクトル（オプティカルフロー）を利用して、ユーザの指の動き方向を判別する。移動ベクトル算出部３１２は、マイクロレンズ撮影画像の画像領域単位の多数の移動ベクトルを算出するが、移動方向判別部３１３は、例えば、これらの多数の移動ベクトルの平均値等を算出してユーザの指の動き方向を判別する。
移動方向判別部３１３の判別したユーザの指の移動方向情報は、処理実行部３１４に出力される。

処理実行部３１４は、移動方向判別部３１３の判別したユーザの指の移動方向に応じた処理を実行する。処理とは例えばスマホの表示画面の更新処理等、ユーザのフリックやスワイプ動作に応じた処理である。処理の実行には例えばメモリ３１５の格納データやアプリケーションが利用される。

この図２０に示す画像処理装置３１０の処理シーケンスについて図２１に示すフローチャートを参照して説明する。
なお、図２１に示すフローチャートに従った処理は、例えば、画像処理装置の記憶部に格納されたプログラムに従って実行可能な処理であり、プログラム実行機能を有するＣＰＵ等を備えた制御部（データ処理部）の制御の下で実行することができる。
以下、図２１に示すフローの各ステップの処理について、順次、説明する。

（ステップＳ２２１〜Ｓ２２２）
ステップＳ２２１〜Ｓ２２２の処理は、先に図１９を参照して説明したフローのステップＳ２０１〜Ｓ２０２の処理と同様の処理である。
すなわち、ステップＳ２２１において連続撮影画像、すなわち動画像を撮影する。
この処理は、図２０に示す画像処理装置３１０の撮像部３１１が複数のマイクロレンズを介した撮影画像を撮影する。例えば、スマートホンの画面上でユーザの指をスライドさせた際の指の動画像を撮影する。
撮像部３１１の撮影画像である動画像は、移動ベクトル算出部３１２に入力される。

移動ベクトル算出部３１２は、ステップＳ２２２において、マイクロレンズ撮影画像単位の移動ベクトル算出処理を実行する。移動ベクトル算出部３１２は、撮像部３１１の撮影画像である動画像の各フレーム画像の移動ベクトル（オプティカルフロー）の算出処理を実行する。移動ベクトル算出部３１２は、多数のマイクロレンズ撮影画像をそのまま利用した移動ベクトル（オプティカルフロー）算出処理を実行する。
移動ベクトル算出部３１２が検出した移動ベクトル（オプティカルフロー）は、移動方向判別部３１３に出力される。

（ステップＳ２２３）
次に、ステップＳ２２３において、マイクロレンズ撮影画像単位の移動ベクトルを利用した移動方向（フリック、スワイプ指示方向）判別処理を実行する。この処理は、図２０に示す移動方向判別部３１３が実行する。
移動方向判別部３１３は、移動ベクトル算出部３１２が検出したマイクロレンズ撮影画像の画像領域単位の多数の移動ベクトルの平均値等を算出してユーザの指の動き方向を判別する。
移動方向判別部３１３の判別したユーザの指の移動方向情報は、処理実行部３１４に出力される。

（ステップＳ２２４）
次に、ステップＳ２２４において、移動方向（フリック、スワイプ指示方向）判別結果に基づく処理を実行する。この処理は処理実行部３１４が実行する。
処理実行部３１４は、移動方向判別部３１３の判別したユーザの指の移動方向に応じた処理を実行する。処理とは例えばスマホの表示画面の更新処理等、ユーザのフリックやスワイプ動作に応じた処理である。処理の実行には例えばメモリ３１５の格納データやアプリケーションが利用される。

（実施例３）動画像の圧縮処理を実行する画像処理装置
次に、実施例３として、動画像の圧縮処理を実行する画像処理装置の構成例と処理シーケンスについて説明する。

図２２は、本実施例３の画像処理装置３２０の構成例を示す図である。
図２２に示すように、画像処理装置３２０は、撮像部３２１、移動ベクトル算出部３２２、画像圧縮処理実行部３２３、通信部３２４、メモリ３２５を有する。なお、図２２に示すブロック図は、本開示の処理に必要となる主要な構成要素のみを示したブロック図であり、画像処理装置３２０は図２２に示す構成要素に限らず、例えば制御部、記憶部、入力部、出力部等の構成要素を有する。
なお、撮像部３２１は、画像処理装置とは別の構成としてもよい。この場合、画像処理装置３２０は、撮像部３２１の撮像画像を図示しない入力部を介して入力して処理を行う。

各構成部について説明する。
撮像部３２１と移動ベクトル算出部３２２は、先に図１８を参照して説明した撮像部３０１と移動ベクトル算出部３０２と同様の処理を実行する。すなわち、撮像部３２１は、マイクロレンズアレイ（ＭＬＡ）を有する撮像部である。移動ベクトル算出部３２２は、多数のマイクロレンズ撮影画像をそのまま利用した移動ベクトル（オプティカルフロー）算出処理を実行する。

移動ベクトル算出部３２２が検出した移動ベクトル（オプティカルフロー）は、画像圧縮処理実行部３２３に入力される。
画像圧縮処理実行部３２３は、移動ベクトル算出部３２２が検出した移動ベクトル（オプティカルフロー）を利用して、動画像の圧縮処理を実行する。具体的には例えばＭＰＥＧ圧縮アルゴリズムに従った動画像圧縮処理を実行する。

ＭＰＥＧ圧縮処理では、高い圧縮率を実現するため異なるフレーム間の差分情報を算出し差分情報を符号化する処理を行う。この差分算出に移動ベクトルが用いられる。画像圧縮処理実行部３２３は、移動ベクトル算出部３２２が検出した移動ベクトル（オプティカルフロー）を利用して差分算出を実行してＭＰＥＧ圧縮処理を実行する。
画像圧縮処理実行部３２３による画像圧縮結果は、通信部３２４を介して外部に出力される。あるいはメモリ３２５に格納される。

次に、この図２２に示す画像処理装置３２０の処理シーケンスについて図２３に示すフローチャートを参照して説明する。
なお、図２３に示すフローチャートに従った処理は、例えば、画像処理装置の記憶部に格納されたプログラムに従って実行可能な処理であり、プログラム実行機能を有するＣＰＵ等を備えた制御部（データ処理部）の制御の下で実行することができる。
以下、図２３に示すフローの各ステップの処理について、順次、説明する。

（ステップＳ２５１〜Ｓ２５２）
ステップＳ２５１〜Ｓ２５２の処理は、先に図１９を参照して説明したフローのステップＳ２０１〜Ｓ２０２の処理と同様の処理である。
すなわち、ステップＳ２５１において連続撮影画像、すなわち動画像を撮影する。
この処理は、図２２に示す画像処理装置３２０の撮像部３２１が複数のマイクロレンズを介した撮影画像を撮影する。撮像部３２１の撮影画像である動画像は、移動ベクトル算出部３２２に入力される。

移動ベクトル算出部３２２は、ステップＳ２５２において、マイクロレンズ撮影画像単位の移動ベクトル算出処理を実行する。移動ベクトル算出部３２２は、撮像部３２１の撮影画像である動画像の各フレーム画像の移動ベクトル（オプティカルフロー）の算出処理を実行する。移動ベクトル算出部３２２は、多数のマイクロレンズ撮影画像をそのまま利用した移動ベクトル（オプティカルフロー）算出処理を実行する。
移動ベクトル算出部３２２が検出した移動ベクトル（オプティカルフロー）は、画像圧縮処理実行部３２３に出力される。

（ステップＳ２５３）
次に、ステップＳ２５３において、マイクロレンズ撮影画像単位の移動ベクトルを利用した画像圧縮（ＭＰＥＧ等）処理を実行する。この処理は、図２２に示す画像圧縮処理実行部３２３が実行する。
画像圧縮処理実行部３２３は、移動ベクトル算出部３２２が検出した移動ベクトル（オプティカルフロー）を利用して、動画像の圧縮処理を実行する。具体的には例えばＭＰＥＧ圧縮アルゴリズムに従った動画像圧縮処理を実行する。画像圧縮処理実行部３２３は、移動ベクトル算出部３２２が検出した移動ベクトル（オプティカルフロー）を利用して差分算出を実行してＭＰＥＧ圧縮処理を実行する。

（ステップＳ２５４）
次に、ステップＳ２５４において、画像圧縮処理実行部３２３による画像圧縮結果が、通信部３２４を介して外部に出力される。あるいはメモリ３２５に格納される。

［６．本開示の移動ベクトル算出処理を利用した具体的な装置例について］
次に、本開示の移動ベクトル算出処理を利用した具体的な装置例について説明する。
図２４に示す装置例は、スマホ（スマートホン）における指紋認証装置の例である。図にはスマホの側面に撮像部を構成した指紋認証装置４０１と、スマホ前面下部に撮像部を構成した指紋認証装置４０２の構成例を示している。
撮像部は、いずれもマイクロレンズアレイ（ＭＬＡ）を有する撮像部である。

図２５（ｂ）に示す装置例は、時計型の情報処理装置であるスマートウォッチにおける指紋認証装置の例である。図にはスマートウォッチの前面に撮像部を構成した指紋認証装置４０３の構成例を示している。
撮像部はマイクロレンズアレイ（ＭＬＡ）を有する撮像部である。

図２５（ｃ）に示す装置例は、例えば肌センサ等の接写高解像度画像撮影カメラである撮像装置４０４の例である。撮像部はマイクロレンズアレイ（ＭＬＡ）を有する撮像部であり、先に説明したマイクロレンズ撮影画像単位の移動ベクトル検出を行った後、検出した移動ベクトルを適用した位置合わせと画像合成処理による高画質画像を生成してＰＣ等の表示部に表示する構成である。

図２６には、先に図２０、図２１を参照して説明したユーザの指の動き、例えばフリックやスワイプ動作を検出する処理の具体的装置構成例を示している。
スマホ、スマートウォッチ、指輪型端末において、例えば図２６の下部に示すようなフリック動作による文字入力を行う構成に、本開示の移動ベクトル検出を適用することで、高速かつ高精度な移動方向検出を行う装置が実現される。

［７．画像処理装置のハードウェア構成例について］
次に、図２７を参照して画像処理装置のハードウェア構成例について説明する。
図２７は、本開示の処理を実行する画像処理装置のハードウェア構成例を示す図である。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６０２、または記憶部６０８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６０３には、ＣＰＵ６０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ６０１、ＲＯＭ６０２、およびＲＡＭ６０３は、バス６０４により相互に接続されている。

ＣＰＵ６０１はバス６０４を介して入出力インタフェース６０５に接続され、入出力インタフェース６０５には、マイクロレンズアレイを有する撮像部６２１、ユーザ入力可能な各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部６０６、表示部やスピーカなどに対するデータ出力を実行する出力部６０７が接続されている。ＣＰＵ６０１は、入力部６０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部６０７に出力する。

入出力インタフェース６０５に接続されている記憶部６０８は、例えばハードディスク等からなり、ＣＰＵ６０１が実行するプログラムや各種のデータを記憶する。通信部６０９は、Ｗｉ−Ｆｉ通信、ブルートゥース（登録商標）（ＢＴ）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

入出力インタフェース６０５に接続されているドライブ６１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア６１１を駆動し、データの記録あるいは読み取りを実行する。

［８．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） マイクロレンズアレイを有する撮像部の連続撮影画像を入力して、画像間の移動ベクトルを算出する移動ベクトル算出部を有し、
前記移動ベクトル算出部は、
前記マイクロレンズアレイを構成するマイクロレンズ各々が撮影したマイクロレンズ撮影画像を利用して特徴点対応の移動ベクトルを算出する画像処理装置。

（２） 前記移動ベクトル算出部は、
複数のマイクロレンズ撮影画像内に同じ画像領域を持つ重複画像領域内の特徴点対応の移動ベクトルを算出する処理と、
複数のマイクロレンズ撮影画像内に同じ画像領域を持たない単一画像領域内の特徴点対応の移動ベクトルを算出する処理を異なる処理として実行する（１）に記載の画像処理装置。

（３） 前記移動ベクトル算出部は、
前記重複画像領域内の特徴点対応の移動ベクトルを算出する際、
同一の特徴点に対応する複数の移動ベクトルの平均値を算出して、該特徴点の移動ベクトルとする（２）に記載の画像処理装置。

（４） 前記移動ベクトル算出部は、
前記重複画像領域内の特徴点対応の移動ベクトルを算出する際、
同一の特徴点に対応する複数の移動ベクトル中、外れ値（異常値）を排除した残りの複数の移動ベクトルの平均値を算出して、該特徴点の移動ベクトルとする（２）または（３）に記載の画像処理装置。

（５） 前記移動ベクトル算出部は、
複数のマイクロレンズ撮影画像内に同じ画像領域を持たない単一画像領域と、
複数のマイクロレンズ撮影画像内に同じ画像領域を持つ重複画像領域を区別し、
さらに、前記重複画像領域については、
２つの同じ画像領域を持つ２画像重複領域と、
４つの同じ画像領域を持つ４画像重複領域を区別して、
各領域単位で異なる移動ベクトル算出処理を実行する（１）〜（４）いずれかに記載の画像処理装置。

（６） 前記移動ベクトル算出部は、
前記マイクロレンズアレイを構成するマイクロレンズ各々が撮影したマイクロレンズ撮影画像中、
前記マイクロレンズアレイの最外周領域のマイクロレンズ各々が撮影したマイクロレンズ撮影画像から検出した特徴点対応の移動ベクトル算出処理は、その他のマイクロレンズ撮影画像から検出した特徴点対応の移動ベクトル算出処理と異なる例外処理を実行する（１）〜（５）いずれかに記載の画像処理装置。

（７） 前記移動ベクトル算出部は、
複数のマイクロレンズ撮影画像内に重複画像領域が存在するか否か、さらに、重複画像領域が存在する場合、その重複数がいくつであるかに応じて異なる移動ベクトル算出処理を実行する（１）〜（６）いずれかに記載の画像処理装置。

（８） 前記移動ベクトル算出部は、
前記マイクロレンズアレイを構成するマイクロレンズの位置と画像の反転態様を考慮した探索範囲を設定して特徴点探索を行う（１）〜（７）いずれかにに記載の画像処理装置。

（９） 前記移動ベクトル算出部は、
さらに画像重複領域を考慮した探索範囲を設定して特徴点探索を行う（８）に記載の画像処理装置。

（１０） 前記画像処理装置は、さらに、
前記移動ベクトル算出部の算出した移動ベクトルを用いて、前記撮像部の連続撮影画像の合成処理を実行する画像合成部を有する（１）〜（９）いずれかに記載の画像処理装置。

（１１） 前記画像合成部は、
前記移動ベクトル算出部の算出した移動ベクトルを用いて、前記マイクロレンズアレイを構成するマイクロレンズ各々が撮影した連続撮影マイクロレンズ撮影画像各々の位置合わせを実行して、連続撮影マイクロレンズ撮影画像各々の合成処理を実行する（１０）に記載の画像処理装置。

（１２） 前記撮像部の連続撮影画像は人の指紋を含む指画像であり、
前記画像処理装置は、さらに、前記画像合成部の生成した合成画像を用いて登録指紋画像との照合処理を実行する画像照合部を有する（１０）または（１１）に記載の画像処理装置。

（１３） マイクロレンズアレイを有する撮像部によって撮影された指の連続撮影画像を入力して、画像間の移動ベクトルを算出する移動ベクトル算出部と、
前記移動ベクトル算出部の算出した移動ベクトルを用いて、前記連続撮影画像の合成処理により高画質画像を生成する画像合成部と、
前記画像合成部の生成した合成画像と、予め記憶部に格納された登録指紋画像との照合処理を実行する画像照合部を有する指紋認証処理を実行する画像処理装置。

（１４） 前記移動ベクトル算出部は、
前記マイクロレンズアレイを構成するマイクロレンズ各々が撮影したマイクロレンズ撮影画像を利用して特徴点対応の移動ベクトルを算出し、
前記画像合成部は、
前記移動ベクトル算出部の算出した移動ベクトルを用いて、前記マイクロレンズアレイを構成するマイクロレンズ各々が撮影した連続撮影マイクロレンズ撮影画像各々の位置合わせを実行して、連続撮影マイクロレンズ撮影画像各々の合成処理を実行する（１３）に記載の画像処理装置。

（１５） 画像処理装置において実行する画像処理方法であり、
移動ベクトル算出部が、
マイクロレンズアレイを有する撮像部の連続撮影画像を入力して、画像間の移動ベクトルを算出する移動ベクトル算出ステップを実行し、
前記移動ベクトル算出ステップは、
前記マイクロレンズアレイを構成するマイクロレンズ各々が撮影したマイクロレンズ撮影画像を利用して特徴点対応の移動ベクトルを算出するステップである画像処理方法。

（１６） 画像処理装置において指紋認証処理を実行する画像処理方法であり、
移動ベクトル算出部が、
マイクロレンズアレイを有する撮像部によって撮影された指の連続撮影画像を入力して、画像間の移動ベクトルを算出する移動ベクトル算出ステップと、
画像合成部が、
前記移動ベクトル算出部の算出した移動ベクトルを用いて、前記連続撮影画像の合成処理により高画質画像を生成する画像合成ステップと、
画像照合部が、
前記画像合成部の生成した合成画像と、予め記憶部に格納された登録指紋画像との照合処理を実行する画像照合ステップを実行する画像処理方法。

（１７） 画像処理装置において画像処理を実行させるプログラムであり、
移動ベクトル算出部に、
マイクロレンズアレイを有する撮像部の連続撮影画像を入力して、画像間の移動ベクトルを算出する移動ベクトル算出ステップを実行させ、
前記移動ベクトル算出ステップにおいて、
前記マイクロレンズアレイを構成するマイクロレンズ各々が撮影したマイクロレンズ撮影画像を利用して特徴点対応の移動ベクトルを算出する処理を実行させるプログラム。

（１８） 画像処理装置において指紋認証処理を実行させるプログラムであり、
移動ベクトル算出部に、
マイクロレンズアレイを有する撮像部によって撮影された指の連続撮影画像を入力して、画像間の移動ベクトルを算出する移動ベクトル算出ステップを実行させ、
画像合成部に、
前記移動ベクトル算出部の算出した移動ベクトルを用いて、前記連続撮影画像の合成処理により高画質画像を生成させる画像合成ステップを実行させ、
画像照合部に、
前記画像合成部の生成した合成画像と、予め記憶部に格納された登録指紋画像との照合処理を実行する画像照合ステップを実行させるプログラム。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、マイクロレンズアレイを用いた撮影画像からの移動ベクトル算出処理を、全体画像を生成することなく行う装置、方法が実現される。
具体的には、例えばマイクロレンズアレイを有する撮像部によって撮影された連続撮影画像を入力して画像間の移動ベクトルを算出する。移動ベクトル算出部はマイクロレンズ各々が撮影したマイクロレンズ撮影画像を利用して特徴点対応の移動ベクトルを算出する。複数のマイクロレンズ撮影画像内に同じ画像領域を持つ重複画像領域内の特徴点に対応する移動ベクトルを算出する際、同一特徴点対応の複数の移動ベクトルの平均値を算出して、特徴点の移動ベクトルとする。または、外れ値（異常値）を排除した残りの複数移動ベクトルの平均値を算出して、特徴点の移動ベクトルとする。
これらの処理により、マイクロレンズアレイを用いた撮影画像からの移動ベクトル算出処理を、全体画像を生成することなく行う装置、方法が実現される。

１０ マイクロレンズアレイ（ＭＬＡ）
１１ マイクロレンズ
１２ イメージセンサ（撮像素子）
１０１ マイクロレンズ撮影画像
３００ 画像処理装置
３０１ 撮像部
３０２ 移動ベクトル算出部
３０３ 画像合成部
３０４ 画像照合／登録部
３０５ メモリ
３１０ 画像処理装置
３１１ 撮像部
３１２ 移動ベクトル算出部
３１３ 移動方向判別部
３１４ 処理実行部
３１５ メモリ
３２０ 画像処理装置
３２１ 撮像部
３２２ 移動ベクトル算出部
３２３ 画像圧縮処理実行部
３２４ 通信部
３２５ メモリ
４０１，４０２，４０３ 指紋認証装置
４０４ 撮像装置
６０１ ＣＰＵ
６０２ ＲＯＭ
６０３ ＲＡＭ
６０４ バス
６０５ 入出力インタフェース
６０６ 入力部
６０７ 出力部
６０８ 記憶部
６０９ 通信部
６１０ ドライブ
６１１ リムーバブルメディア
６２１ 撮像部

Claims (18)

1. マイクロレンズアレイを有する撮像部の連続撮影画像を入力して、画像間の移動ベクトルを算出する移動ベクトル算出部を有し、
   前記移動ベクトル算出部は、
   前記マイクロレンズアレイを構成するマイクロレンズ各々が撮影したマイクロレンズ撮影画像を利用して特徴点対応の移動ベクトルを算出する画像処理装置。
2. 前記移動ベクトル算出部は、
   複数のマイクロレンズ撮影画像内に同じ画像領域を持つ重複画像領域内の特徴点対応の移動ベクトルを算出する処理と、
   複数のマイクロレンズ撮影画像内に同じ画像領域を持たない単一画像領域内の特徴点対応の移動ベクトルを算出する処理を異なる処理として実行する請求項１に記載の画像処理装置。
3. 前記移動ベクトル算出部は、
   前記重複画像領域内の特徴点対応の移動ベクトルを算出する際、
   同一の特徴点に対応する複数の移動ベクトルの平均値を算出して、該特徴点の移動ベクトルとする請求項２に記載の画像処理装置。
4. 前記移動ベクトル算出部は、
   前記重複画像領域内の特徴点対応の移動ベクトルを算出する際、
   同一の特徴点に対応する複数の移動ベクトル中、外れ値（異常値）を排除した残りの複数の移動ベクトルの平均値を算出して、該特徴点の移動ベクトルとする請求項２に記載の画像処理装置。
5. 前記移動ベクトル算出部は、
   複数のマイクロレンズ撮影画像内に同じ画像領域を持たない単一画像領域と、
   複数のマイクロレンズ撮影画像内に同じ画像領域を持つ重複画像領域を区別し、
   さらに、前記重複画像領域については、
   ２つの同じ画像領域を持つ２画像重複領域と、
   ４つの同じ画像領域を持つ４画像重複領域を区別して、
   各領域単位で異なる移動ベクトル算出処理を実行する請求項１に記載の画像処理装置。
6. 前記移動ベクトル算出部は、
   前記マイクロレンズアレイを構成するマイクロレンズ各々が撮影したマイクロレンズ撮影画像中、
   前記マイクロレンズアレイの最外周領域のマイクロレンズ各々が撮影したマイクロレンズ撮影画像から検出した特徴点対応の移動ベクトル算出処理は、その他のマイクロレンズ撮影画像から検出した特徴点対応の移動ベクトル算出処理と異なる例外処理を実行する請求項１に記載の画像処理装置。
7. 前記移動ベクトル算出部は、
   複数のマイクロレンズ撮影画像内に重複画像領域が存在するか否か、さらに、重複画像領域が存在する場合、その重複数がいくつであるかに応じて異なる移動ベクトル算出処理を実行する請求項１に記載の画像処理装置。
8. 前記移動ベクトル算出部は、
   前記マイクロレンズアレイを構成するマイクロレンズの位置と画像の反転態様を考慮した探索範囲を設定して特徴点探索を行う請求項１に記載の画像処理装置。
9. 前記移動ベクトル算出部は、
   さらに画像重複領域を考慮した探索範囲を設定して特徴点探索を行う請求項８に記載の画像処理装置。
10. 前記画像処理装置は、さらに、
    前記移動ベクトル算出部の算出した移動ベクトルを用いて、前記撮像部の連続撮影画像の合成処理を実行する画像合成部を有する請求項１に記載の画像処理装置。
11. 前記画像合成部は、
    前記移動ベクトル算出部の算出した移動ベクトルを用いて、前記マイクロレンズアレイを構成するマイクロレンズ各々が撮影した連続撮影マイクロレンズ撮影画像各々の位置合わせを実行して、連続撮影マイクロレンズ撮影画像各々の合成処理を実行する請求項１０に記載の画像処理装置。
12. 前記撮像部の連続撮影画像は人の指紋を含む指画像であり、
    前記画像処理装置は、さらに、前記画像合成部の生成した合成画像を用いて登録指紋画像との照合処理を実行する画像照合部を有する請求項１０に記載の画像処理装置。
13. マイクロレンズアレイを有する撮像部によって撮影された指の連続撮影画像を入力して、画像間の移動ベクトルを算出する移動ベクトル算出部と、
    前記移動ベクトル算出部の算出した移動ベクトルを用いて、前記連続撮影画像の合成処理により高画質画像を生成する画像合成部と、
    前記画像合成部の生成した合成画像と、予め記憶部に格納された登録指紋画像との照合処理を実行する画像照合部を有する指紋認証処理を実行する画像処理装置。
14. 前記移動ベクトル算出部は、
    前記マイクロレンズアレイを構成するマイクロレンズ各々が撮影したマイクロレンズ撮影画像を利用して特徴点対応の移動ベクトルを算出し、
    前記画像合成部は、
    前記移動ベクトル算出部の算出した移動ベクトルを用いて、前記マイクロレンズアレイを構成するマイクロレンズ各々が撮影した連続撮影マイクロレンズ撮影画像各々の位置合わせを実行して、連続撮影マイクロレンズ撮影画像各々の合成処理を実行する請求項１３に記載の画像処理装置。
15. 画像処理装置において実行する画像処理方法であり、
    移動ベクトル算出部が、
    マイクロレンズアレイを有する撮像部の連続撮影画像を入力して、画像間の移動ベクトルを算出する移動ベクトル算出ステップを実行し、
    前記移動ベクトル算出ステップは、
    前記マイクロレンズアレイを構成するマイクロレンズ各々が撮影したマイクロレンズ撮影画像を利用して特徴点対応の移動ベクトルを算出するステップである画像処理方法。
16. 画像処理装置において指紋認証処理を実行する画像処理方法であり、
    移動ベクトル算出部が、
    マイクロレンズアレイを有する撮像部によって撮影された指の連続撮影画像を入力して、画像間の移動ベクトルを算出する移動ベクトル算出ステップと、
    画像合成部が、
    前記移動ベクトル算出部の算出した移動ベクトルを用いて、前記連続撮影画像の合成処理により高画質画像を生成する画像合成ステップと、
    画像照合部が、
    前記画像合成部の生成した合成画像と、予め記憶部に格納された登録指紋画像との照合処理を実行する画像照合ステップを実行する画像処理方法。
17. 画像処理装置において画像処理を実行させるプログラムであり、
    移動ベクトル算出部に、
    マイクロレンズアレイを有する撮像部の連続撮影画像を入力して、画像間の移動ベクトルを算出する移動ベクトル算出ステップを実行させ、
    前記移動ベクトル算出ステップにおいて、
    前記マイクロレンズアレイを構成するマイクロレンズ各々が撮影したマイクロレンズ撮影画像を利用して特徴点対応の移動ベクトルを算出する処理を実行させるプログラム。
18. 画像処理装置において指紋認証処理を実行させるプログラムであり、
    移動ベクトル算出部に、
    マイクロレンズアレイを有する撮像部によって撮影された指の連続撮影画像を入力して、画像間の移動ベクトルを算出する移動ベクトル算出ステップを実行させ、
    画像合成部に、
    前記移動ベクトル算出部の算出した移動ベクトルを用いて、前記連続撮影画像の合成処理により高画質画像を生成させる画像合成ステップを実行させ、
    画像照合部に、
    前記画像合成部の生成した合成画像と、予め記憶部に格納された登録指紋画像との照合処理を実行する画像照合ステップを実行させるプログラム。

Images