JP7248039B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

特許文献１には、被写体を撮影した複数の撮影画像を、各画像に画像処理を施してから合成することにより、光の映り込みや影による欠陥部分を補正する画像処理装置が開示されている。特許文献１には、さらに、複数の撮影画像を合成する前に変形、拡大・縮小等の処理を行うことが開示されている。

特開２０１０－７２８１３号公報

しかし、特許文献１に記載の技術において、複数の撮影画像を合成する際に行われる補正処理が適切なものでない場合には合成画像の精度が低下する可能性がある。

そこで、本発明は、上述の問題に鑑み、高精度に複数の画像を合成することができる情報処理装置、情報処理方法及びプログラムを提供することを目的とする。

本発明の一観点によれば、既知の形状を有する基準部材と、被写体とを含む撮影画像を複数取得する取得部と、複数の前記撮影画像のそれぞれに含まれる前記基準部材の形状に基づいて、複数の前記撮影画像から１つの合成画像を生成する合成部と、を備え、前記被写体は人物の皮膚紋理である、情報処理装置が提供される。

本発明の他の観点によれば、既知の形状を有する基準部材と、被写体とを含む撮影画像を複数取得するステップと、複数の前記撮影画像のそれぞれに含まれる前記基準部材の形状に基づいて、複数の前記撮影画像から１つの合成画像を生成するステップと、を備え、前記被写体は人物の皮膚紋理である、情報処理方法が提供される。

本発明のさらに他の観点によれば、コンピュータに、既知の形状を有する基準部材と、被写体とを含む撮影画像を複数取得するステップと、複数の前記撮影画像のそれぞれに含まれる前記基準部材の形状に基づいて、複数の前記撮影画像から１つの合成画像を生成するステップと、を実行させ、前記被写体は人物の皮膚紋理である、プログラムが提供される。

本発明によれば、高精度に複数の画像を合成することができる情報処理装置、情報処理方法及びプログラムが提供される。

第１実施形態における画像管理システムの全体構成例を示すブロック図である。 第１実施形態における画像管理システムの機能を示すブロック図である。 第１実施形態における記憶部が記憶する指紋画像情報の一例を示す図である。 第１実施形態における指紋画像の生成方法を説明する図である。 第１実施形態における指紋画像の生成方法を説明する図である。 第１実施形態における指紋画像の生成方法を説明する図である。 第１実施形態における指紋画像の生成方法を説明する図である。 第１実施形態における管理サーバ及びユーザ端末のハードウェア構成例を示すブロック図である。 第１実施形態における画像管理システムの処理の一例を示すシーケンス図である。 第１実施形態におけるユーザ端末に表示される操作案内画面の一例を示す図である。 第２実施形態における画像管理システムの機能を示すブロック図である。 第２実施形態における画像管理システムの処理の一例を示すシーケンス図である。 第２実施形態におけるユーザ端末に表示される操作案内画面の一例を示す図である。 第３実施形態における情報処理装置の機能を示すブロック図である。

以下、図面を参照して、本発明の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。

［第１実施形態］
先ず、本実施形態における画像管理システム１の構成について、図１乃至図５を参照しながら説明する。図１は、本実施形態における画像管理システム１の全体構成例を示すブロック図である。画像管理システム１は、管理サーバ１０及びユーザ端末２０を含む情報処理システムである。管理サーバ１０及びユーザ端末２０は、ＬＡＮ（Local Area Network）やインターネット等のネットワーク３０に接続されている。図１の例では、ユーザ端末２０は、基地局４０と無線通信を行い、基地局４０を介してネットワーク３０に接続されている。

管理サーバ１０は、ユーザ端末２０から送信された皮膚紋理の画像を登録・管理する情報処理装置である。皮膚紋理とは、指紋、掌紋及び足紋などの総称である。皮膚紋理は、人物によって異なるため、人物の鑑定や認証などに広く用いられている。なお、本実施形態における“皮膚紋理”の語句は、人物の指紋画像を意味するものとするが、本実施形態の構成は他の皮膚紋理の画像に対しても同様に適用できる。

ユーザ端末２０は、撮影機能及び無線通信機能を有する携帯型の端末装置である。ユーザ端末２０としては、例えば、スマートフォン、タブレット端末、カメラ付き携帯電話などが該当する。本実施形態のユーザ端末２０は、スマートフォンであり、指紋５０と、指紋５０を囲む基準部材６０とを同時に撮影するために用いられる。基準部材６０は、既知の形状（例えば、１辺５ｃｍの正方形）を有するスケール部材であり、材質は限定されない。

図２は、本実施形態における画像管理システム１の機能を示すブロック図である。ここでは、管理サーバ１０は、記憶部１１と、画像取得部１２と、画像合成部１３とを備える。

記憶部１１は、ユーザ端末２０から収集した撮影画像、複数の撮影画像から合成された合成画像、及び画像の属性情報などを記憶する。図３は、本実施形態における記憶部１１が記憶する指紋画像情報の一例を示す図である。ここでは、指紋画像情報のデータ項目として、画像ＩＤ、撮影日、撮影場所、指紋画像が挙げられている。ただし、データ項目はこれらに限られず、指紋画像に関連付けられた登録者の氏名、撮影者のＩＤ、指紋の特徴量、合成処理に用いた複数の撮影画像のファイル名などをさらに含んでもよい。

画像取得部１２は、既知の形状を有する基準部材６０と、被写体（指紋５０）とをそれぞれが含む複数の撮影画像を、ユーザ端末２０からネットワーク３０を介して取得する。画像取得部１２は、取得した複数の撮影画像を記憶部１１に保存する。

画像合成部１３は、複数の撮影画像のそれぞれに含まれる基準部材６０の形状に基づいて、複数の撮影画像から１つの合成画像を生成する。複数の撮影画像は、例えば、互いに異なる撮影位置（撮影角度、撮影距離）から撮影された画像である。

また、画像合成部１３は、撮影画像内における基準部材６０の形状が、基準部材６０を正面（真上）から見た形状に一致するように複数の撮影画像のそれぞれを変形してから、複数の撮影画像を合成することにより合成画像を生成する。

また、画像合成部１３は、複数の撮影画像のうち、所定の撮影条件を満たす撮影画像を選択して合成することにより合成画像を生成する。撮影条件は、撮影位置及び照明光の反射領域のうちの少なくとも１つを含む。撮影条件の具体例としては、（Ａ）複数回撮影したときに、撮影角度が近い撮影画像については一部の画像のみを選択する、（Ｂ）照明光の影響で白かぶりが多く発生している画像を除外して、撮影品質が高い画像のみを選択する、（Ｃ）一の撮影画像の欠損領域を補完するために必要な撮影画像のみを選択する、などが挙げられる。

画像合成部１３は、複数の撮影画像のそれぞれが異なる欠損領域を含む場合に、１つの撮影画像における欠損領域を他の１つの撮影画像における対応領域の画素値によって補完する。続いて、指紋画像の生成方法及び欠損領域の補完方法について説明する。

図４Ａ乃至図４Ｄは、本実施形態における指紋画像の生成方法を説明する図である。図４Ａは、指紋５０を基準部材６０で囲んだ状態で、指紋５０及び基準部材６０を異なる撮影位置から撮影することを示している。ここでは、撮影位置は、正面（真上）の位置Ａ、左斜め上方の位置Ｂ、右斜め上方の位置Ｃ、前方斜め上方の位置Ｄ、後方斜め上方の位置Ｅの５種類としている。

図４Ｂは、図４Ａの５種類の撮影位置Ａ～Ｅで撮影された撮影画像ＩＭＧ＿０１～ＩＭＧ＿０５をそれぞれ示している。また、図中で破線により囲まれた領域は、照明光の反射によって白かぶりが発生した欠損領域を示している。

正面の位置Ａで指紋５０及び基準部材６０を撮影した撮影画像ＩＭＧ＿０１では、欠損領域Ｒ１が指紋５０の左上に含まれ、欠損領域Ｒ２が右下に含まれている。同様に、左斜め上方の位置Ｂにおける撮影画像ＩＭＧ＿０２では、欠損領域Ｒ３が指紋５０の下側に含まれている。右斜め上方の位置Ｃにおける撮影画像ＩＭＧ＿０３では、欠損領域Ｒ４が指紋５０の上側に含まれている。前方斜め上方の位置Ｄにおける撮影画像ＩＭＧ＿０４では、欠損領域Ｒ５が指紋５０の左側に含まれている。そして、後方斜め上方の位置Ｅにおける撮影画像ＩＭＧ＿０５では、欠損領域Ｒ６が指紋５０の右側に含まれている。このように、５種類の画像のいずれにも、欠損領域が含まれており、完全な指紋画像は得られていない。

図４Ｃは、図４Ｂに示す撮影画像ＩＭＧ＿０１～ＩＭＧ＿０５に対して変形処理を施した補正画像ＩＭＧ＿１１～ＩＭＧ＿１５を示している。各撮影画像ＩＭＧ＿０１～ＩＭＧ＿０５は、基準部材６０を正面真上の位置から撮影したときに、基準部材６０が示す表示形状（大きさを含む）を基準値として変形される。

補正画像ＩＭＧ＿１１は、基準値に基づいて撮影画像ＩＭＧ＿０１を変形した画像であり、補正画像ＩＭＧ＿１１における指紋５０、基準部材６０、欠損領域Ｒ１及びＲ２は一定比率で拡大している。すなわち、補正画像ＩＭＧ＿１１における欠損領域Ｒ１１及びＲ１２は、撮影画像ＩＭＧ＿０１における欠損領域Ｒ１及びＲ２にそれぞれ対応している。同様に、補正画像ＩＭＧ＿１２は、基準値に基づいて撮影画像ＩＭＧ＿０２を変形した画像であり、補正画像ＩＭＧ＿１２における指紋５０、基準部材６０及び欠損領域Ｒ３は主として左右方向に一定比率で拡大している。すなわち、補正画像ＩＭＧ＿１２における欠損領域Ｒ１３は、撮影画像ＩＭＧ＿０２における欠損領域Ｒ３に対応している。

補正画像ＩＭＧ＿１３は、基準値に基づいて撮影画像ＩＭＧ＿０３を変形した画像であり、補正画像ＩＭＧ＿１３における指紋５０、基準部材６０及び欠損領域Ｒ４は主として左右方向に一定比率で拡大している。すなわち、補正画像ＩＭＧ＿１３における欠損領域Ｒ１４は、撮影画像ＩＭＧ＿０３における欠損領域Ｒ４に対応している。撮影画像ＩＭＧ＿０３内における基準部材６０の横の長さは、撮影画像ＩＭＧ＿０２内における基準部材６０の長さよりも短いため、拡大比率は撮影画像ＩＭＧ＿０３の方が大きくなる。

補正画像ＩＭＧ＿１４は、基準値に基づいて撮影画像ＩＭＧ＿０４を変形した画像であり、補正画像ＩＭＧ＿１４における指紋５０、基準部材６０及び欠損領域Ｒ５は主として上下方向に一定比率で拡大している。すなわち、補正画像ＩＭＧ＿１４における欠損領域Ｒ１５は、撮影画像ＩＭＧ＿０４における欠損領域Ｒ５に対応している。同様に、補正画像ＩＭＧ＿１５は、基準値に基づいて撮影画像ＩＭＧ＿０５を変形した画像であり、補正画像ＩＭＧ＿１５における指紋５０、基準部材６０及び欠損領域Ｒ６は主として上下方向に一定比率で拡大している。すなわち、補正画像ＩＭＧ＿１５における欠損領域Ｒ１６は、撮影画像ＩＭＧ＿０５における欠損領域Ｒ６に対応している。撮影画像ＩＭＧ＿０４内における基準部材６０の縦の長さは、撮影画像ＩＭＧ＿０２内における基準部材６０の長さと略同一であるため、拡大比率は画像間で略同一になる。

補正画像ＩＭＧ＿１１～ＩＭＧ＿１５における欠損領域Ｒ１１～Ｒ１６は、互いに相違しており、画像を重畳すると欠損領域を無くすことができる。すなわち、補正画像ＩＭＧ＿１１～ＩＭＧ＿１５を合成する際、一の画像の欠損領域は他の画像の対応領域における画素値によって補完できる。図４Ｄは、複数の撮影画像ＩＭＧ＿０１～ＩＭＧ＿０５の変形及び重畳により合成された合成画像ＩＭＧ＿２０を示している。合成画像ＩＭＧ＿２０に示すように、撮影画像ＩＭＧ＿０１～ＩＭＧ＿０５に欠損領域が含まれているような場合でも高精度で合成画像を生成できる。

また、図２に示すように、ユーザ端末２０は、記憶部２１と、撮影部２２と、画像送信部２３と、通知部２４とを備えている。

記憶部２１は、ユーザ端末２０の動作に必要なプログラムやファイル、ユーザ端末２０における処理データなどを記憶する。撮影部２２は、後述する撮影装置２５９の駆動を制御し、被写体の静止画像や動画像の撮影処理を行う撮影用アプリケーションである。

画像送信部２３は、撮影部２２における撮影処理が完了したとき、撮影画像を管理サーバ１０へ送信する。本実施形態では、画像送信部２３は、１つの指紋に対して異なる撮影位置から撮影された複数の撮影画像を纏めて送信するものとするが、撮影画像ごとに逐次送信してもよい。いずれの場合でも、撮影対象が共通である場合には、管理サーバ１０側において複数の撮影画像の関係を判定するために、撮影対象を識別するＩＤを撮影画像の送信データに含むものとする。

通知部２４は、撮影時において、撮影に関する案内情報を後述する表示装置２５６へ出力する。案内情報の具体例としては、ユーザに対して所定の撮影位置や撮影回数などを指定するメッセージが挙げられる。

図５は、本実施形態における管理サーバ１０及びユーザ端末２０のハードウェア構成例を示すブロック図である。管理サーバ１０は、演算、制御及び記憶を行うコンピュータとして、ＣＰＵ（Central Processing Unit）１５１、ＲＡＭ（Random Access Memory）１５２、ＲＯＭ（Read Only Memory）１５３及びＨＤＤ（Hard Disk Drive）１５４を備える。また、管理サーバ１０は、通信Ｉ／Ｆ（インターフェース）１５５、表示装置１５６及び入力装置１５７を備える。ＣＰＵ１５１、ＲＡＭ１５２、ＲＯＭ１５３、ＨＤＤ１５４、通信Ｉ／Ｆ１５５、表示装置１５６及び入力装置１５７は、バス１５８を介して相互に接続される。なお、表示装置１５６及び入力装置１５７は、これらの装置を駆動するための不図示の駆動装置を介してバス１５８に接続されてもよい。

ＣＰＵ１５１は、ＲＯＭ１５３、ＨＤＤ１５４等に記憶されたプログラムに従って所定の動作を行うとともに、管理サーバ１０の各部を制御する機能を有するプロセッサである。ＲＡＭ１５２は、揮発性記憶媒体から構成され、ＣＰＵ１５１の動作に必要な一時的なメモリ領域を提供する。ＲＯＭ１５３は、不揮発性記憶媒体から構成され、管理サーバ１０の動作に用いられるプログラム等の必要な情報を記憶する。ＨＤＤ１５４は、不揮発性記憶媒体から構成され、処理に必要なデータ、管理サーバ１０の動作用プログラム等の記憶を行う記憶装置である。

通信Ｉ／Ｆ１５５は、イーサネット（登録商標）、Ｗｉ－Ｆｉ（登録商標）、４Ｇ等の規格に基づく通信インターフェースであり、他の装置との通信を行うためのモジュールである。表示装置１５６は、液晶ディスプレイ、ＯＬＥＤディスプレイ等であって、画像、文字、インターフェース等の表示に用いられる。入力装置１５７は、キーボード、ポインティングデバイス等であって、ユーザが管理サーバ１０を操作するために用いられる。ポインティングデバイスの例としては、マウス、トラックボール、タッチパネル、ペンタブレット等が挙げられる。表示装置１５６及び入力装置１５７は、タッチパネルとして一体に形成されていてもよい。

ＣＰＵ１５１は、ＲＯＭ１５３、ＨＤＤ１５４等に記憶されたプログラムをＲＡＭ１５２にロードして実行する。これにより、ＣＰＵ１５１は、上述した画像取得部１２及び画像合成部１３などの機能を実現する。さらに、ＣＰＵ１５１は、ＨＤＤ１５４を制御することにより記憶部１１の機能を実現する。

また、ユーザ端末２０は、演算、制御及び記憶を行うコンピュータとして、ＣＰＵ２５１、ＲＡＭ２５２、ＲＯＭ２５３、通信Ｉ／Ｆ２５５、表示装置２５６及び入力装置２５７を備える。これらの装置は、管理サーバ１０のＣＰＵ１５１、ＲＡＭ１５２、ＲＯＭ１５３、通信Ｉ／Ｆ１５５、表示装置１５６及び入力装置１５７と同様であるため、詳細な説明は省略する。また、本実施形態のユーザ端末２０は、スマートフォンであるため、ＨＤＤ１５４の代わりに、大容量の記憶領域としてフラッシュメモリ２５４を備える。また、ユーザ端末２０は、静止画像及び動画像を撮影できるデジタルカメラなどの撮影装置２５９をさらに備える。ＣＰＵ２５１、ＲＡＭ２５２、ＲＯＭ２５３、通信Ｉ／Ｆ２５５、表示装置２５６、入力装置２５７、フラッシュメモリ２５４及び撮影装置２５９は、バス２５８を介して相互に接続される。

ＣＰＵ２５１は、ＲＯＭ２５３等に記憶されたプログラムをＲＡＭ２５２にロードして実行する。これにより、ＣＰＵ２５１は、上述した撮影部２２及び画像送信部２３及び通知部２４などの機能を実現する。さらに、ＣＰＵ２５１は、フラッシュメモリ２５４を制御することにより記憶部２１の機能を実現する。

なお、図５に示すハードウェア構成は例示であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。さらに、本実施形態の一部の機能がネットワーク３０を介して他の装置により提供されてもよく、本実施形態の機能が複数の装置に分散されて実現されるものであってもよい。例えば、ＨＤＤ１５４は、半導体メモリを用いたＳＳＤ（Solid State Drive）に置換されていてもよく、クラウドストレージに置換されていてもよい。

続いて、上述のように構成された画像管理システム１における画像登録処理について説明する。図６は、本実施形態における画像管理システム１の処理の一例を示すシーケンス図である。

先ず、ユーザ端末２０（撮影部２２）は、ユーザ操作に基づいて指紋画像の撮影用アプリケーション（以下、「撮影アプリ」という。）を起動すると（ステップＳ１０１）、表示装置２５６に操作案内画面を表示する（ステップＳ１０２）。

図７は、本実施形態におけるユーザ端末２０に表示される操作案内画面の一例を示す図である。ここでは、被写体となる指紋５０に対する基準部材６０の設置例と、撮影開始に関する案内メッセージ（「指紋の撮影を開始します。撮影したい指紋を囲むようにスケール部材を設置してください。撮影準備が整いましたら、完了ボタンを押してください。」）が表示されている。なお、完了ボタンを押下したとき、合成画像の生成に必要な撮影画像の撮影位置や撮影回数を案内する案内メッセージ（例えば、「次は、スケール部材に対して左斜め上方の位置から撮影してください。」など）が撮影状況に応じて表示されると、ユーザの撮影効率が向上するため好適である。

次に、ユーザ端末２０（撮影部２２）は、指紋５０を囲むように基準部材６０が置かれた状態で、異なる撮影位置から指紋５０と基準部材６０を一緒に撮影し（ステップＳ１０３）、複数の撮影画像を得る。

次に、ユーザ端末２０（画像送信部２３）は、共通の画像ＩＤに複数の撮影画像を関連付けて管理サーバ１０に一括送信する（ステップＳ１０４）。なお、ユーザ端末２０は、撮影画像を一枚ずつ管理サーバ１０に送信してもよい。管理サーバ１０（画像取得部１２）は、ユーザ端末２０から受信した複数の撮影画像をＨＤＤ１５４（記憶部１１）に保存する（ステップＳ１０５）。

次に、管理サーバ１０（画像合成部１３）は、複数の撮影画像に含まれる基準部材６０及び指紋５０の位置関係を解析し、所定の撮影条件を満たす画像のみを選択する（ステップＳ１０６）。なお、以下では複数の画像が条件を満たし、選択されたものとして説明する。撮影条件を満たす画像がない場合には、エラー情報をユーザ端末２０へ出力すればよい。

次に、管理サーバ１０（画像合成部１３）は、撮影画像内における基準部材６０の形状が、基準部材６０を正面（真上）から見た形状に一致するように複数の撮影画像のそれぞれを変形すると（ステップＳ１０７）、変形された複数の補正画像を重畳することによって合成画像を生成する（ステップＳ１０８）。

そして、管理サーバ１０（画像合成部１３）は、生成した合成画像を画像ＩＤに関連付けてＨＤＤ１５４（記憶部１１）に保存する（ステップＳ１０９）。ＨＤＤ１５４内に保存された指紋画像（合成画像）は、照合処理などに用いられる。

以上のように、本実施形態における画像管理システム１では、管理サーバ１０がユーザ端末２０から取得した複数の撮影画像を収集し、撮影画像内における指紋５０と基準部材６０との位置関係に基づいて撮影画像を変形し、合成処理を行う。すなわち、既知の形状を有する基準部材６０の形状に基づいて複数の撮影画像をそれぞれ高精度で変形できるため、その結果、高精度で合成画像を生成できる。

また、本実施形態における複数の撮影画像は、互いに異なる撮影位置から撮影された画像である。これにより、ある撮影位置での撮影画像の品質が低いような場合であっても、他の撮影位置での撮影画像の品質が高ければ、高精度で合成画像を生成できる。

また、本実施形態の管理サーバ１０（画像合成部１３）は、撮影画像内における基準部材６０の形状が、基準部材６０を正面（真上）から見た形状に一致するように複数の撮影画像のそれぞれを変形してから、複数の撮影画像を合成することにより合成画像を生成する。変形処理の基準とする基準部材６０の形状が予め定義されているため、高精度かつ高速度で処理を実行できる。

また、本実施形態の管理サーバ１０（画像合成部１３）は、複数の撮影画像のうち、所定の撮影条件を満たす撮影画像を選択して合成することにより合成画像を生成する。これにより、合成処理に不要な撮影画像を除外できるため、高精度かつ高速度で合成画像を生成できる。

また、本実施形態の管理サーバ１０（画像合成部１３）は、複数の撮影画像のそれぞれが異なる欠損領域を含む場合に、１つの撮影画像における欠損領域を他の１つの撮影画像における対応領域の画素値によって補完する。これにより、一部の撮影画像に欠損領域が含まれている場合でも、他の撮影画像によって欠損領域を補完し、高精度で合成画像を生成できる。

さらに、本実施形態においては、被写体が指紋５０である場合について説明したが、人物の他の皮膚紋理でもよい。被写体を皮膚紋理（皮膚紋様）にした場合、指紋照合に用いる特徴点の一部が白かぶり等の影響で欠落した欠損画像を複数取得することで、本来の被写体が有する特徴点を取得できる効果がある。また、人物の皮膚紋理の鑑定及び認証においては、指紋画像が高精度であることが要求されるため、本実施形態における画像管理システム１を皮膚紋理の画像登録に使用すると特に好適である。なお、本実施形態における画像管理システム１の構成は、任意の物体の画像登録においても適用できる。

［第２実施形態］
以下、第２実施形態における画像管理システム２について説明する。なお、第１実施形態の図中において付与した符号と共通する符号は同一の対象を示す。第１実施形態と共通する箇所の説明は省略し、異なる箇所について詳細に説明する。

上述した第１実施形態においては、管理サーバ１０側で画像の補正及び合成処理を実行していた。これに対し、本実施形態においては、ユーザ端末２０側で画像の補正及び合成処理を実行したのちに合成画像を管理サーバ１０に送信する点で第１実施形態と異なる。

図８は、本実施形態における画像管理システム２の機能を示すブロック図である。図８に示すように、管理サーバ１０からは、図２の画像合成部１３が除かれている。その代わりとして、ユーザ端末２０は、画像合成部２５をさらに備えている。画像合成部２５の機能は、第１実施形態における画像合成部１３の機能と同一であるため、詳細な説明は省略する。

続いて、上述のように構成された画像管理システム２における画像登録処理について説明する。図９は、本実施形態における画像管理システム２の処理の一例を示すシーケンス図である。

先ず、ユーザ端末２０（撮影部２２）は、ユーザ操作に基づいて指紋画像の撮影アプリを起動すると（ステップＳ２０１）、表示装置２５６に操作案内画面（図７参照）を表示する（ステップＳ２０２）。

次に、ユーザ端末２０（撮影部２２）は、指紋５０を囲むように基準部材６０が置かれた状態で、異なる撮影位置から指紋５０と基準部材６０を一緒に撮影し（ステップＳ２０３）、複数の撮影画像を得る。

次に、ユーザ端末２０（画像合成部２５）は、複数の撮影画像に含まれる基準部材６０及び指紋５０の位置関係を解析し、所定の撮影条件を満たす画像のみを選択する（ステップＳ２０４）。なお、以下では複数の画像が条件を満たし、選択されたものとして説明する。撮影条件を満たす画像がない場合には、例えばエラー情報を表示装置２５６へ出力すればよい。

次に、ユーザ端末２０（画像合成部２５）は、撮影画像内における基準部材６０の形状が、基準部材６０を正面（真上）から見た形状に一致するように複数の撮影画像のそれぞれを変形すると（ステップＳ２０５）、変形された複数の補正画像を重畳することによって合成画像を生成する（ステップＳ２０６）。

次に、ユーザ端末２０（画像合成部２５）は、合成画像を画像解析し、合成画像内に欠損領域が含まれているか否かを判定する（ステップＳ２０７）。ここで、ユーザ端末２０（画像合成部２５）が、合成画像内に欠損領域が含まれていると判定した場合（ステップＳ２０７：ＹＥＳ）には、処理はステップＳ２０８に移行する。

一方、ユーザ端末２０（画像合成部２５）が、合成画像内に欠損領域が含まれていないと判定した場合（ステップＳ２０７：ＮＯ）には、処理はステップＳ２１０に移行する。

ステップＳ２０８において、ユーザ端末２０（通知部２４）は、エラー情報を表示装置２５６の操作案内画面に表示する。図１０は、本実施形態におけるユーザ端末２０に表示される操作案内画面の一例を示す図である。ここでは、画面内に合成画像を生成できなかったこと及びエラーに対応する指示情報を含むメッセージ（「撮影画像から生成した合成画像内に欠損領域が含まれています。再撮影を行う場合には、下記の撮影位置から撮影してください。」）が撮影位置の説明図とともに表示されることが示されている。

次に、ユーザ端末２０（撮影部２２）が、操作案内画面のエラー情報を参照したユーザの操作に応じて、指紋５０及び基準部材６０の再撮影を実行すると（ステップＳ２０９）、処理はステップＳ２０５に戻る。

ステップＳ２１０において、ユーザ端末２０（画像送信部２３）は、共通の画像ＩＤに合成画像及び合成処理に用いた複数の撮影画像を関連付けて管理サーバ１０に一括送信する。そして、管理サーバ１０（画像取得部１２）は、ユーザ端末２０から受信した合成画像及び複数の撮影画像をＨＤＤ１５４（記憶部１１）に保存する（ステップＳ２１１）。

なお、上述した処理は、あくまで一例であり、処理の順序や処理方法の一部を変更してもよい。例えば、ステップＳ２０７において、欠損領域を含む場合であっても、欠損領域の面積が一定の閾値以内である場合には、ステップＳ２１０に移行してもよい。また、欠損領域の面積と閾値との比較処理以外で、ユーザに画像を選択させてもよい。

以上のように、本実施形態における画像管理システム２では、ユーザ端末２０側において撮影画像の変形及び合成処理を行うため、第１実施形態と同様の効果を奏する。また、撮影現場において複数の撮影画像から適切な合成画像を生成できなかった場合には、エラー情報をユーザ端末２０に画面表示できる。このため、撮影現場における再撮影の実行を促すことができ、ユーザが撮影を失敗した場合でも迅速に対応させることが可能となる。

［第３実施形態］
図１１は、本実施形態における情報処理装置１００の機能を示すブロック図である。本実施形態における情報処理装置１００は、既知の形状を有する基準部材と、被写体とをそれぞれが含む複数の撮影画像を取得する取得部１１０と、複数の撮影画像のそれぞれに含まれる基準部材の形状に基づいて、複数の撮影画像から１つの合成画像を生成する合成部１２０と、を備える。本実施形態によれば、高精度に複数の画像を合成することができる。

［変形実施形態］
以上、実施形態を参照して本発明を説明したが、本発明は上述の実施形態に限定されるものではない。本願発明の構成及び詳細には本発明の要旨を逸脱しない範囲で、当業者が理解し得る様々な変形をできる。例えば、いずれかの実施形態の一部の構成を、他の実施形態に追加した実施形態、あるいは他の実施形態の一部の構成と置換した実施形態も本発明を適用し得る実施形態であると理解されるべきである。

例えば、上述の第１実施形態では、画像合成部１３は、撮影画像内における基準部材６０の形状が、基準部材６０を正面から見た形状に一致するように複数の撮影画像のそれぞれを変形してから、複数の撮影画像を合成することにより合成画像を生成していた。しかし、画像合成部１３は、撮影画像内における基準部材６０の形状が複数の撮影画像のそれぞれについて一致するように複数の撮影画像のそれぞれを変形してから、複数の撮影画像を合成することにより合成画像を生成してもよい。この場合、基準部材６０を正面から見たときの形状を基準としなくても、画像変形を行うことができる。

また、上述の実施形態では、撮影画像が静止画像の場合について説明したが、動画像でもよい。この場合、動画像に含まれるフレーム画像から、所定の撮影条件を満たすフレーム画像を選択することで、同様に最適な合成画像を生成することが可能である。

また、上述の実施形態では、指紋５０を囲むように基準部材６０を置いた状態で指紋５０と基準部材６０を一緒に撮影することを前提として説明したが、基準部材６０を画面上で電子的に付与してもよい。例えば、ユーザ端末２０においてジャイロセンサや距離測定アプリケーションなどの機能を用いることで、撮影角度及び撮影距離に応じて画面上で基準部材６０に相当する電子スケールの形状を変形させ、電子スケールと指紋５０を含む撮影画像が生成されてもよい。

また、上述の実施形態では、ユーザ端末２０が、同一の被写体を撮影した複数の撮影画像に対して、共通の画像ＩＤを付して送信する場合を説明したが、ユーザ端末２０は端末に固有なＩＤ（例えばＭＡＣアドレス）を付して送信してもよい。端末ＩＤと撮影画像とを紐付けることで、端末ＩＤを署名として用いることができる。また、管理サーバ１０側では、撮影画像に付された端末ＩＤを参照することで、同一端末による撮影画像のみを画像合成処理に使用可能となる。

また、上述の第２実施形態では、ユーザ端末２０側で撮影画像を合成する場合について説明したが、管理サーバ１０に送信する撮影画像に対して、合成に用いた撮影画像であることを示すフラグを付してもよい。これにより、管理サーバ１０側では、撮影画像と合成画像との関係を容易に把握可能となる。

また、ユーザ端末２０は、セキュアモジュールを備え、同モジュールにおいて管理サーバ１０に送信する画像（撮影画像及び合成画像）や画像と同時に送信するデータに電子署名を付す構成としてもよい。電子署名を付すことにより、画像自体の改竄や、撮影時間及び撮影場所などの画像管理情報の改竄を防止できる。

また、合成画像における各画像領域が、どの撮影画像に基づくものであるのかを辿れるように、画像データ間の関係を管理する構成をさらに備えてもよい。例えば、ブロックチェーンを使用して合成画像から元の撮影画像を辿ることができる。１つの合成画像の生成に用いた全ての撮影画像を追跡可能とすることで、例えば指紋の鑑定などに合成画像を使用する場合に、画像の証拠能力の向上を図ることができる。

上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。

該記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、磁気テープ、不揮発性メモリカードなどを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。

上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
既知の形状を有する基準部材と、被写体とをそれぞれが含む複数の撮影画像を取得する取得部と、
前記複数の撮影画像のそれぞれに含まれる前記基準部材の形状に基づいて、前記複数の撮影画像から１つの合成画像を生成する合成部と、
を備える情報処理装置。

（付記２）
前記複数の撮影画像は、互いに異なる撮影位置から撮影された画像である、
付記１に記載の情報処理装置。

（付記３）
前記被写体は人物の皮膚紋理である、
付記１又は２に記載の情報処理装置。

（付記４）
前記合成部は、前記撮影画像内における前記基準部材の形状が前記複数の撮影画像のそれぞれについて一致するように前記複数の撮影画像のそれぞれを変形してから、前記複数の撮影画像を合成することにより前記合成画像を生成する、
付記１乃至３のいずれかに記載の情報処理装置。

（付記５）
前記合成部は、前記撮影画像内における前記基準部材の形状が、前記基準部材を正面から見た形状に一致するように前記複数の撮影画像のそれぞれを変形してから、前記複数の撮影画像を合成することにより前記合成画像を生成する、
付記１乃至４のいずれかに記載の情報処理装置。

（付記６）
前記合成部は、前記複数の撮影画像のうち、所定の撮影条件を満たす前記撮影画像を選択して合成することにより前記合成画像を生成する、
付記１乃至５のいずれかに記載の情報処理装置。

（付記７）
前記撮影条件は、撮影位置及び照明光の反射領域のうちの少なくとも１つを含む、
付記６に記載の情報処理装置。

（付記８）
前記合成部は、前記複数の撮影画像のそれぞれが異なる欠損領域を含む場合に、１つの前記撮影画像における前記欠損領域を他の１つの前記撮影画像における対応領域の画素値によって補完する、
付記１乃至７のいずれかに記載の情報処理装置。

（付記９）
前記複数の撮影画像を撮影する撮影装置と、
付記１乃至８のいずれかに記載の情報処理装置と、
を備える端末装置。

（付記１０）
前記撮影画像の撮影時において、撮影条件に関する案内メッセージを出力する通知部、
をさらに備える付記９に記載の端末装置。

（付記１１）
付記８又は９に記載の端末装置と、
前記端末装置により取得された前記合成画像を収集する管理サーバと、
を備え、
前記端末装置は、
前記合成画像を前記管理サーバへ送信する送信部、
をさらに有する情報処理システム。

（付記１２）
端末装置と、
付記１乃至８のいずれかに記載の情報処理装置を備える管理サーバと、
を備え、
前記端末装置は、
前記複数の撮影画像を撮影する撮影装置と、
前記複数の撮影画像を前記管理サーバへ送信する送信部と、
を有する情報処理システム。

（付記１３）
既知の形状を有する基準部材と、被写体とをそれぞれが含む複数の撮影画像を取得するステップと、
前記撮影画像内における前記基準部材の形状に基づいて、前記複数の撮影画像から１つの合成画像を生成するステップと、
を備える情報処理方法。

（付記１４）
コンピュータに、
既知の形状を有する基準部材と、被写体とをそれぞれが含む複数の撮影画像を取得するステップと、
前記撮影画像内における前記基準部材の形状に基づいて、前記複数の撮影画像から１つの合成画像を生成するステップと、
を実行させるプログラムが記録された記録媒体。

この出願は、２０１８年１２月２６日に出願された日本出願特願２０１８－２４２０２９を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１・・・画像管理システム
１０・・・管理サーバ
１１・・・記憶部
１２・・・画像取得部
１３・・・画像合成部
２０・・・ユーザ端末
２１・・・記憶部
２２・・・撮影部
２３・・・画像送信部
２４・・・通知部
２５・・・画像合成部
３０・・・ネットワーク
４０・・・基地局
５０・・・指紋
６０・・・基準部材
１００・・・情報処理装置
１１０・・・取得部
１２０・・・合成部
１５１，２５１・・・ＣＰＵ
１５２，２５２・・・ＲＡＭ
１５３，２５３・・・ＲＯＭ
１５４・・・ＨＤＤ
１５５，２５５・・・通信Ｉ／Ｆ
１５６，２５６・・・表示装置
１５７，２５７・・・入力装置
１５８，２５８・・・バス
２５４・・・フラッシュメモリ
２５９・・・撮影装置

Claims (13)

1. 既知の形状を有する基準部材と、被写体とを含む撮影画像を複数取得する取得部と、
   複数の前記撮影画像のそれぞれに含まれる前記基準部材の形状に基づいて、複数の前記撮影画像から１つの合成画像を生成する合成部と、
   を備え、
   前記被写体は人物の皮膚紋理である、
   情報処理装置。
2. 複数の前記撮影画像は、互いに異なる撮影位置から撮影された画像である、
   請求項１に記載の情報処理装置。
3. 前記合成部は、前記撮影画像内における前記基準部材の形状が複数の前記撮影画像のそれぞれについて一致するように複数の前記撮影画像のそれぞれを変形してから、複数の前記撮影画像を合成することにより前記合成画像を生成する、
   請求項１又は２に記載の情報処理装置。
4. 前記合成部は、前記撮影画像内における前記基準部材の形状が、前記基準部材を正面から見た形状に一致するように複数の前記撮影画像のそれぞれを変形してから、複数の前記撮影画像を合成することにより前記合成画像を生成する、
   請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記合成部は、複数の前記撮影画像のうち、所定の撮影条件を満たす前記撮影画像を選択して合成することにより前記合成画像を生成する、
   請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記撮影条件は、撮影位置及び照明光の反射領域のうちの少なくとも１つを含む、
   請求項５に記載の情報処理装置。
7. 前記合成部は、複数の前記撮影画像のそれぞれが異なる欠損領域を含む場合に、１つの前記撮影画像における前記欠損領域を他の１つの前記撮影画像における対応領域の画素値によって補完する、
   請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 複数の前記撮影画像を撮影する撮影装置と、
   請求項１乃至７のいずれか１項に記載の情報処理装置と、
   を備える端末装置。
9. 前記撮影画像の撮影時において、撮影条件に関する案内メッセージを出力する通知部、
   をさらに備える請求項８に記載の端末装置。
10. 請求項８又は９に記載の端末装置と、
    前記端末装置により取得された前記合成画像を収集する管理サーバと、
    を備え、
    前記端末装置は、
    前記合成画像を前記管理サーバへ送信する送信部、
    をさらに有する情報処理システム。
11. 端末装置と、
    請求項１乃至７のいずれか１項に記載の情報処理装置を備える管理サーバと、
    を備え、
    前記端末装置は、
    複数の前記撮影画像を撮影する撮影装置と、
    複数の前記撮影画像を前記管理サーバへ送信する送信部と、
    を有する情報処理システム。
12. 既知の形状を有する基準部材と、被写体とを含む撮影画像を複数取得するステップと、
    複数の前記撮影画像のそれぞれに含まれる前記基準部材の形状に基づいて、複数の前記撮影画像から１つの合成画像を生成するステップと、
    を備え、
    前記被写体は人物の皮膚紋理である、
    情報処理方法。
13. コンピュータに、
    既知の形状を有する基準部材と、被写体とを含む撮影画像を複数取得するステップと、
    複数の前記撮影画像のそれぞれに含まれる前記基準部材の形状に基づいて、複数の前記撮影画像から１つの合成画像を生成するステップと、
    を実行させ、
    前記被写体は人物の皮膚紋理である、
    プログラム。

Images