JP7314509B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

近年、画像認識技術の発展に伴い、防犯カメラ等で撮影された人物の画像と、データベースに予め登録されている登録者の画像とを照合して当該人物を識別する装置が普及している。しかし、業務の性質上、ユーザが照合結果を目視で確認しなければならない場合もある。
特許文献１には、記憶装置に予め記憶されている登録者の３次元画像における顔方向及び大きさを変更することによって、当該３次元画像を平面に投影した投影画像と、防犯カメラ等で撮影された人物の２次元の撮影画像とを重畳した合成画像を表示する画像照合装置が開示されている。ユーザは、当該合成画像を参照することにより、撮影画像の人物が登録者と同一人物であるか否かを容易に確認できる。

実用新案登録第３２０４１７５号公報

特許文献１に記載された装置においては、合成画像の作成過程で、ユーザは記憶装置に予め記憶されている複数の３次元画像の中から１つの画像を選択する必要がある。しかし、特許文献１では、ユーザがどのような基準で１つの画像を選択するのかについては開示されていない。このため、ユーザが登録者の３次元画像ごとに合成画像を作成して確認作業を進めるような場合には、３次元画像の数が多くなるほど、ユーザは確認作業に時間を要してしまう。

そこで、本発明は、上述の問題に鑑み、人物の画像照合におけるユーザの確認作業を効率化できる情報処理装置、情報処理方法及びプログラムを提供することを目的とする。

本発明の一観点によれば、人物の２次元画像と、複数の登録者の３次元登録画像を含む登録画像群との照合により得られた類似度に基づいて、前記複数の登録者の中から複数の候補者を抽出して前記類似度に応じた順序の一覧で表示するための表示情報を生成する表示情報生成部と、前記２次元画像とユーザ操作に基づいて前記一覧から選択した前記候補者の前記３次元登録画像とを組み合わせて合成画像を生成する際に、前記３次元登録画像内の前記候補者の外見を変更する加工処理を行い、前記２次元画像と加工された前記３次元登録画像とに基づいて前記合成画像を生成する合成画像生成部と、を備え、前記合成画像生成部は、前記２次元画像内の前記人物の体型の変化及び傷跡の有無に基づいて、前記３次元登録画像内の前記候補者の前記体型の変化及び前記傷跡の有無を模擬する、情報処理装置が提供される。

本発明の他の観点によれば、コンピュータが、人物の２次元画像と、複数の登録者の３次元登録画像を含む登録画像群との照合により得られた類似度に基づいて、前記複数の登録者の中から複数の候補者を抽出して前記類似度に応じた順序の一覧で表示するための表示情報を生成するステップと、前記コンピュータが、前記２次元画像とユーザ操作に基づいて前記一覧から選択した前記候補者の前記３次元登録画像とを組み合わせて合成画像を生成する際に、前記３次元登録画像内の前記候補者の外見を変更する加工処理を行い、前記２次元画像と加工された前記３次元登録画像とに基づいて前記合成画像を生成するステップと、を備え、前記合成画像を生成するステップでは、前記２次元画像内の前記人物の体型の変化及び傷跡の有無に基づいて、前記３次元登録画像内の前記候補者の前記体型の変化及び前記傷跡の有無を模擬する、情報処理方法が提供される。

本発明のさらに他の観点によれば、コンピュータに、人物の２次元画像と、複数の登録者の３次元登録画像を含む登録画像群との照合により得られた類似度に基づいて、前記複数の登録者の中から複数の候補者を抽出して前記類似度に応じた順序の一覧で表示するための表示情報を生成するステップと、前記２次元画像とユーザ操作に基づいて前記一覧から選択した前記候補者の前記３次元登録画像とを組み合わせて合成画像を生成する際に、前記３次元登録画像内の前記候補者の外見を変更する加工処理を行い、前記２次元画像と加工された前記３次元登録画像とに基づいて前記合成画像を生成するステップと、を実行させ、前記合成画像を生成するステップでは、前記２次元画像内の前記人物の体型の変化及び傷跡の有無に基づいて、前記３次元登録画像内の前記候補者の前記体型の変化及び前記傷跡の有無を模擬する、プログラムが提供される。

本発明によれば、人物の画像照合におけるユーザの確認作業を効率化できる情報処理装置、情報処理方法及びプログラムが提供される。

第１実施形態における画像照合システムの全体構成例を示す図である。 第１実施形態における画像照合装置の機能を示すブロック図である。 第１実施形態における記憶部が記憶する登録者情報の一例を示す図である。 第１実施形態における照合対象者の顔方向と撮影装置との位置関係を説明する図である。 第１実施形態における画像照合装置のハードウェア構成例を示すブロック図である。 第１実施形態における照合処理の一例を示すフローチャートである。 第１実施形態における候補者表示画面の一例を示す図である。 第１実施形態における合成画像の生成処理の一例を示すフローチャートである。 第１実施形態における人物確認画面の一例を示す図である。 第２実施形態における合成画像の生成処理の一例を示すフローチャートである。 第２実施形態における２次元画像と３次元登録画像との合成画像の生成例を示す図である。 第２実施形態における２次元画像と３次元加工画像との合成画像の生成例を示す図である。 第２実施形態における２次元画像と３次元登録画像との合成画像の生成例を示す図である。 第２実施形態における２次元画像と３次元加工画像との合成画像の生成例を示す図である。 第２実施形態における２次元画像と３次元登録画像との合成画像の生成例を示す図である。 第２実施形態における２次元画像と３次元加工画像との合成画像の生成例を示す図である。 第２実施形態における２次元画像と３次元登録画像との合成画像の生成例を示す図である。 第２実施形態における２次元画像と３次元加工画像との合成画像の生成例を示す図である。 第３実施形態における照合モードの選択処理の一例を示すフローチャートである。 第４実施形態における情報処理装置の機能を示すブロック図である。

以下、図面を参照して、本発明の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。

［第１実施形態］
先ず、本実施形態における画像照合システム１の構成について、図１乃至図５を参照しつつ説明する。図１は、本実施形態における画像照合システム１の全体構成例を示す図である。画像照合システム１は、画像照合装置１０と、撮影装置２０と、読取装置３０とを備える情報処理システムである。各装置は、ＬＡＮ（Local Area Network）やインターネット等のネットワーク４０に接続されている。

画像照合装置１０は、例えばイベント会場、テーマパーク、交通機関及び公共の機関などにおいて、照合対象の人物（以下、「照合対象者」という。）の画像から得られる生体情報と予めデータベースに登録されている複数の登録者の生体情報群とを照合する情報処理装置である。生体情報は、顔画像、指紋画像、虹彩画像、指の静脈画像、掌紋画像、手のひらの静脈画像などである。

なお、本実施形態における“生体情報”の語句は、顔画像及び顔画像から抽出される特徴量を意味するものとする。また、登録者の顔画像は、例えば会員登録をする際に人物の顔を正面だけでなく、複数の撮影角度で撮影することで登録者ごとに複数得られるものとする。顔画像から抽出される特徴量は、例えば、瞳、鼻、口端といった特徴的なパーツの位置等の顔の特徴を示す量であり得る。

撮影装置２０は、管理対象となる施設において設置された防犯カメラなどのネットワークカメラである。撮影装置２０は、例えば施設の所定領域を撮影した撮影画像を画像照合装置１０へ出力する。なお、図１において、撮影装置２０は、ネットワーク４０を介して画像照合装置１０に有線接続されているが、これに限られない。撮影装置２０は、画像照合装置１０に無線接続されてもよい。このため、撮影装置２０は、スマートフォン、タブレット端末、パーソナルコンピュータなどのユーザ端末でもよい。

読取装置３０は、写真などの印刷物を光学的に読取るスキャナ装置や、ＩＣカード、ＵＳＢメモリ及びディスクなどの電子記録媒体に記録されたデータを読取る装置である。読取装置３０は、読取った画像データを画像照合装置１０へ出力する。

図２は、本実施形態における画像照合装置１０の機能ブロック図である。画像照合装置１０は、記憶部１１と、画像取得部１２と、画像解析部１３と、照合モード選択部１４と、照合部１５と、表示情報生成部１６と、合成画像生成部１７とを備える。

記憶部１１は、複数の登録者の２次元顔画像及び３次元画像を登録者情報として記憶する。登録者情報としては、ブラックリスト、ホワイトリスト、ＶＩＰリスト、従業員リストなどが挙げられる。図３は、本実施形態における記憶部１１が記憶する登録者情報の一例を示す図である。ここでは、登録者情報のデータ項目として、登録者ＩＤ、氏名、住所、２次元画像（２Ｄ顔画像）及び３次元画像（３Ｄ顔画像）が挙げられている。登録者情報のデータ項目は、図３に示す項目に限られず、顔画像から抽出された顔特徴量や、登録者の年齢、身長、体型（痩せ型／標準型／肥満型）、出身地、ホクロや傷跡の有無などの身体的特徴、職歴及び学歴などの登録者の属性情報をさらに含んでもよい。また、登録者情報のデータ項目は、画像登録日などのファイルの属性情報をさらに含んでも良い。

また、図３では、２次元画像（２Ｄ顔画像）として、正面を向いた顔画像を例示しているが、記憶部１１に記憶される２次元画像の顔方向は正面のみに限定されない。例えば、左右側面から見たときの２次元画像や、斜め方向（例えば４５度）から見たときの２次元画像でもよい。また、複数の顔方向にそれぞれ対応する複数の２次元画像を記憶してもよい。複数の２次元画像は、３次元画像から作成してもよいし、３次元画像の作成過程において併せて作成してもよい。記憶部１１が、例えば、顔の正面、右側面、左側面を撮影した２次元画像を記憶している場合、正面と右側面の間の撮影条件である、斜め前を向いたときの顔画像を３Ｄモデル（３次元画像）で補完してもよい。

画像取得部１２は、撮影装置２０又は読取装置３０から照合対象者の２次元画像を取得する。また、画像取得部１２は、表示情報生成部１６や合成画像生成部１７からの要求に応じて、記憶部１１から複数の登録者の２次元登録画像及び３次元登録画像を取得する。

画像解析部１３は、画像取得部１２において取得された２次元画像を解析し、照合対象者の顔領域に対応する顔画像を検出する。また、画像解析部１３は、顔画像における特徴部分（目、鼻、口など）間の距離及び位置関係などに基づいて照合対象者の顔方向を検出する。顔方向は、例えば照合対象者が正面を向いたときの状態を基準として算出され得る。

照合モード選択部１４は、２次元画像と登録画像群との照合に先立って、照合に用いられる登録画像の種類を２次元画像に基づいて２次元登録画像及び３次元登録画像の一方から選択する。

本実施形態では、２次元画像と２次元登録画像とを照合する照合モードを“２Ｄ照合モード”と称し、２次元画像と３次元登録画像とを照合する照合モードを“３Ｄ照合モード”と称する。２Ｄ照合モードは、処理速度が速くリアルタイム性を実現できる。その反面、登録者リストに載っている顔写真の向きと同じ向き（例えば正面）でないと照合精度が低下する。また、顔方向が顔写真の向きと同一である場合であっても、顔方向以外の諸条件（例えば、画像の濃淡分布、認識可能な部位の面積等）が大きく異なると正常に照合されない可能性がある。これに対し、３Ｄ照合モードは、顔の向きや、照明の具合、付属品（装着物）の有無などの条件変化にも柔軟に対応して照合できる。その反面、３Ｄ照合モードは、２次元画像と比べて顔向きなどのバリエーションが多いため、処理速度・処理負荷が低下する懸念がある。

そこで、照合モード選択部１４は、２次元画像において顔を認識できる度合に応じて、２次元及び３次元の登録画像のうち、照合に適した画像を判定し、照合モードを選択する。なお、顔を認識できる度合は、人物の顔方向、画像の濃淡分布、認識可能な部位の種類、識別可能な面積または付属品（装飾品）の有無などにより判定され得る。本実施形態では、人物の顔方向により判定するものとする。

本実施形態の照合モード選択部１４は、画像解析部１３において算出した照合対象者の顔方向に基づいて登録画像の種類を選択する。例えば、照合モード選択部１４は、２次元画像における照合対象者の顔方向と基準方向とのなす角度が所定の閾値以上である場合には２次元登録画像を選択し、角度が閾値を超える場合には３次元登録画像を選択する。本実施形態における角度の閾値は、上下方向及び左右方向において３０度（上方向、下方向、左方向、右方向において、各１５度）であり、基準方向は正面方向であるものとする。

図４は、本実施形態における照合対象者の顔方向と撮影装置２０の位置関係を説明する図である。ここでは、互いに直交するＸ軸及びＹ軸により水平方向を示し、Ｘ軸及びＹ軸にそれぞれ直交するＺ軸により鉛直方向を示すものとする。また、撮影装置２０の撮影方向は、Ｘ軸の軸方向と一致しているものとする。

図４（ａ）は、照合対象者の頭部を真横から見たときの状態を示している。ここでは、照合対象者が撮影装置２０を正面から見たときを基準とした場合に、照合対象者の顔方向は角度θだけ鉛直上方向（図中、Ｚ軸正方向）に傾斜している。これに対し、図４（ｂ）は、照合対象者の頭部を頭上側から見たときの状態を示している。ここでは、照合対象者が撮影装置２０を正面から見たときを基準とした場合に、照合対象者の顔方向は角度θだけ左方向（図中、Ｙ軸負方向）に傾斜している。

本実施形態の照合モード選択部１４は、照合対象者の顔方向と正面方向とのなす角度θが、図４（ａ）及び図４（ｂ）の両方において閾値（１５度）以内である場合には、２次元登録画像を照合に用いる。そして、照合モード選択部１４は、角度θが図４（ａ）及び図４（ｂ）のどちらかにおいて閾値を超える場合には、３次元登録画像を照合に用いる。これは、照合対象者の顔方向が鉛直下方向、右方向である場合も同様である。

照合部１５は、照合モード選択部１４で選択された照合モードに基づいて、照合対象者の２次元画像と、複数の登録者の３次元登録画像を含む登録画像群、又は、複数の登録者の２次元登録画像を含む登録画像群とを照合し、照合対象者と登録者との類似度を登録者ごとに算出する。

照合部１５は、照合モードが２Ｄモードの場合には、２次元画像と２次元登録画像とを照合する。また、照合部１５は、照合モードが３Ｄモードの場合には、２次元画像と３次元登録画像とを照合する。この場合、照合部１５は、先ず、３次元登録画像における登録者の顔方向を２次元画像における人物の顔方向に合わせる。次に、照合部１５は、顔方向が調整された３次元登録画像から正面に対する２次元の投影画像を作成する。そして、照合部１５は、当該投影画像と２次元画像とを照合する。

表示情報生成部１６は、照合対象者の２次元画像と、複数の登録者の３次元登録画像を含む登録画像群との照合により得られた類似度に基づいて、複数の登録者の中から複数の候補者を抽出して類似度に応じた順序で表示するための表示情報を生成する。表示情報生成部１６は、生成した表示情報に基づく候補者表示画面をディスプレイに表示する。

合成画像生成部１７は、候補者表示画面においてユーザ操作により複数の候補者から選択された人物の３次元登録画像と、照合対象者の２次元画像とを重ね合わせて合成画像を生成する。合成画像生成部１７は、生成した合成画像を含む人物確認画面をディスプレイに表示する。

図５は、本実施形態における画像照合装置１０のハードウェア構成例を示すブロック図である。画像照合装置１０は、演算、制御及び記憶を行うコンピュータとして、ＣＰＵ（Central Processing Unit）１５１、ＲＡＭ（Random Access Memory）１５２、ＲＯＭ（Read Only Memory）１５３及びＨＤＤ（Hard Disk Drive）１５４を備える。また、画像照合装置１０は、通信Ｉ／Ｆ（インターフェース）１５５、表示装置１５６及び入力装置１５７を備える。ＣＰＵ１５１、ＲＡＭ１５２、ＲＯＭ１５３、ＨＤＤ１５４、通信Ｉ／Ｆ１５５、表示装置１５６及び入力装置１５７は、バス１５８を介して相互に接続される。なお、表示装置１５６及び入力装置１５７は、これらの装置を駆動するための不図示の駆動装置を介してバス１５８に接続されてもよい。

ＣＰＵ１５１は、ＲＯＭ１５３、ＨＤＤ１５４等に記憶されたプログラムに従って所定の動作を行うとともに、画像照合装置１０の各部を制御する機能を有するプロセッサである。ＲＡＭ１５２は、揮発性記憶媒体から構成され、ＣＰＵ１５１の動作に必要な一時的なメモリ領域を提供する。ＲＯＭ１５３は、不揮発性記憶媒体から構成され、画像照合装置１０の動作に用いられるプログラム等の必要な情報を記憶する。ＨＤＤ１５４は、不揮発性記憶媒体から構成され、処理に必要なデータ、画像照合装置１０の動作用プログラム等の記憶を行う記憶装置である。

通信Ｉ／Ｆ１５５は、イーサネット（登録商標）、Ｗｉ－Ｆｉ（登録商標）、４Ｇ等の規格に基づく通信インターフェースであり、他の装置との通信を行うためのモジュールである。表示装置１５６は、液晶ディスプレイ、ＯＬＥＤディスプレイ等であって、画像、文字、インターフェース等の表示に用いられる。入力装置１５７は、キーボード、ポインティングデバイス等であって、ユーザが画像照合装置１０を操作するために用いられる。ポインティングデバイスの例としては、マウス、トラックボール、タッチパネル、ペンタブレット等が挙げられる。表示装置１５６及び入力装置１５７は、タッチパネルとして一体に形成されていてもよい。

ＣＰＵ１５１は、ＲＯＭ１５３、ＨＤＤ１５４等に記憶されたプログラムをＲＡＭ１５２にロードして実行する。これにより、ＣＰＵ１５１は、上述した画像取得部１２、画像解析部１３、照合モード選択部１４、照合部１５、表示情報生成部１６及び合成画像生成部１７などの機能を実現する。さらに、ＣＰＵ１５１は、ＨＤＤ１５４を制御することにより記憶部１１の機能を実現する。

なお、図５に示すハードウェア構成は例示であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。さらに、本実施形態の一部の機能がネットワーク４０を介して他の装置により提供されてもよく、本実施形態の機能が複数の装置に分散されて実現されるものであってもよい。例えば、ＨＤＤ１５４は、半導体メモリを用いたＳＳＤ（Solid State Drive）に置換されていてもよく、クラウドストレージに置換されていてもよい。

続いて、画像照合装置１０の動作について図６乃至図９を参照しながら説明する。図６は、本実施形態における照合処理の一例を示すフローチャートである。この処理は、例えば、ユーザ操作により照合処理の実行開始が指示されてから、実行終了が指示されるまで繰り返し実行される。

先ず、画像照合装置１０のＣＰＵ１５１（画像取得部１２）は、撮影装置２０又は読取装置３０から照合対象者の２次元画像を取得する（ステップＳ１０１）。次に、ＣＰＵ１５１（画像解析部１３）は、２次元画像を解析して照合対象者の顔方向を検出する（ステップＳ１０２）。

次に、ＣＰＵ１５１（照合モード選択部１４）は、検出された顔方向が正面に対して３０度（閾値）以内か否かを判定する（ステップＳ１０３）。ここで、ＣＰＵ１５１（照合モード選択部１４）は、顔方向が正面に対して３０度以内であると判定すると（ステップＳ１０３：ＹＥＳ）、照合モードとして２Ｄ照合モードを選択し（ステップＳ１０４）、処理はステップＳ１０６へ移行する。

これに対し、ＣＰＵ１５１（照合モード選択部１４）は、顔方向が正面に対して３０度以内ではないと判定すると（ステップＳ１０３：ＮＯ）、照合モードとして３Ｄ照合モードを選択し（ステップＳ１０５）、処理はステップＳ１０６へ移行する。

ステップＳ１０６において、ＣＰＵ１５１（照合部１５）は、照合モード選択部１４で選択された照合モードに基づいて、照合対象者の２次元画像と、複数の登録者の登録画像群とを照合する。これにより、ＣＰＵ１５１（照合部１５）は、照合対象者と登録者との類似度を登録者ごとに算出する。

そして、ＣＰＵ１５１（表示情報生成部１６）は、照合対象者の２次元画像と登録画像群との照合により得られた類似度に基づいて、複数の登録者の中から複数の候補者を抽出して類似度に応じた順序で表示するための表示情報を生成すると、当該表示情報を候補者表示画面として表示装置１５６に表示する（ステップＳ１０７）。

図７は、本実施形態における候補者表示画面の一例を示す図である。図７における候補者表示画面は、上欄部に照合対象者の顔画像、撮影時間、撮影場所、抽出条件及びソート条件が表示されている。ソート条件は、例えば、初期設定は類似度が設定されるが、候補者の性別や住所などのデータ項目の中からユーザ操作によっても指定可能である。

また、下欄部には、照合対象者の顔画像との照合により複数の登録者の中から抽出された候補者が類似度順にリスト表示されている。リストの表示情報は、候補者の３次元登録画像の投影により得られた顔画像（投影画像）に加えて、類似度の順位、類似度、候補者の年齢及び住所を含んでいる。また、顔画像における候補者の顔方向は、照合対象者の顔方向に合わせて補正されており、照合対象者と候補者との画像比較が容易になっている。

図８は、本実施形態における合成画像の生成処理の一例を示すフローチャートである。この処理は、表示装置１５６における候補者表示画面の表示処理に連動して実行される。

先ず、画像照合装置１０のＣＰＵ１５１（合成画像生成部１７）は、候補者表示画面においてユーザ操作による候補者の選択が有ったか否かを判定する（ステップＳ２０１）。ここで、ＣＰＵ１５１（合成画像生成部１７）が、候補者の選択有りと判定した場合（ステップＳ２０１：ＹＥＳ）には、処理はステップＳ２０２に移行する。これに対し、ＣＰＵ１５１（合成画像生成部１７）が、候補者の選択無しと判定した場合（ステップＳ２０１：ＮＯ）には、処理はステップＳ２０６へ移行する。

ステップＳ２０２において、ＣＰＵ１５１（合成画像生成部１７）は、候補者に係る登録者ＩＤに基づいてＨＤＤ１５４（記憶部１１）より候補者の３次元登録画像を取得する（ステップＳ２０２）。

次に、ＣＰＵ１５１（合成画像生成部１７）は、３次元登録画像における候補者の顔方向及び画像の大きさを２次元画像における照合対象者の顔方向及び画像の大きさに合わせて調整すると（ステップＳ２０３）、照合対象者と候補者の合成画像を生成する（ステップＳ２０４）。

次に、ＣＰＵ１５１（合成画像生成部１７）は、照合対象者の２次元画像とユーザ操作により選択された候補者の３次元登録画像との合成画像を含む人物確認画面を表示装置１５６に表示する（ステップＳ２０５）。

図９は、本実施形態における人物確認画面の一例を示す図である。ここでは、人物確認画面の上欄部には、照合対象者の２次元画像ＩＭＧ＿０１と、一覧から選択された候補者の３次元登録画像ＩＭＧ＿０２が並べて表示されている。また、画面の下欄部には、上欄部の２次元画像ＩＭＧ＿０１及び３次元登録画像ＩＭＧ＿０２から生成された４種類の合成画像ＩＭＧ＿０３～ＩＭＧ＿０６が並べて表示されている。

合成画像ＩＭＧ＿０３及びＩＭＧ＿０４は、２次元画像ＩＭＧ＿０１及び３次元登録画像ＩＭＧ＿０２を左右にそれぞれ２分割し、組み合わせた左右方向でのワイプ画像である。同様に、合成画像ＩＭＧ＿０５及びＩＭＧ＿０６は、２次元画像ＩＭＧ＿０１及び３次元登録画像ＩＭＧ＿０２を上下にそれぞれ２分割し、組み合わせた上下方向でのワイプ画像である。各合成画像を生成する際には、候補者の３次元登録画像ＩＭＧ＿０２は、照合対象者の顔画像ＩＭＧ＿０１における顔方向、顔の特徴部位（目、鼻、口など）の画像内の位置座標に合わせて調整されるものとする。

なお、合成画像の種類は、上下及び左右方向のワイプ画像のみに限られない。例えば、照合対象者と候補者のいずれか一方の顔画像を半透明な透かし画像に変換し、他方の顔画像に重畳した合成画像を生成してもよい。

ステップＳ２０６において、ＣＰＵ１５１（合成画像生成部１７）は、確認画面においてユーザ操作により確認作業の終了ボタンが押下されたか否かを判定する（ステップＳ２０６）。ここで、ＣＰＵ１５１（合成画像生成部１７）が、終了ボタンが押下されたと判定した場合（ステップＳ２０６：ＹＥＳ）には、処理を終了する。これに対し、ＣＰＵ１５１（合成画像生成部１７）が、終了ボタンは押下されていないと判定した場合（ステップＳ２０６：ＮＯ）には、ステップＳ２０１に戻り、終了ボタンが押下されるまでステップＳ２０１～Ｓ２０６の処理を繰り返す。

以上のように、本実施形態における画像照合装置１０は、撮影装置２０又は読取装置３０から取得した２次元画像（撮影画像）と登録画像群との照合に先立って、２次元画像の解析結果に基づいて、照合に用いられる登録画像の種類を２次元登録画像及び３次元登録画像の一方から選択する。これにより、画像照合装置１０は、照合対象者の２次元画像の照合に適した照合モードによる照合処理を実行できる。２Ｄ照合モードを選択した場合には、高速かつ高精度での照合処理が可能になる。

一方、２次元画像における照合対象者の顔方向が閾値を超えることから３Ｄ照合モードを選択した場合には、３次元登録画像における候補者の顔方向を２次元画像における照合対象者の顔方向に合わせて調整する。このため、画像照合装置１０は、様々な撮影角度で撮影された２次元画像に対しても柔軟に対応して照合処理を実行できる。

また、本実施形態における画像照合装置１０は、照合対象者と照合した複数の登録者を類似度の順にリストアップする。これにより、ユーザは、類似度の高い候補者を順次選択しながら確認作業を進められるため、目視での確認作業を効率的に実行できる。

また、本実施形態における画像照合装置１０は、照合対象者の顔画像と、リストから選択された候補者の顔画像とを合成した合成画像を含む確認画面に表示する。当該合成画像では、候補者の顔画像は、照合対象者の顔画像に合わせて顔方向及び大きさが補正される。このため、ユーザは、合成画像を参照することで、照合対象者と候補者とが同一人物であるか否かを容易に確認できる。

なお、本実施形態における画像照合装置１０は、登録者情報として２次元登録画像と３次元登録画像の両方をデータベース（記憶部１１）に予め記憶していることを前提としていたが、３次元登録画像のみを記憶する構成も有り得る。この場合、２Ｄ照合モードが選択された場合には、３次元登録画像から２次元の照合用画像を生成して照合処理に用いればよい。

また、図７に示す候補者表示画面において、類似度に加えて、候補者の属性情報である年齢及び住所を表示する場合について説明したが、表示する属性情報はこれらに限られない。例えば、候補者の性別や出身地などの属性情報を表示してもよい。さらに、表示情報生成部１６は、属性情報に含まれる複数のデータ項目の中から、ユーザ操作により選択されたデータ項目に基づいて表示情報における候補者の順序を変更してもよい。

［第２実施形態］
以下、第２実施形態における画像照合システム１について説明する。なお、第１実施形態の図中において付与した符号と共通する符号は同一の対象を示す。第１実施形態と共通する箇所の説明は省略し、異なる箇所について詳細に説明する。

本実施形態における画像照合システム１は、画像照合装置１０（合成画像生成部１７）が、ある人物（照合対象者）の２次元画像と登録者の３次元登録画像とを重ね合わせて合成画像を生成する際に、３次元登録画像に対して登録者の外見を変更する加工処理を行う機能をさらに備える点において第１実施形態と異なる。

ここで、外見に関する加工処理の具体例としては、以下の（Ａ）～（Ｆ）などが挙げられる。
（Ａ）体毛（頭髪、髭、眉毛など）の発毛部位、量、形状（髪型など）及び色を調整する処理。
（Ｂ）付属品（眼鏡、帽子、マスク、ピアス、タトゥなど）の有無を調整する処理。
（Ｃ）表情の種類・大きさの変化を模擬する処理。
（Ｄ）体形の変化や傷跡の有無を模擬する処理。
（Ｅ）顔の老化度の経年変化を模擬する処理。
（Ｆ）環境光の影響度を調整する処理。

本実施形態の合成画像生成部１７は、上述の（Ａ）～（Ｆ）について、２次元画像と３次元登録画像との外見に関する差異を検出すると、一方の画像における外見を他方の画像における外見に近付けるように加工処理を行う。

図１０は、本実施形態における合成画像の生成処理の一例を示すフローチャートである。この処理は、例えば、第１実施形態と同様に、照合処理の実行により表示される候補者表示画面において、ユーザ操作に基づいて候補者が選択された場合に実行される。

先ず、ＣＰＵ１５１（合成画像生成部１７）は、照合対象者の２次元画像を取得する（ステップＳ３０１）。次に、ＣＰＵ１５１（合成画像生成部１７）は、候補者に係る登録者ＩＤに基づいてＨＤＤ１５４（記憶部１１）より候補者の３次元登録画像を取得する（ステップＳ３０２）。

次に、ＣＰＵ１５１（合成画像生成部１７）は、３次元登録画像における候補者の顔方向及び特徴部分の位置関係を、２次元画像における照合対象者の顔方向及び特徴部分の位置関係に合わせて調整する（ステップＳ３０３）。

次に、ＣＰＵ１５１（合成画像生成部１７）は、２次元画像と３次元登録画像とを比較し、２つの画像間で発毛部位（頭部や顎部）、発毛量及び形状などが所定の許容幅を超えて異なるか否かを判定する（ステップＳ３０４）。

ここで、ＣＰＵ１５１（合成画像生成部１７）は、発毛部位、発毛量及び形状などが所定の許容幅を超えて異なると判定した場合（ステップＳ３０４：ＹＥＳ）には、３次元登録画像における候補者の発毛部位などを２次元画像における照合対象者の発毛部位などに合わせて調整し（ステップＳ３０５）、処理はステップＳ３０６に移行する。３次元登録画像における候補者の発毛部位、発毛量及び形状は、発毛部位に関する所定のテンプレートの中から自動的に選択し得る。

これに対し、ＣＰＵ１５１（合成画像生成部１７）は、２次元画像と３次元登録画像との間で、発毛部位などが所定の許容幅を超えて異なってはいないと判定した場合（ステップＳ３０４：ＮＯ）には、処理はステップＳ３０６に移行する。

ステップＳ３０６において、ＣＰＵ１５１（合成画像生成部１７）は、２次元画像と３次元登録画像との間で、眼鏡やマスクなどの付属品が相違するか否かを判定する。ここで、ＣＰＵ１５１（合成画像生成部１７）は、付属品が相違すると判定した場合（ステップＳ３０６：ＹＥＳ）には、２次元画像における照合対象者の付属品に合わせて、３次元登録画像における候補者に付属品を装着させ（ステップＳ３０７）、処理はステップＳ３０８に移行する。

例えば、２次元画像の照合対象者のみが眼鏡を装着している場合には、３次元登録画像の候補者に照合対象者の眼鏡と類似する眼鏡を装着させるように加工処理を行う。類似する眼鏡は、付属品に関する所定のテンプレートの中から自動的に選択し得る。逆に、３次元画像の候補者のみが眼鏡を装着している場合には、３次元登録画像の候補者から眼鏡を外すように加工処理を行うとよい。

これに対し、ＣＰＵ１５１（合成画像生成部１７）は、２次元画像と３次元登録画像との間で、付属品は相違しないと判定した場合（ステップＳ３０６：ＮＯ）には、処理はステップＳ３０８に移行する。なお、付属品の相違は、物品の分類により判定すれば十分であるが、通常の眼鏡とサングラスのように外見が異なる付属品は、異なるものとして判定してもよい。

ステップＳ３０８において、ＣＰＵ１５１（合成画像生成部１７）は、現在日時において、３次元登録画像の画像撮影日（登録日）から所定期間を経過しているか否かを判定する。ここで、ＣＰＵ１５１（合成画像生成部１７）は、画像撮影日から所定期間を経過していると判定した場合（ステップＳ３０８：ＹＥＳ）には、候補者の経年変化を模擬する加工処理を実行し（ステップＳ３０９）、処理はステップＳ３１０に移行する。

例えば、３次元画像の画像撮影日から現在日時までに１０年の期間を経過している場合には、候補者の１０年後の加齢状態を模擬する加工処理を行う。逆に、読取装置３０で読取った撮影画像の撮影日時の方が３次元登録画像の画像登録日よりも古い場合には、３次元登録画像の候補者を若返らせた状態を模擬する加工処理を行うとよい。すなわち、合成画像生成部１７は、２次元画像及び３次元登録画像の属性情報に基づいて、２次元画像と３次元登録画像の一方に対して老化度の経年変化を模擬する加工処理を行う。

これに対し、ＣＰＵ１５１（合成画像生成部１７）は、画像撮影日から所定期間を経過していないと判定した場合（ステップＳ３０８：ＮＯ）には、処理はステップＳ３１０に移行する。所定期間は、任意に設定可能であるが、時間経過によって外見が大きく変化すると考えられる長さに設定するとよい。

ステップＳ３１０において、ＣＰＵ１５１（合成画像生成部１７）は、２次元画像と３次元登録画像との間で、人物の表情の種類が相違するか否かを判定する。ここで、ＣＰＵ１５１（合成画像生成部１７）は、表情の種類が相違すると判定した場合（ステップＳ３０６：ＹＥＳ）には、３次元登録画像における候補者の表情の種類を２次元画像における照合対象者の表情の種類に合わせて調整し（ステップＳ３１１）、処理はステップＳ３１２に移行する。

例えば、２次元画像における照合対象者の表情の種類が“怒り”であり、３次元登録画像における候補者の表情の種類が“無表情”の場合には、候補者の表情の種類を照合対象者と同様に“怒り”に変更させた状態を模擬する加工処理を行う。なお、表情の種類だけでなく、表情の大きさも判定して同等になるように加工処理を行ってもよい。

なお、表情の種類を判別するために、別途画像から表情を推定するステップを備えていてもよい。外部機器により表情を判別し、その結果を用いてもよい。表情を判別するための手段は限定されない。

これに対し、ＣＰＵ１５１（合成画像生成部１７）は、２つの画像間で表情の種類は相違しないと判定した場合（ステップＳ３１０：ＮＯ）には、処理はステップＳ３１２に移行する。

そして、ＣＰＵ１５１（合成画像生成部１７）は、照合対象者と候補者の合成画像を生成すると（ステップＳ３１２）、合成画像を含む人物確認画面を表示装置１５６に表示する（ステップＳ３１３）。

なお、図１０における４つ判定処理（ステップＳ３０４－Ｓ３０５／ステップＳ３０６－Ｓ３０７／ステップＳ３０８－Ｓ３０９／ステップＳ３１０－Ｓ３１１）の順番はこれに限られず、任意に入れ替え可能である。また、これらの処理は、平行して実行しても同様の効果が得られる。

続いて、図１１乃至図１８に基づいて、本実施形態における加工処理の具体例を説明する。

（１）発毛部位に関する加工処理
図１１（ａ）は、照合対象者の２次元画像ＩＭＧ＿１１を示し、図１１（ｂ）は、候補者の３次元登録画像ＩＭＧ＿１２を示している。２次元画像ＩＭＧ＿１１に示すように、照合対象者の髪型は“ロングヘアー”である。しかし、３次元登録画像ＩＭＧ＿１２に示すように、候補者の髪型は“ショートヘアー”であり、照合対象者と異なっている。

また、図１１（ｃ）は、２次元画像ＩＭＧ＿１１と３次元登録画像ＩＭＧ＿１２との左右方向での合成画像ＩＭＧ＿１３を示し、図１１（ｄ）は、上下方向での合成画像ＩＭＧ＿１４を示している。

合成画像ＩＭＧ＿１３及び合成画像ＩＭＧ＿１４を参照すると、顔の特徴部分（目、鼻、口など）の位置、顔全体の輪郭が一致することを確認できる。しかし、２つの画像間で髪型が大きく相違している。このため、合成画像ＩＭＧ＿１３及び合成画像ＩＭＧ＿１４と２次元画像ＩＭＧ＿１１及び３次元登録画像ＩＭＧ＿１２との比較が容易ではない場合も有り得る。

これに対し、図１２（ａ）は、照合対象者の２次元画像ＩＭＧ＿２１を示し、図１２（ｂ）は、候補者の３次元登録画像ＩＭＧ＿１２（図１１（ｂ）参照）に対して加工処理を施した３次元加工画像ＩＭＧ＿２２を示している。ＩＭＧ＿２１に示すように、照合対象者の髪型は“ロングヘアー”である。一方、３次元加工画像ＩＭＧ＿２２に示すように、照合対象者と同様に、候補者の髪型は“ロングヘアー”に変更されている。

また、図１２（ｃ）は、２次元画像ＩＭＧ＿２１と３次元加工画像ＩＭＧ＿２２との左右方向での合成画像ＩＭＧ＿２３を示し、図１２（ｄ）は、上下方向での合成画像ＩＭＧ＿２４を示している。

合成画像ＩＭＧ＿２３及び合成画像ＩＭＧ＿２４を参照すると、顔の特徴部分（目、鼻、口など）の位置、顔全体の輪郭が一致することを確認できる。さらに、合成元の２つの画像間で髪型がほぼ同様に統一されていることから、合成画像ＩＭＧ＿２３及び合成画像ＩＭＧ＿２４は、左右方向及び上下方向において統一感のある画像となっている。このため、図１１の場合と比較して、合成画像ＩＭＧ＿２３及び合成画像ＩＭＧ＿２４と２次元画像ＩＭＧ＿２１及び３次元加工画像ＩＭＧ＿２２との比較が容易になっている。

（２）付属品に関する加工処理
図１３（ａ）は、照合対象者の２次元画像ＩＭＧ＿３１を示し、図１３（ｂ）は、候補者の３次元登録画像ＩＭＧ＿３２を示している。２次元画像ＩＭＧ＿３１に示すように、照合対象者は付属品である“眼鏡”を装着している。しかし、３次元登録画像ＩＭＧ＿３２に示すように、候補者は“眼鏡”を装着しておらず、かつ、髪型も異なっている。

また、図１３（ｃ）は、２次元画像ＩＭＧ＿３１と３次元登録画像ＩＭＧ＿３２との左右方向での合成画像ＩＭＧ＿３３を示し、図１３（ｄ）は、上下方向での合成画像ＩＭＧ＿３４を示している。

合成画像ＩＭＧ＿３３及び合成画像ＩＭＧ＿３４を参照すると、合成元の２つの画像間で付属品及び頭髪の有無がある。このため、合成画像ＩＭＧ＿３３及び合成画像ＩＭＧ＿３４と２次元画像ＩＭＧ＿３１及び３次元登録画像ＩＭＧ＿３２との比較が容易ではない場合も有り得る。

これに対し、図１４（ａ）は、照合対象者の２次元画像ＩＭＧ＿４１を示し、図１４（ｂ）は、候補者の３次元登録画像ＩＭＧ＿３２（図１３（ｂ）参照）に対して加工処理を施した３次元加工画像ＩＭＧ＿４２を示している。ＩＭＧ＿４１に示すように、照合対象者は付属品である“眼鏡”を装着している。一方、３次元加工画像ＩＭＧ＿４２に示すように、照合対象者と同様に、候補者は付属品である“眼鏡”を装着し、かつ、髪型も変更されている。

また、図１４（ｃ）は、２次元画像ＩＭＧ＿４１と３次元加工画像ＩＭＧ＿４２との左右方向での合成画像ＩＭＧ＿４３であり、図１４（ｄ）は、上下方向での合成画像ＩＭＧ＿４４を示している。

合成画像ＩＭＧ＿４３及び合成画像ＩＭＧ＿４４を参照すると、合成元の２つの画像間で付属品の有無及び髪型が統一されていることから、合成画像ＩＭＧ＿４３及び合成画像ＩＭＧ＿４４は、左右方向及び上下方向において統一感のある画像となっている。このため、図１３の場合と比較して、合成画像ＩＭＧ＿４３及び合成画像ＩＭＧ＿４４と２次元画像ＩＭＧ＿４１及び３次元加工画像ＩＭＧ＿４２との比較が容易になっている。

（３）表情変化に関する加工処理
図１５（ａ）は、照合対象者の２次元画像ＩＭＧ＿５１を示し、図１５（ｂ）は、候補者の３次元登録画像ＩＭＧ＿５２を示している。２次元画像ＩＭＧ＿５１に示すように、照合対象者の表情は、眉間に皺を寄せた“怒り”の表情である。しかし、３次元登録画像ＩＭＧ＿５２に示すように、候補者の表情は平常時における表情（“無表情”）であり、かつ、髪型も異なっている。

また、図１５（ｃ）は、２次元画像ＩＭＧ＿５１との３次元登録画像ＩＭＧ＿５２との左右方向での合成画像ＩＭＧ＿５３を示し、図１５（ｄ）は、上下方向での合成画像ＩＭＧ＿５４を示している。

合成画像ＩＭＧ＿５３及び合成画像ＩＭＧ＿５４を参照すると、合成元の２つの画像間で人物の表情及び髪型が大きく相違している。このため、合成画像ＩＭＧ＿５３及び合成画像ＩＭＧ＿５４と２次元画像ＩＭＧ＿５１及び３次元登録画像ＩＭＧ＿５２との比較が容易ではない場合も有り得る。

これに対し、図１６（ａ）は、照合対象者の２次元画像ＩＭＧ＿６１を示し、図１６（ｂ）は、候補者の３次元登録画像ＩＭＧ＿５２（図１５（ｂ）参照）に対して加工処理を施した３次元加工画像ＩＭＧ＿６２を示している。２次元画像ＩＭＧ＿６１に示すように、照合対象者の表情は、“怒り”の表情である。一方、３次元加工画像ＩＭＧ＿６２に示すように、照合対象者と同様に、髪型だけでなく、候補者の表情が“怒り”の表情に変更されている。すなわち、表情変化を模擬する加工処理が行われている。

また、図１６（ｃ）は、２次元画像ＩＭＧ＿６１と３次元加工画像ＩＭＧ＿６２との左右方向での合成画像ＩＭＧ＿６３を示し、図１６（ｄ）は、上下方向での合成画像ＩＭＧ＿６４を示している。

合成画像ＩＭＧ＿６３及び合成画像ＩＭＧ＿６４を参照すると、合成元の２つの画像間で人物の表情及び髪型が統一されていることから、合成画像ＩＭＧ＿６３及び合成画像ＩＭＧ＿６４は、左右方向及び上下方向において統一感のある画像となっている。このため、図１５の場合と比較して、合成画像ＩＭＧ＿６３及び合成画像ＩＭＧ＿６４と２次元画像ＩＭＧ＿６１及び３次元加工画像ＩＭＧ＿６２との比較が容易になっている。

（４）経年変化に関する加工処理
図１７（ａ）は、照合対象者の２次元画像ＩＭＧ＿７１を示し、図１７（ｂ）は、候補者の３次元登録画像ＩＭＧ＿７２を示している。２次元画像ＩＭＧ＿７１に示すように、照合対象者は、高齢な男性である。一方、３次元登録画像ＩＭＧ＿７２に示す候補者は３０代の男性であり（図３参照）、かつ、髪型も異なっている。

図１７（ｃ）は、２次元画像ＩＭＧ＿７１と３次元登録画像ＩＭＧ＿７２との左右方向での合成画像ＩＭＧ＿７３を示し、図１７（ｄ）は、上下方向での合成画像ＩＭＧ＿７４を示している。

合成画像ＩＭＧ＿７３及び合成画像ＩＭＧ＿７４を参照すると、合成元の２つの画像間で人物の老化度及び髪型が大きく相違している。このため、合成画像ＩＭＧ＿７３及び合成画像ＩＭＧ＿７４と２次元画像ＩＭＧ＿７１及び３次元登録画像ＩＭＧ＿７２との比較が容易ではない場合も有り得る。

これに対し、図１８（ａ）は、照合対象者の２次元画像ＩＭＧ＿８１を示し、図１８（ｂ）は、候補者の３次元登録画像ＩＭＧ＿７２（図１７（ｂ）参照）に対して加工処理を施した３次元加工画像ＩＭＧ＿８２を示している。２次元画像ＩＭＧ＿８１に示すように、照合対象者は、６０代以上の高齢の男性である。一方、３次元加工画像ＩＭＧ＿８２に示すように、候補者は、照合対象者と同様に、髪型を変更しただけでなく、３０年近く老化した状態になっている。すなわち、経年変化を模擬する加工処理が行われている。

図１８（ｃ）は、２次元画像ＩＭＧ＿８１との３次元加工画像ＩＭＧ＿８２との左右方向での合成画像ＩＭＧ＿８３を示し、図１８（ｄ）は、上下方向での合成画像ＩＭＧ＿８４を示している。

合成画像ＩＭＧ＿８３及び合成画像ＩＭＧ＿８４を参照すると、合成元の２つの画像間で人物の老化度及び髪型が統一されていることから、合成画像ＩＭＧ＿８３及び合成画像ＩＭＧ＿８４は、左右方向及び上下方向において統一感のある画像となっている。このため、図１７の場合と比較して、合成画像ＩＭＧ＿８３及び合成画像ＩＭＧ＿８４と２次元画像ＩＭＧ＿８１及び３次元加工画像ＩＭＧ＿８２との比較が容易になっている。

なお、４種類の加工処理について説明したが、加工処理の種類はこれらに限られない。例えば、環境光の影響度、化粧の有無などを照合対象者と候補者との間で一致させるような加工処理を実行してもよい。

以上のように、本実施形態における画像照合装置１０は、照合対象者の２次元画像と登録者（候補者）の３次元登録画像とを重ね合わせて合成画像を生成する際に、３次元登録画像に対して登録者の外見を変更する加工処理を行う。例えば、画像照合処理において算出された類似度（照合スコア）は高くても、付属品の有無、人物の表情、加齢などの種々の要因によって目視上では印象の異なる人物が候補者として抽出される場合が有り得る。このような場合でも、照合対象者に合わせて登録者の外見を変更することで、全体として統一感のある合成画像を生成できる。この結果、ユーザは、当該合成画像に基づいて、目視による確認作業の効率的に行うことができる。

また、本実施形態では、２次元画像と３次元画像との比較結果に基づいて、自動的に加工処理を行う。このため、ユーザは、指定操作を行うことなく合成画像を得ることができる。

なお、本実施形態では、照合対象者の２次元画像に合わせて登録者の３次元登録画像に対して加工処理を行う場合について説明したが、３次元登録画像に合わせて、照合対象者の２次元画像の方に加工処理（例えば、“眼鏡”や“髭”を付加する加工など）を行ってもよい。また、合成画像の生成前に限らず、合成画像が生成された後に、所定の画像領域に対して加工処理を行ってもよい。すなわち、画像照合装置１０は、２次元画像、３次元登録画像及び合成画像の少なくとも１つに対して人物又は登録者の外見を変更する加工処理を行える。

また、本実施形態では、第１実施形態と同様に、照合処理の実行によってリストアップされた複数の登録者の中から選択した人物と、照合対象者との間で合成画像を生成するものとしたが、リストアップを行わない場合も有り得る。例えば、ユーザ操作によって照合対象者と照合する登録者を指定し、２次元画像と３次元加工画像から合成画像を生成してもよい。また、ユーザの選択操作を必要とせずに、合成画像生成部１７が、類似度の高い順に合成画像の生成及び加工処理を自動で行えるように構成してもよい。

さらに、合成画像生成部１７は、ユーザ操作に基づいて外見に関する複数の対象項目から選択された項目について加工処理を行ってもよい。例えば、ユーザ操作により“付属品の有無”のみを指定した場合には、人物の表情変化や環境光の変化などを考慮せずに、付属品に関してのみ加工処理を行うことができる。これにより、ユーザは、不要な加工処理の実行を回避することができる。また、合成画像生成部１７は、ユーザ操作により加工メニューを再選択されたときに、加工処理を再度行えるように構成してもよい。

［第３実施形態］
以下、第３実施形態における画像照合システム１について説明する。なお、第１実施形態の図中において付与した符号と共通する符号は同一の対象を示す。第１実施形態と共通する箇所の説明は省略し、異なる箇所について詳細に説明する。

本実施形態の照合モード選択部１４は、照合に用いられる登録画像の種類を２次元登録画像及び３次元登録画像の一方から選択するための判定条件が第１実施形態と異なる。判定条件の具体例としては、以下の（Ａ）～（Ｆ）などが挙げられる。

（Ａ）顔方向
照合モード選択部１４は、第１実施形態と同様に、正面方向と照合対象人物の顔方向とのなす角度が所定の閾値（例えば３０度）以内ならば２Ｄ照合モードを選択する。照合モード選択部１４は、閾値を超える場合には３Ｄ照合モードを選択する。

（Ｂ）表情変化
照合モード選択部１４は、２次元画像を解析し、平常時（例えば無表情時）に対する照合対象者の表情の変化度が２Ｄ照合モードに適した範囲（以下、「許容範囲」という。）内の場合には２Ｄ照合モードを選択する。照合モード選択部１４は、変化度が許容範囲を超える場合には３Ｄ照合モードを選択する。

例えば、照合対象者の表情が“大笑い”、“激怒”などの場合には、２次元登録画像における表情とは大きく乖離していることが予想される。このため、照合モード選択部１４は、３Ｄ照合モードを選択する。逆に、照合対象者の表情が“無表情”又は“微笑”などの場合には、２次元登録画像における表情と近くなることが予想される。このため、照合モード選択部１４は、２Ｄ照合モードを選択する。

なお、表情の種類を判別するために、別途画像から表情を推定するステップを備えていてもよい。外部機器により表情を判別し、その結果を用いてもよい。表情を判別するための手段は限定されない。

（Ｃ）照明光（環境光）の影響度
照合モード選択部１４は、２次元画像を解析し、照合対象者に対する照明光の影響度が２Ｄ照合モードの許容範囲内の場合には２Ｄ照合モードを選択する。照合モード選択部１４は、照明光の影響度が許容範囲を超える場合には３Ｄ照合モードを選択する。
択する。

例えば、照合対象者に対する照明光の影響度が大きく、顔画像に影が濃く表れている場合には、調光された環境下で撮影された２次元登録画像とは照明光の影響度、すなわち、撮影条件が大きく異なり、許容範囲を超えることが予想される。一方、３Ｄ照合モードでは、防犯カメラ上の撮影条件に３Ｄモデル（３次元登録画像）の条件を合わせることができるため、照合の精度が高まる。このため、照合モード選択部１４は、３Ｄ照合モードを選択する。顔を照らす光源の位置や、眼鏡の有無なども３Ｄモデル（３次元登録画像）により補完するとよい。逆に、照合対象者に対する照明光の影響度が２Ｄ照合モードの許容範囲内の場合には、２次元登録画像における照明の影響度と近い。このため、照合モード選択部１４は、２Ｄ照合モードを選択する。なお、環境光に起因しない濃淡の変化も有り得る。具体的には、日焼け等の肌色変化が想定される。照合モード選択部１４は、環境光に起因しない濃淡の変化を含み、その影響度が２Ｄ照合モードの許容範囲を超える場合には３Ｄ照合モードを選択する。

（Ｄ）経年変化
照合モード選択部１４は、２次元画像の属性情報として記録されている撮影日が、現在日付から所定期間内の場合には２Ｄ照合モードを選択する。照合モード選択部１４は、所定期間外の場合には３Ｄ照合モードを選択する。

例えば、現在日付が“２０１８／１２／０１”、取得した２次元画像の撮影日が“１９９７／１０／０１”である場合には、撮影日からの経過期間が長く、外見上の大きな変化が予想される。このため、照合モード選択部１４は、３Ｄ照合モードの方を優先して選択する。逆に、２次元画像の撮影日が現在日付と同日又は１ヶ月以内のような場合には、外見上の大きな変化は無いものと予想される。このため、照合モード選択部１４は、照合速度が速い２Ｄ照合モードの方を優先して選択する。

（Ｅ）認識可能な部位の面積及び種類
照合モード選択部１４は、２次元画像を解析し、顔の中で認識可能な部位の面積及び種類が２Ｄ照合モードでの照合条件を満たす場合には、２Ｄ照合モードを選択する。照合モード選択部１４は、２Ｄ照合モードでの照合条件を満たさない場合には、３Ｄ照合モードを選択する。例えば、他の人物や物体の存在により、照合対象者の顔領域が十分に認識できない面積しかない場合には、３Ｄ照合モードを選択するとよい。同様に、画像内で認識可能な状態にある部位が目、耳、鼻などの部位のいずれかであるか否かに応じて照合モードを選択してもよい。例えば、取得した顔画像内に、照合対象者の目が片方しか写っていない場合には、３Ｄ照合モードを選択する。

（Ｆ）付属品の有無
照合モード選択部１４は、２次元画像を解析し、照合対象者の顔部分に付属品（眼鏡、マスク、帽子など）が無い場合には、２Ｄ照合モードを選択する。照合モード選択部１４は、付属品が存在する場合には、３Ｄ照合モードを選択する。例えば、照合対象者がサングラスやマスクを装着している場合には、照合モード選択部１４は、３Ｄ照合モードを選択する。なお、付属品の種類によっては、顔照合に影響を与えない物品もある。例えば、ピアスやイヤリングのような付属品については、照合モードの選択時に考慮しなくてもよい。

また、本実施形態の照合モード選択部１４は、３Ｄ照合モードを選択した場合、上述の（Ａ）～（Ｆ）のうち、２次元画像が該当した条件に対応する調整処理（顔方向の補正）又は加工処理（表情変化／環境光の影響／経年変化／付属品の調整）を、照合先の３次元画像に対して行わせる指示を合成画像生成部１７に行うとよい。

図２０は、本実施形態における照合モードの選択処理の一例を示すフローチャートである。この処理は、図６に示したフローチャートのステップＳ１０２とステップＳ１０６との間の処理を置き換えるものである。

図６に示すステップＳ１０２において、ＣＰＵ１５１（画像解析部１３）は、２次元画像を解析して照合対象者の顔方向を検出すると、ＣＰＵ１５１（照合モード選択部１４）は、検出された顔方向が正面に対して３０度（閾値）以内か否かを判定する（ステップＳ４０１）。ここで、ＣＰＵ１５１（照合モード選択部１４）は、顔方向が正面に対して３０度以内であると判定すると（ステップＳ４０１：ＹＥＳ）、処理はステップＳ４０２へ移行する。

これに対し、ＣＰＵ１５１（照合モード選択部１４）は、顔方向が正面に対して３０度以内ではないと判定すると（ステップＳ４０１：ＮＯ）、処理はステップＳ４０６へ移行する。

ステップＳ４０２において、ＣＰＵ１５１（照合モード選択部１４）は、平常時（無表情）に対する表情の変化が２Ｄ照合モードにおける許容範囲内であるか否かを判定する。ここで、ＣＰＵ１５１（照合モード選択部１４）は、平常時（無表情）に対する表情の変化が２Ｄ照合モードにおける許容範囲内であると判定すると（ステップＳ４０２：ＹＥＳ）、処理はステップＳ４０３へ移行する。

これに対し、ＣＰＵ１５１（照合モード選択部１４）は、平常時（無表情）に対する表情の変化が２Ｄ照合モードにおける許容範囲を超えると判定すると（ステップＳ４０２：ＮＯ）、処理はステップＳ４０６へ移行する。

ステップＳ４０３において、ＣＰＵ１５１（照合モード選択部１４）は、照合対象者に対する照明光の影響度は２Ｄ照合モードにおける許容範囲内であるか否かを判定する。ここで、ＣＰＵ１５１（照合モード選択部１４）は、照明光の影響度は２Ｄ照合モードにおける許容範囲内であると判定すると（ステップＳ４０３：ＹＥＳ）、処理はステップＳ４０４へ移行する。

これに対し、ＣＰＵ１５１（照合モード選択部１４）は、照明光の影響度は２Ｄ照合モードにおける許容範囲を超えると判定すると（ステップＳ４０３：ＮＯ）、処理はステップＳ４０６へ移行する。

ステップＳ４０４において、ＣＰＵ１５１（照合モード選択部１４）は、２次元画像の属性情報を参照し、２次元画像の撮影日が所定期間内であるか否かを判定する。ここで、ＣＰＵ１５１（照合モード選択部１４）は、２次元画像の撮影日が所定期間内であると判定すると（ステップＳ４０４：ＹＥＳ）、処理はステップＳ４０５へ移行する。

これに対し、ＣＰＵ１５１（照合モード選択部１４）は、２次元画像の撮影日が所定期間内でないと判定すると（ステップＳ４０４：ＮＯ）、処理はステップＳ４０６へ移行する。

ステップＳ４０５において、ＣＰＵ１５１（照合モード選択部１４）が、照合モードとして２Ｄ照合モードを選択すると、処理は図６のステップＳ１０６に移行する。

ステップＳ４０６において、ＣＰＵ１５１（照合モード選択部１４）が、照合モードとして３Ｄ照合モードを選択すると、処理は図６のステップＳ１０６に移行する。

なお、図１９におけるステップＳ４０１～Ｓ４０４の順番はこれに限られず、入れ替え可能である。また、これらの処理は、平行して実行しても同様の効果が得られる。

以上のように、本実施形態における画像照合装置１０は、２次元画像の画像解析により得られる値と複数の判定条件とに基づいて、２次元画像との照合に用いる登録画像の種類を選択する。このため、最適な照合モードによる照合処理が可能となる。

なお、照合モードを選択するための判定条件は、上述したものには限られない。例えば、付属品の有無、傷跡の有無やその大きさなどの条件によって判定してもよい。また、２次元画像に含まれる人物の人数が多い場合には、処理速度に優れた２Ｄ照合モードを選択し、人数が少ない場合には撮影角度について柔軟性のある３Ｄ照合モードを選択することもできる。

［第４実施形態］
図２０は、第４実施形態における情報処理装置１００の機能を示すブロック図である。情報処理装置１００は、表示情報生成部１１０及び合成画像生成部１２０を備える。表示情報生成部１１０は、人物の２次元画像と、複数の登録者の３次元登録画像を含む登録画像群との照合により得られた類似度に基づいて、複数の登録者の中から複数の候補者を抽出して類似度に応じた順序で表示するための表示情報を生成する。合成画像生成部１２０は、ユーザ操作により複数の候補者から選択された人物の３次元登録画像と、２次元画像とを重ね合わせて合成画像を生成する。本実施形態によれば、人物の画像照合におけるユーザの確認作業を効率化できる。

［変形実施形態］
以上、実施形態を参照して本発明を説明したが、本発明は上述の実施形態に限定されるものではない。本願発明の構成及び詳細には本発明の要旨を逸脱しない範囲で、当業者が理解し得る様々な変形をできる。例えば、いずれかの実施形態の一部の構成を、他の実施形態に追加した実施形態、あるいは他の実施形態の一部の構成と置換した実施形態も本発明を適用し得る実施形態であると理解されるべきである。

上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。

該記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、磁気テープ、不揮発性メモリカードなどを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。

上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
人物の２次元画像と、複数の登録者の３次元登録画像を含む登録画像群との照合により得られた類似度に基づいて、前記複数の登録者の中から複数の候補者を抽出して前記類似度に応じた順序で表示するための表示情報を生成する表示情報生成部と、
ユーザ操作により前記複数の候補者から選択された人物の前記３次元登録画像と、前記２次元画像とを重ね合わせて合成画像を生成する合成画像生成部と、
を備える情報処理装置。

（付記２）
前記表示情報は、前記候補者の顔画像を含む、
付記１に記載の情報処理装置。

（付記３）
前記顔画像における前記候補者の顔方向は、前記２次元画像における前記人物の顔方向に合わせて補正されている、
付記２に記載の情報処理装置。

（付記４）
前記表示情報は、前記候補者の属性情報を含む、
付記２又は３に記載の情報処理装置。

（付記５）
前記属性情報は、前記候補者の性別、住所及び出身地の少なくとも１つを含む、
付記４に記載の情報処理装置。

（付記６）
前記表示情報生成部は、ユーザ操作により前記属性情報から選択されたデータ項目に基づいて前記表示情報における前記候補者の順序を変更する、
付記４又は５に記載の情報処理装置。

（付記７）
前記２次元画像と前記登録画像群とを照合する照合部、
をさらに備える付記１乃至６のいずれかに記載の情報処理装置。

（付記８）
前記登録画像群は、前記登録者の２次元登録画像をさらに含み、
前記照合部は、前記２次元画像と前記２次元登録画像とを照合する、
付記７に記載の情報処理装置。

（付記９）
前記照合部は、前記２次元画像と前記３次元登録画像とを照合する、
付記７に記載の情報処理装置。

（付記１０）
人物の２次元画像と、複数の登録者の３次元登録画像を含む登録画像群との照合により得られた類似度に基づいて、前記複数の登録者の中から複数の候補者を抽出して前記類似度に応じた順序で表示するための表示情報を生成するステップと、
ユーザ操作により前記複数の候補者から選択された人物の前記３次元登録画像と、前記２次元画像とを重ね合わせて合成画像を生成するステップと、
を備える情報処理方法。

（付記１１）
コンピュータに、
人物の２次元画像と、複数の登録者の３次元登録画像を含む登録画像群との照合により得られた類似度に基づいて、前記複数の登録者の中から複数の候補者を抽出して前記類似度に応じた順序で表示するための表示情報を生成するステップと、
ユーザ操作により前記複数の候補者から選択された人物の前記３次元登録画像と、前記２次元画像とを重ね合わせて合成画像を生成するステップと、
を実行させるプログラム

１・・・画像照合システム
１０・・・画像照合装置
１１・・・記憶部
１２・・・画像取得部
１３・・・画像解析部
１４・・・照合モード選択部
１５・・・照合部
１６・・・表示情報生成部
１７・・・合成画像生成部
２０・・・撮影装置
３０・・・読取装置
４０・・・ネットワーク
１００・・・情報処理装置
１１０・・・表示情報生成部
１２０・・・合成画像生成部
１５１・・・ＣＰＵ
１５２・・・ＲＡＭ
１５３・・・ＲＯＭ
１５４・・・ＨＤＤ
１５５・・・通信Ｉ／Ｆ
１５６・・・表示装置
１５７・・・入力装置
１５８・・・バス

Claims (10)

1. 人物の２次元画像と、複数の登録者の３次元登録画像を含む登録画像群との照合により得られた類似度に基づいて、前記複数の登録者の中から複数の候補者を抽出して前記類似度に応じた順序の一覧で表示するための表示情報を生成する表示情報生成部と、
   前記２次元画像とユーザ操作に基づいて前記一覧から選択した前記候補者の前記３次元登録画像とを組み合わせて合成画像を生成する際に、前記３次元登録画像内の前記候補者の外見を変更する加工処理を行い、前記２次元画像と加工された前記３次元登録画像とに基づいて前記合成画像を生成する合成画像生成部と、
   を備え、
   前記合成画像生成部は、前記２次元画像内の前記人物の体型の変化及び傷跡の有無に基づいて、前記３次元登録画像内の前記候補者の前記体型の変化及び前記傷跡の有無を模擬する、情報処理装置。
2. 前記合成画像生成部は、前記２次元画像内の前記人物の体毛の状態に基づいて、前記３次元登録画像内の前記候補者の前記体毛の発毛部位、量、形状及び色の少なくとも１つを調整する、
   請求項１に記載の情報処理装置。
3. 前記合成画像生成部は、前記２次元画像内の前記人物の付属品の有無に基づいて、前記３次元登録画像内の前記候補者に前記付属品を装着させる、又は前記候補者から前記付属品を取り外す、
   請求項１又は２に記載の情報処理装置。
4. 前記合成画像生成部は、前記２次元画像内の前記人物の表情に基づいて、前記３次元登録画像内の前記候補者の前記表情を変更する、
   請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記合成画像生成部は、前記２次元画像内の前記人物の顔の老化度に基づいて、前記３次元登録画像内の前記候補者の前記顔の経年変化を模擬する、
   請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記合成画像生成部は、前記２次元画像内の前記人物への環境光の影響度に基づいて、前記３次元登録画像内の前記候補者への前記環境光の前記影響度を調整する、
   請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記表示情報は、前記候補者の顔画像を含み、
   前記顔画像における前記候補者の顔方向は、前記２次元画像における前記人物の前記顔方向に合わせて補正されており、
   前記表示情報は、前記候補者の属性情報として前記候補者の性別、住所及び出身地の少なくとも１つを含み、
   前記表示情報生成部は、前記ユーザ操作により前記属性情報から選択されたデータ項目に基づいて前記表示情報における前記候補者の順序を変更する、
   請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記２次元画像と前記登録画像群とを照合する照合部、
   をさらに備え、
   前記登録画像群は、前記登録者の２次元登録画像をさらに含み、
   前記照合部は、前記２次元画像と前記２次元登録画像とを照合、又は、前記２次元画像と前記３次元登録画像とを照合する、
   請求項１乃至７のいずれか１項に記載の情報処理装置。
9. コンピュータが、人物の２次元画像と、複数の登録者の３次元登録画像を含む登録画像群との照合により得られた類似度に基づいて、前記複数の登録者の中から複数の候補者を抽出して前記類似度に応じた順序の一覧で表示するための表示情報を生成するステップと、
   前記コンピュータが、前記２次元画像とユーザ操作に基づいて前記一覧から選択した前記候補者の前記３次元登録画像とを組み合わせて合成画像を生成する際に、前記３次元登録画像内の前記候補者の外見を変更する加工処理を行い、前記２次元画像と加工された前記３次元登録画像とに基づいて前記合成画像を生成するステップと、
   を備え、
   前記合成画像を生成するステップでは、前記２次元画像内の前記人物の体型の変化及び傷跡の有無に基づいて、前記３次元登録画像内の前記候補者の前記体型の変化及び前記傷跡の有無を模擬する、情報処理方法。
10. コンピュータに、
    人物の２次元画像と、複数の登録者の３次元登録画像を含む登録画像群との照合により得られた類似度に基づいて、前記複数の登録者の中から複数の候補者を抽出して前記類似度に応じた順序の一覧で表示するための表示情報を生成するステップと、
    前記２次元画像とユーザ操作に基づいて前記一覧から選択した前記候補者の前記３次元登録画像とを組み合わせて合成画像を生成する際に、前記３次元登録画像内の前記候補者の外見を変更する加工処理を行い、前記２次元画像と加工された前記３次元登録画像とに基づいて前記合成画像を生成するステップと、
    を実行させ、
    前記合成画像を生成するステップでは、前記２次元画像内の前記人物の体型の変化及び傷跡の有無に基づいて、前記３次元登録画像内の前記候補者の前記体型の変化及び前記傷跡の有無を模擬する、プログラム。

Images