JP5768265B2 - 類似画像検索システム - Google Patents

Description

本発明は、映像監視システムに関わり、特に、画像特徴量を使って画像検索する類似画像検索システムに関する。

従来から、ホテル、ビル、コンビニエンスストア、金融機関、ダムや道路といった不特定多数の人が訪れる施設には犯罪抑止や事故防止等の目的で、映像監視システムが設置されている。このような映像監視システムでは、監視対象の人物等をカメラ等の撮像装置で撮影し、撮影された映像を、管理事務所や警備室等の監視センタに伝送し、常駐する監視者がそれを監視し、目的や必要に応じて、注意を喚起する、あるいは映像を記録するものである。

映像監視システムでの映像の記録において、記録媒体として、従来のビデオテープ媒体から、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）に代表されるランダムアクセス媒体が用いられる事例が増えている。さらに近年では、このような記録媒体の大容量化が進んでいる。記録媒体の大容量化によって、記録できる映像の量は飛躍的に増大し、より多地点の記録や長時間の記録を可能にしつつある。反面、記録された画像を目視でチェックする負担の増加が問題として顕在化しつつある。

このような背景から、所望の映像をより簡単に見つけ出す為の検索機能を備える映像監視システムが普及しつつある。特に近年では、映像中の特定の事象（イベント）の発生を、画像認識技術を用いてリアルタイムに自動検知し、映像と共に記録し、事後にそれらのイベントを検索可能とする、より高度な検索機能を備えたシステムが登場しつつある。その中の代表的なシステムの１つに、類似顔画像検索機能を備えた類似顔画像検索システムがある。
類似顔画像検索機能とは、監視映像中への人物の出現をイベントとして検索可能とし、さらには、該イベントの内、ユーザが指定した特定個人の登場を、顔の画像特徴量を用いて検索する機能である。

図１は、従来の類似顔画像検索機能を備えた映像監視システムの構成の一例を示す図である。以降、「類似顔画像検索機能を備えた映像監視システム」を「類似画像検索システム」と称する。図１のシステムは、ネットワーク１５０に、撮像装置１０１、録画装置１０２、検索装置１０３、及び端末装置１０４が接続され、互いに通信可能な状態で構成される。
ネットワーク１５０は、各装置を相互に接続し、データ通信を行う専用線やイントラネット、インターネット、無線ＬＡＮ（Local Area Network）等の通信線である。
撮像装置１０１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Met al Oxide Semiconductor）素子等で撮像した画像にホワイトバランス等の映像処理を施した画像データを、ネットワーク１５０へ出力するネットワークカメラや監視カメラ等の装置である。
録画装置１０２は、ネットワーク１５０を介して入力された画像データをＨＤＤ等の記録媒体に記録し、また、外部装置からの要求に応じて、記録媒体に記録された画像データをネットワーク１５０へ出力するネットワークデジタルレコーダ等の装置である。
検索装置１０３は、ネットワーク１５０を介して入力された画像データ中の顔を検出し、その顔に関わる情報をＨＤＤ等の記録媒体に記録し、また、外部装置からの要求に応じて、記録媒体に記録された顔に関わる情報を検索し、検索結果をネットワーク１５０へ出力するサーバやＰＣ（Personal Computer）等の装置である。
端末装置１０４は、ネットワーク１５０を介して入力された画像データや検索結果を、液晶ディスプレイやＣＲＴ（Cathode Ray Tube）等のモニタに画面表示し、キーボードやマウス等を備え、録画画像の再生操作や人物検索の実行操作を行う操作インタフェースを提供するデスクトップＰＣ等の装置である。

図２によって、従来の検索装置１０３の構成と処理動作の一例を説明する。図２は、従来の検索装置１０３の構成の一例を示す図である。検索装置１０３は、顔登録処理グループ２２１、顔検索処理グループ２２２、及び、顔特徴量データベース２０５によって構成される。
顔登録処理グループ２２１は、画像入力部２０１、顔検出部２０２、顔特徴量算出部２０３、及び顔特徴量記録部２０４によって構成される。また、顔検索処理グループ２２２は、画像入力部２１１、顔検出部２１２、顔特徴量算出部２１３、顔特徴量検索部２１４、及び検索結果出力部２１５によって構成される。

図２において、顔登録処理グループ２２１の処理では、画像入力部２０１は、撮像装置１０１や録画装置１０２から入力された監視画像データの受信処理を行う。監視画像データ、即ち、検索対象画像の画像データは、常時、若しくは、別途、指示や設定があった時間期間に入力される。画像入力部２０１は、入力された画像データを顔検出部２０２に出力する。

顔検出部２０２は、画像入力部２０１から入力された画像データに対し、顔検出を行い、顔検出結果を出力する処理を行う。ここで顔検出結果とは、画像中の顔の存在有無情報であり、存在する場合には、その検出数や画像内における顔領域の位置座標、顔画像等も顔検出結果に含まれる。顔検出は、例えば、眼、鼻、口等の顔の主要構成要素の配置や額と眼の濃淡差等の顔の特性を使って画像内探索を行う方法等の画像認識技術により行うが、本例においてはいずれの方法であっても良い。顔画像は、画像入力部２０１からの画像データから顔を含む矩形状に切り出された画像であり、固定されたアスペクト比を有し、顔以外の背景は既定の色で塗りつぶされることが望ましい。顔検出部２０２は、この顔検出結果を顔特徴量算出部２０３に出力する。

顔特徴量算出部２０３は、顔検出部２０２から入力された顔検出結果に含まれる顔画像を用いて、顔の特徴量算出処理を行い、算出した顔特徴量を出力する処理を行う。ここで顔特徴量とは、ベクトルであり、例えば、細分化された顔のそれぞれの輪郭或いはエッジのパターンの度数分布、目や鼻や口といった顔の主要構成要素の大きさや形状及びそれらの配置関係、頭髪や皮膚の色分布、それらの組合せ等々が挙げられる。使用する特徴量の種類や成分数は、いずれであっても良い。
顔特徴量算出処理には、例えば、特許文献３や非特許文献１に開示された方法等を用いる。顔特徴量算出部２０３は、入力された顔検出結果の検出数に応じて処理を繰返す。顔特徴量算出部２０３は、算出した顔特徴量を、顔検出結果と共に、顔特徴量記録部２０４に出力する。

顔特徴量記録部２０４は、顔特徴量算出部２０３から入力された画像データ、顔検出結果、及び顔特徴量を、顔特徴量データベース２０５に書込む処理を行う。
本処理部は、入力された顔検出結果の検出数に応じて処理を繰返す。

次に、顔検索処理グループ２２２の処理では、画像入力部２１１は、端末装置１０４から入力された検索キー画像データを受信する。画像入力部２１１は、端末装置１０４上でのユーザの検索指示操作に基づく検索要求があった場合に、検索キー画像データの入力を実施する。画像入力部２１１は、入力された画像データを顔検出部２１２に出力する。

顔検出部２１２は、画像入力部２１１から入力された画像データに対し、顔検出を行う。顔検出部２１２が算出する顔検出結果や算出方法は、顔検出部２０２が算出する顔検出結果と同様に、画像中の顔の存在有無情報である。
顔検出部２１２は、算出した顔検出結果を、画像データと共に、顔特徴量算出部２１３に出力する。

顔特徴量算出部２１３は、顔検出部２１２から入力された顔検出結果に含まれる顔画像を用いて、顔特徴量算出部２０３と同じ方法で顔の特徴量算出処理を行い、算出した顔特徴量を出力する。顔特徴量算出部２１３は、算出した顔特徴量を、画像データ及び顔検出結果と共に、顔特徴量検索部２１４に出力する。

顔特徴量検索部２１４は、顔特徴量算出部２１３から入力された顔特徴量を、顔特徴量データベース２０５と照合し、顔類似度の高い顔をリストアップし、検索結果として出力する。顔類似度とは、顔特徴量同士の近さを示す数値である。顔類似度として、例えば、多次元から成る顔特徴量空間におけるユークリッド距離を用いた場合、類似度の値が小さい（０に近い）ほど類似していることを意味するが、このことを「類似度が高い」と表現する。顔特徴量検索部２１４は、検索結果を、検索結果出力部２１５に出力する。この検索結果は、見つかった顔の顔特徴量、類似度、及び画像データ等を含む。

検索結果出力部２１５は、顔特徴量検索部２１４から入力された検索結果を、端末装置１０４に出力する。

顔特徴量算出処理に関する技術としては、上述した非特許文献１の記載の他に、例えば、特許文献１や特許文献２等にも記載がある。

特開２００９−４３０６５号公報 特許第４６５３６０６号公報 特許２０１２−２２１１４８号公報 特許２００８−２１７２２０号公報

廣池敦他、「大規模な画像集合のための表現モデル」、日本写真学会誌、２００３年６６巻１号、Ｐ９３−Ｐ１０１

上述の類似顔画像検索機能は、録画装置などに記録された膨大な映像中から、特定個人の人物映像を探す目的において、大変便利である。しかしながら、現状の類似顔画像検索においては、用いる画像特徴量が、撮影角度の差異や各時での顔の向き等の見かけの顔角度によって影響されるものであるため、単一人物の画像特徴量の分布に広がりが生じ、その分布には偏りを伴う。その結果、出力される検索結果にも偏りが生じてしまう傾向にある。
即ち、正面に映った顔画像を検索キー画像にした場合、検索結果として見付かる録画画像も正面顔画像が多く、同様に斜めに映った顔画像を検索キー画像にした場合、検索結果として見付かる録画画像も近傍角度の斜め顔画像が多い。言い換えると、正面顔画像を検索キー画像にすると、同一人物であっても斜め顔画像を探し損ねる可能性が高く、逆も同様であるということである。また、逆に、本当は他人である人物を誤ってキー画像の人物本人であると判定してしまうこともあり、検索精度、即ち、検索結果に含まれる本人の割合も低いものとなってしまう。
類似顔画像検索システムにおける人物と撮像装置の関係は、ドアの開閉等に使われる一般的な顔認証システムにおけるそれと異なり、人物に撮像装置を意識させない関係である。従って、撮像される顔は、より多様な角度である場合が多く、前記課題の解消は欠かせない。
本発明は、このような状況に鑑みてなされたものであり、上述の課題を解決し、より高精度な類似画像検索システムを提供することを目的とする。

上記目的を達成するために本発明の類似画像検索システムは、検索対象画像を入力する第１の画像入力手段と、入力された検索対象画像から第１の顔を検出する第１の顔検出手段と、検出された第１の顔の特徴量を算出する顔特徴量算出手段と、算出された顔特徴量を記録するデータベース記録手段と、検索のためのキー画像を入力する第２の画像入力手段と、入力されたキー画像から第２の顔を検出する第２の顔検出手段と、検出された第２の顔の顔角度を算出する顔角度算出手段と、算出された顔角度によって合成パターンを決定する合成パターン決定手段と、決定された合成パターンに応じて合成顔画像を生成する合成顔生成手段と、生成された合成顔画像を用いて第２の顔の特徴量を算出する第２の顔特徴量算出手段と、前記決定された前記合成パターンの数に応じて、前記合成顔生成手段と前記顔特徴量算出手段を繰り返し、算出された複数個の顔特徴量をクエリとして、データベースから検索を行う顔特徴量検索手段と、検索された複数個の検索結果を統合する検索結果統合手段と、を設けたことを第１の特徴とする。

また上記目的を達成するために本発明の類似画像検索システムは、検索対象画像を入力する第１の画像入力手段と、入力された検索対象画像から第１の顔を検出する第１の顔検出手段と、検出された第１の顔の顔角度を算出する第１の顔角度算出手段と、前記検出された第１の顔の特徴量を算出する第１の顔特徴量算出手段と、算出された顔角度によって記録先データベースを決定する記録先データベース決定手段と、算出された第１の顔特徴量を決定された記録先データベースに記録するデータベース記録手段と、検索のためのキー画像を入力する第２の画像入力手段と、入力されたキー画像から第２の顔を検出する第２の顔検出手段と、検出された第２の顔の顔角度を算出する顔角度算出手段と、算出された顔角度によって合成パターンを決定する合成パターン決定手段と、決定された合成パターンに応じて合成顔画像を生成する合成顔生成手段と、生成された合成顔画像を用いて第２の顔の特徴量を算出する第２の顔特徴量算出手段と、前記算出された前記顔角度によって検索先データベースを決定する検索先データベース決定手段と、前記決定された前記合成パターンの数に応じて、前記合成顔生成手段と前記第２の顔特徴量算出手段と前記検索先データベース決定手段を複数回実施し、算出された複数個の顔特徴量をクエリとして、前記データベースから検索を行う顔特徴量検索手段と、検索された複数個の検索結果を統合する検索結果統合手段と、を設けたことを第２の特徴とする。

上記本発明の第２の特徴の類似画像検索システムにおいて、前記顔角度算出手段は、入力顔に対する顔角度特徴量算出手段と、既知角度の顔に対する顔角度特徴量が顔角度情報とともに予め格納されているデータベースと、前記顔角度特徴量算出手段で求めた顔角度特徴量をクエリとして、前記データベースから検索を行う顔角度検索手段と、を設けたことを本発明の第３の特徴とする。

また、上記本発明の第２の特徴の類似画像検索システムにおいて、前記合成パターン決定手段は、前記顔角度算出手段の算出結果の確からしさを使い、その第２候補以降の確からしさを有する顔角度も用いることを本発明の第４の特徴とする。

本発明によれば、検索の精度及び信頼性が改善された類似画像検索システムを構築することが可能となる。

従来の類似顔画像検索システムの構成の一例。 従来の検索装置の構成の一例。 本発明を含む第１の実施形態における類似顔画像検索システムの構成。 第１の実施形態における検索装置３０３の構成。 合成前顔角度、合成先顔角度、変形モデルを、テーブル形式で格納した一例。 第１の実施形態における顔登録処理の流れ。 第１の実施形態における顔検索処理の流れ。 顔特徴量算出部２０３が利用する特許文献１の顔特徴量の算出法。 第２の実施形態における検索装置８０３の構成。 第２の実施形態における顔登録処理の流れ。 第２の実施形態における顔検索処理の流れ。 本発明を含む第３の実施形態における類似顔画像検索機能を備えたシステムの構成。 第３の実施形態における顔登録処理の流れ。 第３の実施形態における端末装置が表示する画面の一例。 端末装置の画面に現れる検索キー画像指定領域の拡大図。 端末装置の画面に現れる検索キー画像指定領域の拡大図。 端末装置の画面に現れる検索キー画像指定領域の拡大図。 検索キー画像指定領域を用いた検索キー画像指定操作における通信シーケンスの一例。

以下に本発明の一実施形態について、図面等を用いて説明する。なお以下の説明は、本発明の一実施形態を説明するためのものであり、本願発明の範囲を制限するものではない。従って、当業者であればこれらの各要素若しくは全要素をこれと均等なものに置換した実施形態を採用することが可能であり、これらの実施形態も本願発明の範囲に含まれる。なお、従来の技術として説明した図１及び図２を含め、各図の説明において、同一の機能を有する構成要素には同一の参照番号を付し、冗長な説明を省略する。

本発明の第１の実施形態について、以下に説明する。
図３に、本発明の第１の実施形態における類似顔画像検索システムの装置構成の一例が示される。図３のシステムは、ネットワーク１５０に、撮像装置１０１、録画装置１０２、検索装置３０３、及び端末装置１０４が接続され、互いに通信可能な状態で構成される。図３の装置構成において、図１の装置構成と異なる点は、検索装置１０３の替りに、検索装置３０３を設けたことである。

検索装置３０３は、本発明の類似画像検索システムにおける類似画像検索装置を含む装置である。検索装置３０３は、ネットワーク１５０を介して入力された画像データ中の顔を検出し、その顔に関わる情報をＨＤＤ等の記録媒体に記録し、また、外部装置からの要求に応じて、記録媒体に記録された顔に関わる情報を検索し、検索結果をネットワーク１５０へ出力するサーバＰＣ等の装置である。外部装置は、例えば検索装置３０３や端末装置１０４が想定されるが、それ他の、検索装置３０３とネットワーク１５０を介して通信可能な、或いは、他のインタフェースを介して直接接続されるあらゆる装置を含む。

図４に、本発明の第１の実施形態における検索装置３０３の構成の一例が示される。
検索装置３０３は、顔登録処理グループ２２１、顔検索処理グループ４２２、及び、顔特徴量データベース２０５によって構成される。また、顔検索処理グループ４２２は、画像入力部２１１、顔検出部２１２、顔角度算出部４１１、合成パターン決定部４１２、合成顔生成部４１３、顔特徴量算出部２１３、顔特徴量記録部２１４、及び検索結果統合出力部４１５によって構成される。

図４において、顔登録処理グループ２２１の処理は、図２で説明した通りである。
また、顔検索処理グループ４２２の処理は、顔角度算出部４１１、合成パターン決定部４１２及び合成顔生成部４１３が追加されたことを除けば、図２の顔検索処理グループ２２２の処理と同じである。

顔角度算出部４１１は、顔検出部２１２から入力された少なくとも１つの顔検出結果を用いて、顔角度を算出し、顔角度算出結果として出力する。ここでいう、顔角度算出結果には、入力された顔の顔角度（即ち、水平方向、垂直方向、及び回転方向のそれぞれの角度）と、その確からしさのセットを、少なくとも１つ含んで構成される。
本例の顔角度算出部４１１の内部は、顔角度特徴量算出部４１６と顔角度特徴量データベース４１７、顔角度特徴量検索部４１８によって構成される。顔角度特徴量データベース４１７には、多様な顔の多様な角度に対して予め求めておいた、顔角度特徴量の顔角度が、予め格納されている。

顔角度特徴量算出部４１６は、入力された顔検出結果に含まれる顔画像から、まず、顔角度算出に必要な特徴量を算出する。ここで算出する特徴量は、例えば、顔の重心に対する目や口の相対位置や、両目の間隔や、目頭と口との距離等の顔の向き（以下、「顔の向き」を「顔向き」と記載する）によって差異が生じる特徴量である。
次に、顔角度特徴量検索部４１８は、顔角度特徴量算出部４１６が算出した顔角度特徴量を、顔角度特徴量データベース４１７と照合して、近傍の特徴量を持つ顔角度を数個探し出し、その特徴量と入力画像の特徴量との距離即ち類似度を、その顔角度の確からしさ度とする。そして、顔角度特徴量検索部４１８は、顔角度と、確からしさ度を、入力された顔画像データ等と共に、顔角度算出結果として、合成パターン決定部４１２に出力する。なお、出力が含む顔角度の個数は、予め決めた数でも良いが、入力画像の特徴量との最短距離を所定数倍した距離の内にある複数の特徴量の顔角度に絞ると良い。
なお、顔角度算出部４１１は、顔角度特徴量データベース４１７に拠らずに、Joint Haar-like特徴量等を用いて、顔角度を直接表す数値を得ても良い。また、顔検出部２１２が対応するHaar-like識別器を有していれば、その値を流用してよく、顔角度算出部４１１自体を顔検出部２１２に内蔵しても良い。

合成パターン決定部４１２は、顔角度算出部４１１から入力された顔角度算出結果を用いて、既定の複数の合成先顔角度となるように合成顔生成の合成パターンをそれぞれ決定する。この合成パターンは、合成先顔角度と合成に必要な変形モデルのセットである。変形モデルは、３次元空間での視点変換を、２次元の画像上で擬似的に行うためのモデルであり、変形ベクトル（顔角度の変更による、顔画像上の着目画素の移動ベクトル）の集合体（２次元配列）で表現される。変形モデルは、合成前顔角度と、合成先顔角度の組合せの数だけ、機械学習等により事前に求めて保持しておく。

図５に、変形モデルや合成先顔角度のテーブル形式で格納した一例が示される。左の列５０１は、合成前顔角度を格納する欄の集合である。欄５１０には、合成前顔角度が水平２０度、垂直１０度、及び回転０度であることを示すデータが格納される。その下の欄５１１には、合成前顔角度が水平２０度、垂直１５度、及び回転０度であることを示している。中央の列５０２は、合成先顔角度を格納する欄の集合である。欄５２０には、合成先顔角度が水平１０度、垂直１０度、及び回転０度であることを示すデータが格納されている。また、欄５２１には、合成先顔角度が水平２０度、垂直０度、及び回転０度であることを示すデータが格納されている。

図５の例では、１つの合成前顔角度に対して、２つの合成先顔角度を格納している。しかし、実際には、２つ以上の多数の合成先顔角度が格納できるようにするのが良い。格納する合成先顔角度の数や角度値は、検索精度との兼合いで決定されるが、例えば、水平、垂直、回転それぞれが３つの値を取るとすると、３³−１＝２６個の合成先顔角度が必要となる。１を減じるのは、合成前顔角度と同じ合成先顔角度の変形モデルが不要だからである。右の列５０３は、変形モデルを格納する欄の集合である。欄５３０には、変形ベクトルの集合を格納する。図５の実施例では、水平２０度、垂直１０度、及び回転０度の顔を、水平１０度、垂直１０度、及び回転０度の顔に変形するベクトルの集合の一例を示している。同様に、欄５３１には、水平２０度、垂直１０度、及び回転０度の顔を、水平２０度、垂直０度、及び回転０度の顔に変形するベクトルの集合の一例を示している。このように、列５０２に属する欄と列５０３に属する欄は、同一行において１対１で対応する。

合成パターン決定部４１２は、入力された顔角度算出結果に含まれる顔角度を引き数として、合成先顔角度と変形モデルのセットである合成パターンを全て読み出す。ただし、合成パターン決定部４１２は、顔角度算出部４１１から入力された顔角度算出結果に含まれる件数と同一の回数、この処理を繰返し、これらの合成パターンを、顔角度算出部４１１からの顔角度算出結果に付け足して、合成顔生成部４１３に出力する。

合成顔生成部４１３は、合成パターン決定部４１２から入力された合成パターンに従い、合成顔画像を生成する。合成顔の生成は、変形モデルに含まれる変形ベクトルに従い、オリジナル顔画像の画素を、移動させることにより達成される。この合成顔生成部４１３では、入力された合成パターンの数と同じ回数、この処理を繰返す。合成顔生成部４１３は、こうして生成した１つ以上の合成顔画像を、合成パターン決定部４１２からの情報に付け足して、顔特徴量算出部２１３に出力する。

顔特徴量算出部２１３は、合成顔生成部４１３から入力された１つ以上の合成顔画像とオリジナル顔画像から、顔特徴量をそれぞれ算出する。ここで顔特徴量算出部２１３が算出する顔特徴量や算出方法は、顔特徴量算出部２０３と同じである。オリジナル顔画像を用いずに、合成顔画像を２つ以上としても良い。この顔特徴量算出部２１３では、入力された顔の数だけ、この処理を繰返す。顔特徴量算出部２１３は、こうして算出した２つ以上の顔特徴量を、顔特徴量検索部２１４に出力する。

顔特徴量検索部２１４は、顔特徴量算出部２１３から入力された複数の顔特徴量をクエリとして、顔特徴量データベース２０５から検索を行う。即ち、入力された顔特徴量の１つを顔特徴量データベース２０５と照合して顔類似度の高い顔を抽出し、類似度順にソートしたリストを、検索結果として出力する。この顔類似度は、図２で説明した顔類似度と同様ものである。この検索結果には、類似度の他、顔特徴量データベース２０５から読み出された顔特徴量やその画像データ等が含まれる。なおこの処理は、入力された顔特徴量の数と同数回、繰返される。
顔特徴量検索部２１４は、算出した１つ以上の検索結果を、検索結果統合出力部４１５に出力する。

検索結果統合出力部４１５は、顔特徴量検索部２１４から入力された２つ以上の検索結果を統合し、統合した検索結果を端末装置１０４に出力する。検索結果統合出力部４１５は、検索結果の統合を、個々の検索結果を１つにマージし、顔画像の類似度の高い順にマージすることで実施する。

次に、図６及び図７並びに図４を参照して、本実施形態の検索装置３０３において為される顔登録処理と顔検索処理について説明する。
検索装置３０３における処理は、主として「顔登録処理」と「顔検索処理」の２つの処理シーケンスにて構成される。顔登録処理は、図４の処理部グループ２２１にて実施される処理シーケンスであり、顔検索処理は、図４の処理グループ４２２にて実施される処理シーケンスである。顔登録処理と顔検索処理は、顔特徴量データベース２０５を共有しつつ、非同期に動作する。

図６に、検索装置３０３が行なう顔登録処理の流れが示される。この顔登録処理は、撮像装置１０１あるいは録画装置１０２と検索装置３０３との間の通信を含む。検索装置３０３は、撮像装置１０１あるいは録画装置１０２からの監視画像の着信をトリガとして、顔登録処理を実施する。
ステップ６００では、画像入力部２０１が、監視画像の着信を待機する（画像受信待機）。例えば、画像入力部２０１は、定期的にストリーム入力バッファ等にアクセスし、監視画像が入力されたか否かを検査する。そして、画像入力部２０１は、監視画像の入力を検出した場合には、ステップ６０１の処理に進む。

ステップ６０１では、画像入力部２０１が、撮像装置１０１あるいは録画装置１０２から受信データを受信する。受信データは、画像データの他に、撮影時刻や撮影装置番号等の属性情報データを含んで構成され、画像入力部２０１は、必要であれば圧縮画像を復号して画像データを得る。
次に、ステップ６０２では、顔検出部２０２が、受信された画像データに対して公知の方法で顔検出を行う。顔が少なくとも１つ以上検出された場合には、ステップ６０３の処理を実行し、検出されなかった場合には、ステップ６００の処理に戻る。
ステップ６０３では、顔特徴量算出部２０３が、ステップ６０２の顔検出結果に含まれる顔画像夫々に対して、顔特徴量を算出する。
ステップ６０４では、顔特徴量記録部２０４が、顔特徴量を、画像データや顔検出結果と共に特徴量データベース２０５に記録する。この際、ステップ６０１にて受信した属性情報データも併せて記録するようにしても良い。記録の完了後、ステップ６００の処理に戻る。

図７には、検索装置３０３が行なう顔検索処理の流れが示される。顔検索処理は、端末装置１０４と検索装置３０３間の通信を含む。検索装置３０３は、端末装置１０４からの検索要求、即ち、キー画像の着信をトリガとして、顔検索処理を実施する。
ステップ７００では、画像入力部２１１が、端末装置１０４からキー画像を受信するまで待機している（キー画像受信待機）。即ち、画像入力部２１１は、端末装置１０４からキー画像が入力されたか否かを検出する。そして、画像入力部２１１は、キー画像の入力を検出した場合には、ステップ７０１の処理に進む。また、キー画像の入力を検出しなかった場合には、再度ステップ７００の処理を所定時間経過後に実行する。

ステップ７０１では、検索装置の画像入力部２１１が、端末装置１０４からキー画像等の受信データを受信する。受信データは、画像データの他に、検索範囲としたい画像撮影時刻や撮影装置番号等の検索絞込パラメータデータを含んで構成される。
次に、ステップ７０２では、顔検出部２１２が、受信された画像データに対して顔検出を行う。顔が少なくとも１つ以上検出された場合には、ステップ７０３の処理を実行し、検出されなかった場合には、顔が検出されなかった旨を端末装置１０４に送信し、ステップ７００の処理に戻る。
ステップ７０３では、顔角度算出部４１１が、ステップ７０２の顔検出結果に含まれる顔画像に対して、顔角度算出を行う。
ステップ７０４では、合成パターン決定部４１２が、ステップ７０３の顔角度算出結果を用いて、合成パターンを決定する。

ステップ７０５では、合成顔生成部５１３が、ステップ７０４で決定された合成パターンに従い、合成顔を生成する。
ステップ７０６では、顔特徴量算出部２１３が、ステップ７０５で合成された合成顔画像に対する顔特徴量を算出する。
ステップ７０７では、顔特徴量検索部２１４が、ステップ７０６で算出された顔特徴量を用いて、顔特徴量データベース２０５に対して、類似検索を行う。

ステップ７０８では、検索結果統合出力部４１５が、ステップ７０５〜７０７の繰り返しにより入力された複数個の検索結果を統合する。
ステップ７０９では、検索結果統合出力部４１５が、統合した検索結果を、端末装置１０４に出力する。送信の完了後、ステップ７００の処理に戻る。

図８に、特許文献１から引用され、本例の顔特徴量算出部２０３も利用する顔特徴量の算出法が模式的に示される。この算出法では、まず入力画像の多重解像度化を行なう。例えば、入力画像（本例では顔検出部２０２からの顔画像）に、ガウシアンぼかしと画素間引きを交互に複数回適用して、ガウシアンピラミッドとも呼ばれる低解像度の画像群４０２ａを得る。これは、特徴量が入力画像の解像度に影響されにくくするためのものである。本例の顔画像は、任意の大きさで映った顔の領域が切り出されたものなので、多重解像度化の前に、拡大或いは縮小により既定のサイズに合わせておく。
次に、画像群４０２ａに領域分割を適用し、画像群４０２ｂを得る。ここで分割された領域は、異なる解像度の画像間で共通である。

次に、分割された各領域を更に３×３画素の小ブロックに分割し、小ブロックの各画素値のエッジパターンを求め、出現したエッジパターンの数をカウントする。エッジパターンは既定パターン４０２ｃが数十個用意されており、それらが小ブロックと最も一致した回数が度数４０２ｄである。このようにした算出した、画像群４０２ｂの全ての小ブロックの全ての度数４０２ｄを要素とする、数千次元のベクトルが、元始の特徴量である。実際には、元始特徴量に所定の行列（疎行列が望ましい）を掛け算して、低次元化したものを、特徴量として用いる。行列は、PCA(主要因分析)やLDA（線形判別分析）等の手法により得られる。

第１の実施形態の類似画像検索システムでは、内部的には、合成パターン決定部４１２にて決定された合成パターン数回の検索が繰り返えされるものであった。
以下に説明する第２の実施形態は、顔角度に応じて顔特徴量を振り分けてデータベースに登録することで、検索回数の問題を改善したものである。本発明を含む第２の実施形態における類似顔画像検索システムの構成は、検索装置３０３に代えて検索装置８０３を備えた点を除き、第１の実施形態と同じである。

図９に、第２の実施形態における検索装置８０３の構成の一例が示される。
検索装置８０３は、顔登録処理グループ９２１、顔検索処理グループ９２２、及び、顔角度別顔特徴量データベース群９０５によって構成される。顔登録処理グループ９２１は、画像入力部２０１、顔検出部２０２、顔角度算出部９１１、顔特徴量算出部２０３、顔特徴量記録先決定部９０１、及び顔角度別顔特徴量記録部９０２によって構成される。また、顔検索処理グループ９２２は、画像入力部２１１、顔検出部２１２、顔角度算出部９１２、合成パターン決定部９１３、合成顔生成部９１４、顔特徴量算出部２１３、顔特徴量検索先決定部９１５、顔角度別顔特徴量検索部９１６、検索結果統合出力部９１７によって構成される。

顔登録処理グループ９２１において、画像入力部２０１及び顔検出部２０２は、図２または図４と同様である。ただし、本実施例では、顔検出部２０２は、検出した顔検出結果を、画像データと共に、顔角度算出部９１１に出力する。

顔角度算出部９１１は、顔検出部２０２から入力された顔検出結果を用いて、顔角度を算出する。顔角度算出結果には、入力された顔の顔角度（即ち、水平方向、垂直方向、及び回転方向のそれぞれの角度）と、その確からしさ度をセットとして、少なくとも１つ以上含んで構成される。顔角度算出部９１１は、第１の実施形態の顔角度算出部４１１と同じでもよいが、入力画像に含まれる顔の数だけ高頻度に動作するので、処理量が少ないほうが良い。顔角度は必ずしも３次元量である必要は無く、４個以上の判別器の出力値をそのまま用いてもよい。

顔特徴量算出部２０３は、顔角度算出部９１１から入力された顔角度検出結果に含まれる顔画像を用いて、顔の特徴量を算出する。ここでいう顔特徴量とは、図２及び図４で述べた顔特徴量と同一である。顔特徴量算出部２０３は、画像データや顔検出結果、顔角度算出結果と共に、算出した顔特徴量を顔特徴量記録先決定部９０１に出力する。

顔特徴量記録先決定部９０１は、顔特徴量算出部２０３から顔特徴量と共に入力された顔角度算出結果を用いて、顔角度別顔特徴量データベース群９０５内における記録先を決定する。本処理部では、入力された顔検出結果の検出数に応じて（例えば、顔検出結果の検出数と同数回）、この処理を繰返す。顔特徴量記録先決定部９０１は、ここで決定した記録先情報を、画像データ、顔検出結果、顔角度算出結果、及び顔特徴量と共に、顔角度別顔特徴量記録部９０２に出力する。

顔角度別顔特徴量記録部９０２は、顔特徴量記録先決定部９０１から入力された記録先情報に基づき、画像データ、顔検出結果、顔角度算出結果、及び顔特徴量を、顔角度別顔特徴量データベース群９０５に書込む。本処理部では、に応じて（例えば、入力された顔検出結果の検出数と同数回）、処理を繰返す。なお、顔角度別顔特徴量データベース群９０５は、顔特徴量データベース２０５を顔角度別に独立させ分離したデータベースとしたものである。

次に、顔検索処理グループ９２２の処理では、画像入力部２１１及び顔検出部２１２の処理は、図２及び図４で説明した処理とほぼ同じである。
ただし、本実施例では、顔検出部２１２は、算出した顔検出結果を、画像データと共に、顔角度算出部９１２に出力する。

顔角度算出部９１２は、顔検出部２１２から入力された顔検出結果を用いて、顔角度を算出し、顔角度算出結果として出力する。ここで算出する顔角度算出結果の内容や算出方法は、顔角度算出部９１１と同様である。従って、顔角度算出部９１２は、顔角度算出部９１１と同様の構成であり同様の動作をする。また、顔角度算出部９１２は、顔角度特徴量算出部、顔角度特徴量データベース、及び顔角度特徴量検索部から成り、顔角度特徴量データベースにも、顔角度算出部９１１と同様な情報が予め格納されている。そして、顔角度算出部９１２は、算出した顔角度算出結果を、画像データ、及び顔検出結果と共に、合成パターン決定部９１３に出力する。なお、出力に含む件数は、予め決めた数でも良いし、ある類似度を閾値としその範囲に収まる候補を全て出力しても良く、また両者の組合せでも良い。また、ここにおける類似度は、顔特徴量検索部２１４の説明にて述べた類似度と、適用する特徴量空間は異なるが、算出方法については同一である。

合成パターン決定部９１３は、顔角度算出部９１２から入力された顔角度算出結果を用いて合成顔生成の合成パターンを決定する。この合成パターン決定部９１３が決定する合成パターンは、図４の合成パターン決定部４１２で述べた内容と同じである。また、変形モデルや合成先顔角度を格納した実施例もまた、図５でと同じで良い。ただし、変形モデルや合成先顔角度を予め格納する装置は、顔特徴量データベース２０５ではなく、顔角度別顔特徴量データベース群９０５である。合成パターン決定部９１３は、顔角度算出部９１２から入力された顔角度算出結果に含まれる件数と同一の回数、この処理を繰返す。そして、合成パターン決定部９１３は、ここで決定した合成パターンを、画像データ、顔検出結果、及び顔角度算出結果と共に、合成顔生成部９１４に出力する。

合成顔生成部９１４は、合成パターン決定部９１３から入力された合成パターンに従い、合成顔画像（図４参照）を生成する。
合成顔生成部９１４は、生成した１つ以上の合成顔画像を、画像データ、顔検出結果、及び顔角度算出結果と共に顔特徴量算出部２１３に出力する。

顔特徴量算出部２１３の処理は、図４で説明した通りである。ただし、顔特徴量算出部２１３は、算出した１つ以上の顔特徴量を顔特徴量検索先決定部９１５に出力する。
顔特徴量検索先決定部９１５は、顔特徴量算出部２１３から顔特徴量と共に入力された顔角度算出結果を用いて、顔角度別顔特徴量データベース群９０５内における検索先を決定する。本処理部では、に応じて（例えば、入力された顔特徴量の数と同数回）、処理を繰返す。顔特徴量検索先決定部９１５は、ここで決定した検索先情報を、画像データ、顔検出結果、顔角度算出結果、及び顔特徴量と共に、顔角度別顔特徴量検索部９１６に出力する。

顔角度別顔特徴量検索部９１６は、顔特徴量検索先決定部９１５から入力された１つ以上の顔特徴量を、顔角度別顔特徴量データベース群９０５内の顔特徴量データベースと照合し、顔類似度の高い顔をリストアップし、１つ以上の検索結果を、検索結果統合出力部９１７に出力する。顔角度別顔特徴量データベース群９０５内における検索先は、顔特徴量記録先決定部９０１から入力された記録先情報に基づく。類似度とは、顔特徴量同士の近さを示す数値であり、例えば、多次元から成る顔特徴量空間におけるユークリッド距離を用いる等する。類似度の算出方法については、例えば、非特許文献１や特許文献３に開示された技術等を参照することができる。ここで、検索結果には、顔特徴量や類似度、画像データ等が含まれる。本処理部では、に応じて（例えば、入力された顔特徴量の数と同数回）、処理を繰返す。

検索結果統合出力部９１７は、顔角度別顔特徴量検索部９１６から入力された１つ以上の検索結果を統合し、統合した検索結果の端末装置１０４に出力する。
検索結果統合出力部９１７は、検索結果の統合を、個々の検索結果に含まれる顔画像の類似度を用い、類似度の高い順にマージすることで実施する。
顔登録処理グループ９２１と顔検索処理グループ９２２は、それぞれ、図４と同様に、顔登録処理と顔検索処理の処理シーケンスを表す。顔登録処理と顔検索処理については後述する。

次に、図１０及び図１１並びに図９を用いて、さらに、本発明の検索装置８０３において為される顔登録処理と顔検索処理について説明する。
検索装置８０３における処理は、主として「顔登録処理」と「顔検索処理」の２つの処理シーケンスにて構成される。顔登録処理は、図９の処理部グループ９２１にて実施される処理シーケンスであり、顔検索処理は、図９の処理グループ９２２にて実施される処理シーケンスである。顔登録処理と顔検索処理は、顔角度別顔特徴量データベース群９０５を挟んで独立に構成され、非同期に実施可能である。

図１０を用いて、本発明を含む第２の実施形態における顔登録処理の流れの一実施例について説明する。図１０において、図６と同一符号のステップは、第１の実施形態と同様の処理内容である。図１０の顔登録処理は、撮像装置１０１と検索装置８０３間、あるいは録画装置１０２と検索装置８０３間の通信を含んだ処理にて実施される。検索装置８０３は、撮像装置１０１あるいは録画装置１０２からの監視画像の着信をトリガとして、顔登録処理を実施する。またステップ６０２において、顔が少なくとも１つ以上検出された場合には、ステップ１００１の処理を実行する。

ステップ１００１では、検索装置８０３の顔角度算出部９１１が、ステップ６０２の顔検出結果に含まれる顔画像に対して、顔角度算出を行う。簡単にするため、繰り返しの図示はしないが、本ステップとステップ６０３、１００２、１００３は、ステップ６０２にて検出された顔数と同数回繰返す。
次のステップ６０３では、検索装置８０３の顔特徴量算出部２０３が、ステップ６０２の顔検出結果に含まれる顔画像に対して、顔特徴量を算出する。
次のステップ１００２では、検索装置８０３の顔特徴量記録先決定部９０１が、ステップ１００１にて求めた顔角度に従い、顔角度別顔特徴量データベース群９０５内の記録先データベースを決定する。
そしてステップ１００３では、検索装置８０３の顔角度別顔特徴量記録部９０２が、算出した顔特徴量を、画像データ及び顔検出結果と共に、顔角度別顔特徴量データベース群９０５内の記録先データベースに記録する。その際、ステップ６０１において入力された属性情報データも併せて記録するようにしても良い。記録の完了後、ステップ６００の処理に戻る。

図１１を用いて、本発明を含む第２の実施形態における顔検索処理の流れの一実施例について説明する。顔検索処理は、端末装置１０４と検索装置８０３間の通信を含んだ処理にて実施される。検索装置８０３は、端末装置１０４からの検索要求、即ち、キー画像の着信をトリガとして、顔検索処理を実施する。図１１において、図７と同一符号のステップは、第１の実施形態と同様の処理内容である。従って、ステップ７００〜ステップ７０６、及びステップ７０８〜ステップ７０９の処理は、説明を省略する。
ただし、ステップ７０６の処理後は、ステップ１１０１の処理を実施する。また、ステップ１１０２の処理後に、ステップ７０８の処理を実施する。さらに、顔角度算出部４１１の替りに顔角度算出部９１２が動作し、合成パターン部４１２の替りに合成パターン部９１３が動作し、合成顔生成部４１３の替りに合成顔生成部０１３が動作する。

そして、ステップ１１０１では、検索装置８０３の顔特徴量検索先決定部９１５が、ステップ７０３にて求めた顔角度に従い、顔角度別顔特徴量データベース群９０５内の検索先データベースを決定する。
次に、ステップ１００２では、検索装置８０３の顔角度別顔特徴量検索部９１６は、算出した顔特徴量を用いて、ステップ１００１にて求めた検索先データベースに対して、類似検索を行う。なお、説明を簡単にするため、繰り返しの図示はしないが、本ステップ７０５、ステップ７０６、及びステップ７０７は、ステップ７０４において決定された合成パターン数回、繰返し実行する。

ステップ７０８では、図７と同様に、検索装置８０３の検索結果統合出力部４１５が、ステップ７０５、７０６、１００１、１００２の繰り返しにより入力された複数個の検索結果を統合する。
ステップ７０９では、検索装置８０３の検索結果統合出力部４１５が、統合した検索結果を、端末装置１０４に出力する。
送信の完了後、ステップ７００の処理に戻る。

上述の第２の実施形態の類似画像検索システムによれば、第１の実施形態と同様に、顔を多様な角度で撮影する場合の多い監視画像に対する検索精度の改善に有効であり、信頼性の高い検索を実現できる。また、顔特徴量を記録時に記録先を指定してデータベースに記録し、検索時にはデータベース中の検索先を指定するようにしたので、検索する範囲を狭く設定できるので、実施例１より検索時間を短縮することができる。

上述の第１、第２の実施形態における顔角度算出を、検索ユーザとのインタラクティブな決定方式にて実施する第３の実施形態について、以下に説明する。
図１２は、本発明を含む第３の実施形態における類似顔画像検索システムの構成の一例を示す図である。第３の実施形態は、検索装置３０３の替りに検索装置１２０３を設け、及び端末装置１０４の替りに端末装置１２０４を設けた点で、第１の実施形態と異なる。

図１３に、第３の実施形態における検索装置１２０３の構成が示される。検索装置１２０３は、顔登録処理グループ９２１、顔検索処理グループ１３２２、正面顔画像合成処理グループ１３２３、及び、顔角度別顔特徴量データベース群９０５によって構成される。顔検索処理グループ１３２２は、画像入力部１３０１、合成パターン決定部１３０２、合成顔生成部９１４、顔特徴量算出部２１３、顔特徴量検索先決定部９１５、顔角度別顔特徴量検索部９１６、及び検索結果統合出力部９１７によって構成される。

顔登録処理グループ９２１の処理は、すでに図９で説明した通りである。正面顔画像合成処理グループ１３２３は、画像入力部２１１、顔検出部２１２、顔角度算出部９１２、正面合成顔生成部１３１１、及び正面合成顔出力部１３１２によって構成される。

顔検索処理グループ１３２２では、画像入力部１３０１は、端末装置１２０４から入力された検索キー画像データを受信する。受信するデータ（受信データ）には、検索キー画像データの他、選択結果情報や顔検出結果も含まれる。画像入力部１３０１は、端末装置１２０４上でのユーザの検索指示操作に基づく検索要求があった場合に、前記受信データを受信する。受信した画像データ、選択結果情報、及び顔検出結果を、合成パターン決定部１３０２に出力する。

合成パターン決定部１３０２は、画像入力部１３０１から入力された選択結果情報を用いて、合成顔生成の合成パターンを決定する。この合成パターン決定部１３０２での合成パターンの決定方法は、合成パターン決定部４１２と同様である。ただし、ここで用いる合成前顔角度は、選択結果情報に含まれる顔角度である。合成パターン決定部１３０２は、ここで決定した合成パターンを、画像データ、顔検出結果、及び顔角度算出結果と共に、合成顔生成部９１４に出力する。

合成顔生成部９１４は、合成パターン決定部１３０２から入力された合成パターンに従い、合成顔画像を生成し、生成した１つ以上の合成顔画像を、画像データ、顔検出結果、及び顔角度算出結果と共に顔特徴量算出部２１３に出力する。
合成顔生成部９１４、顔特徴量算出部２１３、顔特徴量検索先決定部９１５、顔角度別顔特徴量検索部９１６、及び検索結果統合出力部９１７の動作は、図９で説明したとおりである。なお、検索結果統合出力部９１７は、検索結果の統合を、個々の検索結果に含まれる顔画像の類似度を用い、類似度の高い順にマージすることで実施する。

次に、正面顔画像合成処理グループ１３２３では、画像入力部２１１、顔検出部２１２、及び顔角度算出部９１２の動作は、図９で説明した通りである。ただし、顔角度算出部９１２は、算出した顔角度算出結果を、画像データ、及び顔検出結果と共に、正面合成顔生成部１３１１に出力する。

正面合成顔生成部１３１１は、顔角度算出部９１２から入力された顔角度算出結果を基に、正面合成顔を生成する。合成顔生成は、顔角度算出結果を図５と照合して得られる合成パターンのうち、合成先顔角度が、正面顔、即ち、水平０度、垂直０度、回転０度となるパターンのみを用いて、合成顔生成部９１４と同様に実施する。本処理部では、入力された顔角度算出結果に含まれる顔角度で、確からしさ順に最大４個までの顔角度について、処理を繰返す。正面合成顔生成部１３１１は、ここで生成された１つ以上の合成顔画像を、画像データ、顔検出結果、及び顔角度算出結果と共に、正面合成顔出力部１３１２に出力する。
正面合成顔出力部１３１２は、正面合成顔生成部１３１１から入力された１つ以上の正面合成顔、顔検出結果、及び顔角度算出結果を、端末装置１２０４に出力する。

図１４によって、本発明の第３の実施形態における端末装置１２０４に表示される画面及びユーザ操作の一実施例を説明する。図１４は、本発明の第３の実施形態における端末装置１２０４に表示される画面の一実施例を示す図である。
図１４において、端末装置１２０４に表示される画面は、再生画像表示領域１４００、画像再生操作領域１４１０、検索キー画像指定領域１４２０、検索絞込パラメータ指定領域１４３０、検索実行領域１４４０、及び検索結果表示領域１４５０によって構成される。

図１４において、再生画像表示領域１４００は、撮像装置１０１や録画装置１０２からネットワーク１５０を介して端末装置１２０４に入力された画像を、連続動画表示する領域である。再生画像表示領域１４００には、入力画像を連続動画表示した動画１４０１が表示される。
画像再生操作領域１４１０は、映像の入力元である撮像装置１０１と録画装置１０２の切り替えや、録画装置１０２に記録された画像を再生操作するボタン図形を配置した領域である。本領域に配置した各ボタン（ボタン図形）には、それぞれ固有の再生の操作種類が割当てられている。例えば、左のボタンから、「巻戻し」、「逆再生」、「再生停止」、「順再生」、「早送り」の操作種類が割当てられている。ユーザがＧＵＩ操作を行って各ボタンを適宜押下することにより、動画１４０１がボタン図形に割当てられた機能が動作する。

検索キー画像指定領域１４２０は、検索キー画像の指定と表示を行う領域である。本領域は、検索キー画像１４２１、指定ボタン１４２２、合成ボタン１４２３、及び、選択候補画像ボタン１４２４〜１４２７等から構成される。
検索キー画像１４２１は、検索キー画像を表示する場所である。初期状態においては、検索キー画像は未指定であるので、画像表示はされていない状態となる。若しくは、初期状態において、別途用意した未指定状態を示す画像を表示するようにするか、または、未指定である旨の表記をするようにしても良い。

指定ボタン１４２２は、ユーザがＧＵＩ操作を行って適宜押下した時に、動画１４０１に表示されている画像を検索キー画像として指定するボタンである。
合成ボタン１４２３は、押下時に検索キー画像に対して顔画像合成を指示するボタンである。
選択候補画像ボタン１４２４〜１４２７は、合成顔画像を表示する場所である。ユーザは、この中から最も真正面に合成されたと思われる合成顔画像を選んで、ＧＵＩ操作を行って押下する。

検索絞込パラメータ指定領域１４３０は、検索の際の絞込パラメータの種類とその値（範囲）を指定する領域である。本領域は、撮像装置指定チェックボックス１４３１、１４３２、１４３３、及び１４３４、並びに、時刻指定チェックボックス１４３５、１４３６、及び、時刻指定欄１４３７、１４３８等から構成される。撮像装置指定チェックボックス１４３１、１４３２、１４３３、及び１４３４は、検索の際に検索対象とする撮像装置を指定するボタンである。本ボタンをユーザが押下すると、選ばれたことを示すチェックマークがそれぞれ表示される。このマークは再押下すると非表示となり、押下の都度、表示と非表示が切り替わる。時刻指定チェックボックス１４３５、１４３６は、検索の際に検索対象とする撮像時刻範囲を指定するボタンである。表示の態様については本ボタンも他のチェックボックスと同様である。

例えば、時刻指定チェックボックス１４３５を選択状態にした場合には、時刻範囲に先頭時刻を与える。非選択状態にした場合には、時刻範囲に先頭時刻を与えない。即ち、先頭時刻を与えられない場合には、録画装置に記録された最も古い時刻の画像までを検索対象範囲とすることを意味する。同様に、時刻指定チェックボックス１４３６を選択状態にした場合には、時刻範囲に末尾時刻を与える。非選択状態にした場合には、時刻範囲に末尾時刻を与えない。即ち、末尾時刻を与えられない場合には、録画装置に記録された最も新しい時刻の画像までを検索対象範囲とすることを意味する。また例えば、時刻指定チェックボックス１４３５と時刻指定チェックボックス１４３６の両方を選択状態にした場合には、指定された先頭時刻から末尾時刻までを検索対象範囲とすることを意味する。時刻指定欄１４３７、１４３８は、上述の先頭時刻と末尾時刻の値を指定する入力欄である。即ち、図１４の例では、先頭時刻が２００９年６月２６日１５時３０分２０秒であり、末尾時刻が２００９年７月１３日１２時３０分２０秒である。

検索実行領域１４４０は、検索実行を指示する領域である。本領域は、検索ボタン１４４１によって構成される。
検索ボタン１４４１は、検索キー画像１４２１による類似人物検索実行を指示するボタンである。検索絞込パラメータ指定領域１４３０にてパラメータが指定されている場合には、その内容も含めて実行を指示する。

検索結果表示領域１４５０は、検索結果を表示する領域である。検索結果の表示は、検索結果画像を一覧表示することにより実施する。初期状態においては、検索結果表示領域には何も表示されない。
図１４における検索結果表示領域１４５０には、「カメラ１、カメラ２、カメラ４の２００９年６月２６日１５時３０分２０秒から２００９年７月１３日１２時３０分２０秒までの画像を検索対象に、類似画像検索」を実施した例を示している。検索結果画像１４５１〜１４５７は、例えば、最上段左から右へ、次に下側の２段目左から右へと検索キー画像に対する類似度順に表示する。本例においては、一番上段で、一番左側の位置にある検索結果画像１４５１が検索キー画像１４２１に対し最も類似度が高く、検索結果画像１４５７が最も類似度が低いということを示している。

検索結果画像１４５６の周辺には、頭出し再生ボタン１４５８と検索キー画像指定ボタン１４５９を備える。他の検索結果画像１４５１〜１４５５及び１４５７も同様である。
頭出し再生ボタンは、検索結果画像を先頭とした連続動画再生開始を指示するボタンである。例えば、頭出し再生ボタン１４５８を押下すると動画１４０１が検索結果画像１４５６に切り替わる。検索キー画像指定ボタンは、検索結果画像を検索キー画像に指定するボタンである。例えば、検索キー画像指定ボタン１４５９を押下すると、検索結果画像１４５６が、検索キー画像として１４２１に表示される。これにより、検索結果画像を使っての再検索が実施できる。

本発明に関わる操作は、前記画面に対する操作のうち、映像の指定ボタン１４２２の押下に始まる検索キー画像の指定操作である。
図１５Ａ、図１５Ｂ、及び図１５Ｃは、検索キー画像指定領域１４２０を拡大表示したものである。図１６は、本発明に関わる検索キー画像指定操作における通信シーケンスの一例を示す図である。
図１６では、紙面上から下に時刻が経過する（ただし、時間は上下の長さとは一致していない）時系列の順番を示している。録画装置１０２（または、撮像装置１０１）の通信動作をシーケンス１６００上に表示し、端末装置１２０４の通信動作をシーケンス１６０２上に表示し、検索装置１２０３の通信動作をシーケンス１６０１上に表示する。また、タイミング１６２０〜１６２６は、それぞれ時系列上での動作タイミングを表している。さらに、通信１６１０〜１６１５は、各装置間の主な通信を示す。通信１６１０と１６１１はリクエストとレスポンスの関係にある。通信１６１２と１６１３、通信１６１４と１６１５も同様である。なお、通信１６１０〜１６１５で示した通信は概念的な一例を示し、通信の細かい態様を示したものではない。

図１５Ａは、検索キー画像指定領域１４２０の検索キー画像を指定する前（タイミング１６２０）における画面の一例である。検索キー画像は、未指定であるので、検索キー画像１４２１は表示されていない状態となる。また、選択候補画像ボタン１４２４〜１４２７も、同様である。

図１５Ａにおいて、ユーザが、タイミング１６２１の時刻に指定ボタン１４２２を押下すると、端末装置１２０４の画面が図１５Ｂの画面に切り替わる。
即ち、端末装置１２０４は、ユーザの操作により指定ボタン１４２２が押下されると、画像要求のための通信１６１０を録画装置１０２に出力（送信）する。通信１６１０は、検索キー画像要求の通信である。録画装置１０２は、通信１６１０を受信すると、通信１６１１を端末装置１２０４に出力（配信）する。この通信１６１１は、要求に応じて配信された検索キー画像を含む通信である。端末装置１２０４は、通信１６１０を受信すると、タイミング１６２２の時刻に画面に、通信１６１１に含まれた検索キー画像を表示する。

図１５Ｂは、指定ボタン１４２２の押下後の画面の一例である。検索キー画像１４２１には、動画１４０１に現在表示されている画像が表示される。図１５Ｂにおいて、ユーザが、タイミング１６２３の時刻に合成ボタン１４２３を押下すると、端末装置１２０４の画面が図１５Ｃの画面に切り替わる。即ち、端末装置１２０４は、ユーザの操作により合成ボタン１４２３が押下されると、合成要求のための通信１６１２を検索装置１２０３に出力（送信）する。通信１６１２は、合成要求の通信である。この通信１６１２には、通信１６１１で取得した検索キー画像も含まれる。

検索装置１２０３は、通信１６１２を受信すると、通信１６１３を端末装置１２０４に出力（配信）する。この通信１６１３は、要求に応じて配信された１つ以上の合成顔画像や顔検出結果、顔角度算出結果を含む通信である。
端末装置１２０４は、通信１６１３を受信すると、タイミング１６２４の時刻に画面に、通信１６１３に含まれた検索キー画像を表示する。

図１５Ｃは、合成ボタン１４２３の押下後の画面の一例である。選択候補画像ボタン１４２４〜１４２７には、それぞれ顔画像が表示される。ここで、選択候補画像ボタンに表示される顔画像であるが、合成により生成された顔画像である。図１５Ｃにおいて、ユーザが、タイミング１６２５の時刻に選択候補画像ボタン１４２４〜１４２７の中から、いずれか１つを選択して押下する。ここで選択するボタンは、表示された合成顔画像のうち、最も真正面な顔と思われる顔画像を表示したボタンである。本例では、ユーザは、選択候補画像ボタン１４２５を押下する。

最後に、ユーザが、タイミング１６２６の時刻に、検索ボタン１４４１を押下する。即ち、端末装置１２０４は、ユーザの操作により合成ボタン１４２３が押下されると、検索要求のための通信１６１４を検索装置１２０３に出力（送信）する。通信１６１４は、検索要求の通信である。この通信１６１４には、検索キー画像に加え、図１５（ｃ）におけるユーザの選択結果についての情報や通信１６１１や１６１３で取得した検索キー画像や顔検出結果も含まれる。検索装置１２０３は、通信１６１４を受信すると、受信した通信１６１４に含まれる検索キー画像に基づいて、検索を行い、その検索結果を通信１６１５として端末装置１２０４に出力（配信）する。端末装置１２０４は、通信１６１５を受信して、その検索結果を検索結果表示領域１４５０に表示する。
以上で、本領域に関連する一連の操作が終了する。

上述の第３の実施形態の類似画像検索システムによれば、第１と第２の実施形態と同様に、顔を多様な角度で撮影する場合の多い監視画像に対する検索精度の改善に有効であり、信頼性の高い検索を実現できる。さらに、上述の第３の実施形態の類似画像検索システムによれば、第２の実施形態と同様に、顔特徴量を記録時に記録先を指定してデータベースに記録し、検索時にはデータベース中の検索先を指定するようにしたので、検索する範囲を狭く設定できるので、実施例１より検索時間を短縮することができる。またさらに、上述の第３の実施形態の類似画像検索システムによれば、顔角度算出を、検索ユーザとのユーザインタラクティブに決定することができ、操作性が向上する。また、顔角度算出を、状況に応じて適宜、容易に、かつ迅速に検索条件を変更することができるため、より信頼性の高い検索を実現できる。

上述の第１〜第３の実施例の説明においては、説明の簡略化のため、撮像装置や録画装置、検索装置、端末装置は各１台の構成で示したが、これらはネットワークに対し、複数台の接続が可能である。
また、上述の第１〜第３の実施例においては、説明を容易にするため、録画装置と検索装置を別個の装置として示したが、同一の装置上に実装される構成であっても良い。また、同様に、検索装置と端末装置も、単一の装置上に実装される構成であっても良い。
また、第３の実施例においては、説明の簡略化のため、正面顔を選ぶ操作を提示・選択を各１回で完了する例を示したが、提示・選択を数回繰り返すようにしても良い。
また、上述の第１〜第３の実施例においては、顔を対象とする類似画像検索を示したが、顔だけでなく、車両等の他のオブジェクトを対象とした類似画像検索にも適用できる。

ＣＣＴＶ（Closed-Circuit Television ）システム、顔認証システム、犯罪者データベース等のほか、テレビ番組制作システムや個人向けの電子アルバム等、カメラに映った人物や車両などの映像を扱うシステムに利用可能である。

１０１：撮像装置、 １０２：録画装置、 １０３：検索装置、 １０４：端末装置、 １５０：ネットワーク、 ２０１：画像入力部、 ２０２：顔検出部、 ２０３：顔特徴量算出部、 ２０４：顔特徴量記録部、 ２０５：顔特徴量データベース、 ２１１：画像入力部、 ２１２：顔検出部、 ２１３：顔特徴量算出部、 ２１４：顔特徴量検索部、 ２１５：検索結果出力部、 ２２１：顔登録処理グループ、 ２２２：顔検索処理グループ、 ３０３：検索装置、 ４１１：顔角度算出部、 ４１２：合成パターン決定部、 ４１３：合成顔生成部、 ４１５：検索結果統合出力部、 ４２２：顔検索処理グループ、 ５０１〜５０３：列、 ５１０、５１１、５２０、５２１、５３０、５３１：欄、
８０３：検索装置、９０１：顔特徴量記録先決定部、 ９０２：顔角度別顔特徴量記録部、 ９０５：顔角度別顔特徴量データベース群、 ９１１，９１２：顔角度算出部、 ９１３：合成パターン決定部、 ９１４：合成顔生成部、 ９１５：顔特徴量検索先決定部、 ９１６：顔角度別顔特徴量検索部、９１７：検索結果統合出力部、
１２０３：検索装置、 １２０４：端末装置、 １４００：再生画像表示領域、 １４０１：動画、 １４１０：画像再生操作領域、 １４２０：検索キー画像指定領域、 １４２１：検索キー画像、 １４２２：指定ボタン、 １４２３：合成ボタン、 １４２４〜１４２７：選択候補画像ボタン、 １４３０：検索絞込パラメータ指定領域、 １４３１、１４３２、１４３３、１４３４：撮像装置指定チェックボックス、 １４３５、１４３６：時刻指定チェックボックス、 １４３７、１４３８：時刻指定欄、 １４４０：検索実行領域、 １４５０：検索結果表示領域。

Claims (4)

1. 検索対象画像を入力する第１の画像入力手段と、入力された検索対象画像から第１の顔を検出する第１の顔検出手段と、検出された第１の顔の特徴量を算出する顔特徴量算出手段と、算出された顔特徴量を記録するデータベース記録手段と、
   検索のためのキー画像を入力する第２の画像入力手段と、入力されたキー画像から第２の顔を検出する第２の顔検出手段と、検出された第２の顔の顔角度を算出する顔角度算出手段と、算出された顔角度によって合成パターンを決定する合成パターン決定手段と、決定された合成パターンに応じて合成顔画像を生成する合成顔生成手段と、生成された合成顔画像を用いて第２の顔の特徴量を算出する第２の顔特徴量算出手段と、
   前記決定された前記合成パターンの数に応じて、前記合成顔生成手段と前記顔特徴量算出手段を繰り返し、算出された複数個の顔特徴量をクエリとして、データベースから検索を行う顔特徴量検索手段と、検索された複数個の検索結果を統合する検索結果統合手段と、を設けたことを特徴とする類似画像検索システム。
2. 検索対象画像を入力する第１の画像入力手段と、入力された検索対象画像から第１の顔を検出する第１の顔検出手段と、検出された第１の顔の顔角度を算出する第１の顔角度算出手段と、前記検出された第１の顔の特徴量を算出する第１の顔特徴量算出手段と、算出された顔角度によって記録先データベースを決定する記録先データベース決定手段と、算出された第１の顔特徴量を決定された記録先データベースに記録するデータベース記録手段と、
   検索のためのキー画像を入力する第２の画像入力手段と、入力されたキー画像から第２の顔を検出する第２の顔検出手段と、検出された第２の顔の顔角度を算出する顔角度算出手段と、算出された顔角度によって合成パターンを決定する合成パターン決定手段と、決定された合成パターンに応じて合成顔画像を生成する合成顔生成手段と、生成された合成顔画像を用いて第２の顔の特徴量を算出する第２の顔特徴量算出手段と、
   前記算出された前記顔角度によって検索先データベースを決定する検索先データベース決定手段と、前記決定された前記合成パターンの数に応じて、前記合成顔生成手段と前記第２の顔特徴量算出手段と前記検索先データベース決定手段を複数回実施し、算出された複数個の顔特徴量をクエリとして、前記データベースから検索を行う顔特徴量検索手段と、検索された複数個の検索結果を統合する検索結果統合手段と、を設けたことを特徴とする類似画像検索システム。
3. 前記顔角度算出手段は、入力顔に対する顔角度特徴量算出手段と、既知角度の顔に対する顔角度特徴量が顔角度情報とともに予め格納されているデータベースと、前記顔角度特徴量算出手段で求めた顔角度特徴量をクエリとして、前記データベースから検索を行う顔角度検索手段と、を設けたことを特徴とする請求項２記載の類似画像検索システム。
4. 前記合成パターン決定手段は、前記顔角度算出手段の算出結果の確からしさを使い、その第２候補以降の確からしさを有する顔角度も用いることを特徴とする請求項２記載の類似画像検索システム。

Images