JP7098365B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

近年、監視エリアに設置された複数の監視カメラをネットワークで接続して連携させ、これら複数のカメラにより撮像される複数の画像から、特定人物や迷子等を検索することが可能な人物検索システムが提案されている。
この種の人物検索システムにおいては、複数のカメラそれぞれの撮像画像を解析して自体を検出し、検出された人体の顔や人体画像から被写体の特徴を表す特徴量を抽出する。抽出された特徴量は、撮像時刻や撮像したカメラ、人物として認識された人体の画像などの情報と関連付けられ、当該人物の登録情報として、人物検索システムに登録される。
特定人物等を検索する際には、検索対象画像から特徴量を抽出し、抽出された検索対象画像の特徴量と、人物検索システムに登録された複数の人物の登録情報の特徴量とを照合する。この特徴量の照合において、登録された人物が検索対象の特定人物と同一であるかの尤度を表す類似度が算出され、所定の閾値以上の類似度が算出された人物の登録情報を検索する。このように検索された複数の人物の登録情報は、類似度順や検出時刻順などで整列され、検索結果として表示装置等に一覧表示される。

特許文献１は、複数のカメラからの入力画像を取得および保持する映像検索システムにおいて、ユーザにより選択された検索対象物体の画像を用いて、検索対象物体の特徴を更新する技術を開示する。
具体的には、特許文献１の映像検索システムは、入力画像から人物特徴、時間、カメラを指定する条件指定部と、保持した入力画像群から条件指定部で指定した条件に合致する画像を検索する画像検索部と、画像検索の結果を表示する結果表示部とを有する。ユーザは、対話型で、結果表示部に表示された人物画像が条件指定部で指定した人物と同一であるか否かの正否を選択入力する。ユーザが正解と判断した画像の人物特徴は、保持された人物特徴に追加または統合されることにより更新される。
特許文献１記載の技術によれば、結果表示部に表示される類似度の高い画像が検索対象人物であるか否かの正否をユーザに選択させ、正解と選択された人物特徴を拡充するので、同一人物でありながら見掛けの違う画像についても人物検索の精度が向上する。

特開２００９－２７３９３号公報

しかしながら、複数のカメラが連携する人物検索システムにおいては、各カメラの設置場所は監視エリア内で相違するため、画角等の設置条件や照明条件等がカメラごとに相違する。また複数のカメラ間で、解像度やフレームレート等の性能が異なることも多い。このため、同一人物を撮像した画像であっても、複数のカメラ間で、撮像された被写体の特徴量や、姿勢等の形状情報等が多様に変化する。
特に、照度が足りない環境下である、解像度等のカメラ性能が低い、カメラの設置角度が悪い等の種々の撮像条件の相違により、検索対象と登録画像とを照合する際に、類似度が低く出やすいカメラが存在する。このため、複数のカメラ間で、人物検索結果の出力に偏り（個体差）が生じていた。

検索結果を表示する際には、特許文献１に記載の技術のように、所定の閾値以上の類似度が算出された検索結果が一覧表示される。このため、類似度の低く出やすいカメラの検索結果は、一覧表示から抜け落ちることがあり、本来同一の人物でありながら監視対象として見逃してしまうため、人物検索の精度を低下させるおそれがあった。

発明は上記課題に鑑みてなされたものであり、その目的は、カメラ間の撮像条件の相違にかかわりなく、複数のカメラからの撮像画像を適切に用いて画像検索を行うことが可能な画像処理装置、画像処理方法およびプログラムを提供することにある。

上記課題を解決するため、本発明に係る処理装置のある態様によれば、複数の撮像手段により撮像された画像から検索対象のオブジェクトに類似する画像を検索結果として出力する監視システムにおける検索結果の処理装置であって、前記複数の撮像手段によって撮像された画像から検索されるオブジェクトの類似度の履歴に基づいて、前記複数の撮像手段のうち、調整すべき撮像手段を特定する特定手段と、検索対象のオブジェクトに対する、前記複数の撮像手段によって撮像された画像の類似度を算出する算出手段によって算出された類似度のうち、前記特定された撮像手段によって撮像された画像の類似度に対して調整値を加算する加算手段と、前記加算手段において調整値が加算された類似度を有する画像、および、前記特定手段において特定された撮像手段とは異なる撮像手段によって撮像された画像のうち、類似度が高い順に画像を出力する処理を行う処理手段と、を備え,前記特定手段は、前記複数の撮像手段によって撮像された画像の類似度の平均値に対して所定値以上低い撮像手段を調整すべき撮像手段として特定する処理装置が提供される。

本発明によれば、カメラ間の撮像条件の相違にかかわりなく、複数のカメラからの撮像画像を適切に用いて画像検索を行うことができる。

本発明の実施形態に係る人物検索システムのネットワーク構成の一例を示す図。 本実施形態に係るネットワークカメラのハードウエア構成の一例を示す図。 本実施形態に係る人物検索システムを構成する各装置の機能構成の一例を示す図。 本実施形態に係る人物検索サーバが管理する人物情報の一例を示す図。 本実施形態に係る人物情報登録処理の処理手順の一例を示すフローチャート。 本実施形態に係る人物検索処理の処理手順の一例を示すフローチャート。 図６の調整処理（Ｓ６６）の詳細処理手順の一例を示すフローチャート。 図７の人物情報抽出処理（Ｓ６６１）が抽出する人物検索結果の一例を示す図。 人物検索処理の処理結果を表示する表示画面の一例を示す図。 図９の表示画面でカメラ間調整を指示した後の表示画面の一例を示す図。 図１０の表示画面でカメラ順の表示を指示した後の表示画面の一例を示す図。 カメラごとに類似度閾値調整を指示入力する表示画面の一例を示す図。 図１２の表示画面でスクロールバーを操作した後の表示画面の一例を示す図。

以下、添付図面を参照して、本発明を実施するための実施形態について詳細に説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

本実施形態は、複数の撮像装置により撮像された画像を画像解析し、画像解析処理結果から検索対象の画像検索結果を出力する際に、検索対象と登録画像との類似度が他の撮像装置より低く算出される撮像装置を識別する。そして、本実施形態においては、識別された撮像装置に対して算出されるべき類似度を、当該撮像装置により撮像された画像が出力
される画像検索結果に含まれるよう調整することができる。また、類似度が低く算出されると識別された撮像装置や当該撮像装置により撮像された画像の検索結果を、他の撮像装置やその画像検索結果から識別可能に通知することができる。
これにより、複数の撮像装置間で、撮像条件等の相違に起因する、出力されるべき画像検索結果の偏りが調整されるため、検索対象と同一人物の検索結果の出力漏れが低減され、画像検索の精度向上が実現される。

以下、本実施形態において、「類似度」とは、画像解析結果として登録された人物が検索対象の特定人物と同一であるかの尤度をいう。この類似度は、画像検索結果として出力すべきか否かを決定する閾値として使用することができ、本実施形態においては複数の撮像装置のそれぞれに対して個別に設定することができる。
また、撮像装置の「撮像条件」とは、撮像装置の撮像における画角等の設置条件、照明条件、解像度やフレームレート等の撮像装置の性能を含むがこれらに限定されず、撮像画像の解析および検索に影響し得る、複数の撮像装置間で相違し得るあらゆる条件を含む。
なお、以下、本実施形態では、撮像装置であるネットワークカメラを監視に応用する場合を例として説明するが、本実施形態はこの場合に限定されず、他の画像検索用途にも適用可能である。また、以下、本実施形態では、撮像画像を解析して人体を検出し、検出された人体の特徴量を含む人物の登録情報から、検索対象の人物と同一人物を検索する場合を例として説明するが本実施形態が適用可能な検索対象はこれに限定されない。本実施形態は、撮像画像内の動体および静止体を含む、あらゆるオブジェクトの画像検索用途に適用可能である。

＜本実施形態のネットワーク構成＞
図１は、本実施形態に係る人物検索システムをネットワークカメラシステムに適用する場合のネットワーク構成の一例を示す図である。
図１のネットワークカメラシステム１０は、少なくとも２つのネットワークカメラ２０ａ、２０ｂ、画像解析サーバ３０、人物検索サーバ４０、ネットワークストレージ５０、および検索端末装置６０を備える。ネットワークカメラ２０ａ、２０ｂ、画像解析サーバ３０、人物検索サーバ４０、ネットワークストレージ５０、検索端末装置６０は、それぞれネットワーク７０を介して接続され、相互に情報の授受を行う。
ネットワーク７０は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信規格に準拠する有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってよい。あるいは、ネットワーク７０は、無線ネットワークで構成されてもよい。この無線ネットワークは、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ
Ｂａｎｄ）等の無線ＰＡＮ（Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。また、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）（登録商標）等の無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や、ＷｉＭＡＸ（登録商標）等の無線ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。さらに、ＬＴＥ／３Ｇ等の無線ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。なお、ネットワーク７０は、各機器を相互に通信可能に接続できればよく、通信の規格、規模、構成は上記に限定されない。

ネットワークカメラ（以下、単に「カメラ」ともいう。）２０ａ、２０ｂは、所定の画角で被写体を撮像する、監視カメラ等の撮像装置である。このカメラ２０ａ、２０ｂは、撮像画像（以下、単に「画像」ともいう。）を、ネットワーク７０を介して、画像解析サーバ３０、人物検索サーバ４０、ネットワークストレージ５０へ送信することができる。なお、図１では、２つのカメラ２０ａ、２０ｂが図示されているが、カメラの数は２つ以上であってよく、図示される数に限定されない。

画像解析サーバ３０は、ネットワークストレージ５０に記録された撮像画像のデータ等
をネットワーク７０経由で読み込んで画像解析処理を実行する。具体的には、画像解析サーバ３０は、ネットワークストレージ５０から取得した画像から、人体を検出し、検出された人体の特徴量を抽出し、抽出された人体の特徴量を含む人物情報を生成して、ネットワークストレージ装置５０に登録する。「人物情報」とは、画像の撮像時刻、被写体ＩＤ、カメラＩＤ、画像から検出された人体の特徴量、人物として認識された人体の画像（人物画像）、人物の属性等を含む、画像から認識された人物の情報（オブジェクト情報）である。この人物情報の詳細は、図４を参照して後述する。なお、画像解析サーバ３０が実行する画像解析処理の全部または一部は、カメラ２０ａ、２０ｂに実装されてもよい。
人物検索サーバ４０は、ユーザから人物検索が指示されると、人物検索処理を実行する。具体的には、人物検索サーバ４０は、入力された検索対象の特徴量を抽出し、抽出された検索対象の特徴量と、人物情報として登録された複数人物の特徴量とを照合して類似度を算出し、所定の閾値以上の類似度が算出された人物を検索結果として出力する。

ネットワークストレージ５０は、カメラ２０ａ、２０ｂから配信される撮像画像、画像解析サーバ３０から送信される人物情報、人物検索サーバ４０から送信される人物検索結果、各種制御情報等の情報を記録する記録装置である。ネットワークストレージ５０は、カメラ２０ａ、２０ｂ、画像解析サーバ３０、人物検索サーバ４０の外部不揮発性記憶装置として機能する。ネットワークストレージ５０に記録される情報の全部または一部は、カメラ２０ａ、２０ｂ、画像解析サーバ３０、人物検索サーバ４０のローカル記憶装置に記録されてもよく、この場合、ネットワークストレージ５０は適宜省略されてよい。
検索端末装置６０は、表示装置（ディスプレイ）を備え、カメラ２０ａ、２０ｂから配信される画像、ネットワークストレージ５０に記録された画像の再生および表示、後述する人物検索処理結果等を、表示装置に表示させるための表示制御機能を有する。検索端末装置６０はまた、人物検索サーバ４０が実行する人物検索のためのユーザインタフェースおよび入力手段を備え、ユーザが人物検索を指示した際に、人物検索サーバ４０ヘ人物検索処理要求を送信する。
さらに、検索端末装置６０は、画像解析サーバ３０が実行する画像解析処理や人物検索サーバ４０が実行する人物検索処理に関する閾値設定等のパラメータ設定操作を行う機能を有する。

＜ネットワークカメラのハードウエア構成＞
図２は、カメラ２０ａ、２０ｂのハードウェア構成の一例を示す図である。
図２のカメラ２０ａ、２０ｂは、それぞれ、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、外部メモリ２４、撮像部２５、入力部２６、通信Ｉ／Ｆ２７、およびシステムバス２８を備える。
ＣＰＵ２１は、カメラ２０ａ、２０ｂにおける動作を統括的に制御するものであり、システムバス２８を介して、各構成部（２２～２７）を制御する。
ＲＯＭ２２は、ＣＰＵ２１が各種処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、これら制御プログラム等は、外部メモリ２４や着脱可能な記憶媒体（不図示）に記憶されていてもよい。
ＲＡＭ２３は、ＣＰＵ２１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ２１は、各種処理の実行に際してＲＯＭ２２から必要なプログラム等をＲＡＭ２３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
外部メモリ２４は、例えば、ＣＰＵ２１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、外部メモリ２４には、例えば、ＣＰＵ２１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。

撮像部２５は、被写体の撮像を行うレンズ、撮像素子等を備える。レンズは、撮像される被写体からの入射光を撮像素子に結像するための光学レンズであり、入射光を撮像素子
に集光させる。撮像素子は、光を画像信号に変換する素子であり、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device）等で構成することができる。
入力部２６は、電源ボタンなどから構成され、カメラ２０ａ、２０ｂのユーザは、入力部２６を介して当該カメラ２０ａ、２０ｂに指示を与えることができる。
通信Ｉ／Ｆ２７は、ネットワーク７０に接続される外部装置（例えば画像解析サーバ３０）と通信するためのインターフェースであり、例えばＬＡＮインターフェースである。
システムバス２８は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、外部メモリ２４、撮像部２５、入力部２６および通信Ｉ／Ｆ２７を通信可能に接続する。

図２に示すカメラ２０ａ、２０ｂの各部の機能は、ＣＰＵ２１がＲＯＭ２２もしくは外部メモリ２４に記憶されたプログラムを実行することで実現される。
なお、画像解析サーバ３０、人物検索サーバ４０および検索端末装置６０は、図２を参照して、撮像部２５に代えて、表示装置等のハードウエアを備えればよい。表示装置は、液晶ディスプレイ（ＬＣＤ）等のモニタで構成されてよい。また、画像解析サーバ３０、人物検索サーバ４０および検索端末装置６０は、入力部２６として、キーボードやマウス等のポインティングデバイスを備え、ユーザが各装置３０、４０および６０に対してそれぞれ指示を与えることができる。

＜ネットワークカメラシステムの機能構成＞
図３は、本実施形態に係る人物検索システムを構成する各装置の機能構成の一例を示すブロック図である。
図３に示す各装置の各機能モジュールのうち、ソフトウエアにより実現される機能については、各機能モジュールの機能を提供するためのプログラムがＲＯＭ等のメモリに記憶され、ＲＡＭに読み出してＣＰＵが実行することにより実現される。ハードウエアにより実現される機能については、例えば、所定のコンパイラを用いることで、各機能モジュールの機能を実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。ＦＰＧＡとは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてＧａｔｅ Ａｒｒａｙ回路を形成し、ハードウエアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。なお、図３に示した機能ブロックの構成は一例であり、複数の機能ブロックが１つの機能ブロックを構成するようにしてもよいし、いずれかの機能ブロックが複数の機能を行うブロックに分かれてもよい。

カメラ２０ａ、２０ｂは、それぞれ、画像取得部２０１、符号化部２０２、および通信部２０３を備える。カメラ２０ａ、２０ｂにおいて、画像取得部２０１は、撮像された画像を取得する。符号化部２０２は、画像取得部２０１により取得された画像を符号化する。通信部２０３は、符号化部２０２により符号化された画像をネットワーク７０へ配信する。ネットワーク７０へ配信された画像は、ネットワークストレージ５０、画像解析サーバ３０および検索端末装置６０へ送信される。
ネットワークストレージ５０は、記録部５０１、および通信部５０２を備える。ネットワークストレージ５０において、記録部５０１は、通信部５０１により受信された画像を記憶装置へ記録する。通信部５０２は、カメラ２０ａ、２０ｂからネットワーク７０を介して画像を受信し、記録部５０１へ供給する。

画像解析サーバ３０は、人体検出部３０１、特徴量抽出部３０２、人物情報送信部３０３、および通信部３０４を備える。画像解析サーバ３０において、人体検出部３０１は、ネットワークストレージ５０の記録部５０１に記録された画像から人体を検出する。なお、人体検出部３０１は、人体を検出する精度を高めるために、人体追尾、顔検出や顔追尾の結果等を利用してもよい。
特徴量抽出部３０２は、人体検出部３０１により検出された人体の特徴量を抽出する。
人物情報送信部３０３は、通信部３０４を介して、特徴量抽出部３０２により抽出された人体の特徴量を、画像の撮像時刻、被写体ＩＤ、カメラＩＤ、人物として認識された人体の画像（人物画像）、人物の属性等に対応付けて、人物情報を生成する。生成された人物情報は、人物情報送信部３０３により人物検索サーバ４０へ送信される。
通信部３０４は、人物情報送信部３０３から供給される人物情報を、ネットワーク７０を介して人物検索サーバ４０へ送信する。なお、人物情報送信部３０３は、生成された人体情報を、ネットワークストレージ５０へ送信し、記録部５０１に記録させてもよい。

人物検索サーバ４０は、人物情報管理部４０１、検索対象特徴量抽出部４０２、検索部４０３、カメラ識別部４０４、調整部４０５、および通信部４０６を備える。人物検索サーバ４０において、人物情報管理部４０１は、画像解析サーバ３０の人物情報送信部３０３からネットワーク７０を介して送信される人物情報を、記憶装置に登録して管理する。
検索対象特徴量抽出部４０２は、検索端末装置６０から送信される検索対象の人物検索要求を通信部４０６を介して受信し、受信された人物検索要求で指定された画像から人体を検出して、検出された人体の特徴量を検索対象の人物の特徴量として抽出する。
検索部４０３は、人物情報管理部４０１が管理する登録された人物情報を検索する。具体的には、検索部４０３は、検索対象特徴量抽出部４０２により抽出された検索対象の人物の特徴量と、人物情報管理部４０１が管理する登録された人物情報の特徴量とを照合して、両者の特徴量の間の類似度を検索結果として算出する。

カメラ識別部４０４は、検索部４０３により算出された類似度をカメラ２０ａ、２０ｂごとに集計して、他のカメラより相対的に類似度が低く集計された１つまたは複数のカメラ２０ａ、２０ｂを識別する。
調整部４０５は、カメラ識別部４０４により識別されたカメラ２０ａ、２０ｂの類似度の閾値を調整するための調整値を算出して、カメラ間での検索結果出力における調整処理を実行する。この調整部４０５が実行するカメラ間調整処理の詳細は、図７を参照して後述する。
通信部４０６は、画像解析サーバ３０の人物情報送信部３０３からネットワーク７０を介して送信される人物情報を受信し、受信された人物情報を人物情報管理部４０１へ供給する。通信部４０６はまた、検索端末装置６０から送信される検索対象の人物検索要求を受信して、検索対象特徴量抽出部４０２へ供給する。

検索端末装置６０は、表示部６０１、検索対象選択部６０２、通信部６０３を備える。検索端末装置６０において、表示部６０１は、カメラ２０ａ、２０ｂから配信される画像、ネットワークストレージ５０から送信される画像、人物検索サーバ４０から送信される人物検索結果等を、通信部６０３を介して受信し、表示装置に表示する。
検索端末装置６０はまた、人物検索サーバ４０へ検索指示を送る際に必要とされる検索対象の人物を指定するためのユーザインタフェースを備える。

なお、上記では、人物検索システムを構成するカメラ２０ａ、２０ｂ、画像解析サーバ３０、および人物検索サーバ４０等の画像処理装置が画像を処理するものとして説明した。しかしながらこれらの画像処理装置において、映像を取得し映像を１フレームごとに処理しても処理内容は同一であるため、映像処理装置としても人物検索システムに適用可能である。
検索端末装置６０へは、検索対象となる人物の画像が入力される。具体的には、検索対象となる人物画像は、ネットワークストレージ５０に記録されている人物画像を表示部６０１により表示し、表示された人物画像からユーザにより選択された画像を用いることで指定することができる。あるいは、ユーザが予め保持する画像を用いてもよい。検索端末装置６０は、ユーザによりユーザインタフェースを介して選択された画像を、通信部６０３を介して画像検索サーバ３０へ送信して、予め保持する画像を画像検索サーバ３０に画像解析させればよい。

図４は、人物検索サーバ４０の人物情報管理部４０１が管理する人物情報のレイアウトの一例を示す。図４に示すように、人物情報は、検出対象の人体が撮像された撮像時刻４１、画像中の被写体を識別する被写体ＩＤ４２、複数のカメラ２０ａ、２０ｂから１つのカメラを識別するカメラＩＤ４３、検出された人体から抽出された特徴量４４を含む。人物情報はさらに、サムネイル４５、および属性情報４６を含む。サムネイル４５は、表示装置に表示すべき人物のサムネイル画像である。このサムネイル４５は、人物情報管理部４０１が人物情報の一部として保持してよい。あるいは、人物情報には画像中の人物の位置のみを記憶し、人物情報管理部４０１が、サムネイルを表示すべき際にネットワークストレージ５０の記録部５０１から対応する画像を取得し、取得された画像から人物位置を切り出してサムネイルを生成してもよい。
属性情報４６は、人物画像から認識され得る人物の年齢（年齢帯）、性別、外見特徴等を含む。

＜本実施形態の人物情報登録処理フロー＞
図５は、画像解析サーバ３０が実行する、図４に示す人物情報の登録処理手順を示すフローチャートである。
図５に示す処理は、例えば、画像解析サーバ３０の通信機能が起動され、画像解析サーバ３０がネットワークを介して他の通信装置と通信状態となったことを契機に開始されてよい。ただし、図５に示す処理の開始タイミングは上記に限定されない。
画像解析サーバ３０はＣＰＵ２１が必要なプログラムをＲＯＭ２２または外部メモリ２４から読み出して実行することにより、図５に示す処理を実行することができる。ただし、図５に示す各要素のうち少なくとも一部が専用のハードウエアとして動作することで図５の処理が実現されるようにしてもよい。この場合、専用のハードウエアは、ＣＰＵの制御に基づいて動作する。
Ｓ５１で、画像解析サーバ３０の通信部３０４は、カメラ２０ａ、２０ｂまたはネットワークストレージ５０から送信される画像データを受信する。受信された画像データは、画像解析サーバ３０において伸長、復号化されて、人体を検出すべき画像（動画像もしくは静止画像）として取得される。Ｓ５１で取得された画像は、順次、人体検出部３０１へ送出される。

なお、画像解析サーバ３０への画像の供給元は、特に限定されず、有線もしくは無線を介して画像を供給可能なサーバ装置や録画映像管理装置であってよく、またはカメラ２０ａ、２０ｂ以外の撮像装置であってもよい。あるいは、画像解析サーバ３０は、画像解析サーバ３０内のメモリ（例えば、外部メモリ２４）から適宜画像を取得するようにしてもよい。以下では、Ｓ５１で画像解析サーバ３０が動画像を取得した場合であっても静止画像を取得した場合であっても、画像解析サーバ３０が１枚の画像を処理する場合を説明する。前者の場合は、上記１枚の画像が動画像を構成する各フレームに相当し、後者の場合は、上記１枚の画像が静止画像に相当する。

Ｓ５２で、画像解析サーバ３０の人体検出部３０１は、予め準備された照合パターン辞書等を用い、Ｓ５１で取得された画像に対して人体検出処理を実行する。ただし、人体検出部３０１は、画像から人体の全身の領域を検出する機能を有していればよく、実行される人体検出処理はパターン処理に限定されるものではない。
他の人体検出の手法としては、例えば米国特許出願公開公報ＵＳ２００７／０２３７３８７に記載の手法を適用することができる。具体的には、この手法によれば、所定の大きさの検出ウィンドウを入力画像上で走査させ、検出ウィンドウ内の画像を切り出したパターン画像に対して、人体であるか否かの２クラス判別を行う。この判別では、アダブースト（Ａｄａｐｔｉｖｅ Ｂｏｏｓｔｉｎｇ）を使って多数の弱判別器を有効に組み合わせて判別器を構成して、判別精度を向上させている。また、この判別器を直列に繋ぐことで、カスケード型の検出器を構成している。
弱判別器は、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量で構成されている。一方、カスケード型の検出器は、まず前段の単純な判別器を使って明らかに被写体でないパターンの候補をその場で除去した上で、それ以外の候補に対してのみ、より高い識別性能を持つ後段の複雑な判別器を使って人体か否かの判別を行う。

上記の手法を適用することにより、動画像（映像）から人体領域を検出することができる。
また、人体検出部３０１が人体検出処理を実行する対象となる画像中の領域は、必ずしもカメラ２０ａ、２０ｂまたはネットワークストレージ５０から送信される画像全体でなくてもよい。例えば、人体検出処理を、予め所定の値のパラメータにより設定された人体検出処理領域に対してのみ実行してもよい。あるいは、パラメータ設定により、検出対象とする人体の最大サイズと最小サイズとを指定し、この範囲から外れた領域に対しては人体検出処理を実行しないようにしてもよい。このように、人体検出処理や領域の一部を省略することで人体検出処理を高速化することができる。
上記のパラメータ設定は、人体検出部３０１に対して処理パラメータの設定を行うことにより実現でき、この処理パラメータは、例えば、画像処理サーバ３０または検索端末装置６０のユーザインタフェースを介して設定することができる。

また、人体検出部３０１が被写体の全身領域を取得する手法は、必ずしも上記のように最初から全身領域を取得する手法でなくてもよい。例えば、人体検出部３０１は、まず頭部検出や上半身検出、顔検出等を利用して求めた位置から全身領域を推測することで、全身の領域情報を取得してもよい。
例えば、顔検出処理では、画像から目、口等のエッジを検出することで、人体の顔の特徴部分を検出する。すなわち、顔検出処理では、顔位置や顔の大きさ、顔の確からしさ等から顔領域を検出する。
例えば、上半身検出で検出した上半身領域の縦方向の長さを単純に所定倍画面下方に延長することで、全身領域を推定し取得するようにしてもよい。この所定倍は固定値であってもよいし、カメラの設置条件等によって可変に設定してもよい。
なお、撮像画像内に人体が多数存在するような混雑画像では、人体同士の重なりがあることが多い。この場合、混雑状況下であっても隠れの起きにくく検出漏れの発生しにくい頭部検出や上半身検出等が好適である。

図５のＳ５３で、Ｓ５２の人体検出処理で、取得された画像から人体を検出できたか否かを判断する。Ｓ５２で人体が検出できていれば（Ｓ５３：Ｙ）Ｓ５４へ進む。一方、Ｓ５２で人体が検出できていなければ（Ｓ５３：Ｎ）Ｓ５６へ進む。
取得された画像から人体が検出できた場合、Ｓ５４で、画像解析サーバ３０の特徴量抽出部３０２は、Ｓ５２で検出された人体画像から、人体の特徴量を抽出する。ここで抽出されるべき特徴量は、例えば、顔を構成する目・鼻・頬・口・眉の器官特徴点の位置、器官特徴点近傍の輝度、器官特徴点の位置関係、服の平均色・平均輝度・最頻輝度・テクスチャ、体形、歩容などから構成されてよい。

Ｓ５４で画像から検出された全ての人体に対して特徴量を抽出した後、Ｓ５５で、画像解析サーバ３０の人物情報送信部３０３は、Ｓ５４で抽出された人体の特徴量から、人物情報を生成して、生成された人物情報を通信部３０４を介して人物検索サーバ４０へ送信する。Ｓ５５で生成され人物検索サーバ４０へ送信される人物情報は、図４に示すように
、人体の特徴量、人物画像（サムネイル）、人物の属性情報等の人物に関する情報と、当該画像を撮像したカメラＩＤ等の付属情報とを含む。人物検索サーバ４０は、画像解析サーバ３０から送信される人物情報を受信し、受信された人物情報は、人物検索サーバ４０の人物情報管理部４０１により登録、管理される。

Ｓ５６で、画像解析サーバ３０は、図５の人物情報登録処理を継続するか否かを判定する。例えば、処理の終了指示をユーザから受け付けたか否かに応じて処理を継続するか否かを判定してよい。画像解析サーバ３０は、処理を終了すると判定すると（Ｓ５６：Ｙ）本処理を終了し、一方、処理を継続すると判定すると（Ｓ５７：Ｎ）Ｓ５１に戻って処理を継続する。以上で図５の人物情報登録処理の各処理が終了する。

＜本実施形態の人物検索処理フロー＞
図６は、人物検索サーバ４０が実行する人物検索処理の処理手順を示すフローチャートである。図６に示す処理は、例えば、人物検索サーバ４０の通信機能が起動され、検索端末装置６０から人物検索要求を受信したことを契機に開始されてよい。ただし、図６に示す処理の開始タイミングは上記に限定されない。
Ｓ６１で、検索対象となる人物画像を選択する。具体的には、ネットワークストレージ５０に記録されている人物画像を検索端末装置６０の表示装置に表示し、検索対象選択部６０２のユーザインタフェース上で表示された人物画像から、ユーザが、検索対象の人物画像を選択する。人物検索サーバ４０は、検索端末装置６０から選択された画像を受信してＳ６２に進む。

Ｓ６２で、人物検索サーバ４０の検索対象特徴量抽出部４０２は、Ｓ６１で取得された画像に対して、まず人体検出処理を実行する。
Ｓ６３で画像から人体が検出された場合（Ｓ６３：Ｙ）、検索対象特徴量抽出部４０２は、Ｓ６４に進んで、Ｓ６２で検出された検索対象の人体の特徴量を抽出する。一方、Ｓ６３で画像から人体が検出されない場合（Ｓ６３：Ｎ）、Ｓ６７に進む。

上記では、人体検出処理及び特徴量抽出処理を人物検索サーバ４０で実行する例を説明したが、本実施形態はこれに限定されない。例えば、画像解析サーバ３０が有する人体検出機能や特徴量抽出機能を、検索端末装置６０または人物検索サーバ４０から利用可能にしておき、Ｓ６２およびＳ６４で、人物検索サーバ４０から画像解析サーバ３０のこれらの機能を呼び出してもよい。ここでは、人体検出や特徴量抽出処理が可能な任意の装置の機能を呼び出せれば足り、画像解析サーバ３０内のこれらの機能以外の装置で実行されてもよい。
あるいは、Ｓ６１で検索端末装置６０で選択された画像が、既に画像解析サーバ３０により人体が検出され特徴量が抽出された画像であれば、人物情報管理部４０１が、検索対象の人物の特徴量を登録された当該人物の人物情報から取得すればよい。この場合、Ｓ６２からＳ６４は不要であるため省略することが可能である。
Ｓ６５で、検索部４０３は、Ｓ６４で抽出ないし取得された検索対象の人物の特徴量を用いて、人物検索処理を実行する。

具体的には、検索部４０３は、Ｓ６４で抽出された検索対象の人物の特徴量と、人物情報に登録済みの特徴量との照合を行い、両者の類似度を算出し、算出された類似度が所定の閾値以上である人物の登録された人物情報を、人物検索の結果として返す。
Ｓ６６で、調整部４０５は、Ｓ６５で得られた人物検索の結果の出力（表示）の閾値を調整する。
監視エリアに設置された複数のカメラ２０ａ、２０ｂは、画角等の設置条件、照明条件やカメラの性能等の撮像条件がカメラ間で相違するため、他のカメラより類似度が低く出やすいカメラが存在する。
このため、Ｓ６５で人物検索の結果を得た段階で、複数のカメラ２０ａ、２０ｂで撮像された画像からの人物検索結果をそのまま一覧表示しようとすると、類似度が相対的に低く出やすいカメラ２０ａ、２０ｂの結果は一覧表示から抜け落ちてしまう。すなわち、類似度が相対的に低いカメラ２０ａ、２０ｂの撮像した画像が検索対象の人物と同一の人物を含んでいたとしても、一覧表示から漏れているため見逃しが発生してしまう。これに対して、本実施形態では、Ｓ６６で、人物検索の結果を出力する前に、カメラ間で算出される類似度の差を調整することで、検索対象の人物の検索結果の表示における偏りを低減する。この検出結果の調整処理の詳細は、図７を参照して後述する。

Ｓ６７で、人物検索サーバ４０の検索部４０３は、Ｓ６６で得られたカメラ間で調整済みの類似度の閾値を基準として、検索結果を、例えば類似度順や撮像時刻順などで整列し、一覧表示を行う。検索部４０３はまた、設定された所定の類似度の閾値を基準として、閾値以上の類似度が算出された検索結果のみを表示するよう制御する。この類似度の閾値は、基本的にシステムに予め設定されるてもよいが、ユーザが任意の値に変更することが可能である。
また、類似度の閾値は、後述する調整処理の実行後、カメラごとに設定された閾値を基準に表示するようにしてもよく、表示画面上でカメラごとに変更可能としてもよい。
以上により図７のフローチャートの各処理が終了する。

＜カメラ間調整処理詳細＞
図７は、人物検索サーバ４０が実行するカメラ間での検索結果の調整処理手順を示すフローチャートである。
Ｓ６６１で、人物検索サーバ４０の調整部４０５は、人物情報管理部４０１が管理する図４に示す人物情報から、類似度の調整に用いる特定対象の人物情報をカメラ２０ａ、２０ｂごとに抽出する。この特定対象として、例えばＳ６１で選択された検索対象の人物の特徴量と類似度の相対的に高い人物情報を、人物情報管理部４０１が管理する人物情報から抽出することができる。
図８は、Ｓ６６１で実行される人物情報の抽出の結果得られるテーブルの一例を示す。図８のテーブルは、被写体ＩＤ８１、カメラＩＤ８２、および当該カメラについて算出された、Ｓ６６１で設定された特定対象と当該被写体との間の類似度の組を含む。図８に示される類似度は、０から１０００までを取り得る値であり、数字が大きいほど類似していることを示す。複数のカメラ２０ａ、２０ｂのそれぞれについて、Ｓ６６１の処理を実行する。

Ｓ６６２で、調整部４０５は、Ｓ６６１で得られる抽出結果を用いて、カメラごとに類似度の平均値を算出する。この平均値は、例えば図８の抽出結果のうち、上位１０位以内を用いて算出することができる。あるいは、平均値の算出に用いる抽出結果数を類似度の上位１０位以内とするのではなく、例えば１位の類似度のみを用いてもよい。また、平均値の算出に対象を、各カメラの特定対象の抽出結果数の上位１割を用いる等、特定対象の抽出結果数に応じて可変にしてもよい。このように、各カメラからの抽出数または抽出割合が均等になるよう、類似度の算出に用いる抽出結果数が決定されてよい。あるいは、Ｓ６６１で得られる抽出結果をすべて用いて、カメラごとに類似度の平均値が算出されてもよい。

Ｓ６６３で、人物検索サーバ４０のカメラ識別部４０４は、複数のカメラのうち、類似度の平均値が他のカメラより相対的に低い１つまたは複数のカメラを識別する。具体的には、カメラ識別部４０５は、Ｓ６６２で算出されたカメラごとの類似度の平均値が、全カメラの類似度の平均値から所定値以上低いか否かを判定することにより、類似度が低く出力されるカメラを特定する。全カメラの類似度の平均値は、Ｓ６６２の処理をすべてのカメラに対して実行することで算出することができる。あるいは、Ｓ６６３で、１つのカメ
ラの類似度の平均値と、他のすべてのカメラの類似度の平均値とが比較されてもよい。

Ｓ６６４で、調整部４０５は、Ｓ６６３で識別されたカメラについての類似度の出力値に対して付加すべき類似度の調整値（上乗せ値）を決定する。Ｓ６６４で決定される類似度の調整値は、例えば、Ｓ６６３で特定されたカメラの類似度の出力値と、全カメラの類似度の平均値との差が、平均値から所定範囲内に収まる値にするよう決定することができる。決定された類似度の調整値を、Ｓ６６３で識別されたカメラの類似度の平均値に上乗せ補正することで、当該カメラの検索結果が全く表示されなくなることを低減することができる。
あるいは、本実施形態では、Ｓ６７で人物検索の結果を表示すべきか否かを決定する閾値である類似度の閾値を、カメラ２０ａ、２０ｂごと個別に設定することができる。検索部４０３は、このようにカメラごとに個別に設定された類似度の閾値を、人物検索の結果得られる類似度と比較し、類似度の閾値を超えた人物検索の結果のみを表示装置に表示するよう表示制御してよい。この場合、類似度が低く出力されるカメラ２０ａ、２０ｂについて、表示の際に類似度の閾値を下げることにより、当該カメラの検索結果が全く表示されなくなることを低減することができる。この場合の類似度の閾値の下げ幅は、例えば、Ｓ６６３で識別されたカメラの類似度の出力値の平均値と、全カメラの類似度平均値との差が所定範囲内に収まる程度に設定すればよい。

なお、上記では、類似度の平均値の算出および調整値の算出は、単一人物を特定対象として指定して実行する例を説明したが、Ｓ６６１で複数の人物を特定対象として指定してもよい。
このように複数人物を特定対象とした場合は、Ｓ６６２で、調整部４０５は、特定対象として指定された人物ごとに類似度の平均値を算出し、さらに複数人の類似度の平均値から当該カメラの類似度の平均値を算出すればよい。またＳ６６３で、全カメラと各カメラとの間で類似度の平均値を比較して、カメラ識別部４０４は、単一人物の場合と同様に処理を実行すればよい。

なお、Ｓ６６１では、属性が相違する複数の人物を特定対象として指定することが好ましい。設置されたカメラの撮像条件によって検出され難くなる人物の属性が、複数のカメラ間で異なることが想定され得るからである。具体的には、例えばあるカメラでは暗い色調の服装の人物の特徴量が得にくかったり、他のカメラでは高い位置に取り付けられているため背の低い人物の特徴量取得がうまく取得できなかったりする等の偏りが属性ごとに異なり得るからである。この場合、カメラごとにどの属性（顔、全身、服装色等）が当該カメラで取得され難いかを判断し、ユーザに通知してもよい。
このように属性が相違する複数の人物を特定対象として指定すれば、人物を検索しにくいカメラでの検索結果が、複数カメラについての検索結果の一覧表示に全く表示されなくなることを低減することが可能となる。
以上により図７のフローチャートの各処理が終了する。

上記では、Ｓ６６３でカメラごとの類似度の平均値を利用する例を説明したが、本実施形態はこれに限定されない。例えば、平均値に替えて、カメラごとの類似度の最大となる最大値を利用してもよく、カメラごとの類似度の平均偏差や標準偏差が所定値以上か否かにより調整すべきカメラおよびその調整値を決定してもよい。
また、上記では、Ｓ６６３で識別されたカメラに対してＳ６６４で調整値を類似度に上乗せし、調整値が上乗せされた類似度を表示する例を説明したが、本実施形態はこれに限定されない。例えば、調整値を自動的に付加せずに、Ｓ６６３で識別されたカメラを検索結果の出にくいカメラとして、検索端末装置６０上の表示装置に表示することで、ユーザに通知してもよい。
さらに、どの程度検索結果が出にくいカメラかも表示装置に表示するとともに、ユーザ
に、その程度に応じて、検索結果の調整済みのデータの表示非表示を選択させてもよい。あるいは、Ｓ６６３で識別されたカメラの検出結果は、ユーザへの注意喚起のため、その類似度が低くても表示時に優先的に、他の検出結果と区別可能に、例えば別枠で、検索結果として表示するようにしてもよい。

また、上記では、調整部４０５が実行する調整処理を、ユーザの人物検索要求をトリガとする人物検索処理に連動するフローとして説明したが、本実施形態はこれに限定されず、例えば、調整処理を予め人物検索処理とは独立して実行してもよい。
この場合、ユーザが人物検索要求を発行する前にある程度人物情報が蓄積された状態で、人物情報管理部４０１が管理する人物情報から任意に選択される被写体の画像をＳ６６１の特定対象として設定して、調整処理を複数回実行すればよい。このように、人物検索処理に先立って、事前に類似度が低く出やすいカメラを識別することができる。

あるいは、Ｓ６６１の特定対象として、同一人物であると同定された人物情報のみを特定対象に設定し、Ｓ６６２でカメラごとの類似度を集計してもよい。この場合、特定対象の人物と、当該特定対象とＳ６６２で比較される人物とは同一人物であることが保証されている。このため、特定対象を対象とした類似度の平均が、カメラ間で均一になるように、すなわち複数のカメラ間で類似度が所定の範囲内となるように、Ｓ６６４で複数のカメラそれぞれの類似度の出力値を調整すればよい。これにより、特定対象が撮像および特徴量検出された全カメラの類似度の出力値の偏りを平坦化することが可能となる。
上記のように、人物情報管理部４０１の管理する人物情報から、同一人物であることが保証された特定の人物の人物情報のみを取得するためには、例えば、検索端末装置６０において、複数の同一人物と思われる候補画像を表示装置の画面上に提示すればよい。このように、ユーザが、提示された候補画像から同一人物を選択できるユーザインタフェースを備えることにより、特定対象に設定される人物が同一人物であることが保証される。

さらに、人物検索システムにおいて、カメラ間調整モードとして、同一人物であることを保証するために複数のカメラ間で同一人物のみが順次移動し撮像されるモードを設け、このカメラ間調整モード中に記録された人物情報を特定対象に設定してもよい。このように、人物情報管理部４０１が管理する複数の人物の人物情報のうち、特定対象の人物と同一人物の人物情報を抽出できるのであれば、上記の方法に限らず、他の方法を用いても構わない。例えば、既に登録済の同一の通過人物の人物画像をユーザに手動で選択させてもよい。あるいは、複数カメラ間で人物を追跡する追跡部を設け、この追跡部で同定された人物を特定対象に設定してもよい。

＜検索対象入力および人物検索結果出力のＧＵＩ例＞
図９から図１３を参照して、本実施形態において検索端末装置６０が提供するＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の一例を詳細に説明する。
図９は、本実施形態における検索結果のカメラ間調整処理（図７）を実行する前の、人物検索の検索結果表示例を示す。
図９において、検索対象の画像を設定する検索画像設定領域９１は、検索対象として現在設定されている検索対象の人物画像を確認させる検索画像確認領域９１１、画像選択ボタン９１２、および検索開始ボタン９１３を含む。

人物検索の検索結果を表示する検索結果表示領域９２は、検索結果である複数の人物画像９２１および人物画像に対応する複数の人物の詳細情報９２２を一覧表示可能な領域を含む。
検索結果表示領域９２には、信頼度閾値調整スライダ９３、カメラ間調整スイッチ９４、表示順指定欄９５、およびスクロールバー９６が設けられている。信頼度閾値調整スライダ９３は、人物検索の検索結果から検索結果表示領域９２に表示すべき人物をフィルタするための信頼度を可変に調整するスライダである。図９において、信頼度は、検索結果表示領域９２に表示される人物が、検索対象として設定された人物と同一人物であることの確からしさを示す指標である。検索結果表示領域９２の人物の詳細情報９２２に表示すべき信頼度の値は、人物検索サーバ４０により算出される類似度の値に連動し、またはこれを用いることができる。
カメラ間調整スイッチ９４は、人物検索サーバ４０の調整部４０５に、カメラ間調整処理の起動を手動で指示するスイッチである。

ユーザが人物検索を起動する際、まず検索画像設定領域９１で検索対象者の画像の指定を行う。画像選択ボタン９１２を押下すると、検索対象の画像を選択する別画面を表示することができ、ユーザは、この検索対象画像の選択画面で検索対象の任意の画像を指定する。ここで指定される画像は、例えば、過去の人物検索結果画像の一覧から選択させてもよいし、人物情報が登録されている任意の人物の画像を指定させるようにしてもよい。
ユーザはさらに、検索条件として、検索画像設定領域内で検索時刻の範囲等を入力することも可能である。必要な検索条件が入力された後、ユーザは、検索実行ボタン９１３を押下して人物検索の開始を人物検索サーバ４０に指示する。

人物検索サーバ４０において、図６に示す一連の人物検索処理が実行されると、検索結果表示領域９２は、ユーザが指定した検索条件に合致する候補の人物画像９２１と当該人物の詳細情報９２２の一覧を表示する。検索結果表示領域９２に人物画像９２１とともに表示すべき詳細情報９２２は、当該人物の人物情報の全部または一部から取得することができ、さらに当該人物について算出された類似度から得られる信頼度を含んでよい。図９では、表示順指定欄９５には、信頼度順と表示されており、検索結果表示領域９２に検索結果が信頼度の降順に表示されていることを示している。降順と昇順は切替可能であってよい。
図９は、信頼度の閾値を５００と設定した例を示し、検索結果表示領域９２には、検索結果から信頼度（類似度）５００以上と算出された検索結果の人物のみが表示されているものとする。
カメラ間調整スイッチ９４をオンすることにより、カメラ間調整済みの検索結果を表示するか、調整しない検索結果を表示するかの切り替えを人物検索サーバ４０へ指示することができる。

図１０は、図９でカメラ間調整スイッチ９４をオンしカメラ間調整処理が実行された後の表示例を示す。
図９と比較して、図１０には、カメラ間調整スイッチをオンにしたことにより、検索結果表示領域９２に新たな人物画像９２３および対応する詳細情報９２４が表示されている。詳細情報９２４の領域には、信頼度が「４００＋」と表示されている。
本来であれば、人物画像９２３につき得られる信頼度（類似度）４００は、信頼度の閾値５００を下回るため、カメラ「Ｃａｍ３」で撮像された人物画像９２３および対応する詳細情報９２４は表示されないはずである。しかしながら、カメラ間調整スイッチ９４を操作することにより、設定された信頼度の閾値５００を下回るにもかかわらず、カメラ「Ｃａｍ３」で撮像された人物画像９２３および対応する詳細情報９２４が新たに候補の人物画像として表示されるようになる。詳細情報９２４において、信頼度に例えば「＋」を付加することにより、表示されている人物画像９２３がカメラ間調整処理を実行した結果新たに表示されていることをユーザに視認させることができる。

図１０では、さらに、カメラ間調整処理を実行した結果、新たに表示される人物画像９２３の画像表示枠や詳細情報９２４の表示枠が、例えば点線で囲むように表示することで、他の検索結果と区別して視認可能に表示されている。なお、表示枠を点線で囲む表示は一例であって、他の検索結果と区別して視認可能であれば、ブリンク表示等いかなる表示であってもよい。
同様に、信頼度閾値調整スライダ９３を操作することにより、手動で信頼度（類似度）閾値が変更された結果、連動して新たに表示される人物画像や人物情報も、他の検索結果と区別して視認可能に表示されてよい。例えば、当初表示された検索結果の人物画像数が少ない等の場合、より多くの人物検索の検索結果を表示させるため、信頼度閾値調整スライダ９３を移動させて信頼度閾値を下方に修正することができる。

図１１は、表示順指定欄９５で検索結果表示順をカメラ順に変更した場合の表示例を示す。
表示順指定欄９５では、検索結果の表示順を、例えば信頼度順、カメラ順、時刻順のいずれかから選択できる。図１１の検索結果表示領域９２には、カメラごとに、検索結果の人物画像９２３、９２５、および９２７と、当該人物の信頼度を含む詳細情報９２４、９２６、および９２８とがソートされて表示されている。図１１では、検索結果表示領域９２中、カメラ「Ｃａｍ３」の検索結果の表示領域に「カメラ間調整済」と注記することで、カメラ「Ｃａｍ３」の検索結果は、カメラ間調整処理が実行された結果表示されたことが視認可能に示されている。

上記では、図６および図７を参照して、カメラ間調整処理が自動的に起動および実行される例を説明したが、本実施形態はこれに限定されない。例えば、ユーザが複数のカメラ２０ａ、２０ｂのそれぞれに対して、個別に類似度の閾値を調整することも可能である。
図１２および図１３は、このようなカメラごとに類似度（信頼度）閾値を設定させるユーザインタフェースの一例を示す。図１２および図１３に示すユーザインタフェースを介して、図７のＳ６１１で指定される特定対象１２１１と、各カメラの撮像画像から候補として選択される選択画像１２２１とが、予め同一人物であることをユーザに確認させることにより保証することができる。また、カメラごとに個別に類似度の閾値を調整することができる。

図１２の調整用人物画像指定領域１２１は、類似度の閾値をカメラ間で調整するために使用される人物画像を特定対象として指定する領域である。画像選択ボタン１２１２を押下することにより、図９の検索画像指定と同様の方法で特定対象となる人物画像を選択し、検索実行ボタン１２１３を押下することにより、人物検索の実行を人物検索サーバ４０に指示する。
この調整用人物画像指定領域１２１で選択される人物は、調整対象となる複数のカメラ２０ａ、２０ｂの全てにより撮像されていることが望ましい。このためには上記したように、カメラ間調整モードを設け、同一人物であることを保証するために複数のカメラに亘り同一人物のみが順次移動し撮像されるようにすればよい。カメラ間調整モード中に記録された人物情報を、特定対象の画像に自動的に設定するようにしてもよい。

人物検索が実行されると、検索結果表示領域として機能する類似度閾値設定領域１２２には、選択画像１２２１として、当該カメラにおいて最も検索対象画像１２１１に類似することを示す高い類似度が算出された人物画像が表示される。この選択画像１２１１は、複数のカメラ２０ａ、２０ｂのそれぞれについて表示される。選択画像１２２１に表示される人物画像が、調整用の検索対象画像１２１１で指定された人物とは異なる場合、ユーザは、変更ボタン１２２２を押下する。変更ボタン１２２２を押下することにより、当該カメラで過去に撮像された人物画像を一覧表示し、一覧表示された複数の人物画像から、調整用の検索対象画像として指定された人物と同一人物の画像を当該カメラの選択画像１２２１に指定することができる。

図１２では、カメラ「Ｃａｍ３」の選択画像１２２３について算出された類似度１２２４は「４００」と表示されている。この類似度「４００」は、設定された類似度の閾値「５００」を下回っており、従って、カメラ「Ｃａｍ３」で撮像された人物は類似度が、他のカメラで撮像された人物より低く算出されやすいことが示されている。
このようにカメラ「Ｃａｍ３」で撮像された人物画像もより多く検索結果として表示させるため、ユーザは、例えば、カメラ「Ｃａｍ３」に対する類似度閾値１２２５をデフォルトの「５００」から「３００」へ変更することができる。あるいは、自動設定ボタン１２３を押下することで、図７に示すカメラ間調整処理を実行させ、各カメラについて決定された調整値を適用して、自動的に各カメラに設定すべき類似度の閾値を調整してもよい。

上記のように、カメラ「Ｃａｍ３」の類似度閾値１２２５を「５００」から「３００」へ２００下げる変更を行うと、その後の検索結果表示領域９２において、変更された類似度閾値１２２５以上の類似度（信頼度）が算出された人物画像が新たに表示される。具体的には、図１０に示すように、人物の検索結果表示領域９２において、カメラ「Ｃａｍ３」について表示される信頼度が調整差分値である２００を上乗せした値（６００）として算出されることにより、検索結果全体の表示順が変更される。すなわち、各カメラの設定閾値と当該カメラの調整後の類似度との差分が大きい順に、検索結果の表示順が変更される。
これにより、カメラ間の人物検索結果の偏りを調整することができる。

図１３は、図１２でスクロールバー１２４を下方に移動操作することにより、図１２とは異なるカメラのための類似度の閾値の設定のを表示例である。
図１３では、カメラ名「Ｃａｍ６」の選択画像１２２６は、該当する検索結果が得られなかったため画像が表示されていないことを示している。この場合、ユーザは、変更ボタン１２２２を押下することにより、図１２の選択画像変更操作と同様に、調整用の特定対象の人物と同一人物を選択することができる。
あるいは、カメラ「Ｃａｍ６」では特定対象の人物がそもそも撮像されてなかった場合や、特定対象の人物画像が検索できなかった場合にも、図１３の選択画像１２２６の状態となる。ただしこの場合は、選択画像１２２６の画像選択や類似度の閾値の変更操作は実行しなくてもよい。

以上説明したように、本実施形態によれば、複数の撮像装置により撮像された画像を画像解析し、画像解析処理結果から検索対象の画像検索結果を出力する際に、検索対象と登録画像との類似度が他の撮像装置より低く算出される撮像装置を識別する。そして、本実施形態においては、識別された撮像装置に対して算出されるべき類似度を、当該撮像装置により撮像された画像が出力される画像検索結果に含まれるよう調整することができる。また類似度が低く算出されると識別された撮像装置や当該撮像装置により撮像された画像の検索結果を、他の撮像装置やその画像検索結果から識別可能に通知することができる。
これにより、複数の撮像装置間で、撮像条件等に起因する、出力されるべき画像検索結果の偏りが調整されるため、検索対象と同一人物の検索結果の出力漏れが低減され、画像検索の精度向上が実現される。

＜他の実施形態＞
なお、上述した各実施形態は、その複数を組み合わせて実現することが可能である。
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムによっても実現可能である。すなわち、そのプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ（またはＣＰＵやＭＰＵ等）における１つ以上のプロセッサーがプログラムを読出し実行する処理により実現可能である。また、そのプログラムをコンピュータ可読な記録媒体に記録して提供してもよい。
また、上述した各実施形態を、複数の機器、例えば、ホストコンピュータ、インタフェース機器、撮像装置、ウェブアプリケーション等から構成されるシステムに適用してもよく、１つの機器からなる装置に適用してもよい。
また、コンピュータが読みだしたプログラムを実行することにより、実施形態の機能が実現されるものに限定されない。例えば、プログラムの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって上記した実施形態の機能が実現されてもよい。

１０…ネットワークカメラシステム、２０ａ、２０ｂ…ネットワークカメラ、３０…画像解析サーバ、４０…人物検索サーバ、５０…ネットワークストレージ、６０…検索端末装置、７０…システムバス、２０１…画像取得部、２０２…符号化部、２０３、３０４、４０６、５０２、６０３…通信部、人体検出部…３０１、特徴量抽出部…３０２、人物情報送信部…３０３、人物情報管理部…４０１、検索対象特徴量抽出部…４０２、検索部…４０３、カメラ識別部…４０４、調整部…４０５、記録部…５０１、表示部…６０１、検索対象選択部…６０２

Claims (9)

1. 複数の撮像手段により撮像された画像から検索対象のオブジェクトに類似する画像を検索結果として出力する監視システムにおける検索結果の処理装置であって、
   前記複数の撮像手段によって撮像された画像から検索されるオブジェクトの類似度の履歴に基づいて、前記複数の撮像手段のうち、調整すべき撮像手段を特定する特定手段と、
   検索対象のオブジェクトに対する、前記複数の撮像手段によって撮像された画像の類似度を算出する算出手段によって算出された類似度のうち、前記特定された撮像手段によって撮像された画像の類似度に対して調整値を加算する加算手段と、
   前記加算手段において調整値が加算された類似度を有する画像、および、前記特定手段において特定された撮像手段とは異なる撮像手段によって撮像された画像のうち、類似度が高い順に画像を出力する処理を行う処理手段と、を備え,
   前記特定手段は、前記複数の撮像手段によって撮像された画像の類似度の平均値に対して所定値以上低い撮像手段を調整すべき撮像手段として特定する
   ことを特徴とする処理装置。
2. 複数の撮像手段により撮像された画像から検索対象のオブジェクトに類似する画像を検索結果として出力する監視システムにおける検索結果の処理装置であって、
   前記複数の撮像手段によって撮像された画像から検索されるオブジェクトの類似度の履歴に基づいて、前記複数の撮像手段のうち、調整すべき撮像手段を特定する特定手段と、
   検索対象のオブジェクトに対する、前記複数の撮像手段によって撮像された画像の類似度を算出する算出手段によって算出された類似度のうち、前記特定された撮像手段によって撮像された画像の類似度に対して調整値を加算する加算手段と、
   前記加算手段において調整値が加算された類似度を有する画像、および、前記特定手段において特定された撮像手段とは異なる撮像手段によって撮像された画像のうち、類似度が高い順に画像を出力する処理を行う処理手段と、を備え,
   前記特定手段は、前記複数の撮像手段によって撮像された画像の類似度の最大値に対して所定値以上低い撮像手段を調整すべき撮像手段として特定する
   ことを特徴とする処理装置。
3. 前記所定値はユーザの操作に従って設定される
   ことを特徴とする請求項１または２に記載の処理装置。
4. 複数の撮像手段により撮像された画像から検索対象のオブジェクトに類似する画像を検索結果として出力する監視システムにおける検索結果の処理装置であって、
   前記複数の撮像手段によって撮像された画像から検索されるオブジェクトの類似度の履歴に基づいて、前記複数の撮像手段のうち、調整すべき撮像手段を特定する特定手段と、
   検索対象のオブジェクトに対する、前記複数の撮像手段によって撮像された画像の類似度を算出する算出手段によって算出された類似度のうち、前記特定された撮像手段によって撮像された画像の類似度に対して調整値を加算する加算手段と、
   前記加算手段において調整値が加算された類似度を有する画像、および、前記特定手段において特定された撮像手段とは異なる撮像手段によって撮像された画像のうち、類似度が高い順に画像を出力する処理を行う処理手段と、を備え,
   前記処理手段は、前記調整すべき撮像手段として特定された撮像手段からの画像が他の撮像手段の画像と識別可能に表示されるよう画像を出力する
   ことを特徴とする処理装置。
5. 複数の撮像手段により撮像された画像から検索対象のオブジェクトに類似する画像を検索結果として表示する監視システムにおける検索結果の表示処理方法であって、
   複数の撮像手段によって撮像された画像から検索されるオブジェクトの類似度の履歴に基づいて、前記複数の撮像手段のうち、調整すべき撮像手段を特定する特定ステップと、
   検索対象のオブジェクトに対する、複数の撮像手段によって撮像された画像の類似度を算出する算出ステップにおいて算出された類似度のうち、前記特定された撮像手段によって撮像された画像の類似度に対して調整値を加算する加算ステップと、
   前記加算ステップにおいて調整値が加算された類似度を有する画像、および、前記特定ステップにおいて特定された撮像手段とは異なる撮像手段によって撮像された画像のうち、類似度が高い順に画像を表示する処理を行う表示処理ステップと、を含み、
   前記特定ステップにおいて、前記複数の撮像手段によって撮像された画像の類似度の平均値に対して所定値以上低い撮像手段が調整すべき撮像手段として特定されること
   を特徴とする表示処理方法。
6. 複数の撮像手段により撮像された画像から検索対象のオブジェクトに類似する画像を検索結果として表示する監視システムにおける検索結果の表示処理方法であって、
   複数の撮像手段によって撮像された画像から検索されるオブジェクトの類似度の履歴に基づいて、前記複数の撮像手段のうち、調整すべき撮像手段を特定する特定ステップと、
   検索対象のオブジェクトに対する、複数の撮像手段によって撮像された画像の類似度を算出する算出ステップにおいて算出された類似度のうち、前記特定された撮像手段によって撮像された画像の類似度に対して調整値を加算する加算ステップと、
   前記加算ステップにおいて調整値が加算された類似度を有する画像、および、前記特定ステップにおいて特定された撮像手段とは異なる撮像手段によって撮像された画像のうち、類似度が高い順に画像を表示する処理を行う表示処理ステップと、を含み、
   前記特定ステップにおいて、前記複数の撮像手段によって撮像された画像の類似度の最大値に対して所定値以上低い撮像手段を調整すべき撮像手段として特定すること
   を特徴とする表示処理方法。
7. 前記所定値はユーザの操作に従って設定されることを特徴とする請求項５または６に記載の表示処理方法。
8. 複数の撮像手段により撮像された画像から検索対象のオブジェクトに類似する画像を検索結果として表示する監視システムにおける検索結果の表示処理方法であって、
   複数の撮像手段によって撮像された画像から検索されるオブジェクトの類似度の履歴に基づいて、前記複数の撮像手段のうち、調整すべき撮像手段を特定する特定ステップと、
   検索対象のオブジェクトに対する、複数の撮像手段によって撮像された画像の類似度を算出する算出ステップにおいて算出された類似度のうち、前記特定された撮像手段によって撮像された画像の類似度に対して調整値を加算する加算ステップと、
   前記加算ステップにおいて調整値が加算された類似度を有する画像、および、前記特定ステップにおいて特定された撮像手段とは異なる撮像手段によって撮像された画像のうち、類似度が高い順に画像を表示する処理を行う表示処理ステップと、を含み、
   前記表示処理ステップにおいて、前記調整すべき撮像手段として特定された撮像手段からの画像が他の撮像手段の画像と識別可能に表示されること
   を特徴とする表示処理方法。
9. コンピュータを、請求項１から４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
   

Images