JP5329130B2 - 検索結果表示方法 - Google Patents

Description

本発明は画像検索システムの検索結果表示方法に係り、特に類似画像の検索結果を表示する技術に関する。

今日の犯罪発生の増加に伴い、複数台の撮像装置による監視映像を長期にわたり、保存することが求められている。これまで、小型店舗等では単体の撮像装置による直近の監視映像だけの保存が一般的であったが、磁気記録装置の大容量化、撮像装置の普及に伴い、容易に長時間、多地点による監視が可能となった。映像の監視者の負担は、増加する一方で、監視者の負担軽減を目的に、録画した監視映像から特定の人物や特定のシーンを探し出すことが、画像の構図、色分布等を用いた類似画像検索技術により可能となってきている。このような監視映像を対象とした類似画像検索システムにおいて、検索結果の表示方法がさまざま提案されている。

図９に、従来の監視映像を対象とした類似画像検索システムの構成の一例を示す。ネットワーク２００は、各装置を相互に接続しデータ通信を行う専用線やイントラネット、インターネット、無線ＬＡＮ等の通信網である。撮像装置２０１は、撮像した映像に対してデジタル変換処理を行い、変換された映像データをネットワーク２００を介して録画装置２０２へ出力するネットワークカメラ等の装置である。録画装置２０２は、マイクロコンピュータなどを備え、ネットワーク２００を介して撮像装置２０１より入力された画像データを、ＨＤＤ（ハードデスク装置）等の記録媒体に記録するネットワークデジタルレコーダ等の装置である。監視端末２１０は、ネットワーク２００を介して録画装置２０２から取得した画像データを、液晶ディスプレイやＣＲＴ等のモニタに画面表示するＰＣ（パーソナルコンピュータ）等の装置である。監視端末２１０は、録画画像、検索結果画像、類似画像検索メニューなどを表示するモニタ、キーボードやマウス等のユーザ入力部などを備え、録画装置２０２に記録された映像の再生や、類似画像検索等のユーザインタフェースを提供する。

録画装置２０２は、ネットワーク送受信部２０３、映像記録部２０４、映像配信部２０５、画像特徴量記録部２０６、画像特徴量抽出部２０７、画像類似度判定部２０８の各機能部を備えている。

ネットワーク送受信部２０３は、ネットワーク２００で接続した装置とのデータの送受信を行う処理部である。ここで送受信するデータは、例えば、撮像装置２０１から送信された撮像画像、監視端末２１０からの映像再生要求や検索要求、監視端末２１０への配信画像や検索結果である。ここで撮像装置２０１からネットワーク２００を介してネットワーク送受信部２０３に受信された撮像画像は、ネットワーク送受信部２０３から映像記録部２０４と画像特徴量記録部２０６に出力される。また、監視端末２１０からネットワーク２００を介して受信された映像再生要求信号は映像配信部２０５に、検索要求信号は画像類似度判定部２０８にそれぞれ出力される。また、配信画像は映像配信部２０５から、検索結果は画像類似度判定部２０８からそれぞれネットワーク送受信部２０３に入力され、監視端末２１０へ送信される。

映像記録部２０４は、撮像装置２０１からネットワーク２００を介して入力された画像データを図示していないＨＤＤ等の記録媒体へ記録する処理部である。画像データを記録する際には、後で画像データを取り出すための情報、例えば、画像ＩＤを同時に記録する。また、画像が何時に撮像されたものであるか識別するための情報、例えば、画像時刻も同時に記録する。ここで画像ＩＤは、例えば、装置内でユニークであるように録画開始からフレーム単位で順に割り振ったフレーム番号である。また、画像時刻は、例えば、録画装置２０２に内蔵している時計機能部から出力される装置時刻や撮像装置２０１に内蔵している時計機能部から出力される装置時刻である。

映像配信部２０５は、映像記録部２０４や画像特徴量記録部２０６などの記録媒体に記録されている画像データの配信を行う処理部である。映像配信部２０５は、監視端末２１０からネットワーク２００を介して入力された映像再生要求信号に応じて配信画像を決定し、画像ＩＤや画像時刻を利用して記録媒体から画像データを読出し、ネットワーク送受信部２０３に入力する。

画像特徴量記録部２０６は、画像特徴量を記録媒体へ記録する処理部である。画像特徴量は、入力された画像データを画像特徴量抽出部２０７に出力することにより取得する。画像特徴量を記録する際には、入力された画像データに対応する画像ＩＤも同時に記録する。この記録により生成される画像ＩＤと画像特徴量で構成されるリストデータを画像特徴量リストデータと以降称する。

画像特徴量抽出部２０７は、ネットワーク送受信部２０３から入力された画像データの特徴量を画像認識技術を用いて算出する処理部である。ここで画像特徴量とは、例えば、画像の色分布やエッジパターンの構図分布やそれらの組合せ等が用いられる。

画像類似度判定部２０８は、画像検索を行い、検索結果を出力する処理部である。画像類似度判定部２０８は、類似度を判定するために検索される画像の雛形として指定された検索画像の画像特徴量と、映像記録部２０４の記録媒体に記録されている画像データの画像特徴量から類似度を算出し、算出された類似度の大小から検索結果を生成する。検索画像は、監視端末２１０からネットワーク２００を介して入力された検索要求信号の中に含まれており、この検索画像を画像特徴量抽出部２０７に出力することにより検索画像データの画像特徴量を取得する。記録媒体に記録されている画像データの画像特徴量は、画像データに対応する画像ＩＤを利用して画像特徴量記録部２０６に記録された画像特徴量リストデータから取得する。

類似度の算出方法については、以下の非特許文献１に挙げた（「大規模な画像集合のための表現モデル」 廣池敦 他 日本写真学会誌2003年66巻1号P93-P101）論文を参照することができる。

監視端末２１０は、ネットワーク送受信部２１１、検索要求部２１２、検索結果表示部２１３、映像再生部２１４の各機能部を備えている。

ネットワーク送受信部２１１は、ネットワーク２００で接続した録画装置２０２とのデータの送受信を行う処理部である。ここで送受信するデータは、例えば、録画装置２０２への映像再生要求信号や検索要求信号、録画装置２０２からの配信画像や検索結果である。ここで録画装置２０２から受信された配信画像は映像再生部２１４に、検索結果は検索結果表示部２１３にそれぞれ出力される。また、映像再生要求信号は映像再生部２１４から、検索要求信号は検索要求部２１２からネットワーク送受信部２１１にそれぞれ入力され、ネットワーク送受信部２１１からネットワーク２００を介して録画装置２０２に送信される。

検索要求部２１２は、監視端末２１０のモニタ上に表示される画面から与えられたユーザによる検索操作を検索要求信号に変換して出力する処理部である。

検索結果表示部２１３は、入力された録画装置２０２からの検索結果を監視端末２１０のモニタ上に表示される画面に描画する処理部である。

映像再生部２１４は、監視端末２１０のモニタ上に表示される画面から与えられたユーザによる再生操作を映像再生要求信号に変換して出力する処理部である。また、入力された録画装置２０２からの配信画像を監視端末２１０のモニタ上に表示される画面に描画する処理も行う。

図１０に、従来の監視端末２１０のモニタ上に表示される画面の一例を示す。

記録映像表示領域３００は、録画装置２０２に記録されている監視映像を再生表示する領域である。

映像再生操作領域３０１は、録画装置２０２に記録された映像を再生操作するボタンが表示された領域である。映像再生操作領域３０１を構成する各ボタンにはそれぞれ固有の再生種類が割り当てられている。図１０においては、例えば、左から巻戻し、逆再生、再生停止、順再生、早送りの再生種類が割当てられている。各ボタンを適宜押下することにより、再生映像表示領域３００上への動画表示が、ボタンに割当てられた再生種類に応じて切り替わる。

検索画像指定ボタン３０２は、記録映像表示領域３００で表示された画像を、類似度を判定するために検索される画像の雛形として検索画像に指定するボタンである。

検索画像表示領域３０３は、検索画像指定ボタン３０２で指定された検索画像を表示する領域である。

検索条件設定領域３０４は、検索の絞込みに関する条件を与えるボタンや入力欄から構成される領域である。検索条件設定領域３０４には、検索先頭時刻指定欄３０５、検索末尾時刻指定欄３０６、カメラ選択ボタン３０７の各入力欄が表示されている。

検索先頭時刻指定欄３０５は、検索絞込み条件のうち、検索範囲とする先頭時刻を指定する入力欄である。検索末尾時刻指定欄３０６は、検索絞込み条件のうち、検索範囲とする末尾時刻を指定する入力欄である。カメラ選択ボタン３０７は、検索絞込み条件のうち、撮像装置を指定するボタンである。

表示条件設定領域３０８は、検索結果の表示に関する条件を与えるボタンや入力欄から構成される領域である。表示条件設定領域３０８には、表示画像数指定欄３０９、表示順条件設定領域３１０の各入力欄が表示されている。

表示画像数指定欄３０９は、検索結果として検索結果表示領域３１６に表示する画像の数を指定する入力欄である。表示順条件設定領域３１０は、検索結果として検索結果表示領域３１６に表示する画像の表示順を設定する領域であり、時系列ボタン３１１、類似度順ボタン３１２から構成される。時系列ボタン３１１は、表示順を時系列とさせる場合に選択するボタンである。類似度順ボタン３１２は、表示順を類似度とさせる場合に選択するボタンである。３１１と３１２の選択は択一である。

検索実行ボタン３１３は、検索画像表示領域３０３に表示される画像を検索画像として、検索条件設定領域３０４で設定した検索条件、表示条件設定領域３０８で設定した表示条件にて、検索を実行するボタンである。

検索結果表示領域３１６は、検索結果を表示する領域であり、その表示内容は、縮小画像３１７、類似度表示３１８、時刻表示３１９にて構成される。これらは表示画像数指定欄３０９にて指定した個数分表示され、その表示順は表示順条件設定領域３１０にて指定した条件に従う。縮小画像３１７は、検索結果画像を縮小化し表示した画像である。類似度表示３１８は、縮小画像３１７が指し示す画像の検索画像に対する類似度を文字表示したものである。時刻表示３１９は、縮小画像３１７が指し示す画像の画像時刻を文字表示したものである。
特開２００３−１５６２６号公報 「大規模な画像集合のための表現モデル」 廣池敦 他 日本写真学会誌2003年66巻1号P93-P101

従来の類似画像検索システムにおいて、時系列順表示を実施した場合、表示された各々の画像の類似度については、画像近傍への文字表示にて実施されるのみであり、各々の画像の類似度の大小関係を視覚的に把握しにくいものであった。また同様に、類似度順表示を実施した場合、表示された各々の画像の時刻については、画像近傍への文字表示にて実施されるのみであり、各々の画像の時刻の前後関係を視覚的に把握しにくいものであった。本発明は、このような状況に鑑みてなされたものであり、上述の課題を解消することを目的とする。

本発明による画像検索システムの検索結果表示方法は、撮像装置と、前記撮像装置で撮像された画像を録画する録画装置と、監視端末を有し、特定の画像に対する類似画像を前記録画装置に記録された画像から検索し、検索された画像を前記監視端末に表示する画像検索システムの検索結果表示方法において、前記監視端末は、検索結果画像の表示順を撮影時刻とするか類似度とするかを定める表示順条件と前記検索された画像の表示強調種類を定める画像強調条件とを、ユーザによる操作によりそれぞれ設定できる表示順条件設定領域及び画像強調条件設定領域を表示し、前記検索された画像を表示するときは、前記表示順条件に基づき前記検索結果画像を検索結果表示領域に並べて表示し、更に画像強調条件として画像の回転が設定されているときは、前記撮影時刻及び類似度の内、前記表示順条件で用いられなかった方に基づいて、前記検索結果画像を回転させて画面表示することを特徴とする。
また、前記画像の回転は、画像の横方向をｘ軸、縦方向をｙ軸、奥行き方向をｚ軸とした座標系において、画像をｙ軸回りに回転したように見える変形であるようにしてもよい。
また、前記画像強調条件として、前記画像の回転に代えて画像に軸を付加し、前記撮影時刻及び類似度の内、前記表示順条件で用いられなかった方を、当該軸の目盛りで表すようにしてもよい。
また、前記画像の回転における回転角度は、撮影時刻または類似度が小さいほど左を向き、大きいほど右を向き、それらの中間において正面を向くように定められるようにしてもよい。

本発明によれば、時刻と類似度のような２元の情報について、その大小関係や前後関係を視覚的に同時に把握できる検索結果表示方法を提供することが可能となる。

以下、本発明を具体的な実施の形態によって例示する。

図１に、本発明における類似画像検索システムの構成の一例を示す。本図において、図９と同一の符号は、従来と同様の機能を提供する装置、処理部である。

録画装置４０２はマイクロコンピュータなどを備え、ネットワーク２００を介して撮像装置２０１より入力された画像データを、ＨＤＤ等の記録媒体に記録するネットワークデジタルレコーダ等の装置である。録画装置４０２は、従来例に示した各処理部に加え、新たに画像表示変位量算出部４０９を備えて構成される。

画像表示変位量算出部４０９は、入力された検索結果から画像表示変位量を算出する処理部である。画像表示変位量は、監視端末４１０内の検索結果表示部４１３上で検索結果を表示するために使用される情報である。画像表示変位量とその算出方法については後述する。

監視端末４１０は、ネットワーク２００を介して録画装置４０２から取得した画像データを、液晶ディスプレイやＣＲＴ等のモニタに画面表示するＰＣ等の装置である。監視端末４１０は、録画画像、検索結果画像、類似画像検索メニューなどを表示するモニタ、キーボードやマウス等のユーザ入力部などを備え、録画装置４０２に記録された映像の再生や、類似画像検索等のユーザインタフェースを提供する。

監視端末４１０は、従来のネットワーク送受信部２１１、検索要求部２１２、映像再生部２１４に加え、新たな処理を有した検索結果表示部４１３を備えて構成される。

検索結果表示部４１３は、入力された検索結果を監視端末のモニタ上に表示される画面に描画する処理部である。その際、画像表示変位量を用いた画面表示を行う。この画面表示方法については後述する。

図２に、本発明における監視端末に表示される画面の一例を示す。図２において、図１０と同一の符号は、従来と同様の機能を提供する領域やボタン、入力欄である。

表示条件設定領域５０８は、検索結果の表示に関する条件を与えるボタンや入力欄から構成される領域である。表示条件設定領域５０８には、表示画像数指定欄５０９、表示順条件設定領域５１０、画像強調条件設定領域５１３の各入力欄が表示されている。

表示画像数指定欄５０９は、検索結果として検索結果表示領域５１６に表示する画像の数を指定する入力欄である。表示順条件設定領域５１０は、検索結果として検索結果表示領域５１６に表示する画像の表示順を設定する領域であり、時系列ボタン５１１、類似度順ボタン５１２から構成される。時系列ボタン５１１は、表示順を時系列とさせる場合に選択するボタンである。類似度順ボタン５１２は、表示順を類似度とさせる場合に選択するボタンである。５１１と５１２の選択は択一である。

画像強調条件設定領域５１３は、検索結果として検索結果表示領域５１６に表示する画像の強調種類を設定する領域であり、回転ボタン５１４とサイズボタン５１５から構成される。回転ボタン５１４は、強調種類を画像の回転角度とする場合に選択するボタンである。サイズボタン５１５は、強調種類を画像のサイズとする場合に選択するボタンである。５１４と５１５の選択は択一である。強調縮小画像５１７は、検索結果画像を縮小化し表示した画像である。

ここで、類似画像検索システムにおける従来の検索結果表示と本発明の検索結果表示の差異を図３（ａ）（ｂ）を用いて説明する。

図３（ａ）は、検索結果表示を類似度順のみで表示する従来技術を模式的に示したものであり、図中の図形は、従来の検索結果表示領域３１６に表示される縮小画像３１７を表す。縮小画像例１０３、１０４は、本説明に用いる縮小画像のうちの任意の２画像である。

図３（ｂ）は、本発明の検索結果表示を模式的に示したものであり、図中の図形は、検索結果画像に適用される表示条件に、表示順として「類似度」が、強調種類として画像時刻に応じた「回転」が設定されている場合を例を示したもので、検索結果表示領域５１６に表示される強調縮小画像５１７を表す。強調縮小画像例１００〜１０２は、本説明に用いる強調縮小画像のうちの任意の３画像である。

図３（ａ）の縮小画像例１０３、１０４における類似度の大小関係は、その表示順で理解できる。本例においては、縮小画像例１０３のほうが、縮小画像例１０４より類似度が大きいことが、視覚的な表示、すなわち、画像の表示位置で把握できる。しかし、この縮小画像例１０３と縮小画像例１０４の画像時刻の前後関係について、視覚的な表示はなされていない。

一方、図３（ｂ）では、強調縮小画像例１００、１０１、１０２における類似度の大小関係は、図３（ａ）同様に、その表示順で理解できる。本例においては、強調縮小画像例１０１、１００、１０２の順に類似度が大きいことが、視覚的な表示、すなわち、画像の表示位置で把握できる。さらに、強調縮小画像例１００、１０１、１０２における画像時刻の前後関係は、その表示の傾きで理解できる。本例において、強調縮小画像例１００の画像時刻が、着目時刻、例えば、検索実行ボタン３１３の押下時刻に最も近い時刻であるとした場合、正面を向いた強調縮小画像例１００に対し、左に傾いた強調縮小画像例１０１は、強調縮小画像１００より前に撮像された画像であることが理解できる。同様に、正面を向いた強調縮小画像例１００に対し、右に傾いた強調縮小画像１０２は、強調縮小画像１００より後に撮像された画像であることが理解できる。

次に本発明における監視映像を対象とした類似画像検索システムの処理の流れの一例を図４、図５、図６に示す。処理の流れは録画処理、映像再生処理、類似画像検索処理の３つに大別される。

図４に、録画処理の流れの一例を示す。録画処理は、撮像装置２０１と録画装置４０２間の通信を含んだ処理にて実施され、撮像装置２０１からの映像を録画装置４０２に記録する。本図に示した処理の流れは、従来の類似画像検索システムにおいても同様である。

ステップ６００において、録画装置４０２は、画像受信待ちを行う。ネットワーク送受信部２０３が画像着信を検知すると処理はステップ６０１に進む。
ステップ６０１において、録画装置４０２は、撮像装置２０１からの画像をネットワーク２００を介してネットワーク送受信部２０３にて受信する。
ステップ６０２において、録画装置４０２は、受信した画像データ、画像ＩＤデータ、及び画像時刻データを記録媒体に記録する。画像ＩＤは、例えば、録画装置４０２内でユニークであるように録画開始からフレーム単位で順に割り振ったフレーム番号を用いるようにする。また、画像時刻は、例えば、録画装置４０２に内蔵している時計機能部から出力される装置時刻、あるいは、撮像装置２０１に内蔵している時計機能部から出力される装置時刻を用いるようにする。
ステップ６０３において、録画装置４０２は、画像の特徴量を画像特徴量抽出部２０７にて抽出する。
ステップ６０４において、録画装置４０２は、画像特徴量抽出部２０７にて抽出した画像特徴量を画像特徴量記録部２０６にて画像ＩＤに従い、記録媒体に記録する。

ステップ６１０において、撮像装置２０１は、撮像装置２０１内に実装されたＣＣＤやＣＭＯＳ等の撮像素子からの撮像画像出力待ちを行う。画像出力を検知すると処理は６１１に進む。
ステップ６１１において、撮像装置２０１は、出力された撮像画像をデジタル変換する。
ステップ６１２において、撮像装置２０１は、デジタル変換した画像を録画装置４０２へネットワーク２００を介して送信する。
タイミング６２０は、撮像装置２０１と録画装置４０２間の通信を表す。

図５に、映像再生処理の流れの一例を示す。映像再生処理は、録画装置４０２と監視端末４１０間の通信を含んだ処理にて実施され、録画装置４０２に記録されている映像を監視端末４１０にて再生する。本図に示した処理の流れは、従来の類似画像検索システムにおいても同一である。

ステップ７００において、監視端末４１０は、ユーザの再生操作待ちを行う。ユーザがユーザ入力部を操作することにより監視端末４１０が再生操作を検知すると、処理はステップ７０１に進む。
ステップ７０１において、監視端末４１０の映像再生部２１４は、ユーザの再生操作内容に従って映像再生要求の内容を決定する。映像再生要求の内容は、例えば、順再生や早送りのような再生の種類や再生の時間方向、再生の速度等で構成される。
ステップ７０２において、監視端末４１０は、決定した映像再生要求の内容を映像再生要求信号としてネットワーク送受信部２１１からネットワーク２００を介して録画装置４０２へ送信する（タイミング７２０）。
ステップ７０３において、監視端末４１０は、録画装置４０２からのデータの受信待ちを行う。録画装置４０２からのデータの着信を検知すると処理はステップ７０４に進む。
ステップ７０４において、監視端末４１０は、録画装置４０２からの送信データをネットワーク２００を介してネットワーク送受信部２１１にて受信する（タイミング７２１、７２２）。
ステップ７０５において、監視端末４１０は、映像再生部２１４にて受信内容の検証を行う。受信内容が配信画像であった場合、処理をステップ７０６に進める。受信内容が映像再生完了通知であった場合、処理をステップ７００に進める。
ステップ７０６において、監視端末４１０は、受信した配信画像を映像再生部２１４にてモニタの画面上に表示する。表示を完了後、処理をステップ７０３に進める。

ステップ７１０において、録画装置４０２は、映像再生要求受信待ちを行う。映像再生要求着信を検知すると処理はステップ７１１に進む。
ステップ７１１において、録画装置４０２は、監視端末４１０からの映像再生要求信号をネットワーク２００を介してネットワーク送受信部２０３により受信する（タイミング７２０）。
ステップ７１２において、録画装置４０２は、映像配信部２０５により映像再生要求信号を基に映像再生の内容を決定する。映像再生の内容は、例えば、最初に配信する画像の画像ＩＤや配信する画像数、次に配信する画像の画像ＩＤ、配信タイミング等で構成される。
ステップ７１３において、録画装置４０２は、記録媒体から画像を取出す。取出しの際には、映像再生内容中の最初に配信する画像の画像ＩＤを使用する。
ステップ７１４において、録画装置４０２は、送信時刻待ちを行う。送信時刻は、映像再生内容中の配信タイミングを使用する。送信時刻に達すると処理はステップ７１５に進む。
ステップ７１５において、録画装置４０２は、取出した画像をネットワーク送受信部２０３からネットワーク２００を介して監視端末４１０へ送信する（タイミング７２１）。
ステップ７１６において、録画装置４０２は、映像再生の完了判定を行う。完了判定は先に決定した映像再生内容を満たす画像配信が完了したか否かで実施する。完了と判定された場合には、処理をステップ７１７に進め、未完了と判定された場合には処理をステップ７１８に進める。
ステップ７１７において、録画装置４０２は、映像再生完了通知をネットワーク送受信部２０３から監視端末４１０へ送信する（タイミング７２２）。
ステップ７１８において、録画装置４０２は、映像再生内容を更新する。この際に更新されるのは、次に配信する画像の画像ＩＤと配信タイミングである。更新を完了すると、処理をステップ７１３に進める。
タイミング７２０〜７２２は、録画装置４０２と監視端末４１０間の通信のタイミングを表す。

図６に、類似画像検索処理の流れの一例を示す。類似画像検索処理は、録画装置４０２と監視端末４１０間の通信を含んだ処理にて実施され、検索画像に類似した画像を録画装置４０２に記録されている映像から探し出し、監視端末４１０に送信して、検索結果として表示する。本図に示した処理の流れの中に、検索結果表示処理も含まれる。

ステップ８００において、監視端末４１０は、ユーザの検索操作待ちを行う。ユーザの検索操作を検知すると処理はステップ８０１に進む。
ステップ８０１において、監視端末４１０は、検知したユーザ操作の内容検証を行う。操作内容が、検索画像指定ボタン３０２の押下であった場合、処理をステップ８０２に進める。検索実行ボタン３１３の押下であった場合、処理をステップ８０４に進める。それ以外の場合には、処理をステップ８０３に進める。
ステップ８０２において、監視端末４１０は、記録映像表示領域３００に表示された画像を検索画像として設定し、検索画像を記録映像表示領域３０３に表示する。また、この際、検索画像に付随する画像時刻を取出し、一時的な記憶領域に記憶する。
ステップ８０３において、監視端末４１０は、ユーザ操作により設定された内容、すなわち、検索条件もしくは表示条件を一時的な記憶領域に記憶する。
ステップ８０４において、監視端末４１０は、検索要求信号をネットワーク送受信部２１１からネットワーク２００を介して録画装置４０２に送信する（タイミング８２０）。検索要求信号は、検索画像、検索条件、表示条件、検索画像の画像時刻等により構成される。
ステップ８０５において、監視端末４１０は、録画装置４０２からの検索結果の受信待ちを行う。検索結果の着信を検知すると処理はステップ８０６に進む。
ステップ８０６において、監視端末４１０は、録画装置４０２から送信された検索結果をネットワーク送受信部２１１にて受信する（タイミング８２１）。
ステップ８０７において、監視端末４１０は、受信した検索結果を検索結果表示部４１３にてモニタ上の検索結果表示領域３１６に画面表示する。本処理には後述のステップ８１４で算出される画像表示変位量を使用した検索結果表示処理を含む。その詳細な処理の流れや検索結果のデータ構造については後述する。

ステップ８１０において、録画装置４０２は、検索要求信号の受信待ちを行う。検索要求信号の着信を検知すると処理はステップ８１１に進む。
ステップ８１１において、録画装置４０２は、監視端末４１０から送信された検索要求信号をネットワーク２００を介してネットワーク送受信部２０３にて受信し画像類似度判定部２０８に出力する（タイミング８２０）。
ステップ８１２において、画像類似度判定部２０８は、受信した検索要求信号に含まれる検索画像からその画像特徴量を画像特徴量抽出部２０７にて算出する。
ステップ８１３において、画像類似度判定部２０８は、上記ステップ８１２で算出された検索画像の画像特徴量と、画像特徴量記録部２０６に記録されている各画像の画像特徴量との間の類似度を算出し、ある一定以上の類似度を有し、検索条件を満たす画像の集合を抽出し検索結果として生成する。検索結果は上記抽出された画像の他に、これら画像のそれぞれに対応した画像時刻や類似度等で構成される。この検索結果のデータ構造については後述する。また、検索結果に含まれる上記抽出された画像の集合は、映像記録部２０４に記録されている各画像を縮小化した縮小画像の集合であってもよい。
ステップ８１４において、録画装置４０２は、生成された検索結果に含まれる上記抽出された個々の画像（以降、検索結果画像）に対し、画像表示変位量算出部４０９にて表示条件を適用してそれぞれに画像表示変位量を算出し、その結果も検索結果に加える。本処理にはステップ８０７の検索結果表示処理で使用する画像表示変位量の算出処理を含む。この画像表示変位量とその算出処理については後述する。
ステップ８１５において、録画装置４０２は、検索結果をネットワーク送受信部２０３からネットワーク２００を介して監視端末４１０へ送信する（タイミング８２１）。
タイミング８２０、８２１は、録画装置４０２と監視端末４１０間の通信のタイミングを表す。

次に、ステップ８０７の検索結果表示処理における画像表示変位量とその算出処理について説明する。

上述のステップ８１４において、検索結果画像に適用される表示条件に、表示順として「類似度」が、強調種類として画像時刻に応じた「回転」が設定されている場合を例に説明する。これは、図２において、類似度順ボタン５１２と回転ボタン５１４が選択されている状態で検索実行ボタン３１３が押下された場合に相当する。この場合回転ボタン５１４が選択されているので、画像表示変位量は回転角度となる。以下に画像表示変位量が回転角度の場合の、その回転角度を算出する処理について述べる。
検索実行ボタン３１３を押下した時刻をt_cとする。ステップ８１３にて得られる検索結果画像を画像vとすると、検索結果は表示画像数指定欄５０９にて指定した枚数の画像vで構成される。画像vの画像時刻をt_vとすると、画像vの回転角度Rv[rad]は、(π/2)
× {1/(|Tmax-t_c|)} × (t_v-t_c)で求まる。ここで、Tmaxは画像vのうち時刻t_cから最も遠い時刻である。また、時刻t_cは回転の基準となる時刻であり、本説明においては検索実行ボタン押下時刻としたが、他にもこの基準時刻を検索画像の画像時刻としてもよく、また、ユーザやシステムが与えた任意の時刻としてもよい。

上述のステップ８１４において、検索結果画像に適用される表示条件に、表示順として「類似度」が、強調種類として画像時刻に応じた「サイズ」が設定されている場合を例に説明する。これは、図２において、類似度順ボタン５１２とサイズボタン５１５が選択されている状態で検索実行ボタン３１３が押下された場合に相当する。この場合サイズボタン５１５が選択されているので、画像表示変位量はサイズとなる。以下に画像表示変位量がサイズの場合の、そのサイズの算出処理について述べる。
検索実行ボタン３１３を押下した時刻をt_cとする。ステップ８１３にて得られる検索結果画像を画像vとすると、検索結果は表示画像数指定欄５０９にて指定した枚数の画像vで構成される。画像vの画像時刻をt_vとすると、画像vの縦サイズは、(Hmin+Hmax)
/ 2+ [{(Hmax-Hmin)/2} / (|Tmax-t_c|)] × (t_v-t_c)、横サイズは、(Wmin+Wmax)
/ 2+ [{(Wmax-Wmin)/2} / (|Tmax-t_c|)] × (t_v-t_c)で求まる。ここで、Hminは最小表示縦サイズ、Hmaxは最大表示縦サイズであり、Wminは最小表示横サイズ、Wmaxは最大表示横サイズである。また、Tmaxは録画映像中で時刻t_cに最も遠い時刻である。また、時刻t_cはサイズの基準となる時刻であり、本説明においては検索実行ボタン押下時刻としたが、他にもこの基準時刻を検索画像の画像時刻としてもよく、また、ユーザやシステムが与えた任意の時刻としてもよい。

上述のステップ８１４において、検索結果画像に適用される表示条件に、表示順として「時系列」が、強調種類として類似度に応じた「回転」が設定されている場合を例に説明する。これは、図２において、時系列ボタン５１１と回転ボタン５１４が選択されている状態で検索実行ボタン３１３が押下された場合に相当する。この場合回転ボタン５１４が選択されているので、画像表示変位量は回転角度となる。以下に画像表示変位量が回転角度の場合の、その回転角度の算出処理について述べる。
ステップ８１３にて得られる検索結果画像を画像vとすると、検索結果は表示画像数指定欄５０９にて指定した枚数の画像vで構成される。画像vの類似度をS_vとすると、画像vの回転角度Rv[rad]は、(π/2)
× {S_v/Smax}で求まる。ここで、Smaxは最も類似していない画像の類似度である。ただし、類似度Svは0以上であり、値が大きいほど類似性が低いとする。

上述のステップ８１４において、検索結果画像に適用される表示条件に、表示順として「時系列」が、強調種類として類似度に応じた「サイズ」が設定されている場合を例に説明する。これは、図２において、時系列ボタン５１１とサイズボタン５１５が選択されている状態で検索実行ボタン３１３が押下された場合に相当する。上記の場合サイズボタン５１５が選択されているので、画像表示変位量はサイズとなる。以下に画像表示変位量がサイズの場合の、そのサイズの算出方法を述べる。
ステップ８１３にて得られる検索結果画像を画像vとすると、検索結果は表示画像数指定欄５０９にて指定した枚数の画像vで構成される。画像vの類似度をS_vとすると、画像vの縦サイズは、Hmax
- (Hmax-Hmin) × (S_v/Smax)、横サイズは、Wmax - (Wmax-Wmin) × (S_v/Smax)、で求まる。ここで、Hminは最小表示縦サイズ、Hmaxは最大表示縦サイズであり、Wminは最小表示横サイズ、Wmaxは最大表示横サイズであり、Smaxは最も類似していない画像の類似度である。ただし、類似度Svは0以上であり、値が大きいほど類似性が低いとする。

図７に、本発明の検索結果表示方法における検索結果のデータ構造の一例を示す。図７では、上述のステップ８１４において、検索結果画像に適用される表示条件に、表示順として「類似度」が、強調種類として画像時刻に応じた「回転」が設定されている場合を例に説明する。図７では、説明の簡略化の為、データ構造を行と列で構成される表形式を用いて説明するが、実装においては、ツリー形式やリスト形式のような構造であってもよい。

行番号列１０００は、本データ構造からデータを読出す際に使用する番号を格納する列である。表の上位行から順に番号付けをする。同一行に格納された各データは、同一の検索結果画像に対応付けられたデータである。
画像データ列１００１は、検索結果画像の画像データを格納する列である。図７では画像データを格納するイメージとして表のセル中に画像を表示させたが、実装においては、別途画像格納領域を設けその領域への参照アドレスや画像ＩＤを格納させたりするようにしてもよい。
類似度列１００２は、検索結果画像の類似度を格納する列である。図７においては、表示順に「類似度」が設定されているため、この列の格納値が昇順に格納されている。
時刻情報列１００３は、検索結果画像の画像時刻を格納する列である。表示順に「時系列」が設定されている場合には、この列の格納値が昇順に格納される。
画像ＩＤ列１００４は、画像ＩＤを格納する列である。
変位量列１００５は、検索結果画像の画像表示変位量を格納する列である。図７の例においては、強調種類として「回転」が設定されているため、この列の格納値は、回転角度が格納されているが、「サイズ」が設定された場合には、縦サイズと横サイズが格納される。

図８に、本発明の検索結果表示処理を含む図６に示したステップ８０７での詳細な処理の流れの一例を示す。
ステップ９０１は、ステップ８０６の次に実施される。図８に記載のステップは監視端末４１０の検索結果表示部４１３にて実施される。ステップ９０１において、検索結果表示領域５１６に画像表示領域を確保する。既に前回の検索結果が表示されている場合には、それを消去する。
ステップ９０２において、強調種類の設定状態、すなわち、回転ボタン５１４とサイズボタン５１５の選択状態を取得する。
ステップ９０３において、参照行カウンタを１に初期化する。ここで参照行カウンタは、検索結果のデータ構造（図７参照）からの読込みに使用し、参照行カウンタの示す値の行番号を持つ行が参照行となる。
ステップ９０４において、参照行カウンタが最終行を超えたかを判定する。判定は参照行カウンタと検索結果のデータ構造の行数の比較により実施する。参照行カウンタが最終行を超えていない場合には、処理をステップ９０５に進める。参照行カウンタが最終行を超えている場合には、処理をステップ８００に進める。
ステップ９０５において、参照行から画像データ、類似度、検索結果画像の画像時刻である時刻情報、及び画像表示の変位量を読出す。本例においては画像データを直接読出す事例を挙げたが、画像データ列に画像ＩＤが格納されているような場合にはここで画像ＩＤをもとに録画装置から画像を取得する通信処理を実施するようにしてもよい。
ステップ９０６において、画像データの表示位置を算出する。表示位置は、参照行カウンタのカウンタ値をもとに小さい順に上から下、左から右の規則にて算出する。本例では、類似度列１００２に、「類似度」が昇順になるように格納されているので、類似度の値が大きい順に上から下、左から右に表示位置が決定されることになる。
ステップ９０７において、ステップ９０２で取得した強調種類に対して、その設定値の判定を実施する。設定値が「回転」であった場合には、処理をステップ９０８に進める。「サイズ」であった場合には、処理をステップ９０９に進める。
設定値が「回転」の場合は、ステップ９０８において、画像データに対し、画像表示の変位量、すなわち回転角度を使い、回転変換処理を実施する。例えば、横サイズWである画像において、回転角度が前述の算出方法でRv[rad]と求められた場合、横サイズをW×cos(Rv)にする。これにより、画像の横方向をx軸、縦方向をｙ軸、奥行き方向をｚ軸とした座標系において、画像をｙ軸回りにRv[rad]回転させた画像を正面から見た画像となる。また、画像の変換前後で、視点を変え、三次元的に画像を表現してもよい。なお、複数の画像をディスプレイ上に三次元的に回転表示する従来技術として上記特許文献１に示した特開２００３−１５６２６号公報がある。この従来技術は、画像を仮想三次元空間内で回転させて表示させるものである。
設定値が「サイズ」の場合は、ステップ９０９において、画像データに対し、画像表示の変位量、すなわちサイズを使い、サイズ変換処理を実施する。例えば、縦サイズH、横サイズWである画像において、変換後の縦サイズ、横サイズが、前述の算出方法でHv、Wvと求めれた場合、画像の縦サイズをHv/H、横サイズをWv/W倍に変換する。
ステップ９１０において、変換された画像データをステップ９０６で算出された表示位置に強調縮小画像５１７として表示する。
ステップ９１１において、類似度、画像時刻を強調縮小画像５１７の下部近傍に、それぞれ類似度表示５１８、時刻表示５１９として文字表示する。
ステップ９１２において、参照行カウンタに１を加算する。

以上、具体的な実施の形態により本発明を説明したが、本発明は上記実施の形態には限定されず、例えば、検索の機能を録画装置４０２に実装する構成にて説明したが、録画装置とは別の装置に実装する構成であってもよい。
また、本例においては、画像表示変位量算出部４０９を、録画装置４０２に実装する構成にて説明したが、画像表示変位量算出部４０９を監視端末４１０に実装する構成であってもよい。

また、本例においては、検索画像中に存在する人物が各１名である場合を示したが、検索画像中に複数人が存在する場合には、それぞれの人物に対する検索結果を足し合わせ、その結果を表示するようにしてもよい。

また、この場合、監視端末４１０は、複数人が存在する旨をユーザ側に通知し、検索対象とする１名を監視端末４１０の備えるマウス等のポインティングデバイスで指定・選択させ、その選択された１名に対して実施するようにしてもよい。

さらに、本例においては、検索画像を、撮像装置２０１で撮影され録画装置４０２に記録された画像から選択する場合について示したが、例えば、撮像装置２０１とは異なる機器により撮影された画像とすることも可能である。

また、本例においては、強調表示の図形変形を、回転やサイズ変更による場合で示したが、例えば、矩形で表示される縮小画像の角を丸め、その丸みの程度で強調を表してもよく、また例えば、画像の解像度を変化させ、強調させたい画像ほど解像度を高くし、はっきりとした画像にしてもよい。

また、強調表示を、画像近傍への図形的表現によるものとしてもよく、例えば、画像に枠を付け、その太さで強調を表してもよく、また例えば、枠に色を与え、その色の種類や濃淡で強調を表してもよく、また例えば、画像毎に強調を表す軸を付加し、その目盛で強調を表してもよい。撮像装置と録画装置は一体に形成されていてもよい。

また、本例においては、検索結果画像に適用される表示条件に、表示順として「類似度」をとり強調種類として画像時刻に応じた「回転」とした場合、表示順として「類似度」をとり強調種類として画像時刻に応じた「サイズ」とした場合、表示順として「時系列」をとり強調種類として類似度に応じた「回転」とした場合、表示順として「時系列」をとり強調種類として類似度に応じた「サイズ」とした場合の例、すなわち表示順として「類似度」を選択したときは強調表示を画像時刻に応じて行い、表示順として「時系列」を選択したときは強調表示を類似度に応じて行う例について説明したが、表示順として「類似度」をとり強調種類として類似度に応じた「回転」または類似度に応じた「サイズ」としても実施することができる。この場合、画像の回転やサイズを何に応じて変更するかの選択ボタンを画像強調条件設定領域５１３に設けるとよい。この変形例では、時刻についての画像表示はできないが、類似度の大小関係が図形変形として表示されるので類似度が視覚的に把握し易くなる。この場合も強調種類は「回転」、「サイズ」に限定されず、類似度に応じた上記の縮小画像の角を丸め、画像の解像度、画像近傍への図形的表現、枠、軸などで変形表示するようにできる。

また、検索画像との類似性が予め決めた基準より高い画像を予め検出しておき、これら検出された画像を、表示順として「時系列」をとり強調種類として時系列に応じた「回転」または時系列に応じた「サイズ」としても実施することができる。この場合も、画像の回転やサイズを何に応じて変更するかの選択ボタンを画像強調条件設定領域５１３に設けるとよい。この変形例では、類似度についての強調表示はできないが、予め類似性の高い画像が検出されるようにでき、その上で画像時刻について強調表示されるので、検索画像の時刻に近い類似性の高い画像を視覚的に把握し易くなる。この場合も強調種類は「回転」、「サイズ」に限定されず、時系列に応じた上記の縮小画像の角を丸め、画像の解像度、画像近傍への図形的表現、枠、軸などで変形表示するようにできる。

以上、纏めると、本発明の画像検索システムの検索結果表示方法は、映像を撮像する撮像装置と、前記撮像装置で撮像された映像を録画する録画装置と、監視端末を有し、特定の映像に対する類似画像を前記録画装置に記録された映像から検索し、検索結果画像を前記監視端末に表示する画像検索システムの検索結果表示方式において、第１の基準に基づき前記検索結果画像をソートし、第２の基準に基づき前記検索結果画像を画像変形して前記監視端末に画面表示させることを特徴とする。
また、本発明の画像検索システムの検索結果表示方法は、前記第１の基準は類似度の大小関係または画像時刻の前後関係であり、前記第２の基準は画像時刻の前後関係または類似度の大小関係であることを特徴とする。
また、本発明の画像検索システムの検索結果表示方法は、前記第１の基準に基づく前記検索結果画像のソートは、撮像された時刻の時系列順または特定の映像に対する類似度順であることを特徴とする。
また、本発明の画像検索システムの検索結果表示方法は、前記第２の基準に基づく前記検索結果画像の画像変形は、画像の回転変形または画像のサイズ変形であることを特徴とする。
また、本発明の画像検索システムは、映像を撮像する撮像装置と、前記撮像装置で撮像された映像を録画する録画装置と、監視端末を有し、特定の映像に対する類似画像を前記録画装置に記録された映像から検索し、検索結果画像を前記監視端末に表示する画像検索システムにおいて、第１の基準に基づき前記検索結果画像をソートする画像表示位置の算出手段と、第２の基準に基づき前記検索結果画像を画像変形する画像変形手段と、前記検索結果画像を前記監視端末に表示する画像表示手段を備えたことを特徴とする。
また、本発明の画像検索システムは、前記第１の基準は類似度の大小関係または画像時刻の前後関係であり、前記第２の基準は画像時刻の前後関係または類似度の大小関係であることを特徴とする。
また、本発明の画像検索システムにおける前記第１の基準に基づく前記検索結果画像のソートは、撮像された時刻の時系列順または特定の映像に対する類似度順であることを特徴とする。
また、本発明の画像検索システムにおける前記第２の基準に基づく前記検索結果画像の画像変形は、画像の回転変形または画像のサイズ変形であることを特徴とする。

以上、本発明を上記実施の形態で具体的に説明したが、上記実施の形態は本発明の例示であって、本発明は上記実施の形態に限定されないことは言うまでもない。

本発明は、複数の画像を表示する際に、特定の画像を強調表示する表示装置などに広く利用できる。

本発明における実施の形態の、監視映像を対象とした類似画像検索システムの構成の一例を示す図である。 本発明における実施の形態の、監視端末に表示される画面の一例を示す図である。 本発明の実施の形態の、画像表示を説明する図である。 本発明における実施の形態の、監視映像を対象とした類似画像検索システムの録画処理の流れの一例を示す図である。 本発明における実施の形態の、監視映像を対象とした類似画像検索システムの映像再生処理の流れの一例を示す図である。 本発明における実施の形態の、監視映像を対象とした類似画像検索システムの類似画像検索処理の流れの一例を示す図である。 本発明の検索結果表示方法における検索結果のデータ構造の一例を示す図である。 本発明の検索結果表示方法を含むステップ８０７での詳細な処理の流れの一例を示す図である。 従来の監視映像を対象とした類似画像検索システムの構成の一例を示す図である。 従来の監視端末上に表示される画面の一例を示す図である。

符号の説明

１００〜１０２：強調縮小画像例、１０３〜１０４：縮小画像例、２００：ネットワーク、２０１：撮像装置、２０２：録画装置、２０３：ネットワーク部、２０４：映像記録部、２０５：映像配信部、２０６：画像特徴量記録部、２０７：画像特徴量抽出部、２０８：画像類似度判定部、２１０：監視端末、２１１：ネットワーク部、２１２：検索要求部、２１３：検索結果表示部、２１４：映像再生部、３００：記録映像表示領域、３０１：映像再生操作領域、３０２：検索画像指定ボタン、３０３：検索画像表示領域、３０４：検索条件設定領域、３０５：検索先頭時刻指定欄、３０６：検索末尾時刻指定欄、３０７：カメラ選択ボタン、３０８：表示条件設定領域、３０９：表示画像数指定欄、３１０：表示順条件設定領域、３１１：時系列ボタン、３１２：類似度順ボタン、３１３：検索実行ボタン、３１６：検索結果表示領域、３１７：縮小画像、３１８：類似度表示、３１９：時刻表示、４０２：録画装置、４０９：画像表示変位量算出部、４１０：監視端末、４１３：検索結果表示部、５１３：画像強調条件設定領域、５１４：回転ボタン、５１５：サイズボタン、５１６：検索結果表示領域、５１７：強調縮小画像、５１８：類似度表示、５１９：時刻表示、６００〜６０４：ステップ、６１０〜６１２：ステップ、６２０：タイミング、７００〜７０６：ステップ、７１０〜７１８：ステップ、７２０〜７２２：タイミング、８００〜８０７：ステップ、８１０〜８１５：ステップ、８２０〜８２１：タイミング、９０１〜９１２：ステップ、１０００：行番号列、１００１：画像データ列、１００２：類似度列、１００３：時刻情報列、１００４：画像ＩＤ列、１００５：変位量列

Claims (4)

1. 撮像装置と、前記撮像装置で撮像された画像を録画する録画装置と、監視端末を有し、特定の画像に対する類似画像を前記録画装置に記録された画像から検索し、検索された画像を前記監視端末に表示する画像検索システムの検索結果表示方法において、
   前記監視端末は、検索結果画像の表示順を撮影時刻とするか類似度とするかを定める表示順条件と前記検索された画像の表示強調種類を定める画像強調条件とを、ユーザによる操作によりそれぞれ設定できる表示順条件設定領域及び画像強調条件設定領域を表示し、
   前記検索された画像を表示するときは、前記表示順条件に基づき前記検索結果画像を検索結果表示領域に並べて表示し、
   更に画像強調条件として画像の回転が設定されているときは、前記撮影時刻及び類似度の内、前記表示順条件で用いられなかった方に基づいて、前記検索結果画像を回転させて画面表示する
   ことを特徴とする検索結果表示方法。
2. 前記画像の回転は、画像の横方向をｘ軸、縦方向をｙ軸、奥行き方向をｚ軸とした座標系において、画像をｙ軸回りに回転したように見える変形であることを特徴とする請求項１に記載の検索結果表示方法。
3. 前記画像強調条件として、前記画像の回転に代えて画像に軸を付加し、前記撮影時刻及び類似度の内、前記表示順条件で用いられなかった方を、当該軸の目盛りで表すことを特徴とする請求項１に記載の検索結果表示方法。
4. 前記画像の回転における回転角度は、撮影時刻または類似度が小さいほど左を向き、大きいほど右を向き、それらの中間において正面を向くように定められることを特徴とする請求項１又は請求項２に記載の検索結果表示方法。
   

Images