WO2012157611A1

WO2012157611A1 - 類似画像検索システム

Info

Publication number: WO2012157611A1
Application number: PCT/JP2012/062309
Authority: WO
Inventors: 小倉　慎矢; 平井　誠一; 秀昭打越; 智巳高田; 伊藤　渡
Original assignee: 株式会社日立国際電気
Priority date: 2011-05-16
Filing date: 2012-05-14
Publication date: 2012-11-22
Also published as: JP5826513B2; JP2012242878A

Abstract

キーワード付与機能の向上、検索の容易性の向上した類似画像検索システムの提供する類似画像検索システムは、撮像装置、前記撮像装置から入力された画像データを記録媒体に記録する録画装置、および端末装置から構成される。前記録画装置は、録画中に前記画像データの特徴量を抽出して保持する。指定された検索キー画像の特徴量に対して類似度が高い画像データを検索して表示するときは、検索された複数の画像データのうち任意の一部に同じキーワードを一度に付与する手段と、前記一部の画像データの選定を類似度に応じて補助する手段を設ける。類似度を用いずパラメータを指定するイベント検索であっても、検索された画像データをキー画像としてバックグラウンドで類似画像検索を行い、類似画像に既に付与されているキーワードを、当該検索された画像データに付与する候補としてユーザに提示する。

Description

類似画像検索システム

　本発明は、類似画像検索システム、および、類似画像検索方法に係り、特に、映像監視システムの人物の検索のためのユーザインタフェースの使い勝手が改善された類似画像検索システム、および、類似画像検索方法に関する。

　従来から、ホテル、ビル、コンビニエンスストア、金融機関、ダムや道路といった不特定多数の人が訪れる施設には、犯罪抑止や事故防止等の目的で、映像監視システムが設置されている。これは、監視対象の人物等をビデオカメラ等の撮像装置で撮影し、その映像を、管理事務所や警備室等の監視センタに伝送し、常駐する監視者がそれを監視し、音声による警告等の必要な措置をしたり、映像を記録したりするものである。

　映像監視システムにおいて、映像を記録するための記録媒体には、従来のビデオテープ媒体から、ハードディスクドライブ（ＨＤＤ）に代表されるランダムアクセス媒体が用いられる事例が増えている。さらに近年ではこのような記録媒体の大容量化が進んでいる。
　記録媒体の大容量化は、記録できる映像の量を飛躍的に増大させ、より多地点や長時間の記録を可能にしつつある反面、記録画像を目視でチェックする負担の増加が問題として顕在化した。

　このような背景から、所望の映像をより簡単に見つけ出すための検索機能を備える映像監視システムが普及しつつある。特に、近年では、映像中の特定の事象（イベント）の発生に対して、画像認識技術を用いてリアルタイムに自動検知して映像と共に記録し、事後にそれらのイベントを検索可能とする、より高度な検索機能を備えたシステムが登場しつつある。その中の代表的な一つに人物検索機能がある。
　人物検索機能とは、映像中への人物の登場を自動検知の対象として、リアルタイムに記録し、事後に記録画像中から人物登場画像を探し出せる機能である。

　機能面から人物検索機能は、以下の２種類に大別される。
　１つ目は、登場イベント検索機能である。登場イベント検索機能は、映像中への人物の登場（イベント）の有無を、単純に探し出す機能である。検索結果にはイベントの有無に加え、イベント有と判定された場合には、そのイベント数と各イベントの発生時刻やイベントを撮影した撮像装置番号、撮影した画像（人物登場画像）等を提示する。なお、この検索のクエリ（Query）には、イベント発生時刻や撮像装置番号等の検索対象範囲を絞込むための情報として与える場合が多い。以下では、この検索対象範囲を絞込むための情報を、「絞込みパラメータ」ということにする。
　２つ目は、類似人物検索機能である。上述の登場イベント検索機能が、登場人物を特定しない検索であるのに対し、こちらはユーザが指定する特定人物が、他の時間、あるいは他の地点の撮像装置で撮影されていないかどうかを、記録画像中から探し出す機能である。検索結果には、特定人物が映った他の画像の有無に加え、有の場合には、その数と撮影時刻、撮像装置番号、撮影した画像（人物登場画像）、後述の類似度等を返す。
　特定人物の指定は、探したい人物が映った画像（以降、検索キー画像）１つをユーザが指定することで実施される。検索キー画像は、記録画像や外部装置からの任意の画像から指定される。検索は、この検索キー画像中の人物の画像特徴量を画像認識技術により抽出し、記録画像中の人物の画像特徴量と照合し、その類似性（類似度）を求め、同一人物判定を実施することにより実現される。記録画像中の人物特徴量の抽出と記録は、映像録画時等の別タイミングにて予め実施しておく。この検索のクエリにおいても、絞込みパラメータを与えることが可能である場合が多い。

　両検索機能のどちらにおいても、検索結果には記録画像を取り出すためのリンケージ情報が付与されており、検索結果から記録画像の頭出し再生が可能になっている。
　特許文献１には、検索結果の複数の画像から任意のものを選択して、別の表示領域に保持しておき、それを次の検索キー画像に利用できるようにし、ユーザが適切な検索キー画像の一群を作れるようにした画像検索装置が開示されている。
　また、特許文献２には、ユーザの利便性をさらに高める類似画像検索システムが記載されている。この特許文献２では、ユーザは、類似画像検索の結果に対して、人名や特徴などのキーワードを付与する。画像検索には、二種類の検索方法が用意されており、キーワードを付与された画像を検索の対象から除く類似画像検索と、キーワードを付与された画像のみを検索の対象とする登場イベント検索がある。ユーザは、類似画像検索を複数回行い、充分多くの画像にキーワードを付与した判断した後に、登場イベント検索を行う。

特開２００９－１２３１９６号公報特開２０１１－０９０４７６号公報

　特許文献２に示すようなキーワード付与機能は、類似画像検索を行う場合に非常に便利である。しかしながら、現状の類似人物検索におけるキーワード付与機能は、ユーザの入力負荷が大きいという問題がある。即ち、ユーザは類似画像検索の結果に対し、検索結果から多数の正解画像を選択してキーワードの付与を行う必要がある。
　また、登場イベント検索の結果に対してキーワードを付与したい場合には、キーワードを、その都度キーボードから入力する手間をかける必要がある。例えば、当該システムの運用において、例えば名字と名前を合わせたフルネームをキーワードとして入力することと規定されていた場合には、ユーザはそのフルネームを完全に知っておく必要がある。つまり、以前に入力したことはあるが、姓を覚えているが名を忘れてしまった場合や漢字やスペルを忘れてしまった場合に、別途調査して完全な情報を手に入れないと入力できない問題がある。
　本発明は、上記のような問題に鑑み、キーワード付与機能の向上、検索の容易性の向上した類似画像検索システムの提供を目的とする。

　本発明の１つの側面は、撮像装置、前記撮像装置から入力された画像データを記録媒体に記録する録画装置、および端末装置から構成される類似画像検索システムにおいて、前記録画装置は、前記画像データの特徴量を抽出して、画像の類似度を評価し、検索キー画像を指定して、指定された当該検索キー画像に対して類似度が高い画像データを検索し、各々の画像データにキーワードを付与する手段と、前記キーワードの付与候補を動的に提示する手段を有するものである。

　本発明の他の側面は、前記端末装置は、前記録画装置が検索した結果から、類似度が高い画像を自動的に選択状態にして表示することを特徴とする。

　本発明の他の側面は、撮像装置、前記撮像装置から入力された画像データを記録媒体に記録する録画装置、および端末装置から構成される類似画像検索システムにおいて、前記端末装置は、前記録画装置が当該登場イベント検索手段を実行した結果を表示し、前記録画装置は、前記端末装置に表示された画像データの一覧から、ユーザによって選択された画像を検索キー画像として類似度が高い画像データを検索し、類似画像検索結果にキーワード付与済みの結果が含まれていれば、そのキーワードを付与候補として表示する、画像の類似度によらず画像データの一覧を提示する登場イベント検索する手段を有するものである。

　本発明によれば、類似画像検索の結果から、多数の画像を選択して、一度にキーワードを付与することができる。

本発明の類似画像検索システムの一実施例のシステム構成図。一実施例に用いる撮像装置のハードウェア構成図。一実施例に用いる録画装置のハードウェア構成図。一実施例に用いる端末装置のハードウェア構成図。一実施例に用いられるデータ構造を示す図。一実施例に用いられるデータ構造を示す図。一実施例に用いられるデータ構造（検索結果テーブル）を示す図。一実施例に係る、類似画像検索結果からのキーワード付与における録画装置１０２と端末装置１０３の間の処理シーケンス図。一実施例に係る、登場イベント検索結果からのキーワード付与における録画装置と端末装置の間の処理シーケンス図。一実施例に係る、検索実行前の初期状態における検索画面を示す図。類似人物検索実行直前状態における検索画面を示す図。類似人物検索実行直後状態における検索画面を示す図。キーワード付与実行直後状態における検索画面を示す図。登場イベント検索実行直前状態における検索画面を示す図。登場イベント検索実行直後状態における検索画面を示す図。登場イベント検索後のユーザよる人物選択操作後の検索画面を示す図。登場イベント検索後のキーワード付与実行直後状態における検索画面を示す図。

　本発明の類似画像検索システムは、例えば、撮像装置、撮像装置から送信された画像データを記録する録画装置、および録画装置に記録された画像データから所望の画像を検索し、当該検索した画像を要求して表示する端末装置から構成される。
　録画装置は、当該録画装置の各部の制御および所定の機能を実現するための第１のプログラムを実行する第１のＣＰＵと、検索のための画像データおよび第１のＣＰＵで実行する前記第１のプログラムをロードして格納する第１の主記憶部と、撮像装置から受信した画像データおよび第１のプログラムを格納する第１の補助記憶部とからなる。
　また端末装置は、例えば、当該端末装置の各部の制御および所定の機能を実現するための第２のプログラムを実行する第２のＣＰＵと、表示装置に表示するための画像データや第２のＣＰＵ２６１で実行する第２のプログラムをロードして格納するための第２の主記憶部と、検索キーワード、画像データ、および第２のプログラムを格納する第２の補助記憶部とからなる。

　また例えば、第１のＣＰＵは、撮像装置から受信した画像データに対し画像認識技術を用いた人物検出を行い、画像中の人物の存在判定をし、人物が存在する場合には、その領域の座標算出を行う人物領域検出部、人物領域検出部で検出した領域に対して画像認識技術を用いて特徴量算出を行う人物特徴量抽出部、人物特徴量抽出部で算出した特徴量を主記憶部に記録する人物特徴量記録部、端末装置からの検索要求の受信を行う要求受信部、要求受信部にて受信した検索要求に応じて検索を行う検索部、検索部から得た検索結果を端末装置に送信する検索結果送信部、要求受信部が前記端末装置から受信したキーワード付与要求に基づきキーワードを主記憶部に記録するキーワード記録部、要求受信部が受信した検索要求データ中にキーワードが含まれていた場合には、補助記憶部に記録された画像データについてキーワードで検索を行うキーワード検索部を備える。

　また例えば、第２のＣＰＵは、検索要求の録画装置への送信を行う検索要求送信部、検索結果画像および検索結果データを録画装置から受信する検索結果受信部、検索結果受信部にて受信した検索結果画像を画面表示する検索結果表示部、録画装置から入力された画像データを連続動画表示する再生画像表示部、ユーザによる操作内容の検知および取得を行う画面操作検知部、キーワード付与要求を前記録画装置に送信するキーワード付与要求送信部を備える。
　さらに、本発明の類似画像検索システムの検索要求は、類似画像検索要求と登場イベント検索要求である。

　以下、本発明の一実施形態に係る類似画像検索システムを、図１～図７および図８Ａ～図８Ｈを用いて説明する。
　まず、図１～図４を用いて、一実施形態に係る類似画像検索システムの構成について説明する。

　図１は、本発明の類似画像検索システムの一実施例のシステム構成図である。

　類似画像検索システムは、図１に示すように、ネットワーク２００に、撮像装置２０１、録画装置１０２、端末装置１０３が接続され、互いに通信可能な状態で構成される。
　ネットワーク２００は、各装置を相互に接続してＩＰ（Internet Protocol）通信を行う通信手段であり、専用ネットワークやイントラネット、インターネット、無線ＬＡＮ（Local Area Network）等である。
　撮像装置２０１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）素子等で撮像した画像にデジタル変換処理を施し、変換処理された画像データを、ネットワーク２００を介して録画装置へ送信するネットワークカメラや監視カメラ等の装置である。
　録画装置１０２は、ネットワーク２００を介して撮像装置２０１から入力された画像データをＨＤＤ等の記録媒体に記録するデジタルビデオレコーダ等の装置である。また、本装置には、本発明の特徴的である人物検索機能を搭載している。

　録画装置１０２は、機能構成として、画像送受信部２１０、画像記録部２１１、再生制御部２１２、人物領域検出部２１３、人物特徴量抽出部２１４、人物特徴量記録部２１５、属性情報記録部２１６、要求受信部２１７、検索部、検索結果送信部２２０、キーワード記録部１１０、キーワード検索部１１１の各処理部よりなる。検索部は、類似人物検索部２１８および登場イベント検索部２１９で構成される。

　画像送受信部２１０は、撮像装置２０１からの入力画像データの受信、端末装置１０３への出力画像データの送信を行う。
　画像記録部２１１は、入力画像データの記録媒体への書込みや出力画像データの記録媒体からの読出しを行う。書込みの際には、画像データに加え、画像データを読出す際の情報となる画像ＩＤ（後述）も併せて記録する。
　再生制御部２１２は、画像記録部２１１から読み出した映像の端末装置１０３への再生を制御する。

　人物領域検出部２１３は、入力画像データに対し画像認識技術を用いた人物検出を行い、画像中の人物（顔）の存在判定をし、人物が存在する場合には、その領域の座標算出を行う。
　人物特徴量抽出部２１４は、人物領域検出部２１２で検出した領域に対して画像認識技術を用いて特徴量算出を行う。ここで算出する人物特徴量とは、例えば、目、鼻、口、頬骨等に対応して抽出される特徴点の配置関係であったり、人物全身の輪郭の形状や、衣服、皮膚の色、歩容（どの脚をどのようにどんなタイミングで動かすかといった脚の捌き方）等、公知の特徴量である。通常、これらの特徴量は、多次元のベクトル（数百個の数値の組み合わせ）で表現され、撮影方向や倍率に対して不変なものが好まれる。
　人物特徴量記録部２１５は、人物特徴量抽出部２１４で算出した特徴量の記録媒体への書込みと読出しを行う。画像記録部における画像データの記録媒体と本処理部における人物特徴量の記録媒体とは同一であっても別個であってもよい。
　属性情報記録部２１６は、画像データに関連する属性情報の記録媒体への書込みと読出しを行う。属性情報とは、例えば、画像の撮影時刻や撮像装置番号等である。

　要求受信部２１７は、端末装置１０３からの検索要求やキーワード付与要求の受信し、類似人物検索部２１８等に渡す。検索要求には、類似画像検索要求と、登場イベント検索要求がある。
　類似人物検索部２１８は、要求受信部２１７にて受信した要求が類似人物検索要求であった場合に、類似画像の検索を行う。
　登場イベント検索部２１９は、要求受信部２１７にて受信した要求が登場イベント検索要求であった場合に、登場イベントの検索を行う。
　検索結果送信部２２０は、類似人物検索部２１８や登場イベント検索部２１９から得た類似人物検索結果や登場イベント検索結果の端末装置への送信を行う。
　キーワード記録部１１０は、要求受信部２１７にて受信したキーワード付与要求に基づくキーワードの記録媒体への書込みと読出しを行う。
　キーワード検索部１１１は、要求受信部２１７にて受信した検索要求データ中にキーワードが含まれていた場合に、キーワード検索を行う。

　端末装置１０３は、機能構成として、検索要求送信部２２１、検索結果受信部２２２、検索結果表示部２２３、再生画像表示部２２４、画面操作検知部２２５、キーワード付与要求送信部１１２の各処理部にて構成される。端末装置１０３は、ネットワーク接続を有する一般のＰＣ（パーソナルコンピュータ）や携帯端末、専用の検索端末で実現される。

　検索要求送信部２２１は、検索要求の録画装置への送信を行う。類似人物検索の場合、検索要求データには、検索キー画像が含まれる。また、検索要求データには、絞込みパラメータを含めることも可能である。
　検索結果受信部２２２は、検索結果の録画装置からの受信を行う。検索結果として受信するデータには、録画装置において、類似人物検索、あるいは、登場イベント検索を実施して得られた画像の集合が含まれる。集合を構成する個々の画像は、録画装置に記録された映像から画像サイズ縮小処理等を施して生成される。以下、この個々の画像を「検索結果画像」、検索結果として送受信するデータを「検索結果データ」と称する。
　検索結果表示部２２３は、検索結果受信部にて受信した検索結果の画面表示を行う。表示される画面例については後述する。
　再生画像表示部２２４は、録画装置から入力された画像データの画面への連続動画表示を行う。
　画面操作検知部２２５は、ユーザによる操作内容の検知および取得を行う。
　キーワード付与要求送信部１１２は、キーワード付与要求の録画装置への送信を行う。

　図２は、本発明の類似画像検索システムの一実施例に用いる撮像装置のハードウェア構成図である。撮像装置２０１は、撮像部２４１、主記憶部２４２、符号化部２４３、ネットワークインタフェース（Ｉ／Ｆ）２４４が、バス２４０で結合されて構成される。

　撮像部２４１は、レンズにより撮像素子に結像した光をデジタルデータに変換する。符号化部２４３は、撮像部２４１が出力するデジタルデータを符号化して、ＪＰＥＧ（Joint Photographic Experts Group）やMPEGなどの画像データに変換する。主記憶部２４２は、撮像したデジタルデータ、符号化された画像データを記憶する。ネットワークＩ／Ｆ２４４は、ネットワーク２００を介して、主記憶部２４２上の画像データを録画装置１０２に送信するためのインタフェースである。

　図３は、本発明の類似画像検索システムの一実施例に用いる録画装置のハードウェア構成図である。録画装置１０２のハードウェア構成としては、図３に示すように、ＣＰＵ（Central Processing Unit）２５１、主記憶部２５２、補助記憶部２５３、ネットワークＩ／Ｆ２５４が、バス２５０で結合された形態である。

　ＣＰＵ２５１は、録画装置１０２の各部の制御と、機能を実現するためのプログラムの実行を行う。主記憶部２５２は、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体装置で実現され、検索のための画像データやＣＰＵ２５１で実行するプログラムをロードして格納するための中間的なメモリである。補助記憶部２５３は、ＨＤＤやフラッシュメモリなどで実現され、主記憶部２５２より大容量のメモリであり、画像データやプログラムを格納する。ネットワークＩ／Ｆ２５４は、ネットワーク２００を介して、撮像装置２０１からの画像データを受信したり、端末装置１０３から検索キーワードを受信したり、端末装置１０３に画像データを送信するためのインタフェースである。

　図４は、本発明の類似画像検索システムの一実施例に用いる端末装置のハードウェア構成図である。端末装置１０３のハードウェア構成としては、図４に示すように、ＣＰＵ２６１、主記憶部２６２、補助記憶部２６３、表示Ｉ／Ｆ２６４、入出力Ｉ／Ｆ２６５、ネットワークＩ／Ｆ２６６が、バス２６０で結合された形態である。また、表示Ｉ／Ｆ２６４は、表示装置２７０と接続し、入出力Ｉ／Ｆ２６５は、キーボード２８０やマウス２８２などの入出力装置と接続する。

　図４において、ＣＰＵ２６１は、端末装置１０３の各部の制御と、機能を実現するためのプログラムの実行を行う。主記憶部２６２は、ＤＲＡＭなどの半導体装置で実現され、表示のための画像データやＣＰＵ２６１で実行するプログラムを格納するためのメモリである。補助記憶部２６３は、フラッシュメモリなどで実現され、プログラムや設定情報（検索キーワード、画像データ）を格納する。表示Ｉ／Ｆ２６４は、表示装置２７０と接続するためのインタフェースである。入出力Ｉ／Ｆ２６５は、キーボード２８０やマウス２８２などの入出力装置と接続するためのインタフェースである。ネットワークＩ／Ｆ２６６は、ネットワーク２００を介して、録画装置１０２からの画像データを受信したり、録画装置１０２に検索キーワードを送信したり、録画装置１０２から画像データを受信するためのインタフェースである。表示装置２７０は、例えば、ＬＣＤ（Liquid Crystal Display）などのグラフィックディスプレーであり、画像や動画を表示部（スクリーン）に表示する。ユーザは、表示装置２７０の表示部に表示された画像を、キーボード２８０やマウス２８２などの入出力装置を操作して、例えばＧＵＩ（Graphical User Interface）操作することによって、端末装置１０３、および、類似画像検索システムを操作する。端末装置１０３は、これらの構成によりＷｅｂブラウザの機能を実現する。

　図５Ａから図５Ｃは、本発明の一実施形態に係る類似画像検索システムに用いられるデータ構造を模式的に示す図である。
　本発明の一実施形態に係る類似画像検索システムに用いられる重要なデータ構造としては、図５Ａに示すようなフレームテーブル３００と、図５Ｂに示すような属性情報テーブル３１０と、図５Ｃに示すような検索結果テーブル３２０とがある。

　フレームテーブル３００は、映像データを格納するためのテーブルである。フレームテーブル３００には、画像ＩＤ３０１が付され、付された画像ＩＤと関連付けられたフレームデータ３０２が記録される。フレームデータ３０２は、例えば、ＪＰＥＧ形式のデータなどで記録される。

　属性情報テーブル３１０は、画像データを解析した結果の画像についての属性情報データを格納するためのテーブルである。属性情報テーブル３１０には、登録ＩＤ３１１が識別のために付与され、付与された登録ＩＤ３１１と関連付けられて、画像ＩＤ３１２、特徴量３１３、カメラＩＤ３１４、時刻情報３１５、およびキーワード３１６が記録される。
　例えば、付与された登録ＩＤ３１１と関連付けられて、フレームテーブル３００に格納されたフレームの１つが、画像ＩＤ３１２により指定される。また、その画像の特徴量は特徴量３１３に、撮像した撮像装置２０１のＩＤはカメラＩＤ３１４に、フレームの撮像時刻に関する情報は時刻情報３１５に、フレームに付与されたキーワードはキーワード３１６に、と対応する各々のフィールドに格納される。

　なお、録画のフレームレートが仮に３０ｆｐｓ（Frames Per Second）のときに、画像の解析を行うのは、その画像内で人がいると認識された部分であり、また一旦検出された後は、１０フレーム程度の間隔で行ってもよい。つまり、必要とされる連続解析能力は、３ｆｐｓ程度と考えられている。
　検索結果テーブル３２０は、１回の検索結果に関する情報を保持するテーブルであり、類似度が高かった記録画像について、その画像の検索キー画像との間の類似度と、その画像に付されたキーワード（属性情報テーブル３１０を参照して取得される）とが、対応付けて格納される。検索結果テーブル３２０は、検索キー画像を特定できるように検索キー画像の画像ＩＤを別途保持してもよく、過去複数回の検索結果を保持できるよう、多面構成に拡張できる。

　次に図６、図８Ａ、図８Ｂ、図８Ｃ、および図８Ｄを用いて、本発明の類似画像検索における類似度が高い検索結果画像を自動的に選択状態にして提示する選択方式について説明する。図６は、本発明の類似画像検索システムの一実施例に係る、類似画像検索結果からのキーワード付与における録画装置１０２と端末装置１０３の間の処理シーケンス図である。

　図６において、軸５０１は、録画装置１０２の入出力や処理を、下向きの時間軸で表し、軸５０２は、端末装置１０３の入出力や処理を、下向きの時間軸で表している。また、タイミング５０３～５０６は、それぞれ時系列上でのタイミングを表しており、各タイミングにおいて端末装置１０３上に表示される画面やユーザ操作の内容については後述する。

　図６において、通信５１０～５１２は、録画装置１０２と端末装置１０３間の主な通信を示している。
　通信５１０と通信５１１は、リクエストとレスポンスの関係にあり、通信５１０は、類似人物検索要求を含み、通信５１１は、類似人物検索結果を含む。この１組の通信により、１回の類似人物検索が実行されることになる。
　通信５１２は、画像に対するキーワード付与要求を含む。
　ここで、通信５１１に含まれる類似人物検索結果には、画像ＩＤ３０１等の属性情報テーブル３１０の静的な情報だけでなく、録画装置１０２における検索処理時に算出された検索キー画像に対する類似度を含むようにする。
　本実施例では類似度は０～１００までの範囲の数値とし、１００に近いほど検索キー画像に似た画像であることを表すものとする。

　次に、図８Ａ～図８Ｄを用いて、本発明の一実施形態に係る類似画像検索システムの端末装置１０３におけるユーザ操作の概念について説明する。

　図８Ａは、検索実行前の初期状態、すなわち、図６のタイミング５０３における端末装置１０３の表示部に表示される検索画面８０１の一実施例である。ユーザは、この検索画面８０１から検索を開始する。
　図８Ａの検索画面８０１は、再生画像表示領域３００１、画像再生操作領域３００３、検索キー画像指定領域３００４、検索絞込パラメータ指定領域３００８、検索実行領域４０１７、および、検索結果表示領域４０２０よりなる。

　図８Ａの検索画面８０１において、再生画像表示領域３００１は、録画装置１０２に記録された画像を動画像として表示する領域である。また再生画像表示領域３００１の動画３００２は、録画装置に記録された画像が再生制御部２１２の機能により表示される。
　画像再生操作領域３００３は、録画装置に記録された画像を再生操作する領域である。　画像再生操作領域３００３を構成する各ボタンには、それぞれ固有の再生種類が割当てられている。図８Ａにおける各ボタンには、例えば左から、巻戻し、逆再生、再生停止、順再生、早送りの再生種類が割当てられている。ユーザが各ボタンをマウス２８２で適宜押下することにより、動画３００２がボタンに割当てられた再生種類に切り替る。

　検索キー画像指定領域３００４は、検索キー画像の指定と表示を行う領域である。本領域は、検索キー画像３００５と、映像指定ボタン３００６、ファイル指定ボタン３００７よりなる。
　検索キー画像３００５は、類似検索のためのキーとする画像である。初期状態においては、検索キー画像は、未指定であるので、画像表示はされていない状態となる。なお、未指定の場合に、別途用意した未指定状態を示す画像を表示する等、未指定である旨の表記をするようにしてもよい。

　映像指定ボタン３００６は、押下時に再生画像表示領域３００１に表示されている画像を、検索キー画像３００５として指定するボタンである。
　ファイル指定ボタン３００７は、録画装置１０２に記録されている画像以外の画像、例えば、デジタルスチルカメラで撮影した画像やスキャナで取込んだ画像等を、検索キー画像３００５として指定するボタンである。このボタン３００７を押下すると、それらの画像をファイル指定するダイアログボックスが表示され、ユーザはそこで所望の画像を指定することができる。

　検索絞込パラメータ指定領域３００８は、検索の際の絞込パラメータの種類とその値（範囲）を指定する領域である。この領域３００８は、撮像装置（カメラ）指定チェックボックス３００９、３０１０、３０１１、３０１２と、時刻指定チェックボックス３０１３、３０１４、時刻指定欄３０１５、３０１６から構成される。

　撮像装置指定チェックボックス３００９、３０１０、３０１１、３０１２は、検索の際に検索対象とする撮像装置（カメラ１～４）を指定するボタンである。本ボタンは、押下すると選ばれたことを示すチェックマークがそれぞれ表示される。このマークは再押下すると非表示となり、押下で表示と非表示を繰り返す。
　初期状態においては、全撮像装置を検索対象とするため、撮像装置指定チェックボックスは全て選択状態となる。

　時刻指定チェックボックス３０１３、３０１４は、検索の際に検索対象とする時刻範囲を指定するボタンである。表示の態様については本ボタンも他のチェックボックスと同様である。時刻指定チェックボックス３０１３を選択状態にした場合には時刻範囲の下限を与える。非選択状態にした場合には、時刻範囲に下限を指定しない、即ち、録画装置に記録された最も古い時刻の画像までを検索対象範囲とすることを意味する。
　同様に時刻指定チェックボックス３０１４を選択状態にした場合には時刻範囲に上限を与える。非選択状態にした場合には、時刻範囲に上限を与えない、すなわち、録画装置に記録された最も新しい時刻の画像までを検索対象範囲とすることを意味する。
　時刻指定欄３０１５、３０１６は、上述の上限（先頭時刻）と下限（末尾時刻）の値を指定する入力欄である。
　初期状態においては、全時間帯を検索対象とするため、時刻指定チェックボックスは全て非選択状態、時刻指定欄は空欄とする。

　検索実行領域４０１７は、検索実行を指示する領域である。本領域は、類似人物検索ボタン３０１８と登場イベント検索ボタン３０１９に加え、キーワード指定チェックボックス４０２１とキーワード指定欄４０２２、キーワード付与ボタン４０２３よりなる。
　類似人物検索ボタン３０１８は、検索キー画像３００５による類似人物検索実行を指示するボタンである。検索絞込パラメータ指定領域３００８にてパラメータが指定されている場合には、指定されたパラメータに従って検索の実行をすることを指示する。
　登場イベント検索ボタン３０１９は、登場イベント検索実行を指示するボタンである。検索絞込パラメータ指定領域３００８にてパラメータが指定されている場合には、指定されたパラメータに従って検索の実行をすることを指示する。
　キーワード指定チェックボックス４０２１は、キーワード指定欄４０２２の有効または無効を指定するボタンである。表示の態様については本ボタンも撮像装置指定チェックボックスと同様である。
　キーワード指定欄４０２２は、キーワードの値を指定する入力欄である。
　キーワード指定チェックボックス４０２１がチェックされている状態で類似人物検索ボタン３０１８又は登場イベント検索ボタン３０１９をクリックすると、それらの検索結果が、キーワード指定欄に入力されたキーワードが付加された画像に絞られる。全てが検索対象となるように絞込みパラメータを指定して登場イベント検索すれば、実質的に、キーワードのみで検索できる。
　キーワード付与ボタン４０２３は、キーワード指定欄４０２２に入力されたキーワードを検索結果画像に一括付与する処理（後述する）を指示するボタンであり、初期状態においては、操作できない無効化状態となっている。

　検索結果表示領域４０２０は、検索結果を表示する領域である。検索結果の表示は、検索結果画像をサムネイル表示することにより実施する。初期状態においては、検索結果表示領域４０２０には何も表示されない。
　ここで、ユーザは、映像指定ボタン３００６を押下し、また、撮像装置指定チェックボックス３００９、３０１０、３０１２を押下し、さらに、時刻指定チェックボックス３０１３、３０１４を押下し、時刻指定欄３０１５、３０１６にそれぞれ「2009/6/26 15:30:20」「2009/7/13 12:30:20」と入力する。
　この操作により、検索画面は、類似人物検索実行直前状態、すなわち、図６に示されるタイミング５０４に遷移する。図８Ｂは、この状態における検索画面８０２の一実施例を示したものである。

　図８Ｂの検索画面８０２において、検索キー画像３００５には、動画３００２に表示された人物「Ａさん」が検索キー画像として表示され、また、検索対象としたい撮像装置として「カメラ１、カメラ２、カメラ４」の３つの撮像装置が指定され、検索対象としたい時刻範囲として「2009/6/26 15:30:20から2009/7/13 12:30:20まで」と指定されている状態を示している。
　ここで、ユーザが、類似人物検索ボタン３０１８を押下する。この押下によって録画装置１０２側で検索が行われ、検索画面は、類似人物検索実行直後状態、即ち、図６におけるタイミング５０５に遷移する。図８Ｃは、この状態における検索画面８０３を示したものである。

　図８Ｃの検索画面８０３において、検索結果表示領域４０２０には、検索キー画像３００５をキーとして類似人物検索を実行し得られた検索結果を表示している。検索結果の表示は、検索結果画像３０３１～３１４１を検索結果表示領域４０２０にサムネイル表示（カタログ表示）して行う。
　検索結果画像３０３１～３１４１は、例えば、最上段左から右へ、次に２段目左から右へと検索キー画像に対する類似度が下がる順に並べて表示する。この表示例においては、検索結果画像３０３１が検索キー画像３００５に対し最も類似度が高く、検索結果画像３１４１が（表示されている中では）最も類似度が低いということを示している。
　また、検索結果表示領域４０２０にすくなくとも１つの検索結果画像が表示されたことで、キーワード付与ボタン４０２３が、操作できる有効化状態になる。

　図８Ｃに示された表記において、検索結果表示領域４０２０内の検索結果画像上に図示した円とアルファベットは、人物の顔と人物名称を簡略表示したものである。
　例えば、検索結果画像３０３１には、人物「Ａさん」が登場することを示している。この簡略表示している部分には、もちろん、実際のシステムでの表示では実画像が表示される。
　検索結果画像３０３１の周辺には、頭出し再生ボタン３０３２と検索キー画像指定ボタン３０３３、キーワード対象チェックボックス４０３４を備える。他の検索結果画像でも同様である。
　頭出し再生ボタン３０３２は、検索結果画像を先頭とした連続動画再生開始を指示するボタンであり、右向きの三角形で示される。例えば、頭出し再生ボタン３０３２を押下すると動画３００２が検索結果画像３０３１に切り替り、その検索結果画像を先頭として始まる動画をユーザは、視聴することができる。

　検索キー画像指定ボタン３０３３は、対応する検索結果画像３０３１を検索キー画像３００５として指定するボタンである。例えば、検索キー画像指定ボタン３０３３を押下すると、検索結果画像３０３１が、検索キー画像３００５に表示される。これにより、指定された検索結果画像３００５を使って、画像の再検索を実施することができる。
　類似度表示欄８０３５は、検索キー画像に対する類似度を表示する領域である。検索結果画像３０３１の類似度表示欄８０３５には、例えば、９０という値が表示されており、他の検索結果の類似度表示欄にもそれぞれ数値が表示されている。

　キーワード付与チェックボックス４０３４は、キーワード付与の対象となる検索結果画像を指定するボタンである。表示の態様については本ボタンも他のチェックボックスと同様である。例えば、ユーザが、キーワード付与チェックボックス４０３４を押下すると、チェックマークが表示され、対応する検索結果画像３０３１が、キーワード付与対象となる。類似度表示欄８０３５の数値が一定以上、図８Ｃにおいては７５以上の検索結果画像３０３１、３０４１、３０５１、３０６１、３０７１、３０８１、３０９１のキーワード付与チェックボックスは、デフォルトで既選択状態になる。
　なお、図８Ｃに示された例は、「Ａさん」を目的にした類似人物検索なので、検索結果画像３０３１、３０４１、３０５１、３０６１、３０８１、３０９１、３１２１、３１４１が正解で、検索結果画像３０７１、３１０１、３１１１、３１３１が不正解である。

　類似人物検索実行直後（タイミング５０５）の状態において、キーワード対象チェックボックス４０３４を、本発明のように類似度によって選択状態か否かを切り替える処理を設けることによって、全て非選択状態にする方法や全て選択状態にする従来の方法と比較し、少ない選択操作数で正解画像を選択できる。
　例えば、正解である検索結果画像３０３１、３０４１、３０５１、３０６１、３０８１、３０９１、３１２１、３１４１を全て選択する場合、類似人物検索実行直後状態に全て非選択状態にする方法では、８回の選択操作が必要であり、類似人物検索実行直後状態に全て選択状態にする方法では４回の選択を外す操作が必要である。一方、本実施形態の方法では１回の選択を外す操作と２回の選択する操作の計３回の操作で良い。

　また、ユーザがキーワード指定チェックボックス４０２１を押下し、キーワード指定欄４０２２に「Ａさん」と入力し、さらにキーワード付与ボタン４０２３を押下する。ユーザのこの操作によって、検索画面８０３は、キーワード付与実行直後の状態、即ち、図６のタイミング５０６に遷移する。図８Ｄは、タイミング５０６における検索画面８０４の一例を示したものである。

　次に図７、図８Ａ、図８Ｄ、図８Ｆ、図８Ｇ、図８Ｈ、および図５Ｃを用いて、本発明の登場イベント検索における類似度を用いたキーワードの付与候補を提示する方式について説明する。図７は、本発明の類似画像検索システムにおいて、登場イベント検索結果からのキーワード付与における録画装置と端末装置の間の処理シーケンス図の一実施例を示すである。

　図７を用いて、本発明の登場イベント検索結果からのキーワード付与における録画装置１０２と端末装置１０３の間の登場イベント検索の処理シーケンスを説明する。
　ここで、図６と同様に、図７の軸５０１と軸５０２は、録画装置１０２、端末装置１０３の上部から下部へ進む時系列を表している。また、タイミング７０３～７０７は、それぞれ時系列上でのタイミングを表している。各タイミングにおける端末装置１０３の表示部上に表示される画面の一例や、ユーザ操作内容の一例については後述する。

　図７において、通信７１１～７１８は、録画装置１０２と端末装置１０３間の主な通信を示している。
　通信７１１と通信７１２は、リクエストとレスポンスの関係にあり、通信７１１には登場イベント検索要求を、通信７１２には登場イベント検索結果を含み、この２つの通信により、１回の登場イベント検索要求が実行されることになる。さらに通信７１３は類似人物検索要求を、通信７１４は類似人物検索結果を含む。通信７１６、７１７についても同様である。通信７１５には、画像に対するキーワード付与要求を含む。通信７１８についても同様である。

　次に、図８Ｅ、図８Ｆ、図８Ｇ、および図８Ｈを用いて本発明の類似画像検索システムの端末装置１０３におけるユーザの操作イメージについて説明する。
　図８Ａ、図８Ｅ、図８Ｆ、図８Ｇ、図８Ｈは、本発明の類似画像検索において、端末装置１０３の表示装置２７０に表示される登場イベント検索を行っているときの各フェーズの画面を示す図である。

　図８Ａは、前述したように、検索実行前の初期状態（検索画面８０１）である。ここでは、図７のタイミング７０３における端末装置１０３での検索画面の一実施例である。
　ここで、ユーザは、撮像装置指定チェックボックス３００９、３０１０、および３０１２を押下し、さらに、時刻指定チェックボックス３０１３、３０１４を押下し、時刻指定欄３０１５、３０１６にそれぞれ時刻を入力する。このユーザ操作により、検索画面は、登場イベント検索実行直前状態、即ち、図７のタイミング７０４の端末装置１０３の状態に遷移する。

　図８Ｅは、この状態における検索画面８０５の一実施例を示したものである。検索対象としたい撮像装置として「カメラ１、カメラ２、カメラ４」の３つが指定され、検索対象としたい時刻範囲として「2009/6/26 15:30:20から2009/7/13 12:30:20まで」と指定されている状態を示している。
　図８Ｂの検索画面８０２と比較すると、図８Ｅの検索画面８０５では、検索キー画像３００５が指定されていない。
　ここで、ユーザが、登場イベント検索ボタン３０１９を押下する。すると、検索画面８０５は、登場イベント検索実行直後状態、すなわち、図７のタイミング７０５の状態に遷移する。

　図８Ｆは、この状態における検索画面８０６の一例を示したものである。人物矩形表示８０３６は、画像中の複数の人物から任意の人物を指定するための、操作可能な矩形の枠であり、初期的には、人物領域検出部２１３が人物として認識した領域を示す１つ或いは複数の矩形となっている。人物矩形表示８０３６は、マウスでクリックするなどのユーザ操作によって選択できる。選択状態の人物顔矩形表示８０３６を再度選択すると、非選択状態にできる。選択状態と非選択状態は矩形枠の太さを変えて提示する場合や、色を変えて提示する場合がある。
　登場イベント検索では、検索結果画像３０８１のように１つの画像に２つ以上の選択すべき人物が現れる場合がある。このため、図８Ｃのキーワード対象チェックボックス４０３４ではなく、人物矩形表示８０３６のような選択可能な表示を設ける。
　なお、他の項目に関しては図８Ｃと同じであるので説明を省略する。

　ここで、ユーザが、検索結果画像のうちの１つである検索結果画像３０３１にキーワードを付与したいと考えていて、キーワードを与える操作を、過去にユーザあるいは他のユーザが行っている場合を想定する。
　このとき、ユーザは、検索結果画像３０３１の人物矩形表示８０３６をマウスでクリックして選択操作を行う。その結果、検索画面は、人物選択済み状態、即ち、図７のタイミング７０６の状態に遷移する。また端末装置１０３は、バックグラウンドで、Ａさんの人物画像をキー画像にして類似人物検索要求７１３を行う。

　ここで、先の類似画像検索の説明で、図８Ａから図８Ｂ、および図８Ｂから図８Ｃに遷移したときと比較すると、検索キー画像３００５は指定されておらず、検索結果表示領域４０２０も更新されず、バックグランドで類似人物検索要求処理が行われることに注意されたい。
　その後、類似人物検索要求７１３の応答として、類似人物検索結果７１４を受信することで、図７のタイミング７０６の状態に遷移する。類似人物検索結果には、図５（ｃ）に示した検索結果テーブル３２０が含まれており、属性情報（キーワード）と検索キー画像に対する類似度が格納されている。　
　類似人物検索結果７１４に含まれる検索結果テーブル３２０は、ここでは、キーワード「Ａさん」「Ｂさん」「Ｃさん」が付与されているものおよび空欄すなわちキーワード未付与のものを含んでいる。

　図８Ｇは、タイミング７０６の状態における検索画面８０６の一例を示したものである。図８Ｆと比較すると、人物矩形表示８０３６は、選択済み状態を表す太枠表示になっている。また、キーワード指定欄４０２２がキーワード指定およびキーワード候補選択欄８１００になっている。
　キーワード指定および候補選択欄８１００は、キーワードを入力することが可能であり、表示されている候補の中から選択することも可能である。キーワード指定および候補選択欄８１００は、図８Ｆでの選択操作に呼応して、図８Ｇに示すように自動的に展開される。

　端末装置１０３は、類似人物検索結果７１４を受信すると、検索結果テーブル３２０から、類似度が下がる順にキーワードを取り出して、キーワードの重複を除去してから、キーワード指定および候補選択欄８１００に表示する。
　ユーザは、これを見て、キーワード候補表示欄８１００の「Ａさん」という名称（キーワード）が、検索結果画像３０３１の人物に一致することを確認すると、マウスを使ってクリックなどで「Ａさん」を選択する。それにより、図７のタイミング７０７の状態に遷移し、図８Ｈの検索画像８０８が表示される。

　図８Ｈは、登場イベント検索後のキーワード付与実行直後状態における検索画面を示す図である。キーワードが付与された検索結果画像３０３１に対応付けて、キーワード表示欄８０３７が新たに表示される。キーワード表示欄８０３７は、付与済みのキーワードを示す、小さなタグ状の表示であり、本例では、人物矩形表示８０３６の左辺に接して配置される。
　ユーザは、以後も、検索結果画像の中から１つあるいは複数同時に選択して、キーワード付与操作を行うことができる。１回の登場イベント検索におけるユーザのキーワード付与操作が全て終われば、ユーザは条件を変えて再度登場イベント検索を行うこともできる。
　このようにすることで、ユーザが「Ａさん」の名前の正確な漢字やスペルを知らなくても、他のユーザが正確な漢字やスペルを入力済みであれば、誤りなく入力できる。また、ユーザが、毎回キーボードで「Ａさん」の名前を入力しなくても、マウスでクリックするだけで、キーワードを付与する作業を行うことができる。

　ここまでに示したように、本実施形態に示した類似画像検索システムより、ユーザは類似画像検索の結果に対し、より少ない結果画像の選択回数でキーワードの付与を行うことを可能にした。また、ユーザが登場イベント検索においてキーワードを付与する場合に毎回キーボードによる正確なキーワードの入力を行う必要のないキーワード付与を可能にした。

　また、ここまでの説明においては、撮像装置、録画装置、および端末装置は、各１台に限られず、図１に示したように、撮像装置や端末装置が複数台接続されていてもよい。また、絞込みパラメータは、カメラや時刻に限らず、カメラに併設された各種センサや設備の作動状態や、通信社から配信されるニュース等、各種のものが利用できる。

　本実施形態においては、図７に示すように、登場イベント検索後の検索結果選択後に類似人物検索要求を行った。しかし、登場イベント検索要求７１１時に録画装置１０２内部において類似人物検索要求されたのと同等の処理を行い、あらかじめ各々の検索結果画像に対する類似度によるキーワード付与候補を含めたものを登場イベント検索結果７１２として、検索結果選択時に都度行う類似人物検索要求を省略するような実施形態でもよい。

　また、本実施形態においては、図８Ｇに示すように、キーワード候補表示欄である８１００にキーワードと類似度を表示したが、件数を含めてもよい。図５（ｃ）の類似画像検索の検索結果に含まれるデータ３０２においては「Ａさん」が３件、「Ｂさん」および「Ｃさん」がそれぞれ１件という結果となり、これをキーワード候補表示欄である８１００に表示することでユーザの判断の参考情報を増やすような実施形態でもよい。

　また、本実施形態においては、類似度を図５（ｃ）に示すように、キーワード未付与の検索結果も通信したが、キーワード未付与のものを通信から除くような実施形態でもよい。
　また、本実施形態においては、人物検索に関わる人物検出処理や人物特徴量抽出処理等を録画装置上で実施する構成で説明したが、ネットワークで接続された録画装置とは別個の装置にて実施するようにしてもよい。
　また、本実施形態においては、キーワードが文字列であるように示したが、特定の番号や記号列にて実施するようにしてもよい。

　本発明は、コンピュータによる類似画像検索の結果から、人の視覚を用いて不純物を除き、所望の画像群を提供する用途に好適であり、記録映像からの人物検索のほか、ネットワーク上での映像編集、ネット販売の商品の検索等に利用可能である。

　１０２：録画装置、　１０３：端末装置、　１１０：キーワード記録部、　１１１：キーワード検索部、　１１２：キーワード付与要求送信部、　２００：ネットワーク、　２０１：撮像装置、　２０２：録画装置、　２０３：端末装置、　２１０：画像送受信部、
　２１１：画像記録部、　２１２：再生制御部、　２１３：人物領域検出部、　２１４：人物特徴量抽出部、　２１５：人物特徴量記録部、　２１６：属性情報記録部、　２１７：要求受信部、　２１８：類似人物検索部、　２１９：登場イベント検索部、　２２０：検索結果送信部、　２２１：検索要求送信部、　２２２：検索結果受信部、　２２３：検索結果表示部、　２２４：再生画像表示部、　２２５：画面操作検知部、　２４０：バス、　２４１：撮像部、　２４２：主記憶部、　２４３：符号化部、　２４４：ネットワークＩ／Ｆ、　２５０：バス、　２５１：ＣＰＵ、　２５２：主記憶部、　２５３：補助記憶部、　２５４：ネットワークＩ／Ｆ、　２６０：バス、　２６１：ＣＰＵ、　２６２：主記憶部、　２６３：補助記憶部、　２６４：表示Ｉ／Ｆ、　２６５：入出力Ｉ／Ｆ、　２６６：ネットワークＩ／Ｆ、　２７０：表示装置、　２８０：キーボード、　２８２：マウス、　３００：フレームテーブル、　３０１：画像ＩＤ、　３０２：フレームデータ、　３１０：属性情報テーブル、　３１１：登録ＩＤ、　３１２：画像ＩＤ、　３１３：特徴量、　３１４：カメラＩＤ、　３１５：時刻情報、　３１６：キーワード、　３２０：類似画像検索の検索結果に含まれるデータ、　８０１、８０２、８０３、８０４、８０５、８０６、８０７、８０８：検索画面、　３００１：再生画像表示領域、　３００２：動画、　３００３：画像再生操作領域、　３００４：検索キー画像指定領域、　３００５：検索キー画像、　３００６：映像指定ボタン、　３００７：ファイル指定ボタン、　３００８：検索絞込パラメータ指定領域、　３００９～３０１２：撮像装置指定チェックボックス、　３０１３～３０１４：時刻指定チェックボックス、　３０１５～３０１６：時刻指定欄、　３０１７：検索実行領域、　３０１８：類似人物検索ボタン、　３０１９：登場イベント検索ボタン、　３０２０：検索結果表示領域、　３０３１、３０４１、３０５１、３０６１、３０７１、３０８１、３０９１、３１０１、３１１１、３１２１、３１３１、３１４１：検索結果画像、　３０３２：頭出し再生ボタン、　３０３３：検索キー画像指定ボタン、　４０１７：検索実行領域、　４０２０：検索結果表示領域、　４０２１：キーワード指定チェックボックス、　４０２２：キーワード指定欄、　４０２３：キーワード付与ボタン、　４０３４：キーワード付与チェックボックス、　８０３５：類似度表示欄、　８０３６：人物矩形表示、　８０３７：キーワード表示欄、　８１００：キーワード指定およびキーワード候補選択欄。

Claims

　撮像装置、前記撮像装置から入力された画像データを記録媒体に記録する録画装置、および端末装置から構成される類似画像検索システムにおいて、
　前記録画装置は、前記画像データの特徴量を抽出して、画像の類似度を評価し、検索キー画像を指定して、指定された当該検索キー画像に対して類似度が高い画像データを検索し、各々の画像データにキーワードを付与する手段と、前記キーワードの付与候補を動的に提示する手段を有することを特徴とする類似画像検索システム。
　撮像装置、前記撮像装置から入力された画像データを記録媒体に記録する録画装置、および端末装置から構成される類似画像検索システムにおいて、
　前記端末装置は、前記録画装置が当該登場イベント検索手段を実行した結果を表示し、
　前記録画装置は、前記端末装置に表示された画像データの一覧から、ユーザによって選択された画像を検索キー画像として類似度が高い画像データを検索し、類似画像検索結果にキーワード付与済みの結果が含まれていれば、そのキーワードを付与候補として表示する、画像の類似度によらず画像データの一覧を提示する登場イベント検索する手段を有することを特徴とする類似画像検索システム。