JP6088381B2

JP6088381B2 - 物体検索システム

Info

Publication number: JP6088381B2
Application number: JP2013161106A
Authority: JP
Inventors: 都堀田; 堀田　　都; 三好　雅則; 雅則三好; 伊藤　光恵; 光恵伊藤; 一成岩永
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 2013-08-02
Filing date: 2013-08-02
Publication date: 2017-03-01
Anticipated expiration: 2033-08-02
Also published as: JP2015032133A

Description

本発明は、映像から、特定の種別の物体を検出する物体検索システムに関する。

セキュリティ確保のため、監視カメラの需要の増加に伴い、記録された映像の解析支援技術の重要性が高まっている。特定の対象の検出を目的とした用途の場合、従来は、大量の映像から、目視により検出を行っていたため、膨大な人手と時間がかかっていた。検出効率向上のため、対象の属性情報から検索範囲を絞り込める機能が必要である。特に、検出対象の種別、例えば対象が人であるか二輪車であるか車であるか、等の情報により検索対象を絞り込める技術が望まれている。

記録された映像から、オブジェクトを検索する技術として特開2005−210573号公報(特許文献１)がある。特許文献1には、映像データ中に写っている個々の物体を検出し、同一の物体が複数の画像フレームに渡って写っている期間を１つの映像期間単位とし、この映像期間における同一物体を強調表示するものが記載されている。これにより映像内容の把握をより短時間で可能としている。

特開2005−210573号公報

しかし、特許文献1によれば、映像データ中の同一物体を強調表示できるものの、そもそも映像データに含まれる物体の種別の識別、更には、識別された物体の種別の確からしさについては何ら考慮されていない。したがって、映像に映る個々の物体を検索することができても、特定の種別の物体、例えば「二輪車」に絞り込んで検索することができない。このため、「二輪車」のみを検索したいユーザであっても、二輪車以外を含む個々の物体を順に参照しなければならない。

そこで、本発明は、映像データから特定の種別の物体を効率的に検索可能な物体検索システムを提供する。

本発明は、映像データを入力する映像入力部と、入力された映像データを構成する画像データフレームから物体領域を抽出する物体抽出部と、上記物体領域内の画像の１つ以上の第１の特徴量に基づき上記物体領域内の物体種別を識別する物体種別識別部と、上記抽出された物体領域の１つ以上の第２の特徴量に基づき物体種別確信度を求める物体種別確信度算出部と、上記画像データフレーム毎に物体種別及び物体種別確信度を対応付けて記憶する物体情報格納部と、検索条件として入力される物体種別に対応する画像データフレーム及び物体種別確信度を、上記物体情報格納部より検索し表示部に出力する検索部を有し、上記第２の特徴量は、少なくとも、上記抽出された物体領域の面積、上記画像データフレーム中における上記抽出された物体領域の位置、連続する複数の画像データフレームにおける上記抽出された物体領域の縦横比の分散及び物体領域の面積の変動のうち何れかを含み、上記物体種別確信度算出部は、上記第２の特徴量のうち、上記抽出された物体領域の面積と所定のしきい値と比較し上記しきい値以下の場合、上記物体領域の面積を上記しきい値で除算した値を上記物体種識別確信度とすることを特徴とする。

本発明によれば、映像データから特定の種別の物体を効率的に検索可能な物体検索システムを提供できる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の実施例１に係る物体検索システムの機能ブロック図である。物体種別識別部の機能ブロック図である。特徴量算出部で算出する特徴量の説明図である。車の画像に対し特徴量算出部で抽出した特徴量の説明図である。自転車の画像に対し特徴量算出部で抽出した特徴量の説明図である。人の画像に対し特徴量算出部で抽出した特徴量の説明図である。物体情報格納部に格納された情報の例を示す図である。識別基準格納部に格納された識別基準の例を示す図である。物体種別判定部による処理フロー図である。物体情報格納部に格納される各データ項目の説明図である。物体情報格納部に格納された情報の例を示す図である。種別スコアを用いた判定方法の説明図である。フレーム間追跡部による処理を説明する図である。フレーム間追跡処理後の物体情報格納部の状態を示す図である。物体が移動中に遮蔽物に隠れる状態を示す図である。物体領域が画像データフレームの端部に接する状態を表す図である。物体領域抽出と物体領域面積変動との関係を表す図である。物体種別確信度算出部の処理フロー図である。物体が遮蔽物に隠れる状況での物体識別確信度の算出を説明する図である。物体種別確信度を算出し物体情報格納部へ格納した状態の説明図である。表示部に表示される画面例である。検索部による検索結果リストである。検索部による処理フロー図である。サムネイル表示領域に表示する物体情報を格納するサムネイル作成リストである。本発明の実施例２に係る物体検索システムの機能ブロック図である。確信度考慮物体種別識別部の機能ブロック図である。物体情報格納部の状態の説明図である。物体情報格納部の状態の説明図である。追跡物体総合判定後の物体情報格納部の状態説明図である。追跡物体総合判定スコアの時間的変化の説明図である。本発明の実施例３に係る物体検索システムの機能ブロック図である。

以下、実施例を図面を用いて説明する。

図１は、本発明の実施例１に係る物体検索システムの機能ブロック図である。物体検索システムは、映像入力部１、物体抽出部３、物体種別識別部３、物体種別確信度算出部４、物体情報格納部５、検索部６と表示部７から構成される。なお、ここで物体抽出部３、物体種別識別部２、物体種別確信度算出部４及び検索部６は、ＣＰＵ及びＲＡＭ、ＲＯＭ等のメモリで実現され、メモリに記憶されたプログラムをＣＰＵが実行することで後述する処理を行う。本実施例においては、映像データは屋外の路上に設置されたカメラで撮影されたものを想定し、映像データから検出する物体、すなわち、物体の種別として、人、二輪車及び車を例に説明するがこれに限られるものではない。以下に物体検索システムを構成する上記各部の詳細を説明する。

映像入力部１は、監視カメラなどにより撮影した映像データを入力する。映像データは時系列で連続して、現在の時刻をｔとすると時刻ｔの画像データフレーム、時刻ｔ＋1の画像データフレーム、時刻ｔ＋2の画像データフレーム‥として順に入力される。映像データは、カメラから直接入力してもよいし、一旦、バッファに（図示せず）に記録した後、バッファから読み出された映像データを入力するのでも構わない。

物体情報格納部５は、入力された映像データを構成する画像データフレームに対し後述する処理により抽出される物体に関する情報を格納するメモリである。

物体情報格納部５に格納されるデータ項目の例を説明する。図１０は、物体情報格納部に格納される各データ項目の説明図である。時刻の欄には物体を検出した時刻が格納され、物体ＩＤの欄には、時刻tにおいて検出した物体のＩＤが格納される。これら時刻と物体ＩＤの組合せでユニークとなる番号である。物体領域座標の欄には、後述する物体抽出部３により抽出された物体領域の座標が格納される。画像データフレーム内で物体が検出された位置を、例えば外接矩形の始点、終点のx、y座標などにより格納する。特徴量は、後述する物体識別部２の処理中で算出される特徴量の値を格納する領域である。例として特徴量1から3までの3種類を示したが、特徴量の数はこれに限られるものではない。種別の欄は物体種別識別部２により識別した、当該物体の種別の識別結果である。種別スコアの欄は物体種別識別部２の識別処理時に、識別器などを用いて判定する場合に算出される種別らしさを示す種別スコアである。追跡物体ＩＤの欄は、当該物体に対し、過去の時刻の物体と照合した結果同一物体と判定した場合に、個々の追跡物体に対しユニークに採番する追跡物体ＩＤである。追跡物体種別の欄は、同一物体に対し、現在時刻の物体種別判定結果と、過去の物体種別判定結果から、総合的に物体種別を判定した結果の物体種別である。各欄のデータ項目の算出方法や格納されるタイミングなどの詳細は、以降、順に説明していく。

物体抽出部３は、映像入力部１から入力した画像データフレームから物体の領域を抽出する。映像から物体を抽出する方法については、ディジタル画像処理編集委員会監修「ディジタル画像処理」(ＣＧ−ＡＲＴＳ協会,2004年) に記載があるような、一般的な手法のいずれかを用いる。例えば画像間の差分をとることで移動領域を抽出する手法である背景差分、フレーム間差分、もしくは物体に関する特徴量を大量のサンプルから学習しておき、映像中から当該物体とされる特徴量の領域を物体領域として抽出する方法などがある。

本実施例では例として、映像中の連続した画像データフレーム間の差分を取ることで移動領域を抽出するフレーム間差分法を用いる場合を例に以降説明する。抽出した物体領域は、外接矩形の座標を算出し、図10の物体領域座標の欄に格納する。

物体種別識別部２は、物体抽出部３で抽出した物体領域から算出する一つまたは複数の特徴量から物体の種別を識別する。

次に物体種別識別部２の詳細構成を説明する。図２は、物体種別識別部の機能ブロック図である。物体種別識別部２は、物体領域の物体種別の判定に用いる特徴量を算出する特徴量算出部21、物体種別を識別する基準を格納する識別基準格納部22、特徴量算出部21で算出した特徴量を識別基準格納部22に格納した識別基準と照合し、物体種別を判定する物体種別判定部23、当該物体を過去の時刻で検出した物体と同定するフレーム間追跡部24、追跡処理の結果、現在時刻の物体種別判定結果と、過去の物体種別判定結果から、総合的に物体の種別を判定する物体種別総合判定部25からなる。判定した物体種別等の情報は物体情報格納部5に格納する。

特徴量算出部21は、物体領域の物体種別の判定に用いる特徴量を算出する。物体種別の判定には、識別対象の物体の識別に有効な特徴量を一つまたは複数選定し、特徴量から得られる数値により物体種別を判定する。

本実施例おいては、「車」、「二輪車」、「人」の3種別の物体を識別する場合を例に説明する。これら3種類の物体を識別する特徴量として、水平エッジの数、円の数(楕円を含む)、現在の画像データフレームと前の時刻の画像データフレーム(以下では、前フレーム)とのマッチングの最大相関値を用いる。図３は特徴量算出部で算出する特徴量の説明図である。水平エッジは、画像中から検出される水平方向のエッジである。図3(a)に示すように車の屋根やウインドウの上端下端、バンパーなど、車に対して多く検出できる特徴量である。水平エッジは、例えば特開２００８−２９９４５８号公報に記載があるように、画像に対し、水平方向のエッジが抽出できるようなカーネルを設定し、ソーベルフィルタを掛けることで算出できる。

円や楕円は、図3(a)もしくは図3（ｂ）に見られるように、車輪の円の部分で検出できる、車や二輪車に特有の特徴量である。これはたとえばディジタル画像処理編集委員会監修「ディジタル画像処理」(ＣＧ−ＡＲＴＳ協会,2004年)p21３~p21４に記載のように、ハフ変換等の手法で検出することができる。

前フレームとのマッチングの相関値は、あるフレームで検出された物体の領域が、その前のフレームの物体領域と類似している度合いについての特徴量である。図３(c)は、時刻ｔの画像データフレーム39と時刻ｔ＋1の画像データフレームを示している。画像データフレーム38中の領域3aは、物体抽出部３で抽出した物体領域である。次の時刻であるt+1の画像データフレーム39中の領域3bは、領域3aの示す物体の時刻t+1における位置の領域である。領域3bは、例えば、領域3aをテンプレートとし、画像39中で最も画像特徴が類似した領域とマッチングをすることで求められる。マッチングの手法としてはディジタル画像処理編集委員会監修「ディジタル画像処理」(ＣＧ−ＡＲＴＳ協会,2004年) p202〜p204などを用いることができるが、ここで算出する類似度もしくは相違度を特徴量とする。類似度は、物体が車や二輪車の場合には変化が小さいので値が大きいが、物体が人の場合には、足の動きにより値が小さくなることが一般に特徴づけられる。尚、以下の例は物体領域全体で類似度を算出しているが、足の動きの変化の特徴をより正確にとらえるために、物体領域の下半分に限定して類似度を算出するようにしてもよい。

特徴量算出部２１の処理を説明する。図４は車の画像に対し特徴量算出部２１で抽出した特徴量の説明図である。時刻tの車の画像に対し特徴量算出部２１で抽出した特徴量の例である。画像４１は物体抽出部３により物体aの物体領域４６が抽出された結果の画像、画像４２は水平エッジが特徴量として抽出された結果の画像である。画像４３は楕円を特徴量として抽出した結果の画像であり、画像４４と画像４５はそれぞれ時刻t-1と時刻tの画像であり、時刻ｔで抽出した物体領域４eをテンプレートとして、前の時刻t-1の画像44とマッチングを取った結果の領域が物体領域4dである。特徴量算出部２１は、以上の処理で抽出した特徴量を数値化し、物体情報格納部５に格納する。図７は物体情報格納部に格納された情報の例を示す図である。特徴量１は「水平エッジの数」、特徴量２は「円の数」、特徴量３は「前フレームとのマッチング結果の類似度」とする。物体aの特徴量は、図４の水平エッジ特徴量抽出結果の画像４２から、水平エッジ47、48、49、4aが検出され、特徴量１の欄には数値「４」が格納される。特徴量２の欄には、楕円4b、4cが検出され数値「2」が格納される。特徴量3の欄には「前フレームとのマッチング結果の類似度」が格納され、図４に示す例では、時刻tの画像４５中の物体領域4eをテンプレートとして、時刻t-1の画像４４における物体領域4dがマッチングされる。物体aの場合、画像４４及び画像４５との間での変化が小さいため、物体領域４eと物体領域４ｄとの類似度0.96が格納される。

図５は自転車の画像に対し特徴量算出部で抽出した特徴量の説明図である。画像５１は物体抽出部３により物体ｂの物体領域５６が抽出された結果の画像、画像５２は特徴量算出部２１により水平エッジを特徴量として抽出した結果の画像である。画像５３は特徴量算出部２１により楕円を特徴量として抽出した結果の画像であり、画像５４と画像５５はそれぞれ時刻t-1と時刻tの画像であり、時刻ｔで抽出した物体領域5aをテンプレートとして、前の時刻t-1の画像54とマッチングを取った結果の領域が物体領域59である。物体ｂについて図７に示す物体情報格納部に格納される値を説明する。図５において水平エッジを特徴量として抽出した結果の画像52から、物体領域57中では水平エッジが検出されないため特徴量1の欄には「0」が格納される。特徴量2の「円の数」は図5の円特徴量抽出結果の画像53中の物体領域58中から、円5c、5dが検出されたため特徴量２の欄には「2」が格納される。特徴量3の「前フレームとのマッチング結果の類似度」は、物体領域５aをテンプレートとして画像54の上でマッチングをした結果、最も類似度の高い領域との類似度である。物体bの場合、画像５４と画像５５間での変化は小さいが、足の動き等で多少変化があるため、類似度0.90が算出され、特徴量３の欄に格納される。

図６は人の画像に対し特徴量算出部で抽出した特徴量の説明図である。画像61は物体抽出部３により物体ｃの物体領域６６が抽出された結果の画像である。画像62は特徴量算出部２１により水平エッジを特徴量として抽出した結果の画像であり、画像63は特徴量算出部２１により楕円を特徴量として抽出した結果の画像であり、画像64と画像65はそれぞれ時刻t-1と時刻tの画像である。時刻ｔの画像６５において抽出した物体領域6aをテンプレートとして、前の時刻t-1の画像64とマッチングを取った結果の領域が物体領域69である。物体cについて図７に示す物体情報格納部５に格納される値について説明する。物体cの特徴量は、図６の水平エッジ特徴量抽出結果の画像62から、物体領域67には水平エッジが検出されないため特徴量1の欄には「0」が格納される。図6の円特徴量抽出結果の画像63中の物体領域68には円が検出されないため特徴量２の欄には「０」が格納される。画像６５中の物体領域６aをテンプレートとして画像６４上でマッチングした結果、物体領域６aと物体領域６９との類似度0.8が算出され、図7中の特徴量３の欄に「0.8」が格納される。これは物体領域６aと物体領域６９との間で足の動きが大きいため、類似度が0.8と低い値となっている。

以上のように、特徴量算出部２１は、物体抽出部３で抽出した物体領域ごとに特徴量を算出し、その値を物体情報格納部５に格納する。

本実施例では、「人」、「二輪車（自転車）」、「車」の識別に3種類の特徴量を用いる場合を説明したが、これに限られるものではない。他の特徴量として、移動方向の時系列の変動がある。画像データフレーム間の差分により検出される移動方向は、一般的に「二輪車」の場合ほぼ一定の方向となるのに対し、「人」の場合にはその移動方向は上下左右さまざまな方向となる。従って、移動方向の時系列の変動を特徴とすれば「人」と「二輪車」の識別に有効となる。なお、移動方向の時系列の変動の検出には、例えば連続した２フレーム間でオプティカルフローを算出し、物体領域内で発生したオプティカルフローの方向の平均値を算出することで求めることができる。オプティカルフローは、ディジタル画像処理編集委員会監修「ディジタル画像処理」(ＣＧ−ＡＲＴＳ協会,2004年) p243〜p245に記載の方法を用いて求めることができる。この処理を時系列で連続して実施し、動き方向の変化の値、もしくは動き方向の分散を算出し、この値が一定しきい値以上であれば「人」、一定しきい値以下であれば「二輪車」として識別することができる。

次に、図２の識別基準格納部２２につき説明する。識別基準格納部22は、物体領域の特徴量から、その物体の種別を判定するための基準を格納する。識別基準の例を図8に示す。「車」、「二輪車」、「人」のそれぞれにつき特徴量1（水平エッジ数）、特徴量2（円の数）、特徴量3（前フレームとのマッチング結果の類似度）のそれぞれの値のしきい値を設定しており、例えば「車」は特徴量1が2より大きく、特徴量2が1以上、特徴量3が0.9より大きいという、各基準を満たしたものが車として判定されることになる。これらのしきい値は例えば多くの画像サンプルから特徴量を求めて帰納的に求めるなどして設定する。

次に、図2の物体種別判定部23について説明する。物体種別判定部２３は、識別基準格納部２２に格納された識別基準に基づき、特徴量算出部２１により抽出した特徴量から、物体種別を判定する。

図９は、物体種別判定部による処理フロー図である。

物体種別判定部２３は、物体抽出部３により抽出した物体領域のうち、i番目の物体領域について、特徴量算出部２１で抽出した特徴量を物体情報格納部５から読みだす（ステップs91）。

物体iの特徴量が、識別基準格納部22に格納されている「車」の識別基準を満たすか否かを判定する(ステップs92)。物体iの特徴量が「車」の識別基準を満たせば「車」と判定し、図１０に示す種別の欄に「車」を格納しステップs99へ進む(ステップs93)。満たさなければ次のステップs94に進む。

物体iの特徴量が、識別基準格納部22に格納されている「二輪車」の識別基準を満たすか否かを判定する（ステップs94）。物体iの特徴量が「二輪車」の識別基準を満たせば「二輪車」と判定し、図１０に示す種別の欄に「二輪車」を記録しステップs99へ進む(ステップs95)。満たさなければ次のステップs96に進む。

物体iの特徴量が、識別基準格納部22に格納されている「人」の識別基準を満たすか否かを判定する（ステップs96）。物体iの特徴量が「人」の識別基準を満たせば「人」と判定し、図１０に種別の欄に「人」を記録しステップs98に進む(ステップs97)。満たさなければステップs98に進む。

物体iの特徴量が、識別基準格納部22に格納されている「車」「二輪車」「人」の識別基準のいずれも満たさない場合に、物体iの種別を「不明」としs99の処理に進む。

検出された全ての物体iについての処理が終了したかどうかを判定する(ステップs99)。終了したと判定した場合は物体種別判定部23の処理を終了し、終了していないと判定した場合はステップs9aに進む。

物体のカウンタiを1進め、次の物体i＋1に対しての処理をステップs91に戻り上記の処理を繰り返し実行する。

尚、上記ステップのうちステップs92、スッテプs94、ステップs96の判定の内容は、本実施例が、物体種別を「車」「二輪車」「人」の３種類に識別する例を用いていることに依存しており、識別の分類の決め方によっては必ずしもこれに限らない。

また、本実施例では、識別基準を図8に示す、特徴量毎のしきい値で判定する方法を用いたが、必ずしもこれに限らない。例えば、識別するそれぞれの種別の対象につき、多数のサンプル画像をあらかじめ準備し、学習により識別器を作成しておき、物体種別判定部２３では、物体の特徴量を識別器に入力することでその出力結果により種別を判定する方法とることができる。識別器の種類としては判別分析、SVM及びニューラルネットワークなど、これらに類似する手法を用いることができる。この場合、識別器の出力として、その物体種別らしさの度合いを示すスコアを算出することができるため、これも物体情報として格納しておく。

次に、図１０に示す種別スコアについて算出方法と種別スコアを用いた物体種別の識別別について説明する。図１１は物体情報格納部に格納された情報の例を示す図である。ここでは、物体種別として「人」と「二輪車」の2種類を識別する場合を例にとる。物体抽出部３で抽出した複数の物体領域のそれぞれについて、特徴量算出部21で抽出した特徴量の値、それらの特徴量から算出した種別スコア、種別スコアから判定した物体種別を示したものである。

なお、特徴量1（水平エッジの数）、特徴量2（円の数）、特徴量3（類似度）の内容は図3で説明したもの同様である。これらの特徴量から「人」と「二輪車」を識別するため、この例では判別分析により作成した判別関数を用いて識別するとする。判別分析は、複数の変数によって、分類の変数を予想する手法である。手法の詳細は例えば永田靖、棟近雅彦著「多変量解析法入門」（（株）サイエンス社、2001年）のp99-p118に記載がある。判別のためには、予め、物体種別が既知の物体領域の特徴量のデータを多数用いて上記文献に記載の方法で判別関数を作成する。判別関数により算出する分類の変数が、図１１の例での種別スコアで、種別スコアを一定のしきい値で分割することで種別を判定することができる。

図１１に示す、特徴量1、特徴量２、特徴量3の変数により作成した判別関数を以下の式１とする。

物体領域ごとに、特徴量の値を式1の判別関数に代入して種別スコアを算出する。特徴量1の値をX1に、特徴量2の値をX2に、特徴量3の値をX3に代入することで算出した値を種別スコアの欄に示している。

図１２は種別スコアを用いた判定方法の説明図である。種別スコアを縦軸にとりプロットしたグラフを示す。図１２中、破線351は判別関数の判別しきい値であり、しきい値より種別スコアが大きい場合を「二輪車」、しきい値より種別スコアが小さい場合を「人」と判定する。しきい値により、物体a及び物体bは「二輪車」、物体c及び物体dは「人」と判定し、図１１の種別の欄に種別判定結果が格納される。

以上の種別スコアの算出による判別方法は、物体領域の１つまたは複数の特徴量から、特定の種別らしさの値を求める方法である。判定により「二輪車」「人」等の種別も判定できる上に、それぞれの種別らしさの程度も種別スコアとして定量的に求めることができるため、判定結果を活用する場合の情報量が多い効果がある。

以上が種別スコアの算出方法と、種別スコアを用いた識別方法の具体例である。

物体種別判定部23の処理により判定された物体種別、種別スコアは、図１０に示される物体情報格納部5の「種別」及び「種別スコア」の欄にそれぞれ格納する。

次に、図2のフレーム間追跡部24につき説明する。フレーム間追跡部24は、現在時刻tの画像データフレームで物体抽出部３により抽出した物体が、前の画像データフレームに存在したか否かを追跡する。これは、物体情報格納部５から、直近の時刻の画像データフレームの物体情報を順に参照し、その類似度により同一物体か否かを判定する。

判定する方法としては、例えば、現在時刻tと時刻t-1の物体情報を比較し、物体領域情報から、大きさの変化が小さく位置が近い物体を同一物体として照合する。具体的には、物体情報格納部5に格納される「物体領域」の情報から、（1）物体領域の面積の差がしきい値以下、（2）物体領域の距離がしきい値以下、の条件を満たす場合に類似度が高いとし同一物体として判定できる。このように、フレーム間追跡手段24で、異なる時刻間で同一物体と判定された物体には、同一のIDを付与する。

図１３はフレーム間追跡部による処理を説明する図である。画像１２１は時刻t+n-1の画像であり、物体領域122が物体抽出部３により抽出されている。この物体領域１２２は左上座標を（300,122)、右下座標を(380,284)、矩形中心を（340、203）とする面積12960の領域とする。これに対し、画像１２３は次の時刻t+nの画像であり、物体領域１２４が抽出されている。この物体領域１２４は左上座標を（308,124）、右下座標を（389,285）、矩形中心を（348,204）とする面積13041の領域とする。例えばしきい値を下記のように設定すると、この例では条件を二つとも満たすため、物体領域122と物体領域124は同一物体と判定する。（1）面積の差の条件しきい値：現在の面積から現在面積の１／２の範囲（2）領域間の距離：物体領域間の距離＜100 しきい値は、物体の解像度などの情報から適切に設定する。

尚、この例では物体情報格納部５から得られる物体領域の情報のみから照合する例を用いたが、物体領域の画像間マッチングをして得られた相関値のしきい値判定により判断する方法もある。

図１４は、フレーム間追跡処理後の物体情報格納部の状態を示す図である。図１３において説明したように物体領域１２２及び物体領域１２４は同一物体であると判定されたことにより、それぞれ時刻t+n-1における追跡物体ＩＤ、時刻ｔ＋ｎにおける追跡物体ＩＤには同一のID「2」が格納される。

次に、物体種別総合判定部25につき説明する。物体種別総合判定部25は、同一の追跡物体に対し仮にフレーム間で異なる物体種別判定がなされた場合でも、総合的にいずれの種別であるかの判定を可能とするものである。

物体種別総合判定部25については、いくつかの実現方法が考えられる。一番目の実現方法としては、複数の画像データフレームそれぞれの種別判定結果を集計し、最も多い種別をその追跡物体の種別とする方法である。この場合は、同一の追跡物体の追跡の最終フレームでの総合判定結果が、その追跡物体の種別となる。

二番目の実現方法としては、特定の種別の判定が連続し、予め設定したしきい値回数を超えた場合に、その物体の種別として割り当てる方法である。この方法によれば、しきい値を超えた時点で追跡物体の種別を判定することができる。この方法を用いる場合は、しきい値を超えた時点で、図１４に示す追跡物体種別の欄に判定した物体種別を格納し、以降追跡が連続しても物体種別を変更しないものとする。

三番目の実現方法としては、物体種別判定部23で種別スコアを算出する場合に、同一物体の種別スコアの平均値に基づいて物体種別判定する方法である。この方法では、各フレーム毎に、当該フレーム以前の同一物体のスコアを累積し、平均を取った値を用いて識別器で種別判定し、その判定結果の物体種別を図１４の追跡物体種別欄に格納する。このため、一番目の実現方法同様、同一の追跡物体の追跡の最終フレームでの総合判定結果が、その追跡物体の種別となる。

以上、物体種別総合判定部25の実現方法について述べたが、いずれの方法を取っても、各追跡物体の最終的な物体種別は、追跡物体IDが同一のレコードのうち最も新しい、追跡順でいうと最終のレコードの追跡物体種別に格納されている種別が当該追跡物体の種別とする。

次に、物体種別確信度算出部４の処理につき説明する。物体種別確信度算出部４は、物体領域がどの程度正確に抽出できているかを、物体領域の特徴量を用いて算出する。すなわち抽出された物体領域の確からしさを物体種別確信度として算出するものである。

すでに述べた物体種別識別部２では、物体抽出部3で抽出した物体領域を、その物体の領域の全体が抽出されている前提で、物体領域の特徴量を抽出し、物体種別を判定する。このため、物体抽出部３で物体領域が適切に抽出できなかった場合には、その種別の物体の特徴部分が抽出できないことが原因で、物体種別判定が正しくされないことがある。

図１５は物体が移動中に遮蔽物に隠れる状態を示す図である。画像１４１は時刻t、画像144は時刻t+1の連続した時刻の画像データフレームであり、それぞれの画像中で、「人」である物体は遮蔽物である植え込み142の向こう側を歩いているため、物体領域としては、足の部分が隠れて胴体から上の部分のそれぞれ物体領域143、物体領域145しか見えていない。この場合、「人」を識別する特徴である足の動きが隠れるため、物体領域143と物体領域145のマッチング結果の類似度は足が正確に見えている場合より高くなると考えられる。その結果、物体種別識別部２の処理により、この物体を「二輪車」と誤判定する場合が生じる。

上記のように、物体領域が正確に抽出できていない場合には、その物体領域の特徴量から物体種別を判定した結果の信頼度が下がる傾向にある。物体種別判定結果の信頼度を求めるため、物体領域を正確に抽出できている程度を、物体抽出部３で抽出した物体領域の情報から算出するのが物体種別確信度算出部４である。

確信度が高い物体領域とは、物体種別判定に使う特徴量が十分取得できる条件であるため、物体種別確信度は、物体領域が画面からはみ出していないかどうか、物体領域の面積が十分大きいかどうか、物体領域が遮蔽物に遮蔽されている可能性があるかどうか、等を物体領域の情報から判断する。具体的には、物体種別確信度は、下記の式２により算出する。

物体種別確信度＝要因1係数×要因2係数×要因3係数×要因4係数 … 式2
確信度が低くなる要因と考えられる1つまたは複数の要因を、それぞれ物体領域の特徴量から判定し、確信度が低くなる場合には係数を小さく、確信度が高くなる場合には係数を大きくなるように算出する。それらの積により総合的に物体領域が正確に抽出できている度合いを算出する。

確信度を算出する要因となる物体領域の特徴量として以下のものがある。

要因1は、物体領域の大きさの特徴量である。物体が画像中で遠方にあるなどして、抽出される物体領域が小さい場合、物体領域内の画像に特徴が表れにくい。
このため、物体抽出部３で抽出した物体領域の大きさにより、要因1の係数を以下の式３のように設定する。

物体領域の面積が所定のしきい値より大であれば係数は1.0とし、それ以下の場合は大きさに比例して小さくし、物体領域が小さくなるほど係数が小さくなるようにする。Area_thはそれ以上であれば物体の特徴量が取得できる大きさを、解像度を考慮して決定する。

要因2は、物体領域が画面データフレームの端部に接しているか否かの特徴量である。図１６は物体領域が画像データフレームの端部に接する状態を表す図である。画像データフレーム151内で物体領域152が画面左端に接している。この場合、物体領域１５２内の物体の一部のみが物体領域として抽出されている可能性がある。画像処理技術では物体の全体が見えているか否かを判断するのは困難である。そこで、物体領域が画面端に接している場合には物体領域の一部が隠れている可能性が高いとし、要因2の係数を下げるとする。要因2の係数を以下の式４のように設定する。

要因3として、物体領域の縦横比の変化の特徴量がある。一定の方向に動いていると仮定すると、物体領域の見かけの面積はフレーム間で変化するが縦横比は大きくは変化しない特徴量といえる。

縦横比が変化する要因として、図１５に示すように、物体が移動中に一部が遮蔽物により隠れるようなケースが考えられる。この場合は、物体が遮蔽物のない領域に存在する物体領域と、遮蔽物のある領域に存在する物体領域とでは、物体領域の縦横比に変化が生じる。また、物体領域の縦横比に変化が生じる他の場合として、夜間など照明が十分に物体に当たっていない環境、または照明が物体の移動方向手前側のみに照射されいる環境がある。このような照明環境下では、抽出された物体領域の面積が小さいほど、その物体領域内に存在する物体の全体像は抽出されず、物体領域の縦横比に変化が生じる。従って、画像データフレーム間の物体領域の縦横比の変動を検知することで、物体領域抽出が正確に行われていないことを検知することができる。

これを利用し、追跡中の物体領域の縦横比の値の時系列分散を算出し、この値が所定のしきい値より小さい場合には縦横比変動が小さく、物体領域の確信度が高いとして要因3の係数を大きくし、所定のしきい値以上の場合には縦横比の変動が大きく、物体領域の確信度が低いとして要因3の係数を小さくする。要因3の係数は下記の式５にて設定する。

物体領域の縦横比分散が所定のしきい値より小さければ係数は1.0とし、所定のしき値以上の場合は大きさに反比例して小さくし、分散が大きくなるほど係数が小さくなるようにする。Var_thは、時系列で物体領域が安定して抽出できる場合の分散などを考慮して決定する。尚、分散の値は、現在時刻tを基準とし、直近のNフレーム分の物体領域データを物体情報格納部５から取得し算出する。

次に、要因4として、物体領域の面積の上下変動の特徴量がある。図１５、図１６で説明したケースでは、面積変動を検出することによっても物体領域を正確に抽出できているかどうかを確認できる。物体領域の面積の上下変動について、図１７は物体領域抽出と物体領域面積変動との関係を表す図である。図17中のグラフ171は、物体領域抽出が安定してできている場合の物体領域面積の変動値を表したグラフである。図中、縦軸は物体領域の面積を示し、横軸は時間軸を示す。グラフ171の面積変動172は、物体が画像中の奥側から手前側に移動しているため、面積が時系列で増加傾向にある。連続した期間174の面積変動値を直線近似すると、近似式173からの各時刻の面積値との残差は小さく一定の傾きで変化している。

これに対し、図17のグラフ175は、例えば上述の夜間など照明環境が不十分な状況での物体領域抽出が正確にできない場合の物体領域面積の変動値を表したグラフである。図中、縦軸は物体領域の面積を示し、横軸は時間軸を示す。面積変動176は、物体が画像中の奥側から手前側に移動しているため、面積は時系列で増加傾向にある。連続した期間178の面積変動値を直線近似すると、近似式177からの各時刻の面積値の残差は大きく、近似式177からの変動が大きい。

このように、面積の変化に対し直線近似式を求め、近似式と実際の面積値との残差の大きさにより、面積の変動を検出することができる。要因4の面積変動による確信度係数を下記の式６にて設定する。

直線近似式は、上述の縦横比の分散と同様に、現在時刻tを基準とし、直近のNフレーム分の物体領域の面積を物体情報格納部５から取得し算出する。近似式との残差をN個分の面積データから求め、平均を取ることで算出する。算出した平均値をそのまましきい値判定してもよいが、残差の大きさは、元の面積の大きさにも影響されるため、算出した平均値を、物体領域の面積で割ることで、物体領域の面積の何割であるかに正規化した方がより汎用的に求めることができる。

ここで、物体種別確信度算出部４の処理フローを説明する。図１８は物体種別確信度算出部の処理フロー図である。

物体種別確信度算出部４は、要因カウンタiを最初の要因ナンバーの1にリセットする(ステップｓ181)。次に、i番目の要因を求めるための特徴量を取得する。上述のとおり要因1の場合は物体領域の面積、要因2の場合は物体領域の左上及び右下の座標を、要因3の場合は物体領域の左上及び右下の座標から算出できる縦横比の履歴を、要因4の場合は面積の履歴を取得する（ステップｓ182）。取得されたｉ番目の要因を求めるための特徴量を用いてi番目の要因の係数を算出する。ここで要因１の係数は上記式3、要因２の係数は上記式4、要因３の係数は上記式5、要因４の係数は上記式6に基づき算出する。

全ての要因iについてステップｓ182及びｓ183が完了したかを判定する(ステップｓ184)。完了していればステップｓ186の処理に移り、完了していなければステップｓ185に進む。要因カウンタiを1進め、ステップｓ182に戻る。

全ての要因ｉの係数算出が完了すると、上記式2に基づき物体種別確信度を算出する（ステップｓ186）。

次に、具体例を挙げて要因1〜要因４の算出方法、物体種別確信度の算出方法を説明する。

図１９は、物体が遮蔽物に隠れる状況での物体識別確信度の算出を説明する図である。図１９において、物体が映像中に現れて通過する一連の映像のうちの3種類の状態の画面を示した図である。画像データフレーム241は物体が遮蔽物の背後を通過しているときの画像、画像データフレーム242は物体が遮蔽物の領域から出て遮るものがない状態となったときの画像、画像データフレーム243は物体が画像242の状態よりさらに進んで画面外に出たことから、足の領域が隠れている状態の画面である。これら３種類の状態から物体領域の情報を用いて要因1、要因2、要因3、要因4、および物体種別確信度の値を算出した結果と、その計算過程を説明する。

図２０は物体種別確信度を算出し物体情報格納部へ格納した状態の説明図である。図２０において、時刻ｔから時刻ｔ＋２までが図１９における遮蔽物の後ろを物体が通過している時間帯、時刻ｔ＋３から時刻ｔ＋５までが図１９における物体が遮蔽物の領域から出た状態の時間帯、時刻ｔ＋６から時刻ｔ＋８までが図１９における物体の一部が画面外に出た状態の時間帯に対応している。

図２０において、データ項目は時刻、物体ＩＤ、種別、追跡物体領域、縦横比、面積、縦横比分散、面積の直線近似と残差平均、要因１係数、要因２係数、要因３係数、要因４の係数、物体識別確信度の各欄が設けられている。そして、時刻の欄には各画像データフレームの時刻が格納され、物体ＩＤの欄には各画像データフレームにおいて検出された物体のＩＤが格納され、種別の欄には物体種別識別部2により識別された種別が格納され、追跡物体ＩＤの欄にはフレーム間追跡部24により同一物体と判定された追跡物体に対してユニークに割り当てた追跡物体ＩＤが格納されている。図２０においては、時刻ｔから時刻ｔ＋８のすべてにおいて同一物体として、追跡物体ＩＤ「３」が格納されている。

物体領域の欄には、物体抽出部３により抽出された物体領域の左上及び右下の座標が格納され、縦横比の欄には物体領域の座標値から算出された物体領域の縦横比が格納されている。具体的には、（物体領域のx方向の幅）÷（y方向の高さ）により算出される。また、面積の欄には物体領域の座標値から算出された物体領域の面積が格納されている。縦横比の分散の欄には、上述の要因３の係数算出過程で求められた縦横比の時間方向の変動を示す分散が格納されている。これは、同一追跡物体に対し、現在時刻を起点として過去Nフレーム分の縦横比の値の分散を求めることでられる値である。ここでは、過去3フレーム間で分散を算出しており、例えば時刻t＋2における縦横比分散は、時刻ｔ、時刻t＋1及び時刻t＋2における３データの縦横比の値の分散として求める。算出には3フレーム以上の追跡が必要なため、追跡が3フレームに満たない時刻ｔ及び時刻ｔ＋１における縦横比分散の欄ははブランク（値なし）となる。

「面積の直線近似との残差平均」は上述の要因4係数の算出過程で求める面積の変動を示す、面積の直線近似との残差平均の値である。これは、同一追跡物体に対し、現在時刻を起点として過去Nフレーム分の面積の変動に対して近似式を算出し、近似式で算出する値と実際の面積との残差の平均である。図２０の例ではN=3フレームとし、過去3フレーム間で算出する。例えば時刻t＋2の時の値は、時刻ｔ、時刻t＋1及び時刻t＋2の３データから求める。算出には3フレーム以上の追跡が必要なため、追跡が3フレームに満たない時刻ｔ及び時刻ｔ＋１における欄はブランク（値なし）となる。

要因1、要因2、要因3、要因4の係数につては上述のとおりそれぞれ式3、式4、式5、式6について算出する。

以下では、それぞれの要因係数について具体例を説明する。要因1係数は式3を用いて算出する。しきい値Area_thを18000とすると、図２０で示す追跡中の物体のうち時刻ｔ及び時刻ｔ＋１における要因1係数は、それぞれ0.833、0.856であり、時刻ｔ＋２以降における要因１係数の値1より小さくなる。この期間は図１９における画像データフレーム241の状態であり、物体が遠いため面積が小さく、特徴が抽出しにくいために要因1係数が小さくなっていることが確認できる。

要因2係数は式4を使って算出する。物体領域が画像データフレームの端部に接しているかどうかは、上述のとおり物体領域の左上及び右下の座標を用いて判定される。図２０では、画面の大きさがx方向が“640”、y方向が“480”とすると、物体領域の始点x座標が“0”、始点y座標が“0”、終点x座標が“639”、終点y座標が“479”の時に「画面端に接している」と判定する。図２０の例では、時刻ｔ＋６から時刻ｔ＋８における画像データフレーム中の物体領域の終点y座標の値が“479”であるので、これらの物体領域の要因2係数が式4より“0.1”となる。図１９において要因２係数が0.1になる期間は画像データフレーム243の、物体領域247が画像データフレーム下側端部にはみ出している期間であるため、要因2の係数が小さくなることが確認できる。

要因3係数は式5を使って算出する。縦横比の分散しきい値Var_th=”0.02”とすると、図２０の例では、時刻ｔ＋２における画像データフレーム中の物体領域のデータがしきい値を超えているため、式5から要因3の係数=0.02/0.02785=0.718となる。これは、時刻ｔ＋２における物体領域の縦横比の過去3回の値に、しきい値以上の変動があることを示している。図１９において時刻ｔ＋２の期間は画像データフレーム241の状況の場合であり、この期間は物体が遮蔽物の後ろを通過し、領域全体が見えていないため縦横比が変動する可能性があることが確認できる。

要因4は式6を使って算出する。面積の直線近似との残差平均しきい値を“16”とすると、図２０において時刻ｔ＋２における物体領域のデータがしきい値を超えているため、式6から要因4係数=16/17.392=0.92となる。これは、時刻ｔ＋２おける物体領域の面積の過去3回の値に、単調増減以外の変動があることを示している。図１９において、時刻ｔ＋２における画像データフレームは画像データフレーム241の場合であり、この期間は物体が遮蔽物の後ろを通過し、領域全体が見えていないため面積が変動する可能性があることが確認できる。

物体種別確信度は、式2を使って、以上の説明の中で求めた要因１係数から要因４係数を積算して求め、それぞれ対応する時刻の画像データフレームの物体確信度の欄に格納する。以上のように、複数の確信度低下要因がある場合にはより確信度が下がると考えられるため、物体種別の確信度が下がる複数の要因から係数を算出し、係数の積算で物体種別確信度を求める。本実施例では、要因１から要因４についてそれぞれ係数を算出しこれらの積算値として物体種別確信度としたが、これに限られずいずれかの要因係数のみから物体種別確信度を算出してもよい。

次に検索部６及び検索部６による検索結果を表示する表示部７につき説明する。
図２１は表示部に表示される画面例である。検索条件として選択入力可能な日付選択領域201、同様に選択入力可能な時間帯選択リスト領域202、物体種別選択リスト領域203、選択指示を受け付ける「検索」ボタン204、検索結果を表示するサムネイル表示領域205及び他の物体種別の確認指示を受け付ける「他物体種別識別確認」ボタン209により画面構成されている。そしてサムネイル表示領域205には、検索結果の物体情報を表示するウィンドウ206、207、表示優先度の指示を受け付ける表示優先度領域208が設けられている。

日付選択領域201は、カレンダー表示し、ユーザにより複数の日付を選択条件として入力可能となっている。時間帯選択リスト領域202は、複数の時間帯をプルダウン表示し、ユーザにより複数の時間帯を選択条件として入力可能となっている。物体種別選択リスト領域203は、複数の物体種別をプルダウン表示し、ユーザにより複数の物体種別を選択条件として入力可能となっている。図２２においては、選択条件として日付「2013/2/6」、時間帯「16時−17時」及び物体種別「二輪車」が選択された状態を示している。この状態でユーザによる「検索」ボタン204への指示入力を受け付けると、検索部６は、上記検索条件に該当する情報を物体情報格納部５を検索し抽出する。

図２２は検索部による検索結果リストであり、図２３は検索部による処理フロー図である。図２２は、検索部６が、選択条件として入力された日付、時間帯及び物体種別に該当するレコードを物体情報格納部５から抽出した検索結果を示している。ここで検索部６は、物体種別を検索する場合、追跡物体IDが同一のレコードのうち最も時刻の新しいレコードの追跡物体種別を参照し、設定した物体種別と合致する追跡物体種別の情報を抽出する。

ここで、図２１に示されるサムネイル表示領域205中のウインドウ206及びウインドウ207には、検索結果として、日付、時刻、物体種別、物体種別確信度及び物体の画像がサムネイル化して表示される。このより、ユーザは候補となる検索結果のストの物体情報をより把握しやすい。

図２３は検索部による処理フロー図である。図２３を用いて検索部６が上述のウインドウ206及びウインドウ207に検索結果の候補を表示する処理について説明する。

まず検索部６は、追跡物体情報を順に処理するため追跡物体処理カウンタを0に設定する(ステップｓ221)。i番目の追跡物体の出現日付、時刻を取得する(ステップｓ222)。具体的には、図２２に示される検索結果リストを上から順に参照し、最初の追跡物体IDが「2」であるため、追跡物体ID「2」の情報を取得する。追跡物体ID「２」の出現する時刻は、出現日付「2013/2/6」、出現時刻「16:40：0001」を取得する。

次に、追跡物体iの物体種別確信度の最大値、物体種別と日付、時刻を取得する(ステップｓ223)。具体的には、図２２に示される追跡物体ID[２]のレコードを順に参照し、時刻「16：40：0002」及び時刻「16：40：0003」における物体種別確信度が共に「1」のため、いずれかのレコードを取得する。なお、このように確信度の値が同じレコードがあった場合には、より、物体の特徴をとらえやすい画像を選択する目的から、例えば物体領域の面積が大きいレコードを選択することが望ましい。

次に、ステップ223にて取得されたレコードを後述するサムネイル作成リストに格納し(ステップｓ224)、追跡物体処理カウンタを１進める(ステップｓ225)。全ての追跡物体の処理が完了したか否かを判定し、完了していれば処理を終了し、完了していなければステップｓ221へ戻る(ステップｓ226)。図２２に示される検索結果リストの場合は、時刻「16：55：0088」における追跡物体ID「3」であるため、ステップs226に戻り同様の処理を繰り返す。

図２４はサムネイル表示領域に表示する物体情報を格納するサムネイルリストである。サムネイルリストには、特定の追跡物体について、出現日付、出現時刻、物体識別確信度の最も高い時刻をサムネイル日付及びサムネイル時刻が物体種別と物体種別確信度と共に格納されている。ここでは、図２３において説明したステップs222、ステップs223及びステップｓ224により、追跡物体ID「2」については、出現日付「2013/2/6」、出現時刻「16:40：0001」、サムネイル日付「2013/2/6」、サムネイル時刻「16:40:0003」、物体種別「二輪車」及び物体種別確信度「1.0」が格納される。また、追跡物体ID「3」については、出現日付「2013/2/6」、出現時刻「16:55:0088」、サムネイル日付「2013/2/6」、サムネイル時刻「16:55:0088」、物体種別「二輪車」及び物体種別確信度「0.6」が格納される。

検索部６は、図２４に示すサムネイル作成リストを作成後、このサムネイル作成リストを参照し、図２２におけるウインドウ206及びウインドウ207へそれぞれ、サムネイル日付、サムネイル時刻、物体種別、物体種別確信度と対応する画像データフレームを表示する。

また、検索部６は、図２２における表示優先度領域208からユーザにより表示優先度条件の選択を受け付けると、上記サムネイル作成リストを、選択された項目順に並べ替える。「確信度高い順」が選択された場合は、図２３に示すサムネイル作成リストを物体種別確信度の高い順に並べ替え、サムネイル表示領域205中のウインドウ206及びウインドウ207に表示する。また、サムネイル表示領域205中の特定のウインドウをユーザが選択することで、当該ウインドウに対応するサムネイル作成リストを参照し、当該物体の出現日付、出現時刻からの映像を再生することで、ユーザは選択した物体の含まれる映像を参照することができる。

本実施例によれば、記録された映像データから特定の種別の物体を効率的に検索できる。例えば、夜間などの照明条件の悪い場合、又は遮蔽物がある場合など、上述のように物体の特徴が画像上で確認しにくい場合が多い。単純に時刻順に参照した場合は、このように結局有効な情報が得られない情報も順に参照することになるため、有効な情報に行きつくまで時間を浪費する。これに対し物体種別確信度順に参照する場合には、確信度が高く、物体領域が正確に抽出できている物体順に参照できるため、目視で有効な情報が得られる順に参照できることが期待できる。

尚、物体種別確信度順の表示を実現する場合には、参照漏れを防ぐため、図２１中のサムネイル表示領域205中の各ウインドウ横にチェックボックスを表示し、ユーザが確認した場合にチェックをして、物体情報格部５に「確認済フラグ」等を設定する構成としても良い。このような構成とすることで、検索部６で検索する際に、未確認の物体情報のみを検索することもできる。

図２５は本発明に実施例２に係る物体検索システムの機能ブロック図である。図２６は確信度考慮物体種別識別部の機能ブロック図である。実施例１と異なる点は、物体種別識別部２に代えて物体種別確信度を考慮し物体種別を識別する確信度考慮物体種別識別部９を設けたことにある。実施例１と同様の構成には同一の符号を付し、以下では実施例1と同様の構成については説明を省略する。

本実施例における確信度考慮物体種別識別部９は、物体種別確信度算出部４にて算出された物体種別確信度を考慮して物体を識別する。具体的には、図２６の物体種別総合判定部２５で画像データフレーム毎の物体種別判定結果から、物体種別を総合判定する際に、確信度の大きさを考慮して算出する。

図１９において、画像データフレーム241は物体が遮蔽物の背後を通過している間の画像、画像データフレーム242は、物体が遮蔽物の領域から出て、遮るものがない状態で画面中に出現している状態の画像、画像データフレーム243は物体が画像データフレーム242の状態よりさらに進んで画面外に出たことから、足の領域が隠れている状態の画像である。この一連の映像を入力し、実施例１と同様に特徴量算出部21、物体種別判定部23及びフレーム間追跡部24にて処理を実行する。

以下に、本実施例の特徴である、フレーム間追跡部24による処理結果と物体種別確信度算出部４による物体種別確信度に基く物体種別総合判定部25の処理について説明する。図２７及び図２８は物体情報格納部の状態の説明図であり、図２９は追跡物体総合判定後の物体情報格納部の状態説明図、図３０は追跡物体総合判定スコアの時間的変化の説明図である。これら図２７から図２８では、本実施例の特徴をよりわかり易くするため物体種別確信度を考慮しない場合の追跡物体種別の判定結果を併せて示している。

実施例１と同様に、物体種別総合判定部25の3種類の実現方法それぞれについて、確信度を考慮した場合の例につき説明する。

一番目の実現方法は、複数フレームそれぞれの物体種別判定結果を集計し、最も多い種別をその追跡物体の種別とする方法である。確信度考慮物体種別識別部９では、物体種別確信度が一定しきい値以下になるフレームは確信度が低いとし集計から除外する。

図２７において、時刻tから時刻t+2の画像データフレームは図１９における画像データフレーム241の期間に相当し、時刻ｔ＋３から時刻t+5の画像データフレームは図１９における画像データフレーム242の期間に相当する。また、時刻t+6から時刻t+8の画像データフレームは図１９における画像データフレーム243の期間に相当している。フレーム間追跡部２４の処理結果として、時刻tから時刻t+8の画像データフレームについて抽出された物体は同一の物体として同一の追跡物体ID「３」が格納された状態となっている。ここで、物体種別総合判定部25では、画像データフレーム毎に、同一追跡物体に対し、判定され種別の欄に格納された種別を順次集計する。

物体種別確信度考慮せず集計する場合は、時刻t+5の時点での集計結果は「二輪車」と「人」がそれぞれ３回ずつの同数となるが、時刻t+6から時刻t+8まで集計進めると「二輪車」の集計数が６回となり優位となる。そのため、追跡物体種別（確信度考慮なし）の欄には、時刻tから時刻t+8の全てにおいて「二輪車」が判定結果としてか格納される。

これに対し、確信度のしきい値を例えば0.5と設定し確信度を考慮し追跡物体種別を判定すると、時刻tから時刻t+2までの画像データフレームではしきい値より小さい値となる。これは、時刻tから時刻t+2までの画像データフレームが図１９における画像データフレーム241の期間に相当するためである。すなわち、抽出された物体領域の一部が遮蔽物に隠れた状態であるため物体種別確信度は低い値となる。物体種別総合判定部25は、種別の欄に格納された画像データフレーム毎の物体種別を読みだして、物体種別ごとに集計するが、同時に確信度の欄の値を参照し、確信度のしきい値0.5と比較して、しきい値より小さければ集計処理をスキップして次の時刻の処理に移る。この処理の結果、時刻t、時刻t+1、時刻t+2における確信度はそれぞれ「0.1」、「0.2」、「0.3」であり、しきい値0.5を下回るため集計に反映せず、総合判定の結果として追跡物体種別（確信度考慮あり）の欄に「-」（判定なし）が格納される。

次に時刻t+3、時刻t+4、時刻t+5では、物体種別総合判定25は上記と同様に確信度の欄の値をしきい値と比較する。比較の結果しきい値を超えているため、この３つの時刻の種別判定を集計処理する。時刻t+3の時点では、各種別ごとの集計値は人「1」、二輪車「0」、車「0」のためこの時点での総合判定は「人」となる。時刻t+4の時点では、各種別ごとの集計値は人「2」、二輪車「0」、車「0」のためこの時点での総合判定は「人」となる。また、時刻t+5の時点では、各種別ごとの集計値は人「3」、二輪車「0」、車「0」のためこの時点での総合判定は「人」となる。

次に時刻t+6、時刻t+７、時刻t+8では、物体種別総合判定部25は同様に確信度の欄の値をしきい値と比較する。比較の結果しきい値を下回っているため、この３つの時刻の種別判定は集計に反映しない。そのため時刻t+6、時刻t+7、時刻t+8、の間は集計の結果は変化しないので、最終的に時刻t+8の時点での総合判定は「人」となる。

以上のように、物体種別確信度を考慮し、確信度が所定しきい値以下の時には集計をスキップする処理により、物体領域の抽出状態が悪い場合には総合判定を保留し、抽出状態が良い場合に確実な総合判定を実施することができる。上記の例でも、確信度を考慮しないと人を二輪車と誤判定することになるが、確信度を考慮することで誤判定を防げている。これにより、追跡物体の種別の総合判定の精度を向上することができる。

次に、実施例１で説明した物体種別総合判定部5の二番目の実現方法について、確信度を考慮した場合の例につき説明する。

二番目の実現方法は、特定の種別の判定が連続し、予め設定したしきい値回数を超えた場合に、その物体の種別として割り当てる方法である。確信度考慮物体種別識別部９では、一番目の実現方法と同様に、確信度が所定しきい値以下になるフレームは確信度が低いとし集計から除外する。

具体例を挙げて説明する。ここでは連続回数のしきい値を３回とする。確信度考慮せず、同一種別の連続回数をカウントする場合は、種別の欄に格納された物体種別を時刻順に呼び出し、同一種別の連続回数をカウントする。時刻tにおける画像データフレームでは、種別判定が「二輪車」のためこの時点の二輪車連続数が「１」、時刻t+1における画像データフレームの種別判定が「二輪車」のためこの時点の二輪車連続数が「2」、時刻t+2における画像データフレームの種別判定が「二輪車」のためこの時点の二輪車連続数が「3」となり、この時点で当該追跡物体の種別は「二輪車」として確定し、追跡物体種別（確信度考慮なし）の欄に「二輪車」が格納される。以降の同一追跡物体ID「３」についてはすべて「二輪車」となる。

これに対し、確信度のしきい値を例えば0.5と設定した場合を例に、物体種別総合判定部25の処理を説明する。物体種別総合判定部25は、種別の欄に格納された画像データフレーム毎の物体種別を時刻順に読みだして、前時刻と種別が一致する場合に連続回数をカウントするが、同時に確信度欄の値を参照し、確信度のしきい値0.5と比較して、しきい値より小さければ連続回数カウントをスキップして次の時刻の処理に移る。時刻t、時刻t+1、時刻t+2の確信度はいずれもしきい値0.5より低いため、これらの時刻おいては物体種別総合判定部25は連続回数カウント処理をスキップし、物体情報格納部5の追跡物体種別（買う深度考慮あり）の欄にはいずれも「-」（判定なし）が格納される。

次に時刻t+3の種別が「人」で、且つ物体識別確信度の欄の値が「1」でしきい値0.5以上のためこの時点の人連続回数を「１」とする。時刻t+4の種別が「人」で、且つ物体種別確信度が「1」でしきい値0.5以上のためこの時点の人連続回数を「2」とする。時刻t+5の種別が「人」で、且つ物体種別確信度が「１」でしきい値0.5以上のためこの時点の人連続数が「3」となり、この時点で当該追跡物体の種別は「人」として確定し、時刻ｔ+3から時刻t+5までの追跡物体種別（確信度考慮あり）の欄に「人」を格納する。以降の同一追跡物体ID「３」についてはすべて「人」となる。

以上のように、二番目の実現方法でも、物体種別確信度を考慮し、確信度が所定しきい値以下の時には連続回数カウントをスキップする処理により、物体領域の抽出状態が悪い場合には総合判定を保留し、抽出状態が良い場合に確実な総合判定を実施することができる。上記の例でも、確信度を考慮しないと人を二輪車と誤判定することになるが、確信度を考慮することで誤判定を防止できる。これにより、追跡物体の種別の総合判定の精度を向上することができる。

次に、実施例１で説明した物体種別総合判定部25の三番目の実現方法について、確信度を考慮した場合の例につき説明する。三番目の実現方法は、物体種別判定部23で種別スコアを算出する場合に、同一物体の種別スコアの平均値に基づいて物体種別判定する方法である。この方法では、各画像データフレーム毎に、当該フレーム以前の同一物体の種別スコアを累積し、平均を取った値を用いて識別器で種別判定し、その判定結果の物体種別を追跡物体種別欄に格納する方法である。確信度考慮物体種別識別部９では、種別スコアを累積し平均値をとる際に、確信度の重み付きで平均をとる。

具体例を挙げて説明する。図２９において、種別スコアの欄には、物体種別判定部23で特徴量より算出したその時刻の物体領域の種別スコアが格納されている。ここでは、物体種別スコアは「人」と「二輪車」を識別するためのスコアであるとし、識別ルールは、0．0をしきい値としてそれ以上を「二輪車」、それ以下を「人」とする。種別の欄には種別スコアに基づき、識別ルールで種別判定をした結果が格納されている。また、確信度考慮の有り無しの比較のため、実施例1と同様に確信度を考慮しない場合の総合判定結果である追跡物体総合判定スコアと、追跡物体総合判定スコアから種別判定した追跡物体種別がそれぞれ格納される、追跡物体総合判定スコア（確信度考慮なし）欄、追跡物体種別（確信度考慮なし)の欄を設けている。これに対し、確信度考慮した場合の総合判定結果である追跡物体総合判定スコアと、追跡物体総合判定スコアから種別判定した追跡物体種別がそれぞれ格納される、追跡物体総合判定スコア（確信度考慮あり）欄、追跡物体種別（確信度考慮あり)の欄を設けている。

確信度を考慮しない場合は、前述のように時刻毎の種別スコアの平均をとるため、例えば時刻t+1における画像データフレームの追跡物体総合判定スコアは、時刻tと時刻t+1における種別スコアの平均をとり（1+1.3）÷2=1.15となる。また、時刻t+2の時点の追跡物体総合判定スコアは時刻t、時刻t+1と時刻t+2の種別スコアの平均をとり（1+1.3+0.5）÷3=０．９３３３３３、等のように、その時刻までの追跡物体の種別スコアの平均をとることで算出する。このように算出した追跡物体総合判定スコアを追跡物体総合判定スコア(確信度考慮なし)の欄に格納する。このスコアから識別ルール（しきい値0.0で「人」と「二輪車」に識別）で識別した結果を追跡物体種別（確信度考慮なし）の欄に格納する。

一方、物体種別確信度を考慮する場合の具体例を説明する。確信度を考慮する場合は、種別スコアに物体種別確信度の重みを掛けて、例えば下記のように平均化する。

すなわち、確信度が高い時刻のスコアを重視して平滑化する。

このため、例えば時刻t+1の時点の追跡物体総合判定スコアは時刻tと時刻t+1の物体種別確信度の重み付き平均をとり（0.1*1+0.2*1.3）÷(0.1+0.2)=1.2、時刻t+2の時点の追跡物体総合判定スコアは時刻t、時刻t+1と時刻t+2の物体種別の平均をとり（0.1*1+0.2*1.3+0.3*0.5）÷(0.1+0.2+0.3)=０．85、等のように、その時刻までの追跡データの種別スコアの物体種別確信度重み付き平均をとることで算出する。このように算出した追跡物体総合判定スコアを追跡物体総合判定スコア（確信度考慮あり）に格納する。このスコアから識別ルール（しきい値0.0で「人」と「二輪車」に識別）で識別した結果を追跡物体種別（確信度考慮あり）の欄に格納する。

以上の図２９における種別スコア、追跡物体総合判定スコア（確信度考慮なし）、追跡物体総合判定スコア（確信度考慮あり）を比較のため時系列のグラフ上にプロットしたものが図30である。横軸は時刻であり、破線301が図29の種別スコア、破線302が追跡物体総合判定スコア（確信度考慮なし）、実線303が追跡物体総合判定スコア（確信度考慮あり）である。また、図中の実線304は「人」と「二輪車」を識別するしきい値（0.0）であり、これを超えると「二輪車」種別でありこれを下回ると「人」種別とする。

時刻毎の種別スコア301からは、識別ルールに基づき時刻tから時刻t+2の間は「二輪車」種別判定、時刻t+3からt+5の間は「人」、時刻t+6からt+8の間は「二輪車」と種別判定される。これに対し、確信度考慮しない追跡物体総合判定スコア302の場合は、スコアの平均をとることにより値が平滑化され、破線301の時刻毎の値のように変動が大きくはならないが、「二輪車」判定となる正の値のスコアが多い影響で最終的に時刻t+8で値がわずかに正の値（0.0111）となり、最終的にはこの追跡オブジェクトは「二輪車」として誤判定される。これに対し確信度考慮する追跡物体総合判定スコア303の場合は、確信度が高く重みの高い時刻t+3、t+4、t+5のスコアの比率が高くなるため、種別スコア301が正の値になる時刻t+6、t+7、t+8でも値は正の値に振れず、結果的に時刻t+8で負の値（‐1.161）となり、最終判定は「人」と正判定される。

以上のように、三番目の実施方法では、物体種別判定部23で種別スコアにより識別判定する場合には、物体種別確信度の重み付きで種別スコアを平均化してから種別判定することで、確信度の高い種別スコアに基づく追跡物体総合判定ができる効果がある。

本実施例によれば、物体領域の抽出条件により算出する物体種別確信度を考慮して追跡物体の種別を判定するものであるため、良好に物体領域が抽出でき、特徴量が適切に取得できる条件を優先的に使って判定処理が行え、物体種別判定精度を向上することが可能である。

なお、判定後の結果の表示については、実施例1と同様にサムネイル表示領域205中の各ウインドウ206,206内に物体種別確信度共に表示しても、また、日時、時刻、物体種別及び物体領域の画像を表示しても良い。

以上、実施例1及び実施例２においては、算出した物体種別確信度を物体情報格納部５に格納する場合を例に説明したが、これに限られず、物体種別確信度を物理的に異なる他の格納部に格納しても良い。この場合、物体種別確信度と他の情報との紐付けが可能となるよう構成する。

図３１は、本発明の実施例３に係る物体検索システムの機能ブロック図である。実施例1及び実施例２と同一の構成には同一の符号を付している。

本実施例における物体検索システムは、道路ネットワーク311、道路ネットワーク311上の複数の場所に設置した一つまたは複数の映像撮影装置312と、映像撮影装置312で撮影された映像を入力として画像認識処理を行う画像認識部313、映像撮影装置312で撮影された映像と、画像認識部313で処理した結果の情報を伝送する通信ネットワーク315と、通信ネットワーク315により伝送された映像と画像認識部313で処理した結果の情報及び映像撮影装置312による映像データを格納するサーバ318、サーバ318に格納された情報を伝送する通信ネットワーク316と、通信ネットワーク316を経由し情報を参照できるPC等の電子端末により構成される。

映像撮影装置312が多数設置されると、大量の映像や画像認識結果の情報が取得されるため、それらをリアルタイムで全て伝送するのは困難である。そのため、複数の映像撮影装置312及び画像認識部313と通信ネットワーク315,316を介してサーバ318及び電子端末317を接続する構成としている。

そして画像認識部313は、映像入力部１、物体種別識別部２、物体抽出部3、物体種別確信度算出部４と物体情報格納部５を備え、物体情報格納部５に格納された情報を通信ネットワーク315に伝送可能とする伝送制御部314から構成されている。画像認識部313を構成する映像入力部１、物体種別識別部２、物体抽出部３、物体種別確信度算出部４及び物体情報格納部5は、上述の実施例1と同様の動作を行うものであるため説明を省略する。

伝送制御部314は、物体情報格納部５に格納された情報を通信ネットワーク315へ送信する際、物体種別確信度の高いものを優先して送信する機能を有している。すなわち、物体種別確信度に応じて送信優先度を設定可能に構成されている。

サーバ318は、画像認識部313の伝送制御部314から送信される物体情報格納部５に格納された情報を通信ネットワーク315を介して受信し記憶する物体情報格納部５’、映像撮影装置312から送信される映像データを通信ネットワーク315を介して受信し記憶する映像格納部319を備えている。

電子端末317は、検索部６及び表示部７を備えている。実施例1において説明したように、ユーザは、各検索条件を入力可能な日付選択領域201、時間帯選択リスト領域202と物体種別選択リスト領域203から所望の条件を指定できる。検索部６はサーバ318に通信ネットワーク316を介してアクセスし、実施例１において説明した処理を実行し検索結果を表示部７へ出力する。

本実施例によれば、道路ネットワーク上に多数の映像撮影装置を設置し、リアルタイムで映像データが取得される場合にも、物体種別確信度により物体の撮影状態が良いと判定される物体の情報から優先して伝送し、参照できるため、効率良く且つ有効な物体検索システムを実現できる。

また、本実施例においては、道路ネットワークを例に説明したが、これに限られずビル内の複数個所を監視する監視カメラを備えたシステムにも適用できる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の実施例の構成の追加・削除・置換をすることが可能である。

1 映像入力部
2 物体種別識別部
3 物体抽出部
4 物体種別確信度算出部
5 物体情報格納部
6 検索部
7 表示部
21 特徴量算出部
22 識別基準格納部
23 物体種別判定部
24 フレーム間追跡部
25 物体種別総合判定部
9 確信度考慮物体種別識別部
312 映像撮影装置
317 電子端末
318 サーバ

Claims

映像データを入力する映像入力部と、
入力された映像データを構成する画像データフレームから物体領域を抽出する物体抽出部と、
前記物体領域内の画像の１つ以上の第１の特徴量に基づき、前記物体領域内の物体種別を識別する物体種別識別部と、
前記抽出された物体領域の１つ以上の第２の特徴量に基づき物体種別確信度を求める物体種別確信度算出部と、
前記画像データフレーム毎に、前記物体種別及び物体種別確信度を対応付けて記憶する物体情報格納部と、
検索条件として入力される物体種別に対応する画像データフレーム及び物体種別確信度を、前記物体情報格納部より検索し表示部に出力する検索部を有し、
前記第２の特徴量は、少なくとも、前記抽出された物体領域の面積、前記画像データフレームにおける前記抽出された物体領域の位置、連続する複数の画像データフレームにおける前記抽出された物体領域の縦横比の分散及び物体領域の面積の変動のうち何れかを含み、
前記物体種別確信度算出部は、前記第２の特徴量のうち、前記抽出された物体領域の面積と所定のしきい値と比較し前記しきい値以下の場合、前記物体領域の面積を前記しきい値で除算した値を前記物体種別確信度とすることを特徴とする物体検索システム。
映像データを入力する映像入力部と、
入力された映像データを構成する画像データフレームから物体領域を抽出する物体抽出部と、
前記物体領域内の画像の１つ以上の第１の特徴量に基づき、前記物体領域内の物体種別を識別する物体種別識別部と、
前記抽出された物体領域の１つ以上の第２の特徴量に基づき物体種別確信度を求める物体種別確信度算出部と、
前記画像データフレーム毎に、前記物体種別及び物体種別確信度を対応付けて記憶する物体情報格納部と、
検索条件として入力される物体種別に対応する画像データフレーム及び物体種別確信度を、前記物体情報格納部より検索し表示部に出力する検索部を有し、
前記第２の特徴量は、少なくとも、前記抽出された物体領域の面積、前記画像データフレームにおける前記抽出された物体領域の位置、連続する複数の画像データフレームにおける前記抽出された物体領域の縦横比の分散及び物体領域の面積の変動のうち何れかを含み、
前記物体種別確信度算出部は、前記第２の特徴量のうち、連続する複数の画像データフレームにおける前記物体領域の縦横比の分散を所定のしきい値と比較し前記しきい値より大の場合、前記しきい値を前記物体領域の分散で除算した値を前記物体種別確信度とすることを特徴とする物体検索システム。
請求項１又は請求項２に記載の物体検索システムにおいて、
前記物体種別識別部は、前記物体領域内の画像から前記第１の特徴量を求める特徴量算出部と、予め物体種別毎に前記第１の特徴量のしきい値を格納する識別基準格納部と、前記特徴量算出部により求められた特徴量を前記識別基準格納部に格納されたしき値と比較し物体種別を判定する物体種別判定部を備えることを特徴とする物体検索システム。
請求項３に記載の物体検索システムにおいて、
前記物体種別識別部は、前記物体情報格納部を参照し前記抽出された物体領域に類似する物体領域を有する画像データフレームを抽出し、同一の物体であることを示す追跡物体ＩＤを前記物体情報格納部へ出力するデータフレーム間追跡部を有し、
前記表示部は、画面上の所定の領域に、前記検索部からの出力に対応する画像データフレーム及び物体種別確信度を表示すると共に、前記同一の物体であることを示す追跡物体ＩＤを有する複数の画像データフレームを表示することを特徴とする物体検索システム。
請求項４に記載の物体検索システムにおいて、
前記表示部は、少なくとも物体種別確信度の高い順及び物体種別確信の低い順のいずれかを選択入力可能とする表示優先度領域を前記画面上に表示し、
前記検索部は、選択入力された表示優先度に対応する画像データフレーム及び物体種別確信度を前記表示部へ出力することを特徴とする物体検索システム。
映像データを入力する映像入力部と、
入力された映像データを構成する画像データフレームから物体領域を抽出する物体抽出部と、
前記抽出された物体領域の１つ以上の第１の特徴に基づき物体種別確信度を求める物体種別確信度算出部と、
前記物体領域内の画像の１つ以上の第２の特徴量及び前記求められた物体種別確信度に基づき、前記物体領域内の物体種別を識別する物体種別識別部と、
前記画像データフレーム毎に、前記物体種別及び物体種別確信度を対応付けて記憶する物体情報格納部と、
検索条件として入力される物体種別に対応する画像データフレームを、前記物体情報格納部より検索し表示部に出力する検索部を有し、
前記第１の特徴量は、少なくとも、前記抽出された物体領域の面積、前記画像データフレームにおける前記抽出された物体領域の位置、連続する複数の画像データフレームにおける前記抽出された物体領域の縦横比の分散及び物体領域の面積の変動のうち何れかを含み、
前記物体種別確信度算出部は、前記第１の特徴量のうち、前記抽出された物体領域の面積と所定のしきい値と比較し前記しきい値以下の場合、前記物体領域の面積を前記しきい値で除算した値を前記物体種識別確信度とすることを特徴とする物体検索システム。
映像データを入力する映像入力部と、
入力された映像データを構成する画像データフレームから物体領域を抽出する物体抽出部と、
前記抽出された物体領域の１つ以上の第１の特徴量に基づき物体種別確信度を求める物体種別確信度算出部と、
前記物体領域内の画像の１つ以上の第２の特徴量及び前記求められた物体種別確信度に基づき、前記物体領域内の物体種別を識別する物体種別識別部と、
前記画像データフレーム毎に、前記物体種別及び物体種別確信度を対応付けて記憶する物体情報格納部と、
検索条件として入力される物体種別に対応する画像データフレームを、前記物体情報格納部より検索し表示部に出力する検索部を有し、
前記第１の特徴量は、少なくとも、前記抽出された物体領域の面積、前記画像データフレームにおける前記抽出された物体領域の位置、連続する複数の画像データフレームにおける前記抽出された物体領域の縦横比の分散及び物体領域の面積の変動のうち何れかを含み、
前記物体種別確信度算出部は、前記第１の特徴量のうち、連続する複数の画像データフレームにおける前記物体領域の縦横比の分散を所定のしきい値と比較し前記しきい値より大の場合、前記しきい値を前記物体領域の分散で除算した値を前記物体種別確信度とすることを特徴とする物体検索システム。
請求項６又は請求項７に記載の物体検索システムにおいて、
前記物体種別識別部は、前記物体領域内の画像から前記第２の特徴量を求める特徴量算出部と、予め物体種別毎に前記第２の特徴量のしきい値を格納する識別基準格納部と、前記特徴量算出部により求められた特徴量を前記識別基準格納部に格納されたしきい値と比較し物体種別を判定する物体種別判定部を備えることを特徴とする物体検索システム。
請求項８に記載の物体検索システムにおいて、
前記物体種別識別部は、前記物体情報格納部を参照し前記抽出された物体領域に類似する物体領域を有する画像データフレームを抽出し、同一の物体であることを示す追跡物体ＩＤを前記物体情報格納部へ出力するデータフレーム間追跡部を有することを特徴とする物体検索システム。
請求項１又は請求項２に記載の物体検索システムにおいて、
撮像カメラと、撮像カメラから入力される映像データを処理する画像認識部からなる複数の画像処理装置と、
前記複数の画像処理装置と通信ネットワークを介して接続されるサーバと、
前記サーバと通信ネットワークを介して接続される電子端末とを有し、
前記画像認識部は、前記物体抽出部と、前記物体種別識別部と、前記物体種別確信度算出部と、前記物体情報格納部と、前記物体種別確信度に応じて対応する画像データフレームと物体種別及び物体種別確信度を前記通信ネットワークを介して前記サーバへ送信する伝送制御部を備え、
前記サーバは、前記画像処理装置より送信される画像データフレームと物体種別及び物体種別確信度をそれぞれ対応付けて記憶し、
前記電子端末は、少なくとも検索条件として入力される物体種別に対応する画像データフレーム及び物体種別確信度を、前記サーバより検索し表示部に出力する検索部を有することを特徴とする物体検索システム。
請求項１０に記載の物体検索システムにおいて、
前記伝送制御部は、前記物体情報格納部に記憶された物体識別確信度の高い順に、前記画像データフレームと物体種別及び物体種別確信度を前記サーバへ送信することを特徴とする物体検索システム。