JP4232388B2 - 映像検索装置及びそれに用いる映像検索方法並びにそのプログラム - Google Patents
映像検索装置及びそれに用いる映像検索方法並びにそのプログラム Download PDFInfo
- Publication number
- JP4232388B2 JP4232388B2 JP2002154891A JP2002154891A JP4232388B2 JP 4232388 B2 JP4232388 B2 JP 4232388B2 JP 2002154891 A JP2002154891 A JP 2002154891A JP 2002154891 A JP2002154891 A JP 2002154891A JP 4232388 B2 JP4232388 B2 JP 4232388B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- search target
- similar
- search
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は映像検索装置及びそれに用いる映像検索方法並びにそのプログラムに関し、特に画像データから指定した物体及び人物を検索する方法に関する。
【０００２】
【従来の技術】
従来、大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合、限定された条件下の画像のみを用いて認識用の辞書を構築すると、物体や人物が、その向きや照明条件等によって見え方が異なる。そのため、本来ならば、検索すべき多くの対象を見落としてしまう場合がある。
【０００３】
この問題を防ぐ対策の一つとして、見え方の様々な画像を数多く用いて辞書を構築する方法が考えられる。ところが、立体的な対象物の見え方は無数にあり、予め全ての見え方を登録することは不可能である。そこで、有限個の見え方の画像に基づいて、特徴量空間上で内挿や外挿を行うことによって、全ての見え方を考慮した認識方法が提案されている。この方法については、特開平８−１５３１９８号公報等に開示されている。しかしながら、一般的に、高精度に内挿や外挿を行うことは非常に困難であり、検索対象ではない物体や人物が検索される（誤検索）場合がある。
【０００４】
一方、文字認識の分野において誤認識を抑制する方法として、認識対象と類似した文字を予め認識用辞書に登録しておくという方法がある。この方法については、特開平１０−２３５２９９号公報等に開示されている。
【０００５】
この方法を物体や人物の検索に適用することで、誤検索を抑制することが考えられる。例えば、顔画像を用いた人物検索の場合、ある人物の顔と似ている人物の顔とについて、様々な見え方の画像を登録するという方法が容易に考えられる。
【０００６】
従来の映像検索システムの構成を図２０に示す。図２０において、従来の映像検索システムは検索対象画像入力手段９１と、類似画像（＃１〜＃Ｎ）入力手段９２−１〜９２−Ｎと、検索対象画像クラスタリング手段９３と、類似画像（＃１〜＃Ｎ）クラスタリング手段９４−１〜９４−Ｎと、検索対象領域設定手段９５と、類似画像 （＃１〜＃Ｎ）領域設定手段９６−１〜９６−Ｎと、辞書出力手段９７とから構成されている。
【０００７】
顔認識を用いて人物検索するシステムを例にとり、図２０に示すシステムの動作について説明する。まず、このシステムでは類似画像（＃１〜＃Ｎ）入力手段９２−１〜９２−Ｎにおいて人物毎に画像を選別し、類似画像（＃１〜＃Ｎ）クラスタリング手段９４−１〜９４−Ｎによって顔の向きや照明条件等、画像の見え方毎に特徴量空間上でクラスタリングする。
【０００８】
その後に、このシステムでは類似画像（＃１〜＃Ｎ）領域設定手段９６−１〜９６−Ｎによってクラスタ間を補間し、それをその人物の領域と定める。このシステムでは上記の処理を全ての類似した人物に対して行う。
【０００９】
【発明が解決しようとする課題】
上述した従来の映像検索方法では、誤検索率を小さくするために、できるだけ多くの類似した画像を登録する必要があり、入力として想定されている対象物体または対象人物の数が大きくなるにしたがって、登録すべき画像の数が急激に大きくなるという問題がある。
【００１０】
例えば、照合時に、入力画像と全登録画像との比較を行った場合、登録した画像の数が増えると、その計算量も同時に大きくなる。画像そのものや画像毎の特徴量を辞書に保存する場合、画像枚数の増大に伴って、登録に必要な記憶容量も増大する。複数の画像をまとめた場合や、複数の画像から出現確率関数等を求めて入力画像がどのカテゴリに属するかどうかを判断する場合にも、程度の差こそあれ、上記と同様な問題が存在する。
【００１１】
また、１つの対象に対して様々な向きや照明条件の画像を選別するには、人手による確認が不可欠であり、対象となる人物が増大するにしたがって、必要な労力も増大する。これらの問題点は、アプリケーションにおいてその処理が実用的でなくなるという事態を引き起こす場合がある。
【００１２】
そこで、本発明の目的は上記の問題点を解消し、検索の精度を維持しつつ、辞書に登録する画像の数を抑制することができ、登録の手間を低減することができる映像検索装置及びそれに用いる映像検索方法並びにそのプログラムを提供することにある。
【００１３】
【課題を解決するための手段】
本発明による映像検索装置は、大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合に限定された条件下の画像のみを用いて認識用の辞書を構築する映像検索装置であって、
検索対象の画像に特徴量空間上近い画像を前記検索対象の画像と類似した類似画像として抽出する抽出手段と、出力する辞書に前記検索対象の画像及び前記抽出手段で抽出された画像を登録して出力する手段とを備え、
前記抽出手段は、外部から入力されかつ検索対象を含む画像を用いて予め定めた特徴量空間上の前記検索対象の画像が張る範囲である検索対象領域を決める検索対象領域設定手段と、外部から入力されかつ前記検索対象の画像を含まない学習画像全てについて前記検索対象領域との特徴量空間上の距離を求める類似度計算手段と、前記距離が予め定めた値の範囲内にある画像を前記類似画像として登録しかつ前記類似画像が前記特徴量空間上に張る領域を類似画像領域とする類似画像領域設定手段とを含んでいる。
【００１４】
本発明による映像検索方法は、大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合に限定された条件下の画像のみを用いて認識用の辞書を構築する映像検索方法であって、
検索対象の画像に特徴量空間上近い画像を前記検索対象の画像と類似した類似画像として抽出する第１のステップと、その抽出された画像及び検索対象の画像を前記辞書に登録して出力する第２のステップとを備え、
前記第１のステップは、外部から入力されかつ検索対象を含む画像を用いて予め定めた特徴量空間上の前記検索対象の画像が張る範囲である検索対象領域を決めるステップと、外部から入力されかつ前記検索対象を含まない学習画像全てについて前記検索対象領域との特徴量空間上の距離を求めるステップと、前記距離が予め定めた値の範囲内にある画像を前記類似画像として登録しかつ前記類似画像が前記特徴量空間上に張る領域を類似画像領域とするステップとを含んでいる。
【００１５】
本発明によるプログラムは、大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合に限定された条件下の画像のみを用いて認識用の辞書を構築する映像検索装置内のコンピュータに実行させるプログラムであって、
検索対象の画像に特徴量空間上近い画像を前記検索対象の画像と類似した類似画像として抽出する第１の処理と、その抽出された画像及び検索対象の画像を前記辞書に登録して出力する第２の処理とを含み、
前記第１の処理は、外部から入力されかつ検索対象を含む画像を用いて予め定めた特徴量空間上の前記検索対象の画像が張る範囲である検索対象領域を決める処理と、外部から入力されかつ前記検索対象を含まない学習画像全てについて前記検索対象領域との特徴量空間上の距離を求める処理と、前記距離が予め定めた値の範囲内にある画像を前記類似画像として登録しかつ前記類似画像が前記特徴量空間上に張る領域を類似画像領域とする処理とを含むことを特徴とする。
【００１６】
すなわち、本発明の映像検索装置は、大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合に限定された条件下の画像のみを用いて認識用の辞書を構築する際に、出力する辞書に誤検索抑制用に検索対象の画像及び特徴量空間上近い画像を登録している。
【００１７】
このため、本発明の映像検索装置では、検索精度を低下させることなく、登録画像数を削減することが可能となり、その結果、照合時間を短縮し、必要な記憶容量を低減し、登録画像確認の労力を大幅に削減することが可能となる。
【００１８】
また、本発明の映像検索装置では、類似画像であるかどうかを自動的に判断しているため、画像選択の労力についても削減することが可能となる。
【００１９】
より具体的に説明すると、本発明の第１の映像検索装置は、外部の検索対象画像入力手段から入力される検索対象が含まれている画像を用いて予め定めた特徴量空間上の検索対象画像が張る範囲である検索対象領域を決める検索対象領域設定手段と、外部の非検索対象画像入力手段から入力される検索対象を含まない学習画像全てについて検索対象領域との特徴量空間上の距離を求める類似度計算手段と、距離が予め定めた値の範囲内にある画像を検索対象と類似していると見なして類似画像として登録しかつ類似画像が特徴量空間上に張る領域を類似画像領域とする類似画像領域設定手段と、検索対象領域と類似画像領域とを登録した辞書を出力する辞書出力手段とを持ち、登録する画像の数を抑制し、登録の手間も低減するように検索用辞書を作成している。
【００２０】
本発明の第２の映像検索装置は、外部の検索対象画像入力手段から入力された検索対象が含まれている画像を用いて検索対象である特定の物体や人物の画像を方向や照明条件等の見え方によって予め複数のカテゴリに分けてこれらを検索対象カテゴリ群とする検索対象クラスタリング手段と、各検索対象カテゴリ群について予め定めた方法によって膨張・収縮を行って複数の検索対象カテゴリ群間で予め定めた方法によって補間を行うことで検索対象領域を生成する検索対象領域設定手段と、外部の非検索対象画像入力手段から入力される検索対象を含まない学習画像全てについて検索対象領域との距離を求める類似度計算手段と、距離が予め定めた値の範囲内にある画像を検索対象と類似していると見なして類似画像として登録しかつ特徴量空間上の異なった類似画像間を補間して類似画像及びその補間した領域が特徴量空間上に張る領域を類似画像領域とする類似画像領域設定手段と、検索対象領域と類似画像領域とを登録した辞書を出力する辞書出力手段とを持ち、登録する画像の数を抑制し、登録の手間も低減するように検索用辞書を作成している。
【００２１】
本発明の第３の映像検索装置は、外部の検索対象画像入力手段から入力された検索対象が含まれている画像を用いて検索対象である特定の物体や人物の画像を方向や照明条件等の見え方によって予め複数のカテゴリに分けてこれらを検索対象カテゴリ群とする検索対象クラスタリング手段と、各検索対象カテゴリ群について予め定めた方法によって膨張・収縮を行って複数の検索対象カテゴリ群間で予め定めた方法によって補間を行うことで検索対象領域を生成する検索対象領域設定手段と、非検索対象画像入力手段から入力される検索対象を含まない学習画像全てについて検索対象領域との距離を求める類似度計算手段と、距離が予め定めた値の範囲内にある画像を検索対象と類似していると見なして類似画像として登録しかつ特徴量空間上の異なった類似画像間を補間して類似画像及びその補間した領域が特徴量空間上に張る領域を類似画像領域とする類似画像領域設定手段と、予め定めた方法によって検索対象領域内の複数のクラスタを統合してクラスタの数を減らすクラスタ融合手段と、検索対象領域と類似画像領域とを登録したファイルを出力する辞書出力手段とを持ち、登録する画像の数を抑制し、登録の手間も低減するように検索用辞書を作成している。
【００２２】
本発明の第４の映像検索装置は、外部の画像入力手段から入力された画像に対して検索対象が含まれているかどうかを判定し、検索対象が含まれている場合に画像を検索対象領域設定手段に渡し、含まれていない場合に画像を類似度計算手段に渡す画像識別手段と、画像識別手段によって得られた検索対象が含まれている画像を用いて予め定めた特徴量空間上の検索対象画像が張る範囲である検索対象領域を決める検索対象領域設定手段と、画像識別手段によって得られた検索対象を含まない学習画像全てについて検索対象領域との特徴量空間上の距離を求める類似度計算手段と、距離が予め定めた値の範囲内にある画像を検索対象と類似していると見なして類似画像として登録しかつ特徴量空間上の異なった類似画像間を補間して類似画像及びその補間した領域が特徴量空間上に張る領域を類似画像領域とする類似画像領域設定手段と、検索対象領域と類似画像領域とを登録した辞書を出力する辞書出力手段とを持ち、登録する画像の数を抑制し、登録の手間も低減するように検索用辞書を作成している。
【００２３】
本発明の第５の映像検索装置は、外部の画像入力手段から入力された画像に対して検索対象が含まれているかどうかを判定し、検索対象が含まれている場合に画像を検索対象画像クラスタリング手段に渡し、含まれていない場合に画像を類似度計算手段に渡す画像識別手段と、画像識別手段によって得られた検索対象が含まれている画像を用いて検索対象である特定の物体や人物の画像を方向や照明条件等の見え方によって予め複数のカテゴリに分けてこれらを検索対象カテゴリ群とする検索対象クラスタリング手段と、各検索対象カテゴリ群について予め定めた方法によって膨張・収縮を行って複数の検索対象カテゴリ群間で予め定めた方法によって補間を行うことで検索対象領域を生成する検索対象領域設定手段と、画像識別手段によって得られた検索対象を含まない学習画像全てについて検索対象領域との距離を求める類似度計算手段と、距離が予め定めた値の範囲内にある画像を検索対象と類似していると見なして類似画像として登録しかつ特徴量空間上の異なった類似画像間を補間して類似画像及びその補間した領域が特徴量空間上に張る領域を類似画像領域とする類似画像領域設定手段と、検索対象領域と類似画像領域を登録した辞書を出力する辞書出力手段とを持ち、登録する画像の数を抑制し、登録の手間も低減するように検索用辞書を作成している。
【００２４】
本発明の第６の映像検索装置は、外部の画像入力手段から入力された画像に対して検索対象が含まれているかどうかを判定し、検索対象が含まれている場合に画像を検索対象画像クラスタリング手段に渡し、含まれていない場合に画像を類似度計算手段に渡す画像識別手段と、画像識別手段によって得られた検索対象が含まれている画像を用いて検索対象である特定の物体や人物の画像を方向や照明条件等の見え方によって予め複数のカテゴリに分けてこれらを検索対象カテゴリ群とする検索対象クラスタリング手段と、各検索対象カテゴリ群について予め定めた方法によって膨張・収縮を行って複数の検索対象カテゴリ群間で予め定めた方法によって補間を行うことで検索対象領域を生成する検索対象領域設定手段と、画像識別手段によって得られた検索対象を含まない学習画像全てについて検索対象領域との距離を求める類似度計算手段と、距離が予め定めた値の範囲内にある画像を検索対象と類似していると見なして類似画像として登録しかつ特徴量空間上の異なった類似画像間を補間して類似画像及びその補間した領域が特徴量空間上に張る領域を類似画像領域とする類似画像領域設定手段と、予め定めた方法によって検索対象領域内の複数のクラスタを統合してクラスタの数を減らすクラスタ融合手段と、検索対象領域と類似画像領域とを登録したファイルを出力する辞書出力手段とを持ち、登録する画像の数を抑制し、登録の手間も低減するように検索用辞書を作成している。
【００２５】
これによって、本発明では、検索精度を低下させることなく、登録画像数を削減することが可能となり、その結果、照合時間を短縮し、必要な記憶容量を低減し、登録画像確認の労力を大幅に削減することが可能となる。また、本発明では、画像選択の労力についても削減することが可能となる。
【００２６】
【発明の実施の形態】
次に、本発明の実施例について図面を参照して説明する。図１は本発明の第１の実施例による映像検索装置の構成を示すブロック図である。図１において、映像検索装置１は検索対象画像入力手段１１と、非検索対象画像入力手段１２と、検索対象領域設定手段１３と、類似度計算手段１４と、類似画像領域設定手段１５と、辞書出力手段１６と、記録媒体１７とから構成され、検索対象画像入力手段１１と非検索対象画像入力手段１２と記録媒体１７とが外部に接続されている。
【００２７】
尚、映像検索装置１の主たる構成要素のコンピュータ（図示せず）が記録媒体１７に格納されたプログラムを実行することで、上記の各手段がそれぞれ制御される。
【００２８】
図２は本発明の第１の実施例による映像検索装置１の動作を示すフローチャートである。これら図１及び図２を参照して本発明の第１の実施例による映像検索装置１の動作について説明する。この図２に示す処理は映像検索装置１のコンピュータが記録媒体１７に格納されたプログラムを実行することで実現される。
【００２９】
検索対象領域設定手段１３は外部の検索対象画像入力手段１１から入力される検索対象が含まれている画像を用いて、予め定めた特徴量空間上の検索対象画像が張る範囲である検索対象領域を決める（図２ステップＳ１）。
【００３０】
類似度計算手段１４は外部の非検索対象画像入力手段１２から入力される検索対象を含まない学習画像全てについて、検索対象領域との特徴量空間上の距離を求める （図２ステップＳ２，Ｓ３）。
【００３１】
類似画像領域設定手段１５は距離が予め定めた値の範囲内にある画像について、検索対象と類似していると見なし、類似画像として登録し（図２ステップＳ４）、類似画像が特徴量空間上に張る領域を類似画像領域とする（図２ステップＳ５）。
【００３２】
辞書出力手段１６は検索対象領域と類似画像領域を登録した辞書を出力する（図２ステップＳ６）。
【００３３】
次に、具体的な実施例を用いて本実施例の動作について説明する。辞書登録用の画像は予め検索対象が含まれた画像と検索対象が含まれていない画像とに分けられている。
【００３４】
検索対象が含まれている画像については検索対象画像入力手段１１から入力され、検索対象が含まれていない画像については非検索対象画像入力手段１２から入力される。
【００３５】
検索対象画像入力手段１１及び非検索対象画像入力手段１２は各々、例えばビデオカメラが接続した映像キャプチャ装置から構成される。また、検索対象画像入力手段１１及び非検索対象画像入力手段１２は予め映像キャプチャ装置によって取得した動画像ファイルを保存し、その動画像ファイルを読込むコンピュータであってもよい。
【００３６】
検索対象領域設定手段１３は検索対象画像入力手段１１から入力される検索対象が含まれている画像を用いて、予め定めた特徴量空間上の検索対象画像が張る範囲を決め、この範囲を検索対象領域とする。
【００３７】
この場合、特徴量としては、例えば、画像全体または一部の色、形状、直交関数展開係数、動きベクトル等があげられる。検索対象領域を定める方法としては、例えば、個々の画像の特徴量空間上の位置に予め定めた広がりを与えるもの、全検索対象画像の特徴量空間上の重心と分布との分散、分布のモーメント、予め定めた特徴量空間上の出現確率分布関数に対して最小２乗法によってその出現確率分布関数のパラメータを決定する方法等があげられる。
【００３８】
類似度計算手段１４は非検索対象画像入力手段１２から入力される検索対象を含まない学習画像全てについて、前記検索対象領域との特徴量空間上の距離を求める。距離の求め方としては、検索対象領域の登録の仕方に依存するが、例えば、個々の画像が登録されているならば、最も距離が近い画像を探索し、その画像との距離を検索対象領域との距離と見なす方法がある。
【００３９】
また、検索対象領域に属する全画像の重心位置を求め、重心との距離を検索対象領域との距離と見なす方法もある。さらに、例えば、複数の画像に基づく出現確率分布関数が登録されているならば、その関数を用いて算出される出現確率を検索対象領域との距離と見なす方法もある。
【００４０】
類似画像領域設定手段１５は距離が予め定めた値の範囲内にある画像について、検索対象と類似していると見なし、類似画像として登録し、類似画像が特徴量空間上に張る領域を類似画像領域とする。
【００４１】
辞書出力手段１６は検索対象領域と類似画像領域を登録した辞書を出力する。辞書の中身としては、例えば、個々の画像または個々の画像の特徴量、複数の画像の特徴量から求まる重心やモーメント、出現確率密度関数等があげられる。辞書は、例えば、検索処理を行う計算機の主記憶装置か、補助記憶装置か、ネットワーク上の別のマシン等に保存される。
【００４２】
図３は本発明の第２の実施例による映像検索装置の構成を示すブロック図である。図３において、映像検索装置２は検索対象画像入力手段２１と、非検索対象画像入力手段２２と、検索対象画像クラスタリング手段２３と、検索対象領域設定手段２４と、類似度計算手段２５と、類似画像領域設定手段２６と、辞書出力手段２７と、記録媒体２８とから構成され、検索対象画像入力手段２１と非検索対象画像入力手段２２と記録媒体２８とが外部に接続されている。
【００４３】
尚、映像検索装置２の主たる構成要素のコンピュータ（図示せず）が記録媒体２８に格納されたプログラムを実行することで、上記の各手段がそれぞれ制御される。
【００４４】
図４は本発明の第２の実施例による映像検索装置２の動作を示すフローチャートである。これら図３及び図４を参照して本発明の第２の実施例による映像検索装置２の動作について説明する。この図４に示す処理は映像検索装置２のコンピュータが記録媒体２８に格納されたプログラムを実行することで実現される。
【００４５】
検索対象クラスタリング手段２３は外部の検索対象画像入力手段２１から入力された検索対象が含まれている画像を用いて、検索対象である特定の物体や人物の画像を、方向や照明条件等の見え方によって予め複数のカテゴリに分け、これらを検索対象カテゴリ群とする（図４ステップＳ１１）。
【００４６】
検索対象領域設定手段２４は各検索対象カテゴリ群について、予め定めた方法によって膨張・収縮を行い（図４ステップＳ１２）、複数の検索対象カテゴリ群間で予め定めた方法によって補間を行い、検索対象領域を生成する（図４ステップＳ１３）。
【００４７】
類似度計算手段２５は外部の非検索対象画像入力手段２２から入力される検索対象を含まない学習画像全てについて、前記検索対象領域との特徴量空間上の距離を求める（図４ステップＳ１４，Ｓ１５）。
【００４８】
類似画像領域設定手段２６は距離が予め定めた値の範囲内にある画像について、検索対象と類似していると見なし、類似画像として登録し（図４ステップＳ１６）、類似画像が特徴量空間上に張る領域を類似画像領域とする（図４ステップＳ１７）。
【００４９】
辞書出力手段２７は検索対象領域と類似画像領域とを登録した辞書を出力する（図４ステップＳ１８）。
【００５０】
図５は図３の検索対象領域設定手段２４で用いられるクラスタ間の補間方法の一例を説明するための図であり、図６は本発明の第２の実施例による類似画像領域の設定例を示す図である。これら図３〜図６を参照して本実施例の具体的な動作について説明する。
【００５１】
検索対象クラスタリング手段２３は外部の検索対象画像入力手段２１から入力された検索対象が含まれている画像を用いて、検索対象である特定の物体や人物の画像を、方向や照明条件等の見え方によって、予め複数のカテゴリに分け、これらを検索対象カテゴリ群とする。
【００５２】
画像を見え方毎に分類する方法としては、例えば、目視による分類や、対象物を３次元形状でモデリングし、３次元モデルと画像上の対象物との特徴点の対応関係から対象物の姿勢や照明環境を自動的に類推する方法があげられる。
【００５３】
検索対象領域設定手段２４は各検索対象カテゴリ群について、予め定めた方法によって膨張・収縮を行い、複数の検索対象カテゴリ群間で予め定めた方法によって補間を行い、検索対象領域を生成する。
【００５４】
膨張・収縮処理方法としては、例えば、検索対象カテゴリ群の各クラスタがガウス関数で表されるならば、一般的に、σと呼ばれているガウス関数の指数の肩の係数の増減によって容易に実現することができる。また、各クラスタが任意の関数で表される場合、検索対象が含まれるかどうかを判断するしきい値を設定し、このしきい値を増減することによっても、クラスタ領域を膨張・収縮させることができる。
【００５５】
補間する方法としては、例えば、クラスタ間に予め定めた大きさと形状のクラスタとを予め定めた間隔で配置する方法や、図５に示すように、クラスタを、クラスタに外接する特徴量空間上の管で結び、この管の内側を新たに検索対象領域とする方法、クラスタ同士、重心を曲線で結び、重心を通り、この曲線に垂直な方向のクラスタの分布が、曲線の一方の端であるクラスタと、もう一方の端であるクラスタとで分布形状、例えばガウス関数ならば、指数の肩の係数が連続的に変わるように設定する方法等があげられる。
【００５６】
類似画像領域設定手段２６は類似度計算手段２５によって求められた対象領域との距離が予め定めた値の範囲内にある検索対象の含まれていない画像について、検索対象と類似していると見なし、類似画像として登録し、個々の画像によって、特徴量空間上張られた領域を予め定めた方法で膨張・収縮させ、次に個々の画像の領域間を前記検索対象領域設定手段２４で述べたものと同じ方法で補間し、これらを類似画像領域とする。
【００５７】
例えば、図６に示すように、従来、図６の右側の砂粒状のパターンで塗られた楕円の集団を取り囲む破線の領域を類似した画像の領域としているが、本実施例では検索対象領域に近い、太い実線で囲まれた領域のみを類似した画像の領域として登録することになる。
【００５８】
類似度計算手段２５と辞書出力手段２７とについては、それぞれ、上述した本発明の第１の実施例における類似度計算手段１４及び辞書出力手段１６と同じ動作をする。
【００５９】
図７は本発明の第３の実施例による映像検索装置の構成を示すブロック図である。図７において、映像検索装置３は検索対象画像入力手段３１と、非検索対象画像入力手段３２と、検索対象画像クラスタリング手段３３と、検索対象領域設定手段３４と、類似度計算手段３５と、類似画像領域設定手段３６と、クラスタ融合手段３７と、辞書出力手段３８と、記録媒体３９とから構成され、検索対象画像入力手段３１と非検索対象画像入力手段３２と記録媒体３９とが外部に接続されている。
【００６０】
尚、映像検索装置３の主たる構成要素のコンピュータ（図示せず）が記録媒体３９に格納されたプログラムを実行することで、上記の各手段がそれぞれ制御される。
【００６１】
図８は本発明の第３の実施例による映像検索装置３の動作を示すフローチャートである。これら図７及び図８を参照して本発明の第３の実施例による映像検索装置３の動作について説明する。この図８に示す処理は映像検索装置３のコンピュータが記録媒体３９に格納されたプログラムを実行することで実現される。
【００６２】
検索対象クラスタリング手段３３は外部の検索対象画像入力手段３１から入力された検索対象が含まれている画像を用いて、検索対象である特定の物体や人物の画像を、方向や照明条件等の見え方によって予め複数のカテゴリに分け、これらを検索対象カテゴリ群とする（図８ステップＳ２１）。
【００６３】
検索対象領域設定手段３４は各検索対象カテゴリ群について、予め定めた方法によって膨張・収縮を行い（図８ステップＳ２２）、複数の検索対象カテゴリ群間で予め定めた方法によって補間を行い、検索対象領域を生成する（図８ステップＳ２３）。
【００６４】
類似度計算手段３５は外部の非検索対象画像入力手段３２から入力される検索対象を含まない学習画像全てについて、検索対象領域設定手段３４によって定められる、検索対象画像に基づいて特徴量空間上に構成される領域との距離を求める（図８ステップＳ２４，Ｓ２５）。
【００６５】
類似画像領域設定手段３６は距離が予め定めた値の範囲内にある画像について、検索対象と類似していると見なし、類似画像として登録し（図８ステップＳ２６）、類似画像が特徴量空間上に張る領域を類似画像領域とする（図８ステップＳ２７）。
【００６６】
クラスタ融合手段３７は予め定めた方法によって検索対象領域内の複数のクラスタを統合し、クラスタの数を減らす（図８ステップＳ２８）。辞書出力手段３８は検索対象領域と類似画像領域とを登録した辞書を出力する（図８ステップＳ２９）。
【００６７】
図９は本発明の第３の実施例による検索対象領域内のクラスタの融合の例を示す図である。この図９を参照して本発明の第３の実施例による具体的な動作について説明する。
【００６８】
クラスタ融合手段３７は予め定めた方法によって検索対象領域内の複数のクラスタを統合し、クラスタの数を減らす。クラスタを統合する方法としては、例えば、検索対象領域設定手段３４によって定められた検索対象領域に内接する最大の楕円球を予め定めた数作り、この楕円球に内包される複数のクラスタをこの楕円球で代表させる方法が考えられる。例えば、図６の左側の斜線パターンで塗られた楕円の集合を囲む領域に対して、図９に示すように、その領域に内接する楕円を設定することによって、検索対象領域を構成するクラスタの数を低減することができる。
【００６９】
上述した検索対象クラスタリング手段３３と、検索対象領域設定手段３４と、類似度計算手段３５と、類似画像領域設定手段３６と、辞書出力手段３８とについてはそれぞれ本発明の第２の実施例における検索対象クラスタリング手段２３と、検索対象領域設定手段２４と、類似度計算手段２５と、類似画像領域設定手段２６と、辞書出力手段２７とそれぞれ同じ動作を行う。
【００７０】
図１０は本発明の第４の実施例による映像検索装置の構成を示すブロック図である。図１０において、映像検索装置４は検索対象画像入力手段４１と、非検索対象画像入力手段４２と、検索対象画像クラスタリング手段４３と、検索対象領域設定手段４４と、類似度計算手段４５と、類似画像領域設定手段４６と、クラスタ融合手段４７と、辞書出力手段４８と、記録媒体４９とから構成され、検索対象画像入力手段４１と非検索対象画像入力手段４２と記録媒体４９とが外部に接続されている。
【００７１】
尚、映像検索装置４の主たる構成要素のコンピュータ（図示せず）が記録媒体４９に格納されたプログラムを実行することで、上記の各手段がそれぞれ制御される。
【００７２】
図１１は本発明の第４の実施例による映像検索装置４の動作を示すフローチャートである。これら図１０及び図１１を参照して本発明の第４の実施例による映像検索装置４の動作について説明する。この図１１に示す処理は映像検索装置４のコンピュータが記録媒体４９に格納されたプログラムを実行することで実現される。
【００７３】
検索対象クラスタリング手段４３は外部の検索対象画像入力手段４１から入力された検索対象が含まれている画像を用いて、検索対象である特定の物体や人物の画像を、方向や照明条件等の見え方によって予め複数のカテゴリに分け、これらを検索対象カテゴリ群とする（図１１ステップＳ３１）。
【００７４】
検索対象領域設定手段４４は各検索対象カテゴリ群について、予め定めた方法によって膨張・収縮を行い（図１１ステップＳ３２）、複数の検索対象カテゴリ群間で予め定めた方法によって補間を行い、検索対象領域を生成する（図１１ステップＳ３３）。
【００７５】
類似度計算手段４５は外部の非検索対象画像入力手段４２から入力される検索対象を含まない学習画像全てについて、クラスタ融合手段４７によって定められる検索対象領域との距離を求める（図１１ステップＳ３４，Ｓ３５）。
【００７６】
類似画像領域設定手段４６は距離が予め定めた値の範囲内にある画像について、検索対象と類似していると見なし、類似画像として登録し（図１１ステップＳ３６）、類似画像が特徴量空間上に張る領域を類似画像領域とする（図１１ステップＳ３７）。
【００７７】
クラスタ融合手段４７は予め定めた方法によって検索対象領域内の複数のクラスタを統合し、クラスタの数を減らす（図１１ステップＳ３８）。辞書出力手段４８は検索対象領域と類似画像領域とを登録した辞書を出力する（図１１ステップＳ３９）。
【００７８】
本実施例では、類似度計算手段４５が検索対象領域設定手段４４によって定められる検索対象の特徴領空間上の領域に基づいて類似度を計算するのではなく、クラスタ融合手段４７によってラスタ数を削減した後の検索対象領域に基づいて類似度を算出という点を除くと、本発明の第３の実施例と同じ動作を行う。
【００７９】
図１２は本発明の第５の実施例による映像検索装置の構成を示すブロック図である。図１２において、映像検索装置５は画像入力手段５１と、画像識別手段５２と、検索対象領域設定手段５３と、類似度計算手段５４と、類似画像領域設定手段５５と、辞書出力手段５６と、記録媒体５７とから構成され、画像入力手段５１と記録媒体５７とが外部に接続されている。
【００８０】
尚、映像検索装置５の主たる構成要素のコンピュータ（図示せず）が記録媒体５７に格納されたプログラムを実行することで、上記の各手段がそれぞれ制御される。
【００８１】
図１３は本発明の第５の実施例による映像検索装置５の動作を示すフローチャートである。これら図１２及び図１３を参照して本発明の第５の実施例による映像検索装置５の動作について説明する。この図１３に示す処理は映像検索装置５のコンピュータが記録媒体５７に格納されたプログラムを実行することで実現される。
【００８２】
画像識別手段５２は外部の画像入力手段５１から入力された画像を予め定めた方法を用いて、検索対象が含まれているものと含まれていないものとに分類し（図１３ステップＳ４１）、検索対象が含まれている画像を検索対象領域設定手段５３に渡し、検索対象が含まれていない画像を類似度計算手段５４に渡す（図１３ステップＳ４２）。
【００８３】
検索対象領域設定手段５３は画像識別手段５２によって得られた検索対象が含まれている画像を用いて、予め定めた特徴量空間上の検索対象画像が張る範囲である検索対象領域を決める（図１３ステップＳ４３）。
【００８４】
類似度計算手段５４は画像識別手段５２によって得られた検索対象を含まない学習画像全てについて、検索対象領域との特徴量空間上の距離を求める（図１３ステップＳ４４，Ｓ４５）。
【００８５】
類似画像領域設定手段５５は距離が予め定めた値の範囲内にある画像について、検索対象と類似していると見なし、類似画像として登録し（図１３ステップＳ４６）、類似画像が特徴量空間上に張る領域を類似画像領域とする（図１３ステップＳ４７）。
【００８６】
辞書出力手段５６は検索対象領域と類似画像領域とを登録した辞書を出力する（図１３ステップＳ４８）。
【００８７】
次に、上記の図１２を参照して本実施例の具体的な動作について説明する。画像識別手段５２は外部の画像入力手段５１から入力された画像を予め定めた方法を用いて、検索対象が含まれているものと含まれていないものとに分類し、検索対象が含まれている画像を検索対象領域設定手段５３に渡し、検索対象が含まれていない画像を類似度計算手段５４に渡す。
【００８８】
検索対象が含まれているかどうかを識別する方法としては、例えば、特開平８−１５３１９８号公報に記載された方法や、特開２０００−３００６５号公報に記載された方法等を用いることができる。こういった手法を用いた自動的な識別は誤りを含む場合があるので、複数の手法によるクロスチェックや、目視による確認を併用してもよい。
【００８９】
検索対象領域設定手段５３及び類似度計算手段５４が画像を画像識別手段５２から渡される点を除くと、検索対象領域設定手段５３、類似度計算手段５４、類似画像領域設定手段５５、辞書出力手段５６各々については、上述した本発明の第１の実施例における検索対象領域設定手段１３、類似度計算手段１４、類似画像領域設定手段１５、辞書出力手段１６と同じ動作を行う。
【００９０】
図１４は本発明の第６の実施例による映像検索装置の構成を示すブロック図である。図１４において、映像検索装置６は画像入力手段６１と、画像識別手段６２と、検索対象画像クラスタリング手段６３と、検索対象領域設定手段６４と、類似度計算手段６５と、類似画像領域設定手段６６と、辞書出力手段６７と、記録媒体６８とから構成され、画像入力手段６１と記録媒体６８とが外部に接続されている。
【００９１】
尚、映像検索装置６の主たる構成要素のコンピュータ（図示せず）が記録媒体６８に格納されたプログラムを実行することで、上記の各手段がそれぞれ制御される。
【００９２】
図１５は本発明の第６の実施例による映像検索装置６の動作を示すフローチャートである。これら図１４及び図１５を参照して本発明の第６の実施例による映像検索装置６の動作について説明する。この図１５に示す処理は映像検索装置６のコンピュータが記録媒体６８に格納されたプログラムを実行することで実現される。
【００９３】
画像識別手段６２は外部の画像入力手段６１から入力された画像を予め定めた方法を用いて、検索対象が含まれているものと含まれていないものとに分類し（図１５ステップＳ５１）、検索対象が含まれている画像を検索対象クラスタリング手段６３に渡し、検索対象が含まれていない画像を類似度計算手段６５に渡す（図１５ステップＳ５２）。
【００９４】
検索対象クラスタリング手段６３は画像識別手段６２によって得られた検索対象が含まれている画像を用いて、検索対象である特定の物体や人物の画像を、方向や照明条件等の見え方によって予め複数のカテゴリに分け、これらを検索対象カテゴリ群とする（図１５ステップＳ５３）。
【００９５】
検索対象領域設定手段６４は各検索対象カテゴリ群について、予め定めた方法によって膨張・収縮を行い（図１５ステップＳ５４）、複数の検索対象カテゴリ群間で予め定めた方法によって補間を行い、検索対象領域を生成する（図１５ステップＳ５５）。
【００９６】
類似度計算手段６５は画像識別手段６２によって得られた検索対象を含まない学習画像全てについて、検索対象領域との特徴量空間上の距離を求める（図１５ステップＳ５６，Ｓ５７）。
【００９７】
類似画像領域設定手段６６は距離が予め定めた値の範囲内にある画像について、検索対象と類似していると見なし、類似画像として登録し（図１５ステップＳ５８）、類似画像が特徴量空間上に張る領域を類似画像領域とする（図１５ステップＳ５９）。
【００９８】
辞書出力手段６７は検索対象領域と類似画像領域とを登録した辞書を出力する（図１５ステップＳ６０）。
【００９９】
本実施例において、画像識別手段６２は上述した本発明の第５の実施例における画像識別手段５２と同じ動作を行う。また、検索対象クラスタリング手段６３と、類似度計算手段６４とが画像を画像識別手段６２から渡される点を除くと、検索対象領域設定手段６３、類似度計算手段６４、類似画像領域設定手段６５、辞書出力手段６６各々については、上述した本発明の第２の実施例における検索対象領域設定手段２３、類似度計算手段２４、類似画像領域設定手段２５、辞書出力手段２６と同じ動作を行う。
【０１００】
図１６は本発明の第７の実施例による映像検索装置の構成を示すブロック図である。図１６において、映像検索装置７は画像入力手段７１と、画像識別手段７２と、検索対象画像クラスタリング手段７３と、検索対象領域設定手段７４と、類似度計算手段７５と、類似画像領域設定手段７６と、クラスタ融合手段７７と、辞書出力手段７８と、記録媒体７９とから構成され、画像入力手段７１と記録媒体７９とが外部に接続されている。
【０１０１】
尚、映像検索装置７の主たる構成要素のコンピュータ（図示せず）が記録媒体７９に格納されたプログラムを実行することで、上記の各手段がそれぞれ制御される。
【０１０２】
図１７は本発明の第７の実施例による映像検索装置７の動作を示すフローチャートである。これら図１６及び図１７を参照して本発明の第７の実施例による映像検索装置７の動作について説明する。この図１７に示す処理は映像検索装置７のコンピュータが記録媒体７９に格納されたプログラムを実行することで実現される。
【０１０３】
画像識別手段７２は外部の画像入力手段７１から入力された画像を予め定めた方法を用いて、検索対象が含まれているものと含まれていないものとに分類し（図１７ステップＳ６１）、検索対象が含まれている画像を検索対象クラスタリング手段７３に渡し、検索対象が含まれていない画像を類似度計算手段７５に渡す（図１７ステップＳ６２）。
【０１０４】
検索対象クラスタリング手段７３は画像識別手段７２によって得られた検索対象が含まれている画像を用いて、検索対象である特定の物体や人物の画像を、方向や照明条件等の見え方によって予め複数のカテゴリに分け、これらを検索対象カテゴリ群とする（図１７ステップＳ６３）。
【０１０５】
検索対象領域設定手段７４は各検索対象カテゴリ群について、予め定めた方法によって膨張・収縮を行い（図１７ステップＳ６４）、複数の検索対象カテゴリ群間で予め定めた方法によって補間を行い、検索対象領域を生成する（図１７ステップＳ６５）。
【０１０６】
類似度計算手段７５は画像識別手段７２によって得られた検索対象を含まない学習画像全てについて、検索対象領域との特徴量空間上の距離を求める（図１７ステップＳ６６，Ｓ６７）。
【０１０７】
類似画像領域設定手段７６は距離が予め定めた値の範囲内にある画像について、検索対象と類似していると見なし、類似画像として登録し（図１７ステップＳ６８）、類似画像が特徴量空間上に張る領域を類似画像領域とする（図１７ステップＳ６９）。
【０１０８】
クラスタ融合手段７７は予め定めた方法によって検索対象領域内の複数のクラスタを統合し、クラスタの数を減らす（図１７ステップＳ７０）。辞書出力手段７８は検索対象領域と類似画像領域とを登録した辞書を出力する（図１７ステップＳ７１）。
【０１０９】
本実施例においては、画像識別手段７２が上述した本発明の第５の実施例における画像識別手段５２と同じ動作を行う。また、本実施例では、検索対象クラスタリング手段７３と類似度計算手段７５とが画像を画像識別手段７２から渡される点を除くと、検索対象領域設定手段７３、検査対象領域設定手段７４、類似度計算手段７５、類似画像領域設定手段７６、クラスタ融合手段７７、辞書出力手段７８各々については、上述した本発明の第３の実施例における検索対象クラスタリング手段３３、検索対象領域設定手段３４、類似度計算手段３５、類似画像領域設定手段３６、クラスタ融合手段３７、辞書出力手段３８とそれぞれ同じ動作を行う。
【０１１０】
図１８は本発明の第８の実施例による映像検索装置の構成を示すブロック図である。図１８において、映像検索装置８は画像入力手段８１と、画像識別手段８２と、検索対象画像クラスタリング手段８３と、検索対象領域設定手段８４と、類似度計算手段８５と、類似画像領域設定手段８６と、クラスタ融合手段８７と、辞書出力手段８８と、記録媒体８９とから構成され、画像入力手段８１と記録媒体８９とが外部に接続されている。
【０１１１】
尚、映像検索装置８の主たる構成要素のコンピュータ（図示せず）が記録媒体８９に格納されたプログラムを実行することで、上記の各手段がそれぞれ制御される。
【０１１２】
図１９は本発明の第８の実施例による映像検索装置８の動作を示すフローチャートである。これら図１８及び図１９を参照して本発明の第８の実施例による映像検索装置８の動作について説明する。この図１９に示す処理は映像検索装置８のコンピュータが記録媒体８９に格納されたプログラムを実行することで実現される。
【０１１３】
画像識別手段８２は外部の画像入力手段８１から入力された画像を予め定めた方法を用いて、検索対象が含まれているものと含まれていないものとに分類し（図１９ステップＳ８１）、検索対象が含まれている画像を検索対象クラスタリング手段８３に渡し、検索対象が含まれていない画像を類似度計算手段８５に渡す（図１９ステップＳ８２）。
【０１１４】
検索対象クラスタリング手段８３は画像識別手段８２によって得られた検索対象が含まれている画像を用いて、検索対象である特定の物体や人物の画像を、方向や照明条件等の見え方によって予め複数のカテゴリに分け、これらを検索対象カテゴリ群とする（図１９ステップＳ８３）。
【０１１５】
検索対象領域設定手段８４は各検索対象カテゴリ群について、予め定めた方法によって膨張・収縮を行い（図１９ステップＳ８４）、複数の検索対象カテゴリ群間で予め定めた方法によって補間を行い、検索対象領域を生成する（図１９ステップＳ８５）。
【０１１６】
類似度計算手段８５は画像識別手段８２によって得られた検索対象を含まない学習画像全てについて、クラスタ融合手段８７によって定められる、検索対象領域との距離を求める（図１９ステップＳ８６，Ｓ８７）。
【０１１７】
類似画像領域設定手段８６は距離が予め定めた値の範囲内にある画像について、検索対象と類似していると見なし、類似画像として登録し（図１９ステップＳ８８）、類似画像が特徴量空間上に張る領域を類似画像領域とする（図１９ステップＳ８９）。
【０１１８】
クラスタ融合手段８７は予め定めた方法によって検索対象領域内の複数のクラスタを統合し、クラスタの数を減らす（図１９ステップＳ９０）。辞書出力手段８８は検索対象領域と類似画像領域とを登録した辞書を出力する（図１９ステップＳ９１）。
【０１１９】
本実施例においては、類似度計算手段８５が検索対象領域設定手段８４によって定められる検索対象の特徴領空間上の領域に基づいて類似度を計算するのではなく、クラスタ融合手段８７によってラスタ数を削減した後の検索対象領域に基づいて類似度を算出するという点を除くと、上述した本発明の第７の実施例と同じ動作を行う。
【０１２０】
このように、本発明では、出力する辞書に誤検索抑制用に検索対象の画像及び特徴量空間上近い画像のみを登録するため、検索精度を低下させることなく、登録画像数を削減することができ、その結果、照合時間を短縮し、必要な記憶容量を低減し、登録画像確認の労力を大幅に削減することができる。また、本発明では、類似画像であるかどうかを自動的に判断するため、画像選択の労力についても削減することができる。
【０１２１】
【発明の効果】
以上説明したように本発明は、出力する辞書に誤検索抑制用に検索対象の画像及び特徴量空間上近い画像のみを登録することによって、検索の精度を維持しつつ、辞書に登録する画像の数を抑制することができ、登録の手間を低減することができるという効果が得られる。
【図面の簡単な説明】
【図１】本発明の第１の実施例による映像検索装置の構成を示すブロック図である。
【図２】本発明の第１の実施例による映像検索装置の動作を示すフローチャートである。
【図３】本発明の第２の実施例による映像検索装置の構成を示すブロック図である。
【図４】本発明の第２の実施例による映像検索装置の動作を示すフローチャートである。
【図５】図３の検索対象領域設定手段で用いられるクラスタ間の補間方法の一例を説明するための図である。
【図６】本発明の第２の実施例による類似画像領域の設定例を示す図である。
【図７】本発明の第３の実施例による映像検索装置の構成を示すブロック図である。
【図８】本発明の第３の実施例による映像検索装置の動作を示すフローチャートである。
【図９】本発明の第３の実施例による検索対象領域内のクラスタの融合の例を示す図である。
【図１０】本発明の第４の実施例による映像検索装置の構成を示すブロック図である。
【図１１】本発明の第４の実施例による映像検索装置の動作を示すフローチャートである。
【図１２】本発明の第５の実施例による映像検索装置の構成を示すブロック図である。
【図１３】本発明の第５の実施例による映像検索装置の動作を示すフローチャートである。
【図１４】本発明の第６の実施例による映像検索装置の構成を示すブロック図である。
【図１５】本発明の第６の実施例による映像検索装置の動作を示すフローチャートである。
【図１６】本発明の第７の実施例による映像検索装置の構成を示すブロック図である。
【図１７】本発明の第７の実施例による映像検索装置の動作を示すフローチャートである。
【図１８】本発明の第８の実施例による映像検索装置の構成を示すブロック図である。
【図１９】本発明の第８の実施例による映像検索装置の動作を示すフローチャートである。
【図２０】従来例による映像検索装置の構成を示すブロック図である。
【符号の説明】
１〜８ 映像検索装置
１１，２１，３１，４１ 検索対象画像入力手段
１２，２２，３２，４２ 非検索対象画像入力手段
１３，２４，３４，４４，５３，６４，７４，８４ 検索対象領域設定手段
１４，２５，３５，４５，５４，６５，７５，８５ 類似度計算手段
１５，２６，３６，４６，５５，６６，７６，８６ 類似画像領域設定手段
１６，２７，３８，４８，５６，６７，７８，８８ 辞書出力手段
１７，２８，３９，４９，５７，６８，７９，８９ 記録媒体
２３，３３，４３，６３，７３，８３ 検索対象画像クラスタリング手段
３７，４７，７７，８７ クラスタ融合手段
５１，６１，７１，８１ 画像入力手段
５２，６２，７２，８２ 画像識別手段
【発明の属する技術分野】
本発明は映像検索装置及びそれに用いる映像検索方法並びにそのプログラムに関し、特に画像データから指定した物体及び人物を検索する方法に関する。
【０００２】
【従来の技術】
従来、大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合、限定された条件下の画像のみを用いて認識用の辞書を構築すると、物体や人物が、その向きや照明条件等によって見え方が異なる。そのため、本来ならば、検索すべき多くの対象を見落としてしまう場合がある。
【０００３】
この問題を防ぐ対策の一つとして、見え方の様々な画像を数多く用いて辞書を構築する方法が考えられる。ところが、立体的な対象物の見え方は無数にあり、予め全ての見え方を登録することは不可能である。そこで、有限個の見え方の画像に基づいて、特徴量空間上で内挿や外挿を行うことによって、全ての見え方を考慮した認識方法が提案されている。この方法については、特開平８−１５３１９８号公報等に開示されている。しかしながら、一般的に、高精度に内挿や外挿を行うことは非常に困難であり、検索対象ではない物体や人物が検索される（誤検索）場合がある。
【０００４】
一方、文字認識の分野において誤認識を抑制する方法として、認識対象と類似した文字を予め認識用辞書に登録しておくという方法がある。この方法については、特開平１０−２３５２９９号公報等に開示されている。
【０００５】
この方法を物体や人物の検索に適用することで、誤検索を抑制することが考えられる。例えば、顔画像を用いた人物検索の場合、ある人物の顔と似ている人物の顔とについて、様々な見え方の画像を登録するという方法が容易に考えられる。
【０００６】
従来の映像検索システムの構成を図２０に示す。図２０において、従来の映像検索システムは検索対象画像入力手段９１と、類似画像（＃１〜＃Ｎ）入力手段９２−１〜９２−Ｎと、検索対象画像クラスタリング手段９３と、類似画像（＃１〜＃Ｎ）クラスタリング手段９４−１〜９４−Ｎと、検索対象領域設定手段９５と、類似画像 （＃１〜＃Ｎ）領域設定手段９６−１〜９６−Ｎと、辞書出力手段９７とから構成されている。
【０００７】
顔認識を用いて人物検索するシステムを例にとり、図２０に示すシステムの動作について説明する。まず、このシステムでは類似画像（＃１〜＃Ｎ）入力手段９２−１〜９２−Ｎにおいて人物毎に画像を選別し、類似画像（＃１〜＃Ｎ）クラスタリング手段９４−１〜９４−Ｎによって顔の向きや照明条件等、画像の見え方毎に特徴量空間上でクラスタリングする。
【０００８】
その後に、このシステムでは類似画像（＃１〜＃Ｎ）領域設定手段９６−１〜９６−Ｎによってクラスタ間を補間し、それをその人物の領域と定める。このシステムでは上記の処理を全ての類似した人物に対して行う。
【０００９】
【発明が解決しようとする課題】
上述した従来の映像検索方法では、誤検索率を小さくするために、できるだけ多くの類似した画像を登録する必要があり、入力として想定されている対象物体または対象人物の数が大きくなるにしたがって、登録すべき画像の数が急激に大きくなるという問題がある。
【００１０】
例えば、照合時に、入力画像と全登録画像との比較を行った場合、登録した画像の数が増えると、その計算量も同時に大きくなる。画像そのものや画像毎の特徴量を辞書に保存する場合、画像枚数の増大に伴って、登録に必要な記憶容量も増大する。複数の画像をまとめた場合や、複数の画像から出現確率関数等を求めて入力画像がどのカテゴリに属するかどうかを判断する場合にも、程度の差こそあれ、上記と同様な問題が存在する。
【００１１】
また、１つの対象に対して様々な向きや照明条件の画像を選別するには、人手による確認が不可欠であり、対象となる人物が増大するにしたがって、必要な労力も増大する。これらの問題点は、アプリケーションにおいてその処理が実用的でなくなるという事態を引き起こす場合がある。
【００１２】
そこで、本発明の目的は上記の問題点を解消し、検索の精度を維持しつつ、辞書に登録する画像の数を抑制することができ、登録の手間を低減することができる映像検索装置及びそれに用いる映像検索方法並びにそのプログラムを提供することにある。
【００１３】
【課題を解決するための手段】
本発明による映像検索装置は、大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合に限定された条件下の画像のみを用いて認識用の辞書を構築する映像検索装置であって、
検索対象の画像に特徴量空間上近い画像を前記検索対象の画像と類似した類似画像として抽出する抽出手段と、出力する辞書に前記検索対象の画像及び前記抽出手段で抽出された画像を登録して出力する手段とを備え、
前記抽出手段は、外部から入力されかつ検索対象を含む画像を用いて予め定めた特徴量空間上の前記検索対象の画像が張る範囲である検索対象領域を決める検索対象領域設定手段と、外部から入力されかつ前記検索対象の画像を含まない学習画像全てについて前記検索対象領域との特徴量空間上の距離を求める類似度計算手段と、前記距離が予め定めた値の範囲内にある画像を前記類似画像として登録しかつ前記類似画像が前記特徴量空間上に張る領域を類似画像領域とする類似画像領域設定手段とを含んでいる。
【００１４】
本発明による映像検索方法は、大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合に限定された条件下の画像のみを用いて認識用の辞書を構築する映像検索方法であって、
検索対象の画像に特徴量空間上近い画像を前記検索対象の画像と類似した類似画像として抽出する第１のステップと、その抽出された画像及び検索対象の画像を前記辞書に登録して出力する第２のステップとを備え、
前記第１のステップは、外部から入力されかつ検索対象を含む画像を用いて予め定めた特徴量空間上の前記検索対象の画像が張る範囲である検索対象領域を決めるステップと、外部から入力されかつ前記検索対象を含まない学習画像全てについて前記検索対象領域との特徴量空間上の距離を求めるステップと、前記距離が予め定めた値の範囲内にある画像を前記類似画像として登録しかつ前記類似画像が前記特徴量空間上に張る領域を類似画像領域とするステップとを含んでいる。
【００１５】
本発明によるプログラムは、大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合に限定された条件下の画像のみを用いて認識用の辞書を構築する映像検索装置内のコンピュータに実行させるプログラムであって、
検索対象の画像に特徴量空間上近い画像を前記検索対象の画像と類似した類似画像として抽出する第１の処理と、その抽出された画像及び検索対象の画像を前記辞書に登録して出力する第２の処理とを含み、
前記第１の処理は、外部から入力されかつ検索対象を含む画像を用いて予め定めた特徴量空間上の前記検索対象の画像が張る範囲である検索対象領域を決める処理と、外部から入力されかつ前記検索対象を含まない学習画像全てについて前記検索対象領域との特徴量空間上の距離を求める処理と、前記距離が予め定めた値の範囲内にある画像を前記類似画像として登録しかつ前記類似画像が前記特徴量空間上に張る領域を類似画像領域とする処理とを含むことを特徴とする。
【００１６】
すなわち、本発明の映像検索装置は、大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合に限定された条件下の画像のみを用いて認識用の辞書を構築する際に、出力する辞書に誤検索抑制用に検索対象の画像及び特徴量空間上近い画像を登録している。
【００１７】
このため、本発明の映像検索装置では、検索精度を低下させることなく、登録画像数を削減することが可能となり、その結果、照合時間を短縮し、必要な記憶容量を低減し、登録画像確認の労力を大幅に削減することが可能となる。
【００１８】
また、本発明の映像検索装置では、類似画像であるかどうかを自動的に判断しているため、画像選択の労力についても削減することが可能となる。
【００１９】
より具体的に説明すると、本発明の第１の映像検索装置は、外部の検索対象画像入力手段から入力される検索対象が含まれている画像を用いて予め定めた特徴量空間上の検索対象画像が張る範囲である検索対象領域を決める検索対象領域設定手段と、外部の非検索対象画像入力手段から入力される検索対象を含まない学習画像全てについて検索対象領域との特徴量空間上の距離を求める類似度計算手段と、距離が予め定めた値の範囲内にある画像を検索対象と類似していると見なして類似画像として登録しかつ類似画像が特徴量空間上に張る領域を類似画像領域とする類似画像領域設定手段と、検索対象領域と類似画像領域とを登録した辞書を出力する辞書出力手段とを持ち、登録する画像の数を抑制し、登録の手間も低減するように検索用辞書を作成している。
【００２０】
本発明の第２の映像検索装置は、外部の検索対象画像入力手段から入力された検索対象が含まれている画像を用いて検索対象である特定の物体や人物の画像を方向や照明条件等の見え方によって予め複数のカテゴリに分けてこれらを検索対象カテゴリ群とする検索対象クラスタリング手段と、各検索対象カテゴリ群について予め定めた方法によって膨張・収縮を行って複数の検索対象カテゴリ群間で予め定めた方法によって補間を行うことで検索対象領域を生成する検索対象領域設定手段と、外部の非検索対象画像入力手段から入力される検索対象を含まない学習画像全てについて検索対象領域との距離を求める類似度計算手段と、距離が予め定めた値の範囲内にある画像を検索対象と類似していると見なして類似画像として登録しかつ特徴量空間上の異なった類似画像間を補間して類似画像及びその補間した領域が特徴量空間上に張る領域を類似画像領域とする類似画像領域設定手段と、検索対象領域と類似画像領域とを登録した辞書を出力する辞書出力手段とを持ち、登録する画像の数を抑制し、登録の手間も低減するように検索用辞書を作成している。
【００２１】
本発明の第３の映像検索装置は、外部の検索対象画像入力手段から入力された検索対象が含まれている画像を用いて検索対象である特定の物体や人物の画像を方向や照明条件等の見え方によって予め複数のカテゴリに分けてこれらを検索対象カテゴリ群とする検索対象クラスタリング手段と、各検索対象カテゴリ群について予め定めた方法によって膨張・収縮を行って複数の検索対象カテゴリ群間で予め定めた方法によって補間を行うことで検索対象領域を生成する検索対象領域設定手段と、非検索対象画像入力手段から入力される検索対象を含まない学習画像全てについて検索対象領域との距離を求める類似度計算手段と、距離が予め定めた値の範囲内にある画像を検索対象と類似していると見なして類似画像として登録しかつ特徴量空間上の異なった類似画像間を補間して類似画像及びその補間した領域が特徴量空間上に張る領域を類似画像領域とする類似画像領域設定手段と、予め定めた方法によって検索対象領域内の複数のクラスタを統合してクラスタの数を減らすクラスタ融合手段と、検索対象領域と類似画像領域とを登録したファイルを出力する辞書出力手段とを持ち、登録する画像の数を抑制し、登録の手間も低減するように検索用辞書を作成している。
【００２２】
本発明の第４の映像検索装置は、外部の画像入力手段から入力された画像に対して検索対象が含まれているかどうかを判定し、検索対象が含まれている場合に画像を検索対象領域設定手段に渡し、含まれていない場合に画像を類似度計算手段に渡す画像識別手段と、画像識別手段によって得られた検索対象が含まれている画像を用いて予め定めた特徴量空間上の検索対象画像が張る範囲である検索対象領域を決める検索対象領域設定手段と、画像識別手段によって得られた検索対象を含まない学習画像全てについて検索対象領域との特徴量空間上の距離を求める類似度計算手段と、距離が予め定めた値の範囲内にある画像を検索対象と類似していると見なして類似画像として登録しかつ特徴量空間上の異なった類似画像間を補間して類似画像及びその補間した領域が特徴量空間上に張る領域を類似画像領域とする類似画像領域設定手段と、検索対象領域と類似画像領域とを登録した辞書を出力する辞書出力手段とを持ち、登録する画像の数を抑制し、登録の手間も低減するように検索用辞書を作成している。
【００２３】
本発明の第５の映像検索装置は、外部の画像入力手段から入力された画像に対して検索対象が含まれているかどうかを判定し、検索対象が含まれている場合に画像を検索対象画像クラスタリング手段に渡し、含まれていない場合に画像を類似度計算手段に渡す画像識別手段と、画像識別手段によって得られた検索対象が含まれている画像を用いて検索対象である特定の物体や人物の画像を方向や照明条件等の見え方によって予め複数のカテゴリに分けてこれらを検索対象カテゴリ群とする検索対象クラスタリング手段と、各検索対象カテゴリ群について予め定めた方法によって膨張・収縮を行って複数の検索対象カテゴリ群間で予め定めた方法によって補間を行うことで検索対象領域を生成する検索対象領域設定手段と、画像識別手段によって得られた検索対象を含まない学習画像全てについて検索対象領域との距離を求める類似度計算手段と、距離が予め定めた値の範囲内にある画像を検索対象と類似していると見なして類似画像として登録しかつ特徴量空間上の異なった類似画像間を補間して類似画像及びその補間した領域が特徴量空間上に張る領域を類似画像領域とする類似画像領域設定手段と、検索対象領域と類似画像領域を登録した辞書を出力する辞書出力手段とを持ち、登録する画像の数を抑制し、登録の手間も低減するように検索用辞書を作成している。
【００２４】
本発明の第６の映像検索装置は、外部の画像入力手段から入力された画像に対して検索対象が含まれているかどうかを判定し、検索対象が含まれている場合に画像を検索対象画像クラスタリング手段に渡し、含まれていない場合に画像を類似度計算手段に渡す画像識別手段と、画像識別手段によって得られた検索対象が含まれている画像を用いて検索対象である特定の物体や人物の画像を方向や照明条件等の見え方によって予め複数のカテゴリに分けてこれらを検索対象カテゴリ群とする検索対象クラスタリング手段と、各検索対象カテゴリ群について予め定めた方法によって膨張・収縮を行って複数の検索対象カテゴリ群間で予め定めた方法によって補間を行うことで検索対象領域を生成する検索対象領域設定手段と、画像識別手段によって得られた検索対象を含まない学習画像全てについて検索対象領域との距離を求める類似度計算手段と、距離が予め定めた値の範囲内にある画像を検索対象と類似していると見なして類似画像として登録しかつ特徴量空間上の異なった類似画像間を補間して類似画像及びその補間した領域が特徴量空間上に張る領域を類似画像領域とする類似画像領域設定手段と、予め定めた方法によって検索対象領域内の複数のクラスタを統合してクラスタの数を減らすクラスタ融合手段と、検索対象領域と類似画像領域とを登録したファイルを出力する辞書出力手段とを持ち、登録する画像の数を抑制し、登録の手間も低減するように検索用辞書を作成している。
【００２５】
これによって、本発明では、検索精度を低下させることなく、登録画像数を削減することが可能となり、その結果、照合時間を短縮し、必要な記憶容量を低減し、登録画像確認の労力を大幅に削減することが可能となる。また、本発明では、画像選択の労力についても削減することが可能となる。
【００２６】
【発明の実施の形態】
次に、本発明の実施例について図面を参照して説明する。図１は本発明の第１の実施例による映像検索装置の構成を示すブロック図である。図１において、映像検索装置１は検索対象画像入力手段１１と、非検索対象画像入力手段１２と、検索対象領域設定手段１３と、類似度計算手段１４と、類似画像領域設定手段１５と、辞書出力手段１６と、記録媒体１７とから構成され、検索対象画像入力手段１１と非検索対象画像入力手段１２と記録媒体１７とが外部に接続されている。
【００２７】
尚、映像検索装置１の主たる構成要素のコンピュータ（図示せず）が記録媒体１７に格納されたプログラムを実行することで、上記の各手段がそれぞれ制御される。
【００２８】
図２は本発明の第１の実施例による映像検索装置１の動作を示すフローチャートである。これら図１及び図２を参照して本発明の第１の実施例による映像検索装置１の動作について説明する。この図２に示す処理は映像検索装置１のコンピュータが記録媒体１７に格納されたプログラムを実行することで実現される。
【００２９】
検索対象領域設定手段１３は外部の検索対象画像入力手段１１から入力される検索対象が含まれている画像を用いて、予め定めた特徴量空間上の検索対象画像が張る範囲である検索対象領域を決める（図２ステップＳ１）。
【００３０】
類似度計算手段１４は外部の非検索対象画像入力手段１２から入力される検索対象を含まない学習画像全てについて、検索対象領域との特徴量空間上の距離を求める （図２ステップＳ２，Ｓ３）。
【００３１】
類似画像領域設定手段１５は距離が予め定めた値の範囲内にある画像について、検索対象と類似していると見なし、類似画像として登録し（図２ステップＳ４）、類似画像が特徴量空間上に張る領域を類似画像領域とする（図２ステップＳ５）。
【００３２】
辞書出力手段１６は検索対象領域と類似画像領域を登録した辞書を出力する（図２ステップＳ６）。
【００３３】
次に、具体的な実施例を用いて本実施例の動作について説明する。辞書登録用の画像は予め検索対象が含まれた画像と検索対象が含まれていない画像とに分けられている。
【００３４】
検索対象が含まれている画像については検索対象画像入力手段１１から入力され、検索対象が含まれていない画像については非検索対象画像入力手段１２から入力される。
【００３５】
検索対象画像入力手段１１及び非検索対象画像入力手段１２は各々、例えばビデオカメラが接続した映像キャプチャ装置から構成される。また、検索対象画像入力手段１１及び非検索対象画像入力手段１２は予め映像キャプチャ装置によって取得した動画像ファイルを保存し、その動画像ファイルを読込むコンピュータであってもよい。
【００３６】
検索対象領域設定手段１３は検索対象画像入力手段１１から入力される検索対象が含まれている画像を用いて、予め定めた特徴量空間上の検索対象画像が張る範囲を決め、この範囲を検索対象領域とする。
【００３７】
この場合、特徴量としては、例えば、画像全体または一部の色、形状、直交関数展開係数、動きベクトル等があげられる。検索対象領域を定める方法としては、例えば、個々の画像の特徴量空間上の位置に予め定めた広がりを与えるもの、全検索対象画像の特徴量空間上の重心と分布との分散、分布のモーメント、予め定めた特徴量空間上の出現確率分布関数に対して最小２乗法によってその出現確率分布関数のパラメータを決定する方法等があげられる。
【００３８】
類似度計算手段１４は非検索対象画像入力手段１２から入力される検索対象を含まない学習画像全てについて、前記検索対象領域との特徴量空間上の距離を求める。距離の求め方としては、検索対象領域の登録の仕方に依存するが、例えば、個々の画像が登録されているならば、最も距離が近い画像を探索し、その画像との距離を検索対象領域との距離と見なす方法がある。
【００３９】
また、検索対象領域に属する全画像の重心位置を求め、重心との距離を検索対象領域との距離と見なす方法もある。さらに、例えば、複数の画像に基づく出現確率分布関数が登録されているならば、その関数を用いて算出される出現確率を検索対象領域との距離と見なす方法もある。
【００４０】
類似画像領域設定手段１５は距離が予め定めた値の範囲内にある画像について、検索対象と類似していると見なし、類似画像として登録し、類似画像が特徴量空間上に張る領域を類似画像領域とする。
【００４１】
辞書出力手段１６は検索対象領域と類似画像領域を登録した辞書を出力する。辞書の中身としては、例えば、個々の画像または個々の画像の特徴量、複数の画像の特徴量から求まる重心やモーメント、出現確率密度関数等があげられる。辞書は、例えば、検索処理を行う計算機の主記憶装置か、補助記憶装置か、ネットワーク上の別のマシン等に保存される。
【００４２】
図３は本発明の第２の実施例による映像検索装置の構成を示すブロック図である。図３において、映像検索装置２は検索対象画像入力手段２１と、非検索対象画像入力手段２２と、検索対象画像クラスタリング手段２３と、検索対象領域設定手段２４と、類似度計算手段２５と、類似画像領域設定手段２６と、辞書出力手段２７と、記録媒体２８とから構成され、検索対象画像入力手段２１と非検索対象画像入力手段２２と記録媒体２８とが外部に接続されている。
【００４３】
尚、映像検索装置２の主たる構成要素のコンピュータ（図示せず）が記録媒体２８に格納されたプログラムを実行することで、上記の各手段がそれぞれ制御される。
【００４４】
図４は本発明の第２の実施例による映像検索装置２の動作を示すフローチャートである。これら図３及び図４を参照して本発明の第２の実施例による映像検索装置２の動作について説明する。この図４に示す処理は映像検索装置２のコンピュータが記録媒体２８に格納されたプログラムを実行することで実現される。
【００４５】
検索対象クラスタリング手段２３は外部の検索対象画像入力手段２１から入力された検索対象が含まれている画像を用いて、検索対象である特定の物体や人物の画像を、方向や照明条件等の見え方によって予め複数のカテゴリに分け、これらを検索対象カテゴリ群とする（図４ステップＳ１１）。
【００４６】
検索対象領域設定手段２４は各検索対象カテゴリ群について、予め定めた方法によって膨張・収縮を行い（図４ステップＳ１２）、複数の検索対象カテゴリ群間で予め定めた方法によって補間を行い、検索対象領域を生成する（図４ステップＳ１３）。
【００４７】
類似度計算手段２５は外部の非検索対象画像入力手段２２から入力される検索対象を含まない学習画像全てについて、前記検索対象領域との特徴量空間上の距離を求める（図４ステップＳ１４，Ｓ１５）。
【００４８】
類似画像領域設定手段２６は距離が予め定めた値の範囲内にある画像について、検索対象と類似していると見なし、類似画像として登録し（図４ステップＳ１６）、類似画像が特徴量空間上に張る領域を類似画像領域とする（図４ステップＳ１７）。
【００４９】
辞書出力手段２７は検索対象領域と類似画像領域とを登録した辞書を出力する（図４ステップＳ１８）。
【００５０】
図５は図３の検索対象領域設定手段２４で用いられるクラスタ間の補間方法の一例を説明するための図であり、図６は本発明の第２の実施例による類似画像領域の設定例を示す図である。これら図３〜図６を参照して本実施例の具体的な動作について説明する。
【００５１】
検索対象クラスタリング手段２３は外部の検索対象画像入力手段２１から入力された検索対象が含まれている画像を用いて、検索対象である特定の物体や人物の画像を、方向や照明条件等の見え方によって、予め複数のカテゴリに分け、これらを検索対象カテゴリ群とする。
【００５２】
画像を見え方毎に分類する方法としては、例えば、目視による分類や、対象物を３次元形状でモデリングし、３次元モデルと画像上の対象物との特徴点の対応関係から対象物の姿勢や照明環境を自動的に類推する方法があげられる。
【００５３】
検索対象領域設定手段２４は各検索対象カテゴリ群について、予め定めた方法によって膨張・収縮を行い、複数の検索対象カテゴリ群間で予め定めた方法によって補間を行い、検索対象領域を生成する。
【００５４】
膨張・収縮処理方法としては、例えば、検索対象カテゴリ群の各クラスタがガウス関数で表されるならば、一般的に、σと呼ばれているガウス関数の指数の肩の係数の増減によって容易に実現することができる。また、各クラスタが任意の関数で表される場合、検索対象が含まれるかどうかを判断するしきい値を設定し、このしきい値を増減することによっても、クラスタ領域を膨張・収縮させることができる。
【００５５】
補間する方法としては、例えば、クラスタ間に予め定めた大きさと形状のクラスタとを予め定めた間隔で配置する方法や、図５に示すように、クラスタを、クラスタに外接する特徴量空間上の管で結び、この管の内側を新たに検索対象領域とする方法、クラスタ同士、重心を曲線で結び、重心を通り、この曲線に垂直な方向のクラスタの分布が、曲線の一方の端であるクラスタと、もう一方の端であるクラスタとで分布形状、例えばガウス関数ならば、指数の肩の係数が連続的に変わるように設定する方法等があげられる。
【００５６】
類似画像領域設定手段２６は類似度計算手段２５によって求められた対象領域との距離が予め定めた値の範囲内にある検索対象の含まれていない画像について、検索対象と類似していると見なし、類似画像として登録し、個々の画像によって、特徴量空間上張られた領域を予め定めた方法で膨張・収縮させ、次に個々の画像の領域間を前記検索対象領域設定手段２４で述べたものと同じ方法で補間し、これらを類似画像領域とする。
【００５７】
例えば、図６に示すように、従来、図６の右側の砂粒状のパターンで塗られた楕円の集団を取り囲む破線の領域を類似した画像の領域としているが、本実施例では検索対象領域に近い、太い実線で囲まれた領域のみを類似した画像の領域として登録することになる。
【００５８】
類似度計算手段２５と辞書出力手段２７とについては、それぞれ、上述した本発明の第１の実施例における類似度計算手段１４及び辞書出力手段１６と同じ動作をする。
【００５９】
図７は本発明の第３の実施例による映像検索装置の構成を示すブロック図である。図７において、映像検索装置３は検索対象画像入力手段３１と、非検索対象画像入力手段３２と、検索対象画像クラスタリング手段３３と、検索対象領域設定手段３４と、類似度計算手段３５と、類似画像領域設定手段３６と、クラスタ融合手段３７と、辞書出力手段３８と、記録媒体３９とから構成され、検索対象画像入力手段３１と非検索対象画像入力手段３２と記録媒体３９とが外部に接続されている。
【００６０】
尚、映像検索装置３の主たる構成要素のコンピュータ（図示せず）が記録媒体３９に格納されたプログラムを実行することで、上記の各手段がそれぞれ制御される。
【００６１】
図８は本発明の第３の実施例による映像検索装置３の動作を示すフローチャートである。これら図７及び図８を参照して本発明の第３の実施例による映像検索装置３の動作について説明する。この図８に示す処理は映像検索装置３のコンピュータが記録媒体３９に格納されたプログラムを実行することで実現される。
【００６２】
検索対象クラスタリング手段３３は外部の検索対象画像入力手段３１から入力された検索対象が含まれている画像を用いて、検索対象である特定の物体や人物の画像を、方向や照明条件等の見え方によって予め複数のカテゴリに分け、これらを検索対象カテゴリ群とする（図８ステップＳ２１）。
【００６３】
検索対象領域設定手段３４は各検索対象カテゴリ群について、予め定めた方法によって膨張・収縮を行い（図８ステップＳ２２）、複数の検索対象カテゴリ群間で予め定めた方法によって補間を行い、検索対象領域を生成する（図８ステップＳ２３）。
【００６４】
類似度計算手段３５は外部の非検索対象画像入力手段３２から入力される検索対象を含まない学習画像全てについて、検索対象領域設定手段３４によって定められる、検索対象画像に基づいて特徴量空間上に構成される領域との距離を求める（図８ステップＳ２４，Ｓ２５）。
【００６５】
類似画像領域設定手段３６は距離が予め定めた値の範囲内にある画像について、検索対象と類似していると見なし、類似画像として登録し（図８ステップＳ２６）、類似画像が特徴量空間上に張る領域を類似画像領域とする（図８ステップＳ２７）。
【００６６】
クラスタ融合手段３７は予め定めた方法によって検索対象領域内の複数のクラスタを統合し、クラスタの数を減らす（図８ステップＳ２８）。辞書出力手段３８は検索対象領域と類似画像領域とを登録した辞書を出力する（図８ステップＳ２９）。
【００６７】
図９は本発明の第３の実施例による検索対象領域内のクラスタの融合の例を示す図である。この図９を参照して本発明の第３の実施例による具体的な動作について説明する。
【００６８】
クラスタ融合手段３７は予め定めた方法によって検索対象領域内の複数のクラスタを統合し、クラスタの数を減らす。クラスタを統合する方法としては、例えば、検索対象領域設定手段３４によって定められた検索対象領域に内接する最大の楕円球を予め定めた数作り、この楕円球に内包される複数のクラスタをこの楕円球で代表させる方法が考えられる。例えば、図６の左側の斜線パターンで塗られた楕円の集合を囲む領域に対して、図９に示すように、その領域に内接する楕円を設定することによって、検索対象領域を構成するクラスタの数を低減することができる。
【００６９】
上述した検索対象クラスタリング手段３３と、検索対象領域設定手段３４と、類似度計算手段３５と、類似画像領域設定手段３６と、辞書出力手段３８とについてはそれぞれ本発明の第２の実施例における検索対象クラスタリング手段２３と、検索対象領域設定手段２４と、類似度計算手段２５と、類似画像領域設定手段２６と、辞書出力手段２７とそれぞれ同じ動作を行う。
【００７０】
図１０は本発明の第４の実施例による映像検索装置の構成を示すブロック図である。図１０において、映像検索装置４は検索対象画像入力手段４１と、非検索対象画像入力手段４２と、検索対象画像クラスタリング手段４３と、検索対象領域設定手段４４と、類似度計算手段４５と、類似画像領域設定手段４６と、クラスタ融合手段４７と、辞書出力手段４８と、記録媒体４９とから構成され、検索対象画像入力手段４１と非検索対象画像入力手段４２と記録媒体４９とが外部に接続されている。
【００７１】
尚、映像検索装置４の主たる構成要素のコンピュータ（図示せず）が記録媒体４９に格納されたプログラムを実行することで、上記の各手段がそれぞれ制御される。
【００７２】
図１１は本発明の第４の実施例による映像検索装置４の動作を示すフローチャートである。これら図１０及び図１１を参照して本発明の第４の実施例による映像検索装置４の動作について説明する。この図１１に示す処理は映像検索装置４のコンピュータが記録媒体４９に格納されたプログラムを実行することで実現される。
【００７３】
検索対象クラスタリング手段４３は外部の検索対象画像入力手段４１から入力された検索対象が含まれている画像を用いて、検索対象である特定の物体や人物の画像を、方向や照明条件等の見え方によって予め複数のカテゴリに分け、これらを検索対象カテゴリ群とする（図１１ステップＳ３１）。
【００７４】
検索対象領域設定手段４４は各検索対象カテゴリ群について、予め定めた方法によって膨張・収縮を行い（図１１ステップＳ３２）、複数の検索対象カテゴリ群間で予め定めた方法によって補間を行い、検索対象領域を生成する（図１１ステップＳ３３）。
【００７５】
類似度計算手段４５は外部の非検索対象画像入力手段４２から入力される検索対象を含まない学習画像全てについて、クラスタ融合手段４７によって定められる検索対象領域との距離を求める（図１１ステップＳ３４，Ｓ３５）。
【００７６】
類似画像領域設定手段４６は距離が予め定めた値の範囲内にある画像について、検索対象と類似していると見なし、類似画像として登録し（図１１ステップＳ３６）、類似画像が特徴量空間上に張る領域を類似画像領域とする（図１１ステップＳ３７）。
【００７７】
クラスタ融合手段４７は予め定めた方法によって検索対象領域内の複数のクラスタを統合し、クラスタの数を減らす（図１１ステップＳ３８）。辞書出力手段４８は検索対象領域と類似画像領域とを登録した辞書を出力する（図１１ステップＳ３９）。
【００７８】
本実施例では、類似度計算手段４５が検索対象領域設定手段４４によって定められる検索対象の特徴領空間上の領域に基づいて類似度を計算するのではなく、クラスタ融合手段４７によってラスタ数を削減した後の検索対象領域に基づいて類似度を算出という点を除くと、本発明の第３の実施例と同じ動作を行う。
【００７９】
図１２は本発明の第５の実施例による映像検索装置の構成を示すブロック図である。図１２において、映像検索装置５は画像入力手段５１と、画像識別手段５２と、検索対象領域設定手段５３と、類似度計算手段５４と、類似画像領域設定手段５５と、辞書出力手段５６と、記録媒体５７とから構成され、画像入力手段５１と記録媒体５７とが外部に接続されている。
【００８０】
尚、映像検索装置５の主たる構成要素のコンピュータ（図示せず）が記録媒体５７に格納されたプログラムを実行することで、上記の各手段がそれぞれ制御される。
【００８１】
図１３は本発明の第５の実施例による映像検索装置５の動作を示すフローチャートである。これら図１２及び図１３を参照して本発明の第５の実施例による映像検索装置５の動作について説明する。この図１３に示す処理は映像検索装置５のコンピュータが記録媒体５７に格納されたプログラムを実行することで実現される。
【００８２】
画像識別手段５２は外部の画像入力手段５１から入力された画像を予め定めた方法を用いて、検索対象が含まれているものと含まれていないものとに分類し（図１３ステップＳ４１）、検索対象が含まれている画像を検索対象領域設定手段５３に渡し、検索対象が含まれていない画像を類似度計算手段５４に渡す（図１３ステップＳ４２）。
【００８３】
検索対象領域設定手段５３は画像識別手段５２によって得られた検索対象が含まれている画像を用いて、予め定めた特徴量空間上の検索対象画像が張る範囲である検索対象領域を決める（図１３ステップＳ４３）。
【００８４】
類似度計算手段５４は画像識別手段５２によって得られた検索対象を含まない学習画像全てについて、検索対象領域との特徴量空間上の距離を求める（図１３ステップＳ４４，Ｓ４５）。
【００８５】
類似画像領域設定手段５５は距離が予め定めた値の範囲内にある画像について、検索対象と類似していると見なし、類似画像として登録し（図１３ステップＳ４６）、類似画像が特徴量空間上に張る領域を類似画像領域とする（図１３ステップＳ４７）。
【００８６】
辞書出力手段５６は検索対象領域と類似画像領域とを登録した辞書を出力する（図１３ステップＳ４８）。
【００８７】
次に、上記の図１２を参照して本実施例の具体的な動作について説明する。画像識別手段５２は外部の画像入力手段５１から入力された画像を予め定めた方法を用いて、検索対象が含まれているものと含まれていないものとに分類し、検索対象が含まれている画像を検索対象領域設定手段５３に渡し、検索対象が含まれていない画像を類似度計算手段５４に渡す。
【００８８】
検索対象が含まれているかどうかを識別する方法としては、例えば、特開平８−１５３１９８号公報に記載された方法や、特開２０００−３００６５号公報に記載された方法等を用いることができる。こういった手法を用いた自動的な識別は誤りを含む場合があるので、複数の手法によるクロスチェックや、目視による確認を併用してもよい。
【００８９】
検索対象領域設定手段５３及び類似度計算手段５４が画像を画像識別手段５２から渡される点を除くと、検索対象領域設定手段５３、類似度計算手段５４、類似画像領域設定手段５５、辞書出力手段５６各々については、上述した本発明の第１の実施例における検索対象領域設定手段１３、類似度計算手段１４、類似画像領域設定手段１５、辞書出力手段１６と同じ動作を行う。
【００９０】
図１４は本発明の第６の実施例による映像検索装置の構成を示すブロック図である。図１４において、映像検索装置６は画像入力手段６１と、画像識別手段６２と、検索対象画像クラスタリング手段６３と、検索対象領域設定手段６４と、類似度計算手段６５と、類似画像領域設定手段６６と、辞書出力手段６７と、記録媒体６８とから構成され、画像入力手段６１と記録媒体６８とが外部に接続されている。
【００９１】
尚、映像検索装置６の主たる構成要素のコンピュータ（図示せず）が記録媒体６８に格納されたプログラムを実行することで、上記の各手段がそれぞれ制御される。
【００９２】
図１５は本発明の第６の実施例による映像検索装置６の動作を示すフローチャートである。これら図１４及び図１５を参照して本発明の第６の実施例による映像検索装置６の動作について説明する。この図１５に示す処理は映像検索装置６のコンピュータが記録媒体６８に格納されたプログラムを実行することで実現される。
【００９３】
画像識別手段６２は外部の画像入力手段６１から入力された画像を予め定めた方法を用いて、検索対象が含まれているものと含まれていないものとに分類し（図１５ステップＳ５１）、検索対象が含まれている画像を検索対象クラスタリング手段６３に渡し、検索対象が含まれていない画像を類似度計算手段６５に渡す（図１５ステップＳ５２）。
【００９４】
検索対象クラスタリング手段６３は画像識別手段６２によって得られた検索対象が含まれている画像を用いて、検索対象である特定の物体や人物の画像を、方向や照明条件等の見え方によって予め複数のカテゴリに分け、これらを検索対象カテゴリ群とする（図１５ステップＳ５３）。
【００９５】
検索対象領域設定手段６４は各検索対象カテゴリ群について、予め定めた方法によって膨張・収縮を行い（図１５ステップＳ５４）、複数の検索対象カテゴリ群間で予め定めた方法によって補間を行い、検索対象領域を生成する（図１５ステップＳ５５）。
【００９６】
類似度計算手段６５は画像識別手段６２によって得られた検索対象を含まない学習画像全てについて、検索対象領域との特徴量空間上の距離を求める（図１５ステップＳ５６，Ｓ５７）。
【００９７】
類似画像領域設定手段６６は距離が予め定めた値の範囲内にある画像について、検索対象と類似していると見なし、類似画像として登録し（図１５ステップＳ５８）、類似画像が特徴量空間上に張る領域を類似画像領域とする（図１５ステップＳ５９）。
【００９８】
辞書出力手段６７は検索対象領域と類似画像領域とを登録した辞書を出力する（図１５ステップＳ６０）。
【００９９】
本実施例において、画像識別手段６２は上述した本発明の第５の実施例における画像識別手段５２と同じ動作を行う。また、検索対象クラスタリング手段６３と、類似度計算手段６４とが画像を画像識別手段６２から渡される点を除くと、検索対象領域設定手段６３、類似度計算手段６４、類似画像領域設定手段６５、辞書出力手段６６各々については、上述した本発明の第２の実施例における検索対象領域設定手段２３、類似度計算手段２４、類似画像領域設定手段２５、辞書出力手段２６と同じ動作を行う。
【０１００】
図１６は本発明の第７の実施例による映像検索装置の構成を示すブロック図である。図１６において、映像検索装置７は画像入力手段７１と、画像識別手段７２と、検索対象画像クラスタリング手段７３と、検索対象領域設定手段７４と、類似度計算手段７５と、類似画像領域設定手段７６と、クラスタ融合手段７７と、辞書出力手段７８と、記録媒体７９とから構成され、画像入力手段７１と記録媒体７９とが外部に接続されている。
【０１０１】
尚、映像検索装置７の主たる構成要素のコンピュータ（図示せず）が記録媒体７９に格納されたプログラムを実行することで、上記の各手段がそれぞれ制御される。
【０１０２】
図１７は本発明の第７の実施例による映像検索装置７の動作を示すフローチャートである。これら図１６及び図１７を参照して本発明の第７の実施例による映像検索装置７の動作について説明する。この図１７に示す処理は映像検索装置７のコンピュータが記録媒体７９に格納されたプログラムを実行することで実現される。
【０１０３】
画像識別手段７２は外部の画像入力手段７１から入力された画像を予め定めた方法を用いて、検索対象が含まれているものと含まれていないものとに分類し（図１７ステップＳ６１）、検索対象が含まれている画像を検索対象クラスタリング手段７３に渡し、検索対象が含まれていない画像を類似度計算手段７５に渡す（図１７ステップＳ６２）。
【０１０４】
検索対象クラスタリング手段７３は画像識別手段７２によって得られた検索対象が含まれている画像を用いて、検索対象である特定の物体や人物の画像を、方向や照明条件等の見え方によって予め複数のカテゴリに分け、これらを検索対象カテゴリ群とする（図１７ステップＳ６３）。
【０１０５】
検索対象領域設定手段７４は各検索対象カテゴリ群について、予め定めた方法によって膨張・収縮を行い（図１７ステップＳ６４）、複数の検索対象カテゴリ群間で予め定めた方法によって補間を行い、検索対象領域を生成する（図１７ステップＳ６５）。
【０１０６】
類似度計算手段７５は画像識別手段７２によって得られた検索対象を含まない学習画像全てについて、検索対象領域との特徴量空間上の距離を求める（図１７ステップＳ６６，Ｓ６７）。
【０１０７】
類似画像領域設定手段７６は距離が予め定めた値の範囲内にある画像について、検索対象と類似していると見なし、類似画像として登録し（図１７ステップＳ６８）、類似画像が特徴量空間上に張る領域を類似画像領域とする（図１７ステップＳ６９）。
【０１０８】
クラスタ融合手段７７は予め定めた方法によって検索対象領域内の複数のクラスタを統合し、クラスタの数を減らす（図１７ステップＳ７０）。辞書出力手段７８は検索対象領域と類似画像領域とを登録した辞書を出力する（図１７ステップＳ７１）。
【０１０９】
本実施例においては、画像識別手段７２が上述した本発明の第５の実施例における画像識別手段５２と同じ動作を行う。また、本実施例では、検索対象クラスタリング手段７３と類似度計算手段７５とが画像を画像識別手段７２から渡される点を除くと、検索対象領域設定手段７３、検査対象領域設定手段７４、類似度計算手段７５、類似画像領域設定手段７６、クラスタ融合手段７７、辞書出力手段７８各々については、上述した本発明の第３の実施例における検索対象クラスタリング手段３３、検索対象領域設定手段３４、類似度計算手段３５、類似画像領域設定手段３６、クラスタ融合手段３７、辞書出力手段３８とそれぞれ同じ動作を行う。
【０１１０】
図１８は本発明の第８の実施例による映像検索装置の構成を示すブロック図である。図１８において、映像検索装置８は画像入力手段８１と、画像識別手段８２と、検索対象画像クラスタリング手段８３と、検索対象領域設定手段８４と、類似度計算手段８５と、類似画像領域設定手段８６と、クラスタ融合手段８７と、辞書出力手段８８と、記録媒体８９とから構成され、画像入力手段８１と記録媒体８９とが外部に接続されている。
【０１１１】
尚、映像検索装置８の主たる構成要素のコンピュータ（図示せず）が記録媒体８９に格納されたプログラムを実行することで、上記の各手段がそれぞれ制御される。
【０１１２】
図１９は本発明の第８の実施例による映像検索装置８の動作を示すフローチャートである。これら図１８及び図１９を参照して本発明の第８の実施例による映像検索装置８の動作について説明する。この図１９に示す処理は映像検索装置８のコンピュータが記録媒体８９に格納されたプログラムを実行することで実現される。
【０１１３】
画像識別手段８２は外部の画像入力手段８１から入力された画像を予め定めた方法を用いて、検索対象が含まれているものと含まれていないものとに分類し（図１９ステップＳ８１）、検索対象が含まれている画像を検索対象クラスタリング手段８３に渡し、検索対象が含まれていない画像を類似度計算手段８５に渡す（図１９ステップＳ８２）。
【０１１４】
検索対象クラスタリング手段８３は画像識別手段８２によって得られた検索対象が含まれている画像を用いて、検索対象である特定の物体や人物の画像を、方向や照明条件等の見え方によって予め複数のカテゴリに分け、これらを検索対象カテゴリ群とする（図１９ステップＳ８３）。
【０１１５】
検索対象領域設定手段８４は各検索対象カテゴリ群について、予め定めた方法によって膨張・収縮を行い（図１９ステップＳ８４）、複数の検索対象カテゴリ群間で予め定めた方法によって補間を行い、検索対象領域を生成する（図１９ステップＳ８５）。
【０１１６】
類似度計算手段８５は画像識別手段８２によって得られた検索対象を含まない学習画像全てについて、クラスタ融合手段８７によって定められる、検索対象領域との距離を求める（図１９ステップＳ８６，Ｓ８７）。
【０１１７】
類似画像領域設定手段８６は距離が予め定めた値の範囲内にある画像について、検索対象と類似していると見なし、類似画像として登録し（図１９ステップＳ８８）、類似画像が特徴量空間上に張る領域を類似画像領域とする（図１９ステップＳ８９）。
【０１１８】
クラスタ融合手段８７は予め定めた方法によって検索対象領域内の複数のクラスタを統合し、クラスタの数を減らす（図１９ステップＳ９０）。辞書出力手段８８は検索対象領域と類似画像領域とを登録した辞書を出力する（図１９ステップＳ９１）。
【０１１９】
本実施例においては、類似度計算手段８５が検索対象領域設定手段８４によって定められる検索対象の特徴領空間上の領域に基づいて類似度を計算するのではなく、クラスタ融合手段８７によってラスタ数を削減した後の検索対象領域に基づいて類似度を算出するという点を除くと、上述した本発明の第７の実施例と同じ動作を行う。
【０１２０】
このように、本発明では、出力する辞書に誤検索抑制用に検索対象の画像及び特徴量空間上近い画像のみを登録するため、検索精度を低下させることなく、登録画像数を削減することができ、その結果、照合時間を短縮し、必要な記憶容量を低減し、登録画像確認の労力を大幅に削減することができる。また、本発明では、類似画像であるかどうかを自動的に判断するため、画像選択の労力についても削減することができる。
【０１２１】
【発明の効果】
以上説明したように本発明は、出力する辞書に誤検索抑制用に検索対象の画像及び特徴量空間上近い画像のみを登録することによって、検索の精度を維持しつつ、辞書に登録する画像の数を抑制することができ、登録の手間を低減することができるという効果が得られる。
【図面の簡単な説明】
【図１】本発明の第１の実施例による映像検索装置の構成を示すブロック図である。
【図２】本発明の第１の実施例による映像検索装置の動作を示すフローチャートである。
【図３】本発明の第２の実施例による映像検索装置の構成を示すブロック図である。
【図４】本発明の第２の実施例による映像検索装置の動作を示すフローチャートである。
【図５】図３の検索対象領域設定手段で用いられるクラスタ間の補間方法の一例を説明するための図である。
【図６】本発明の第２の実施例による類似画像領域の設定例を示す図である。
【図７】本発明の第３の実施例による映像検索装置の構成を示すブロック図である。
【図８】本発明の第３の実施例による映像検索装置の動作を示すフローチャートである。
【図９】本発明の第３の実施例による検索対象領域内のクラスタの融合の例を示す図である。
【図１０】本発明の第４の実施例による映像検索装置の構成を示すブロック図である。
【図１１】本発明の第４の実施例による映像検索装置の動作を示すフローチャートである。
【図１２】本発明の第５の実施例による映像検索装置の構成を示すブロック図である。
【図１３】本発明の第５の実施例による映像検索装置の動作を示すフローチャートである。
【図１４】本発明の第６の実施例による映像検索装置の構成を示すブロック図である。
【図１５】本発明の第６の実施例による映像検索装置の動作を示すフローチャートである。
【図１６】本発明の第７の実施例による映像検索装置の構成を示すブロック図である。
【図１７】本発明の第７の実施例による映像検索装置の動作を示すフローチャートである。
【図１８】本発明の第８の実施例による映像検索装置の構成を示すブロック図である。
【図１９】本発明の第８の実施例による映像検索装置の動作を示すフローチャートである。
【図２０】従来例による映像検索装置の構成を示すブロック図である。
【符号の説明】
１〜８ 映像検索装置
１１，２１，３１，４１ 検索対象画像入力手段
１２，２２，３２，４２ 非検索対象画像入力手段
１３，２４，３４，４４，５３，６４，７４，８４ 検索対象領域設定手段
１４，２５，３５，４５，５４，６５，７５，８５ 類似度計算手段
１５，２６，３６，４６，５５，６６，７６，８６ 類似画像領域設定手段
１６，２７，３８，４８，５６，６７，７８，８８ 辞書出力手段
１７，２８，３９，４９，５７，６８，７９，８９ 記録媒体
２３，３３，４３，６３，７３，８３ 検索対象画像クラスタリング手段
３７，４７，７７，８７ クラスタ融合手段
５１，６１，７１，８１ 画像入力手段
５２，６２，７２，８２ 画像識別手段
Claims (11)
- 大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合に限定された条件下の画像のみを用いて認識用の辞書を構築する映像検索装置であって、
検索対象の画像に特徴量空間上近い画像を前記検索対象の画像と類似した類似画像として抽出する抽出手段と、出力する辞書に前記検索対象の画像及び前記抽出手段で抽出された画像を登録して出力する手段とを有し、
前記抽出手段は、外部から入力されかつ検索対象を含む画像を用いて予め定めた特徴量空間上の前記検索対象の画像が張る範囲である検索対象領域を決める検索対象領域設定手段と、外部から入力されかつ前記検索対象の画像を含まない学習画像全てについて前記検索対象領域との特徴量空間上の距離を求める類似度計算手段と、前記距離が予め定めた値の範囲内にある画像を前記類似画像として登録しかつ前記類似画像が前記特徴量空間上に張る領域を類似画像領域とする類似画像領域設定手段とを含むことを特徴とする映像検索装置。 - 大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合に限定された条件下の画像のみを用いて認識用の辞書を構築する映像検索装置であって、
検索対象の画像に特徴量空間上近い画像を前記検索対象の画像と類似した類似画像として抽出する抽出手段と、出力する辞書に前記検索対象の画像及び前記抽出手段で抽出された画像を登録して出力する手段とを有し、
前記抽出手段は、外部から入力されかつ検索対象を含む画像を用いて前記検索対象である特定の物体や人物の画像を少なくとも方向や照明条件の見え方によって予め複数のカテゴリに分けて検索対象カテゴリ群とする検索対象クラスタリング手段と、前記検索対象カテゴリ群各々について予め定めた方法によって膨張・収縮を行いかつ複数の検索対象カテゴリ群間で予め定めた方法によって補間を行って検索対象領域を生成する検索対象領域設定手段と、外部から入力されかつ検索対象を含まない学習画像全てについて前記検索対象領域との距離を求める類似度計算手段と、前記距離が予め定めた値の範囲内にある画像を前記類似画像として登録しかつ予め定めた特徴量空間上の異なった類似画像間を補間して前記類似画像及びその補間した領域が前記特徴量空間上に張る領域を類似画像領域とする類似画像領域設定手段とを含むことを特徴とする映像検索装置。 - 大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合に限定された条件下の画像のみを用いて認識用の辞書を構築する映像検索装置であって、
検索対象の画像に特徴量空間上近い画像を前記検索対象の画像と類似した類似画像として抽出する抽出手段と、出力する辞書に前記検索対象の画像及び前記抽出手段で抽出された画像を登録して出力する手段とを有し、
前記抽出手段は、外部から入力された画像に対して検索対象が含まれているかどうかを判定する画像識別手段と、前記画像識別手段で前記検索対象が含まれていると判定された画像を用いて予め定めた特徴量空間上の検索対象画像が張る範囲である検索対象領域を決める検索対象領域設定手段と、前記画像識別手段で前記検索対象が含まれていないと判定された学習画像全てについて前記検索対象領域との特徴量空間上の距離を求める類似度計算手段と、前記距離が予め定めた値の範囲内にある画像を前記類似画像として登録しかつ前記特徴量空間上の異なった類似画像間を補間して前記類似画像及びその補間した領域が前記特徴量空間上に張る領域を類似画像領域とする類似画像領域設定手段とを含むことを特徴とする映像検索装置。 - 大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合に限定された条件下の画像のみを用いて認識用の辞書を構築する映像検索装置であって、
検索対象の画像に特徴量空間上近い画像を前記検索対象の画像と類似した類似画像として抽出する抽出手段と、出力する辞書に前記検索対象の画像及び前記抽出手段で抽出され た画像を登録して出力する手段とを有し、
前記抽出手段は、外部から入力された画像に対して検索対象が含まれているかどうかを判定する画像識別手段と、前記画像識別手段で前記検索対象が含まれていると判定された画像を用いて前記検索対象である特定の物体や人物の画像を方向や照明条件等の見え方によって予め複数のカテゴリに分けて検索対象カテゴリ群とする検索対象クラスタリング手段と、前記画像識別手段で前記検索対象が含まれていると判定された画像を前記検索対象カテゴリ群各々について予め定めた方法によって膨張・収縮を行いかつ複数の検索対象カテゴリ群間で予め定めた方法によって補間を行って検索対象領域を生成する検索対象領域設定手段と、前記画像識別手段で前記検索対象が含まれていないと判定された学習画像全てについて前記検索対象領域との距離を求める類似度計算手段と、前記距離が予め定めた値の範囲内にある画像を前記類似画像として登録しかつ予め定めた特徴量空間上の異なった類似画像間を補間して前記類似画像及びその補間した領域が前記特徴量空間上に張る領域を類似画像領域とする類似画像領域設定手段とを含むことを特徴とする映像検索装置。 - 予め定めた方法によって前記検索対象領域内の複数のクラスタを統合して前記クラスタの数を減らすクラスタ融合手段を含むことを特徴とする請求項２または請求項４記載の映像検索装置。
- 大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合に限定された条件下の画像のみを用いて認識用の辞書を構築する映像検索方法であって、
検索対象の画像に特徴量空間上近い画像を前記検索対象の画像と類似した類似画像として抽出する第１のステップと、その抽出された画像及び検索対象の画像を前記辞書に登録して出力する第２のステップとを有し、
前記第１のステップは、外部から入力されかつ検索対象を含む画像を用いて予め定めた特徴量空間上の前記検索対象の画像が張る範囲である検索対象領域を決めるステップと、外部から入力されかつ前記検索対象を含まない学習画像全てについて前記検索対象領域との特徴量空間上の距離を求めるステップと、前記距離が予め定めた値の範囲内にある画像を前記類似画像として登録しかつ前記類似画像が前記特徴量空間上に張る領域を類似画像領域とするステップとを含むことを特徴とする映像検索方法。 - 大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合に限定された条件下の画像のみを用いて認識用の辞書を構築する映像検索方法であって、
検索対象の画像に特徴量空間上近い画像を前記検索対象の画像と類似した類似画像として抽出する第１のステップと、その抽出された画像及び検索対象の画像を前記辞書に登録して出力する第２のステップとを有し、
前記第１のステップは、外部から入力されかつ検索対象を含む画像を用いて前記検索対象である特定の物体や人物の画像を少なくとも方向や照明条件の見え方によって予め複数のカテゴリに分けて検索対象カテゴリ群とするステップと、前記検索対象カテゴリ群各々について予め定めた方法によって膨張・収縮を行いかつ複数の検索対象カテゴリ群間で予め定めた方法によって補間を行って検索対象領域を生成するステップと、外部から入力されかつ検索対象を含まない学習画像全てについて前記検索対象領域との距離を求めるステップと、前記距離が予め定めた値の範囲内にある画像を前記類似画像として登録しかつ予め定めた特徴量空間上の異なった類似画像間を補間して前記類似画像及びその補間した領域が前記特徴量空間上に張る領域を類似画像領域とするステップとを含むことを特徴とする映像検索方法。 - 大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合に限定された条件下の画像のみを用いて認識用の辞書を構築する映像検索方法であって、
検索対象の画像に特徴量空間上近い画像を前記検索対象の画像と類似した類似画像として抽出する第１のステップと、その抽出された画像及び検索対象の画像を前記辞書に登録して出力する第２のステップとを有し、
前記第１のステップは、外部から入力された画像に対して検索対象が含まれているかどうかを判定するステップと、前記検索対象が含まれていると判定された画像を用いて予め定めた特徴量空間上の検索対象画像が張る範囲である検索対象領域を決めるステップと、前記検索対象が含まれていないと判定された学習画像全てについて前記検索対象領域との特徴量空間上の距離を求めるステップと、前記距離が予め定めた値の範囲内にある画像を前記類似画像として登録しかつ前記特徴量空間上の異なった類似画像間を補間して前記類似画像及びその補間した領域が前記特徴量空間上に張る領域を類似画像領域とするステップとを含むことを特徴とする映像検索方法。 - 大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合に限定された条件下の画像のみを用いて認識用の辞書を構築する映像検索方法であって、
検索対象の画像に特徴量空間上近い画像を前記検索対象の画像と類似した類似画像として抽出する第１のステップと、その抽出された画像及び検索対象の画像を前記辞書に登録して出力する第２のステップとを有し、
前記第１のステップは、外部から入力された画像に対して検索対象が含まれているかどうかを判定するステップと、前記検索対象が含まれていると判定された画像を用いて前記検索対象である特定の物体や人物の画像を方向や照明条件等の見え方によって予め複数のカテゴリに分けて検索対象カテゴリ群とするステップと、前記検索対象が含まれていると判定された画像を前記検索対象カテゴリ群各々について予め定めた方法によって膨張・収縮を行いかつ複数の検索対象カテゴリ群間で予め定めた方法によって補間を行って検索対象領域を生成するステップと、前記検索対象が含まれていないと判定された学習画像全てについて前記検索対象領域との距離を求めるステップと、前記距離が予め定めた値の範囲内にある画像を前記類似画像として登録しかつ予め定めた特徴量空間上の異なった類似画像間を補間して前記類似画像及びその補間した領域が前記特徴量空間上に張る領域を類似画像領域とするステップとを含むことを特徴とする映像検索方法。 - 予め定めた方法によって前記検索対象領域内の複数のクラスタを統合して前記クラスタの数を減らすステップを含むことを特徴とする請求項７または請求項９記載の映像検索方法。
- 大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合に限定された条件下の画像のみを用いて認識用の辞書を構築する映像検索装置内のコンピュータに実行させるプログラムであって、
検索対象の画像に特徴量空間上近い画像を前記検索対象の画像と類似した類似画像として抽出する第１の処理と、その抽出された画像及び検索対象の画像を前記辞書に登録して出力する第２の処理とを含み、
前記第１の処理は、外部から入力されかつ検索対象を含む画像を用いて予め定めた特徴量空間上の前記検索対象の画像が張る範囲である検索対象領域を決める処理と、外部から入力されかつ前記検索対象を含まない学習画像全てについて前記検索対象領域との特徴量空間上の距離を求める処理と、前記距離が予め定めた値の範囲内にある画像を前記類似画像として登録しかつ前記類似画像が前記特徴量空間上に張る領域を類似画像領域とする処理とを含むことを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002154891A JP4232388B2 (ja) | 2002-05-29 | 2002-05-29 | 映像検索装置及びそれに用いる映像検索方法並びにそのプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002154891A JP4232388B2 (ja) | 2002-05-29 | 2002-05-29 | 映像検索装置及びそれに用いる映像検索方法並びにそのプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003345830A JP2003345830A (ja) | 2003-12-05 |
| JP4232388B2 true JP4232388B2 (ja) | 2009-03-04 |
Family
ID=29771534
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002154891A Expired - Fee Related JP4232388B2 (ja) | 2002-05-29 | 2002-05-29 | 映像検索装置及びそれに用いる映像検索方法並びにそのプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4232388B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006025272A1 (ja) * | 2004-09-01 | 2006-03-09 | Nec Corporation | 映像分類装置、映像分類プログラム、映像検索装置、および映像検索プログラム |
| JP4789526B2 (ja) * | 2005-07-13 | 2011-10-12 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| JP4777059B2 (ja) | 2005-12-22 | 2011-09-21 | パナソニック株式会社 | 画像検索装置および画像検索方法 |
| JP5237596B2 (ja) | 2007-08-10 | 2013-07-17 | オリンパス株式会社 | 判別装置 |
| JP5007757B2 (ja) * | 2010-06-29 | 2012-08-22 | 株式会社ニコン | 画像分類装置 |
| JP5361664B2 (ja) | 2009-10-30 | 2013-12-04 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| JP6341843B2 (ja) * | 2014-11-27 | 2018-06-13 | 株式会社 日立産業制御ソリューションズ | 画像検索装置、及び画像検索システム |
-
2002
- 2002-05-29 JP JP2002154891A patent/JP4232388B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003345830A (ja) | 2003-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zheng et al. | Pyramidal person re-identification via multi-loss dynamic training | |
| Kejriwal et al. | High performance loop closure detection using bag of word pairs | |
| US9092662B2 (en) | Pattern recognition method and pattern recognition apparatus | |
| KR100874787B1 (ko) | 형태를 사용하여 객체를 표현 및 탐색하기 위한 방법 및장치 | |
| Lee et al. | Place recognition using straight lines for vision-based SLAM | |
| CN108446672B (zh) | 一种基于由粗到细脸部形状估计的人脸对齐方法 | |
| CN104794219A (zh) | 一种基于地理位置信息的场景检索方法 | |
| KR101917354B1 (ko) | 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템 및 방법 | |
| CN111339812A (zh) | 一种基于全部或部分人体结构化特征集的行人识别和再识别的方法、电子设备和存储介质 | |
| CN104281572A (zh) | 一种基于互信息的目标匹配方法及其系统 | |
| JP6639743B1 (ja) | 検索システム、検索方法、及びプログラム | |
| JPWO2012046426A1 (ja) | 物体検出装置、物体検出方法および物体検出プログラム | |
| JP4232388B2 (ja) | 映像検索装置及びそれに用いる映像検索方法並びにそのプログラム | |
| Shao et al. | Identity and kinship relations in group pictures | |
| JP4421527B2 (ja) | 映像検索装置，方法及びプログラム並びにプログラムを記録した記録媒体 | |
| CN114219828A (zh) | 一种基于视频的目标关联方法、装置和可读存储介质 | |
| CN112101154B (zh) | 视频分类方法、装置、计算机设备和存储介质 | |
| JP6384167B2 (ja) | 移動体追跡装置及び移動体追跡方法、並びにコンピュータ・プログラム | |
| CN109508660A (zh) | 一种基于视频的au检测方法 | |
| US20230386185A1 (en) | Statistical model-based false detection removal algorithm from images | |
| CN111767839A (zh) | 一种车辆行驶轨迹确定方法、装置、设备及介质 | |
| JP6778625B2 (ja) | 画像検索システム、画像検索方法及び画像検索プログラム | |
| CN115601396A (zh) | 一种基于深度特征和关键点匹配的红外目标跟踪方法 | |
| Xiong et al. | Coaction discovery: segmentation of common actions across multiple videos | |
| KR102540290B1 (ko) | 이종 센서 카메라 기반 사람 재식별 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050422 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080626 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080701 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080901 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081118 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081201 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4232388 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121219 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121219 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131219 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |