JP3421469B2 - 類似画像の検索装置および方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は類似画像の検索装置お
よび方法に関し、特にディジタル動画像を記録、伝送、
又は表示する装置において、画像を効率的かつ高精度に
検索することのできる類似画像の検索装置および方法に
関する。

【０００２】

【従来の技術】動画像情報は文字や図形などに比較して
膨大な情報量を持っているため、画像検索では、大量の
画像情報データから目的の画像を効率的に検索すること
が重要となる。類似画像検索は、検索対象となる画像と
類似の画像の有無や、その位置を検索するもので、画像
検索の中で中心的な役割を果たしている。

【０００３】類似画像検索についてはこれまで、例えば
上田らによる“動画像解析に基づくビデオ構造の視覚化
とその応用”，電子通信情報学会論文誌，D-II, pp.157
2-1580(1994-8)や、中島らによる“キーワード画像抽出
による動画像サマリの作成”第49回情報処理学会全国大
会，1F-10, (1994) により検索手法が提案されている。
前者の提案は映像中のあるフレームに存在する対象物を
指定すると、残りのフレームから対象物と同じ色対を持
つものをすべて抽出することにより検索する方式で、指
定した物体の検索に用いることが可能である。たとえ
ば、前記指定された対象物が赤い服装の女性のアナウン
サであれば、髪の毛の黒色と顔の肌色と服装の赤色とが
色対となり、残りのフレームから該色対をもつ物体が存
在する全てのフレームを抽出する。

【０００４】また、後者は映像中のあるフレームを指定
すると、残りのフレームから指定した対象フレームと類
似した画面を検索する方式で、TVニュースのアナウンサ
画像のように、比較的固定的な画面の検索に用いること
が可能である。

【０００５】

【発明が解決しようとする課題】これらの２つの方式で
は、図５のように指定した画像Ｒ0 を参照画像として固
定し、この参照画像と検索する画像Ｓ1 、…、Ｓn （以
下、検索対象画像と呼ぶ）とを逐一比較して相関の高い
画像を参照画像と同じクラスタ（グループ）に属する画
像として検出している（ここでは、該方式を逐一比較型
類似画像検索と呼ぶ）。従って、参照画像がクラスタに
属する画像すべての共通特性を反映している場合には、
クラスタ内の画像と参照画像との相関は高くなり、その
結果、非常に高い精度で検索することが可能である。

【０００６】しかしながら、アニメ等の人為的に作成さ
れた画像ではなく、自然画像の場合には、クラスタ内の
画像の共通特性を持った参照画像を新たに作成すること
は非常に困難で、上記文献でも用いられているように、
映像中のある画像をサンプルして参照画像として用いて
いる。従って、サンプルされた参照画像が、クラスタ内
の画像の特性を良く反映したものであれば高い精度での
検索が可能あるが、クラスタ内の画像の共通特性をあま
り満足していない場合、本来クラスタ内に属する画像と
の相関は高くなくなり、その結果未検出が生じたり、本
来クラスタ外に属する画像との相関が高くなって過剰検
出が生じる。

【０００７】例えば、図６に示されているように、サン
プルされた参照画像Ｒ0 がクラスタＳ内の画像の特性を
良く反映したものであれば、該クラスタＳ内に存在する
画像Ｓ1 、Ｓ3 、Ｓ4 、…、Ｓn-2 、Ｓn を検索するこ
とができる。しかしながら、参照画像としてＳ3 を選択
したとすると、画像Ｓ3 のクラスタはＳ´となり、クラ
スタＳ内に存在する画像Ｓ4 、Ｓn-2 を検出することが
できなくなったり、逆にクラスタａ外の画像Ｓ2 、Ｓn-
1 を同じクラスタの画像と誤検出するという不具合が起
こる。

【０００８】このように、従来技術においては、映像中
の画像をサンプルして参照画像とする場合、逐一比較型
の類似画像検索では、参照画像の選択に検索結果が大き
く依存するという問題があった。

【０００９】本発明の目的は、前記のような従来技術の
問題点を除去し、クラスタ内の画像の共通特性を反映す
るように参照画像を更新させることにより、サンプルさ
れた参照画像を用いた場合でも高い精度で類似画像を検
索することのできる類似画像の検索装置および方法を提
供することにある。

【００１０】

【課題を解決するための手段】前記目的を達成するため
に、この発明は、参照画像を設定する手段と、入力動画
像から検索対象画像を順次選択する手段と、前記参照画
像および各検索対象画像の特徴量から検索対象画像毎に
類似度を演算する手段と、該類似度が所定値以上である
か否かを判定する手段と、該類似度が所定値以上である
と判定された各検索対象画像を同一クラスタとして記録
する手段と、前記参照画像の特徴量を、前記同一クラス
タと判定された検索対象画像の特徴量のみを加味して更
新する手段とを具備した点に特徴がある。また、さら
に、最初に設定された参照画像の特徴量を保持する手段
と、前記手段に保持された特徴量と更新された最終的な
参照画像の特徴量との類似度を求める手段と、該類似度
の大きさにより、検出された類似画像の有効性を判定す
る手段とを具備した点に特徴がある。

【００１１】また、本発明は、最後の検索対象画像に対
する類似度の判定が終了した時に、最初の参照画像の特
徴量と最後に更新された特徴量とから類似度を求め、該
類似度が所定の類似度よりも小さい時には、前記しきい
値を大きくして、再度類似画像の検索を行うようにした
点、および最初は前記しきい値を小さくして類似画像の
候補を選定し、次に該しきい値を大きくして該類似画像
候補から類似画像を検索するようにした点に特徴があ
る。

【００１２】

【作用】本発明によれば、動画像から類似した画像を検
索する上で、参照画像と各画面を比較して類似度が高い
画面が検出された場合に、該画面を参照画面と同一クラ
スタの画像とし、さらに該画面を用いて参照画像の特性
を更新させて新しい参照画像を作成し、該参照画像を用
いて残りの画像について類似画像検索を行い、類似度が
高い画像が検出される毎に参照画像の更新を行う。

【００１３】また、前記類似画像検索において、最終的
な参照画像と最初に設定された画像との類似度を測定
し、類似度の大きさにより、検出された類似画像の有効
性を判定する。

【００１４】

【実施例】以下に、図面を参照して、本発明を詳細に説
明する。図１は本発明の一実施例の機能を説明するため
のブロック図である。図において、参照画像設定部１は
画像入力部０から入力する画像から参照画像Ｒ0 を設定
する。参照画像が設定されると、特徴量設定・更新部２
は該参照画像の特徴量を設定する。この特徴量は参照画
像特徴量記憶部３に記憶されると共に、類似度演算部６
に送られる。なお、該特徴量設定・更新部２は後述の説
明から明らかになるように、特徴量の更新を行う。

【００１５】次に、検索対象画像選択部４は入力画像か
ら検索対象となる画像Ｓi(i=1,2,…,n) を選択する。特
徴量設定部５は該選択された検索対象画像の特徴量を設
定する。この特徴量は類似度演算部６に送られる。該類
似度演算部６は前記特徴量設定・更新部２からの特徴量
と前記特徴量設定部５からの特徴量とを比較し、両者の
類似度を演算する。この類似度は類似度判定部７に送ら
れる。類似度判定部７は該類似度が予め定められたしき
い値ρth1 より大きいか小さいかを判定する。該しきい
値より大きいと判定された場合には、前記特徴量設定・
更新部２は前記特徴量設定部５からの特徴量を加味し
て、特徴量を更新する。また、クラスタ画像記録部８は
前記検索対象画像として選択された画像Ｓi を類似画像
として記録する。

【００１６】最終画像判定部９は、入力画像Ｓi が最終
の画像であるか否かを判定する。類似度判定部１０は、
該最終画像判定部９が最終画像であると判定した時に動
作し、前記参照画像特徴量記憶部３に記憶されていた最
初の参照画像の特徴量と、前記特徴量設定・更新部２か
らの最後に更新された特徴量とから類似度を求め、この
類似度が予め定められているしきい値ρth2 より大きい
か否かの判定をする。該類似度が前記しきい値より大で
あると判定されると、クラスタ画像記録部８は、記録し
ていた類似画像を読み出して出力する。逆に、小である
と判定されると、クラスタ画像記録部８は記録していた
画像を読み出すことなく無効の処理をする。

【００１７】次に、上記した構成を有する本実施例の動
作を、図２のフローチャートを参照して説明する。ま
ず、ステップＳ１で、ある置数ｍ、ｉをｍ＝ｉ＝０と置
く。ステップＳ２では、前記参照画像設定部１が入力画
像から参照画像Ｒ0 を設定する。ステップＳ３では、該
参照画像Ｒ0 の特徴量Ａ0 を設定し、前記参照画像特徴
量記憶部３に記憶する。ステップＳ４では、前記検索対
象画像選択部４は検索対象画像Ｓi を選択する。最初は
検索対象画像Ｓ0 を選択する。ステップＳ５では、該検
索対象画像Ｓi の特徴量Ｂi を設定する。ステップＳ６
では、前記参照画像Ｒ0 の特徴量Ａ0 と前記検索対象画
像Ｓi の特徴量Ｂi 、または本発明により更新された参
照画像の特徴量Ａm と前記検索対象画像Ｓi の特徴量Ｂ
i とから、前記類似度演算部６が類似度を算出する。

【００１８】ステップＳ７では、該類似度が予め定めら
れた第１のしきい値ρth1 より大きいか否かの判断をす
る。この判断は、前記類似度判定部７が行う。この判断
が肯定の時には、ステップＳ８に進んで、前記検索対象
画像Ｓi がクラスタ画像記録部８に記録される。ステッ
プＳ９では、本発明に従って、参照画像の特徴量が変更
される。この変更の具体的な手法は後で詳細に説明す
る。ステップＳ１０では、前記検索対象画像Ｓi が検索
対象の最後の画像であるか否かの判断がなされ、この判
断が否定の時には、ステップＳ１１に進んで、ｉが１イ
ンクリメントされる。そして、前記ステップＳ４に戻っ
て、次の検索対象画像Ｓi+1 が選ばれる。この新たな検
索対象画像Ｓi+1 に対するステップＳ６の類似度の演算
は、更新された参照画像の特徴量Ａm+1 と該検索対象画
像Ｓi+1 の特徴量との間で行われる。

【００１９】以上の動作が繰返し行われると、前記クラ
スタ画像記録部８には、１または複数の類似画像が記録
されることになる。ステップＳ１０の判定が肯定になる
と、ステップＳ１２に進んで、最初の参照画像Ｒ0 の特
徴量Ａ0 と最後に更新された参照画像の特徴量Ａm とか
ら類似度が演算される。ステップＳ１３では、この類似
度が予め定められているしきい値より大きいか否かの判
断がなされる。この判断を行う理由は、参照画像の特徴
量を更新した結果、該更新特徴量が最初の参照画像Ｒ0
の特徴量と大きく離れてしまうと、最初の参照画像Ｒ0
に対する類似画像の検索の精度が落ちるので、これを防
止するためである。ステップＳ１３の判断が肯定の時に
は、精度良く類似画像の検索ができたとして、前記クラ
スタ画像記録部８から類似画像の読みだしを行う。一
方、ステップＳ１３の判断が否定になると、ステップＳ
１６に進んで、無効出力を行う。

【００２０】次に、前記ステップＳ９の参照画像の特徴
量を更新する手法を、図３を参照して具体的に説明す
る。図において、○は参照画像と同一のクラスタ画像を
示し、□は参照画像とクラスタの異なる画像を示す。図
４においても、同様である。

【００２１】図３に示されているように、最初の参照画
像Ｒ0 と検索対象画像Ｓ1 、Ｓ2 、Ｓ3 、…、Ｓn があ
ったとする。検索対象画像Ｓ1 に対しては、参照画像Ｒ
0 の特徴量Ａ0 を用いて類似度を算出する。この検索対
象画像Ｓ1 が同一のクラスタの画像であると判定される
と、次の検索対象画像Ｓ2 に対しては、最初の参照画像
Ｒ0 の特徴量Ａ0 と同一クラスタであると判定された検
索対象画像Ｓ1 の特徴量Ｂ1 との平均（＝（Ａ0 ＋Ｂ1
）／２）を更新された特徴量Ａ1 として、次の検索対
象画像Ｓ2 の類似度の判定をする。この判定により、検
索対象画像Ｓ2 が同一クラスタに属さないと判定される
と、該検索対象画像Ｓ2 の特徴量Ｂ2 は無視し、前記特
徴量Ａ1 を用いて次の検索対象画像Ｓ3 の類似度を算出
する。該検索対象画像Ｓ3 が同一クラスタに属すると判
定されると、今度は検索対象画像Ｓ3 の特徴量Ｂ3 を取
入れた特徴量（Ａ1 ＋Ｂ3 ）／２に更新して、次の検索
対象画像Ｓ4 の類似度の判定を行う。以下、これを繰返
して、参照画像の特徴量Ａmを更新する。

【００２２】上記のようにして、参照画像の特徴量Ａm
を更新すると、最初に設定した参照画像Ｒ0 のクラスタ
内の画像の共通特性をあまり満足していない場合でも、
該共通特性を徐々に改善する事ができ、精度の良い類似
画像の抽出が可能になる。なお、本実施例では、前記ス
テップＳ１３を設けているので、参照画像の特徴量の更
新が前記共通特性を劣化させる方向に進んだ場合には、
これを除外することができる。

【００２３】前記ステップＳ９の参照画像の特徴量を更
新する他の手法を、図４を参照して具体的に説明する。
この手法は、図示されているように、検索対象画像Ｓi
に対する更新参照画像の特徴量Ａm を、最初の参照画像
Ｒ0 の特徴量Ａ0 と該検索対象画像Ｓi の直前の同一ク
ラスタに属する検索対象画像の特徴量との平均から求め
るようにしたものである。図示されている例の場合、検
索対象画像Ｓ2 、Ｓ3に対する特徴量Ａ1 は（Ａ0 ＋Ｂ1
）／２となり、検索対象画像Ｓ4 に対する特徴量Ａ2
は（Ａ0 ＋Ｂ3 ）／２となる。なお、前記図３、図４で
説明した更新参照画像の特徴量Ａm を算出するにあたっ
て、最初の参照画像Ｒ0 の特徴量Ａ0 に重みを付けるよ
うにしても良い。例えば、Ａ1 ＝（２Ａ0 ＋Ｂ1 ）／３
としてもよい。

【００２４】次に、前記した実施例の構成および動作を
より具体的に説明する。画像入力部０より入力された画
像は参照画像設定部１で検索対象となる画像が指定され
参照画像Ｒj となる。ただし、j = 0 。特徴量設定・更
新部２では、指定された参照画像Ｒ0 について、特徴量
Temp(Rj)が設定される。なお、Tempはテンプレート（＝
特徴量）を表している。さらに、検索対象画像Ｓi （i
= 1,…,n）が検索対象画像選択部４で選択され、特徴量
設定部５で特徴量Temp(Si)が設定される。

【００２５】類似画像検索では検索する物体が画面中に
存在するかどうかを検出するため、物体の位置に依存せ
ずに検出する必要があり、これは、一例として、特徴パ
ラメータの画面内でのヒストグラムを用いることにより
実現できる。また、カラー画像においては色信号が画像
の特徴パラメータとして表現できるため、前記特徴量設
定・更新部２および特徴量設定部５では、それぞれ参照
画像の特徴量Temp(Rj)と検索対象画像の特徴量Temp(Si)
の一例として、色差信号のヒストグラム行列を用いるこ
とができる。該色差信号のヒストグラム行列は周知では
あるが、これは本出願人が先に出願した特願平６−４６
５６１号に詳細に説明されている。 Temp(x) = Hx,u,v （１） ただし、Hx,u,vは画像x の色差ヒストグラム行列で、u,
v はそれぞれ色差Cb、Crの色クラスを示す。

【００２６】類似度演算部６では２つの特徴量Temp(Rj)
とTemp(Si)の類似度を演算する。類似度としては２つの
特徴量の相関係数ρ(Rj, Si)を類似度とすることが可能
で、一例として、下記の（２）式の相関係数ρを用いる
ことができる。なお、この（２）式も前記特願平６−４
６５６１号で説明されているものである。 ρ(a, b) = CCab / (ACa x ACb) ^1/2 （２） ただし、ρ(a, b)は２つの画像a,b のテンプレートの色
差ヒストグラム行列の相関値であり、CCab、ACa および
ACb は、それぞれ、下記の（３）式で表すことができ
る。

【００２７】

【数１】 類似度判定部７では類似度の大きさにより、入力された
検索対象画像Siが参照画像Rjと同一のクラスタかどうか
を判定する。類似度の大きさについては、画像番号i =
k において（４）式のように２つの特徴量の相関係数ρ
(Rj, Sk)とρth1 を比較してρth1 より大きい場合、類
似度が大きいと判断し、検索画像Skを参照画像と同一ク
ラスタとすることができる。

【００２８】 ρ(Rj, Sk) ＞ ρth1 の時、Skは参照画像と同一クラスタ （４） 一方、（４）式を満足しない場合、検索対象画像Siは参
照画像とクラスタが異なると判断する。

【００２９】クラスタ画像記録部８では、検索結果を検
索処理後に出力するため、同一クラスタと判断された検
索対象画像Siの記録を行なう。特徴量設定・更新部２で
は、参照画像の特徴量を検出された画像Ｓk を用いて更
新し、該参照画像の特徴量がクラスタ内の画像の共通特
性を高めるようにする。更新された特徴量をTemp(Rj+1)
とすると、Temp(Rj+1)は（５）式のように更新関数Ｆを
用いて表される。

【００３０】 Temp(Rj+1) = F ( Temp(Rj), Temp(Sk) ) （５） 参照画像の特徴量Temp(Rj)を、検出された画像の特徴量
Temp(Sk)を用いて更新する場合、互いの共通特性を残す
手段として、２つの特徴量の平均値処理を用いることが
できる。例えば、前記特願平６−４６５６１号の色差ヒ
ストグラム行列を特徴量に用いている場合、２つの行列
の平均を用いることによって、互いの特性を残しつつ、
参照画像の特性を更新することができる。従って、この
場合、更新された特徴量Ｆ()は（６）式のように表され
る。 F ( Temp(Rj), Temp(Sk) ) = ( Temp(Rj) + Temp(Sk) ) / 2 （６） 参照画像の特徴量が更新された後、あるいは類似度判定
部７で類似度が低いと判定された後、最終画像判定部９
で検索画像が最終画像かどうかが判定される。検索画像
がまだ残っている場合は、検索対象画像選択部４から新
たな検索対象画像が選択され、前記した類似画像検索処
理が再度実行される。この場合、参照画像の特徴量Temp
(Rj)は、j 値を１増加させて最新の特徴量を用いる。

【００３１】最終画像判定部９で検索画像が最終画像検
索画像であると判定された場合には、類似度判定部１０
で、最終の参照画像の特徴量Temp(Rz)と最初に設定され
た参照画像の特徴量Temp(R0)の類似度が演算される。類
似度としては２つの特徴量の相関係数ρ(R0, Rz)を類似
度とすることが可能で、一例として前記（２）式の相関
係数ρを用いることができる。

【００３２】最終の参照画像の特徴量Temp(Rz)と最初に
設定された参照画像の特徴量Temp(R0)の類似度の大きさ
により、類似度判定部１０では得られたクラスタの有効
性を判定する。類似度が大きい場合は、類似画像検索で
得られた画像はすべて初期設定された参照画像の特徴を
持った画像と判断し、得られたクラスタを有効と判定す
る。また、逆に類似度が低い場合は得られた画像が最初
に設定された画像と異なるクラスタにあると判断する。
類似度の判定については、（４）式のように２つの特徴
量の相関係数ρ(R0, Rz)としきい値ρth2 を比較してρ
th2 より大きい場合、類似度が大きいと判断し、得られ
たクラスタは有効と判定し、クラスタ画像記録部７で記
録されたクラスタ画像を出力し処理を終了させる。 ρ(R0, Rz) ＞ ρth2 の時、得られたクラスタは有効 （７） 一方、（７）式を満足しない場合、得られたクラスタは
無効と判定し、無効の処理を行なう。 （変形例）本発明は、前記実施例に限定されることな
く、種々の変形が可能である。まず、類似度判定部１０
の処理、すなわち最終の参照画像の特徴量Temp(Rz)と最
初に設定された参照画像の特徴量Temp(R0)の類似度の大
小の判定処理を省略して、処理の軽減を図ることが可能
である。ただし、この場合、クラスタ画像記録部８で記
録されたクラスタ画像が、参照画像と同一である保証が
ないため、検索精度が劣化する場合が発生する可能性が
ある。

【００３３】また、前記類似度判定部１０の処理におい
て、類似度がしきい値ρth2 より低いと判定された場合
に、処理を終了した後で、類似度判定部７での判定条件
を変更して、再度検索処理を行なうようにしてもよい。
このようにすると、類似度がしきい値ρth2 より高いと
判定される有効なクラスタを生成することができるよう
になる。例えば、類似度判定部１０におけるしきい値ρ
th1 の値を高くすると、最初に設定した参照画像に非常
に類似した画像のみを検索できるためクラスタの有効性
は高くなる。ただし、この場合、検出条件が厳しくなる
ため、参照画像と類似度が低いものの、本来同一クラス
タに属する画像が未検出となって検索精度が劣化する恐
れがある。

【００３４】また、検索処理を複数回繰り返して、類似
画像の検索精度を向上させる方法を用いることも可能で
ある。この場合、類似度判定部７や類似度判定部１０で
の判定条件を最初は緩く設定して、本来のクラスタ画像
よりも多くの画像を検出させ、クラスタ内候補画像を選
択する。次にこれらの候補画像について、類似画像検索
処理を行なう。ただし、参照画像の特徴量は前回の処理
で更新された最新ものを用い、類似度判定部の判定条件
は前回より厳しくし、候補画像からクラスタ内画像を絞
り込む。

【００３５】また、類似度判定部７において、予め定め
られたしきい値ρth1 を用いる代わりに、特徴量の更新
回数に応じて変化するしきい値ρm を用いることも可能
である。この場合、例えばｍが小さい間は、参照画像の
特徴量はクラスタの共通的な特性を備えていないためし
きい値を低く設定し、更新回数が増えるにつれ、共通特
性を持った特徴量が作成されるため、徐々にしきい値を
大きくして、クラスタ画像の未検出による誤検出を低く
抑えることができる。

【００３６】さらに、本発明は特定の類似度演算手段や
類似度判定手段に依存することがないため、例えば、上
田らの提案する方式（" 動画像解析に基づくビデオ構造
の視覚化とその応用",電子通信情報学会論文誌, D-II,
pp.1572-1580(1994-8) ）を用いて実現することも可能
である。

【００３７】

【発明の効果】本発明によれば、類似した画像が動画像
から検出される毎に参照画像の特徴量を更新するように
しているので、従来の逐一比較型で問題となっていた参
照画像の検索精度への影響を軽減し、サンプルされた参
照画像にあまり依存することなく類似画像検索を行なう
ことができ、検索精度の向上を図ることが可能になる。
また、参照画像を比較的容易に設定できるので、動画像
からの類似画像の検索の操作性を向上することができ
る。

【００３８】一例として、４つのＴＶニュース画像を用
いてアナウンサ画像の検索を行なった結果、従来の逐一
比較型の検索では過剰検出と未検出を合わせた誤検出率
が約３０％であったのに対し、請求項４の発明によると
約４％に低減することができた。

【図面の簡単な説明】

【図１】 本発明の一実施例の類似画像検索装置の構成
を示すブロック図である。

【図２】 本実施例の動作を説明するためのフローチャ
ートである。

【図３】 本発明による参照画像の特徴量の更新方法を
説明するための図である。

【図４】 本発明による参照画像の特徴量の他の更新方
法を説明するための図である。

【図５】 従来の参照画像に対する類似画像の検出方法
の原理を説明するための図である。

【図６】 従来方法による類似画像の検出結果の一例を
説明するための図である。

【符号の説明】

０…画像入力部、１…参照画像設定部、２…特徴量設定
・更新部、３…参照画像特徴量記憶部、４…検索対象画
像選択部、５…特徴量設定部、６…類似度演算部、７…
類似度判定部、８…クラスタ画像記録部、９…最終画像
判定部、１０…類似度判定部。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平３−204089（ＪＰ，Ａ) 特開 平５−12449（ＪＰ，Ａ) 特開 昭62−114082（ＪＰ，Ａ) 特開 平６−223190（ＪＰ，Ａ) 特開 昭61−188683（ＪＰ，Ａ) 中島康之，堀裕修，塩原敏充，キーワ ード画像抽出による動画像サマリの作 成，情報処理学会第49回全国大会講演論 文集，日本，情報処理学会，1994年 ９ 月，Ｖｏｌ．２，ｐｐ．91−92 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/20 G11B 27/02 H04N 5/76 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 参照画像と類似する画像を動画像から検
   索する類似画像の検索装置において、 参照画像を設定する手段と、 入力動画像から検索対象画像を順次選択する手段と、 前記参照画像および各検索対象画像の特徴量から検索対
   象画像毎に類似度を演算する手段と、 該類似度が所定値以上であるか否かを判定する手段と、 該類似度が所定値以上であると判定された各検索対象画
   像を同一クラスタとして記録する手段と、 前記参照画像の特徴量を、前記同一クラスタと判定され
   た検索対象画像の特徴量のみを加味して更新する手段と
   を具備し、 参照画像の特徴量を順次更新させて、後続の検索対象画
   像から類似画像を検索するようにし、前記類似度が所定
   値以上であるか否かを判定する手段は、前記参照画像の
   特徴量を更新する手段が更新回数を増すにつれて、前記
   所定値を大きくしていくことを特徴とする類似画像の検
   索装置。
2. 【請求項２】 参照画像と類似する画像を動画像から検
   索する類似画像の検索装置において、参照画像を設定する手段と、 入力動画像から検索対象画像を順次選択する手段と、 前記参照画像および各検索対象画像の特徴量から検索対
   象画像毎に類似度を演算する手段と、 該類似度が所定値以上であるか否かを判定する手段と、 該類似度が所定値以上であると判定された各検索対象画
   像を同一クラスタとして記録する手段と、 前記参照画像の特徴量を、前記同一クラスタと判定され
   た検索対象画像の特徴量のみを加味して更新する手段
   と、 最初に設定された参照画像の特徴量を保持する手段と、 前記手段に保持された特徴量と更新された最終的な参照
   画像の特徴量との類似 度を求める手段と、 該類似度の大きさにより、検出された類似画像の有効性
   を判定する手段とを具備した ことを特徴とする類似画像
   の検索装置。
3. 【請求項３】 参照画像に対する類似画像を動画像から
   検索する方法であって、 参照画像の特徴量と検索対象画像の特徴量とから両者の
   類似度を求め、該類似度をしきい値と比較して、該検索
   対象画像が同一クラスタの画像であるか否かを判定し、 同一クラスタの画像であると判定された検索対象画像の
   特徴量のみを加味して前記参照画像の特徴量を更新し
   て、後続の検索対象画像が同一クラスタの画像であるか
   否かを判定し、 最後の検索対象画像に対する類似度の判定が終了した時
   に、最初の参照画像の特徴量と最後に更新された特徴量
   とから類似度を求め、該類似度が所定の類似度よりも小
   さい時には、前記しきい値を大きくして、再度類似画像
   の検索を行うようにした類似画像の検索方法。
4. 【請求項４】 参照画像に対する類似画像を動画像から
   検索する方法であって、 参照画像の特徴量と入力動画像である検索対象画像の特
   徴量とから両者の類似度を求め、該類似度をしきい値と
   比較して、該検索対象画像が同一クラスタの画像である
   か否かを判定し、 同一クラスタの画像であると判定された検索対象画像の
   特徴量のみを加味して前記参照画像の特徴量を更新し
   て、後続の検索対象画像が同一クラスタの画像であるか
   否かを判定することにより該参照画像に対する類似画像
   の候補を求め、 該候補となった検索対象画像に対して、前記しきい値を
   高くして再度類似画像の検索を行うようにしたことを特
   徴とする類似画像の検索方法。