JP3483113B2

JP3483113B2 - 時系列画像検索方法、装置、および時系列画像検索プログラムを記録した記録媒体

Info

Publication number: JP3483113B2
Application number: JP14973898A
Authority: JP
Inventors: 和弘大塚; 力堀越; 智鈴木
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1998-05-29
Filing date: 1998-05-29
Publication date: 2004-01-06
Anticipated expiration: 2018-05-29
Also published as: JPH11345342A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、データベース中に
蓄積されている大量の時系列画像の中から、キーとして
入力される任意の時系列画像と類似する時系列画像の部
分を検索する時系列画像検索方法および装置に関する。

【０００２】

【従来の技術】これまでの時系列画像の検索の技術とし
て固有空間を用いた技術が存在した。その一例として、
文献：藤本泰史、岩佐秀彦、横矢直和、竹村治雄“固有
空間内の軌跡の類似性に基づく動画像検索”、電子情報
通信学会技術報告、ＰＲＭＵ９６−１１０，ｐｐ．４９
−５６，１９９６．が挙げられる。この方法は、時系列
画像のフレーム毎に、画像中の画素の濃淡値を１次元の
ベクトルとして表現し、時系列画像データベースを構成
する画像系列の各フレームについて計算したこのベクト
ルを列ベクトルとした行列をつくり、この行列から全画
像系列の特徴量のベクトルの平均値を引いた行列につい
て共分散行列を求め、この行列の固有値問題を解いて得
られる大きい固有値に対応する固有ベクトルを基底とす
る固有空間をつくり、各画像系列を固有空間上に投影し
た軌跡を計算する。そして検索のキーの画像系列に対応
する固有空間上の軌跡と、データベースに蓄積されてい
る画像系列の固有空間上の軌跡との距離を非類似度の尺
度として用い、距離の小さい画像系列を検索結果として
いる。

【０００３】画像系列を固有空間上の軌跡として表現す
ることで時間変化する画像パターンが簡易に表現でき、
また、元の画像特徴の次元数に比較して小さな次元の固
有空間内で検索が実行できるため、検索による時間が短
いという利点がある。

【０００４】

【発明が解決しようとする課題】しかしながら、上述し
た従来技術は、固有空間内の軌跡間の距離が、利用者の
類似性の評価に必ずしも一致せず、また、軌跡間の距離
が同一である場合にも画像系列によって、利用者が認識
する類似の度合いが変化してしまうという問題がある。
さらに、固有空間を構成するために利用している画像の
濃淡値などの空間分布特徴のみでは、検索のための特徴
量として不十分であるという問題もある。

【０００５】したがって、本発明の目的は、利用者の類
似性の評価に合致した、画像系列の高精度の検索が可能
な時系列画像検索方法および装置を提供することにあ
る。

【０００６】

【課題を解決するための手段】本発明の時系列画像検索
方法は、時系列の画像系列をキーとして与え、時系列画
像データベース中から類似する時系列の画像系列の部分
を検索する時系列画像検索方法であって、時系列をなす
画像系列を入力し、時系列画像データベースに蓄積させ
るステップと、該入力された画像系列から単位時刻毎に
画像の空間分布特徴量ベクトルを計算するステップと、
時系列画像データベース中の画像系列の集合から計算さ
れた空間分布特徴ベクトルの系列から、該空間分布特徴
の固有空間を計算するステップと、該画像の系列を固有
空間上に投影したときの軌跡を計算し、データベースに
記憶させるステップと、画像系列の集合から単位時間毎
に補助的な特徴量を計算するステップと、該補助的な特
徴量をデータベースに記憶させるステップと、検索のキ
ーとなる時系列の画像系列を入力するステップと、該入
力された画像系列につて、先に計算された固有空間上に
投影したときの軌跡を計算するステップと、該軌跡と該
データベースに蓄積されている画像系列の軌跡との距離
を計算するステップと、該検索のキーとして入力された
画像系列について、補助的な特徴量を計算するステップ
と、該補助的な特徴量と該データベースに蓄積されてい
る画像系列の補助的な特徴量との距離を計算するステッ
プと、固有空間上の軌跡間の距離と補助的な特徴量量間
の距離の加重和を画像系列間の非類似度として計算し、
データベースに蓄積されている画像系列の中から非類似
度が小さい画像系列を検索結果として出力するステップ
とを有する。

【０００７】本発明では、画像系列を固有空間上の軌跡
として表現することで時間変化する画像パターンを簡易
に表現でき、また、元の画像特徴の次元数に比較して小
さな次元の固有空間内で検索が実行できるため、検索に
要する時間が短いという利点がある。

【０００８】また、本発明では、画像の空間分布特徴に
より構成される固有空間上の軌跡間の距離という類似性
の尺度に加え、補助的な特徴量を導入し、それら複数の
特徴量間の距離に重み付けした和を画像系列間の非類似
性の尺度とし、検索を行う。よって、従来の画像の空間
分布特徴の固有空間を用いた方法と比較し、幅広い画像
特徴量を用いることができ、利用者の要求により合致し
た、精度の高い検索が可能となる。

【０００９】本発明の実施態様によれば、画像系列から
単位時間毎に画像の空間分布特徴量ベクトルを計算する
ステップが、画像平面上の画素の濃淡値を順番に並べて
できている１次元のベクトルとして計算するステップを
含む。

【００１０】本発明の実施態様によれば、画像系列から
単位時間毎に画像の空間分布特徴量ベクトルを計算する
ステップが、画像平面をメッシュ状に区切り、各メッシ
ュに含まれる画像の濃淡値の平均をある時間間隔毎に計
算し、各時刻毎に１次元の特徴量ベクトルとして空間分
布特徴量ベクトルを求めるステップを含む。

【００１１】本発明の実施態様によれば、画像系列から
単位時間毎に画像の空間分布特徴量ベクトルを計算する
ステップが、各時刻における速度ベクトル上を求め、画
像平面上の各点の速度成分を一列に並べて１次元の特徴
量ベクトルとして空間分布特徴量ベクトルを求めるステ
ップを含む。

【００１２】本発明の実施態様によれば、画像系列の集
合から単位時間毎に補助的な特徴量を計算するステップ
が、画像濃淡分布のテクスチャー特徴、または色特徴、
または画像パターンの形状特徴の一部または全部を特徴
量として、それぞれ単位時刻毎の１次元ベクトルとして
補助的な特徴量を計算するステップを含む。

【００１３】本発明の実施態様によれば、固有空間を計
算するステップが、画像系列に対してある時間間隔毎に
得られる１次元ベクトルの特徴量を全画像系列について
まとめて行列を作り、この行列から全画像系列の特徴量
のベクトルの平均値を引いた行列について共分散行列を
求め、この行列の固有値問題を解いて得られる大きい固
有値に対応する固有ベクトルを基底とする固有空間を得
るステップを含む。

【００１４】本発明の実施態様によれば、画像系列に対
応する空間分布特徴量の系列を固有空間上に投影したと
きの軌跡を計算するステップが、該軌跡を、画像系列に
対してある時間間隔毎に得られる１次元ベクトルの特徴
量をそれぞれ順番に固有空間上の点に変換し、その点列
を画像系列に対する固有空間上の軌跡として求めるステ
ップを含む。

【００１５】本発明の実施態様によれば、検索のキーと
して入力された画像系列についての固有空間上の軌跡
と、該データベースに蓄積されている画像系列の軌跡と
の距離を計算するステップが、それぞれの軌跡につい
て、各時刻の特徴量ベクトルに対応する軌跡上の点列の
間の距離を、各々の点の時間順序を守り総和して求める
ステップを含む。

【００１６】本発明の実施態様によれば、検索のキーと
して入力された画像系列とデータベースに蓄積されてい
る画像系列との間の非類似度を、固有空間上の軌跡間の
距離と補助的な特徴量間の距離の加重和として計算する
ステップが、距離に乗じられる加重の大きさを、検索の
結果が利用者の評価に合致するように事前に調整するス
テップを含む。

【００１７】本発明の実施態様によれば、検索キーとし
て入力された画像系列とデータベースに蓄積されている
画像系列との間の非類似度を計算する際の個々の特徴量
間の距離の加重を調整するステップが、データベースに
蓄積されている画像系列の中から利用者が代表的な画像
系列を選択し、それぞれについて、固有空間上の軌跡の
間の距離が近い画像系列を検索し、その検索された画像
系列が、検索のキーの画像系列と類似しているかどうか
を利用者が与える評価尺度により評価し、類似する画像
系列に対する非類似度が小さくなるように、前記の個々
の特徴量間の距離の加重を決定するステップを含む。

【００１８】本発明の実施態様によれば、利用者が選択
した代表的な画像系列について、固有空間中の軌跡間の
距離が近い画像系列を検索し、類似しているかどうかの
評価を利用者が与え、類似する画像系列に対する非類似
度が小さくなるように、前記個々の特徴量の距離の加重
を決定するステップが、個々の代表的な画像系列につい
て、検索された画像系列の集合を、代表的な画像系列に
類似すると評価された画像系列のクラスと、類似しない
と評価された画像系列の２つのクラスに分類し、各クラ
ス内の特徴量の距離のばらつきが小さくなるように、ま
た、各クラス間のばらつきが大きくなるように、特徴量
間の距離の加重を判別分析により計算する手順を含むス
テップを含む。

【００１９】本発明の実施態様によれば、利用者が選択
した代表的な画像系列について、それぞれ得られた非類
似度計算のための加重を、個々の代表的な画像系列に対
応する該固有空間上の軌跡上の位置と関連づけて記憶さ
せるステップを含む。

【００２０】本発明の実施態様によれば、検索のキーと
して入力された画像系列とデータベースに蓄積されてい
る画像系列との間の非類似度を、固有空間上の軌跡間の
距離と補助的な特徴量間の距離の加重和として計算する
ステップが、検索のキーの画像系列に対応する固有空間
上の軌跡に最も近い、事前に利用者が選択した代表的な
画像系列に対応する固有空間上の軌跡を探し、その代表
的な画像系列について計算された加重和を用いて検索の
キーとデータベース中の画像系列との非類似度を計算す
るステップを含む。

【００２１】複数の特徴量間の距離の重み付けを、利用
者の類似性の尺度に合致させるように調整することがで
きるため、利用者毎の類似性の尺度を検索に反映させる
ことができる。

【００２２】また、複数の特徴量間の距離の重み付け
を、利用者がデータベースの中から選択した代表的な画
像系列毎に設定することができ、それぞれ設定された重
みを、固有空間上の軌跡の位置と関連づけて記憶させる
ことができる。よって、画像系列の違いによる類似性の
尺度の違いを考慮でき、より広範囲な画像系列の検索が
可能となる。

【００２３】さらに、検索の段階において、検索のキー
として与える画像系列の固有空間上での軌跡に最も近
い、事前に設定した代表的な画像系列に対する特徴量間
の重みを検索し、この重みを用いた類似性の尺度に基づ
き検索を行う。そのため、画像系列毎に、最も適した類
似性の尺度を用いて検索ができるため、利用者の要求に
合致した、より精度の高い検索が可能となる。

【００２４】本発明の時系列画像検索装置は、時系列の
画像系列をキーとして与え、時系列画像データベース中
から類似する時系列の画像系列の部分を検索する時系列
画像検索装置であって、時系列をなす画像系列を入力
し、時系列画像データベースに蓄積させる手段と、該入
力された画像系列から単位時刻毎に画像の空間分布特徴
量ベクトルを計算する手段と、時系列画像データベース
中の画像系列の集合から計算された空間分布特徴ベクト
ルの系列から、該空間分布特徴の固有空間を計算する手
段と、該画像の系列を固有空間上に投影したときの軌跡
を計算し、データベースに記憶させる手段と、画像系列
の集合から単位時刻毎に補助的な特徴量を計算する手段
と、該補助的な特徴量をデータベースに記憶させる手段
と、検索のキーとなる時系列の画像系列を入力する手段
と、該入力された画像系列について、先に計算された固
有空間上に投影したときの軌跡との距離を計算する手段
と、該軌跡とデータベースに蓄積されている画像系列の
軌跡との距離を計算する手段と、該検索のキーとして入
力された画像系列について、補助的な特徴量を計算する
手段と、該補助的な特徴量と該データベースに蓄積され
ている画像系列の補助的な特徴量との距離を計算する手
段と、固有空間上の軌跡間の距離と補助的な特徴量間の
距離の加重和を画像系列間の非類似度として計算し、デ
ータベースに蓄積されている画像系列の中から非類似度
が小さい画像系列を検索結果として出力する手段を有す
る。

【００２５】

【発明の実施の形態】次に、本発明の実施の形態を図面
を参照して詳細に説明する。

【００２６】図１を参照すると、本発明の一実施形態の
時系列検索装置は入力部１００と処理部２００と出力部
３００で構成されている。

【００２７】入力部１００は、データベースに蓄積する
ための画像系列を入力するデータベース画像系列入力部
１０１と、検索のキーとなる画像系列を入力する検索キ
ー画像系列入力部１０２と、類似性の尺度を調整するた
めの、データベース中の代表的な画像系列を選択する学
習画像系列選択部１０３と、学習画像系列選択部１０３
によって与えられたデータベース中の代表的な画像系列
について、類似性の評価を与える類似性評価提供部１０
４からなる。

【００２８】処理部２００は、データベース画像系列入
力部１０１により入力された画像系列を記憶する画像系
列記憶部２０１と、画像系列から画像空間分布の特徴量
を計算する画像空間分布特徴計算部２０２と、画像系列
記憶部２０１中の画像系列について、画像空間分布特徴
計算部２０２により計算された特徴量の固有空間を構築
する固有空間構築部２０３と、画像系列に対応する固有
空間上の軌跡を得る固有空間投影部２０４と、画像系列
に対して補助的な画像特徴を計算する補助画像特徴計算
部２０５と、画像系列記憶部２０１中の画像系列に対応
する固有空間上の軌跡および補助画像特徴を記憶する固
有空間内画像系列記憶部２０６と、キーとして与えられ
た画像系列の固有空間上の軌跡および補助画像特徴を用
いて、固有空間内画像系列記憶部２０６から画像系列を
検索する検索部２０７と、画像系列選択部１０３によっ
て選択された画像系列記憶部２０１中の画像系列につい
て、固有空間上の軌跡間の距離の尺度により検索した画
像系列の類似性を類似性評価提供部１０４により与えら
れた評価基準より評価し、評価基準に合致するように非
類似性計算の際の加重を調整する特徴量加重調整部２０
８と、調整された加重を記憶する特徴量加重記憶部２０
９からなる。

【００２９】出力部３００は、処理部２００から出力さ
れた検索結果の画像系列をディスプレイ装置やファイル
装置などに出力する。

【００３０】図２、図３、図４は、図１の本実施形態の
処理例を示すフローチャートである。

【００３１】図２、図３、図４で示すように、本実施形
態の処理は固有空間構成段階と特徴量加重調整段階と検
索段階の３段階からなり、順番に実行される。

【００３２】段階１の固有空間構成段階においては、デ
ータベースの画像系列を入力し（ステップ４０１）、画
像系列の空間分布特徴を単位時間毎に計算し（ステップ
４０２）、画像系列の空間分布特徴より固有空間を構成
し（ステップ４０３）、画像系列に対応する固有空間内
での軌跡を計算し（ステップ４０４）、画像系列の補助
特徴量を単位時間毎に計算し（ステップ４０５）、画像
系列に対する固有空間上の軌跡と補助特徴量を記憶させ
る（ステップ４０６）。

【００３３】段階２の特徴量加重調整段階においては、
特徴量加重の調整のための、代表的な画像系列を選択し
（ステップ４１０）、それぞれの代表的な画像系列につ
いて、画像系列の空間分布特徴を計算し（ステップ４１
１）、固有空間上の軌跡を計算し、距離の近い複数の画
像系列を検索し（ステップ４１２）、検索された画像系
列と、キーとして入力された代表的な画像系列との類似
性を評価し（ステップ４１３）、また、キーとして入力
された代表的な画像系列について補助画像特徴量を計算
し（ステップ４１４）、特徴量加重を調整し（ステップ
４１５）、加重をキーとして入力された代表的な画像系
列の固有空間上での軌跡の位置と関連づけて記憶させる
（ステップ４１６）。

【００３４】段階３の検索段階においては、検索のキー
となる画像系列を入力し（ステップ４２０）、固有空間
上での軌跡を計算し（ステップ４２１）、補助画像特徴
量を計算し（ステップ（４２２）、検索キーの画像系列
に適する特徴量加重を検索し（ステップ４２３）、デー
タベース内の画像系列から類似する画像系列を検索し
（ステップ４２４）、検索された画像系列を出力する
（ステップ４２５）。

【００３５】以下、各部の処理を具体的に説明する。

【００３６】画像系列記憶部２０１は、データベース画
像系列入力部１０１によって入力された画像系列を蓄積
するデータベースであり、段階１の固有空間構成段階に
おいては、蓄積されている全ての画像系列を画像空間分
布特徴計算部２０２および補助画像特徴計算部２０５に
出力し、段階２の特徴量加重調整段階においては、学習
画像系列選択部１０３によって指定された画像系列を画
像空間分布特徴計算部２０２および補助画像特徴計算部
２０５に出力し、また、検索部２０７からの要求に応じ
て画像系列を検索部２０７に出力する。

【００３７】この画像系列として時間的に切目なく継続
しているもの、および任意の区間連続している画像系列
の集合を入力、蓄積することができる。

【００３８】画像空間分布特徴計算部２０２では、画像
系列記憶部２０１に蓄積されている画像系列、および検
索キー画像系列入力部１０２により入力された画像系列
を入力し、単位時間毎に画像平面上のパターンの空間分
布に関する特徴量を１次元ベクトルとして計算する。段
階１の固有空間構成段階においては、画像系列記憶部２
０１から入力された画像系列について特徴量を計算し、
固有空間構築部２０３および固有空間投影部２０４に出
力する。また、段階２と段階３においては、入力された
画像系列に対して計算した特徴量を固有空間投影部２０
４に出力する。

【００３９】ここでは画像の空間分布特徴の例として、
画像平面をメッシュ状に区切り、各メッシュに含まれる
画像の濃淡値の平均をある時間間隔毎に計算し、各時刻
毎に１次元の特徴量ベクトルとして求める方法、および
各時刻における速度ベクトル場を求め、各時刻毎にこれ
を一列に並べて、特徴量ベクトルとして求める方法のい
ずれか、または両方を用いて特徴量を得る方法を示す。

【００４０】前者の特徴の場合、ある時刻ｔにおいて図
５の例のように得られた画像Ｉ（ｉ，ｊ，ｔ）を、図６
のように、Ｎ_X ×Ｎ_y のメッシュに区切り、各メッシュ
内の画素の濃淡値Ｉ（ｉ，ｊ，ｔ）の平均値をそのメッ
シュの値Ｄ_t （ｘ，ｙ）とする。特徴量としては各メッ
シュの値をラスタースキャンし、一次元ベクトルとして

【００４１】

【外１】と表す。

【００４２】後者の速度場の特徴は、時刻ｔの最新の画
像Ｉ（ｉ，ｊ，ｔ）と、１〜数フレーム前の時刻の画像
Ｉ（ｉ，ｊ，ｔ−ａ）を図７のようにメッシュに区切
り、その各部分画像について従来の技術において説明し
た画像間の相互相関係数を用いたマッチングを行い、相
互相関係数が最大になるずれ幅からパターンの移動速度
を得る方法により、各メッシュ毎の速度成分として計算
できる。その結果、速度場

【００４３】

【外２】を求めることができる。これもまた、１次元ベクトルと
して

【００４４】

【外３】と表現する。

【００４５】このような空間分布特徴をいずれか一つ独
立に用いることもでき、また、いくつかの特徴量を１時
刻当り１次元の特徴ベクトルに統合することもできる。

【００４６】なお、単純に画像平面上の各画素の濃淡値
を順番に並べて１次元ベクトルとしたものなど、上述以
外の特徴量も利用可能である。

【００４７】固有空間構築部２０３では、段階１の固有
空間構成段階において、画像系列記憶部２０１に記憶さ
れている全画像系列について画像空間分布特徴計算部２
０２によって計算された画像空間分布特徴の系列を入力
し、特徴量ベクトルの集合から固有空間を構成し、固有
空間を張る基底ベクトルを固有空間投影部２０４に出力
する。

【００４８】画像空間分布特徴計算部２０２により得ら
れた画像系列の特徴量は１時刻当り１組の特徴ベクトル

【００４９】

【外４】として表されている。ここで、全ての学習用の画像系列
の特徴量ベクトルの平均

【００５０】

【外５】を

【００５１】

【数１】のように計算する。ただし、Ｚは画像系列記憶部２０１
に記憶されている全画像系列について画像空間分布特徴
計算部２０２によって計算された特徴量ベクトルの個数
である。

【００５２】次に、全ての学習用の画像系列の特徴量ベ
クトル

【００５３】

【外６】から平均ベクトル

【００５４】

【外７】を引き、一つの行列

【００５５】

【外８】にまとめる。

【００５６】

【数２】次に、学習用の画像系列の特徴量集合の共分散行列

【００５７】

【外９】を

【００５８】

【数３】と計算し、学習用の画像系列に対する固有方程式

【００５９】

【数４】を解き、ｋ個の大きい固有値

【００６０】

【外１０】に対応する固有ベクトル

【００６１】

【外１１】を基底ベクトルとした固有空間を得る。この基底ベクト
ル

【００６２】

【外１２】は固有空間投影部２０４に出力される。

【００６３】固有空間投影部２０５では、画像空間分布
特徴計算部２０２により得られた画像系列の特徴量を入
力し、画像系列を、固有空間構築部２０３により得られ
た基底ベクトルが張る固有空間上に投影して得られる軌
跡を計算する。段階１の固有空間構成段階においては、
画像系列記憶部２０１に記憶されている全画像系列につ
いて固有空間上の軌跡を計算し、それぞれ軌跡を構成す
る点列を固有空間内画像系列記憶部２０６に記憶させ
る。また、段階２および段階３においては、対象となる
画像系列の固有空間上での軌跡を計算し、検索部２０７
に出力する。

【００６４】入力される特徴量ベクトルの系列

【００６５】

【外１３】に対応する固有空間上での点

【００６６】

【外１４】は、

【００６７】

【数５】のように得られ、画像系列は固有空間上での点列からな
る軌跡として表現される。

【００６８】補助画像特徴計算部２０５では、画像系列
記憶部２０１および検索キー画像系列入力部１０２によ
り入力された画像系列に対して、単位時間毎に補助的な
画像特徴量を計算し、段階１においては固有空間内画像
系列記憶部２０６に、段階２および段階３においては、
検索部２０７に出力する。

【００６９】その補助的な画像特徴量の例としては、画
像濃淡分布のテクスチャー特徴、または色特徴、または
画像パターンの形状特徴などが挙げられる。これらの特
徴は、特徴の種類毎に、１時刻あたり１次元の特徴量ベ
クトル

【００７０】

【数６】として計算される。

【００７１】なお、Ｎ−１は補助特徴量の個数である。

【００７２】検索部２０７では、検査のキーとなる画像
系列に対応する固有空間上での軌跡、および補助画像特
徴量の系列を入力し、画像系列記憶部２０１に記録され
ている画像系列の中から検索のキーの画像系列に類似す
る画像系列の検索を行う。

【００７３】段階２の特徴量加重調整段階においては、
学習画像系列選択部１０３によって選択された画像系列
記憶部２０１中の画像系列に対する固有空間上での軌跡
を入力し、固有空間内画像系列記憶部２０６中に蓄積さ
れている軌跡の中から、入力された軌跡と距離が小さい
ものを検索し、対応する画像系列を画像系列記憶部２０
１から取り出し、画像系列の軌跡、補助特徴量とともに
特徴量加重調整部２０８に出力する。

【００７４】段階３の検索段階においては、検索キー画
像系列入力部１０２により入力された検索キーの画像系
列に対して計算される固有空間上の軌跡、および補助画
像特徴量を入力し、検索キーの画像系列に適する特徴量
加重を検索し、固有空間内画像系列記憶部２０６中に蓄
積されている画像系列との非類似度を固有空間上の軌跡
間の距離と補助的な特徴量間の距離の加重和として計算
し、非類似度が小さい画像系列を検索結果として、その
元の画像系列を画像系列記憶部２０１より取り出し、出
力部３００に出力する。

【００７５】ここでは、段階２、段階３の方法の例とし
て、以下の方法を示す。なお、下記以外の方法も利用可
能である。

【００７６】まず、段階２では、利用者が有する画像系
列間の類似性の評価を検索に反映させるため、いくつか
の画像特徴の間の距離の計算の際の重み付けの係数の決
定を行う。そこで、始めに学習画像系列選択部１０３に
おいて、画像系列記憶部２０１中の画像系列の中から、
利用者が代表的な画像系列を選択し、その画像系列を固
有空間上に投影したときの軌跡を固有空間投影部２０４
により計算する。この代表的な画像系列（代表画像系列
と呼ぶ）の軌跡の一つを構成する点列を

【００７７】

【外１５】と表す。ただし、Ｍは予測対象の画像系列について特徴
量を計算した時刻の個数である。この点列を入力画像軌
跡と呼ぶ。ここで、入力画像軌跡と固有空間内画像系列
記憶部２０６中に蓄積されている画像系列

【００７８】

【外１６】との間の距離Ｄを次のように計算する。

【００７９】

【数７】ただし、一般に、距離Ｄが小さければ小さいほど、２つ
の画像系列は類似していると考えられる。

【００８０】そこで、このような距離Ｄを固有空間内画
像系列記憶部２０６中に蓄積されている全画像系列につ
いて計算し、距離Ｄが小さい部分画像系列を１つまたは
複数個抽出する。

【００８１】図８には、代表画像系列および候補画像系
列に対応する固有空間上の軌跡の様子を示す。このよう
に検索された画像系列の軌跡、および補助画像特徴、画
像系列は特徴量加重調整部２０８に出力される。

【００８２】次に、段階３の検索段階においては、検索
キー画像系列入力部１０２により入力された検索キーの
画像系列に対して、固有空間投影部２０４により計算さ
れた固有空間上の軌跡、および補助画像特徴計算部２０
５により計算された補助画像特徴量を入力する。ここ
で、検索キー画像系列に対応する軌跡を構成する点列を

【００８３】

【外１７】と表す。ただし、Ｍは予測対象の画像系列について特徴
量を計算した時刻の個数である。また、Ｎ−１種類の補
助画像特徴量を

【００８４】

【数８】と表す。

【００８５】検索キー画像系列と固有空間内画像系列記
憶部２０６内の画像系列との非類似度を固有空間上の軌
跡間の距離と補助的な特徴量間の距離の加重和として計
算する。その際の加重は、段階２の特徴量加重調整段階
において、選択した代表的な画像系列についての固有空
間上の軌跡の中から、検索のキーの画像系列に対応する
固有空間上の軌跡に最も近いものを特徴量加重記憶部２
０９から検索し、検索された画像系列について計算され
た加重を用いる。ここで、検索キー画像系列に対する固
有空間上の軌跡の一点

【００８６】

【外１８】について、検索された加重を

【００８７】

【外１９】と表す。

【００８８】これらを用い、検索キー画像系列と固有空
間内画像系列記憶部２０６内の画像系列との非類似度
は、

【００８９】

【数９】と計算できる。ただし、距離の計算対象とする固有空間
内画像系列記憶部２０６中に蓄積されている画像系列を

【００９０】

【外２０】と表し、Ｎ−１種類の補助画像特徴量を

【００９１】

【外２１】と表す。

【００９２】固有空間内画像系列記憶部２０６内の画像
系列から、この非類似度が小さいものを検索結果として
取り出し出力する。

【００９３】特徴量加重調整部２０８は、段階２の特徴
量加重調整段階において、検索部２０７の段階２によっ
て、利用者により学習画像系列選択部１０３で選択され
た代表的な画像系列（代表画像系列と呼ぶ）のそれぞれ
について、固有空間内画像系列記憶部２０６中に蓄積さ
れている軌跡の中から、検索された軌跡間の距離の小さ
い複数個の画像系列を入力とし、その検索された画像系
列が代表画像系列と類似しているかどうかを類似性評価
提供部１０４で利用者が与える評価尺度により評価し、
類似する画像系列に対する非類似度が小さくなるよう
に、特徴量間の距離の加重を計算し、特徴量加重記憶部
２０９に代表画像系列の軌跡と関連付けて記憶させる。

【００９４】ここでは、以下の方法を示す。なお、下記
以外の方法も利用可能である。

【００９５】まず、利用者が画像系列記憶部２０１中の
画像系列の中から代表的な画像系列を複数選択する。続
いて、選択された代表画像系列について、固有空間内画
像系列記憶部２０６内の固有空間上の軌跡の距離が小さ
い複数の画像系列を検索し、入力する。この検索された
画像系列を候補画像系列と呼ぶ。個々の代表画像系列と
候補画像系列との間の類似性を類似性評価提供部１０４
により利用者が与える尺度により評価し、候補画像系列
のそれぞれについて、代表画像系列と類似しているか類
似していないかを決定する。その方法の一つとしては、
代表画像系列と候補画像系列を利用者に提示し、利用者
が目視により類似性を判断し、その結果を類似性評価提
供部１０４を通して与える方法が利用できる。なお、こ
の方法以外の方法も利用可能である。

【００９６】次に、この結果を利用し、候補画像系列
を、検索のキーである画像系列とそれと類似する評価さ
れた画像系列のクラスと、類似しないと評価された画像
系列の２つのクラスについて分け、各クラス内の特徴量
の距離のばらつきが小さくなるように、また、各クラス
間のばらつきが大きくなるように、特徴量間の距離の加
重を判別分析により計算する。

【００９７】ここで、代表画像系列と候補画像系列との
非類似度の定義として、固有空間上の軌跡同士の距離
と、補助的な特徴量同士の距離の加重和を用いる。

【００９８】代表画像系列と候補画像系列Ｓ_i との間の
固有空間上の軌跡同士の距離をｄ₁、補助的な特徴量間
の距離をｄｊ（ｄｊ＝２，３，・・・，Ｎ）と表す。距
離ｄ ₁ は式（７）のＤが利用でき、補助的な特徴量ｊ同
士の距離ｄｊ（ｊ＝２，３，・・・，Ｎ）は、

【００９９】

【数１０】のように計算ができる。

【０１００】また、特徴量の距離の加重をｗ₁ ，ｗ₂ ，
・・・，ｗ_N と表す。すると、代表画像系列と候補画像
系列との間の特徴量の距離の加重和（非類似度）ｙは、

【０１０１】

【数１１】と表すことができる。ここで、代表画像系列と類似する
候補画像系列のクラスをＣ₁ 、類似しない候補画像系列
のクラスをＣ₂ として候補画像系列を分類し、対応する
代表画像系列と候補画像系列との間の距離

【０１０２】

【外２２】を各クラスの集合の要素とする。同じクラス内の画像は
なるべく近く、異なるクラスに属する画像同士はできる
だけ遠くに配置できれば、類似する画像のみを容易に検
索することが可能になる。そのため、変換後の空間（距
離）Ｙにおいて、各クラス内のばらつきが小さく、クラ
ス間のばらつきが大きくなるように変換行列Ａを求め
る。そのため、クラス内共分散行列

【０１０３】

【外２３】、クラス間共分散行列

【０１０４】

【外２４】を導入する。

【０１０５】

【数１２】ただし、Ｐ_i はクラスｉの事前確率であり、ｎ_i はクラ
スｉ内のサンプル数である。また、

【０１０６】

【外２５】はクラスｉの平均ベクトルであり、

【０１０７】

【外２６】は全要素の平均ベクトルである。

【０１０８】変換後の空間Ｙにおいても同様の量

【０１０９】

【外２７】を

【０１１０】

【数１３】のように求めることができる。ここで、変換後の特徴空
間内では、クラス内分散がなるべく小さく、クラス間分
散がなるべく大きくなっていることが望ましいため、変
換後のクラス間の分離度を表わす評価関数Ｊ（Ａ）を設
定する。この評価関数Ｊ（Ａ）としては、変換後の空間
におけるクラス内分散とクラス間分散の比として、

【０１１１】

【数１４】を与えることができ、この評価関数Ｊ（Ａ）を最大にす
るようなＡを求める最大化問題として考えられる。この
最大化問題は、

【０１１２】

【数１５】という正規化条件のもとで、式（１９）の分子を最大に
することと等価であり、固有値問題

【０１１３】

【数１６】に帰着する。したがって、

【０１１４】

【外２８】の最も大きい固有値に対応する固有ベクトルを行ベクト
ルとする行列が求める変換行列Ａとなり、その要素が求
めるべき特徴量間の距離の加重となる。

【０１１５】個々の代表画像系列についてそれぞれ独立
に上記の処理を行い加重を求める。そして、得られた加
重を、特徴量加重記憶部２０９内の各代表画像系列の固
有空間上での軌跡上の各点の位置にそれぞれ記憶させ
る。

【０１１６】図９を参照すると、本発明の他の実施形態
の時系列画像検索装置は入力装置５０１と記憶装置５０
２，５０３，５０４と出力装置５０５と記録媒体５０６
とデータ処理装置５０７で構成されている。

【０１１７】入力装置５０１は、利用者がデータベース
に蓄積するための画像系列検索のキーとなる画像系列を
入力し、またデータベース中の画像系列を選択し、また
類似性評価の評価基準を入力するためのものである。記
憶装置５０２，５０３，５０４はそれぞれ図１中の画像
系列記憶部２０１、固有空間内画像系列記憶部２０６、
特徴量加重記憶部２０９に相当する。出力装置５０５は
検索結果が出力されるディスプレイ装置、ファイル装置
等である。記録媒体５０６は、入力装置５０１から入力
された画像系列、検索のキーとなる画像系列の記憶装置
５０２への格納、図１中の画像空間分布特徴計算部２０
２、固有空間構築部２０３、固有空間投影部２０４、補
助画像特徴計算部２０５、検索部２０７、特徴量加重調
整部２０８、出力部３００の各手順からなる時系列画像
検索プログラムを記録した、ＣＤ−ＲＯＭ，フロッピィ
ディスク，光磁気ディスク，半導体メモリなどの記録媒
体である。データ処理装置５０７は記録媒体５０６から
の時系列画像検索プログラムを読み込んで、これを実行
するＣＰＵである。

【０１１８】

【発明の効果】以上説明したように、本発明は、画像の
空間分布特徴量に基づき構成される固有空間上の軌跡間
の距離に加え、補助的な特徴量を導入し、それらの特徴
量間の距離に重み付けした和を、画像系列間の非類似性
の尺度とし、その重みを利用者の類似性の尺度に合致さ
せるように調整して検索を行うことで、利用者の類似性
の評価に合致した、画像系列の高精度な検索が可能とな
る。また、固有空間上の任意の画像系列については特徴
量間の距離の重みを計算でき、その画像系列の固有空間
上の軌跡の位置と関連づけて特徴量間の距離の重みを記
憶させるために、画像系列の違いによる類似性の尺度の
違いに柔軟に対応することができ、より広範囲の画像系
列の検索に適用が可能となる。

【図面の簡単な説明】

【図１】本発明の一実施形態の時系列画像検索装置の構
成図である。

【図２】図１の実施形態における段階１の処理の流れ図
である。

【図３】図１の実施形態における段階２の処理の流れ図
である。

【図４】図１の実施形態における段階３の処理の流れ図
である。

【図５】図１の実施形態における入力気象画像の例を示
す図である。

【図６】図１の実施形態で用いたパターンの空間分布特
徴を説明する図である。

【図７】図１の実施形態で用いたパターンの速度場を説
明する図である。

【図８】図１の実施形態で、代表画像系列および候補画
像系列に対応する固有空間上の軌跡を説明する図であ
る。

【図９】本発明の他の実施形態の時系列画像検索装置の
構成図である。

【符号の説明】

１００入力部１０１データベース画像系列入力部１０２検索キー画像系列入力部１０３学習画像系列選択部１０４類似性評価提供部２００処理部２０１画像系列記憶部２０２画像空間分布特徴計算部２０３固有空間構築部２０４固有空間投影部２０５補助画像特徴計算部２０６固有空間内画像系列記憶部２０７検索部２０８特徴量加重調整部２０９特徴量加重記憶部３００出力部４０１〜４０６，４１０〜４１６，４２０〜４２５
ステップ５０１入力装置５０２，５０３，５０４記憶装置５０５出力装置５０６記録媒体５０７データ処理装置

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平８−329247（ＪＰ，Ａ) 特開平11−326542（ＪＰ，Ａ) 特開平11−328407（ＪＰ，Ａ) 大野崇ほか，固有空間によるモーションシステムのビジュアルシミュレーション，日本シミュレーション学会第16回シミュレーションテクノロジーコンファレンス発表論文集，1997年６月18日，ｐｐ． 261−264 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60 G06T 1/00 G06F 17/30

Claims

(57)【特許請求の範囲】

【請求項１】時系列の画像系列をキーとして与え、時
系列画像データベース中から類似する時系列の画像系列
の部分を検索する時系列画像検索方法であって、時系列をなす画像系列を入力し、時系列画像データベー
スに蓄積させるステップと、該入力された画像系列から
単位時刻毎に画像の空間分布特徴量ベクトルを計算する
ステップと、時系列画像データベース中の画像系列の集
合から計算された空間分布特徴ベクトルの系列から、該
空間分布特徴の固有空間を計算するステップと、該画像
の系列を前記固有空間上に投影したときの軌跡を計算
し、データベースに記憶させるステップと、画像系列の
集合から単位時刻毎に補助的な特徴量を計算するステッ
プと、該補助的な特徴量をデータベースに記憶させるス
テップと、検索のキーとなる時系列の画像系列を入力す
るステップと、該入力された画像系列について、先に計
算された固有空間上に投影したときの軌跡を計算するス
テップと、該軌跡と該データベースに蓄積されている画
像系列の軌跡との距離を計算するステップと、該検索の
キーとして入力された画像系列について、補助的な特徴
量を計算するステップと、該補助的な特徴量と該データ
ベースに蓄積されている画像系列の補助的な特徴量との
距離を計算するステップと、固有空間上の軌跡間の距離
と補助的な特徴量間の距離の加重和を画像系列間の非類
似度として計算し、データベースに蓄積されている画像
系列の中から非類似度が小さい画像系列を検索結果とし
て出力するステップとを有する時系列画像検索方法。
【請求項２】前記画像系列から単位時刻毎に画像の空
間分布特徴量ベクトルを計算するステップが、画像平面
上の画素の濃淡値を順番にならべてできる１次元のベク
トルとして前記空間分布特徴量ベクトルを計算するステ
ップを含む請求項１の時系列画像検索方法。
【請求項３】前記画像系列から単位時刻毎に画像の空
間分布特徴量ベクトルを計算するステップが、画像平面
をメッシュ状に区切り、各メッシュに含まれる画像の濃
淡値の平均をある時間間隔毎に計算し、各時刻毎に１次
元の特徴量ベクトルとして前記空間分布特徴量ベクトル
を求めるステップを含む請求項１の時系列画像検索方
法。
【請求項４】前記画像系列から単位時刻毎に画像の空
間分布特徴量ベクトルを計算するステップが、各時刻に
おける速度ベクトル場を求め、画像平面上の各点の速度
成分を一列に並べて１次元の特徴量ベクトルとして前記
空間特徴量ベクトルを求めるステップを含む請求項１の
時系列画像検索方法。
【請求項５】前記画像系列の集合から単位時刻毎に補
助的な特徴量を計算するステップが、画像濃淡分布のテ
クスチャー特徴、または色特徴、または画像パターンの
形状特徴の一部または全部の特徴として、それぞれ単位
時刻毎の１次元ベクトルとして前記補助的な特徴量を計
算するステップを含む請求項１の時系列画像検索方法。
【請求項６】前記固有空間を計算するステップが、画
像系列に対してある時間間隔毎に得られる１次元ベクト
ルの特徴量を全画像系列についてまとめて行列をつく
り、この行列から全画像系列の特徴量のベクトルの平均
値を引いた行列について共分散行列を求め、この行列の
固有値問題を解いて得られる大きい固有値に対する固有
ベクトルを基底とする固有空間を得るステップを含む請
求項１の時系列画像検索方。
【請求項７】前記画像系列に対応する空間分布特徴量
の系列を固有空間上に投影したときの軌跡を計算するス
テップが、前記軌跡を、画像系列に対してある時間間隔
毎に得られる１次元ベクトルの特徴量をそれぞれ順番に
固有空間上の点に変換し、その点列を画像系列に対する
固有空間上の軌跡として求めるステップを含む請求項１
の時系列画像検索方法。
【請求項８】前記検索のキーとして入力された画像系
列についての固有空間上の軌跡と、該データベースに蓄
積されている画像系列の軌跡との距離を計算するステッ
プが、それぞれの軌跡について、各時刻の特徴量ベクト
ルに対応する軌跡上の点列の間の距離を、各々の点の時
間順序を守り総和して求めるステップを含む請求項１の
時系列画像検索方法。
【請求項９】前記検索のキーとして入力された画像系
列とデータベースに蓄積されている画像系列との間の非
類似度を、固有空間上の軌跡間の距離と補助的な特徴量
間の距離の加重和として計算するステップが、距離に乗
じられる加重の大きさを、検索の結果が利用者の評価に
合致するように事前に調節するステップを含む請求項１
の時系列画像検索方法。
【請求項１０】前記検索のキーとして入力された画像
系列とデータベースに蓄積されている画像系列との間の
非類似度を計算する際の個々の特徴量間の距離の加重を
調整するステップが、データベスに蓄積されている画像
系列の中から利用者が代表的な画像系列を選択し、それ
ぞれについて、固有空間上の軌跡の間の距離が近い画像
系列を検索し、その検索された画像系列が、検索のキー
の画像系列と類似しているかどうかを利用者が与える評
価尺度により評価し、類似する画像系列に対する非類似
度が小さくなるように、前記の個々の特徴量間の距離の
加重を決定するステップを含む請求項９の時系列画像検
索方法。
【請求項１１】前記利用者が選択した代表的な画像系
列について、固有空間中の軌跡間の距離が近い画像系列
を検索し、類似しているかどうかの評価を利用者が与
え、類似する画像系列に対する非類似度が小さくなるよ
うに、前記個々の特徴量間の距離の加重を決定するステ
ップが、個々の代表的な画像系列について、検索された
画像系列の集合を、代表的な画像系列に類似すると評価
された画像系列のクラスと、類似しないと評価された画
像系列の２つのクラスに分類し、各クラス内の特徴量の
距離のばらつきが小さくなるように、また、各クラス間
のばらつきが大きくなるように、特徴量間の距離の加重
を判別分析により計算するステップを含む請求項１０の
時系列画像検索方法。
【請求項１２】前記利用者が選択した代表的な画像系
列について、それぞれ得られた非類似度計算のための加
重を、個々の代表的な画像系列に対応する該固有空間上
の軌跡上の位置と関連づけて記憶させるステップをさら
に含む請求項９の時系列画像検索方法。
【請求項１３】前記検索のキーとして入力された画像
系列とデータベースに蓄積されている画像系列との間の
非類似度を、固有空間上の軌跡間の距離と補助的な特徴
量間の距離の加重和として計算するステップが、検索の
キーの画像系列に対応する固有空間上の軌跡に最も近
い、事前に利用者が選択した代表的な画像系列に対応す
る固有空間上の軌跡を探し、その代表的な画像系列につ
いて計算された加重和を用いて、検索のキーとデータベ
ース中の画像系列との非類似度を計算するステップを含
む請求項１０の時系列画像検索方法。
【請求項１４】時系列の画像系列をキーとして与え、
時系列画像データベース中から類似する画像系列の部分
を検索する時系列画像検索装置であって、時系列をなす画像系列を入力し、時系列画像データベー
スに蓄積させる手段と、該入力された画像系列から単位
時刻毎に画像の空間分布特徴量ベクトルを計算する手段
と、時系列画像データベース中の画像系列の集合から計
算された空間分布特徴ベクトルの系列から、該空間分布
特徴の固有空間を計算する手段と、該画像の系列を固有
空間上に投影したときの軌跡を計算し、データベースに
記憶させる手段と、画像系列の集合から単位時刻毎に補
助的な特徴量を計算する手段と、該補助的な特徴量をデ
ータベースに記憶させる手段と、検索のキーとなる時系
列の画像系列を入力する手段と、該入力された画像系列
について、先に計算された固有空間上に投影したときの
軌跡を計算する手段と、該軌跡と該データベースに蓄積
されている画像系列の軌跡との距離を計算する手段と、
該検索のキーとして入力された画像系列について、補助
的な特徴量を計算する手段と、該補助的な特徴量と該デ
ータベースに蓄積されている画像系列の補助的な特徴量
との距離を計算する手段と、固有空間上の軌跡間の距離
と補助的な特徴量間の距離の加重和を画像系列間の非類
似度として計算し、データベースに蓄積されている画像
系列の中から非類似度が小さい画像系列を検索結果とし
て出力する手段とを有する時系列画像検索装置。
【請求項１５】前記画像系列から単位時刻毎に画像の
空間分布特徴量ベクトルを計算する手段が、画像平面上
の画素の濃淡値を順番に並べてできる１次元のベクトル
として前記空間分布特徴量ベクトルを計算する手段を含
む請求項１４の時系列画像検索装置。
【請求項１６】前記画像系列から単位時刻毎に画像の
空間分布特徴量ベクトルを計算する手段が、画像平面を
メッシュ上に区切り、各メッシュに含まれる画像の濃淡
値を平均をある時間間隔毎に計算し、各時刻毎に１次元
の特徴量ベクトルとして前記空間分布特徴量ベクトルを
求める手段を含む請求項１４の時系列画像検索装置。
【請求項１７】前記画像系列から単位時刻毎に画像の
空間分布特徴量ベクトルを計算する手段が、各時刻にお
ける速度ベクトル場を求め、画像平面上の各点の速度成
分を一列に並べて１次元の特徴量ベクトルとして前記空
間分布特徴量ベクトルを求める手段を含む請求項１４の
時系列画像検索装置。
【請求項１８】前記画像系列の集合から単位時刻毎に
補助的な特徴量を計算する手段が、画像濃淡分布のテク
スチャー特徴、または色特徴、または画像パターンの形
状特徴の一部または全部を特徴量として、それぞれ単位
時刻毎の１次元ベクトルとして前記補助的な特徴量を計
算する手段を含む請求項１４の時系列画像検索装置。
【請求項１９】前記固有空間を計算する手段が、画像
系列に対してある時間間隔毎に得られる１次元ベクトル
の特徴量を全画像系列についてまとめて行列をつくり、
この行列から全画像系列の特徴量のベクトルの平均値を
引いた行列について共分散行列を求め、この行列の固有
値問題を解いて得られる大きい固有値に対する固有ベク
トルを基底とする固有空間を得る手段を含む請求項１４
の時系列画像検索装置。
【請求項２０】前記画像系列に対応する空間分布特徴
量の系列を固有空間場に投影したときの軌跡を計算する
手段が、前記軌跡を、画像系列に対してある時間間隔毎
に得られる１次元ベクトルの特徴量をそれぞれ順番に固
有空間上の点に変換し、その点列を画像系列に対する固
有空間上の軌跡として求める手段を含む請求項１４の時
系列画像検索装置。
【請求項２１】前記検索のキーとして入力された画像
系列について固有空間上の軌跡と、該データベースに蓄
積されている画像系列の軌跡との距離を計算する手段
が、それぞれの軌跡について、各時刻の特徴量ベクトル
に対応する軌跡上の点列の間の距離を、各々の点の時間
の順序を守り総和して求める手段を含む請求項１４の時
系列検索装置。
【請求項２２】前記検索のキーとして入力された画像
系列とデータベースに蓄積されている画像系列との間の
非類似度を、固有空間上の軌跡間の距離と補助的な特徴
量間の距離の加重和として計算する手段が、距離に乗じ
られる加重の大きさを、検索の結果が利用者の評価に合
致するように事前に調節する手段を含む請求項１４の時
系列画像検索装置。
【請求項２３】前記検索のキーとして入力された画像
系列とデータベースに蓄積されている画像系列との間の
非類似度を計算する際の個々の特徴量間の距離の加重を
調節する手段が、データベースに蓄積されている画像系
列の中から利用者が代表的な画像系列を選択し、それぞ
れについて、固有空間上の軌跡の間の距離が近い画像系
列を検索し、その検索された画像系列が、検索のキーの
画像系列に類似しているかどうかを利用者が与える評価
尺度により評価し、類似する画像系列に対する非類似度
が小さくなるように、前記の個々の特徴量間の距離の加
重を決定する手段を含む請求項２２の時系列検索装置。
【請求項２４】前記利用者が選択した代表的な画像系
列について、固有空間中の軌跡間の距離が近い画像系列
を検索し、類似しているかどうかの評価を利用者が与
え、類似する画像系列に対する非類似度が小さくなるよ
うに、前記個々の特徴量の距離の加重を決定する手段
が、個々の代表的な画像系列について、検索された画像
系列の集合を、代表的な画像系列に類似すると評価され
た画像系列のクラスと、類似しないと評価された画像系
列の２つのクラスに分類し、各クラス内の特徴量の距離
のばらつきが小さくなるように、また、各クラス間のば
らつきが大きくなるように、特徴量間の距離の加重を判
別分析により計算する手段を含む請求項２３の時系列画
像検索装置。
【請求項２５】前記利用者が選択した代表的な画像系
列について、それぞれ得られた非類似度計算のための加
重を、個々の代表的な画像系列に対応する該固有空間上
の軌跡上の位置と関連づけて記憶させる手段をさらに含
む請求項２２の時系列画像検索装置。
【請求項２６】前記検索のキーとして入力された画像
系列とデータベースに蓄積されている画像系列との間の
非類似度を、固有空間上の軌跡間の距離と補助的な特徴
量間の距離の加重和として計算する手段が、検索のキー
の画像系列に対応する固有空間上の軌跡に最も近い、事
前に利用者が選択した代表的な画像系列に対応する固有
空間上の軌跡を探し、その代表的な画像系列について計
算された加重和を用いて、検索のキーとデータベース中
の画像系列との非類似度を計算する手段を含む請求項２
３の時系列画像検索装置。
【請求項２７】時系列をなす画像系列を入力し、時系
列画像データベースに蓄積させる手段と、該入力された
画像系列から単位時刻毎に画像の空間分布特徴量ベクト
ルを計算する手順と、時系列画像データーベース中の画
像系列の集合から計算された空間分布特徴ベクトルの系
列から、該空間分布特徴の固有空間を計算する手順と、
該画像の系列を前記固有空間上に投影したときの軌跡を
計算し、データベースに記憶させる手順と、画像系列の
集合から単位時刻毎に補助的な特徴量を計算する手順
と、該補助的な特徴量をデータベースに記憶させる手順
と、検索のキーとなる時系列の画像系列を入力する手順
と、該入力された画像系列について、先に計算された固
有空間上の投影したときの軌跡を計算する手順と、該軌
跡と該データベースに蓄積されている画像系列の軌跡と
の距離を計算する手順と、該検索のキーとして入力され
た画像系列について、補助的な特徴量を計算する手順
と、該補助的な特徴量と該データベースに蓄積されてい
る画像系列の補助的な特徴量との距離を計算する手順
と、固有空間上の軌跡間の距離と補助的な特徴量間の距
離の加重和を画像系列間の非類似度として計算し、デー
タベースに蓄積されている画像系列の中から非類似度が
小さい画像系列を検索結果として出力する手順をコンピ
ュータに実行させるための時系列画像検索プログラムを
記録した記録媒体。
【請求項２８】前記画像系列から単位時刻毎に画像の
空間分布特徴量ベクトルを計算する手順が、画像平面上
の画素の濃淡値を順番に並べてできる１次元のベクトル
として前記空間分布特徴量ベクトルを計算する手順を含
む請求項２７の記録媒体。
【請求項２９】前記画像系列から単位時刻毎に画像の
空間分布特徴量ベクトルを計算する手順が、画像平面を
メッシュに状に区切り、各メッシュに含まれる画像の濃
淡値の平均をある時間間隔毎に計算し、各時刻毎に１次
元の特徴量ベクトルとして前記空間分布特徴量ベクトル
を求める手順を含む請求項２７の記録媒体。
【請求項３０】前記画像系列から単位時刻毎に画像の
空間分布特徴量ベクトルを計算する手順が、各時刻にお
ける速度ベクトル場を求め、画像平面上の各点の速度成
分を一列に並べて１次元の特徴量ベクトルとして前記空
間分布特徴量ベクトルを求める手順を含む請求項２７の
記録媒体。
【請求項３１】前記画像系列の集合から単位時刻毎に
補助的な特徴量を計算する手順が、画像濃淡分布のテク
スチャーと特徴、または色特徴、または画像パターンの
形状特徴の一部または全部を特徴として、それぞれ単位
時刻毎の１次元ベクトルとして前記補助的な特徴量を計
算する手順を含む請求項２７の記録媒体。
【請求項３２】前記固有空間を計算する手順が、画像
系列に対してある時間間隔毎に得られる１次元ベクトル
の特徴量を全画像系列についてまとめて行列をつくり、
この行列から全画像系列の特徴量のベクトルの平均値を
引いた行列について共分散行列を求め、この行列の固有
値問題を解いて得られる大きい固有値に対応する固有ベ
クトルを基底とする固有空間を得る手順を含む請求項２
７の記録媒体。
【請求項３３】前記画像系列に対応する空間分布特徴
量の系列を固有空間上に投影したときの軌跡を計算する
手順が、前記軌跡を、画像系列に対してある時間間隔毎
に得られる１次元ベクトルの特徴量をそれぞれ順番に固
有空間上の点に変換し、その点列を画像系列に対する固
有空間上の軌跡として求める手順を含む請求項２７の記
録媒体。
【請求項３４】前記検索のキーとして入力された画像
系列についての固有空間上の軌跡と、該データベースに
蓄積されている画像系列の軌跡との距離を計算する手順
が、それぞれの軌跡について、各時刻の特徴量ベクトル
に対応する軌跡上の点列の間の距離を、各々の点の時間
順序を守り総和して求める手順を含む請求項２７の記録
媒体。
【請求項３５】前記検索のキーとして入力された画像
系列とデータベースに蓄積されている画像系列との間の
非類似度を、固有空間上の軌跡間の距離と補助的な特徴
量間の距離の加重和として計算する手順が、距離に重じ
られる加重の大きさを、検索の結果が利用者の評価に合
致するように事前に調整する手順を含む請求項２７の記
録媒体。
【請求項３６】前記検索のキーとして入力された画像
系列とデータベースに蓄積されている画像系列との間の
非類似度を計算する際の個々の特徴量間の距離の加重を
調整する手順が、データベースに蓄積されている画像系
列の中から利用者が代表的な画像系列を選択し、それぞ
れについて、固有空間上の軌跡の間の距離が近い画像系
列を検索し、その検索された画像系列が、検索のキーの
画像系列に類似しているかどうかを利用者が与える評価
尺度により評価し、類似する画像系列に対する非類似度
が小さくなるように、前記の個々の特徴量間の距離の加
重を決定する手順を含む請求項３５の記録媒体。
【請求項３７】前記利用者が選択した代表的な画像系
列について、固有空間中の軌跡間の距離が近い画像系列
を検索し、類似しているかどうかの評価を利用者が与
え、類似する画像系列に対する非類似度が小さくなるよ
うに、前記個々の特徴量の距離の加重を決定する手順
が、個々の代表的な画像系列について、検索された画像
系列の集合を、代表的な画像系列に類似すると評価され
た画像系列のクラスと、類似しないと評価された画像系
列の２つのクラスに分類し、各クラス内の特徴量の距離
のばらつきが小さくなるように、また、各クラス間のば
らつきが大きくなるように、特徴量間の距離の加重を判
別分析により計算する手順を含む請求項３６の記録媒
体。
【請求項３８】前記利用者が選択した代表的な画像系
列について、それぞれ得られた非類似度計算のための加
重を、個々の代表的な画像系列に対応する該固有空間上
の軌跡上の位置と関連づけて記憶させる手順をさらに含
む請求項３５の記録媒体。
【請求項３９】前記検索のキーとして入力された画像
系列とデータベースに蓄積されている画像系列との間の
非類似度を、固有空間上の軌跡間の距離と補助的な特徴
量間の距離の加重和として計算する手順が、検索のキー
の画像系列に対応する固有空間上の軌跡に最も近い、事
前に利用者が選択した代表的な画像系列に対応する固有
空間上の軌跡を探し、その代表的な画像系列について計
算された加重和を用いて検索のキーとデータベース中の
画像系列との非類似度を計算する手順を含む請求項３６
の記録媒体。