JP3732366B2 - 画像データベース装置及び画像データベース作成検索方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は画像データベース装置及び画像データベース作成検索方法に関する。さらに詳述すると、本発明は、動画像が取り込まれつつある現状において即座に画像データベースに登録し、かつ、現に取り込まれつつある当該動画像に関連する過去に登録された画像情報を照合し、関連する画像情報を提示するようにした画像データベース装置及び画像データベース作成検索方法に関する。
【０００２】
【従来の技術】
最近の電子技術や関連技術の発展によりビデオカメラが普及し、多量の画像情報を保有できる環境になっている。このような環境において画像情報の有効利用が各種の技術分野で図られている。例えば電気事業においては、電気設備の巡視、点検時にビデオカメラが活用されており、当該巡視、点検において得られた多量の画像情報を後日再生等し、保守の資料にしたり、事故の発見に使用したり、新人教育に使用したりすることが行われている。
【０００３】
しかしながら、このような画像情報の利用は組織的な利用とはいえないため、これらの画像情報をデータベース化して、巡視、点検時に必要な関連情報が自由に検索・閲覧できるようになれば、異常の早期発見や、発見された異常に対する迅速な対応が可能となる。そこで、ビデオ映像等の多量の画像情報をデータベース化する技術を利用することが考えられる。この従来のビデオ映像等の画像情報をデータベース化する技術は、主に編集済のテレビ番組などを対象とし、カット点を用いたシーン分割を行ってデータベース化するものである。このため、電気事業の技術分野で活用したいと考えているリアルタイム性が満足されない。
【０００４】
【発明が解決しようとする課題】
このような従来のビデオ映像等の多量の画像情報をデータベース化する技術は、主に編集済のテレビ番組などを対象とし、カット点を用いたシーン分割を行ってデータベース化するものであるため、未編集のビデオ画像等の場合には、一つのシーン分割単位の中に重要な画像情報が埋もれてしまい、また、登録したり検索したりするのに時間がかかる欠点があった。
【０００５】
本発明は、上記従来技術の問題点を解消し、未編集のビデオ映像等の画像情報を容易にデータベース化し、現に撮影している画像情報に関連する過去の画像情報を迅速に検索できる画像データベース装置及びそのデータベース作成方法を提供することを目的としている。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、請求項１記載の発明に係る画像データベース装置は、入力されるビデオ映像のフレーム間の色情報の差分をとり当該差分が所定の比較値から大きく逸脱したときに変化があったと判断してビデオ映像を時区間に区切る画像区切処理手段と、前記フレーム毎にビデオ映像の色情報が変化した部分の色パターンを抽出して変化のあった画素周辺を部分グリッドとなる色情報を表す配列として取り出すとともに、これら部分グリッドを前記画像区切処理手段で区切った時区間単位に含まれる画像の中から集計する変化特徴抽出手段と、前記変化特徴抽出手段によって集計された部分グリッドをデータベースに登録すると同時に、当該部分グリッドと前記データベースに既に登録されている画像情報の部分グリッドとを用いて類似度の高い関連画面を検索して提示する登録・検索処理手段とを備えたことを特徴とするものである。
【０００７】
したがって、請求項１記載の発明に係る画像データベース装置によれば、画像区切処理手段で入力されているビデオ映像を区切り、また、変化特徴抽出手段により、前記フレーム毎に変化のあった画素周辺を部分グリッドとして取り出し、かつ、これら部分グリッドを用いて前記画像区切処理手段で区切った時区間単位に含まれる画像を表現し、これらでデータベースに登録しつつ過去にデータベースに登録されている関連画面を類似の高い順に取り出している。
【０００８】
請求項２記載の発明では、請求項１において、前記画像区切処理手段は、入力されるビデオ映像の縮小画面をえる縮小処理手段と、当該縮小処理手段からの縮小画面のフレーム間差分をとるフレーム間差分計算処理手段と、前記フレーム間差分計算処理手段からの現在のフレーム間差分と所定の数の過去のフレーム間差分の平均値である比較値とを比較して値の差が大きく逸脱したときに当該フレームの状態を決定するフレーム状態決定手段と、当該フレーム状態決定手段からの決定状態が連続して所定の数だけ連続したときに状態遷移が確定したと判断する状態遷移判定手段とからなることを特徴とするものである。
【００１０】
請求項３記載の発明では、請求項１において、前記登録・検索処理手段は、部分グリッドから検索用キーをえる検索キー処理手段と、前記検索キー処理手段からの検索用キーを複数のデータベースに登録する登録手段と、登録されている部分グリッドから類似度の高い関連画像を提示する検索手段とを備えたことを特徴とするものである。
【００１１】
上記目的を達成するために、請求項４記載の発明に係る画像データベース作成方法は、入力されるビデオ映像のフレーム間の差分をとり当該差分が所定の比較値から大きく逸脱したときに変化があったと判断してビデオ映像を時区間に区切る画像区切工程と、前記フレーム毎にビデオ映像の色情報が変化した部分の色パターンを抽出して変化のあった画素周辺を部分グリッドとして取り出すとともに、これら部分グリッドを前記画像区切処理手段で区切った時区間単位に含まれる画像の中から集計する変化特徴抽出工程と、前記変化特徴抽出工程によって集計された部分グリッドをデータベースに登録すると同時に、当該部分グリッドと前記データベースに既に登録されている画像情報の部分グリッドとを用いて類似度の高い関連画面を検索して提示する登録・検索処理工程とを備えたことを特徴とする。
【００１２】
したがって、請求項４記載の発明に係る画像データベース作成検索方法によって、画像区切処理工程で入力されているビデオ映像を区切り、また、変化特徴抽出工程により、前記フレーム毎に変化のあった画素周辺を部分グリッドとして取り出し、かつ、これら部分グリッドを用いて前記画像区切処理工程で区切った時区間単位に含まれる画像を表現し、これらでデータベースに登録することによりデータベースを構築でき、しかも、データベースの作成中に過去にデータベースに登録されている関連画面を類似の高い順に取り出すことが可能となる。
【００１３】
【発明の実施の形態】
以下、本発明の構成を図１から図１３に示す実施形態に基づいて詳細に説明する。
【００１４】
図１に、本発明の実施の形態に係る画像データベース装置の構成例を示す。この図１において符号１は画像データベース装置であり、この画像データベース装置１は、大別して、電気設備等の撮像及び画像処理した結果の表示が可能な携帯型端末３と、この携帯型端末３からの画像情報を基にデータベースを作成しかつデータベースの検索やその他の画像処理した結果を携帯型端末３に送出できる画像処理装置５とからなる。
【００１５】
前記携帯型端末３は、一人で現場に携帯が可能な大きさに形成されており、電気設備等を撮像してビデオ映像を作成する電荷結合素子（ＣＣＤ）カメラ３１と、このＣＣＤカメラ３１からのビデオ映像を画像処理装置５側に送出する無線画像送信機３２と、前記画像処理装置５から送られてくる画像処理した結果を無線で受信し画面表示する小型テレビジョン受像機（以下、「小型テレビ」という）３３とからなる。ＣＣＤカメラ３１は、非常に小型化されており、手に持って撮像が可能である。また、無線画像送信機３２は、比較的小型であって腰ベルトに取り付けて可搬できる。小型テレビ３３は、掌に入る程の外形をしており、手にもって表示画面を見ることが可能である。
【００１６】
上記画像処理装置５は、無線画像送信機３２からの電波を受信する無線画像受信機５１と、画像処理した結果を無線で送信する表示情報送信機５２と、この携帯型端末３からの画像情報を無線画像受信機５１を介して受信してデータベースを作成し、かつ、データベースの検索やその他の画像処理した結果を表示情報送信機５２に送出する計算機５３とからなる。
【００１７】
上述した計算機５３は、各種の演算処理を実行する処理装置５５と、ディスプレイ５６と、キーボード５７と、マウス５８と、大容量外部記憶装置５９とからなる。処理装置５５には、無線画像受信機５１、表示情報送信機５２、ディスプレイ５６、キーボード５７、マウス５８、及び大容量外部記憶装置５９がそれぞれ接続されている。
【００１８】
処理装置５５は、図示しないが、演算処理部、主メモリ、ＲＯＭ、入出力インターフェース等を備えており、主メモリ上に記憶された本発明を実現する処理プログラムに基づいて上記演算処理部が各画像情報の処理や各種の演算処理を実行し、本発明に係る各種の処理手段を実現している。すなわち、処理装置５５は、上記処理プログラムを実行してゆく過程で、後記図２に示すような画像区切処理手段１０１と、変化特徴抽出手段１０３と、登録・検索処理手段１０５とを実現する。
【００１９】
上述したディスプレイ５６は、処理装置５５が処理した結果を表示できる。キーボード５７及びマウス５８は、処理装置５５に処理に必要なデータや指令を与えることができる。大容量外部記憶装置５９は、処理装置５５で処理した画像処理結果やその他の多量の情報を記憶しておくことができ、特に消去指令がない限り記憶した情報を記憶し続け、必要に応じて情報を取り出しまた書換え等ができる装置である。
【００２０】
図２ないし図１３は同画像データベース装置の作用を説明するための図である。これらの図を使用し、まず、全体の処理の流れについて図２の機能ブロック図及び図３の表示画面例を参照しながら説明し、ついで各処理の詳細を図４以降の図面を用いて説明することにする。
【００２１】
図２に、同画像データベース装置の機能ブロックを示す。図３に、同画像データベース装置の携帯型端末の小型テレビに表示される表示画像の例を示す。これら図２及び図３を参照して全体の処理の流れについて説明すると、上述したＣＣＤカメラ３１で撮像したビデオ映像は、無線画像送信機３２により無線で送出される。この無線で送出されたビデオ映像は、画像処理装置５の無線画像受信機５１で受信されて処理装置５５に入力される（図２の符号１００）。
【００２２】
処理装置５５は、主メモリにある処理プログラムに従って、図２に示すような、画像区切処理手段１０１と、変化特徴抽出手段１０３と、登録・検索処理手段１０５とを実現する。
【００２３】
この実現された画像区切処理手段１０１、変化特徴抽出手段１０３及び登録・検索処理手段１０５によって具体的な画像データベース装置１が構成されることになる。
【００２４】
ここで、画像区切処理手段１０１は、入力されるビデオ映像（図２の符号１００）のフレーム間の差分をとり当該差分が所定の比較値（後述する）から大きく逸脱したときに変化があったと判断してビデオ映像を時区間に区切る。これによって、変化点の位置と色情報が得られる（図２の符号１０２）。
【００２５】
また、前記変化特徴抽出手段１０３は、前記フレーム毎にビデオ映像の色情報が変化した部分の色パターンを抽出して変化のあった画素周辺を部分グリッドとして取り出すとともに、これら部分グリッドを前記画像区切処理手段で区切った時区間単位に含まれる画像の中から集計する。これにより、フレーム毎に色が変化した部分の色パターンを抽出し、色パターンの集合を得ている（図２の符号１０４）。
【００２６】
さらに、上記登録・検索処理手段１０５は、前記変化特徴抽出手段１０３によって集計された部分グリッドをデータベース１０６に登録すると同時に、当該部分グリッドと前記データベース１０６に既に登録されている画像情報の部分グリッドとを用いて類似度の高い関連ビデオ映像を検索してその代表画面を検索結果として出力する。
【００２７】
また、登録・検索処理手段１０５は、その検索結果を処理装置５５の制御下に表示情報送信機５２から電波で送出する。この画像処理結果は、携帯型端末３の小型テレビ３３で受信される。小型テレビ３３で得られる画面２００は、図３に示すように、現在ＣＣＤカメラ３１に入力されつつある画面２０１と、現在カメラに入力されつつあるビデオ映像の代表画面２０２と、現在入力中のビデオ映像に最も似た過去のビデオ映像２０３の代表画面と、現在入力中のビデオ映像に２番目に似た過去のビデオ映像２０４の代表画面と、現在入力中のビデオ映像に３番目に似た過去のビデオ映像２０５の代表画面とが表示されている。
【００２８】
この画像区切処理手段１０１、変化特徴抽出手段１０３及び登録・検索処理手段１０５の一連の処理は、ＣＣＤカメラ３１からビデオ映像の入力がある限り継続して実行される。
【００２９】
〔画像区切処理手段１０１の詳細処理の説明〕
図４に、同画像データベース装置において画像縮小処理を説明するための図を示す。図５に、その画像区切処理手段の処理フローチャートを示す。
【００３０】
これらの図において、画像区切処理手段１０１は、この実施の形態では、フレーム間の色の変化を基本として時区間を区切るようにしている。この画像区切処理手段１０１は、例えば、色変化フレーム間差分を取り、その過去数フレーム分の平均値（これを、「比較値」という）を基準とし、この基準から大きく逸脱した場合に変化があったと判定している。具体的には、次のようにしている。
【００３１】
まず、各フレーム画像の計算量を削減するため、例えばニアレストネイバー法を使用して粗く縮小する（図５のＳ３０１）。この縮小を処理する縮小処理手段は、図４に示すように、例えば１６０×１２０画素の取込みビデオ映像（取込み画像）２１０を、上記ニアレストネイバー法を使用して１６×１２画素の縮小画像２１１にしている。
【００３２】
さらに、画像区切処理手段１０１は、前記縮小処理手段によって縮小された画像２１１の各画素値をc(x,y)として、フレーム間差分計算処理手段によりフレーム間差分dfを計算する（図５のＳ３０２）。
【００３３】
この図５のＳ３０２における計算（すなわち、フレーム間差分計算処理手段による計算）は、次のようにして行う。現在の各画素値をc(x,y)とし、一つ前のフレーム画素値をc'(x,y) とし、その差を取ったものをd とすると、
【数１】
d＝c(x,y)−c'(x,y)
が得られる。そして、この dをｓ(d) に代入することにより、
【数２】

となってフレーム間差分dfが得られることになる。
【００３４】
ここでは、画素値の差分は、赤（Ｒ）、青（Ｂ）、グリーン（Ｇ）の距離空間での距離とした。なお、色はＲＧＢのそれぞれを１０段階とする１０００色に規格化している。
【００３５】
さらに、s(d)として次のステップ関数を利用している。すなわち、
【数３】

ここに、s1，s2，s3は変化範囲を区分するパラメータである。このパラメータは、詳細なノイズの影響を除去するためと、各画素値の実際の差分よりも、差のある画素数を重視するためである。このようにする理由は、直接距離を利用すると、明るさが大きく変化するスポットばかりが強調されて、全体のうっすらとした変化が見過ごされてしまうことを防止するためである。
【００３６】
次に、画像区切処理手段１０１は、フレーム間差分の過去ｎフレーム分の平均値（比較値）をdfn とし、これの比較値dfn を基に、あるフレームk の状態を次の３つの状態に分類する（図５のＳ３０３， Ｓ３０６）。これらＳ３０３， Ｓ３０６の処理は、具体的には、フレーム状態決定手段により実行される。
【００３７】
まず、 数式４の計算をする（図５のＳ３０３）。
【数４】
dfn＋ dfn×b ＋o
もし、df＞ dfn＋ dfn×b ＋o ならば（図５のＳ３０４；ＹＥＳ）、フレームk は活性であるとする（図５のＳ３０５）。
【００３８】
図５のステップ（Ｓ）３０４でＮＯと判定されたときには、
【数５】
dfn−dfn ÷c −o
の計算をし（図５のＳ３０６）、もし、df＜ dfn−dfn ÷c −o ならば（図５のＳ３０７；ＹＥＳ）、フレームk は沈静であるとする（図５のＳ３０８）。
【００３９】
ステップ３０４及びステップ３０７でＮＯと判定されたときには（図５のＳ３０７；ＮＯ）、フレームk は、定常であるとする（図５のＳ３０９）。
【００４０】
ここで、定数b ，c は逸脱範囲を決めるパラメータである。定数ｏはノイズの影響を免れるためのオフセット値である。
【００４１】
このように過去の平均値と現に入力されているフレームとを比較することにより、人間の視野における残像のような画像の処理が行われることになる。
【００４２】
そして、画像区切処理手段１０１において状態遷移判定手段は、フレームの状態をフレーム毎に計算し、同じ状態がｍフレーム連続した場合に（図５のＳ３１０；ＹＥＳ）、状態遷移が確定したとしている（図５のＳ３１１）。もちろん、同じ状態がｍフレーム続かない場合には（図５のＳ３１０；ＮＯ）、状態遷移は確定しないものとする。そして、どちらの場合も、通常は（Ｓ３１２；ＮＯ）、再び、最初のステップ３０１に戻って処理を継続させる。また、画像区切処理手段１０１は、処理停止指令があったときに（Ｓ３１２；ＹＥＳ）、上記画像処理を停止する。
【００４３】
ここで、パラメータｍを小さくすると時間的な変化に敏感になり、パラメータｍを大きくすると時間的な変化に鈍感になる。この実施の形態では、ｍ＝３とし、３フレーム以上同じ状態が連続した場合、「定常」、「活性」、「沈静」の３状態を確定している。また、状態で確定した時点を変化点としている。
【００４４】
このような画像区切処理手段１０１のおける処理によれば、ＣＣＤカメラ３１におけるビデオ映像の変化が小さいときは小さな変化に敏感になり、大きく変化しているビデオ映像では少々の映像の変化は無視されるように動作することになる。
【００４５】
画像区切処理手段１０１は、上述したように動作をする。そこで、このような画像区切処理手段１０１に対して、具体的に数値を与えて、ＣＣＤカメラ３１によって実際に撮像したビデオ映像が、フレーム間差分dfにどのように変化を与えるかを図６を参照して説明する。まず、画像区切処理手段１０１に次のようなパラメータを与える。すなわち、ステップ関数s1＝最大値の３０〔％〕，s2＝同６０〔％〕，s3＝同９０〔％〕にし、重み係数w1＝６，w2＝８，w3＝１０に設定した。また、平均するフレーム数は過去１０フレームとし、状態確定までのフレーム数は３フレームとした。逸脱範囲を決定するパラメータは、ｂ＝２，ｃ＝３に設定した。このような状態にして画像区切処理手段１０１によるフレーム間差分dfを処理する動作をさせる。なお、時区間区切り処理は、７〔フレーム・パー・セコンド（fps)〕で動作させた。
【００４６】
このような状態でＣＣＤカメラ３１をパン（カメラをほぼ水平円運動となるように静かに水平方向に移動）させたときのフレーム間差分dfの変化と、検出された変化点とが図６に示されている。図６（ａ）には、ＣＣＤカメラ３１からのビデオ映像が画像区切処理手段１０１によって縮小処理された結果の縮小画像２１１，２１１，…のうち、変化点として検出された時点の画像２１１ａ，２１１ｂ，２１１ｃ，２１１ｄ，２１１ｅが時間の経過に沿って表示されている。
【００４７】
また、図６（ｂ）では、横軸が時間軸方向であってフレーム数を表しており、縦軸がフレーム間差分dfの値がとられている。画像２１１ａ，２１１ｂ，２１１ｃ，２１１ｄ，２１１ｅからそれぞれ延びた矢印で示される丸で囲まれた点が状態が確定したフレームである。画像２１１ａは定常と、画像２１１ｂは活性と、画像２１１ｃは定常と、画像２１１ｄは沈静と、画像２１１ｅは定常と判定されている。
【００４８】
これは、ＣＣＤカメラ３１をパンし始めると、最初は、ＣＣＤカメラ３１の手ぶれによる揺れがあるが、フレーム間差分dfの値が一定の範囲内であるので変化とみなさないことを示している（図６（ａ）の画像２１１ａから延びた矢印参照、図５のＳ３０１，Ｓ３０３，Ｓ３０４，Ｓ３０６，Ｓ３０７，Ｓ３０９ ）。
【００４９】
しかしながら、一旦ＣＣＤカメラ３１のパンが始まると、フレーム間差分dfの値が一定の範囲内を超え続けるため活性状態に変化することを示している（図６（ａ）の画像２１１ｂから延びた矢印参照、図５のＳ３０１，Ｓ３０５，Ｓ３１０ ）。
【００５０】
さらに、ＣＣＤカメラ３１のパンを続けていると、フレーム間差分dfの値は大きいが、変化の範囲が一定の範囲内に入っているため、再び定常状態に戻る（図６（ａ）の画像２１１ｃから延びた矢印参照、図５のＳ３０１，Ｓ３０３，Ｓ３０４，Ｓ３０６，Ｓ３０７，Ｓ３０９ ）。
【００５１】
やがて、ＣＣＤカメラ３１のパンが終了し、ＣＣＤカメラ３１の移動が停止すると、フレーム間差分dfの値の変化が小さくなるので、沈静状態に戻る（図６（ａ）の画像２１１ｄから延びた矢印参照、図５のＳ３０１，Ｓ３０３，Ｓ３０４，Ｓ３０６，Ｓ３０７，Ｓ３０８，Ｓ３１０ ）。
【００５２】
さらに、ＣＣＤカメラ３１の移動がほとんど停止すると、再び、定常に戻る（図６（ａ）の画像２１１ｅから延びた矢印参照、図５のＳ３０１，Ｓ３０３，Ｓ３０４，Ｓ３０６，Ｓ３０７，Ｓ３０９ ）。
【００５３】
このように画像区切処理手段１０１は動作することになり、フレームの状態を確定することができる。
【００５４】
図７に、撮影領域内へ侵入物があった場合に、本画像区切処理手段１０１が、どのような動作をするのかを説明するための図を示す。ここで、図７（ａ），（ｃ）は検出された画像であり、図７（ｂ）はフレームに対する色変化変化量を示す特性図である。
【００５５】
ここで、侵入物としてDAT テープを用いた。図７の例では、CCD カメラを固定し、まずDAT テープを手でフレームイン（撮影画面内に、外から入ってカメラに映るようにすること）させる。次に、撮影画面内で回転させ、その後、急速にカメラにDAT テープを接近させ、フレームアウト（画面外に退出）させるものとする。
【００５６】
この図７の上部の画像群２３１ａ，２３１ｂ，…，２３１ｅは、当該図面の左より右へ時間の経過に沿って、変化点として検出された時点での画像である。
【００５７】
また、この図７の下部の画像群２３２ａ，２３２ｂ，２３２ｃは、上部の後に検出された変化時点での画像であり、同様に、左より右へ時間の経過に沿って並べたものである。
【００５８】
ここでは、画像２３１ａが定常、画像２３１ｂがフレームインで活性、画像２３１ｃが定常、画像２３１ｄがカメラに急接近で活性、画像２３１ｅが定常と検出され、また、画像２３２ａがフレームアウトで活性、画像２３２ｂが沈静、画像２３２ｃが定常と検出されていることになる。
【００５９】
これは、まず画面内にDAT テープが侵入することにより、画面内の色変化dfが大きく変わるため（図７（ｂ）および図７（ａ）の画像２３１ｂに関連する部分参照）、侵入から３フレーム目で活性と判断したものである。その後、画面内でDAT テープを手で回転させているが、その変化は一定の範囲内に収まっているため、定常状態が継続していると判定している（図７（ｂ）および画像２３１ｃに関連部分を参照）。
【００６０】
しかしながら、急速に画面に接近させた時に、それまでの回転での変化量を大幅に越える変化があったために（図７（ｂ）および図７（ａ）の画像２３１ｄに関連する部分参照）、活性と判定している。また画面内からDATテープを外す時点で再び変化量が大きくなるため（図７（ｂ）および図７（ｃ）の画像２３２ａに関連する部分参照）、活性と判定する。DAT テープが無くなると、画面内で変化するものがなくなるため、沈静状態に遷移し（図７（ｂ）および図７（ｃ）の画像２３２ｂに関連する部分参照）、やがて無変化の状態が続くため、再び定常状態に遷移する（図７（ｂ）および図７（ｃ）の画像２３２ｃに関連する部分参照）。
【００６１】
このように画像区切処理手段１０１は動作することになり、侵入物の有無や、画面内で物体の動きの変化を捉えて、フレームの状態を確定することができる。
【００６２】
〔変化特徴抽出手段１０３の詳細な処理について〕
図８に、同画像データベース装置において画像情報の中で変化のあった領域から部分グリッド抽出処理を説明するための図を示す。図９に、同抽出処理のフローチャートを示す。
【００６３】
これらの図において、変化特徴抽出手段１０３は、フレーム単位に、変化のあった画素周辺のみを以下のように集計する。すなわち、変化特徴抽出手段１０３は領域抽出手段を動作させ、この領域抽出手段によってフレーム２２０毎に変化のあった領域２２１を抽出する（図８のＳ２３１、図９のＳ３２１）。
【００６４】
次に、変化特徴抽出手段１０３は抽出領域決定手段を動作させ、この領域抽出手段によって変化のあった領域２２１を含む周辺領域２２２を抽出領域とし、２×２画素の４画素を一つの単位とし、これら画素が重なりあった領域として登録できるように、変化のあった領域２２１を含む周辺領域２２２に通し番号を付与する。図８の例では、１段目に「１，２，３，４」と、２段目に「５，６，７，８、９」と、３段目に「Ａ，Ｂ，Ｃ，…，Ｆ」と、……、５段目に「Ｏ，Ｐ，Ｑ，…，Ｔ」というように番号を配置する（図８のＳ２３２、図９のＳ３２２）。
【００６５】
次に、変化特徴抽出手段１０３はグリッド抽出手段を動作させ、このグリッド抽出手段によって、重なりあった領域の部分グリッド、例えば「１，２，５，６」の部分グリッド２２５ａ、「２，３，６，７」の部分グリッド２２５ｂ、「３，４，７，８」の部分グリッド２２５ｃ，…を抽出する（図８のＳ２３３、図９のＳ３２３）。なお、ここで、部分グリッド２２５ａ，２２５ｂ，…とは、前記２×２画素の部分のことをいっている。
【００６６】
この変化特徴抽出手段１０３では、図９のステップ３２１〜３２３の処理を画像が入力されている間に実行する。そして、変化特徴抽出手段１０３は集計処理手段を動作させ、この集計処理手段によって、時区間に区切られた画面を一つの単位とし、この一つの単位の画面に含まれるすべての画像から部分グリッドを集めて集計し、その集合によって区切り単位を表示している。
【００６７】
図１０に、同画像データベース装置において４枚の画像から部分グリッドを集合抽出処理を行った結果を説明するための図を示す。上述した変化特徴抽出手段１０３が図８及び図９の処理ステップにより、例えば４枚の縮小画像２５１，２５２，２５３，２５４から部分グリットの抽出処理を行ったことにより、例えば一つの部分グリッド２２５が３７１個存在する集合体２５５として得られることになる。
【００６８】
このように処理することにより、変化部周辺の部分グリットのみが抽出されることになる。一般的に、運動している物体の画像の場合には、そのエッジ付近に部分グリッドが集中することになる。したがって、その集合体を登録しておくことにより、検索が容易になる。
【００６９】
〔登録・検索処理手段１０５の詳細な処理について〕
図１１に、同画像データベース装置においてデータベースへの登録・検索処理を説明するための図を示す。
【００７０】
まず、登録・検索処理手段１０５について、登録処理を説明する。登録・検索処理手段１０５は、例えば抽出された部分グリッドの集合体２５５から、登録する部分グリッドＰＧを取り出す（図１１のＳ３３１）。この部分グリッドＰＧは、４画素（“１”“２”“３”“４”）から構成されている。
【００７１】
登録・検索処理手段１０５は、この部分グリッドＰＧの４画素のうちの３画素をキーＫｙＡ，ＫｙＢ，ＫｙＣ，ＫｙＤとし、これらキーＫｙＡ，ＫｙＢ，ＫｙＣ，ＫｙＤを４つのデータベース１０６Ａ，１０６Ｂ，１０６Ｃ，１０６Ｄに登録手段により登録される（図１１のＳ３３２，Ｓ３３３）。
【００７２】
ここで、キーＫｙＡは４画素のうち３画素（“２”“３”“４”）からなり、ＫｙＢは４画素のうち３画素（“１”“３”“４”）からなり、ＫｙＣは４画素のうち３画素（“１”“２”“４”）からなり、ＫｙＤは４画素のうち３画素（“１”“２”“３”）からなる。
【００７３】
これら４種類のキーの集合が色パターンを含む対象群２６０Ａ，２６０Ｂ，２６０Ｃ，２６０Ｄとなる。 ここで、登録・検索処理手段１０５では、３画素からなるキーＫｙＡ，ＫｙＢ，ＫｙＣ，ＫｙＤをデータベース１０６Ａ，１０６Ｂ，１０６Ｃ，１０６Ｄにそれぞれ登録したことになる。このようにしたことにより、３／４（７５％）の閾値となり、検索手段による部分グリッドの高速な照合が可能となる。このようにする理由は、傾きや隠れによって４画素全てが照合されなくても、空間的な画素の関係を保存していれば照合できるようにするためである。
【００７４】
登録・検索処理手段１０５は、上述した登録（図１１のＳ３３３）と同時に、当該データベースの対象群２６０Ａ，２６０Ｂ，２６０Ｃ，２６０Ｄを検索手段によって照合し、過去の類似シーンから類似の高い順から取り出し、それら候補２７１，２７２，２７３を検索結果とする（図１１のＳ３３４）。この登録・検索処理手段１０５による検索結果は、現在入力されているビデオ情報及びその代表画面と共に、処理装置５５の制御下に表示情報送信機５２から送出される。これにより、携帯型端末３の小型テレビ３３には、現在入力されているビデオ映像と、その代表画面、検索結果の３つの候補画面とが表示されることになる。この実施の形態では、登録・検索処理手段１０５は、登録と同時に直ぐに検索の動作を実行している。これによって大容量外部記憶装置５９へのアクセス数を大幅に減らすことができる。
【００７５】
この実施の形態で扱うビデオ画面は、テレビ映像と異なり、フレーム間の画像変化が小さく、似たように画像が連続して入力されることになる。したがって、短い時間で見れば登録・検索される部分グリッドは数は多いにしても似たような物に集中する性質がある。この性質を有効利用するため、類似部分グリッドをまとめてメモリにキャッシュするようにしてある。
【００７６】
また、同じ部分グリットが多くの画像群に含まれている場合は、特徴的でない情報と考えられる。そのため、少ない対象にのみ含まれている部分グリッドほど大きな重みを付けて集計している（図１１のＳ３３４）。
【００７７】
さらに、登録・検索処理手段１０５により処理されるところの、検索する部分グリッドと過去の関連する部分グリッドとの類似度の計算について説明する。この類似度sim は、次のように計算される。なお、類似度sim が大きいほど類似性は高いものとなることはいうまでもない。
【００７８】
まず、ある部分グリッドのａと他の部分グリッドｂとは、位置と色とが３つ以上共通している場合に等しいとするものとする（ａ＝ｂ）。また、データベース２６０Ａ，２６０Ｂ，２６０Ｃ，２６０Ｄの中のビデオ映像のうち部分グリッドａを含む数をｍ（ａ）とする。このｍ（ａ）が大きいほど多くのビデオ映像に共通して表れる部分グリッドである。さらに、Ｔを現在入力されつつあるターゲットビデオ映像、Ｘを既に登録されたビデオ映像とする。さらにまた、Ｐ（Ｘ）をＸから抽出された部分グリッドの集合とすると、
【数６】
sim(Ｘ，Ｔ）＝Σ｛ｋ／ｍ（ａ）｝
∀ａ：ａ＝ｂ，ａ∈Ｐ（Ｘ），ｂ∈Ｐ（Ｔ）。
ただし、ｋは加算用の重みのベース値。
が得られる。登録・検索処理手段１０５は、上記数式４を基に現在入力されつつあるビデオ画面の部分グリッドと、既に登録されたビデオ映像の部分グリッドとの類似度を計算し、その類似度の高いものから３つの関連画像２７１，２７２，２７３を抽出して検索結果としている。
【００７９】
図１２に、同画像データベース装置において部分グリッドを格納するデータベースの構成を説明するための図を示す。この図１２において、処理装置５５の主メモリ上に３画素中２画素の値をキーとする領域（root) ５０１を持っており、この領域５０１には３画素目の情報を保管したファイルブロック（blanch) ５０２へのポインタが格納されている。また、ファイルブロック５０２の内には、３画素目の画素値に応じて別なファイルブロック（leaf) ５０３へのポインタが格納されている（図１２のＳ３５１）。さらに、このファイルブロック５０３には、キーとなる３画素に照合する部分ブロックを含むビデオ映像のＩＤが格納されている。
【００８０】
登録・検索処理手段１０５は、領域（root) ５０１のポインタを見て（図１２のＳ３５１）、ファイルブロック（blanch) ５０２の所定の領域に移動する（図１２のＳ３５２）。
【００８１】
ついで、登録・検索処理手段１０５は、ファイルブロック（blanch) ５０２の所定の領域を検索する（図１２のＳ３５３）。
【００８２】
さらに、登録・検索処理手段１０５は、ファイルブロック（blanch) ５０２の所定の領域を検索した結果、ファイルブロック（leaf) ５０３の所定の領域に移動する（図１２のＳ３５４）。
【００８３】
そして、登録・検索処理手段１０５は、登録・検索処理手段１０５の所定の領域を検索し、キーとなる３画素を照合する部分ブロックを含むビデオ映像のＩＤを取り出すことができる（図１２のＳ３５４）。
【００８４】
このようにして取り出したビデオ映像のＩＤから所望の類似の候補となる画像を取り出すことができる。 なお、この実施の形態において、ファイルブロック（blanch) ５０２及びファイルブロック（leaf) ５０３は、リスト構造としないでリングバッファとして構成している。このような構成にすることにより、特定の部分ブロックが一杯になると、次のデータは前のデータを上書きして消してゆくようにしている。
【００８５】
以上説明したように、この実施の形態では、上述したような処理を行って画像を処理し、登録・検索を同時に行うようにしたので、次のような効果がある。
【００８６】
（１）人間の感覚的慣れを模擬したシーン分割を行うことができる。すなわち、手ぶれや振動などの定常的な変化と、視野内への侵入物やカメラの移動の開始、停止などの過度的な変化を自動的に検出し、登録シーンを分割できる。
【００８７】
（２）色パターンを使ってビデオ映像を登録、検索できる。すなわち、色パターンを使用することにより、色特徴の類似した映像を迅速に検索できる。
【００８８】
次に、他の実施の形態について説明する。図１３に、対話型の画像データベース装置によって得られる画面を示す。
【００８９】
このデータベース装置は、色の特徴を使った検索で類似ビデオ映像を検索するため、照度条件の違いにより、色が変わってしまったり、色が似通ったビデオ映像が多数ある場合は、最適なビデオ映像のみを出すことができないものであり、また、現在の実装では上位３位を検索結果として出力しているが、本来もっとも関連の深い登録シーンが必ずしも第１位に出るとは限らない。
【００９０】
今回、こういった場合に、利用者の助けを借りて、より適切な検索結果を得ることができるようにデータベースDBを修正するインタフェースと手法を開発した。利用方法と処理手法について以下で説明する。
【００９１】
図１３の画面４００で示されるような検索結果に示される上位３位の画像４０３，４０４，４０５の中から、利用者はマウスクリックによりいずれかを選択することができる。なお、符号４０２は現在カメラに入力されつつあるビデオの代表画面である。
【００９２】
ここで、選択されると、対話型画像データベース装置は、その選択された画像を代表画像とする登録シーンを、現在カメラより入力されつつあるシーンに関連づける。利用者がマウスにより指示すると、しばらくして画面に図１３のような情報が表示される。図１３に示す画像４００は、KEY24 の登録シーン（ビデオカメラの上方斜めからの映像）を、16の登録シーン（ビデオカメラの前面映像）に関連づける処理を実行している。登録シーン間の関連づけ情報は、ファイルに格納され、その後の検索時に以下で述べるように利用する。
【００９３】
例えば、登録シーンＡが登録シーンＢに関連付けされているものとする（Ａ→Ｂ）。登録シーンＣには関連づけがないものとする。カメラから入力されつつあるシーン４０２（Ｔ）に対して、検索処理を行った結果、sim(A,T)= 100, sim(B, T) = 50, sim(C, T) = 120 となったとする。
関連づけ情報を使用しない場合、第１位に登録シーンＣの代表画像４０３が、第２位に登録シーンＡの代表画像４０４が、第３位に登録シーンＢの代表画像４０５が出現することになる。
【００９４】
これに対し、この修正された手法では、Ａ→Ｂの情報を使って、sim'(B, T) = sim(B, T) + sim(A, T) = 100 + 50 = 150 としてを計算し、Ｂに対してsim'(B,T) を採用する。これによって、第１位がＢ，第２位がＣ，３位がＡとなる。
【００９５】
このようにすることにより、利用者の関連づけ情報が以降の検索結果に反映されることになる。
【００９６】
具体的な利用例を以下にあげる。色パターンが類似した２つの対象物Ａ，Ｂがあるとする。その場合、Ａを見せてもＢが写っている登録シーンが第１位に出てきたり、逆になったりすることがある。そのような場合に利用者が同じ対象が写っているシーンを指示すると、Ａ，Ｂに関する情報がそれぞれ集積されることになる。
【００９７】
この他の実施の形態に係る対話型の画像データベース装置における類似計算におけるm(a)の項の効果により、集積されるに従ってより特徴的な色パターンが強調されることになり、やがて二つの対象物を区別が確実にできるようになる。
【００９８】
別の利用例を挙げる。ある対象物の前面を撮影したビデオ映像が登録されているとする。その場合、色パターンに高い類似性が無い限り、側面や背面から撮影したビデオ映像から、前面のビデオ映像を第１位に検索できない。そのような場合でも、部分的な色パターンの類似性により、上位３位以内に前面を撮影したビデオ映像の代表シーンが現れれば、ユーザはそれを選択することにより、側面や背面のビデオ映像を、前面のビデオ映像と関連づけることができる。こうすることにより、以降は側面や背面をシステムに示しても、前面のビデオ映像を入手することができる。
【００９９】
このような画像データベース装置は、図１の携帯小型テレビ３３の代えて、携帯型パーソナルコンピュータを無線または有線ＬＡＮ（ローカル、エリア、ネットワーク）で図１の画像処理計算機（処理装置５５）に接続することにより、構築することができる。利用者はマウスクリックを、マウス、トラックパッド、トラックボールもしくはペン入力装置などを用いて指示すればよい。その指示情報は、ＬＡＮを経由して画像処理計算機（処理装置５５）に伝えられる。伝えられると、携帯型パーソナルコンピュータの画面に、図１３に示すような画像４００が表示されることになる。それ以降は、上述した関連づけ情報を使った検索がなされることになる。
【０１００】
このような他の実施の形態における対話型画像データベース装置画像によれば、対話形式によって確実に上述した関連づけ情報を使った検索が可能になる。尚、上述の実施形態は本発明の好適な実施の一例ではあるが、これに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。
【０１０１】
【発明の効果】
以上の説明から明らかなように、本発明によれば、画像を処理し、登録・検索を同時に行うようにしたので、次のような効果がある。
【０１０２】
（１）手ぶれや振動などの定常的な変化と視野内への侵入物やカメラの移動の開始、停止などの過度的な変化を自動的に検出し、登録シーンを分割できるので、人間の感覚的慣れを模擬したシーン分割を行うことができ、人間の感覚に合って画像情報を得ることができる。
【０１０３】
（２）色パターンを使用することにより、色特徴の類似した映像を迅速に登録・検索できる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る画像データベース装置の構成例を示すブロック図である。
【図２】同画像データベース装置の機能ブロックを示すブロック図である。
【図３】同画像データベース装置の携帯型端末の小型テレビに表示される表示画像の例を示す図である。
【図４】同画像データベース装置において画像縮小処理を説明するために示す説明図である。
【図５】同画像データベース装置における画像区切処理手段の処理フローチャートである。
【図６】同図（ａ）は画像データベース装置において、ＣＣＤカメラをパンさせたときの画像を示し、同図（ｂ）はその際のフレーム間差分変化と検出された変化点との関係を示す図である。
【図７】同図（ａ）（ｃ）は撮影領域内へ侵入物があった場合の画像の状態を時間の経過とともに示す図、同図（ｂ）は色情報の変化を時間の経過とともに示す特性図である。
【図８】同画像データベース装置において画像情報の中で変化のあった領域から部分グリッド抽出処理を説明するための説明図である。
【図９】同画像データベース装置において画像情報の中で変化のあった領域から部分グリッド抽出処理を説明するために示すフローチャートである。
【図１０】同画像データベース装置において４枚の画像から部分グリッドを集合抽出処理を行った結果を説明するための図である。
【図１１】同画像データベース装置においてデータベースへの登録・検索処理を説明するための図である。
【図１２】同画像データベース装置において部分グリッドを格納するデータベースの構成を説明するための図である。
【図１３】他の実施の形態に係る対話型の画像データベース装置の携帯型端末のディスプレイ上に表示される表示画像の例を示す図である。
【符号の説明】
１ 画像データベース装置
３ 携帯型端末
５ 画像処理装置
３１ ＣＣＤカメラ
３２ 無線画像送信機
３３ 小型テレビ
５１ 無線画像受信機
５２ 表示情報送信機
５３ 計算機
５５ 処理装置
５６ ディスプレイ
５７ キーボード
５８ マウス
５９ 大容量外部記憶装置
１０１ 画像区切処理手段
１０３ 変化特徴抽出手段
１０５ 登録・検索処理手段

Claims (4)

1. 入力されるビデオ映像のフレーム間の色情報の差分をとり当該差分が所定の比較値から大きく逸脱したときに変化があったと判断してビデオ映像を時区間に区切る画像区切処理手段と、前記フレーム毎にビデオ映像の色情報が変化した部分の色パターンを抽出して変化のあった画素周辺を部分グリッドなる色情報を表す配列として取り出すとともに、これら部分グリッドを前記画像区切処理手段で区切った時区間単位に含まれる画像の中から集計する変化特徴抽出手段と、前記変化特徴抽出手段によって集計された部分グリッドをデータベースに登録すると同時に、当該部分グリッドと前記データベースに既に登録されている画像情報の部分グリッドとを用いて類似度の高い関連画面を検索して提示する登録・検索処理手段とを備えたことを特徴とする画像データベース装置。
2. 前記画像区切処理手段は、入力されるビデオ映像の縮小画面をえる縮小処理手段と、当該縮小処理手段からの縮小画面のフレーム間差分をとるフレーム間差分計算処理手段と、前記フレーム間差分計算処理手段からの現在のフレーム間差分と所定の数の過去のフレーム間差分の平均値である比較値とを比較して値の差が大きく逸脱したときに当該フレームの状態を決定するフレーム状態決定手段と、当該フレーム状態決定手段からの決定状態が連続して所定の数だけ連続したときに状態遷移が確定したと判断する状態遷移判定手段とからなることを特徴とする請求項１記載の画像データベース装置。
3. 前記登録・検索処理手段は、部分グリッドから検索用キーをえる検索キー処理手段と、前記検索キー処理手段からの検索用キーを複数のデータベースに登録する登録手段と、登録されている部分グリッドから類似度の高い関連画像を提示する検索手段とを備えたことを特徴とする請求項１記載の画像データベース装置。
4. 入力されるビデオ映像のフレーム間の差分をとり当該差分が所定の比較値から大きく逸脱したときに変化があったと判断してビデオ映像を時区間に区切る画像区切工程と、前記フレーム毎にビデオ映像の色情報が変化した部分の色パターンを抽出して変化のあった画素周辺を部分グリッドとして取り出すとともに、これら部分グリッドを前記画像区切処理手段で区切った時区間単位に含まれる画像の中から集計する変化特徴抽出工程と、前記変化特徴抽出工程によって集計された部分グリッドをデータベースに登録すると同時に、当該部分グリッドと前記データベースに既に登録されている画像情報の部分グリッドとを用いて類似度の高い関連画面を検索して提示する登録・検索処理工程とを備えたことを特徴とする画像データベース作成検索方法。

Images