JP4875200B2 - 画像中に現れるオブジェクトを検索する方法、その装置、コンピュータ・プログラム、コンピュータ・システム、及びコンピュータ可読記憶媒体 - Google Patents

Description

本発明は、検索を目的とする、マルチメディア・データベースに保存された画像のような静止画像またはビデオ画像中に現れるオブジェクトの表示に関し、特に、そのような表示を用いてオブジェクトを検索する方法及び装置に関する。

ビデオ・ライブラリの画像のようなアプリケーションでは、ビデオ画像あるいは静止画像中に現れるオブジェクトの輪郭や形状またはオブジェクトの一部の効率的な表示および保存を行うことが望ましい。形状ベースの索引付けと検索を行うための公知の手法では曲率スケール空間(ＣＳＳ)表示が用いられる。ＣＳＳの詳細については、論文「曲率スケール空間によるロバストで効率的な形状索引付け」(英国マシーン・ビジョン会報pp.５３〜６２、エジンバラ、英国、１９９６年)ならびに「曲率スケール空間を用いる形状内容による画像データベースの索引付け」(インテリジェント・データベースに関するＩＥＥ専門家会議会報、ロンドン、１９９６年)の中で入手することができる。両論文ともMokhtarian、S.AbbasiならびにJ.Kittlerによるものであり、その内容は本明細書中に参考文献として取り入れられている。

ＣＳＳ表示では、オブジェクトの輪郭を求めるために曲率関数が使用され、輪郭上の任意の点から表示が開始される。形状を平滑化する一連の変形を行うことにより輪郭の形状を展開しながら、曲率関数が検討される。さらに具体的には、ガウスフィルタの族と共に畳み込まれた曲率関数の導関数のゼロ・クロスが計算される。曲率スケール空間として周知のように、ゼロ・クロスはグラフ上にプロットされる。但し、ｘ軸は曲線の正規化された弧長であり、ｙ軸は展開パラメータ、特に、適用フィルタのパラメータである。グラフ上のプロットは輪郭の特徴を示すループを形成する。オブジェクトの輪郭の各凸状または凹状を成す部分はＣＳＳ画像におけるループに対応する。ＣＳＳ画像において最も突起したループのピークの縦座標は輪郭の表示として利用される。

入力オブジェクトの形状に一致する、データベース中の保存画像のオブジェクトを検索するために、入力形状のＣＳＳ表示が計算される。マッチング・アルゴリズムを用いて、それぞれのＣＳＳ画像のピークの位置および高さを比較することにより、入力形状と保存形状との間の類似度が判定される。

公知のＣＳＳ表示に関する問題点として、所定の輪郭のピークが輪郭上の任意の点から開始され計算される曲率関数に基づくということが挙げられる。この開始点が変更されるとＣＳＳ画像のピークのｘ軸に沿って周期的シフトが生じる。したがって、類似度測定値を計算するとき、すべての可能なシフトあるいは少なくとも最も生じ得るシフトについて検討する必要がある。この結果、検索手順およびマッチング手順の複雑さが増すということになる。

したがって本発明は、画像に対応する信号を処理することにより静止画像またはビデオ画像中に現れるオブジェクトを表す方法を提供するものであり、該方法は、輪郭上の任意の点から始まり、オブジェクトの輪郭上に現れている特徴と関連する複数の数値を導き出すステップと、前記値に対して所定のソーティングを適用して輪郭の表示を得るステップとを有する。好適には、前記輪郭のＣＳＳ表示から前記値を導き出すことが望ましく、また、前記値がＣＳＳピーク値に対応することが望ましい。

本発明の結果として、検索精度の著しい低下を伴うことなくマッチング手順に関わる計算を大幅に低減することが可能となる。

この発明に係る請求項１に記載の画像中に現れるオブジェクトを検索する方法は、コンピュータを用いて、画像データベースに保存された１つの画像または一連の画像に対応する信号を処理することにより、画像中に現れるオブジェクトを検索するものであり、前記コンピュータは、２次元の輪郭の形状として入力されるクエリを受信するステップと、前記輪郭の記述子を導き出すステップと、記憶された画像のオブジェクトの記述子を取得し、前記クエリの記述子と、記憶されたオブジェクトに対するそれぞれの記述子とを比較するステップと、前記クエリとの類似度を示す比較がなされたオブジェクトを含む画像に対応した、少なくとも１つの比較結果を選択し、表示するステップとを有し、記憶された記述子とクエリの記述子は、前記オブジェクトの前記輪郭のＣＳＳ表示から導出され、前記ＣＳＳ表示のピークの座標値のそれぞれは、ピークの高さの値に基づいてソーティングされる。

この発明に係る請求項２に記載の画像中に現れるオブジェクトを検索する方法は、前記ピークの座標値は、最大値から開始される、あるいは最小値から開始されるピーク値の高さに基づいてソーティングされる。

この発明に係る請求項３に記載の画像中に現れるオブジェクトを検索する方法は、前記クエリの輪郭および記憶された輪郭のそれぞれに対して係数が導出され、前記比較は、あらかじめ決められた順序付けのみ、あるいはあらかじめ決められた順序付けと前記係数に依存する他のいくつかの順序付けとを用いてなされ、前記係数は、ＣＳＳ表示におけるピークの座標値のように、輪郭を表すためのオブジェクトの輪郭に現れる特徴に関連した複数の数値を導出することで導き出され、前記複数の数値のうちの少なくとも２つの数値の関係を用いて前記ＣＳＳ表示の信頼性を示す係数を導出する。

この発明に係る請求項４に記載の画像中に現れるオブジェクトを検索する方法は、前記係数は、前記複数の数値のうちの２つの数値の比率に基づき、例えば、２つの最大値の比率に基づく。

この発明に係る請求項５に記載の画像中に現れるオブジェクトを検索する装置は、請求項１乃至４のいずれか１つに記載の方法を実行するように適合される。

この発明に係る請求項６に記載のコンピュータ可読記憶媒体は、請求項１乃至４のいずれか１つに記載の方法を実現するためのコンピュータで実行可能な処理を保存する。

本発明によるシステムは例えば画像ライブラリ中に設けることができる。或いは、データベースは、インターネットのようなネットワークにより電話線のような一時的リンクによって制御装置と接続し、システムの制御装置から遠隔地に配置することができる。例えば、画像データベースおよび記述子データベースは永久記憶装置またはＲＯＭやＤＶＤのような携帯用記憶媒体中に設けることができる。

ビデオ・データベース・システムのブロック図、 オブジェクトの輪郭の図、 図２の輪郭を示すＣＳＳ表示の図、 検索方法を例示するブロック図である。

添付図面を参照しながら本発明の実施の形態について説明する。
実施の形態１．
図１は、本発明の実施の形態によるコンピュータ処理が行われるビデオ・データベース・システムを図示する。このシステムには、コンピュータの形の制御装置２、モニターの形の表示装置４、マウスの形のポインティング・デバイス６、保存された静止画像とビデオ画像とを含む画像データベース８および画像データベース８に保存された画像中に現れるオブジェクトまたはオブジェクトのいくつかの部分の記述子を保存する記述子データベース１０が含まれる。

画像データベースの画像中に現れる興味のある各オブジェクトの形状を表す記述子は、制御装置２によって導き出され、記述子データベース１０に保存される。制御装置２は、以下に説明するような方法を実行する適切なプログラムの制御によって動作して記述子を導き出す。

第一に、所定のオブジェクトの輪郭について、この輪郭のＣＳＳ表示が導き出される。上述の論文の１つに記載されているような周知の方法を用いてこのＣＳＳ表示が行われる。

さらに具体的には、この輪郭は写像表現Ψ＝{(x(u),y(u),u∈[0,1]}によって表される(ただし、uは正規化された弧長パラメータである)。

この輪郭は、ＩＤガウスカーネルｇ(ｕ,ρ)を用いて畳み込みを行う(convolve)ことにより平滑化され、ρの変化として展開(evolving)曲線の曲率ゼロ・クロスが調べられる。ゼロクロスは曲率を表す下記の式を用いて特定される。

但し、

かつ、

上記で、＊は畳み込みを表し、添え字は導関数を表す。
曲率ゼロ・クロスの数はρの変化につれて変化し、ρが十分に高いときΨはゼロ・クロスの凸状の曲線となる。

ゼロクロス・ポイント(u, ρ)はＣＳＳ画像空間として知られるグラフ上にプロットされる。この結果元の輪郭の特徴を示す曲線が生じる。この特徴を示す曲線のピークが特定され、対応する縦座標が抽出され保存される。一般に上記の結果、ｎ個の座標の対((x１, y１)、(x２, y２)、...(xn, yn)の組(ただし、ｎはピークの数、ｘｉはｉ番目のピークの弧長の位置、yiはピークの高さである)が与えられる。

この特徴を示す曲線のソートおよび位置ならびに対応するピークは、ＣＳＳ画像空間に現れるとき、上述の曲率関数の開始点に依存する。本発明ではピークの縦座標は専用のソート関数を用いて再ソートされる。

ソーティングは、新しい集合のインデックス{1...n}に対するピーク・インデックス{1...n}の１対１写像Ｔによって行われる。

本実施の形態では、縦座標の対はｙ縦座標のサイズを考慮することによりソートされる。第１に最大ピークが選択される。ｋ番目のピークが最も突起していると仮定する。その場合、値のソートされた集合の中で(xk, yk)が第１番目の座標になる。言い換えればＴ(ｋ)＝１である。同様に、その他のピークの縦座標はピークの高さの降順に再ソートされる。２つのピークが同じ高さを持っている場合、上記縦座標の対のｘ座標に最も近いｘ座標を持っているピークが第１に配置される。言い換えれば、元のインデックスｉを持っている各縦座標の対が新しいインデックスｊに割り当てられる。但し、T(i)＝jかつyj>＝y(j＋1)である。また、各値ｘｉは−ｘｋの周期的シフトに従う。

特定の例として、図２に図示の輪郭から図３に図示のようなＣＳＳ画像の結果が得られる。ＣＳＳ画像の曲線のピークの縦座標の詳細を以下の表１に示す。

これらのピークは上述のソーティングを用いてソートされる。すなわち、縦座標はピークの高さの降順にソートされる。また、ｘ縦座標はすべて最大ピークの元のｘ縦座標に等しい量だけゼロの方へシフトされる。この結果以下の表２に示されるような再ソートされたピーク座標が生じる。

これらの再ソートされたピークの縦座標によって、データベース１０に保存される、オブジェクトの輪郭についての記述子のベースが形成される。本実施の形態では、表２に示すソート順にピークの縦座標が保存される。或いは新しいソート順を示す関連するインデックスと共に縦座標を保存してもよい。

実施の形態２．
第２の実施の形態に従うオブジェクトの輪郭を表す代替方法について説明する。
輪郭を示すＣＳＳ表示は上述のように導き出される。しかし、ピークの縦座標のソートは上述の実施の形態１のソートとは異なる。さらに具体的には、第１に最大ピークが選択される。ピークｋを最も突起したピークと仮定する。その場合、(xk, yk)がピークのソートされた集合の中で第１のピークになる。次に続くピークは、元のインデックスｉのピークの縦座標について、T(i)＝jかつxj<＝x(j＋1)となるようにソートされる。また、元のピークｋの元のｘ縦座標に等しい量ｘｋだけ下方へすべての値ｘｉがシフトされる。

換言すれば、実施の形態２に従うソート方法では、最大ピークが選択され、第１に配置され、次いで、残りのピークが最大ピークから始まる元のシーケンスで続く。

以下の表３は第２の実施の形態に従ってソートされた表１のピーク値を示す表である。

上述の実施の形態１と２の展開では信頼係数(ＣＦ)が形状の各表示と関連付けられる。ＣＦは、所定の形状の第２の最大ピーク値と最大ピーク値との比から計算される。

図２に図示の輪郭については、ＣＦ値はＣＦ＝１００１/２１２０である。この例では、ＣＦは最も近い０.１に丸めることにより量子化されて記憶要件が少なくなる。したがって、本例ではＣＦ＝０.５である。

本例のＣＦ値は表示の精確さすなわち一意性の反映である。本例では、１に近いＣＦ値は低い信頼性を意味し、ゼロに近いＣＦ値は高い信頼性を意味する。言い換えれば２つの最大ピーク値が近ければ近いほど表示は正確なものとなる可能性が少なくなる。

以下の説明に示されるようなマッチング手順を行うとき、ＣＦ値は有益なものとなり得る。

実施の形態３．
本発明の一実施の形態に準拠する、画像中のオブジェクトを検索する方法について、検索方法を示すブロック図である図４を参照しながら説明する。

本例では、図１のシステムの記述子データベース１０中には、関連づけられたＣＦ値とともに、上述した第１のソート方法に従って導き出された記述子が保存されている。

ユーザーは、ポインティング・デバイスを用いて、ディスプレイ上にオブジェクトの輪郭を描くことにより検索を開始する(ステップ４１０)。次いで、制御装置２が入力輪郭のＣＳＳ表示を導き出し、データベース中の画像に対して使用する関数と同じソート関数に従ってピークの縦座標のソートが行われ、入力輪郭を表す記述子が得られる(ステップ４２０)。次いで、制御装置２は、最大ピーク値に対する第２の最大ピーク値の比率を計算することにより入力輪郭のＣＦ値も計算し、その結果の量子化を行う(ステップ４３０)。

次いで、制御装置２は入力輪郭のＣＦ値を所定の閾値と比較する(ステップ４４０)。本例ではその閾値は０.７５である。入力記述子の精度に対して相対的に高い信頼性を示して、ＣＦ値がこの閾値より低い場合には、次のステップは考慮中のモデル(すなわちデータベースに保存された画像)のＣＦ値について考慮するステップである。モデルのＣＦがやはり閾値より低い場合(ステップ４５０)、所定のソート順のそれぞれの記述子のみを用いて入力記述子とモデルとの比較が行われる(ステップ４６０)。入力記述子またはモデルのいずれかのＣＦが閾値より大きい場合、入力記述子中の縦座標値のすべての可能な異なるソート順をデータベース中のモデル記述子と比較することによりマッチングが行われる(ステップ４７０)。

データベース中に各記述子の類似度測定値が結果として得られる適切なアルゴリズムを用いてマッチング比較が行われる。上述の論文で説明したような公知のマッチング・アルゴリズムを用いてもよい。このマッチング手順について簡単に説明する。

２つの閉鎖した輪郭の形状、画像曲線Ψiとモデル曲線Ψmおよびそれらの曲線のピークのそれぞれの設定値{(xi1, yi1),(xi2, yi2),..,(xin, yin)}と{(xm1, ym1), (xm2, ym2),..,(xmn, ymn)}が与えられれば、類似度測定値は計算される。類似度測定値は、画像中のピークとモデル中のピークのマッチングの総コストとして定義される。総コストを最少化するマッチングはダイナミック・プログラミングを用いて計算される。アルゴリズムによって、モデルから得たピークが画像から得たピークに再帰的にマッチされ、このようなマッチの各々のコスト計算が行われる。各モデルのピークを唯一の画像ピークとマッチさせることができ、各画像ピークを唯一のモデル・ピークとマッチさせることができる。モデルおよび／または画像ピークのなかにはマッチしないままのものがある場合もあり、各マッチしないピークについては追加のペナルティ・コストが存在する。２つのピークの水平距離が０.２未満の場合、２つのピークをマッチすることができる。マッチのコストは２つのマッチしたピーク間の直線の長さである。マッチしなかったピークのコストはその高さである。

更に詳述すれば、アルゴリズムは、ノードがマッチしたピークに対応するツリー状の構造を作成し拡張することにより機能する。

１.画像(xik, yik)の最大値とモデル(xir, yir)の最大値とから成る開始ノードを作成する。

２. 画像ピークの最大値の８０％以内の各残りのモデル・ピークについて追加の開始ノードを作成する。

３. １および２で作成した各開始ノードのコストを、この開始ノードとリンクした画像ピークおよびモデル・ピークのｙ座標の差の絶対値に初期化する。

４. ３の各開始ノードについて、この開始ノードでマッチしたモデル・ピークと画像ピークのｘ(水平)座標の差として定義するＣＳＳシフト・パラメータアルファを計算する。シフト・パラメータは各ノードについて異なるものとなる。

５. 各開始ノードについて、モデル・ピークのリストおよび画像ピークのリストを作成する。このリストにはどのピークがまだマッチしていないかに関する情報が含まれる。各開始ノードについて、“マッチしたもの”としてこのノードでマッチしたピークにマークをつけ、他のすべてのピークには“マッチしなかったもの”としてマークをつける。

６. ポイント８の条件が満たされるまで、最低コストのノードを再帰的に拡大する(ステップ１〜６でを作成した各ノードから始めて、各ノードの子ノードが後に続く)。ノードを拡大するために以下の手順を用いる。

７．ノードの拡大：
マッチしないままになっている少なくとも１つの画像と１つのモデル・ピークが存在する場合、マッチしない最も大きなスケール画像曲線ＣＳＳの最大値(xip, yip)を選択する。(ステップ４で計算した)開始ノード・シフト・パラメータを適用して選択した最大値をモデルＣＳＳ画像に写像し、選択されたピークは座標(xip-alpha, yip)を持つことになる。マッチしない最も近いモデル曲線ピーク(xms, yms)を決定する。２つのピーク間の水平距離が０.２未満(すなわち|xip-alpha-xms|＜０.２)である場合、２つのピークをマッチさせ、２つのピーク間の直線の長さとしてマッチのコストを定義する。そのノードの総コストにマッチのコストを加える。マッチしたピークに“マッチした”ものとしてマークをつけることによりそれぞれのリストからマッチしたピークを取り除く。２つのピーク間の水平距離が０.２より大きい場合、画像ピーク(xip, yip)はマッチすることはできない。その場合総コストに画像ピークの高さyipを加え、“マッチした”ものそのピークにマークとつけることにより画像ピーク・リストからピーク(xip, yip)だけを取り除く。

上記条件が当てはまらない(マッチしなかった画像ピークしか存在しない、またはマッチしなかったモデル・ピークしか存在しない)場合、マッチしないままの状態に放置する。

マッチしなかった画像ピークまたはモデル・ピークの最も高い高さとしてマッチのコストを定義しリストからピークを取り除く。

８．７でノードを拡大した後、画像リストおよびモデル・リストの双方にマッチしないピークが存在しない場合マッチング処理は終了する。このノードのコストは画像とモデル曲線間の類似度測定値である。ピークが存在する場合には、ポイント７へ戻り最低コストのノードを拡大する。

画像曲線ピーク値とモデル曲線ピーク値とを交換して上記手順を繰り返す。最終マッチング値はこれら２つのピーク値のうちの低い方の値である。

もう１つの例として、ソートされた順序の各位置について、入力されたｘ値とそれに対応するモデルのｘ値との間の距離および入力されたｙ値とそれに対応するモデルのｙ値との間の距離が計算される。すべての位置についての合計距離が計算され、合計距離が小さければ小さいほどマッチの程度は近くなる。入力輪郭とモデルのピークの数が異なる場合、合計距離の中に残りのマッチしなかったピークの高さが含まれる。

上記ステップがデータベースの各モデルについて繰り返される(ステップ４８０)。

マッチング比較の結果生じる類似度値がソートされ(ステップ４９０)、次いで、最も近いマッチング値(すなわち本例では最も低い類似度値)を示す類似度値を持つ記述子に対応するオブジェクトがユーザーに対して表示装置４に表示される(ステップ５００)。表示対象のオブジェクト数はユーザーが予め設定するか選択することができる。

上記実施の形態では、ＣＦ値の方が閾値より大きい場合、マッチング時に入力記述子値のすべての可能な順序が考慮される。しかしながら、すべての可能な順序を考慮する必要はなく、代わりに、元のＣＳＳ表示のいくつかのまたはすべての周期的シフトのようないくつかの可能な順序だけを考慮することができる。さらに、上記実施の形態では、閾値は０．７５に設定されるが、この閾値は異なるレベルに設定することもできる。例えば、閾値がゼロに設定された場合、いくつかのまたはすべての可能な順序の分析によってすべてのマッチングが行われる。このため、閾値がゼロ以上の場合と比較して必要な計算量が増えることになるがピーク値が既にソートされていて、ピーク値のｘ座標が、特定の開始点またはオブジェクト回転について調整されているので、そのような調整が行われていない元のシステムと比較すると必要な計算量は低減する。したがってゼロに閾値を設定することによりシステムは計算コストの若干の減少を行い、検索パフォーマンスは元のシステムの場合とまったく同じになる。

或いは、閾値が１に設定された場合、保存された順序だけを用いてマッチングが行われる。その場合、検索精度にはほんのわずかの低下しか伴わずに必要な計算量を著しく減らすことができる。

上述の実施の形態に対して様々な変更が可能である。例えば、実施の形態１および２に説明したようなＣＳＳピークの縦座標値のソーティングの代わりに、他のソーティングを利用することもできる。例えば、ピークの高さの降順に配置する代わりに昇順に縦座標値を配置してもよい。データベースにソーティングされた値を保存する代わりにマッチング手順中にソーティングを行ってもよい。

以上説明したようなシステムの構成要素は、ソフトウェアまたはハードウェアの形で設けることができる。コンピュータ・システムの形で本発明について説明したが、本発明は専用チップなどを用いて他の形で実現することもできる。

オブジェクトの２Ｄ形状を表す方法および２つの形状間の類似度を表す値を計算する方法を示す特定の例を示したが、同様の任意の適切な方法を用いることができる。

例えば、確認目的のためにオブジェクト画像のマッチングを行うために、またはフィルタリングを行うために本発明を用いることができる。

Claims (6)

1. コンピュータを用いて、画像データベースに保存された１つの画像または一連の画像に対応する信号を処理することにより、前記画像中に現れるオブジェクトを検索する方法であって、
   前記コンピュータは、
   ２次元の輪郭の形状として入力されるクエリを受信するステップと、
   前記輪郭の記述子を導き出すステップと、
   記憶された画像のオブジェクトの記述子を取得し、前記クエリの記述子と、記憶されたオブジェクトに対するそれぞれの記述子とを比較するステップと、
   前記クエリとの類似度を示す比較がなされたオブジェクトを含む画像に対応した、少なくとも１つの比較結果を選択し、表示するステップと
   を有し、
   記憶された記述子とクエリの記述子は、前記オブジェクトの前記輪郭のＣＳＳ表示から導出され、
   前記ＣＳＳ表示のピークの座標値のそれぞれは、ピークの高さの値に基づいてソーティングされる
   ことを特徴とする画像中に現れるオブジェクトを検索する方法。
2. 前記ピークの座標値は、最大値から開始される、あるいは最小値から開始されるピーク値の高さに基づいてソーティングされる
   ことを特徴とする請求項１に記載の方法。
3. 前記クエリの輪郭および記憶された輪郭のそれぞれに対して係数が導出され、前記比較は、あらかじめ決められた順序付けのみ、あるいはあらかじめ決められた順序付けと前記係数に依存する他のいくつかの順序付けとを用いてなされ、
   前記係数は、ＣＳＳ表示におけるピークの座標値のように、輪郭を表すためのオブジェクトの輪郭に現れる特徴に関連した複数の数値を導出することで導き出され、前記複数の数値のうちの少なくとも２つの数値の関係を用いて前記ＣＳＳ表示の信頼性を示す係数を導出する
   請求項１または２に記載の方法。
4. 前記係数は、前記複数の数値のうちの２つの数値の比率に基づき、例えば、２つの最大値の比率に基づく
   ことを特徴とする請求項３に記載の方法。
5. 請求項１乃至４のいずれか１つに記載の方法を実行するように適合される、画像中に現れるオブジェクトを検索する装置。
6. 請求項１乃至４のいずれか１つに記載の方法を実現するためのコンピュータで実行可能な処理を保存するコンピュータ可読記憶媒体。

Images