JP4727879B2 - 画像中に現れるオブジェクトを表示する方法、その装置、及びコンピュータ可読記憶媒体 - Google Patents
画像中に現れるオブジェクトを表示する方法、その装置、及びコンピュータ可読記憶媒体 Download PDFInfo
- Publication number
- JP4727879B2 JP4727879B2 JP2001511636A JP2001511636A JP4727879B2 JP 4727879 B2 JP4727879 B2 JP 4727879B2 JP 2001511636 A JP2001511636 A JP 2001511636A JP 2001511636 A JP2001511636 A JP 2001511636A JP 4727879 B2 JP4727879 B2 JP 4727879B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- css
- peak
- contour
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 34
- 238000009499 grossing Methods 0.000 claims description 4
- 238000011524 similarity measure Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 101100255942 Arabidopsis thaliana RVE7 gene Proteins 0.000 description 1
- 101150091736 EPR1 gene Proteins 0.000 description 1
- 102100037584 FAST kinase domain-containing protein 4 Human genes 0.000 description 1
- 101001028251 Homo sapiens FAST kinase domain-containing protein 4 Proteins 0.000 description 1
- -1 PEAKS1) S2: (EPR2 Proteins 0.000 description 1
- 101100459905 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) NCP1 gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 101150046305 cpr-1 gene Proteins 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/752—Contour matching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
- Y10S707/99936—Pattern matching access
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Eye Examination Apparatus (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Processing Or Creating Images (AREA)
- Holo Graphy (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、検索を目的とする、マルチメディア・データベースに保存された画像のような静止画像またはビデオ画像中に現れるオブジェクトの表示に関し、特に、そのような表示を用いてオブジェクトを検索する方法及び装置に関する。
【０００２】
【従来の技術】
ビデオ・ライブラリの画像のようなアプリケーションでは、ビデオ画像あるいは静止画像中に現れるオブジェクトの輪郭や形状またはオブジェクトの一部の効率的な表示および保存を行うことが望ましい。形状ベースの索引付けと検索を行うための公知の手法では曲率スケール空間(ＣＳＳ)表示が用いられる。ＣＳＳの詳細については、論文「曲率スケール空間によるロバストで効率的な形状索引付け」(英国マシーン・ビジョン会報pp.５３〜６２、エジンバラ、英国、１９９６年)ならびに「曲率スケール空間を用いる形状内容による画像データベースの索引付け」(インテリジェント・データベースに関するＩＥＥ専門家会議会報、ロンドン、１９９６年)の中で入手することができる。両論文ともMokhtarian、S.AbbasiならびにJ.Kittlerによるものであり、その内容は本明細書中に参考文献として取り入れられている。
【０００３】
ＣＳＳ表示では、オブジェクトの輪郭を求めるために曲率関数が使用され、輪郭上の任意の点から表示が開始される。形状を平滑化する一連の変形を行うことにより輪郭の形状を展開しながら、曲率関数が検討される。さらに具体的には、ガウスフィルタの族と共に畳み込まれた曲率関数の導関数のゼロ・クロスが計算される。曲率スケール空間として周知のように、ゼロ・クロスはグラフ上にプロットされる。但し、ｘ軸は曲線の正規化された弧長であり、ｙ軸は展開パラメータ、特に、適用フィルタのパラメータである。グラフ上のプロットは輪郭の特徴を示すループを形成する。オブジェクトの輪郭の各凸状または凹状を成す部分はＣＳＳ画像におけるループに対応する。ＣＳＳ画像において最も突起したループのピークの縦座標は輪郭の表示として利用される。
【０００４】
入力オブジェクトの形状に一致する、データベース中の保存画像のオブジェクトを検索するために、入力形状のＣＳＳ表示が計算される。マッチング・アルゴリズムを用いて、それぞれのＣＳＳ画像のピークの位置および高さを比較することにより、入力形状と保存形状との間の類似度が判定される。
【０００５】
上述の最初の論文によれば、２つの追加パラメータ(元の形状の真円度と離心率)を用いて、これと著しく異なる真円度と離心率パラメータを持つ形状がマッチング処理から除外されることが知られている。
【０００６】
上述のような表示に関する問題点として、往々にして検索精度が低くなる場合があり、特に、少数の凹状または凸状を持つ曲線について検索精度が低くなるという点が挙げられる。特に、この表示は種々の凸状の曲線の区別を行うことができない。
【０００７】
本発明の１つの態様は“プロトタイプ輪郭の形状”の形状について記述する追加手段を導入することである。好適にはプロトタイプの輪郭の形状は以下のように定義することが望ましい：
１) 輪郭中に凹凸が存在しない(すなわちＣＳＳ画像にピークが存在しない)場合には、元の形状。
２) ＣＳＳ画像中の最も高いピークに等しい平滑化を行った後の形状の輪郭。
【０００８】
プロトタイプ輪郭の形状は常に凸状であることに留意されたい。
例えば、MK.HUの論文“モーメント不変量による視覚パターン認識”(情報理論に関するＩＥＥＥ処理、Ｖｏｌ.ＩＴ−８、１７９〜１８１、１９６２年)に記載されているような領域モーメントに基づく不変量によってプロトタイプ輪郭の形状を記述してもよい。上記論文の内容は本明細書に参考文献として取り入れられている。あるいは、Cho-Huak Theの論文“モーメント法による画像分析について”(パターン分析およびマシーン・インテリジェンスに関するＩＥＥＥ処理、Ｖｏｌ.１０. Ｎｏ.４、１９８８年７月)に記載されているようなフーリエ記述子あるいは離心率、真円度などのようなパラメータを用いてプロトタイプ輪郭の形状を記述してもよい。この論文の内容も本明細書に参考文献として取り入れられている。上述の公知の方法では離心率と真円度は元の形状に対してしか使用されない。本発明では、曲線について異なる離心率と真円度が“プロトタイプ形状”に対して用いられる。この形状は少なくとも１つのＣＳＳピークを有する。もう１つの違いは、公知の方法による離心率と真円度を用いて、類似度マッチングからある一定の形状が除外されるという点である。本発明では(ＣＳＳピークに加えて)離心率と真円度とを用いて類似度測定値が導き出される。最後に、マッチング処理に用いる追加パラメータをモーメント不変量、フーリエ記述子およびゼルニック(Zernicke)モーメントに対して拡張する。
【０００９】
本発明の結果として検索精度の改善を行うことができる。
【００１０】
【発明を解決するための手段】
この発明に係る請求項１に記載の画像中に現れるオブジェクトを表示する方法は、１つの画像または一連の画像に対応する入力信号を、装置を用いて処理することにより、画像中に現れるオブジェクトを表示する方法であって、入力信号に基づいてオブジェクトの輪郭を平滑化することにより、オブジェクトの輪郭の曲率スケール空間(ＣＳＳ)表示を導き出すステップと、ＣＳＳ表示された画像であるＣＳＳ画像のピークに対応して平滑化された元のオブジェクトの輪郭の離心率である追加パラメータを導き出すステップと、ＣＳＳ表示と追加パラメータとを関連させてオブジェクトの形状記述子を形成するステップとを有する。
【００１２】
この発明に係る請求項２に記載の画像中に現れるオブジェクトを表示する方法は、追加パラメータは、ＣＳＳ画像の最も高いピークに対応する平滑化された輪郭の離心率である。
【００１３】
この発明に係る請求項３に記載の画像中に現れるオブジェクトを表示する方法は、１つの画像または一連の画像に対応する入力信号を、装置を用いて処理することにより、画像中に現れる複数のオブジェクトを表示する方法であって、入力信号に基づいて各オブジェクトの輪郭について、曲率スケール空間(ＣＳＳ)画像内に少なくとも１つのピークが存在する場合に、請求項１に記載の方法を用いて形状記述子を導き出すステップと、曲率スケール空間(ＣＳＳ)画像内にピークが存在しない場合に、オブジェクトの輪郭のＣＳＳ表現および元のオブジェクトの輪郭の離心率を含む形状記述子を導き出すステップとを有する。
【００１５】
この発明に係る請求項４に記載の画像中に現れるオブジェクトを表示する装置は、１つの画像または一連の画像に対応する入力信号を、装置を用いて処理することにより、画像中に現れるオブジェクトの輪郭の曲率スケール空間(ＣＳＳ)表示を導き出す手段と、ＣＳＳ表示された画像であるＣＳＳ画像のピークに対応して平滑化された元のオブジェクトの輪郭の離心率である追加パラメータを導き出す手段と、ＣＳＳ表示と追加パラメータとを関連させてオブジェクトの形状記述子を形成する手段とを有する。
【００１６】
この発明に係る請求項５に記載の画像中に現れるオブジェクトを表示する装置は、画像および／または形状記述子を記憶する記憶手段をさらに有する。
【００１９】
この発明に係る請求項６に記載のコンピュータ可読記憶媒体は、請求項１乃至３のいずれか１つに記載の方法を実行するためのコンピュータによって実行可能な処理を保存する。
【００２０】
【発明の実施の形態】
添付図面を参照して本発明の実施の形態について説明する。
実施の形態１．
図１は、本発明の実施の形態によるコンピュータ処理が行われたビデオ・データベース・システムを図示する。このシステムには、コンピュータの形の制御装置２、モニターの形の表示装置４、マウスの形のポインティング・デバイス６、保存された静止画像とビデオ画像とを含む画像データベース８および画像データベース８に保存された画像中に現れるオブジェクトまたはオブジェクトのいくつかの部分の記述子を保存する記述子データベース１０が含まれる。
【００２１】
画像データベースの画像中に現れる興味のある各オブジェクトの形状を表す記述子は、制御装置２によって導き出され、記述子データベース１０に保存される。制御装置２は、以下に説明するような方法を実行する適切なプログラムの制御によって動作して記述子を導き出す。
【００２２】
第一に、所定のオブジェクトの輪郭について、この輪郭のＣＳＳ表示が導き出される。上述の論文の１つに記載されているような周知の方法を用いてこのＣＳＳ表示が行われる。
【００２３】
さらに具体的には、この輪郭はΨ＝{(x(u),y(u),u∈[0,1]}によって表される(ただし、uは正規化された弧長パラメータである)。
【００２４】
この輪郭は、ＩＤガウスカーネルｇ(ｕ,ρ)を用いて畳み込みを行う(convolve)ことにより平滑化され、ρの変化として展開(evolving)曲線の曲率ゼロ・クロスが調べられる。ゼロクロスは曲率を表す下記の式を用いて特定される。
【００２５】
【数１】
【００２６】
但し、
【００２７】
【数２】
【００２８】
かつ、
【００２９】
【数３】
【００３０】
上記で、＊は畳み込みを表し、添え字は導関数を表す。
曲率ゼロ・クロスの数はρの変化につれて変化し、ρが十分に高いときΨはゼロ・クロスの凸状の曲線となる。
【００３１】
ゼロクロス・ポイント(u、ρ)はＣＳＳ画像空間として知られるグラフ上にプロットされる。この結果元の輪郭の特徴を示す曲線が生じる。この特徴を示す曲線のピークが特定され、対応する縦座標が抽出され保存される。一般に上記の結果、ｎ個の座標の対((x１, y１)、(x２, y２)、...(xn, yn)の組(ただし、ｎはピークの数、xiはｉ番目のピークの弧長の位置、yiはピークの高さである)が与えられる。これらのピークの縦座標によってＣＳＳ表示ピークが構成される。
【００３２】
ＣＳＳ表示に加えて、さらなるパラメータが形状と関連付けられ、形状記述子が生成される。本実施の形態では、追加パラメータは形状の“プロトタイプ領域”の離心率と真円度であり、この場合この形状の“プロトタイプ領域”は最終平滑化ステップ後の、すなわち最も高いピーク値ρに等しい点における形状の輪郭である。プロトタイプ領域について他のρ値を選択してもよい。この結果、形の中にＳ字形を表す形状記述子｛ＥＰＲ、ＣＰＲ、ピーク｝が生じる(但し、ＥＰＲはプロトタイプ領域の離心率、ＣＰＲはプロトタイプ領域の真円度、ＰＥＡＫＳはＣＳＳ表示を表す)。
【００３３】
本発明の実施の形態１に準拠する画像中のオブジェクトの検索方法について説明する。
【００３４】
本明細書では、図１のシステムの記述子データベース１０中に上述の方法に従って導き出された形状記述子が保存される。
【００３５】
ポインティング・デバイスを用いてディスプレイにオブジェクトの輪郭を描くことによりユーザーは検索を開始する。次いで、制御装置２は上述の方法で、入力輪郭を示す形状記述子を導き出す。次いで、制御装置はデータベースに保存されている各形状記述子を用いてマッチング比較を行う。
【００３６】
入力輪郭の形状Ｓ１を保存形状Ｓ２と比較すると仮定すると、Ｓ１とＳ２はそれぞれの記述子が下記のようになる：
Ｓ１：(ＥＰＲ１、ＣＰＲ１、ＰＥＡＫＳ１)
Ｓ２：(ＥＰＲ２、ＣＰＲ２、ＰＥＡＫＳ２)
【００３７】
但し、ＥＰＲはプロトタイプ領域の離心率を意味し、ＣＰＲはプロトタイプ領域の真円度を意味し、ＰＥＡＫＳはＣＳＳ画像中のピーク座標の設定値を意味する(この設定値は空であってもよい)。２つの形状間の類似度測定値は以下のように計算される。
【００３８】
【数４】
【００３９】
但し、ａとｂは２つの係数であり、ＳＭは２組のピーク[1]値に関して定義された標準的類似度測定値であり、ａｂｓは絶対値を示す。ＳＭは、上述の論文に記載されているような公知のマッチング・アルゴリズムを用いて計算される。このマッチング処理について以下手短に説明する。
【００４０】
２つの閉鎖した輪郭の形状、画像曲線Ψiとモデル曲線Ψmおよびそれらの曲線のピークのそれぞれの設定値{(xi1, yi1),(xi2, yi2),..,(xin, yin)}と{(xm1, ym1), (xm2, ym2),..,(xmn, ymn)}が与えられれば、類似度測定値が計算される。類似度測定値は、画像中のピークとモデル中のピークのマッチングの総コストとして定義される。総コストを最少化するマッチングはダイナミック・プログラミングを用いて計算される。アルゴリズムによって、モデルから得たピークが画像から得たピークに再帰的にマッチされ、このようなマッチの各々のコスト計算が行われる。各モデルのピークを唯一の画像ピークとマッチさせることができ、各画像ピークを唯一のモデル・ピークとマッチさせることができる。モデルおよび／または画像ピークのなかにはマッチしないままのものがある場合もあり、各マッチしないピークについては追加のペナルティ・コストが存在する。２つのピークの水平距離が０.２未満の場合、２つのピークをマッチすることができる。マッチのコストは２つのマッチしたピーク間の直線の長さである。マッチしなかったピークのコストはその高さである。
【００４１】
更に詳述すれば、アルゴリズムは、ノードがマッチしたピークに対応するツリー状の構造を作成し拡張することにより機能する。
【００４２】
１． 画像(xik, yik)の最大値とモデル(xir, yir)の最大値とから成る開始ノードを作成する。
【００４３】
２． 画像ピークの最大値の８０％以内の各残りのモデル・ピークについて追加の開始ノードを作成する。
【００４４】
３． １および２で作成した各開始ノードのコストを、この開始ノードとリンクした画像ピークおよびモデル・ピークのｙ座標の差の絶対値に初期化する。
【００４５】
４． ３の各開始ノードについて、この開始ノードでマッチしたモデル・ピークと画像ピークのｘ(水平)座標の差として定義するＣＳＳシフト・パラメータアルファを計算する。シフト・パラメータは各ノードについて異なるものとなる。
【００４６】
５． 各開始ノードについて、モデル・ピークのリストおよび画像ピークのリストを作成する。このリストにはどのピークがまだマッチしていないかに関する情報が含まれる。各開始ノードについて、“マッチしたもの”としてこのノードでマッチしたピークにマークをつけ、他のすべてのピークには“マッチしなかったもの”としてマークをつける。
【００４７】
６． ポイント８の条件が満たされるまで、最低コストのノードを再帰的に拡大する(ステップ１〜６で作成した各ノードから始めて、各ノードの子ノードが後に続く)。ノードを拡大するために以下の手順を用いる。
【００４８】
７． ノードの拡大：
マッチしないままになっている少なくとも１つの画像と１つのモデル・ピークが存在する場合、マッチしない最も大きなスケール画像曲線ＣＳＳの最大値(xip, yip)を選択する。(ステップ４で計算した)開始ノード・シフト・パラメータを適用して選択した最大値をモデルＣＳＳ画像に写像し、選択されたピークは座標(xip-alpha, yip)を持つことになる。マッチしない最も近いモデル曲線ピーク(xms, yms)を決定する。２つのピーク間の水平距離が０.２未満(すなわち|xip-alpha-xms|＜０.２)である場合、２つのピークをマッチさせ、２つのピーク間の直線の長さとしてマッチのコストを定義する。そのノードの総コストにマッチのコストを加える。マッチしたピークに“マッチした”ものとしてマークをつけることによりそれぞれのリストからマッチしたピークを取り除く。２つのピーク間の水平距離が０.２より大きい場合、画像ピーク(xip, yip)はマッチすることはできない。その場合総コストに画像ピークの高さyipを加え、“マッチした”ものとしてそのピークにマークをつけることにより画像ピーク・リストからピーク(xip, yip)だけを取り除く。
上記条件が当てはまらない(マッチしなかった画像ピークしか存在しない、またはマッチしなかったモデル・ピークしか存在しない)場合、マッチしないままの状態に放置する。
【００４９】
マッチしなかった画像ピークまたはモデル・ピークの最も高い高さとしてマッチのコストを定義しリストからピークを取り除く。
【００５０】
８． ７でノードを拡大した後、画像リストおよびモデル・リストの双方にマッチしないピークが存在しない場合マッチング処理は終了する。このノードのコストは画像とモデル曲線間の類似度測定値である。ピークが存在する場合には、ポイント７へ戻り最低コストのノードを拡大する。
【００５１】
画像曲線ピーク値とモデル曲線ピーク値とを交換して上記手順を繰り返す。最終マッチング値はこれら２つのピーク値のうちの低い方の値である。
【００５２】
データベースの各モデルについて上記ステップを繰り返す。
【００５３】
マッチング比較から結果として生じる類似度測定値はソートされ、次いで、最も接近したマッチを示す類似度測定値を持つ記述子に対応するオブジェクト(すなわち本発明で最低の類似度測定値)がユーザーに対して表示装置４上に表示される。表示対象のオブジェクト数はユーザーが予め設定するか選択することができる。
【００５４】
代替の実施の形態では、様々なパラメータを用いて“プロトタイプ領域”の形状について記述することができる。例えば曲線の３つのフーリエ係数を使用することができる。類似度測定値は以下のように定義することができる。すなわち：
【００５５】
【数５】
【００５６】
但し、ＥＵＣは、モデルと画像の形状を示す３つの主要なフーリエ係数から形成されるベクトルＦ１とＦ２間のユークリッド距離であり、ＳＭはＣＳＳピークの類似度測定値を表し、ほぼ上述のような方法を用いて計算される。
【００５７】
【発明の効果】
本発明によるシステムは例えば画像ライブラリ中に設けることができる。或いは、データベースは、インターネットのようなネットワークにより電話線のような一時的リンクによって制御装置と接続し、システムの制御装置から遠隔地に配置することができる。例えば、画像データベースおよび記述子データベースは永久記憶装置またはＲＯＭやＤＶＤのような携帯用記憶媒体中に設けることができる。
【００５８】
以上説明したようなシステムの構成要素は、ソフトウェアまたはハードウェアの形で設けることができる。コンピュータ・システムの形で本発明について説明したが、本発明は専用チップなどを用いて他の形で実現することもできる。
【００５９】
オブジェクトの２Ｄ形状を表す方法および２つの形状間の類似度を表す値を計算する方法を示す特定の例を示したが、同様の任意の適切な方法を用いることができる。
【００６０】
例えば、確認目的のためにオブジェクト画像のマッチングを行うために、またはフィルタリングを行うために本発明を用いることができる。
【図面の簡単な説明】
【図１】 ビデオ・データベース・システムを示すブロック図、
【図２】 あるオブジェクトの輪郭を示す図、
【図３】 図２の輪郭を示すＣＳＳ表示の図である。
【発明の属する技術分野】
本発明は、検索を目的とする、マルチメディア・データベースに保存された画像のような静止画像またはビデオ画像中に現れるオブジェクトの表示に関し、特に、そのような表示を用いてオブジェクトを検索する方法及び装置に関する。
【０００２】
【従来の技術】
ビデオ・ライブラリの画像のようなアプリケーションでは、ビデオ画像あるいは静止画像中に現れるオブジェクトの輪郭や形状またはオブジェクトの一部の効率的な表示および保存を行うことが望ましい。形状ベースの索引付けと検索を行うための公知の手法では曲率スケール空間(ＣＳＳ)表示が用いられる。ＣＳＳの詳細については、論文「曲率スケール空間によるロバストで効率的な形状索引付け」(英国マシーン・ビジョン会報pp.５３〜６２、エジンバラ、英国、１９９６年)ならびに「曲率スケール空間を用いる形状内容による画像データベースの索引付け」(インテリジェント・データベースに関するＩＥＥ専門家会議会報、ロンドン、１９９６年)の中で入手することができる。両論文ともMokhtarian、S.AbbasiならびにJ.Kittlerによるものであり、その内容は本明細書中に参考文献として取り入れられている。
【０００３】
ＣＳＳ表示では、オブジェクトの輪郭を求めるために曲率関数が使用され、輪郭上の任意の点から表示が開始される。形状を平滑化する一連の変形を行うことにより輪郭の形状を展開しながら、曲率関数が検討される。さらに具体的には、ガウスフィルタの族と共に畳み込まれた曲率関数の導関数のゼロ・クロスが計算される。曲率スケール空間として周知のように、ゼロ・クロスはグラフ上にプロットされる。但し、ｘ軸は曲線の正規化された弧長であり、ｙ軸は展開パラメータ、特に、適用フィルタのパラメータである。グラフ上のプロットは輪郭の特徴を示すループを形成する。オブジェクトの輪郭の各凸状または凹状を成す部分はＣＳＳ画像におけるループに対応する。ＣＳＳ画像において最も突起したループのピークの縦座標は輪郭の表示として利用される。
【０００４】
入力オブジェクトの形状に一致する、データベース中の保存画像のオブジェクトを検索するために、入力形状のＣＳＳ表示が計算される。マッチング・アルゴリズムを用いて、それぞれのＣＳＳ画像のピークの位置および高さを比較することにより、入力形状と保存形状との間の類似度が判定される。
【０００５】
上述の最初の論文によれば、２つの追加パラメータ(元の形状の真円度と離心率)を用いて、これと著しく異なる真円度と離心率パラメータを持つ形状がマッチング処理から除外されることが知られている。
【０００６】
上述のような表示に関する問題点として、往々にして検索精度が低くなる場合があり、特に、少数の凹状または凸状を持つ曲線について検索精度が低くなるという点が挙げられる。特に、この表示は種々の凸状の曲線の区別を行うことができない。
【０００７】
本発明の１つの態様は“プロトタイプ輪郭の形状”の形状について記述する追加手段を導入することである。好適にはプロトタイプの輪郭の形状は以下のように定義することが望ましい：
１) 輪郭中に凹凸が存在しない(すなわちＣＳＳ画像にピークが存在しない)場合には、元の形状。
２) ＣＳＳ画像中の最も高いピークに等しい平滑化を行った後の形状の輪郭。
【０００８】
プロトタイプ輪郭の形状は常に凸状であることに留意されたい。
例えば、MK.HUの論文“モーメント不変量による視覚パターン認識”(情報理論に関するＩＥＥＥ処理、Ｖｏｌ.ＩＴ−８、１７９〜１８１、１９６２年)に記載されているような領域モーメントに基づく不変量によってプロトタイプ輪郭の形状を記述してもよい。上記論文の内容は本明細書に参考文献として取り入れられている。あるいは、Cho-Huak Theの論文“モーメント法による画像分析について”(パターン分析およびマシーン・インテリジェンスに関するＩＥＥＥ処理、Ｖｏｌ.１０. Ｎｏ.４、１９８８年７月)に記載されているようなフーリエ記述子あるいは離心率、真円度などのようなパラメータを用いてプロトタイプ輪郭の形状を記述してもよい。この論文の内容も本明細書に参考文献として取り入れられている。上述の公知の方法では離心率と真円度は元の形状に対してしか使用されない。本発明では、曲線について異なる離心率と真円度が“プロトタイプ形状”に対して用いられる。この形状は少なくとも１つのＣＳＳピークを有する。もう１つの違いは、公知の方法による離心率と真円度を用いて、類似度マッチングからある一定の形状が除外されるという点である。本発明では(ＣＳＳピークに加えて)離心率と真円度とを用いて類似度測定値が導き出される。最後に、マッチング処理に用いる追加パラメータをモーメント不変量、フーリエ記述子およびゼルニック(Zernicke)モーメントに対して拡張する。
【０００９】
本発明の結果として検索精度の改善を行うことができる。
【００１０】
【発明を解決するための手段】
この発明に係る請求項１に記載の画像中に現れるオブジェクトを表示する方法は、１つの画像または一連の画像に対応する入力信号を、装置を用いて処理することにより、画像中に現れるオブジェクトを表示する方法であって、入力信号に基づいてオブジェクトの輪郭を平滑化することにより、オブジェクトの輪郭の曲率スケール空間(ＣＳＳ)表示を導き出すステップと、ＣＳＳ表示された画像であるＣＳＳ画像のピークに対応して平滑化された元のオブジェクトの輪郭の離心率である追加パラメータを導き出すステップと、ＣＳＳ表示と追加パラメータとを関連させてオブジェクトの形状記述子を形成するステップとを有する。
【００１２】
この発明に係る請求項２に記載の画像中に現れるオブジェクトを表示する方法は、追加パラメータは、ＣＳＳ画像の最も高いピークに対応する平滑化された輪郭の離心率である。
【００１３】
この発明に係る請求項３に記載の画像中に現れるオブジェクトを表示する方法は、１つの画像または一連の画像に対応する入力信号を、装置を用いて処理することにより、画像中に現れる複数のオブジェクトを表示する方法であって、入力信号に基づいて各オブジェクトの輪郭について、曲率スケール空間(ＣＳＳ)画像内に少なくとも１つのピークが存在する場合に、請求項１に記載の方法を用いて形状記述子を導き出すステップと、曲率スケール空間(ＣＳＳ)画像内にピークが存在しない場合に、オブジェクトの輪郭のＣＳＳ表現および元のオブジェクトの輪郭の離心率を含む形状記述子を導き出すステップとを有する。
【００１５】
この発明に係る請求項４に記載の画像中に現れるオブジェクトを表示する装置は、１つの画像または一連の画像に対応する入力信号を、装置を用いて処理することにより、画像中に現れるオブジェクトの輪郭の曲率スケール空間(ＣＳＳ)表示を導き出す手段と、ＣＳＳ表示された画像であるＣＳＳ画像のピークに対応して平滑化された元のオブジェクトの輪郭の離心率である追加パラメータを導き出す手段と、ＣＳＳ表示と追加パラメータとを関連させてオブジェクトの形状記述子を形成する手段とを有する。
【００１６】
この発明に係る請求項５に記載の画像中に現れるオブジェクトを表示する装置は、画像および／または形状記述子を記憶する記憶手段をさらに有する。
【００１９】
この発明に係る請求項６に記載のコンピュータ可読記憶媒体は、請求項１乃至３のいずれか１つに記載の方法を実行するためのコンピュータによって実行可能な処理を保存する。
【００２０】
【発明の実施の形態】
添付図面を参照して本発明の実施の形態について説明する。
実施の形態１．
図１は、本発明の実施の形態によるコンピュータ処理が行われたビデオ・データベース・システムを図示する。このシステムには、コンピュータの形の制御装置２、モニターの形の表示装置４、マウスの形のポインティング・デバイス６、保存された静止画像とビデオ画像とを含む画像データベース８および画像データベース８に保存された画像中に現れるオブジェクトまたはオブジェクトのいくつかの部分の記述子を保存する記述子データベース１０が含まれる。
【００２１】
画像データベースの画像中に現れる興味のある各オブジェクトの形状を表す記述子は、制御装置２によって導き出され、記述子データベース１０に保存される。制御装置２は、以下に説明するような方法を実行する適切なプログラムの制御によって動作して記述子を導き出す。
【００２２】
第一に、所定のオブジェクトの輪郭について、この輪郭のＣＳＳ表示が導き出される。上述の論文の１つに記載されているような周知の方法を用いてこのＣＳＳ表示が行われる。
【００２３】
さらに具体的には、この輪郭はΨ＝{(x(u),y(u),u∈[0,1]}によって表される(ただし、uは正規化された弧長パラメータである)。
【００２４】
この輪郭は、ＩＤガウスカーネルｇ(ｕ,ρ)を用いて畳み込みを行う(convolve)ことにより平滑化され、ρの変化として展開(evolving)曲線の曲率ゼロ・クロスが調べられる。ゼロクロスは曲率を表す下記の式を用いて特定される。
【００２５】
【数１】
但し、
【００２７】
【数２】
かつ、
【００２９】
【数３】
上記で、＊は畳み込みを表し、添え字は導関数を表す。
曲率ゼロ・クロスの数はρの変化につれて変化し、ρが十分に高いときΨはゼロ・クロスの凸状の曲線となる。
【００３１】
ゼロクロス・ポイント(u、ρ)はＣＳＳ画像空間として知られるグラフ上にプロットされる。この結果元の輪郭の特徴を示す曲線が生じる。この特徴を示す曲線のピークが特定され、対応する縦座標が抽出され保存される。一般に上記の結果、ｎ個の座標の対((x１, y１)、(x２, y２)、...(xn, yn)の組(ただし、ｎはピークの数、xiはｉ番目のピークの弧長の位置、yiはピークの高さである)が与えられる。これらのピークの縦座標によってＣＳＳ表示ピークが構成される。
【００３２】
ＣＳＳ表示に加えて、さらなるパラメータが形状と関連付けられ、形状記述子が生成される。本実施の形態では、追加パラメータは形状の“プロトタイプ領域”の離心率と真円度であり、この場合この形状の“プロトタイプ領域”は最終平滑化ステップ後の、すなわち最も高いピーク値ρに等しい点における形状の輪郭である。プロトタイプ領域について他のρ値を選択してもよい。この結果、形の中にＳ字形を表す形状記述子｛ＥＰＲ、ＣＰＲ、ピーク｝が生じる(但し、ＥＰＲはプロトタイプ領域の離心率、ＣＰＲはプロトタイプ領域の真円度、ＰＥＡＫＳはＣＳＳ表示を表す)。
【００３３】
本発明の実施の形態１に準拠する画像中のオブジェクトの検索方法について説明する。
【００３４】
本明細書では、図１のシステムの記述子データベース１０中に上述の方法に従って導き出された形状記述子が保存される。
【００３５】
ポインティング・デバイスを用いてディスプレイにオブジェクトの輪郭を描くことによりユーザーは検索を開始する。次いで、制御装置２は上述の方法で、入力輪郭を示す形状記述子を導き出す。次いで、制御装置はデータベースに保存されている各形状記述子を用いてマッチング比較を行う。
【００３６】
入力輪郭の形状Ｓ１を保存形状Ｓ２と比較すると仮定すると、Ｓ１とＳ２はそれぞれの記述子が下記のようになる：
Ｓ１：(ＥＰＲ１、ＣＰＲ１、ＰＥＡＫＳ１)
Ｓ２：(ＥＰＲ２、ＣＰＲ２、ＰＥＡＫＳ２)
【００３７】
但し、ＥＰＲはプロトタイプ領域の離心率を意味し、ＣＰＲはプロトタイプ領域の真円度を意味し、ＰＥＡＫＳはＣＳＳ画像中のピーク座標の設定値を意味する(この設定値は空であってもよい)。２つの形状間の類似度測定値は以下のように計算される。
【００３８】
【数４】
但し、ａとｂは２つの係数であり、ＳＭは２組のピーク[1]値に関して定義された標準的類似度測定値であり、ａｂｓは絶対値を示す。ＳＭは、上述の論文に記載されているような公知のマッチング・アルゴリズムを用いて計算される。このマッチング処理について以下手短に説明する。
【００４０】
２つの閉鎖した輪郭の形状、画像曲線Ψiとモデル曲線Ψmおよびそれらの曲線のピークのそれぞれの設定値{(xi1, yi1),(xi2, yi2),..,(xin, yin)}と{(xm1, ym1), (xm2, ym2),..,(xmn, ymn)}が与えられれば、類似度測定値が計算される。類似度測定値は、画像中のピークとモデル中のピークのマッチングの総コストとして定義される。総コストを最少化するマッチングはダイナミック・プログラミングを用いて計算される。アルゴリズムによって、モデルから得たピークが画像から得たピークに再帰的にマッチされ、このようなマッチの各々のコスト計算が行われる。各モデルのピークを唯一の画像ピークとマッチさせることができ、各画像ピークを唯一のモデル・ピークとマッチさせることができる。モデルおよび／または画像ピークのなかにはマッチしないままのものがある場合もあり、各マッチしないピークについては追加のペナルティ・コストが存在する。２つのピークの水平距離が０.２未満の場合、２つのピークをマッチすることができる。マッチのコストは２つのマッチしたピーク間の直線の長さである。マッチしなかったピークのコストはその高さである。
【００４１】
更に詳述すれば、アルゴリズムは、ノードがマッチしたピークに対応するツリー状の構造を作成し拡張することにより機能する。
【００４２】
１． 画像(xik, yik)の最大値とモデル(xir, yir)の最大値とから成る開始ノードを作成する。
【００４３】
２． 画像ピークの最大値の８０％以内の各残りのモデル・ピークについて追加の開始ノードを作成する。
【００４４】
３． １および２で作成した各開始ノードのコストを、この開始ノードとリンクした画像ピークおよびモデル・ピークのｙ座標の差の絶対値に初期化する。
【００４５】
４． ３の各開始ノードについて、この開始ノードでマッチしたモデル・ピークと画像ピークのｘ(水平)座標の差として定義するＣＳＳシフト・パラメータアルファを計算する。シフト・パラメータは各ノードについて異なるものとなる。
【００４６】
５． 各開始ノードについて、モデル・ピークのリストおよび画像ピークのリストを作成する。このリストにはどのピークがまだマッチしていないかに関する情報が含まれる。各開始ノードについて、“マッチしたもの”としてこのノードでマッチしたピークにマークをつけ、他のすべてのピークには“マッチしなかったもの”としてマークをつける。
【００４７】
６． ポイント８の条件が満たされるまで、最低コストのノードを再帰的に拡大する(ステップ１〜６で作成した各ノードから始めて、各ノードの子ノードが後に続く)。ノードを拡大するために以下の手順を用いる。
【００４８】
７． ノードの拡大：
マッチしないままになっている少なくとも１つの画像と１つのモデル・ピークが存在する場合、マッチしない最も大きなスケール画像曲線ＣＳＳの最大値(xip, yip)を選択する。(ステップ４で計算した)開始ノード・シフト・パラメータを適用して選択した最大値をモデルＣＳＳ画像に写像し、選択されたピークは座標(xip-alpha, yip)を持つことになる。マッチしない最も近いモデル曲線ピーク(xms, yms)を決定する。２つのピーク間の水平距離が０.２未満(すなわち|xip-alpha-xms|＜０.２)である場合、２つのピークをマッチさせ、２つのピーク間の直線の長さとしてマッチのコストを定義する。そのノードの総コストにマッチのコストを加える。マッチしたピークに“マッチした”ものとしてマークをつけることによりそれぞれのリストからマッチしたピークを取り除く。２つのピーク間の水平距離が０.２より大きい場合、画像ピーク(xip, yip)はマッチすることはできない。その場合総コストに画像ピークの高さyipを加え、“マッチした”ものとしてそのピークにマークをつけることにより画像ピーク・リストからピーク(xip, yip)だけを取り除く。
上記条件が当てはまらない(マッチしなかった画像ピークしか存在しない、またはマッチしなかったモデル・ピークしか存在しない)場合、マッチしないままの状態に放置する。
【００４９】
マッチしなかった画像ピークまたはモデル・ピークの最も高い高さとしてマッチのコストを定義しリストからピークを取り除く。
【００５０】
８． ７でノードを拡大した後、画像リストおよびモデル・リストの双方にマッチしないピークが存在しない場合マッチング処理は終了する。このノードのコストは画像とモデル曲線間の類似度測定値である。ピークが存在する場合には、ポイント７へ戻り最低コストのノードを拡大する。
【００５１】
画像曲線ピーク値とモデル曲線ピーク値とを交換して上記手順を繰り返す。最終マッチング値はこれら２つのピーク値のうちの低い方の値である。
【００５２】
データベースの各モデルについて上記ステップを繰り返す。
【００５３】
マッチング比較から結果として生じる類似度測定値はソートされ、次いで、最も接近したマッチを示す類似度測定値を持つ記述子に対応するオブジェクト(すなわち本発明で最低の類似度測定値)がユーザーに対して表示装置４上に表示される。表示対象のオブジェクト数はユーザーが予め設定するか選択することができる。
【００５４】
代替の実施の形態では、様々なパラメータを用いて“プロトタイプ領域”の形状について記述することができる。例えば曲線の３つのフーリエ係数を使用することができる。類似度測定値は以下のように定義することができる。すなわち：
【００５５】
【数５】
但し、ＥＵＣは、モデルと画像の形状を示す３つの主要なフーリエ係数から形成されるベクトルＦ１とＦ２間のユークリッド距離であり、ＳＭはＣＳＳピークの類似度測定値を表し、ほぼ上述のような方法を用いて計算される。
【００５７】
【発明の効果】
本発明によるシステムは例えば画像ライブラリ中に設けることができる。或いは、データベースは、インターネットのようなネットワークにより電話線のような一時的リンクによって制御装置と接続し、システムの制御装置から遠隔地に配置することができる。例えば、画像データベースおよび記述子データベースは永久記憶装置またはＲＯＭやＤＶＤのような携帯用記憶媒体中に設けることができる。
【００５８】
以上説明したようなシステムの構成要素は、ソフトウェアまたはハードウェアの形で設けることができる。コンピュータ・システムの形で本発明について説明したが、本発明は専用チップなどを用いて他の形で実現することもできる。
【００５９】
オブジェクトの２Ｄ形状を表す方法および２つの形状間の類似度を表す値を計算する方法を示す特定の例を示したが、同様の任意の適切な方法を用いることができる。
【００６０】
例えば、確認目的のためにオブジェクト画像のマッチングを行うために、またはフィルタリングを行うために本発明を用いることができる。
【図面の簡単な説明】
【図１】 ビデオ・データベース・システムを示すブロック図、
【図２】 あるオブジェクトの輪郭を示す図、
【図３】 図２の輪郭を示すＣＳＳ表示の図である。
Claims (6)
- １つの画像または一連の画像に対応する入力信号を、装置を用いて処理することにより、前記画像中に現れるオブジェクトを表示する方法であって、
前記入力信号に基づいてオブジェクトの輪郭を平滑化することにより、オブジェクトの輪郭の曲率スケール空間(ＣＳＳ)表示を導き出すステップと、
ＣＳＳ表示された画像であるＣＳＳ画像のピークに対応して平滑化された元のオブジェクトの輪郭の離心率である追加パラメータを導き出すステップと、
前記ＣＳＳ表示と前記追加パラメータとを関連させて前記オブジェクトの形状記述子を形成するステップと
を有することを特徴とする方法。 - 前記追加パラメータは、前記ＣＳＳ画像の最も高いピークに対応する前記平滑化された輪郭の離心率である
ことを特徴とする請求項１に記載の方法。 - １つの画像または一連の画像に対応する入力信号を、装置を用いて処理することにより、前記画像中に現れる複数のオブジェクトを表示する方法であって、
前記入力信号に基づいて各オブジェクトの輪郭について、曲率スケール空間(ＣＳＳ)画像内に少なくとも１つのピークが存在する場合に、請求項１に記載の方法を用いて形状記述子を導き出すステップと、
曲率スケール空間(ＣＳＳ)画像内にピークが存在しない場合に、前記オブジェクトの輪郭のＣＳＳ表現および元のオブジェクトの輪郭の離心率を含む形状記述子を導き出すステップと
を有することを特徴とする方法。 - １つの画像または一連の画像に対応する入力信号を、装置を用いて処理することにより、前記画像中に現れるオブジェクトの輪郭の曲率スケール空間(ＣＳＳ)表示を導き出す手段と、
ＣＳＳ表示された画像であるＣＳＳ画像のピークに対応して平滑化された元のオブジェクトの輪郭の離心率である追加パラメータを導き出す手段と、
前記ＣＳＳ表示と前記追加パラメータとを関連させて前記オブジェクトの形状記述子を形成する手段と
を有することを特徴とする装置。 - 画像および／または形状記述子を記憶する記憶手段をさらに有することを特徴とする請求項４に記載の装置。
- 請求項１乃至３のいずれか１つに記載の方法を実行するためのコンピュータによって実行可能な処理を保存するコンピュータ可読記憶媒体。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB9916684A GB2352076B (en) | 1999-07-15 | 1999-07-15 | Method and apparatus for representing and searching for an object in an image |
| GB9916684.5 | 1999-07-15 | ||
| PCT/JP2000/004673 WO2001006457A1 (fr) | 1999-07-15 | 2000-07-12 | Procede et dispositif permettant d'afficher ou de chercher un objet dans une image et support de stockage lisible via ordinateur |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010265275A Division JP2011100465A (ja) | 1999-07-15 | 2010-11-29 | 画像中に現れるオブジェクトを表示する方法、その装置、コンピュータ・プログラム、コンピュータ・システム、及びコンピュータ可読記憶媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP4727879B2 true JP4727879B2 (ja) | 2011-07-20 |
Family
ID=10857347
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001511636A Expired - Lifetime JP4727879B2 (ja) | 1999-07-15 | 2000-07-12 | 画像中に現れるオブジェクトを表示する方法、その装置、及びコンピュータ可読記憶媒体 |
| JP2010265275A Pending JP2011100465A (ja) | 1999-07-15 | 2010-11-29 | 画像中に現れるオブジェクトを表示する方法、その装置、コンピュータ・プログラム、コンピュータ・システム、及びコンピュータ可読記憶媒体 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010265275A Pending JP2011100465A (ja) | 1999-07-15 | 2010-11-29 | 画像中に現れるオブジェクトを表示する方法、その装置、コンピュータ・プログラム、コンピュータ・システム、及びコンピュータ可読記憶媒体 |
Country Status (11)
| Country | Link |
|---|---|
| US (4) | US7613342B1 (ja) |
| EP (4) | EP2128796B1 (ja) |
| JP (2) | JP4727879B2 (ja) |
| KR (4) | KR100626261B1 (ja) |
| CN (4) | CN101609468A (ja) |
| AT (1) | ATE381740T1 (ja) |
| BR (1) | BR0006938B1 (ja) |
| DE (2) | DE60043171D1 (ja) |
| GB (1) | GB2352076B (ja) |
| RU (1) | RU2220452C2 (ja) |
| WO (1) | WO2001006457A1 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2352076B (en) * | 1999-07-15 | 2003-12-17 | Mitsubishi Electric Inf Tech | Method and apparatus for representing and searching for an object in an image |
| US6625607B1 (en) | 1999-07-22 | 2003-09-23 | Parametric Technology Corporation | Method of comparing parts |
| GB2384095B (en) * | 2001-12-10 | 2004-04-28 | Cybula Ltd | Image recognition |
| JP4477468B2 (ja) * | 2004-10-15 | 2010-06-09 | 富士通株式会社 | 組み立て図面の装置部品イメージ検索装置 |
| US8281281B1 (en) * | 2006-06-07 | 2012-10-02 | Pixar | Setting level of detail transition points |
| US8031947B2 (en) * | 2007-04-03 | 2011-10-04 | Jacobsen Kenneth P | Method and system for rapid matching of video streams |
| CN101334780A (zh) * | 2007-06-25 | 2008-12-31 | 英特维数位科技股份有限公司 | 人物影像的搜寻方法、系统及存储影像元数据的记录媒体 |
| KR101033366B1 (ko) * | 2009-09-17 | 2011-05-09 | 고려대학교 산학협력단 | 효과적인 3차원 객체 인식을 위한 외형 기반 인덱스 구축 및 검색 방법 |
| KR101032533B1 (ko) * | 2009-10-14 | 2011-05-04 | 중앙대학교 산학협력단 | 특징값 정제를 통한 모양 기술 장치 및 방법 |
| KR101767269B1 (ko) * | 2011-04-25 | 2017-08-10 | 한국전자통신연구원 | 영상 검색 장치 및 방법 |
| ITTO20120602A1 (it) * | 2012-07-09 | 2014-01-10 | Sisvel Technology Srl | Method for transforming an image descriptor based on a gradient histogram and relative image processing apparatus. |
| RU2538938C2 (ru) * | 2013-04-11 | 2015-01-10 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Юго-Западный государственный университет" (ЮЗГУ) | Способ формирования двумерного изображения биосигнала и его анализа |
| US10060749B2 (en) * | 2015-02-19 | 2018-08-28 | Here Global B.V. | Method and apparatus for creating a clothoid road geometry |
| CN110737796B (zh) * | 2019-10-17 | 2022-06-10 | 苏州大学 | 图像检索方法、装置、设备及计算机可读存储介质 |
| US11941863B2 (en) * | 2021-08-04 | 2024-03-26 | Datalogic Ip Tech S.R.L. | Imaging system and method using a multi-layer model approach to provide robust object detection |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06309465A (ja) * | 1993-04-21 | 1994-11-04 | Nippon Telegr & Teleph Corp <Ntt> | 線図形学習認識方法 |
| JPH1055447A (ja) * | 1996-05-21 | 1998-02-24 | Monorisu:Kk | オブジェクト認識方法およびその方法を用いた装置 |
Family Cites Families (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2170373B (en) * | 1984-12-28 | 1989-03-15 | Canon Kk | Image processing apparatus |
| GB9014122D0 (en) * | 1990-06-25 | 1990-08-15 | Gersan Ets | Shape sorting |
| US5537494A (en) * | 1990-05-29 | 1996-07-16 | Axiom Innovation Limited | Video image data encoding and compression system using edge detection and luminance profile matching |
| US5504318A (en) * | 1991-09-13 | 1996-04-02 | Symbol Technologies, Inc. | Analog waveform decoder using peak locations |
| US5579471A (en) * | 1992-11-09 | 1996-11-26 | International Business Machines Corporation | Image query system and method |
| JP3574170B2 (ja) * | 1994-03-17 | 2004-10-06 | 富士通株式会社 | 分散型画像処理装置 |
| KR100287211B1 (ko) * | 1994-08-30 | 2001-04-16 | 윤종용 | 양방향 움직임 추정방법 및 장치 |
| US6014461A (en) * | 1994-11-30 | 2000-01-11 | Texas Instruments Incorporated | Apparatus and method for automatic knowlege-based object identification |
| US5751853A (en) * | 1996-01-02 | 1998-05-12 | Cognex Corporation | Locating shapes in two-dimensional space curves |
| US6005978A (en) * | 1996-02-07 | 1999-12-21 | Cognex Corporation | Robust search for image features across image sequences exhibiting non-uniform changes in brightness |
| JPH09289584A (ja) * | 1996-02-21 | 1997-11-04 | Canon Inc | 画像処理方法及び装置 |
| US5893095A (en) * | 1996-03-29 | 1999-04-06 | Virage, Inc. | Similarity engine for content-based retrieval of images |
| US5974175A (en) * | 1997-01-22 | 1999-10-26 | Fujitsu Limited | Image processing apparatus and method for detecting a contour of an object from images of a motion picture and extracting the object therefrom |
| US6055340A (en) * | 1997-02-28 | 2000-04-25 | Fuji Photo Film Co., Ltd. | Method and apparatus for processing digital images to suppress their noise and enhancing their sharpness |
| JP3815704B2 (ja) * | 1997-10-28 | 2006-08-30 | 株式会社リコー | 図形分類処理方法、図形検索処理方法、図形分類システム、図形検索システム、図形分類用特徴抽出処理方法、図形分類用表作成処理方法、情報記録媒体、図形間の類似度又は相異度の評価処理方法、図形正規化処理方法、及び、図形間対応付け処理方法 |
| US6029173A (en) * | 1997-11-26 | 2000-02-22 | Navigation Technologies Corporation | Method and system for representation and use of shape information in geographic databases |
| US6714679B1 (en) * | 1998-02-05 | 2004-03-30 | Cognex Corporation | Boundary analyzer |
| US6240424B1 (en) * | 1998-04-22 | 2001-05-29 | Nbc Usa, Inc. | Method and system for similarity-based image classification |
| KR100301113B1 (ko) * | 1998-08-05 | 2001-09-06 | 오길록 | 윤곽선 추적에 의한 동영상 객체 분할 방법 |
| US6256409B1 (en) * | 1998-10-19 | 2001-07-03 | Sony Corporation | Method for determining a correlation between images using multi-element image descriptors |
| JP2000187731A (ja) * | 1998-12-21 | 2000-07-04 | Ricoh Co Ltd | 画像特徴抽出方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| KR100671098B1 (ko) * | 1999-02-01 | 2007-01-17 | 주식회사 팬택앤큐리텔 | 모양정보를 이용한 멀티미디어 데이터의 검색 방법 및 장치 |
| GB2375212B (en) * | 1999-04-29 | 2003-06-11 | Mitsubishi Electric Inf Tech | Method and apparatus for searching for an object using shape |
| US6307964B1 (en) * | 1999-06-04 | 2001-10-23 | Mitsubishi Electric Research Laboratories, Inc. | Method for ordering image spaces to represent object shapes |
| US6400846B1 (en) * | 1999-06-04 | 2002-06-04 | Mitsubishi Electric Research Laboratories, Inc. | Method for ordering image spaces to search for object surfaces |
| GB2391099B (en) * | 1999-07-05 | 2004-06-16 | Mitsubishi Electric Inf Tech | Method and apparatus for representing and searching for an object in an image |
| GB2352076B (en) * | 1999-07-15 | 2003-12-17 | Mitsubishi Electric Inf Tech | Method and apparatus for representing and searching for an object in an image |
| US6941323B1 (en) * | 1999-08-09 | 2005-09-06 | Almen Laboratories, Inc. | System and method for image comparison and retrieval by enhancing, defining, and parameterizing objects in images |
| JP3316758B2 (ja) * | 1999-12-13 | 2002-08-19 | インターナショナル・ビジネス・マシーンズ・コーポレーション | モルフィング処理装置、記憶媒体、および動画作成装置 |
| JP4570207B2 (ja) * | 2000-06-12 | 2010-10-27 | 株式会社富士通長野システムエンジニアリング | ３次元モデル解析装置および記録媒体 |
| US6678413B1 (en) * | 2000-11-24 | 2004-01-13 | Yiqing Liang | System and method for object identification and behavior characterization using video analysis |
| KR100370220B1 (ko) * | 2000-12-27 | 2003-02-12 | 삼성전자 주식회사 | 직선 기반의 영상 정합 방법 |
| US7616818B2 (en) * | 2003-02-19 | 2009-11-10 | Agfa Healthcare | Method of determining the orientation of an image |
| KR20060011828A (ko) * | 2003-04-03 | 2006-02-03 | 더블린 시티 유니버시티 | 멀티미디어 데이터를 인덱싱 및 검색하기 위한 형상 매칭방법 |
| US7372977B2 (en) * | 2003-05-29 | 2008-05-13 | Honda Motor Co., Ltd. | Visual tracking using depth data |
| US7868900B2 (en) * | 2004-05-12 | 2011-01-11 | General Electric Company | Methods for suppression of items and areas of interest during visualization |
| US20050276443A1 (en) * | 2004-05-28 | 2005-12-15 | Slamani Mohamed A | Method and apparatus for recognizing an object within an image |
| DE102005049017B4 (de) * | 2005-10-11 | 2010-09-23 | Carl Zeiss Imaging Solutions Gmbh | Verfahren zur Segmentierung in einem n-dimensionalen Merkmalsraum und Verfahren zur Klassifikation auf Grundlage von geometrischen Eigenschaften segmentierter Objekte in einem n-dimensionalen Datenraum |
| US8745162B2 (en) * | 2006-08-22 | 2014-06-03 | Yahoo! Inc. | Method and system for presenting information with multiple views |
-
1999
- 1999-07-15 GB GB9916684A patent/GB2352076B/en not_active Expired - Fee Related
-
2000
- 2000-07-12 CN CNA2009101458711A patent/CN101609468A/zh active Pending
- 2000-07-12 WO PCT/JP2000/004673 patent/WO2001006457A1/ja active IP Right Grant
- 2000-07-12 KR KR1020037012365A patent/KR100626261B1/ko active IP Right Grant
- 2000-07-12 EP EP09011747A patent/EP2128796B1/en not_active Expired - Lifetime
- 2000-07-12 CN CNA2009101458707A patent/CN101609467A/zh active Pending
- 2000-07-12 DE DE60043171T patent/DE60043171D1/de not_active Expired - Lifetime
- 2000-07-12 US US09/786,352 patent/US7613342B1/en not_active Expired - Lifetime
- 2000-07-12 BR BRPI0006938-8A patent/BR0006938B1/pt active IP Right Grant
- 2000-07-12 KR KR1020037012364A patent/KR100626260B1/ko active IP Right Grant
- 2000-07-12 AT AT00982717T patent/ATE381740T1/de not_active IP Right Cessation
- 2000-07-12 RU RU2001110113/09A patent/RU2220452C2/ru active
- 2000-07-12 EP EP10179156A patent/EP2259209A1/en not_active Withdrawn
- 2000-07-12 KR KR1020067008459A patent/KR100804326B1/ko active IP Right Grant
- 2000-07-12 KR KR10-2001-7003272A patent/KR100436532B1/ko active IP Right Grant
- 2000-07-12 EP EP07018552A patent/EP1901204B1/en not_active Expired - Lifetime
- 2000-07-12 DE DE60037497T patent/DE60037497T2/de not_active Expired - Lifetime
- 2000-07-12 CN CN2009101458726A patent/CN101609469B/zh not_active Expired - Lifetime
- 2000-07-12 CN CNB008013527A patent/CN100520825C/zh not_active Expired - Lifetime
- 2000-07-12 JP JP2001511636A patent/JP4727879B2/ja not_active Expired - Lifetime
- 2000-07-12 EP EP00982717A patent/EP1115088B1/en not_active Expired - Lifetime
-
2007
- 2007-10-31 US US11/980,471 patent/US7646920B2/en not_active Expired - Fee Related
- 2007-10-31 US US11/980,479 patent/US7664327B2/en not_active Expired - Fee Related
- 2007-10-31 US US11/980,482 patent/US7574049B2/en not_active Expired - Fee Related
-
2010
- 2010-11-29 JP JP2010265275A patent/JP2011100465A/ja active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06309465A (ja) * | 1993-04-21 | 1994-11-04 | Nippon Telegr & Teleph Corp <Ntt> | 線図形学習認識方法 |
| JPH1055447A (ja) * | 1996-05-21 | 1998-02-24 | Monorisu:Kk | オブジェクト認識方法およびその方法を用いた装置 |
Non-Patent Citations (2)
| Title |
|---|
| JPN6010036080, Ｆ． ＭＯＫＨＴＡＲＩＡＮ ｅｔ ａｌ．, "’Ａ ｎｅｗ ａｐｐｒｏａｃｈ ｔｏ ｃｏｍｐｕｔａｔｉｏｎ ｏｆ ｃｕｒｖａｔｕｒｅ ｓｃａｌｅ ｓｐａｃｅ ｉｍａｇｅ ｆｏｒ ｓｈａｐｅ ｓｉｍｉｌａｒｉｔｙ ｒｅｔｒｉｅｖａｌ’", ＬＥＣＴＵＲＥ ＮＯＴＥＳ ＩＮ ＣＯＭＰＵＴＥＲ ＳＣＩＥＮＣＥ, 1997, ｖｏｌ． １３１１, ｐａｇｅｓ １４０ − １４７, DE * |
| JPN6010036081, Ｓ． ＡＢＢＡＳＩ ｅｔ ａｌ．, "’Ｒｅｌｉａｂｌｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ｃｈｒｙｓａｎｔｈｅｍｕｍ ｌｅａｖｅｓ ｔｈｒｏｕｇｈ ｃｕｒｖａｔｕｒｅ ｓｃａｌｅ ｓｐａｃｅ’", ＬＥＣＴＵＲＥ ＮＯＴＥＳ ＩＮ ＣＯＭＰＵＴＥＲ ＳＣＩＥＮＣＥ, 1997, ｖｏｌ． １２５２, ｐａｇｅｓ ２８４ − ２９５, DE * |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5236719B2 (ja) | 画像中に現れるオブジェクトを表示または検索する方法、その装置、コンピュータ・システム、及びコンピュータ・プログラム | |
| JP2011100465A (ja) | 画像中に現れるオブジェクトを表示する方法、その装置、コンピュータ・プログラム、コンピュータ・システム、及びコンピュータ可読記憶媒体 | |
| JP4875200B2 (ja) | 画像中に現れるオブジェクトを検索する方法、その装置、コンピュータ・プログラム、コンピュータ・システム、及びコンピュータ可読記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070709 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090330 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20100312 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100629 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100929 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20101006 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20101029 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20101108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101129 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110315 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110414 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140422 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |