JP4018354B2 - 形状記述子抽出方法 - Google Patents
形状記述子抽出方法 Download PDFInfo
- Publication number
- JP4018354B2 JP4018354B2 JP2001198699A JP2001198699A JP4018354B2 JP 4018354 B2 JP4018354 B2 JP 4018354B2 JP 2001198699 A JP2001198699 A JP 2001198699A JP 2001198699 A JP2001198699 A JP 2001198699A JP 4018354 B2 JP4018354 B2 JP 4018354B2
- Authority
- JP
- Japan
- Prior art keywords
- line segments
- shape descriptor
- video
- skeleton
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/20—Contour coding, e.g. using detection of edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/752—Contour matching
Description
【０００１】
【発明の属する技術分野】
本発明は形状記述子を抽出する方法に係り、より詳細には、骨格に基づく形状記述子を抽出する方法に関する。
【０００２】
【従来の技術】
形状記述子(shape descriptor)は、自動抽出可能なより低い抽象的な段階の抽出に基づくものであって、映像から人間が認識できる基本的な記述子と言える。映像から与えられた特定物体の形状を記述し、前記形状に基づき整合または類似度を測定するアルゴリズムが研究されている。しかし、前記アルゴリズムは特定物体の形状を記述するに留まっており、一般的な物体の形状を認識するためには多くの問題点が残っている。現在、ＭＰＥＧ-７などの標準化グループで提案している形状記述子は、前記問題を解決するために、与えられた物体の各種の変形を通じて特徴点を探すことにより求められる。このような形状記述子は、その種類が多い。ＭＰＥＧ-７の標準化段階であるＸＭ（eXperiment Model）で採択されている形状記述子は、代表的に２種類が知られている。第一に、物体の各種の形状に対して映像内の前記形状の分布を知るためにゼルニック基底関数(Zernike base function)を準備し、一定の大きさの映像を各々の基底関数に投影させてその値を記述子として使用するゼルニックモーメント形状記述子が知られている。第二に、以前の映像から抽出された外郭線に沿って低周波通過フィルターリングをしつつ外郭線上に存在する変曲点の変化をスケール空間上で表わしてピーク値(peak value)及びその位置を２次元ベクトルで表わす曲率スケール空間形状記述子が知られている。前者の形状記述子を抽出するためには、形状をなす映像及び基底関数が同一の大きさを有する必要があり、形状が円の形を有さねばならないという制限がある。また、後者の形状記述子を抽出するためには、抽出された形状が単一の客体でなければならないという短所を持つ。
【０００３】
【発明が解決しようとする課題】
本発明が達成しようとする技術的な課題は、動映像圧縮技術及びその技術に基づく映像検索技術に効率良く適用できる形状記述子抽出方法を提供することである。
【０００４】
本発明が達成しようとする他の技術的な課題は、前記形状記述子抽出方法によって抽出された形状記述子を使用してインデクシングされた映像内において問合わせ映像と類似した形状特徴を有する映像を検索する映像検索方法を提供することである。
【０００５】
本発明が達成しようとするさらに他の技術的な課題は、前記形状記述子抽出方法によって抽出された形状記述子を使用してインデクシングされた映像間の非類似度を測定する非類似度測定方法を提供することである。
【０００６】
【課題を解決するための手段】
前記課題を達成するために、本発明の一側面による形状記述子抽出方法は、（ａ）映像の骨格を抽出して抽出された骨格に基づき形状記述子を設定する段階を含むことを特徴とする。
【０００７】
また、前記課題を達成するために、本発明の他の側面による形状記述子抽出方法は、（ａ）入力された映像から骨格を抽出する段階と、（ｂ）抽出された骨格に基づきピクセル間の連結を行うことによりラインセグメントのセット(a set of line segments)を求める段階と、（ｃ）ラインセグメントのセットを正規化することにより得られた正規化したラインセグメントのセットを形状記述子として設定する段階とを含むことを特徴とする。
【０００８】
また、前記（ａ）段階は、（ａ-１）入力された映像に対して距離変換を行うことにより距離マップを求める段階と、（ａ-２）求められた距離マップ上で骨格を抽出する段階とを含むことが望ましい。
【０００９】
また、前記（ｂ）段階は、（ｂ-１）抽出された骨格を細線化する段階と、（ｂ-２）細線化した骨格内の各ピクセルの連結を行うことによりラインセグメントを抽出する段階とを含むことが望ましい。
【００１０】
また、前記（ｃ）段階は、（ｃ-１）連結されたラインセグメントの開始点及び終点についてのセットを作成する段階と、（ｃ-２）抽出されたラインセグメントのラインセグメントの併合(merging of the line segments)によりラインセグメントのセットを求める段階と、（ｃ-３）各ラインセグメントの終点間の最大距離に対してラインセグメントのセットを正規化することにより得られたラインセグメントのセットを形状記述子として設定する段階とを含むことが望ましい。
【００１１】
また、前記距離変換は、物体の内部の各点を背景から最短距離の値で表わす関数に基づくことが望ましい。
また、前記（ａ-２）段階は、エッジ検出方法を利用して距離マップから局部最大を得る段階を含むことが望ましい。
【００１２】
また、前記（ａ-２）段階は、（ａ-２-１）局部最大を得るために４方向の局部最大検出マスクを使用してたたみこみ(convolution)を行う段階を含むことが望ましい。
また、前記（ａ-２-１）段階後に、（ａ-２-２）最も大きい結果の方向に該当するラベルを方向マップ及び大きさマップに記録する段階をさらに含むことが望ましい。
【００１３】
また、前記入力された映像は、２進映像であることが望ましい。
また、前記（ｂ-１）段階は、方向マップで該当方向の９０°回転された方向で最も大きいピクセルだけを残し、残りのピクセルは除去する段階を含むことが望ましい。
【００１４】
また、前記（ｃ-２）段階は、４方向の方向マップを使用し、方向マップで同一のラベルを有するピクセル同士を連結して各々の線セグメントの開始点及び終点についてのセットを作成する段階を含むことが望ましい。
【００１５】
また、前記（ｃ-２）段階は、得られたラインセグメントのセットから各ラインセグメント間の角度、距離、及びラインセグメントの長さに対するしきい値を変えつつラインセグメントの併合を行う段階を含むことが望ましい。
また、前記ラインセグメントの併合は、残ったラインセグメントの本数が所定の本数以下になるまで繰り返されることが望ましい。
【００１６】
さらに、前記他の課題を達成するために、本発明による映像検索方法は、（ａ）問合わせ映像の形状記述子からラインセグメントのセットを得る段階と、（ｂ）検索される映像の形状記述子のラインセグメントのセットと問合わせ映像の形状記述子のラインセグメントのセットとを比較することにより非類似度を求める段階と、（ｃ）求めた非類似度に基づき問合わせ映像と類似した形状特徴を有する映像を検索する段階とを含むことを特徴とする。
【００１７】
また、前記さらに他の課題を達成するために、本発明による非類似度測定方法は、骨格に基づきなされた形状記述子を使用してインデクシングされた映像間の非類似度を測定する方法において、（ａ）問合わせ映像の形状記述子からラインセグメントのセットを得る段階と、（ｂ）検索される映像の形状記述子のラインセグメントのセットと問合わせ映像の形状記述子のラインセグメントのセットとを比較することにより非類似度を求める段階とを含むことを特徴とする。
【００１８】
【発明の実施の形態】
以下、添付した図面に基づき、本発明の望ましい実施形態について詳細に説明する。
本発明によれば、骨格を使用した形状記述子が定義される。骨格を使用した形状記述子は、与えられた形状から人間の認識で最も基礎となる線を抽出し、抽出された線を簡略化することにより簡略化された線を形状記述子として表現する。特に、前記のような形状記述子抽出方法によれば、エッジ部分よりは骨格を抽出することにより記述子をできる限り簡略化することが可能である。
【００１９】
図３は、本発明の実施形態による形状記述子抽出方法の主な段階を示したフローチャートである。図３を参照すれば、本発明の実施形態による形状記述子抽出方法では、先ず、映像を入力（ステップ１０２）して、入力された映像に対し距離変換を行うことにより距離マップを求める（ステップ１０４）。距離マップを得るための距離変換は、物体の内部の各点を背景から最短距離の値で表わす関数を使用する。次に、距離マップ上で骨格を抽出する（ステップ１０６）。距離マップの局部最大が骨格をなす点であるということはよく知られている。距離マップを得るための距離変換は、物体の内部の各点を背景から最短距離の値で表わす関数に基づく。この実施形態では、距離変換によって距離マップの局部最大に該当する部分を骨格として設定する。距離マップから局部最大を得るために、この実施形態では、本明細書に参照として統合される、アール・ネバシア(R.Nevatia)とケイ・アール・バブ(K.R.Babu)による"Linear Feature Extraction and Description（線形特徴抽出及び記述）"というタイトルの資料(Computer Graphics and Image Processing,Vol.13,pp.257-269,1980)で使用されたエッジ検出方法を使用できる。図２Ａないし図２Ｄは、局部最大を検出するためのマスクの例を示している。図２Ａないし図２Ｄを参照すれば、局部最大を検出するために４方向の局部最大検出マスクを使用する。図２Ａは、０°の方向に該当するマスクである。図２Ｂは、４５°の方向に該当するマスクである。図２Ｃは、９０°の方向に該当するマスクである。図２Ｄは、１３５°の方向に該当するマスクである。次に、前記マスクを使用してたたみこみを行う。その結果、最も大きい結果の方向に該当するラベルを方向マップ及び大きさマップに記録する。これにより、図３Ａに示した２進映像から距離変換を通じて得られた距離マップで局部最大を得ることにより、骨格を抽出する。
【００２０】
次に、抽出された骨格を細線化する（ステップ１０８）。細線化は、例えば、方向マップで該当方向の９０°回転された方向で最も大きいピクセルだけを残し、残りのピクセルは除去することにより行われる。図３Ｄは、細線化された骨格化映像の一例を示している。
【００２１】
次に、細線化された骨格内の各ピクセルの連結によりラインセグメントを抽出する（ステップ１１０）。すなわち、細線化された骨格内の各ピクセルを一つの方向に沿って連結し、その開始点及び終点についてのセットを作成することによりラインセグメントを抽出する。この実施形態では、図２Ａないし図２Ｄに示した４方向の方向マップを使用し、方向マップで同一のラベルを有するピクセル同士を連結して各々の線セグメントの開始点及び終点についてのセットを作成する。
【００２２】
次に、抽出されたラインセグメントのラインセグメントの併合によりラインセグメントのセットを得る（ステップ１１２）。すなわち、得られたラインセグメントのセットから各ラインセグメント間の角度、距離、及びラインセグメントの長さに対するしきい値を変えつつラインセグメントの併合を行う。前記ラインセグメントの併合は残ったラインセグメントの本数が所定の本数以下になるまで繰り返される。図３Ｅには、ラインセグメントに近似化された結果を示している。次に、各ラインセグメントの終点間の最大距離に対しラインセグメントのセットを正規化することにより得られたラインセグメントのセットを形状記述子として設定する（ステップ１１４）。すなわち、前記のような形状記述子抽出方法によれば、２進映像の骨格を抽出して抽出された骨格を形状記述子として使用する。
【００２３】
前記形状記述子抽出方法によれば、２進映像の骨格を形状記述子として抽出し、抽出された形状記述子は映像の併合に使用できる。また、前記形状記述子抽出方法では２進映像から骨格を抽出し、抽出された骨格をラインセグメントに近似化する。また、効率良いラインセグメント抽出のために２進映像を距離変換して局部最大を求めることにより骨格を抽出する。抽出された骨格はエッジ抽出方法を使用して一定本数のラインセグメントに近似化される。近似化されたラインセグメントの数は一定の本数に制限されることにより、より速い整合が行えるようにする。
【００２４】
以下では、前記のような形状記述子抽出方法によってインデクシングされた映像を貯蔵するデータベースから問合わせ映像と類似した映像を検索するための方法を説明する。また、図１を参照して説明された形状記述子抽出方法によって抽出された形状記述子を使用してインデクシングされた映像を含む映像データベース内において問合わせ映像の形状と類似した映像を検索するときの検索性能を評価することにより、前記形状記述子抽出方法の効果を述べる。
【００２５】
図６は、本発明による映像検索方法の主な段階を示したフローチャートである。先ず、問合わせ映像（待ち映像）の形状記述子からラインセグメントのセットを得る（ステップ４０２）。次に、検索される映像の形状記述子のラインセグメントのセットと問合わせ映像の形状記述子のラインセグメントのセットとを比較することにより非類似度を求める（ステップ４０４）。
【００２６】
この実施形態では、骨格をなすラインセグメントの終点間の距離を測定し、測定された距離の最小値の合計を非類似度値として設定する。非類似度特定関数は、Ｎ、Ｄ1k及びＤ2kを各々、
【００２７】
【数４】
【００２８】
【数５】
【００２９】
【数６】
【００３０】
としたとき、
【００３１】
【数７】
である。
【００３２】
ここで、Ｑは検索しようとするラインセグメント、Ｍは検索されるラインセグメント、Ｓはラインセグメントの開始点、Ｅはラインセグメントの終点、ＮQは問合わせ映像の形状記述子が有するラインセグメントの総数、ＮMは検索される映像の形状記述子が有するラインセグメントの総数である。
【００３３】
前式（７）を参照すれば、式（５）及び式（６）により測定されたラインセグメント間の距離の最小値の合計が二つの記述子の非類似度として設定される。すなわち、前記式（７）の結果値が小さいほど二つの物体が類似すると決定される。また、一定の回転角度間隔で前記のような測定を行うことにより、回転によって変わらない値が得られもする。
【００３４】
次に、ステップ４０４で求めた非類似度に基づき、問合わせ映像と類似した形状特徴を有する映像を検索する。検索される映像のうち問合わせ映像に対する非類似度が最も小さい映像が検索された映像として決定される。このように非類似度に基づき映像を検索する技法を整合技法と呼び、検索された映像は整合映像と呼ぶ。
【００３５】
前記のような方法の性能を評価するために、ＭＰＥＧ-７標準のＸＭ(eXperimental Model)バージョンで実験映像として使用される２進映像に対し模擬実験を行った。ラインセグメントの併合のための各種のしきい値は経験的に定めた。ラインセグメントの併合は３０°以下の角度だけでなされるようにし、かつ、併合がなされる二本のラインセグメントの終点間の距離は実際映像の横、縦長さのうち小さい値の５％、ラインセグメントの併合後に無視されるラインセグメントの長さは横、縦長さのうち大きい値の１％と定めた。また、毎繰り返し遂行時ごとにそのしきい値を１０％ずつ増やしつつ、ラインセグメントの数を１０本以下にした。実験結果を図５及び図６に示す。図５を参照すれば、本発明による映像検索方法は全く分類されない映像から問合わせ映像と類似した形状を有する映像を検索するときにはあまり良好でない検索性能を示している。これは、ラインセグメントへの近似化過程で詳細な部分の情報を失うからである。また、図６を参照すれば、分類された映像、すなわち、同一のカテゴリー内のデータ集合から問合わせ映像と類似した形状を有する映像を検索するときには極めて良好な検索性能を示している。したがって、前記形状記述子抽出方法は、同一のカテゴリー内のデータ集合において局部的な動きを抽出するに当たって有利であるということが分かる。同一の物体の部分的な動きを検出するに当たって有利である理由は、本発明の形状記述子抽出方法によって抽出された形状記述子は映像内に含まれている形状の概略的な様子に関する情報をそのまま有しているからであると理解できる。
【００３６】
以上の実施形態では、図１を参照して述べた形状記述子抽出方法によりインデクシングされた映像に対して問合わせ映像と類似した形状を有する映像を検索する方法について説明した。しかし、前記映像検索方法において、問合わせ映像と検索される映像との間の非類似度を測定する段階は、測定された非類似度に基づき類似した形状を有する映像をクラスタリングする分野などにも適用できる。
【００３７】
前記のような形状記述子抽出方法は、客体基盤の圧縮記述子であるＭＰＥＧ-４、ＭＰＥＧ-７、及びＭＰＥＧ-２１などの標準に基づく動映像圧縮技術に適用できる。また、前記動映像圧縮技術に基づく映像検索技術に効率良く適用できる。
【００３８】
【発明の効果】
以上述べたように、本発明による形状記述子抽出方法によって抽出された形状記述子は、映像内に含まれている形状の概略的な様子に関する情報をそのまま有しているため、同一のカテゴリー内のデータ集合において局部的な動きを効率良く抽出する。また、前記形状記述子抽出方法によってインデクシングされた映像データベース内において問合わせ映像と類似した形状を有する映像を検索する本発明による映像検索方法は、分類された映像から問合わせ映像と類似した形状を有する映像を検索するとき、検索性能が極めて良好である。
【００３９】
また、前記のように、本発明による形状記述子抽出方法及び映像検索方法は、個人向けまたはサーバ級のコンピュータ内にて実行されるプログラムにて作成可能である。前記プログラムを構成するプログラムコード及びコードセグメントは当該分野のコンピュータプログラマーによって容易に推論できる。また、前記プログラムはコンピュータにて読取り可能な記録媒体に貯蔵できる。前記記録媒体は磁気記録媒体、光記録媒体、及び電波媒体(radio media)を含む。
【図面の簡単な説明】
【図１】 本発明の実施形態による形状記述子抽出方法の主な段階を示したフローチャートである。
【図２Ａ】 局部最大を検出するためのマスクの例を示した図であり、０°の方向に該当するマスクである。
【図２Ｂ】 局部最大を検出するためのマスクの例を示した図であり、４５°の方向に該当するマスクである。
【図２Ｃ】 局部最大を検出するためのマスクの例を示した図であり、９０°の方向に該当するマスクである。
【図２Ｄ】 局部最大を検出するためのマスクの例を示した図であり、１３５°の方向に該当するマスクである。
【図３Ａ】 ２進映像の例を示した図である。
【図３Ｂ】 白黒映像からスケーリングされた距離マップを示した図である。
【図３Ｃ】 骨格化映像を示した図である。
【図３Ｄ】 細線化された骨格化映像を示した図である。
【図３Ｅ】 ラインセグメントに近似化された結果を示した図である。
【図４】 本発明の実施形態による形状記述子基盤の映像検索方法の主な段階を示したフローチャートである。
【図５】 本発明による映像検索方法の性能を評価するためにＭＰＥＧ-７標準のＸＭバージョンで実験映像として使用される２進映像に対して模擬実験を行った結果を示した図である。
【図６】 本発明による映像検索方法の性能を評価するためにＭＰＥＧ-７標準のＸＭバージョンで実験映像として使用される２進映像に対して模擬実験を行った結果を示した図である。
【発明の属する技術分野】
本発明は形状記述子を抽出する方法に係り、より詳細には、骨格に基づく形状記述子を抽出する方法に関する。
【０００２】
【従来の技術】
形状記述子(shape descriptor)は、自動抽出可能なより低い抽象的な段階の抽出に基づくものであって、映像から人間が認識できる基本的な記述子と言える。映像から与えられた特定物体の形状を記述し、前記形状に基づき整合または類似度を測定するアルゴリズムが研究されている。しかし、前記アルゴリズムは特定物体の形状を記述するに留まっており、一般的な物体の形状を認識するためには多くの問題点が残っている。現在、ＭＰＥＧ-７などの標準化グループで提案している形状記述子は、前記問題を解決するために、与えられた物体の各種の変形を通じて特徴点を探すことにより求められる。このような形状記述子は、その種類が多い。ＭＰＥＧ-７の標準化段階であるＸＭ（eXperiment Model）で採択されている形状記述子は、代表的に２種類が知られている。第一に、物体の各種の形状に対して映像内の前記形状の分布を知るためにゼルニック基底関数(Zernike base function)を準備し、一定の大きさの映像を各々の基底関数に投影させてその値を記述子として使用するゼルニックモーメント形状記述子が知られている。第二に、以前の映像から抽出された外郭線に沿って低周波通過フィルターリングをしつつ外郭線上に存在する変曲点の変化をスケール空間上で表わしてピーク値(peak value)及びその位置を２次元ベクトルで表わす曲率スケール空間形状記述子が知られている。前者の形状記述子を抽出するためには、形状をなす映像及び基底関数が同一の大きさを有する必要があり、形状が円の形を有さねばならないという制限がある。また、後者の形状記述子を抽出するためには、抽出された形状が単一の客体でなければならないという短所を持つ。
【０００３】
【発明が解決しようとする課題】
本発明が達成しようとする技術的な課題は、動映像圧縮技術及びその技術に基づく映像検索技術に効率良く適用できる形状記述子抽出方法を提供することである。
【０００４】
本発明が達成しようとする他の技術的な課題は、前記形状記述子抽出方法によって抽出された形状記述子を使用してインデクシングされた映像内において問合わせ映像と類似した形状特徴を有する映像を検索する映像検索方法を提供することである。
【０００５】
本発明が達成しようとするさらに他の技術的な課題は、前記形状記述子抽出方法によって抽出された形状記述子を使用してインデクシングされた映像間の非類似度を測定する非類似度測定方法を提供することである。
【０００６】
【課題を解決するための手段】
前記課題を達成するために、本発明の一側面による形状記述子抽出方法は、（ａ）映像の骨格を抽出して抽出された骨格に基づき形状記述子を設定する段階を含むことを特徴とする。
【０００７】
また、前記課題を達成するために、本発明の他の側面による形状記述子抽出方法は、（ａ）入力された映像から骨格を抽出する段階と、（ｂ）抽出された骨格に基づきピクセル間の連結を行うことによりラインセグメントのセット(a set of line segments)を求める段階と、（ｃ）ラインセグメントのセットを正規化することにより得られた正規化したラインセグメントのセットを形状記述子として設定する段階とを含むことを特徴とする。
【０００８】
また、前記（ａ）段階は、（ａ-１）入力された映像に対して距離変換を行うことにより距離マップを求める段階と、（ａ-２）求められた距離マップ上で骨格を抽出する段階とを含むことが望ましい。
【０００９】
また、前記（ｂ）段階は、（ｂ-１）抽出された骨格を細線化する段階と、（ｂ-２）細線化した骨格内の各ピクセルの連結を行うことによりラインセグメントを抽出する段階とを含むことが望ましい。
【００１０】
また、前記（ｃ）段階は、（ｃ-１）連結されたラインセグメントの開始点及び終点についてのセットを作成する段階と、（ｃ-２）抽出されたラインセグメントのラインセグメントの併合(merging of the line segments)によりラインセグメントのセットを求める段階と、（ｃ-３）各ラインセグメントの終点間の最大距離に対してラインセグメントのセットを正規化することにより得られたラインセグメントのセットを形状記述子として設定する段階とを含むことが望ましい。
【００１１】
また、前記距離変換は、物体の内部の各点を背景から最短距離の値で表わす関数に基づくことが望ましい。
また、前記（ａ-２）段階は、エッジ検出方法を利用して距離マップから局部最大を得る段階を含むことが望ましい。
【００１２】
また、前記（ａ-２）段階は、（ａ-２-１）局部最大を得るために４方向の局部最大検出マスクを使用してたたみこみ(convolution)を行う段階を含むことが望ましい。
また、前記（ａ-２-１）段階後に、（ａ-２-２）最も大きい結果の方向に該当するラベルを方向マップ及び大きさマップに記録する段階をさらに含むことが望ましい。
【００１３】
また、前記入力された映像は、２進映像であることが望ましい。
また、前記（ｂ-１）段階は、方向マップで該当方向の９０°回転された方向で最も大きいピクセルだけを残し、残りのピクセルは除去する段階を含むことが望ましい。
【００１４】
また、前記（ｃ-２）段階は、４方向の方向マップを使用し、方向マップで同一のラベルを有するピクセル同士を連結して各々の線セグメントの開始点及び終点についてのセットを作成する段階を含むことが望ましい。
【００１５】
また、前記（ｃ-２）段階は、得られたラインセグメントのセットから各ラインセグメント間の角度、距離、及びラインセグメントの長さに対するしきい値を変えつつラインセグメントの併合を行う段階を含むことが望ましい。
また、前記ラインセグメントの併合は、残ったラインセグメントの本数が所定の本数以下になるまで繰り返されることが望ましい。
【００１６】
さらに、前記他の課題を達成するために、本発明による映像検索方法は、（ａ）問合わせ映像の形状記述子からラインセグメントのセットを得る段階と、（ｂ）検索される映像の形状記述子のラインセグメントのセットと問合わせ映像の形状記述子のラインセグメントのセットとを比較することにより非類似度を求める段階と、（ｃ）求めた非類似度に基づき問合わせ映像と類似した形状特徴を有する映像を検索する段階とを含むことを特徴とする。
【００１７】
また、前記さらに他の課題を達成するために、本発明による非類似度測定方法は、骨格に基づきなされた形状記述子を使用してインデクシングされた映像間の非類似度を測定する方法において、（ａ）問合わせ映像の形状記述子からラインセグメントのセットを得る段階と、（ｂ）検索される映像の形状記述子のラインセグメントのセットと問合わせ映像の形状記述子のラインセグメントのセットとを比較することにより非類似度を求める段階とを含むことを特徴とする。
【００１８】
【発明の実施の形態】
以下、添付した図面に基づき、本発明の望ましい実施形態について詳細に説明する。
本発明によれば、骨格を使用した形状記述子が定義される。骨格を使用した形状記述子は、与えられた形状から人間の認識で最も基礎となる線を抽出し、抽出された線を簡略化することにより簡略化された線を形状記述子として表現する。特に、前記のような形状記述子抽出方法によれば、エッジ部分よりは骨格を抽出することにより記述子をできる限り簡略化することが可能である。
【００１９】
図３は、本発明の実施形態による形状記述子抽出方法の主な段階を示したフローチャートである。図３を参照すれば、本発明の実施形態による形状記述子抽出方法では、先ず、映像を入力（ステップ１０２）して、入力された映像に対し距離変換を行うことにより距離マップを求める（ステップ１０４）。距離マップを得るための距離変換は、物体の内部の各点を背景から最短距離の値で表わす関数を使用する。次に、距離マップ上で骨格を抽出する（ステップ１０６）。距離マップの局部最大が骨格をなす点であるということはよく知られている。距離マップを得るための距離変換は、物体の内部の各点を背景から最短距離の値で表わす関数に基づく。この実施形態では、距離変換によって距離マップの局部最大に該当する部分を骨格として設定する。距離マップから局部最大を得るために、この実施形態では、本明細書に参照として統合される、アール・ネバシア(R.Nevatia)とケイ・アール・バブ(K.R.Babu)による"Linear Feature Extraction and Description（線形特徴抽出及び記述）"というタイトルの資料(Computer Graphics and Image Processing,Vol.13,pp.257-269,1980)で使用されたエッジ検出方法を使用できる。図２Ａないし図２Ｄは、局部最大を検出するためのマスクの例を示している。図２Ａないし図２Ｄを参照すれば、局部最大を検出するために４方向の局部最大検出マスクを使用する。図２Ａは、０°の方向に該当するマスクである。図２Ｂは、４５°の方向に該当するマスクである。図２Ｃは、９０°の方向に該当するマスクである。図２Ｄは、１３５°の方向に該当するマスクである。次に、前記マスクを使用してたたみこみを行う。その結果、最も大きい結果の方向に該当するラベルを方向マップ及び大きさマップに記録する。これにより、図３Ａに示した２進映像から距離変換を通じて得られた距離マップで局部最大を得ることにより、骨格を抽出する。
【００２０】
次に、抽出された骨格を細線化する（ステップ１０８）。細線化は、例えば、方向マップで該当方向の９０°回転された方向で最も大きいピクセルだけを残し、残りのピクセルは除去することにより行われる。図３Ｄは、細線化された骨格化映像の一例を示している。
【００２１】
次に、細線化された骨格内の各ピクセルの連結によりラインセグメントを抽出する（ステップ１１０）。すなわち、細線化された骨格内の各ピクセルを一つの方向に沿って連結し、その開始点及び終点についてのセットを作成することによりラインセグメントを抽出する。この実施形態では、図２Ａないし図２Ｄに示した４方向の方向マップを使用し、方向マップで同一のラベルを有するピクセル同士を連結して各々の線セグメントの開始点及び終点についてのセットを作成する。
【００２２】
次に、抽出されたラインセグメントのラインセグメントの併合によりラインセグメントのセットを得る（ステップ１１２）。すなわち、得られたラインセグメントのセットから各ラインセグメント間の角度、距離、及びラインセグメントの長さに対するしきい値を変えつつラインセグメントの併合を行う。前記ラインセグメントの併合は残ったラインセグメントの本数が所定の本数以下になるまで繰り返される。図３Ｅには、ラインセグメントに近似化された結果を示している。次に、各ラインセグメントの終点間の最大距離に対しラインセグメントのセットを正規化することにより得られたラインセグメントのセットを形状記述子として設定する（ステップ１１４）。すなわち、前記のような形状記述子抽出方法によれば、２進映像の骨格を抽出して抽出された骨格を形状記述子として使用する。
【００２３】
前記形状記述子抽出方法によれば、２進映像の骨格を形状記述子として抽出し、抽出された形状記述子は映像の併合に使用できる。また、前記形状記述子抽出方法では２進映像から骨格を抽出し、抽出された骨格をラインセグメントに近似化する。また、効率良いラインセグメント抽出のために２進映像を距離変換して局部最大を求めることにより骨格を抽出する。抽出された骨格はエッジ抽出方法を使用して一定本数のラインセグメントに近似化される。近似化されたラインセグメントの数は一定の本数に制限されることにより、より速い整合が行えるようにする。
【００２４】
以下では、前記のような形状記述子抽出方法によってインデクシングされた映像を貯蔵するデータベースから問合わせ映像と類似した映像を検索するための方法を説明する。また、図１を参照して説明された形状記述子抽出方法によって抽出された形状記述子を使用してインデクシングされた映像を含む映像データベース内において問合わせ映像の形状と類似した映像を検索するときの検索性能を評価することにより、前記形状記述子抽出方法の効果を述べる。
【００２５】
図６は、本発明による映像検索方法の主な段階を示したフローチャートである。先ず、問合わせ映像（待ち映像）の形状記述子からラインセグメントのセットを得る（ステップ４０２）。次に、検索される映像の形状記述子のラインセグメントのセットと問合わせ映像の形状記述子のラインセグメントのセットとを比較することにより非類似度を求める（ステップ４０４）。
【００２６】
この実施形態では、骨格をなすラインセグメントの終点間の距離を測定し、測定された距離の最小値の合計を非類似度値として設定する。非類似度特定関数は、Ｎ、Ｄ1k及びＤ2kを各々、
【００２７】
【数４】
【数５】
【数６】
としたとき、
【００３１】
【数７】
【００３２】
ここで、Ｑは検索しようとするラインセグメント、Ｍは検索されるラインセグメント、Ｓはラインセグメントの開始点、Ｅはラインセグメントの終点、ＮQは問合わせ映像の形状記述子が有するラインセグメントの総数、ＮMは検索される映像の形状記述子が有するラインセグメントの総数である。
【００３３】
前式（７）を参照すれば、式（５）及び式（６）により測定されたラインセグメント間の距離の最小値の合計が二つの記述子の非類似度として設定される。すなわち、前記式（７）の結果値が小さいほど二つの物体が類似すると決定される。また、一定の回転角度間隔で前記のような測定を行うことにより、回転によって変わらない値が得られもする。
【００３４】
次に、ステップ４０４で求めた非類似度に基づき、問合わせ映像と類似した形状特徴を有する映像を検索する。検索される映像のうち問合わせ映像に対する非類似度が最も小さい映像が検索された映像として決定される。このように非類似度に基づき映像を検索する技法を整合技法と呼び、検索された映像は整合映像と呼ぶ。
【００３５】
前記のような方法の性能を評価するために、ＭＰＥＧ-７標準のＸＭ(eXperimental Model)バージョンで実験映像として使用される２進映像に対し模擬実験を行った。ラインセグメントの併合のための各種のしきい値は経験的に定めた。ラインセグメントの併合は３０°以下の角度だけでなされるようにし、かつ、併合がなされる二本のラインセグメントの終点間の距離は実際映像の横、縦長さのうち小さい値の５％、ラインセグメントの併合後に無視されるラインセグメントの長さは横、縦長さのうち大きい値の１％と定めた。また、毎繰り返し遂行時ごとにそのしきい値を１０％ずつ増やしつつ、ラインセグメントの数を１０本以下にした。実験結果を図５及び図６に示す。図５を参照すれば、本発明による映像検索方法は全く分類されない映像から問合わせ映像と類似した形状を有する映像を検索するときにはあまり良好でない検索性能を示している。これは、ラインセグメントへの近似化過程で詳細な部分の情報を失うからである。また、図６を参照すれば、分類された映像、すなわち、同一のカテゴリー内のデータ集合から問合わせ映像と類似した形状を有する映像を検索するときには極めて良好な検索性能を示している。したがって、前記形状記述子抽出方法は、同一のカテゴリー内のデータ集合において局部的な動きを抽出するに当たって有利であるということが分かる。同一の物体の部分的な動きを検出するに当たって有利である理由は、本発明の形状記述子抽出方法によって抽出された形状記述子は映像内に含まれている形状の概略的な様子に関する情報をそのまま有しているからであると理解できる。
【００３６】
以上の実施形態では、図１を参照して述べた形状記述子抽出方法によりインデクシングされた映像に対して問合わせ映像と類似した形状を有する映像を検索する方法について説明した。しかし、前記映像検索方法において、問合わせ映像と検索される映像との間の非類似度を測定する段階は、測定された非類似度に基づき類似した形状を有する映像をクラスタリングする分野などにも適用できる。
【００３７】
前記のような形状記述子抽出方法は、客体基盤の圧縮記述子であるＭＰＥＧ-４、ＭＰＥＧ-７、及びＭＰＥＧ-２１などの標準に基づく動映像圧縮技術に適用できる。また、前記動映像圧縮技術に基づく映像検索技術に効率良く適用できる。
【００３８】
【発明の効果】
以上述べたように、本発明による形状記述子抽出方法によって抽出された形状記述子は、映像内に含まれている形状の概略的な様子に関する情報をそのまま有しているため、同一のカテゴリー内のデータ集合において局部的な動きを効率良く抽出する。また、前記形状記述子抽出方法によってインデクシングされた映像データベース内において問合わせ映像と類似した形状を有する映像を検索する本発明による映像検索方法は、分類された映像から問合わせ映像と類似した形状を有する映像を検索するとき、検索性能が極めて良好である。
【００３９】
また、前記のように、本発明による形状記述子抽出方法及び映像検索方法は、個人向けまたはサーバ級のコンピュータ内にて実行されるプログラムにて作成可能である。前記プログラムを構成するプログラムコード及びコードセグメントは当該分野のコンピュータプログラマーによって容易に推論できる。また、前記プログラムはコンピュータにて読取り可能な記録媒体に貯蔵できる。前記記録媒体は磁気記録媒体、光記録媒体、及び電波媒体(radio media)を含む。
【図面の簡単な説明】
【図１】 本発明の実施形態による形状記述子抽出方法の主な段階を示したフローチャートである。
【図２Ａ】 局部最大を検出するためのマスクの例を示した図であり、０°の方向に該当するマスクである。
【図２Ｂ】 局部最大を検出するためのマスクの例を示した図であり、４５°の方向に該当するマスクである。
【図２Ｃ】 局部最大を検出するためのマスクの例を示した図であり、９０°の方向に該当するマスクである。
【図２Ｄ】 局部最大を検出するためのマスクの例を示した図であり、１３５°の方向に該当するマスクである。
【図３Ａ】 ２進映像の例を示した図である。
【図３Ｂ】 白黒映像からスケーリングされた距離マップを示した図である。
【図３Ｃ】 骨格化映像を示した図である。
【図３Ｄ】 細線化された骨格化映像を示した図である。
【図３Ｅ】 ラインセグメントに近似化された結果を示した図である。
【図４】 本発明の実施形態による形状記述子基盤の映像検索方法の主な段階を示したフローチャートである。
【図５】 本発明による映像検索方法の性能を評価するためにＭＰＥＧ-７標準のＸＭバージョンで実験映像として使用される２進映像に対して模擬実験を行った結果を示した図である。
【図６】 本発明による映像検索方法の性能を評価するためにＭＰＥＧ-７標準のＸＭバージョンで実験映像として使用される２進映像に対して模擬実験を行った結果を示した図である。
Claims (11)
- （ａ）入力された映像から骨格を抽出する段階と、
（ｂ）抽出された骨格に基づきピクセル間の連結を行うことによりラインセグメントのセットを求める段階と、
（ｃ）ラインセグメントのセットを正規化することにより得られた正規化したラインセグメントのセットを形状記述子として設定する段階とを含み、
前記（ａ）段階は、
（ａ−１）入力された映像に対して距離変換を行うことにより距離マップを求める段階と、
（ａ−２）求められた距離マップ上で骨格を抽出する段階と
を含み、
前記（ｂ）段階は、
（ｂ - １）抽出された骨格を細線化する段階と、
（ｂ - ２）細線化した骨格内の各ピクセルの連結を行うことによりラインセグメントを抽出する段階とを含み、
前記（ａ - ２）段階は、
エッジ検出方法を利用して距離マップから局部最大を得る段階を含み、
前記（ａ - ２）段階は、
（ａ - ２ - １）局部最大を得るために４方向の局部最大検出マスクを使用してたたみこみを行う段階を含み、
前記（ａ - ２ - １）段階後に、（ａ - ２ - ２）最も大きい結果の方向に該当するラベルを方向マップ及び大きさマップに記録する段階をさらに含み、
前記（ｂ - １）段階は、前記方向マップで該当方向の所定角度回転された方向で最も大きいピクセルだけを残し、残りのピクセルは除去する段階を含むことを特徴とする形状記述子抽出方法。 - 前記（ｃ）段階は、
（ｃ-１）連結されたラインセグメントの開始点及び終点についてのセットを作成する段階と、
（ｃ-２）抽出されたラインセグメントのラインセグメントの併合によりラインセグメントのセットを求める段階と、
（ｃ-３）各ラインセグメントの終点間の最大距離に対してラインセグメントのセットを正規化することにより得られたラインセグメントのセットを形状記述子として設定する段階とを含むことを特徴とする請求項１に記載の形状記述子抽出方法。 - 前記距離変換は、
物体の内部の各点を背景から最短距離の値で表す関数に基づくことを特徴とする請求項１に記載の形状記述子抽出方法。 - 前記入力された映像は、２進映像であることを特徴とする請求項１に記載の形状記述子抽出方法。
- 前記（ｃ-２）段階は、４方向の方向マップを使用し、方向マップで同一のラベルを有するピクセル同士を連結して各々の線セグメントの開始点及び終点をついてのセットを作成する段階を含むことを特徴とする請求項１に記載の形状記述子抽出方法。
- 前記（ｃ-２）段階は、得られたラインセグメントのセットから各ラインセグメント間の角度、距離、及びラインセグメントの長さに対するしきい値を変えつつラインセグメントの併合を行う段階を含むことを特徴とする請求項１に記載の形状記述子抽出方法。
- 前記ラインセグメントの併合は、残ったラインセグメントの本数が所定の本数以下になるまで繰り返されることを特徴とする請求項６に記載の形状記述子抽出方法。
- 問合わせ映像と類似した形状を有する映像を検索する方法において、
（ａ）問合わせ映像から抽出された骨格に基づく形状記述子からラインセグメントのセットを得る段階と、
（ｂ）検索される映像の形状記述子のラインセグメントのセットと問合わせ映像の形状記述子のラインセグメントのセットとを比較することにより非類似度を求める段階と、
（ｃ）求めた非類似度に基づき問合わせ映像と類似した形状特徴を有する映像を検索する段階とを含み、
前記（ａ）段階は、
（ａ−１）入力された映像に対して距離変換を行うことにより距離マップを求める段階と、
（ａ−２）求められた距離マップ上で骨格を抽出する段階と
を含み、
前記（ａ）段階は、
（ａ’ - １）抽出された骨格を細線化する段階と、
（ａ’ - ２）細線化した骨格内の各ピクセルの連結を行うことによりラインセグメントを抽出する段階とをさらに含み、
前記（ａ - ２）段階は、
エッジ検出方法を利用して距離マップから局部最大を得る段階を含み、
前記（ａ - ２）段階は、
（ａ - ２ - １）局部最大を得るために４方向の局部最大検出マスクを使用してたたみこみを行う段階を含み、
前記（ａ - ２ - １）段階後に、（ａ - ２ - ２）最も大きい結果の方向に該当するラベルを方向マップ及び大きさマップに記録する段階をさらに含み、
前記（ａ’ - １）段階は、前記方向マップで該当方向の所定角度回転された方向で最も大きいピクセルだけを残し、残りのピクセルは除去する段階を含むことを特徴とする映像検索方法。 - 前記（ｂ）段階は、
（ｂ-１）骨格をなすラインセグメントの終点間の距離を測定する段階と、
（ｂ-２）測定された距離の最小値の合計を非類似度として設定する段階とを含むことを特徴とする請求項８に記載の映像検索方法。 - 前記（ｂ-１）段階は、
Ｑは検索しようとするラインセグメント、Ｍは検索されるラインセグメント、Ｓはラインセグメントの開始点、Ｅはラインセグメントの終点、ＮQは問合わせ映像の形状記述子が有するラインセグメントの総数、ＮMは検索される映像の形状記述子が有するラインセグメントの総数であり、Ｎは
- 回転によって変わらない値を得るために一定の回転角度間隔で前記（ｂ-１）段階及び（ｂ-２）段階により類似度測定を行うことを特徴とする請求項１０に記載の映像検索方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2000-0062163A KR100413679B1 (ko) | 2000-10-21 | 2000-10-21 | 형상 기술자 추출방법 |
| KR200062163 | 2000-10-21 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002150285A JP2002150285A (ja) | 2002-05-24 |
| JP4018354B2 true JP4018354B2 (ja) | 2007-12-05 |
Family
ID=19694767
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001198699A Expired - Fee Related JP4018354B2 (ja) | 2000-10-21 | 2001-06-29 | 形状記述子抽出方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7023441B2 (ja) |
| EP (1) | EP1199648A1 (ja) |
| JP (1) | JP4018354B2 (ja) |
| KR (1) | KR100413679B1 (ja) |
| CN (2) | CN1157674C (ja) |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100810002B1 (ko) * | 2001-04-11 | 2008-03-07 | 김회율 | 모양 기술자 계산을 위한 정규화 방법 및 그를 이용한영상 검색 방법 |
| KR100876280B1 (ko) * | 2001-12-31 | 2008-12-26 | 주식회사 케이티 | 통계적 모양기술자 추출 장치 및 그 방법과 이를 이용한 동영상 색인 시스템 |
| US7567715B1 (en) * | 2004-05-12 | 2009-07-28 | The Regents Of The University Of California | System and method for representing and encoding images |
| US7529395B2 (en) * | 2004-12-07 | 2009-05-05 | Siemens Medical Solutions Usa, Inc. | Shape index weighted voting for detection of objects |
| US7835583B2 (en) * | 2006-12-22 | 2010-11-16 | Palo Alto Research Center Incorporated | Method of separating vertical and horizontal components of a rasterized image |
| FR2910992B1 (fr) * | 2007-01-03 | 2009-04-03 | Airbus France Sas | Procede de reconnaissance de formes bidimensionnelles. |
| KR100961444B1 (ko) * | 2007-04-23 | 2010-06-09 | 한국전자통신연구원 | 멀티미디어 콘텐츠를 검색하는 방법 및 장치 |
| CN101140660B (zh) * | 2007-10-11 | 2010-05-19 | 华中科技大学 | 基于离散曲线演化的骨架剪枝方法 |
| US9495386B2 (en) | 2008-03-05 | 2016-11-15 | Ebay Inc. | Identification of items depicted in images |
| EP2250623A4 (en) | 2008-03-05 | 2011-03-23 | Ebay Inc | METHOD AND APPARATUS OF IMAGE RECOGNITION SERVICES |
| US8532438B2 (en) * | 2008-05-09 | 2013-09-10 | Empire Technology Development Llc | Matching images with shape descriptors |
| US8818978B2 (en) | 2008-08-15 | 2014-08-26 | Ebay Inc. | Sharing item images using a similarity score |
| US8825660B2 (en) * | 2009-03-17 | 2014-09-02 | Ebay Inc. | Image-based indexing in a network-based marketplace |
| KR101350335B1 (ko) * | 2009-12-21 | 2014-01-16 | 한국전자통신연구원 | 내용기반 영상검색 장치 및 방법 |
| US9164577B2 (en) | 2009-12-22 | 2015-10-20 | Ebay Inc. | Augmented reality system, method, and apparatus for displaying an item image in a contextual environment |
| CN101916381B (zh) * | 2010-07-13 | 2012-06-20 | 北京大学 | 基于稀疏表示的物体轮廓提取方法 |
| US10127606B2 (en) | 2010-10-13 | 2018-11-13 | Ebay Inc. | Augmented reality system and method for visualizing an item |
| US8538164B2 (en) * | 2010-10-25 | 2013-09-17 | Microsoft Corporation | Image patch descriptors |
| US9449342B2 (en) | 2011-10-27 | 2016-09-20 | Ebay Inc. | System and method for visualization of items in an environment using augmented reality |
| US9934522B2 (en) | 2012-03-22 | 2018-04-03 | Ebay Inc. | Systems and methods for batch- listing items stored offline on a mobile device |
| US9349207B2 (en) | 2012-05-31 | 2016-05-24 | Samsung Electronics Co., Ltd. | Apparatus and method for parsing human body image |
| US10846766B2 (en) | 2012-06-29 | 2020-11-24 | Ebay Inc. | Contextual menus based on image recognition |
| KR101956275B1 (ko) * | 2012-09-26 | 2019-06-24 | 삼성전자주식회사 | 영상으로부터 신체 골격 및 신체 부위 정보 검출 방법 및 장치 |
| CN103226584B (zh) * | 2013-04-10 | 2016-08-10 | 湘潭大学 | 形状描述符的构建方法及基于该描述符的图像检索方法 |
| US9488469B1 (en) | 2013-04-22 | 2016-11-08 | Cognex Corporation | System and method for high-accuracy measurement of object surface displacement using a laser displacement sensor |
| CN103744931A (zh) * | 2013-12-30 | 2014-04-23 | 中国科学院深圳先进技术研究院 | 一种图像检索的方法及系统 |
| US9747394B2 (en) | 2014-03-18 | 2017-08-29 | Palo Alto Research Center Incorporated | Automated design and manufacturing feedback for three dimensional (3D) printability |
| US9946816B2 (en) * | 2014-03-18 | 2018-04-17 | Palo Alto Research Center Incorporated | System for visualizing a three dimensional (3D) model as printed from a 3D printer |
| JP6334735B2 (ja) * | 2014-05-06 | 2018-05-30 | ナント・ホールデイングス・アイ・ピー・エル・エル・シー | エッジベクトルを利用した画像特徴検出 |
| US20150363660A1 (en) * | 2014-06-12 | 2015-12-17 | Asap54.Com Ltd | System for automated segmentation of images through layout classification |
| US10409932B2 (en) * | 2014-09-19 | 2019-09-10 | Siemens Product Lifecyle Management Software Inc. | Computer-aided simulation of multi-layer selective laser sintering and melting additive manufacturing processes |
| US9811760B2 (en) * | 2015-07-31 | 2017-11-07 | Ford Global Technologies, Llc | Online per-feature descriptor customization |
| TWI582710B (zh) * | 2015-11-18 | 2017-05-11 | Bravo Ideas Digital Co Ltd | The method of recognizing the object of moving image and the interactive film establishment method of automatically intercepting target image |
| US10949702B2 (en) | 2019-04-16 | 2021-03-16 | Cognizant Technology Solutions India Pvt. Ltd. | System and a method for semantic level image retrieval |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4573197A (en) * | 1983-12-13 | 1986-02-25 | Crimmins Thomas R | Method for automatic recognition of two-dimensional shapes |
| US4881269A (en) * | 1985-07-29 | 1989-11-14 | French Limited Company - Centaure Robotique | Automatic method of optically scanning a two-dimensional scene line-by-line and of electronically inspecting patterns therein by "shape-tracking" |
| JPH0769967B2 (ja) * | 1988-03-26 | 1995-07-31 | 株式会社エイ・ティ・アール視聴覚機構研究所 | 形状記述方法 |
| US5267328A (en) * | 1990-01-22 | 1993-11-30 | Gouge James O | Method for selecting distinctive pattern information from a pixel generated image |
| US5428692A (en) * | 1991-11-18 | 1995-06-27 | Kuehl; Eberhard | Character recognition system |
| EP0514688A2 (en) | 1991-05-21 | 1992-11-25 | International Business Machines Corporation | Generalized shape autocorrelation for shape acquisition and recognition |
| US5267332A (en) * | 1991-06-19 | 1993-11-30 | Technibuild Inc. | Image recognition system |
| EP0578432A3 (en) * | 1992-07-06 | 1994-06-22 | Canon Kk | Similarity determination among patterns using affine-invariant features |
| JP3260843B2 (ja) * | 1992-08-25 | 2002-02-25 | 株式会社リコー | 文字認識方法 |
| US6005976A (en) * | 1993-02-25 | 1999-12-21 | Fujitsu Limited | Image extraction system for extracting patterns such as characters, graphics and symbols from image having frame formed by straight line portions |
| US5751843A (en) * | 1993-08-09 | 1998-05-12 | Siemens Aktiengesellschaft | Method for detecting the spatial position and rotational position of suitably marked objects in digital image sequences |
| JPH07141508A (ja) * | 1993-11-17 | 1995-06-02 | Matsushita Electric Ind Co Ltd | 形状記述装置 |
| US5640468A (en) * | 1994-04-28 | 1997-06-17 | Hsu; Shin-Yi | Method for identifying objects and features in an image |
| US5684940A (en) * | 1995-03-13 | 1997-11-04 | Rutgers, The States University Of New Jersey | Computer-implemented method and apparatus for automatically labeling area regions of maps using two-step label placing procedure and for curved labeling of point features |
| JP3207336B2 (ja) * | 1995-07-31 | 2001-09-10 | シャープ株式会社 | 文字パターン生成装置 |
| US6529635B1 (en) * | 1997-12-15 | 2003-03-04 | Intel Corporation | Shape-based image compression/decompression using pattern matching |
| JP2986455B1 (ja) | 1998-07-24 | 1999-12-06 | 株式会社エイ・ティ・アール知能映像通信研究所 | 手振り認識装置 |
| KR100671098B1 (ko) * | 1999-02-01 | 2007-01-17 | 주식회사 팬택앤큐리텔 | 모양정보를 이용한 멀티미디어 데이터의 검색 방법 및 장치 |
| US6307964B1 (en) * | 1999-06-04 | 2001-10-23 | Mitsubishi Electric Research Laboratories, Inc. | Method for ordering image spaces to represent object shapes |
| JP3654420B2 (ja) * | 2000-02-25 | 2005-06-02 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 画像変換方法、画像処理装置、および画像表示装置 |
| US6654487B1 (en) * | 2000-03-03 | 2003-11-25 | Charles H. Downs, Jr. | Character recognition, including method and system for processing checks with invalidated MICR lines |
-
2000
- 2000-10-21 KR KR10-2000-0062163A patent/KR100413679B1/ko not_active IP Right Cessation
-
2001
- 2001-04-27 CN CNB01117420XA patent/CN1157674C/zh not_active Expired - Fee Related
- 2001-04-27 CN CNB200310118093XA patent/CN1294536C/zh not_active Expired - Fee Related
- 2001-04-30 EP EP20010303968 patent/EP1199648A1/en not_active Withdrawn
- 2001-06-21 US US09/885,171 patent/US7023441B2/en not_active Expired - Fee Related
- 2001-06-29 JP JP2001198699A patent/JP4018354B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20020063718A1 (en) | 2002-05-30 |
| CN1516077A (zh) | 2004-07-28 |
| CN1350252A (zh) | 2002-05-22 |
| JP2002150285A (ja) | 2002-05-24 |
| CN1294536C (zh) | 2007-01-10 |
| KR100413679B1 (ko) | 2003-12-31 |
| EP1199648A1 (en) | 2002-04-24 |
| US7023441B2 (en) | 2006-04-04 |
| CN1157674C (zh) | 2004-07-14 |
| KR20020031591A (ko) | 2002-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4018354B2 (ja) | 形状記述子抽出方法 | |
| Wolf et al. | A critical view of context | |
| CN110019914B (zh) | 一种支持三维场景交互的三维模型数据库检索方法 | |
| JP5963609B2 (ja) | 画像処理装置、画像処理方法 | |
| JP2006523345A (ja) | マルチメディアデータに索引付けをし、そして検索するための形状マッチング方法 | |
| JP4300098B2 (ja) | オブジェクト識別方法とその装置、プログラム及び記録媒体 | |
| Dyana et al. | MST-CSS (multi-spectro-temporal curvature scale space), a novel spatio-temporal representation for content-based video retrieval | |
| Ratan et al. | Object detection and localization by dynamic template warping | |
| JP3559007B2 (ja) | 直線基準の映像整合方法 | |
| Immidisetti et al. | Simultaneous face hallucination and translation for thermal to visible face verification using axial-gan | |
| WO2004084138A2 (en) | A method for contour extraction for object representation | |
| Bowen et al. | A multistage approach for image registration | |
| Wu et al. | Privacy leakage of sift features via deep generative model based image reconstruction | |
| Liu et al. | Video-based person re-identification without bells and whistles | |
| Lee et al. | Hierarchical active shape model with motion prediction for real-time tracking of non-rigid objects | |
| JP5538781B2 (ja) | 画像検索装置及び画像検索方法 | |
| Cai et al. | Learning pose dictionary for human action recognition | |
| KR101931220B1 (ko) | 인체 부위 측정 장치 및 방법 | |
| JPH11250106A (ja) | 内容基盤の映像情報を利用した登録商標の自動検索方法 | |
| Sala et al. | Contour grouping and abstraction using simple part models | |
| Akagündüz et al. | 3D object recognition from range images using transform invariant object representation | |
| Yin et al. | Semantics constrained dictionary learning for signer-independent sign language recognition | |
| Zhu et al. | Enhancing interior and exterior deep facial features for face detection in the wild | |
| Dyana et al. | Combining features for shape and motion trajectory of video objects for efficient content based video retrieval | |
| CN110580451A (zh) | 一种基于三维优化子曲面的人脸识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040219 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040420 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040716 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20041006 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20041105 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20061108 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20061113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070730 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070920 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110928 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120928 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130928 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |