JP5431362B2 - 画像識別のための特徴ベースの識別特性(signature) - Google Patents

画像識別のための特徴ベースの識別特性(signature) Download PDF

Info

Publication number
JP5431362B2
JP5431362B2 JP2010541834A JP2010541834A JP5431362B2 JP 5431362 B2 JP5431362 B2 JP 5431362B2 JP 2010541834 A JP2010541834 A JP 2010541834A JP 2010541834 A JP2010541834 A JP 2010541834A JP 5431362 B2 JP5431362 B2 JP 5431362B2
Authority
JP
Japan
Prior art keywords
image
representation
region
regions
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010541834A
Other languages
English (en)
Other versions
JP2011511340A (ja
Inventor
ボバー、ミロスロー
ブラスネット、ポール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric R&D Centre Europe BV Netherlands
Original Assignee
Mitsubishi Electric R&D Centre Europe BV Netherlands
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric R&D Centre Europe BV Netherlands filed Critical Mitsubishi Electric R&D Centre Europe BV Netherlands
Publication of JP2011511340A publication Critical patent/JP2011511340A/ja
Application granted granted Critical
Publication of JP5431362B2 publication Critical patent/JP5431362B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/48Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、画像を表現するための方法及び装置、並びに、加えて、例えば検索又は検証する目的で画像を比較又は照合するための方法及び装置に関する。
本発明は、先願の同時係属中の欧州特許出願第06255239.3号、並びに英国特許出願第0700468.2号、英国特許出願第0712388.8号、及び英国特許出願0719833.6号に開示される画像識別技法に対する改善に関する。それらの特許文献の内容は参照により本明細書に援用される。それらの先願の同時係属中の特許出願に開示される発明の詳細及び実施の形態は、本発明及び本発明の実施の形態にも同様に適用される。
欧州特許出願第06255239.3号明細書、英国特許出願第0700468.2号明細書、英国特許出願第0712388.8号明細書、及び英国特許出願0719833.6号明細書に記載される方法及び装置において使用される画像識別技法はそれぞれ、画像から短いバイナリ記述子を抽出する(図2を参照されたい)。これらの技法は、従来技術の多くの欠点に対処すると共に、特に以下によって特徴付けられる:
・特徴抽出及び特徴照合の双方の計算複雑度の低減
・画像記述子サイズの低減
・様々な画像の変更に対するロバスト性の増加、及び
・広範囲にわたる画像の変更に関して99.8%の検出率を通常維持しながら、誤報率を0.05ppm(百万分率)レベルへ低減。
これらの方法は、多くの一般的な画像変更に対する非常に高レベルのロバスト性を提供する。しかしながらこれらは、平行移動及びクロッピングのように、画像コンテンンツの重要な部分が欠損するか又は置き換えられる、或る特定の種類の画像変更に対し、必要とされるレベルのロバスト性を提供しない場合がある。
したがって、画像コンテンツの部分的な欠損を伴う或る特定の種類の画像変更に対するロバスト性を大きく改善することが所望されている。
第1の態様によれば、本発明は、添付の請求項1において定義される、画像の表現を導出する方法を提供する。
第2の態様によれば、本発明は、本発明の第1の態様に従って導出される画像の表現を比較することによって、例えば画像照合のために画像を比較するための方法を提供する。
本発明の他の態様は、本発明の第1の態様に従って導出される画像表現の使用、本発明の第1の態様及び/又は第2の態様による方法を実施するための装置及びコンピュータプログラムを含む。
本発明は、領域ベースのトレース変換記述子によって記述される少数の対象領域に基づいて画像を表現する新たな手法に関する。本発明は画像照合の新たな方法にも関する。
本発明の実施の形態によれば、対象点又は特徴点から成る代表的な小さな集合が画像から選択される。選択手順において、予め選択された特徴の周囲の除外区域のような制約条件が使用される。変更されたトレース変換ベースの方法を使用して、各選択された対象領域からバイナリ「特徴識別特性(feature signature)」が抽出される。特徴識別特性を使用して、特徴の局所近傍を特徴付ける。画像は、複数の局所特徴識別特性及びそれらの幾何学的関係によって表現される。
本発明の実施の形態によれば、画像照合手順は、累積ハミング距離を使用して特徴点の一致する対の候補集合を迅速に識別し、その後、本方法の正確度を増大させるために幾何学的制約条件を適用することを含む2段階のプロセスとして実施される。特に、画像から選択される特徴点の配置によって提供される情報は、誤報率を大幅に低減するのに役立つ。また、幾何学的情報を使用して、画像変換の種類及び変換パラメータを確定することができる。
本発明の実施の形態は、欧州特許出願第06255239.3号明細書、英国特許出願第0700468.2号明細書、英国特許出願第0712388.8号明細書、及び英国特許出願0719833.6号明細書に記載される画像識別装置及び画像識別方法を補うように意図される。本発明は、有利には或る特定の画像変更に対するさらなるロバスト性を提供する。しかしながら、最新技術による処理資源を使用すると、本発明の技術の単独の使用は、検索速度の観点から、上記で参照した先願の同時係属中の特許出願において提案される技法と同じ性能を提供しない場合がある。特に、本発明の実施の形態による潜在的な特徴対の識別プロセスは、従来提案された方法より少なくとも1桁遅い場合がある。本発明による方法及び先願の同時係属中の特許出願の1つ又は複数の方法を単独で使用することができるが、これらの方法を組み合わせることが好ましい。このようにして、下記で示すように、より早い方法を使用した結果を、さらに分析するために、本発明による比較的低速な方法に渡すことができる。速度、誤検出率、及びロバスト性の観点からの性能利得は、組み合わせて適用すると最大になる。
本発明の他の特徴及び利点は、以下の説明及び添付の特許請求の範囲から明らかとなるであろう。
ここで、添付の図面を参照して本発明の実施形態を説明する。
画像を示す図である。 図1aの画像を縮小したバージョンを示す図である。 図1aの画像を回転させたバージョンを示す図である。 図1aの画像をぼかしたバージョンを示す図である。 図1aの画像を(左右に)反転させたバージョンを示す図である。 図1aの画像を大きく圧縮したバージョンを示す図である。 図1aの画像をクロップしたバージョンを示す図である。 従来技術による画像及び該画像のビットストリング表現を示す図である。 勾配ベースの特徴検出器によって検出される対象点の集合例を示す図である。 特徴が一切選択されない画像境界領域、及び強度に基づく最終的な特徴集合を示す図である。 原画像からのハミング距離を使用して一致することがわかった対象点を示す図である。ここで、対象点間の線長を使用して、配置制約を適用する。 図5aを回転させた変形からのハミング距離を使用して一致することがわかった対象点を示す図である。ここで、対象点間の線長を使用して、配置制約を適用する。 本発明の一実施形態による装置のブロック図である。
画像の表現、具体的には画像識別子を導出すると共に、そのような表現/識別子を、例えば1つ又は複数の画像の識別、照合又は検証のために使用する様々な実施形態を以下に説明する。本発明は、画像を識別するために特に有用であるが、画像の識別に限定されるものではない。説明する実施形態において、「画像識別子」(単純に「識別子」、「識別特性(signature)」、又は「画像識別特性(image signature)」とも呼ばれる)は画像の表現の一例であり、この用語は単に画像の表現又は記述子を表すのに使用される。
当業者であれば、本発明の一実施形態による画像識別装置及び画像識別方法の具体的設計の詳細、並びに画像識別において使用するための画像識別子の導出は、画像識別子がロバストであるべき画像の変更の種類、識別子の大きさ、抽出及び照合の複雑度、目標誤報率等に関連する要件によって決まることを理解するであろう。
以下の例では、画像に対する以下の変更に対してロバストな識別子をもたらす一般的設計を示す(これは網羅的なリストではない):
・色数削減、
・ぼかし、
・明るさの変更、
・反転(左右及び上下)、
・階調変換、
・ヒストグラム等化、
・JPEG圧縮、
・ノイズ、
・回転、
・クロップ、
・スケーリング、
・平行移動、
・スキューイング、及び
・視点変更(Perspective change)。
提案される設計は通常、広範な種類の画像に対する10ppm(百万分率)未満の低い誤報率、及び95.0%を超える通常検出率を達成することができることがわかっている。
図1は、画像の一例及びその画像の変形バージョンを示す。より具体的には、図1aは原画像であり、図1bは図1aの画像を縮小(スケーリング)したバージョンであり、図1cは図1aの画像を回転させたバージョンであり、図1dは図1aの画像をぼかしたバージョンであり、図1eは図1aの画像を反転させたバージョンであり、図1fは図1aの画像を圧縮したバージョンであり、図1gは図1aの画像をクロップしたバージョンである。
本発明の一実施形態は、画像に対応する信号及び/又は画像データを処理することによって、画像の表現、及びより具体的には画像識別子を導出する。
欧州特許出願第06255239.3号明細書、英国特許出願第0700468.2号明細書、英国特許出願第0712388.8号明細書、及び英国特許出願0719833.6号明細書に整合して、画像識別子の抽出の最初の段階において、画像はサイズ変更及びフィルタリングによって任意選択で前処理される。サイズ変更ステップは、処理前に画像を正規化するために使用される。フィルタリングステップは、エイリアシングのような効果を除去するためのフィルタリングを含むことができ、領域選択及びテーパリングも含むことができる。一実施形態では、画像は、192×N又はN×192の解像度にサイズ変更され(ここでN≧192である)、縦横比を維持する。別の実施形態では、画像は192×192の正方形にサイズ変更される。次に、画像は3×3のガウスカーネルを用いてローパスフィルタリングされる。画像の中心から円形領域がさらなる処理のために抽出される。前処理ステップは任意選択であり、上記のものの任意の組み合わせを含むことができる。
次の段階において、画像内で対象点を検出する。一実施形態は、特徴検出器を使用して、画像勾配の測定に基づいて、画像内の潜在的な特徴及びそれらの強度を検出する。1つの適切な画像勾配特徴検出器は、ハリス特徴検出器である。ハリス特徴検出器を図2の画像に適用した結果例を図3に示す。選択手順を適用して、代表的な特徴集合を選ぶ。一実施形態において、最大16個の特徴が選ばれる。特徴が一切選ばれない画像のエッジの周囲に境界を設定する。この実施形態では、境界は幅16ピクセルである。検出された特徴の中の許容可能な特徴から最も強い特徴を最初に選択する。特徴が以前に選択された特徴の周囲の除外区域内にある場合には該特徴は選択されないという制限で、後続の特徴が強度順に選択される。一実施形態では、10ピクセルの半径を有する円形領域を除外区域として使用する。選択プロセスは、所定の数の代表的な特徴(たとえば好ましい実施形態では16ピクセル)が選択された場合か、又はこれ以上特徴が残っていない場合に終了する。図3において検出された特徴から選択される特徴集合を図4に示す。
ここで特徴点(又は対象点)のロケーションが選択されているが、それらの位置は、好ましくは、たとえばインターネット上でhttp://opencvlibrary.sourceforge.net/CvReference, reference [I])において取得することができるOpenCV(FindCornerSubPix)03/01/2008において記載されるような方法を使用して、サブピクセル解像度に精緻化(リファイン)される。
参照により本明細書に援用される英国特許出願0719833.6号明細書において、バイナリ画像識別特性又は画像表現を抽出するための方法が開示される。本発明の一実施形態では、英国特許出願0719833.6号明細書の方法を適用して、特徴点の周囲の領域からバイナリ「特徴識別特性」を抽出する。
このため、各特徴識別特性は、検出される特徴に関連付けられる画像領域のバイナリ表現である。一実施形態では、32ピクセルの半径を有し特徴点を中心とする円形画像領域が選択され、該画像領域に関してバイナリ識別特性が計算される。円形領域は、好ましくは、たとえば三次補間法を使用して、サブピクセルレベルの精度で抽出する。次に、英国特許出願0719833.6号明細書による方法を使用して、抽出した領域を処理して対応する画像識別子を導出する。この方法の概要が下記で提供される。
画像領域のトレース変換T(d,θ)は、d、θによってパラメータ化される全ての可能な線を画像に射影し、これらの線に第1の汎関数Tを適用することによって実施される。英国特許出願0700468.2号明細書に開示される方法に従って、トレース変換の結果を分解して、該トレース変換の次元d、θのいずれか又は双方において該トレース変換の解像度を低減することができる。欧州特許出願第06255239.3号明細書、及び英国特許出願第0700468.2号明細書の方法のように、第2の汎関数Pをトレース変換の列に適用して、実数のベクトル(すなわち一次元関数)を得ることができる。この第2の汎関数Pは対角汎関数(diametrical functional)として知られ、結果として得られるベクトルはサーカス関数(circus function)として知られる。
第3の汎関数であるサーカス汎関数をサーカス関数に適用して、単一の数を得ることができるが、このステップは好ましい実施形態では使用されない。
代替的に、英国特許出願0719833.6号明細書の方法に従って、上記で論考したサーカス関数に対する代替としていわゆる「帯サーカス関数(band-circus function)」を取得してもよい。帯サーカス関数は、値をトレース変換の一部分のみから選択及び処理することによって、トレース変換を画像の線の部分集合に限定する。
第1の汎関数、第2の汎関数、及び/又は第3の汎関数(トレース関数、対角関数、及びサーカス関数)を適切に選ぶことによって、結果の特性を制御することができる。
周波数表現を介して、サーカス関数(又は帯サーカス関数)から画像領域に関するバイナリ識別子を抽出する。たとえば、フーリエ変換の複数の絶対値の係数(magnitude coefficients)について関数c(ω)を定義することができる。この関数の1つの例示は、隣接する係数の差分を取ることである。
c(ω)=|F(ω)|−|F(ω+1)|
結果として得られるベクトルに、以下となるように閾値を適用することによってバイナリストリングを抽出することができる。
全てのωについて
Sに関する適切な選択は、S=0及びS=mean(c)を含む。次に、これらのバイナリストリング値B={b0,...,bn}から画像領域のバイナリ表現を構築する。
本発明の一実施形態では、(英国特許出願0719833.6号明細書におけるように画像全体を使用するのとは対照的に)局所画像領域を使用するため、該特許文献に記載される識別特性抽出技法に対し複数の変更を加える必要がある。特に、欧州特許出願第06255239.3号明細書に開示される方法に従って、汎関数
max(ξ(t)) (1)
及び
∫|ξ(t)’|dt (2)
を使用して、完全トレース変換のサーカス関数から2つの識別子を抽出する。
欧州特許出願第0700468.2号明細書に開示される方法に従って、トレース変換の距離(d)パラメータを8分の1、16分の1、及び32分の1に分解(又はサブサンプリング)し、式(1)及び式(2)の双方を適用することによって取得されるサーカス関数からさらなる6つの「マルチ解像度」識別子を抽出することができる。
欧州特許出願第0712388.8号明細書に開示される方法に従って、トレース変換における帯からさらなる3つの関数を選択し、欧州特許出願第0719833.6号明細書に開示される方法に従って、トレース環形関数から2つの関数を抽出するとともに、トレース円形関数から1つの関数を抽出する。
これらの14個の成分識別子のそれぞれは8ビットであり、各特徴識別子の総計は112ビットとなる。特徴点の(前処理された画像における)座標を、対応する特徴/画像領域に関する幾何学的情報として、識別子と共に記憶する。任意選択で、112ビットから成る部分集合を選択又は導出することができる。
特徴点の完全な集合を多数の形で表現することができる。好ましい実施形態では、画像記述子は、多数の情報フィールドを含むビットストリームである。第1のフィールドは特徴の個数である。そして、各特徴は、ビットストリームにおいて特徴点座標(x及びy)として表現され、次に識別子が続く。任意選択で、特徴の数を記憶するのではなく、未使用フィールドを表すためにセットされたフラグとともにパディングが使用されてもよい。
上述したように、画像特徴間の完全照合手順は、2つの段階を含む。
第1の段階は、1つの画像からの全ての特徴を第2の画像からの全ての特徴と比較することを含む。共に長さNである2つの特徴識別特性B1及びB2間で照合を実施するために、ハミング距離を取る。
ここで、
は排他的OR(XOR)演算子である。
一実施形態では、最小ハミング距離Hを有する3つの一意的な対を見つける。2つの画像間の特徴ベースの累積ハミング関数は、3つの個々のハミング距離の合計である。
第2のステップは、幾何学的制約条件を適用して、それらの画像が真の一致であるか又は偽の一致であるかを判断することを含む。幾何学的制約条件の適用は、ハミング距離と比較して計算コストが比較的高い。複雑度を最小にするために、潜在的な一致に関する所定の閾値未満の累積ハミング距離を有する画像対のみを、幾何学的方法を使用して比較する。1つの可能な実施形態では、3つの特徴点(a、b、及びc)から成る集合を選ぶ。図5に示すように、これらの3つの点を使用して、特徴間の線長比を制約条件として使用することができる。識別子内の関連付けられる座標情報を使用して、3つの特徴点間のユークリッド距離、ab、ac、及びbcを得ることによって、線長比を計算する。2つの線長比、
1=ab/ac
及び
2=ab/bc
を得る。
画像A及びBからの線長比間の距離の測定値を以下のように定義する。
有利には、画像内の定義される点間の線長比は、回転、平行移動、及びスケーリングのような変形に対し不変であるため、上記の幾何学的制約は、そのような幾何学的変形を受けた画像の照合に適している。しかしながら、設計要件に整合する他の適切な幾何学的制約条件を使用してもよい。
一実施形態では、2つの閾値を距離測定値に適用する。一方は個々の測定値の大きさを制約するためのものであり、他方は距離の合計を制約するためのものである。
代替的に、累積ハミング距離制約条件(及び/又は対的(pairwise)ハミング距離制約条件)を使用して、3つの特徴点対から成る複数の候補集合を予め選択することができる。次に、幾何学的一致が見つかるか、又はこれ以上候補集合が残っていなくなるまで、幾何学的制約条件を、(たとえば累積ハミング距離によって順序付けされている場合がある)候補集合のそれぞれに順番に適用することができる。
上記で説明したように、本発明の画像照合技法は、英国特許出願0719833.6号明細書に開示される方法のような他の画像照合技法と組み合わせることができる。個々の識別子の全てを含む画像毎に記述子を生成する。好ましい実施形態では、識別子ビットストリームは、英国特許出願0719833.6号明細書に基づく2つの識別子と、本発明のための記述子とを含む。英国特許出願0719833.6号明細書に基づく2つの識別子のうち、第1の識別子は、画像縦横比を維持するために画像を前処理することによって生成され、他方の識別子は、画像を処理して正方形にするときに生成される。
好ましくは、照合を、まず、非常に低い誤報閾値において、英国特許出願0719833.6号明細書のより高速なアルゴリズムを用いて実施する。閾値未満の任意の画像対を一致であると見なし、閾値を超える対(英国特許出願0719833.6号明細書では一致であると見なされない)を、次に本発明に従って処理する。最初に、累積ハミング距離を適用し、閾値を超える3つの対から成る集合を、異なっている(一致しない)と見なす。幾何学的制約を、累積ハミング距離閾値未満の3つの対から成るセットに適用する。3つの対から成る集合に関する幾何学的測定値が、幾何学的測定値に関する閾値レベル未満である場合、画像対を一致であると見なす。そうでない場合、画像対を異なっていると見なす。
上記の方法を実行するための、一実施形態による、本発明を実施するための装置を図6に示す。実施は、画像データベース230に格納されている画像のための識別子のデータベース240を構築することを含む。2つのデータベース230及び240は、同じデータベースであってもよく、又は別個のデータベースであってもよい。装置によって、問い合わせ画像250から抽出される識別子260を検索して、識別子データベース140内の一致を見つけることが可能になる。順序付けされている場合がある画像のリストをユーザ290又はクエリアプリケーションに返す。
当業者であれば、説明した実施形態に対し多くの変形及び変更を行うことができることを理解するであろう。たとえば、説明した実施形態は、特徴検出に基づいて、画像識別特性が導出される画像領域を識別するが、他の技法を使用して、画像を代表する画像領域又は画像内で重要な画像領域を識別してもよい。さらに、説明される実施形態は、画像勾配法に基づく特徴検出器を使用するが、他の適切な方法を使用して画像内の対象点又は領域を検出してもよい。同様に、最良の又は最強の検出される特徴点又は対象点を選択するための他の技法も可能である。
加えて、説明した実施形態において使用される3つの特徴点から成る集合に関連付けられる線長比に関連する距離測定と異なる様々な幾何学的制約のうちの1つ又は複数を使用することが可能である。たとえば、任意の数の特徴点を、距離測定値と合わせて使用することができる。代替的に、他の幾何学的制約は、特徴点間の角度に基づいてもよい。さらに、アフィンモデルを使用して、幾何学的制約を定義してもよい。
本発明の精神及び範囲に入る全ての変形、変更、及び均等物を含むことを意図している。
参照
[1]Open CV Reference Manual, Chapter 1: Image Processing Gradients, Edge and Corners - “FindCornerSubPix”: http://opencvlibrary.sourceforge.net/CvReference

Claims (29)

  1. 画像に対応する信号を処理することによって前記画像の表現を導出する方法であって、
    画像の特徴点を識別し、識別された特徴点に対応する画像領域を選択することにより、前記画像を代表するか又は前記画像にとって有意である複数の画像領域を識別すること、
    識別された画像領域毎に、
    前記画像領域の少なくとも一部分に対して第1の汎関数を適用してトレース変換を得ること、及び
    マルチ解像度の識別子と、トレース変換のサーカス関数及びトレース変換における帯から得られる識別子とを生成する、前記トレース変換又は前記トレース変換の一部に関連する複数の中間表現を取得すること、並びに
    前記複数の画像領域のうちの2つ以上の画像領域の前記中間表現から前記画像の前記表現を導出すること、
    を含む、方法。
  2. 前記画像領域を選択するステップは、
    前記画像の複数の前記識別された特徴を特徴強度に従って選択すること、及び
    前記選択された複数の前記識別された特徴に対応する画像領域を確定すること、
    を含む、請求項1に記載の方法。
  3. 前記画像領域を選択するステップは、
    前記画像の識別された特徴に対応する複数の画像領域を、識別された特徴の前記画像内における位置に従って選択することを含む、請求項1又は2に記載の方法。
  4. 前記選択された複数の画像領域は、前記画像にわたって分散している、請求項3に記載の方法。
  5. 各選択された画像領域は、他の選択された画像領域の前記特徴から前記画像内で少なくとも所定の距離だけ離れている特徴に対応する、請求項3又は4に記載の方法。
  6. 前記画像の特徴を識別するステップは、特徴を検出するために強度画像勾配法を使用する、請求項1から請求項5までのいずれか1項に記載の方法。
  7. 前記中間表現は一次元関数である、請求項1から請求項6までのいずれか1項に記載の方法。
  8. 2つ以上の前記画像領域の前記中間表現から前記画像の前記表現を導出するステップは、
    前記画像領域の前記中間表現から各画像領域の表現を導出すること、及び
    前記画像の前記表現を導出するために、前記画像領域の複数の導出された表現を使用すること、
    を含む、請求項1から請求項7までのいずれか1項に記載の方法。
  9. 前記画像領域の前記中間表現から各画像領域の表現を導出するステップは、
    前記中間表現の周波数表現の複数の周波数成分を使用して、前記画像領域の前記少なくとも一部分の前記中間表現を処理することを含む、請求項8に記載の方法。
  10. 前記画像の前記表現を導出するステップは、
    選択された複数の識別された画像領域の対応する中間表現から導出された、該選択された複数の識別された画像領域の表現の、選択された複数の部分を結合することを含む、請求項1から請求項9までのいずれか1項に記載の方法。
  11. 前記複数の画像領域のうちの2つ以上の画像領域の前記中間表現から前記画像の前記表現を導出するステップは、所定の数の画像領域の前記中間表現を使用し、該所定の数は好ましくは2〜256の範囲にある、請求項1から請求項10までのいずれか1項に記載の方法。
  12. 各画像領域に関連する幾何学的情報を、前記識別された画像領域の導出された表現と関連付けることをさらに含む、請求項1から請求項11までのいずれか1項に記載の方法。
  13. 請求項1から請求項12までのいずれか1項に記載の方法を使用して前記画像の表現を導出すること、及び
    前記表現を前記画像と関連付けること、
    を含む、画像を識別するための方法。
  14. 請求項1から請求項13までのいずれか1項に記載の方法を使用して導出された各画像の表現を導出することを含む、画像を比較するための方法。
  15. 第1の画像の前記表現に関連付けられる画像領域を、第2の画像の前記表現に関連付けられる画像領域と比較することを含む、請求項14に記載の画像を比較するための方法。
  16. 前記第1の画像の画像領域の表現と、前記第2の画像の画像領域の表現との間のハミング距離を求めるために、前記第1の画像の前記表現及び前記第2の画像の前記表現を使用すること、及び
    前記対応する画像領域の前記表現間の前記ハミング距離が第1の所定の閾値未満である場合、前記第1の画像及び前記第2の画像を潜在的な一致として識別すること、
    を含む、請求項15に記載の方法。
  17. 前記第1の画像及び前記第2の画像の複数の画像領域の表現に関するハミング距離を求めることを含む、請求項16に記載の方法。
  18. 前記第1の画像及び前記第2の画像から所定の数の画像領域対を識別することであって、該識別される対は、前記第1の所定の閾値未満であるとともに最も低いハミング距離が求められる、対応する表現を有している、識別することをさらに含む、請求項17に記載の方法。
  19. 前記画像領域の前記識別される対における各領域は一意的である、請求項18に記載の方法。
  20. 前記画像領域の前記識別された対の前記表現に関する前記ハミング距離の合計を使用して累積ハミング距離を求めること、及び
    前記画像領域の前記識別された対の前記表現の前記累積ハミング距離が第2の所定の閾値未満である場合、前記第1の画像及び前記第2の画像を潜在的な一致として識別すること、
    をさらに含む、請求項17、18、又は19に記載の方法。
  21. 前記画像が一致であるか否かを判断するために、潜在的な一致であると判断された複数の画像領域対又は画像対に関する幾何学的情報に幾何学的制約条件を適用することであって、ことを含む、請求項16から請求項20までのいずれか1項に記載の方法。
  22. 幾何学的制約条件を適用するステップは、
    前記第1の画像内の所定の数の画像領域間の距離の第1の比を求めること、
    前記第2の画像内の前記所定の数の画像領域間の距離の第2の比を求めること、及び
    前記第1の比と前記第2の比との間の差分が第3の所定の閾値未満である場合、前記第1の画像及び前記第2の画像を一致であると判断すること、
    を含む、請求項21に記載の方法。
  23. 前記所定の数は3である、請求項22に記載の方法。
  24. 幾何学的制約条件を適用するステップは、
    前記第1の画像及び前記第2の画像のそれぞれについて、
    以下の式を使用して、前記3つの画像領域に対応する点(a、b、及びc)間のユークリッド距離の比を計算すること、
    =ab/ac、及びL=ab/bc
    並びに、
    以下の式を使用して、前記第1の画像及び前記第2の画像(A,B)の線長比(L,L)間の距離を測定すること、
    を含む、請求項23に記載の方法。
  25. 前記第3のしきい値は、G、G、及びG+Gのうちの1つ又は複数に関する閾値を含む、請求項24に記載の方法。
  26. 表現の比較に基づいて前記複数の画像から照合する画像を選択することを含む、請求項14から請求項25までのいずれか1項に記載の方法。
  27. 請求項1から請求項25までのいずれか1項に記載の方法を実行させるための制御装置を備える、装置。
  28. 画像及び/又は画像の表現を記憶する記憶手段、画像データベース及び/又は記述子データベース、表示手段、並びに画像選択手段のうちの1つ又は複数をさらに備える、請求項27に記載の装置。
  29. コンピュータによって実行されると、請求項1〜25のいずれか一項に記載の方法を実施する命令を備えるコンピュータ記憶媒体。
JP2010541834A 2008-01-09 2008-06-30 画像識別のための特徴ベースの識別特性(signature) Active JP5431362B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GBGB0800364.2A GB0800364D0 (en) 2008-01-09 2008-01-09 Feature-based signatures for image identification
GB0800364.2 2008-01-09
PCT/GB2008/002262 WO2009087340A1 (en) 2008-01-09 2008-06-30 Feature-based signatures for image identification

Publications (2)

Publication Number Publication Date
JP2011511340A JP2011511340A (ja) 2011-04-07
JP5431362B2 true JP5431362B2 (ja) 2014-03-05

Family

ID=39144682

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010541834A Active JP5431362B2 (ja) 2008-01-09 2008-06-30 画像識別のための特徴ベースの識別特性(signature)

Country Status (7)

Country Link
US (1) US8660385B2 (ja)
EP (1) EP2240887B1 (ja)
JP (1) JP5431362B2 (ja)
KR (1) KR101506060B1 (ja)
CN (1) CN101911100B (ja)
GB (1) GB0800364D0 (ja)
WO (1) WO2009087340A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0807411D0 (en) 2008-04-23 2008-05-28 Mitsubishi Electric Inf Tech Scale robust feature-based indentfiers for image identification
WO2010119657A1 (ja) * 2009-04-14 2010-10-21 日本電気株式会社 画像識別子抽出装置
JP5862413B2 (ja) 2012-03-28 2016-02-16 富士通株式会社 情報変換規則生成プログラム、情報変換規則生成装置および情報変換規則生成方法
WO2013169302A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Varying output for a computing device based on tracking windows
WO2014023338A1 (en) * 2012-08-07 2014-02-13 Metaio Gmbh A method of providing a feature descriptor for describing at least one feature of an object representation
US9361538B2 (en) 2012-12-26 2016-06-07 Microsoft Technology Licensing, Llc Real time photometric edge description
WO2014138745A2 (en) * 2013-03-08 2014-09-12 Curalate, Inc. Method and system for clustering and classifying online visual information
US9939901B2 (en) 2014-09-30 2018-04-10 Apple Inc. Haptic feedback assembly
US10031925B2 (en) * 2014-10-15 2018-07-24 Thinkcx Technologies, Inc. Method and system of using image recognition and geolocation signal analysis in the construction of a social media user identity graph
US9390315B1 (en) * 2015-06-25 2016-07-12 A9.Com, Inc. Image match for featureless objects
CN108596883B (zh) * 2018-04-12 2021-07-13 福州大学 一种基于深度学习和距离约束的航拍图像防震锤滑移故障诊断方法
KR101963446B1 (ko) 2018-10-18 2019-03-28 남양진흥기업(주) 터널 시공방법 및 그 구조
CN113095156B (zh) * 2021-03-23 2022-08-16 西安深信科创信息技术有限公司 一种基于逆灰度方式的双流网络签名鉴定方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09330414A (ja) 1996-06-12 1997-12-22 Yoshihiko Nomura 画像マッチング方法およびその装置
US7382897B2 (en) * 2004-04-27 2008-06-03 Microsoft Corporation Multi-image feature matching using multi-scale oriented patches
CN1267849C (zh) * 2004-07-02 2006-08-02 清华大学 基于断纹检测的指纹识别方法
US7375745B2 (en) * 2004-09-03 2008-05-20 Seiko Epson Corporation Method for digital image stitching and apparatus for performing the same
US7570794B2 (en) * 2005-09-02 2009-08-04 Gm Global Technology Operations, Inc. System and method for evaluating a machined surface of a cast metal component
EP2315161A1 (en) 2006-10-11 2011-04-27 Mitsubishi Electric Information Technology Centre Europe B.V. Image descriptor for image recognition
GB0700468D0 (en) 2007-01-10 2007-02-21 Mitsubishi Electric Inf Tech Improved image identification
GB0712388D0 (en) 2007-06-26 2007-08-01 Mitsubishi Electric Inf Tech High Performance Image Identification
GB0719833D0 (en) 2007-10-10 2007-11-21 Mitsubishi Electric Inf Tech Enhanced image identification

Also Published As

Publication number Publication date
EP2240887A1 (en) 2010-10-20
KR101506060B1 (ko) 2015-03-25
US8660385B2 (en) 2014-02-25
US20110038541A1 (en) 2011-02-17
CN101911100B (zh) 2015-08-26
JP2011511340A (ja) 2011-04-07
EP2240887B1 (en) 2014-01-01
WO2009087340A1 (en) 2009-07-16
GB0800364D0 (en) 2008-02-20
CN101911100A (zh) 2010-12-08
KR20100112155A (ko) 2010-10-18

Similar Documents

Publication Publication Date Title
JP5431362B2 (ja) 画像識別のための特徴ベースの識別特性(signature)
US8831355B2 (en) Scale robust feature-based identifiers for image identification
Wu et al. Busternet: Detecting copy-move image forgery with source/target localization
Lee Copy-move image forgery detection based on Gabor magnitude
Kwon et al. Learning jpeg compression artifacts for image manipulation detection and localization
Pun et al. A two-stage localization for copy-move forgery detection
US9619733B2 (en) Method for generating a hierarchical structured pattern based descriptor and method and device for recognizing object using the same
US20140226906A1 (en) Image matching method and apparatus
JP2013519144A (ja) 特徴点の効率的なスケールスペース抽出及び記述
CN111985427A (zh) 活体检测方法、设备及可读存储介质
Muzaffer et al. A fast and effective digital image copy move forgery detection with binarized SIFT
CN107977964A (zh) 基于lbp和扩展马尔科夫特征的细缝裁剪取证方法
Isaac et al. Image forgery detection using region–based Rotation Invariant Co-occurrences among adjacent LBPs
Isaac et al. Copy-Move forgery detection based on Harris Corner points and BRISK
Nawaz et al. Image authenticity detection using DWT and circular block-based LTrP features
Kaur et al. Efficient hybrid passive method for the detection and localization of copy-moveand spliced images
Abir et al. An automatic enhanced filters with frequency-based copy-move forgery detection for social media images
Li et al. An image copy move forgery detection method using QDCT
EP2884427B1 (en) Method and system for describing an image
Yue et al. Sift-based image super-resolution
Yan et al. Adaptive local feature based multi-scale image hashing for robust tampering detection
Hansda et al. Copy-move image forgery detection via combined pseudo-zernike moment invariant
Oyiza et al. An improved discrete cosine transformation block based scheme for copy-move image forgery detection
KR101643550B1 (ko) 비선형 공간에서 고속 선명도 확산 방법을 이용하여 색상불변 특성을 검출하고 표현하는 시스템 및 그 방법
Fattahi et al. Detection of copy-move forgery in digital images using scale invariant feature transform algorithm and the spearman relationship

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110603

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130702

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20130902

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130902

RD12 Notification of acceptance of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7432

Effective date: 20130902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131204

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5431362

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250