JP5054122B2 - 改良された画像識別 - Google Patents

改良された画像識別 Download PDF

Info

Publication number
JP5054122B2
JP5054122B2 JP2009545215A JP2009545215A JP5054122B2 JP 5054122 B2 JP5054122 B2 JP 5054122B2 JP 2009545215 A JP2009545215 A JP 2009545215A JP 2009545215 A JP2009545215 A JP 2009545215A JP 5054122 B2 JP5054122 B2 JP 5054122B2
Authority
JP
Japan
Prior art keywords
image
function
trace
representation
derived
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009545215A
Other languages
English (en)
Other versions
JP2010515991A (ja
Inventor
ブラスネット、ポール
ボバー、ミロスロー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric R&D Centre Europe BV Netherlands
Original Assignee
Mitsubishi Electric R&D Centre Europe BV Netherlands
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric R&D Centre Europe BV Netherlands filed Critical Mitsubishi Electric R&D Centre Europe BV Netherlands
Publication of JP2010515991A publication Critical patent/JP2010515991A/ja
Application granted granted Critical
Publication of JP5054122B2 publication Critical patent/JP5054122B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/48Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation

Description

[発明の背景]
[発明の分野]
本発明は、画像を表現する方法及び装置に関し、さらに、(例えば検索又は検証の目的のために)画像を比較又は照合する方法及び装置に関する。
[背景技術の記載]
本発明は、同時係属中の欧州特許出願EP06255239.3に記載されている画像識別技法に対する改良に関する。欧州特許出願EP06255239.3の内容は参照により本明細書に援用される。欧州特許出願EP06255239.3の発明及び実施の形態の詳細は、本発明及び本実施の形態にも同様に適用される。
画像から短いバイナリ記述子を抽出する(図2参照)、欧州特許出願EP06255239.3に記載されている画像識別方法及び装置は、従来技術の多くの欠点に対処しており、特に、
・特徴抽出及び照合の双方について計算複雑度が低減されていること、
・画像記述子のサイズが低減されていること、
・さまざまな画像変更に対するロバスト性が高められていること、並びに
・広範な変更に対して約80%までの検出率を維持しながら誤報率が1ppmレベルに低減されていること、
を特徴とする。
しかしながら、実際の用途においては検出率がより高いことが望ましい。特に、平均検出率を98%超にまで高めると共に、ノイズ及びヒストグラム等化の変更に対するロバスト性も大幅に向上させることが望ましい。
[発明の概要]
第1の態様によれば、本発明は、添付の特許請求の範囲の請求項1に定義されている、画像の表現を導出する方法を提供する。
本発明のさらなる態様は、本発明の第1の態様による方法を用いて導出される画像の表現の使用と、本発明の第1の態様による方法を実施する装置と、命令(実行されると本発明の第1の態様による方法を実施するもの)を含むコンピュータ可読記憶媒体とを含む。
本発明の実施の形態の好ましい特徴及び任意選択の特徴は従属請求項に記載されている。
本発明は、画像のトレース変換(又は画像の2次元関数であって等価なもの)から視覚的な識別特徴を抽出する新規の方法に関する。本方法は、識別子を抽出する前に、例えばフーリエ変換の振幅によって画像のトレース変換に対して領域ベースの処理を行うことによって、画像の複数解像度の表現を作成するのに用いることができる。
本出願において、用語「汎関数」は、その通常の数学的意味を有する。特に、汎関数とは、ベクトル空間V上の(通常は関数の)実数値関数である。トレース変換の場合、汎関数は画像内の線に適用される。
同時係属中の欧州特許出願EP06255239.3に記載されている方法では、トレース変換は、画像を直線でトレースすることによって計算され、該直線に沿って、画像輝度の特定の汎関数T又は色関数が計算される。異なる複数の汎関数Tが用いられて単一の入力画像から異なる複数のトレース変換が生成される。2D平面において線は2つのパラメータ、すなわち距離d及び角度θによって特徴付けられるため、画像のトレース変換は各トレース線のパラメータの2D関数である。次に、トレース変換の列に沿ってダイアメトリカル汎関数(diametrical functional) Pを適用することによって「サーカス関数(circus function)」が計算される。サーカス関数の周波数表現(例えばフーリエ変換)が得られ、周波数振幅成分に関して関数が定義され、その符号がバイナリ記述子として取られる。
本発明の実施の形態による方法は、同様の技法を用いて画像の表現を導出することができる。しかしながら、画像の表現(例えばバイナリ記述子)を導出するさらなるステップを行う前に、低減された解像度のトレース変換等の、画像の低減された解像度の関数が導出される。解像度の低減は、処理されるデータ量を低減しながら画像に特有の必須要素(すなわちその視覚的な識別特徴)を維持するべきである。通常、導出される画像の低減された解像度の関数は、以下の記載から明らかになるように、演算によって、画像の選択される部分又はサンプリングされる部分の表現値を組み込む。
本発明の一実施の形態によれば、画像の低減された解像度の関数は、線のセット(これらの線のパラメータは、所定の区間Δd及び/又はΔθのものである)を用いて画像をトレースすることと、(画像を横切るすべての線の代わりに)線のセットのすべてを用いてトレース変換(又は等価物)を導出することとによって導出される。線は、画像領域における帯(図10に示すもの)及び/又は2つの錐(図11に示すもの)に対応し得る。したがって、より詳細に後述するように、画像の低減された解像度の(すなわちより粗い解像度の)トレース変換が導出される。
本発明の別の実施の形態によれば、最初に、従来のように画像を横切るすべての線をトレースすることによってトレース変換(又は等価物)が導出される。次いで、角度パラメータθの異なる値における複数の帯を用いて画像のトレース変換がトレースされ、(図12に示すような)距離パラメータdの複数の区間にわたって解像度の低減が行われ、且つ/又は、距離パラメータdの異なる値における複数の帯を用いてトレース変換がトレースされ、トレース領域において(図13に示すような)角度パラメータθの複数の区間にわたって解像度の低減が行われ、より詳細に後述するように画像の低減された解像度の2次元関数が導出される。
有利には、以下でさらに詳細に説明するように、トレース変換領域内の帯及び/又は錐に沿ってトレース変換値を暗黙的に計算することによって、本発明のこの実施の形態の方法を非常に効率的に実施することができる。
同時係属中の欧州特許出願EP06255239.3に開示されている方法のように、本発明の一実施の形態による方法は、異なる複数の汎関数を用いることによって得られる識別子「族」の選択部分を組み合わせる。さらに、いくつかの実施形態では、帯及び/又は2つの錐を用いて得られる識別子は組み合されて単一の記述子になる。さらに、いくつかの実施形態において、幅が異なる複数の帯及び/又は開口角が異なる複数の錐が用いられて、複数解像度の表現が得られる。
添付図面を参照して本発明の実施形態を説明する。
画像を示す。 図1aの画像を縮小した変形を示す。 図1aの画像を回転させた変形を示す。 図1aの画像をぼかした変形を示す。 画像と、従来技術によるその画像のビットストリング表現とを示す。 本発明の一実施形態の方法のステップを示す図である。 本発明の一実施形態の別の方法のステップを示す図である。 トレース変換の線パラメータ化を示す図である。 (a)〜(c)は、画像の異なるバージョンから導出される関数を示す。 本発明の一実施形態による装置のブロック図である。 複数のトレース変換を用いる一実施形態を示すブロック図である。 図8の実施形態によって作成されるビットストリームを示す図である。 トレース変換のdパラメータを分解するときの原画像内の区間帯を示す。 トレース変換のθパラメータを分解するときの原画像における2つの錐を示す。 dパラメータにおけるトレース変換の分解を示す。 θパラメータにおけるトレース変換の分解を示す。
[実施形態の詳細な説明]
画像の表現(具体的には画像識別子)を導出すると共に、このような表現/識別子を(例えば、1つ又は複数の画像の識別、照合又は検証の目的で)用いるさまざまな実施形態を以下に記載する。本発明は画像の識別に特に有用であるが、これには限定されない。記載される実施形態では、「画像識別子」(ときに「識別子」と単純化される)は画像の表現の一例であり、この用語は画像の表現、すなわち記述子を指すために用いられるに過ぎない。
当業者であれば、本発明の一実施形態による画像識別装置及び方法の具体的な設計と、画像識別に用いる画像識別子の導出とは、設計要件によって決定されることを理解しよう。このような設計要件は、画像識別子がロバストであるべき画像変更のタイプ、識別子のサイズ、抽出及び照合の複雑度、目標誤報率等に関連する。
以下の実施形態は、画像に対する以下の変更にロバストな識別子をもたらす一般的設計を示す(これは網羅的なリストではない)。
・色数削減
・ぼかし
・明るさの変更
・反転(左右及び上下)
・グレースケール変換
・ヒストグラム等化
・JPEG圧縮
・ノイズ
・回転
・拡大縮小
この一般的設計は通常、広範な画像に対して百万分の1(ppm)という非常に低い誤報率を達成することができることが分かっている。
図1は、画像及びその画像を変更した変形の一例を示す。より具体的には、図1aは原画像であり、図1bは図1aの画像を縮小したバージョンであり、図1cは図1aの画像を回転させたバージョンであり、図1dは図1aの画像をぼかしたバージョンである。
本発明の一実施形態は、画像に対応する信号を処理することによって、画像の表現、より具体的には画像識別子を導出する。
図3は、本発明の一実施形態による画像識別子を導出する方法の各ステップ、すなわち識別子抽出工程を示す。
抽出の初期段階において画像を前処理する。これは、画像をサイズ変更し(ステップ110)、任意選択でフィルタリングする(ステップ120)ことによって行われる。サイズ変更ステップ110は、画像を処理前に正規化するために用いられる。ステップ120は、画像に対して行われた何らかの処理によって生じるエイリアシング等の効果を除去するためのフィルタリングを含み得、及び/又は、原画像全体を用いるのではなく領域を選択することを含み得る。本方法の好適な一実施形態では、画像の中央から円形領域がさらなる処理のために抽出される。
ステップ130において、トレース変換
Figure 0005054122
を行う。トレース変換は、全ての可能な線を画像に射影し、これらの線に1つ又は複数の汎関数を適用する。上述のように、汎関数とは、ベクトル空間V上の実数値関数であり、、通常は関数の実数値関数である。トレース変換の場合、画像中の複数の線に汎関数が適用される。図5に示されるように、線は2つのパラメータd及びθによってパラメータ化される。後述のように、ステップ140においてトレース変換の結果を分解してその解像度を低減することができる。ステップ150において、トレース変換の各列にさらなる汎関数を適用して、実数値ベクトルを得ることができる。この第2の汎関数はダイアメトリカル汎関数(diametrical functional)として知られ、結果として得られるベクトルはサーカス関数として知られる。第3の汎関数であるサーカス汎関数をサーカス関数に適用して、単一の数を得ることができる。この結果の特性は、これら3つの異なる汎関数(トレース汎関数、ダイアメトリカル汎関数及びサーカス汎関数)を適切に選択することによって制御することができる。画像及び対応するトレース変換の例を含むトレース変換の全詳細は、例えば、以下の参考文献[1]:参照により本明細書に援用されるAlexander Kadyrov及びMaria Petrou著「The Trace Transform and its Applications」(IEEE Trans. PAMI, 23(8), 2001年8月、 pp 811-828)に見ることができる。この実施形態の方法では、1Dサーカス関数を得るために、最初の2つのステップのみをトレース変換において行う。
本方法の1つの特定の例において、画像のトレース変換
Figure 0005054122
はトレース汎関数T
Figure 0005054122
を用いて抽出され、サーカス関数はダイアメトリカル汎関数P
Figure 0005054122
を適用することによって得られる。
サーカス関数が様々な画像処理操作によって受ける影響の例を図6に見ることができる。図6は、画像の様々な変形に対応するサーカス関数を示す。図6(a)は原画像に対応し、図6(b)はその画像を回転させたバージョンに対応し、図6(c)はその画像をぼかしたバージョンに対応する。回転は関数をシフトさせる(と共にスケール変化を生じる)ことが分かる。
上で挙げた大部分の画像の変更操作に関して、汎関数T、Pを適切に選択すれば、画像aのサーカス関数f(a)は、変更された画像a’のサーカス関数f(a’)がシフト又は(振幅が)拡大縮小された変形に過ぎないことを示すことができる(以下の参考文献[1]の第3章を参照)。
Figure 0005054122
同時係属中の欧州特許出願EP06255239.3に記載されている方法によれば、サーカス関数の周波数表現の周波数成分を用いて画像識別子を導出することができる。画像記述子を導出する他の技法が可能であると共に、本発明と併せて用いることができることは理解されよう。一例では、画像識別子は、サーカス関数のフーリエ変換(又は同様にハール変換)から導出することができる。
したがって、式(3)のフーリエ変換を行うことによって、次式が与えられる。
Figure 0005054122
次に、式(6)の振幅を取ると次式が得られる。
Figure 0005054122
式(7)から、この時点では、変更された画像と原画像とはスケーリング係数κを除いて同じであることが分かる。
本実施形態によれば、ここで、フーリエ変換係数の複数の振幅係数について関数c(ω)が定義される。この関数の1つの例示は、各係数とその隣の係数との間の差分を取ることである。
Figure 0005054122
結果として得られるベクトル(式8)に、以下のように閾値を適用することによってバイナリストリングを抽出することができる。(すべてのωについて)
Figure 0005054122
次に、これらの値B={b0,...,bn}から画像識別子が構築される。
2つの異なる識別子B1及びB2(いずれも長さN)の間で識別子の照合を行うために、正規化ハミング距離を取る。
Figure 0005054122
ここで、
Figure 0005054122
は排他的OR(XOR)演算子である。識別子又は表現の他の比較方法も用いることができる。
識別子中の特定ビットの選択によって性能をさらに高めることができる。より低い周波数に対応するビットは一般にロバスト性がより高く、より高い周波数に対応するビットは識別性がより高い。本発明の特定の一実施形態では最初のビットを無視し、識別子は続く64ビットから成る。
本発明の一実施形態によれば、トレース変換(又は等価物)からもたらされる、画像の2次元関数を分解するステップ140は、その解像度を低減することを含む。解像度の低減は、その2つの次元d若しくはθのうちのいずれか又は双方の次元において処理することによって達成することができる。
したがって、図12のように、dパラメータをサブサンプリングすることによって、例えば(θの値に対応する)列に沿ってdの複数の区間にわたって総和をとるか又は積分することによって、「トレース領域」における距離次元において解像度を低減することができる。これは、図10に示されるように、トレース変換中に幅Δdの帯を画像に(すなわち画像領域内に)射影することに対応する。距離パラメータdの複数の区間にわたってサブサンプリングする(すなわちトレース変換の解像度を低減する)任意の技法を用いることができることは理解されよう。したがって、データの本質を維持しながらデータの量を低減する任意の統計的計算を用いることができ、総和をとること及び積分はその例に過ぎない。
代替的に又は付加的に、図13のように、θパラメータをサブサンプリングすることによって、例えば(dの値に対応する)行に沿ってθの複数の区間にわたって総和をとること又は積分することによって、「トレース領域」における角度次元において解像度を低減することができる。これは図11に示されるように、トレース変換の間に開口角Δθを有する2つの錐を画像に(すなわち画像領域内に)射影することとほぼ等価である。角度パラメータθの複数の区間にわたってサブサンプリングする(すなわちトレース変換の解像度を低減する)任意の技法を用いることができることは理解されよう。したがって、データの本質を維持しながらデータの量を低減する任意の統計的計算を用いることができ、総和をとること及び積分はその例に過ぎない。
本発明の別の実施形態によれば、分解するステップ140は、「画像領域」において行うことができ、すなわち、ステップ120の後に且つ通常図3のステップ130と組み合わせて行うことができる。一例では、ステップ140は、画像自体の中の線のセットを結合又は分解すると共に、これらの線に対してトレース変換(又は他の演算)を行って画像識別子を導出する。例えば、画像の複数の線をステップ130において共に効率的に処理することができるように、1画素幅の画像の線を結合することができる。線のセットは例えば、図10に示されるような平行線及び/又は図11に示されるような2つの錐によって規定される線とすることができる。結合される線の数は上述の区間に対応する。したがって、この実施形態では、トレース変換は、従来のトレース変換のように画像を横切るすべての線をトレースする代わりに、画像を横切る線の選択されたセットをトレースするように有効に変更される。
当業者には理解されるように、画像領域において分解する他の技法が可能である。
上記の方法を行う本発明の一実施形態による装置の一例を図7に示す。具体的には、画像記憶モジュール210によって画像200が受け取られ、画像データベース230に記憶される。さらに、識別子抽出及び記憶モジュール220が、本発明の方法に従って、受け取った画像毎に画像識別子を抽出し、それらの画像識別子を識別子データベース240に、(任意選択で、画像のコンテンツに関連する他の情報と共に)適宜記憶する。
図7はさらに、上記の方法を用いて抽出された画像識別子を用いる画像検索エンジンを具現する装置を示す。画像の検証又は照合が、問い合わせ画像250の受け取りに応答して画像検索エンジンによって行われ得る。本発明の方法に従って、問い合わせ画像250の画像識別子が識別子抽出モジュール260において抽出される。識別子照合モジュール270が問い合わせ画像250の画像識別子を、識別子データベース240に記憶されている画像識別子と比較する。画像検索モジュール280が、画像データベース230から一致画像290を取り出す。この一致画像290は、以下で詳述するように、問い合わせ画像識別子と一致する画像識別子を有する。
図4は、フーリエ変換係数に対するバイナリ関数を定義する代替的な方法を示す。特に、フーリエ変換係数を得た(ステップ171)後、複数のフーリエ変換係数の振幅の対数を得る(ステップ172及び173)。以降の係数の差分を上記の式(8)と同様に計算し(ステップ174)、その後、この差分の符号を取り、この符号によってバイナリ値を割り当てる(ステップ175)。次に、このバイナリ値を用いてバイナリ識別子を形成する。画像の関数の他の周波数表現(ハール変換を含む)の周波数係数にこの技法を用いることができることは理解されよう。
上述した基本識別子は、図8及び図9に示すように、低減された解像度のトレース変換を複数用いてそれぞれの識別子を導出することと、別々の識別子からのビットを組み合わせることとによって改良することができる。低減された解像度のトレース変換の別々のものからのバイナリストリング361及び362を組み合わせる具体的な方法は、それらを連結して識別子363を得ることである。
このようにして、上記の式(1)のトレース汎関数Tを、上記の式(2)によって与えられるダイアメトリカル汎関数Pと共に用いて1つのバイナリストリングを得た後、トレース汎関数(1)をダイアメトリカル汎関数(11)
Figure 0005054122
と共に用いて第2のストリングを得ることによって良好な結果を得ることができる。各バイナリストリングの最初のビットはスキップし、両方のストリングからの次の64ビットを連結して128ビットの識別子を得る。
本発明によれば、トレース変換における複数解像度の表現を用いることによって大幅な性能改良を得ることができる。特に、1つ又は2つの次元において分解を行うことができる。次いで上記のように、ダイアメトリカル汎関数を適用してバイナリストリングを抽出することができる。通常の結果は、この分解を用いることによって百万分の1の誤報率(false error rate)における検出率が約80%から98%に高められることを示す。
この複数解像度のトレース変換は、上述のように、その2つの次元d若しくはθのうちのいずれか又は双方の次元において元のトレース変換をサブサンプリングしてその解像度を低減することによって生成することができる。「トレース領域」においてdパラメータのサブサンプリングは、例えば図12のように列に沿って複数の区間にわたって積分することによって行われる。これは、図10に示されるように、トレース変換中に幅Δdの帯を画像に射影することに対応する。サブサンプリングは、例えばθパラメータにおける複数の区間にわたって、すなわち行に沿って積分することによって行うこともできる。図13を参照されたい。これは、トレース変換中に開口角Δθを有する2つの錐にわたって積分することとほぼ同じである。図11を参照されたい。代替的に、上述のようにこれらの演算を「画像領域」において行うことができる。
複数解像度分解を用いることによって、1つのトレース変換から複数の基本識別子を抽出することができる。ここで、ある範囲内の異なる区間幅にわたってサブサンプリングが行われて、複数の基本識別子から成る複数解像度の表現が生成される。理想的には、複数解像度の表現はある範囲内の区間幅を用いて導出される複数の識別子を用いる。例えば、各区間幅は他の区間幅と少なくとも2倍異なってもよい。トレース変換の出力のサイズが600×384であり、したがってdパラメータが幅8、16、32、64及び128の帯(band)を用いて積分することによってサブサンプリングされ、同様にθパラメータが例えば幅3、6、12、及び24の帯を用いて積分することによってサブサンプリングされるシステムを用いることによって、良好な結果が一般的に得られた。
この識別子の1つの応用は、画像検索エンジンとしての応用である。ファイル名、画像、撮影者、取得日時、及び任意の他の有用な情報等の関連する情報と共に、バイナリ識別子を抽出し記憶することによって、データベースが構築される。次に、問い合わせ画像aqが与えられると、バイナリ識別子が抽出され、データベース中の全ての識別子B0...BMと比較される。問い合わせ画像に対するハミング距離が閾値未満である全ての画像が返される。
[代替的な実施態様]
様々な異なるトレース汎関数及びダイアメトリカル汎関数を用いることができ、例として以下が挙げられる(網羅的でないリスト)。
Figure 0005054122
2つ又はそれ以上の識別子を組み合わせて、画像をより正確に特徴付けすることができる。この組み合わせは、複数の識別子の連結によって行われることが好ましい。
回転、平行移動及び拡大縮小より高次の幾何変換の場合、上述した識別子のバージョンは適切でなく、式(3)の関係は成り立たない。識別子のロバスト性は、正規化工程を用いるアフィン変換まで拡張することができる。この正規化工程の全詳細は、以下の参考文献[2]に見ることができる。サーカス関数を正規化するために2つのステップが導入され、最初のステップは、いわゆる関連サーカス(associated circus)を求めることを含み、2番目のステップは、正規化された関連サーカス関数を求めることを含む。この正規化に続き、式(3)の関係が真であることが示される。これによって、上記と同様に識別子の抽出工程を継続することができる。
正規化工程と共に用いられるいくつかの適切なトレース汎関数が以下の(G1)及び(G2)に与えられ、ダイアメトリカル汎関数の適切な選択が(G3)に与えられる。
Figure 0005054122
ここで、r≡t−cであり、c≡median({tkk,{|g(tk)|}k)である。非負の重みw1,w2,...,wnを有する数列y1,y2,...,ynの加重中央値を、この数列が重みによって昇順でソートされると仮定した場合に次式が成り立つ最大インデックスmを特定することによって定義する。
Figure 0005054122
不等式(12)が厳密(strict)である場合、中央値はymとなる。しかし、不等式が等式である場合、中央値は(ym+ym-1)/2となる。
識別子を連続するビットのブロックから構築する代わりに、実験によって選択を行うことができる。このやり方の一例は、i)独立した画像と、ii)原画像及び変更された画像との2組のデータを用意することである。識別子の性能は、独立したデータの誤受入率と、原画像及び変更された画像の誤拒否率とを比較することによって測定することができる。関心となる点は、等価エラー率、すなわち、1×10-6の誤受入率における誤拒否率である。最適化は、ビットが選択されていない状態で開始される。各ビットを1つずつ検査して、どのビットが(例えば等価エラー率又は何らかの類似の測度に関して)最良の性能を発揮するかを確かめることが可能である。最良の結果を与えるビットが選択されるべきである。次に、全ての残りのビットを試験して、どれが最初のビットと組み合わせた際に最良の性能を発揮するかを確かめるべきである。ここでもまた、エラー率が最低のビットが選択される。この手順は、全てのビットが選択されるまで繰り返される。このように、全体として最良の性能をもたらすビットの組み合わせを求めることができる。
上記で示したように、パラメータ(d又はθ)の複数の区間にわたって総和をとること又は積分することによって、トレース変換における複数解像度分解を形成することができる。上記で示したように、任意の統計的技法を用いて分解又は解像度低減を達成することができ、他の可能性は、平均値、最大値、最小値等のような統計値を計算することを含む。他の汎関数をこれらの区間に適用することもできる。
さらに、構造を識別子に適用して検索性能を高めることもできる。例えば、2パス探索を実施し、1回目の探索に半分のビットを用い、次に所与のレベルの精度を有するビットのみを2回目の探索パスに認める。
リード・マラー(Reed-Muller)復号器又はウイナー・ジブ(Wyner-Ziv)復号器等の方法を用いて識別子を圧縮し、さらにサイズを縮小することができる。
[代替的な応用]
識別子はまた、ビデオシーケンス中のフレームをインデックス付けするために用いることもできる。新たなシーケンスが与えられると、フレームから識別子を抽出し、次に、同一のシーケンスを見つけるために検索を行うことができる。これは、著作権の検出及びシーケンスの識別のために有用であり得る。
複数の放送会社が同一のコンテンツ、例えば広告又は株式ニュースの映像を送信する場合が多い。放送会社間のナビゲーションのために、識別子を用いてこれらのコンテンツ間にリンクを形成することができる。
画像識別子は、画像を介してコンテンツを結びつける機会を提供する。ユーザがウェブページ上の特定の画像に興味がある場合、同一画像を有する他のページを見つける有効な方法はない。識別子を用いて、画像間のナビゲーション経路を提供することができる。
識別子を用いてブロードキャストフィード中の広告を検出することができる。これを用いて、広告主が自社のキャンペーンを追跡するための自動監視を行うことができる。
大規模な商用集合からパーソナルコンピュータ上の小規模なコレクションまで多くの画像データベースが存在する。データベースが厳格に制御されていない限り、通常は集合の画像に重複があり、余分な記憶領域を無駄に必要とする。識別子は、これらのデータセット中の重複画像を削除又は紐付けするツールとして用いることができる。
本明細書中、「画像」という用語は、画像単位(フィルタリング、解像度の変更、アップサンプリング、ダウンサンプリング等の処理の後のものを含む)を記述するために用いられるが、他の類似の用語(フレーム、フィールド、ピクチャ、又は、画像・フレーム等のサブユニット若しくは領域等)にも当てはまる。本明細書中、画像という用語は、文脈から明らかである場合を除き、画像全体又は画像の領域を意味する。同様に、画像の領域は画像全体を意味し得る。画像は、フレーム又はフィールドを含み、静止画、又はフィルムに関連し、または、ビデオ等の画像シーケンス中の画像に関連し、または、関連する画像のグループ中の画像に関連する。画像は、グレースケール画像又はカラー画像であってもよく、又は別のタイプのマルチスペクトル画像(例えば、IR、UV若しくは他の電磁波画像)であってもよく、又は音響画像であってもよく、他の画像であってもよい。
実施形態において、周波数表現は、フーリエ変換を用いて導出されるが、周波数表現は、ハール変換等の他の技法を用いて導出することもできる。特許請求の範囲において、フーリエ変換という単語は、DFT及びFFT等の変形を網羅するものとする。
本発明は、適切な装置を用いて電気的信号を処理することによって実施されることが好ましい。
本発明は、例えば、適切なソフトウェア及び/又はハードウェアの変更を加えたコンピュータシステムにおいて実施することができる。例えば、本発明は、制御手段若しくは処理手段(プロセッサ若しくは制御装置等)、データ記憶手段(メモリ、磁気記憶装置、CD、DVD等のような画像記憶手段を含む)、データ出力手段(ディスプレイ、モニタまたはプリンタ等)、データ入力手段(キーボード等)、及び画像入力手段(スキャナ等)を有する、又はこれらの構成要素の任意の組み合わせを他の付加的な構成要素と共に有する、コンピュータ等を用いて実施することができる。本発明の態様は、ソフトウェア及び/若しくはハードウェアの形態、又は特定用途向け装置において提供することができ、又は、チップ等の特定用途向けモジュールを提供することができる。本発明の一実施形態による装置におけるシステムの構成要素は、他の構成要素から離れた場所に、例えばインターネットを介して設けられてもよい。
[参考文献]
[1]Alexander Kadyrov及びMaria Petrou著「The Trace Transform and Its Applications」(IEEE Trans. PAMI, 23 (8), 2001年8月, pp 811-828)
[2]Maria Petrou及びAlexander Kadyrov著「Affine Invariant Features from the Trace Transform」(IEEE Trans, on PAMI, 26 (1), 2004年1月, pp 30-44)
当業者であれば理解するように、説明した実施形態に対して多くの変形及び変更を行うことができる。例えば、本発明を、当業者に既知の既存の技法及び関連技法を組み合わせて実施する実施形態において実施することができる。添付の特許請求の範囲に規定される本発明の範囲に入る、説明した実施形態に対するそのような変形、変更及び均等物を全て含むことが意図される。

Claims (12)

  1. 画像に対応する信号を処理することによって前記画像の表現を導出する方法であって、
    前記方法は、前記画像のすべての線に対して汎関数を適用することによって導出される前記画像のトレース変換を用いて前記画像を処理することを含み、
    前記トレース変換の結果は、トレース領域において距離パラメータおよび角度パラメータを持つ2次元関数である
    方法において、
    前記方法は、前記トレース領域における前記画像の前記2次元関数を、サブサンプリングすることおよびさらに汎関数を適用することによって処理することを特徴とし、
    前記サブサンプリングは、前記画像の前記2次元関数の前記距離パラメータおよび前記角度パラメータのうち少なくとも1つのパラメータの所定の区間にわたって総和をとることまたは積分することによって行われ、それによって、前記トレース領域における前記画像の低減された解像度の2次元関数を導出し、
    前記汎関数を適用することは、前記画像の1次元関数を導出するために、前記画像の前記低減された解像度の前記2次元関数に対して前記汎関数を適用することである、方法。
  2. 前記トレース変換を用いて前記画像を処理するステップは、前記画像の前記2次元関数の第2の次元における所定の区間にわたって前記2次元関数の値をサブサンプリングすることによって、前記画像の2次元関数を処理することを含み、それによって、前記第2の次元における前記画像の前記2次元関数の前記解像度を低減する、請求項に記載の方法。
  3. 前記1次元関数は、サーカス関数であるか、又はサーカス関数から導出される関数である、請求項1または2に記載の方法。
  4. 前記方法は、前記画像のさらなる関数を導出することをさらに含み、
    前記画像の平行移動、拡大縮小又は回転させたバージョンの前記さらなる関数は、前記画像の前記さらなる関数の平行移動又は拡大縮小させたバージョンであり、
    前記さらなる関数は、サーカス関数であるか、または、サーカス関数から導出された関数である、請求項1〜のいずれか一項に記載の方法。
  5. 前記画像の前記表現を導出するために前記画像の低減された解像度の2次元関数を用いるステップは、前記1次元関数又は前記さらなる関数の周波数表現の複数の周波数成分を用いることを含み、前記周波数成分はフーリエ変換又はハール変換を用いて求められる、請求項3または4に記載の方法。
  6. 前記画像の前記表現は、
    複数の周波数係数の振幅を計算するステップと、
    各係数の振幅と、前記係数の次の係数の振幅との間の差分を求めるステップと、
    を用いて導出され
    前記方法は、求められた差分のそれぞれに閾値を適用し、前記差分が前記閾値未満である場合には0のバイナリ値を提供し、前記差分が前記閾値以上である場合には1のバイナリ値を提供することによって一連のバイナリ値を導出することをさらに含み、
    前記画像表現は、前記複数の周波数成分の振幅によって規定される前記バイナリ値を含む
    請求項に記載の方法。
  7. 前記画像の前記表現は、
    複数の周波数係数の振幅の対数を計算するステップと、
    各係数の振幅の対数と、前記係数の次の係数の振幅の対数との間の差分を求めるステップと、
    を用いて導出され
    前記方法は、求められた差分のそれぞれに閾値を適用し、前記差分が前記閾値未満である場合には0のバイナリ値を提供し、前記差分が前記閾値以上である場合には1のバイナリ値を提供することによって一連のバイナリ値を導出することをさらに含み、
    前記画像表現は、前記複数の周波数成分の振幅の対数によって規定される前記バイナリ値を含む
    請求項に記載の方法。
  8. 前記サブサンプリングは異なる幅の区間についてそれぞれ行われ、前記画像の複数の表現が導出される、請求項1〜のいずれか一項に記載の方法。
  9. 画像を識別する方法であって、
    請求項1〜のいずれか一項に記載の方法を用いて前記画像の表現を導出することと、
    前記表現と前記画像とを関連付けることと、
    を含む、方法。
  10. 画像を比較する方法であって、請求項1〜のいずれか一項に記載の方法を用いて導出される各画像の表現を比較することを含前記比較することはハミング距離を求めることを含む、方法。
  11. 請求項1〜のいずれか一項に記載の方法を実行する装置。
  12. 求項1〜のいずれか一項に記載の方法を実施する命令を含む、コンピュータ可読媒体。
JP2009545215A 2007-01-10 2007-12-06 改良された画像識別 Active JP5054122B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB0700468.2 2007-01-10
GBGB0700468.2A GB0700468D0 (en) 2007-01-10 2007-01-10 Improved image identification
PCT/GB2007/004676 WO2008084185A1 (en) 2007-01-10 2007-12-06 Improved image identification

Publications (2)

Publication Number Publication Date
JP2010515991A JP2010515991A (ja) 2010-05-13
JP5054122B2 true JP5054122B2 (ja) 2012-10-24

Family

ID=37809751

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009545215A Active JP5054122B2 (ja) 2007-01-10 2007-12-06 改良された画像識別

Country Status (6)

Country Link
US (1) US20090316993A1 (ja)
EP (2) EP2450833A1 (ja)
JP (1) JP5054122B2 (ja)
CN (1) CN102317957B (ja)
GB (1) GB0700468D0 (ja)
WO (1) WO2008084185A1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8442276B2 (en) 2006-03-03 2013-05-14 Honeywell International Inc. Invariant radial iris segmentation
US8705808B2 (en) * 2003-09-05 2014-04-22 Honeywell International Inc. Combined face and iris recognition system
US7593550B2 (en) 2005-01-26 2009-09-22 Honeywell International Inc. Distance iris recognition
US8064647B2 (en) 2006-03-03 2011-11-22 Honeywell International Inc. System for iris detection tracking and recognition at a distance
US8090157B2 (en) 2005-01-26 2012-01-03 Honeywell International Inc. Approaches and apparatus for eye detection in a digital image
US8098901B2 (en) 2005-01-26 2012-01-17 Honeywell International Inc. Standoff iris recognition system
US8050463B2 (en) 2005-01-26 2011-11-01 Honeywell International Inc. Iris recognition system having image quality metrics
GB2450024B (en) * 2006-03-03 2011-07-27 Honeywell Int Inc Modular biometrics collection system architecture
WO2007101276A1 (en) 2006-03-03 2007-09-07 Honeywell International, Inc. Single lens splitter camera
WO2007101275A1 (en) * 2006-03-03 2007-09-07 Honeywell International, Inc. Camera with auto-focus capability
WO2008019169A2 (en) 2006-03-03 2008-02-14 Honeywell International, Inc. Iris encoding system
EP2315161A1 (en) * 2006-10-11 2011-04-27 Mitsubishi Electric Information Technology Centre Europe B.V. Image descriptor for image recognition
US8063889B2 (en) 2007-04-25 2011-11-22 Honeywell International Inc. Biometric data collection system
GB0719833D0 (en) 2007-10-10 2007-11-21 Mitsubishi Electric Inf Tech Enhanced image identification
GB0800364D0 (en) 2008-01-09 2008-02-20 Mitsubishi Electric Inf Tech Feature-based signatures for image identification
GB0807411D0 (en) 2008-04-23 2008-05-28 Mitsubishi Electric Inf Tech Scale robust feature-based indentfiers for image identification
US8436907B2 (en) 2008-05-09 2013-05-07 Honeywell International Inc. Heterogeneous video capturing system
US8090246B2 (en) 2008-08-08 2012-01-03 Honeywell International Inc. Image acquisition system
US8280119B2 (en) * 2008-12-05 2012-10-02 Honeywell International Inc. Iris recognition system using quality metrics
US8630464B2 (en) * 2009-06-15 2014-01-14 Honeywell International Inc. Adaptive iris matching using database indexing
US8472681B2 (en) 2009-06-15 2013-06-25 Honeywell International Inc. Iris and ocular recognition system using trace transforms
US8742887B2 (en) 2010-09-03 2014-06-03 Honeywell International Inc. Biometric visitor check system
US20120133777A1 (en) * 2010-11-30 2012-05-31 Microsoft Corporation Camera tracking with user script control
ES2901385T3 (es) 2013-12-12 2022-03-22 Fund Centro De Tecnologias De Interaccion Visual Y Comunicaciones Vicomtech Método y sistema para describir una imagen
CN104484418B (zh) * 2014-12-17 2017-10-31 中国科学技术大学 一种基于双分辨率的特征量化方法及系统
US9811760B2 (en) * 2015-07-31 2017-11-07 Ford Global Technologies, Llc Online per-feature descriptor customization
KR101891410B1 (ko) * 2016-12-09 2018-08-23 포항공과대학교 산학협력단 트레이스 변환을 이용한 역합성 개구면 레이더 영상의 표적 분류 장치 및 그 방법
CN107358239B (zh) * 2017-06-07 2018-05-18 南京航空航天大学 基于圆迹变换的图像不变特征提取方法
CN107424583B (zh) * 2017-07-03 2020-05-12 威创集团股份有限公司 异形图像的显示数据处理方法和系统
CN108460393B (zh) * 2018-03-12 2021-08-13 南昌航空大学 基于多分辨率Trace变换的图像不变特征提取方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000057129A1 (fr) * 1999-03-19 2000-09-28 Matsushita Electric Works, Ltd. Procede de reconnaissance d'objet tridimensionnel et systeme de collecte de broches a l'aide de ce procede
KR100308456B1 (ko) * 1999-07-09 2001-11-02 오길록 주파수 공간상에서의 질감표현방법 및 질감기반 검색방법
JP4219542B2 (ja) * 2000-09-07 2009-02-04 富士ゼロックス株式会社 画像処理装置、画像処理方法および画像処理プログラムが格納された記録媒体
JP2003067739A (ja) * 2001-08-28 2003-03-07 Monolith Co Ltd 画像変換方法および装置
JP2003271177A (ja) * 2002-03-15 2003-09-25 Sharp Corp 特徴量抽出方法、音声および音響に関する識別装置、画像および画像状態に関する識別装置ならびに特徴量抽出プログラム
KR100612852B1 (ko) * 2003-07-18 2006-08-14 삼성전자주식회사 GoF/GoP의 질감 표현 방법과, 이를 이용한GoF/GoP 검색 방법 및 장치
EP1498848A3 (en) * 2003-07-18 2007-03-07 Samsung Electronics Co., Ltd. GoF/GoP texture description, and texture-based GoF/GoP retrieval
JP4345426B2 (ja) * 2003-10-07 2009-10-14 ソニー株式会社 画像照合方法、プログラム、および画像照合装置
US7581171B2 (en) * 2004-01-06 2009-08-25 Microsoft Corporation Positionally encoded document image analysis and labeling
US8600193B2 (en) * 2008-07-16 2013-12-03 Varian Medical Systems, Inc. Image stitching and related method therefor

Also Published As

Publication number Publication date
EP2450833A1 (en) 2012-05-09
WO2008084185A8 (en) 2009-10-01
CN102317957A (zh) 2012-01-11
EP2126789A1 (en) 2009-12-02
US20090316993A1 (en) 2009-12-24
GB0700468D0 (en) 2007-02-21
JP2010515991A (ja) 2010-05-13
CN102317957B (zh) 2014-04-09
EP2126789B1 (en) 2012-10-10
WO2008084185A1 (en) 2008-07-17

Similar Documents

Publication Publication Date Title
JP5054122B2 (ja) 改良された画像識別
JP5175854B2 (ja) 画像認識のための画像記述子
US11449540B1 (en) Media fingerprinting and identification system
US8103050B2 (en) Method for computing a fingerprint of a video sequence
JP5261493B2 (ja) 拡張画像識別
US8671109B2 (en) Content-based video copy detection
US20120321125A1 (en) Image processing method and apparatus
CN111182364B (zh) 一种短视频版权检测方法及系统
JP5199349B2 (ja) 高性能画像識別
US20130243341A1 (en) Frequency domain interest point descriptor
Himeur et al. Robust video copy detection based on ring decomposition based binarized statistical image features and invariant color descriptor (RBSIF-ICD)
US10733453B2 (en) Method and system for supervised detection of televised video ads in live stream media content
US10719714B2 (en) Method and system for adaptively reducing detection time in real-time supervised detection of televised advertisements
Vadivel et al. Perceptual similarity based robust low-complexity video fingerprinting

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100902

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111115

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120214

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120710

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120726

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5054122

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150803

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250