JP5503018B2 - 一様なおよび一様でない照明の変化の中での特徴検出を改善するための尺度空間正規化技術 - Google Patents
一様なおよび一様でない照明の変化の中での特徴検出を改善するための尺度空間正規化技術 Download PDFInfo
- Publication number
- JP5503018B2 JP5503018B2 JP2012548197A JP2012548197A JP5503018B2 JP 5503018 B2 JP5503018 B2 JP 5503018B2 JP 2012548197 A JP2012548197 A JP 2012548197A JP 2012548197 A JP2012548197 A JP 2012548197A JP 5503018 B2 JP5503018 B2 JP 5503018B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- scale space
- difference
- smoothed
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Description
本特許出願は、本出願の譲受人に譲渡され、ここで参照により本明細書にはっきりと組み込まれる2010年1月8日に出願された「Keypoint Stabilization Technique」と題された米国仮出願第61/293,437号の優先権を主張するものである。
本明細書に記載のさまざまな特徴は、画像認識の速度および/または効率を改善することに関する。第1の態様によれば、画像全体にわたる(一様であるかまたは一様でないかのいずれかの)照明の影響が、特徴/キーポイント検出の前に尺度空間の差を正規化することによって取り除かれるかまたは軽減される。次に、特徴/キーポイント検出が、正規化された尺度空間の差に対して実行される。
図1は、問い合わせされた画像に対して物体認識を実行するための機能的段階を示すブロック図である。画像取り込み段階102において、注目される画像108(すなわち、問い合わせされる画像)が、取り込まれ得る。画像108は、デジタル形式の取り込まれた画像を得るために、1つまたは複数のイメージセンサーおよび/またはアナログデジタルコンバータを含み得る画像取り込みデバイスによって取り込まれ得る。イメージセンサー(例えば、電荷結合素子(CCD)、相補型金属酸化物半導体(CMOS))は、光を電子に変換することができる。電子は、アナログ信号を形成することができ、次に、そのアナログ信号は、アナログデジタルコンバータによってデジタル値に変換される。このようにして、画像108が、画像I(x,y)を、例えば、対応する色、照度、および/またはその他の特性を有する複数の画素として定義する可能性があるデジタル形式で取り込まれ得る。
図5は、照明に対して不変な特徴/キーポイント検出のための尺度空間正規化の例を示す。画像I(x,y)502が、平滑化された尺度空間ピラミッド506を生成するために、異なるスケールciσの平滑化カーネルG(x,y,ciσ)504と畳み込まれることができ、ここで、iは0とnの間の整数である。平滑化カーネルは、ガウスカーネルおよび/またはその他の種類の平滑化関数であってよいことに留意されたい。平滑化された尺度空間ピラミッド506の2つ隣り合う尺度空間の間の差が、尺度空間の差508を得るために取得され得る。
ここで、
第1のガウス平滑化カーネルG(x,y,cj+1σ)は、第2のガウス平滑化カーネルG(x,y,cjσ)よりも広く(すなわち、スケールcj+1σはスケールcjσよりも広く、ここで、jは0とnの間の正の整数である)、
I(x,y)は、処理されている画像またはその派生物(例えば、画像の反射特性(reflective property))であり、
S(x,y)は、照明スケーリング関数であり、
G(x,y,cj+1+hσ)は、第2の平滑化カーネルG(x,y,cj+1σ)と同じだけ広いか、またはそれよりも広い尺度空間を有する第3の平滑化カーネルであり、ここで、hは0とnの間の正の整数である。尺度空間の差508のすべてのレベルでこのプロセスを繰り返すことによって、正規化された尺度空間の差510が、生成され得る。例えば、G(x,y,cj+1σ)とG(x,y,cjσ)とによって定義された差分尺度空間に対して、正規化関数は、G(x,y,cj+1σ)またはそれより上の任意のもの(すなわち、G(x,y,cj+2σ)、G(x,y,cj+3σ)、...)である可能性がある。正規化関数は、差分尺度空間で使用された両方の平滑化カーネルよりも大きい必要はなく、正規化関数は、単に、より平滑なものであることを必要とする。別の例において、正規化関数は、使用された第1の平滑化カーネルと第2の平滑化カーネルとの合計(すなわち、G(x,y,cj+1σ)+G(x,y,cjσ))である可能性があり、したがって、
(図8Aと、8Bと、8Cとを備える)図8は、通常の特徴検出手法を用いると、画像の特徴検出が照明の変化によってどのように影響を受ける可能性があるのかを示す。図8Aは、ほぼ一様な照明を有する画像において検出された特徴を示す。図8Bは、画像全体を低レベルにする一様な照明スケーリングを伴う画像において検出された特徴を示す。つまり、図8Aに比して、図8Bの画像は、照明スケーリング(例えば、画像を暗くすること)によって画像全体で検出された特徴がより少ない。図8Cは、空間的に変わる(一様でない)照明スケーリングが特徴検出にどのように影響を与える可能性があるかをよりはっきりと示す。すなわち、図8Aに比して、図8Cの画像は、照明スケーリング(例えば、画像を暗くすること)によって影響を受けた画像の下半分に沿って検出された特徴がより少ない。図8に関して、検出される特徴の数が、画像内の乗数的な輝度のスケールの変化に依存することは明らかである。
図12は、照明に対して不変な特徴検出デバイスの例を示すブロック図である。特徴検出デバイス1200は、デジタル形式の問い合わせ画像1202を受信または取得することができる。次に、尺度空間生成器1204(例えば、ガウス尺度空間生成器)が、尺度空間を生成するために、問い合わせ画像1202を異なるスケール幅の複数の異なる平滑化カーネル1203と畳み込むことができる。尺度空間は、異なるスケーリング幅まで平滑化される画像の複数の平滑化されたバージョンを備える可能性がある。それから、尺度空間の差生成器1206が、尺度空間から尺度空間の差を生成する。次いで、尺度空間の差正規化器1208が、例えば、それぞれの尺度空間のレベルの差を対応する平滑化された画像で割ることによって尺度空間の差を正規化し、そのような平滑化された画像は、割られる尺度空間の差を生成するために使用された平滑化された画像のうちでより大きい方と同じか、またはそれよりも広いスケールを有する。そして、キーポイント生成器1210が、正規化された尺度空間の差内のキーポイントを特定または検出する。これは、例えば、正規化された尺度空間の差の画素の中の局所的極値(すなわち、極大値または極小値)を発見することによって行われ得る。次に、特徴生成器1212が、例えば、特定されたキーポイントのまわりの局所的な画素を特徴づけることによって特徴を生成することができる。キーポイント生成器1210と特徴生成器1212との機能は、特徴検出器によって実行され得ることに留意されたい。それから、特徴記述子生成器1214が、問い合わせ画像を特定するのに役立つことができる複数の画像記述子1216を提供するための各特徴に関する記述子を生成する。図12に示された機能は、別個の回路によって、または1つもしくは複数のプロセッサによって実行され得る。
図13は、特徴検出のために正規化された尺度空間の差を使用する画像マッチングデバイスの例を示すブロック図である。画像マッチングデバイス1300は、通信インターフェース1304、画像取り込みデバイス1306、および/またはストレージデバイス1308に結合された処理回路1302を含み得る。通信インターフェース1304は、有線/ワイヤレスネットワークを介して通信し、画像、および/または1つもしくは複数の画像に関する特徴記述子を受信するように適合され得る。画像取り込みデバイス1306は、例えば、問い合わせ画像を取り込むことができるデジタルカメラである可能性がある。処理回路1302は、画像から特徴を抽出するための画像処理回路1314と、抽出された特徴を用いて問い合わせ画像を目標画像のデータベース1310とマッチングし、および/または問い合わせ画像の記述子を記述子データベース1312とマッチングする画像マッチング回路1316とを含み得る。1つの例示的な実装によれば、画像マッチングアプリケーションが、問い合わせ画像を画像データベース内の1つまたは複数の画像とマッチングするように試みる。画像データベースは、データベース1310に記憶された1つまたは複数の画像に関連する大量の特徴記述子を含み得る。
図14は、画像または物体認識の目的で画像処理を実行するように適合された例示的なモバイルデバイスを示すブロック図である。モバイルデバイス1400は、画像取り込みデバイス1404と、通信インターフェース1410と、ストレージデバイス1408とに結合された処理回路1402を含み得る。画像取り込みデバイス1404(例えば、デジタルカメラ)は、注目される問い合わせ画像1406を取り込むように適合されることができ、その問い合わせ画像1406を処理回路1402に提供する。処理回路1402は、取り込まれた画像を処理して特徴記述子を生成するように構成された画像処理回路1414を含む可能性があり、その特徴記述子は、画像/物体認識のために後で送信されるかまたは使用され得る。例えば、画像処理回路1414は、ガウス尺度空間生成器1422、尺度空間の差生成器1424、尺度空間の差正規化器1426、キーポイント検出器1428、特徴生成器1430、および/または特徴記述子生成器1432を含む特徴特定回路1420を含むかまたは実装する可能性がある。ガウス尺度空間生成器1422は、画像をぼかし関数(例えば、平滑化カーネル)と畳み込んで、例えば、図2と5とに示された複数の異なる尺度空間を生成する役割をする可能性がある。それから、尺度空間の差生成器1424が、尺度空間から尺度空間の差を生成する。次いで、尺度空間の差正規化器1426が、例えば、それぞれの尺度空間のレベルの差を対応する平滑化された画像で割ることによって尺度空間の差を正規化し、そのような平滑化された画像は、(図6に示された)割られる尺度空間の差を生成するために使用されたどちらの平滑化された画像よりも広い。そして、キーポイント生成器1428が、(図9に示された)正規化された尺度空間の差内のキーポイントを特定または検出する。これは、例えば、正規化された尺度空間の差の画素の中の局所的極値(すなわち、極大値または極小値)を発見することによって行われ得る。次に、特徴生成器1430が、例えば、(図3に示された)特定されたキーポイントのまわりの局所的な画素を特徴づけることによって特徴を生成することができる。それから、特徴記述子生成器1432が、(図4に示された)問い合わせ画像を特定するのに役立つことができる複数の画像記述子を提供するための各特徴に関する記述子を生成する。
図15は、正規化された尺度空間の差を使用する特徴検出のための方法を示す。(ガウス)尺度空間が、画像に対して生成されることができ、この尺度空間は、画像の異なるぼかされた(平滑化された)バージョンを備える可能性がある1502。尺度空間の差画像が、(尺度空間からの)画像の2つの異なる平滑化されたバージョンの間の差をとることによって生成され得る1504。このプロセスが、複数の尺度空間の差画像を得るために画像の複数のその他の(例えば、隣り合う)平滑化されたバージョンに対して繰り返されることができる。尺度空間の差を形成する複数の尺度空間の差画像。
なお、本願の出願当初の請求項と同一の記載を以下に付記する。
[C1] 画像の特徴検出デバイスで動作する方法であって、
画像の2つの異なる平滑化されたバージョンの間の差をとることによって尺度空間の差画像を生成することと、
前記画像の第3の平滑化されたバージョンによって前記尺度空間の差画像を割ることによって正規化された尺度空間の差画像を生成することであって、前記画像の前記第3の平滑化されたバージョンが、前記画像の前記2つの異なる平滑化されたバージョンのうちで最も平滑なものと同じだけ平滑であるか、またはそれよりも平滑である、生成することと、
前記画像に関する1つまたは複数の特徴を検出するために、前記正規化された尺度空間の差画像を用いることとを備える、方法。
[C2] 前記画像の複数の平滑化されたバージョンを得るために、前記画像を異なるスケーリング幅の複数の平滑化カーネルと畳み込むことであって、前記複数の平滑化されたバージョンが、尺度空間ピラミッドを定義する、畳み込むことをさらに備えるC1に記載の方法。
[C3] 前記画像の前記2つの異なる平滑化されたバージョンが、前記平滑化された尺度空間ピラミッド内の隣り合うレベルであるC2に記載の方法。
[C4] 前記画像の異なる平滑化されたバージョンの対の間の差をとることによって尺度空間の差を生成することであって、前記尺度空間の差画像が、前記尺度空間の差の一部を形成する、生成することをさらに備えるC2に記載の方法。
[C5] 前記画像の異なる平滑化されたバージョンの前記対が、前記平滑化された尺度空間ピラミッド内の隣り合うレベルであるC4に記載の方法。
[C6] 前記画像の前記第3の平滑化されたバージョンが、前記画像の前記2つの異なる平滑化されたバージョンのスケールのうちでより大きい方と同じか、またはそれよりも広いスケールを有するC2に記載の方法。
[C7] 前記正規化された尺度空間の差画像内の局所的極値を検出することによって前記正規化された尺度空間の差を用いて前記画像に関する前記1つまたは複数の特徴を特定することをさらに備えるC1に記載の方法。
[C8] 各特長が、キーポイントと、前記キーポイントを囲むポイントについての情報とを含むC7に記載の方法。
[C9] 特定された前記1つまたは複数の特徴に基づいて前記画像に関する記述子を生成することをさらに備えるC1に記載の方法。
[C10] 画像の2つの異なる平滑化されたバージョンの間の差をとることによって尺度空間の差画像を生成するように適合された尺度空間の差生成器と、
前記画像の第3の平滑化されたバージョンによって前記尺度空間の差画像を割ることによって正規化された尺度空間の差画像を生成するように適合された尺度空間の差生成器正規化器であって、前記画像の前記第3の平滑化されたバージョンが、前記画像の前記2つの異なる平滑化されたバージョンのうちで最も平滑なものと同じだけ平滑であるか、またはそれよりも平滑である、尺度空間の差生成器正規化器と、
前記画像に関する1つまたは複数の特徴を検出するために、前記正規化された尺度空間の差画像を使用するように適合された特徴検出器とを備える画像の特徴検出デバイス。
[C11] 前記画像の複数の平滑化されたバージョンを得るために、前記画像を異なるスケーリング幅の複数の平滑化カーネルと畳み込むように適合された尺度空間生成器であって、前記複数の平滑化されたバージョンが、尺度空間ピラミッドを定義する、尺度空間生成器をさらに備えるC10に記載の画像の特徴検出デバイス。
[C12] 前記画像の前記2つの異なる平滑化されたバージョンが、前記平滑化された尺度空間ピラミッド内の隣り合うレベルであるC11に記載の画像の特徴検出デバイス。
[C13] 前記尺度空間の差生成器が、前記画像の異なる平滑化されたバージョンの対の間の差をとることによって尺度空間の差を生成するように適合され、前記尺度空間の差画像が、前記尺度空間の差の一部を形成するC11に記載の画像の特徴検出デバイス。
[C14] 前記画像の異なる平滑化されたバージョンの前記対が、前記平滑化された尺度空間ピラミッド内の隣り合うレベルであるC13に記載の画像の特徴検出デバイス。
[C15] 前記画像の前記第3の平滑化されたバージョンが、前記画像の前記2つの異なる平滑化されたバージョンのスケールのうちでより大きい方と同じか、またはそれよりも広いスケールを有するC11に記載の画像の特徴検出デバイス。
[C16] 前記特徴検出器が、前記正規化された尺度空間の差画像内の局所的極値を検出することによって前記正規化された尺度空間の差を用いて前記画像に関する特徴を特定するように適合されるC10に記載の画像の特徴検出デバイス。
[C17] 特定された前記1つまたは複数の特徴に基づいて前記画像に関する記述子を生成するように適合された特徴記述子生成器をさらに備えるC10に記載の画像の特徴検出デバイス。
[C18] 画像の2つの異なる平滑化されたバージョンの間の差をとることによって尺度空間の差画像を生成するための手段と、
前記画像の第3の平滑化されたバージョンによって前記尺度空間の差画像を割ることによって正規化された尺度空間の差画像を生成するための手段であって、前記画像の前記第3の平滑化されたバージョンが、前記画像の前記2つの異なる平滑化されたバージョンのうちで最も平滑なものと同じだけ平滑であるか、またはそれよりも平滑である、生成するための手段と、
前記画像に関する1つまたは複数の特徴を検出するために、前記正規化された尺度空間の差画像を使用するための手段とを備える画像の特徴検出デバイス。
[C19] 前記画像の複数の平滑化されたバージョンを得るために、前記画像を異なるスケーリング幅の複数の平滑化カーネルと畳み込むための手段であって、前記複数の平滑化されたバージョンが、尺度空間ピラミッドを定義する、畳み込むための手段をさらに備えるC18に記載の画像の特徴検出デバイス。
[C20] 前記画像の異なる平滑化されたバージョンの対の間の差をとることによって尺度空間の差を生成するための手段であって、前記尺度空間の差画像が、前記尺度空間の差の一部を形成する、生成するための手段をさらに備えるC19に記載の画像の特徴検出デバイス。
[C21] 前記画像の異なる平滑化されたバージョンの前記対が、平滑化された尺度空間ピラミッド内の隣り合うレベルであるC20に記載の画像の特徴検出デバイス。
[C22] 前記正規化された尺度空間の差画像内の局所的極値を検出することによって前記正規化された尺度空間の差を用いて前記画像に関する前記1つまたは複数の特徴を特定するための手段をさらに備えるC18に記載の画像の特徴検出デバイス。
[C23] 特定された前記1つまたは複数の特徴に基づいて前記画像に関する記述子を生成するための手段をさらに備えるC18に記載の画像の特徴検出デバイス。
[C24] プロセッサによって実行されるときに、前記プロセッサに、
画像の2つの異なる平滑化されたバージョンの間の差をとることによって尺度空間の差画像を生成させ、
前記画像の第3の平滑化されたバージョンによって前記尺度空間の差画像を割ることによって正規化された尺度空間の差画像を生成させ、
前記画像に関する1つまたは複数の特徴を検出するために、前記正規化された尺度空間の差画像を使用させ、前記画像の前記第3の平滑化されたバージョンが、前記画像の前記2つの異なる平滑化されたバージョンのうちで最も平滑なものと同じだけ平滑であるか、またはそれよりも平滑である、画像の特徴検出デバイス上で動作する1つまたは複数の命令を有するプロセッサ可読媒体。
[C25] プロセッサによって実行されるときに、前記プロセッサに、さらに、
前記画像の複数の平滑化されたバージョンを得るために、前記画像を異なるスケーリング幅の複数の平滑化カーネルと畳み込ませ、前記複数の平滑化されたバージョンが、尺度空間ピラミッドを定義する1つまたは複数の命令を有するC24に記載のプロセッサ可読媒体。
[C26] プロセッサによって実行されるときに、前記プロセッサに、さらに、
前記画像の異なる平滑化されたバージョンの対の間の差をとることによって尺度空間の差を生成させ、前記尺度空間の差画像が、前記尺度空間の差の一部を形成する1つまたは複数の命令を有するC25に記載のプロセッサ可読媒体。
[C27] プロセッサによって実行されるときに、前記プロセッサに、さらに、
前記正規化された尺度空間の差画像内の局所的極値を検出することによって前記正規化された尺度空間の差を用いて前記画像に関する前記1つまたは複数の特徴を特定させる1つまたは複数の命令を有するC24に記載のプロセッサ可読媒体。
[C28] プロセッサによって実行されるときに、前記プロセッサに、さらに、
特定された前記1つまたは複数の特徴に基づいて前記画像に関する記述子を生成させる1つまたは複数の命令を有するC24に記載のプロセッサ可読媒体。
Claims (28)
- 画像の特徴検出デバイスで動作する方法であって、
画像の2つの異なる平滑化されたバージョンの間の差をとることによって尺度空間の差画像を生成することと、
前記画像の第3の平滑化されたバージョンによって前記尺度空間の差画像を割ることによって正規化された尺度空間の差画像を生成することであって、前記画像の前記第3の平滑化されたバージョンが、前記画像の前記2つの異なる平滑化されたバージョンのうちで最も平滑なものと同じだけ平滑であるか、またはそれよりも平滑である、生成することと、
前記画像に関する1つまたは複数の特徴を検出するために、前記正規化された尺度空間の差画像を用いることとを備える、方法。 - 前記画像の複数の平滑化されたバージョンを得るために、前記画像を異なるスケーリング幅の複数の平滑化カーネルと畳み込むことであって、前記複数の平滑化されたバージョンが、尺度空間ピラミッドを定義する、畳み込むことをさらに備える請求項1に記載の方法。
- 前記画像の前記2つの異なる平滑化されたバージョンが、前記平滑化された尺度空間ピラミッド内の隣り合うレベルである請求項2に記載の方法。
- 前記画像の異なる平滑化されたバージョンの対の間の差をとることによって尺度空間の差を生成することであって、前記尺度空間の差画像が、前記尺度空間の差の一部を形成する、生成することをさらに備える請求項2に記載の方法。
- 前記画像の異なる平滑化されたバージョンの前記対が、前記平滑化された尺度空間ピラミッド内の隣り合うレベルである請求項4に記載の方法。
- 前記画像の前記第3の平滑化されたバージョンが、前記画像の前記2つの異なる平滑化されたバージョンのスケールのうちでより大きい方と同じか、またはそれよりも広いスケールを有する請求項2に記載の方法。
- 前記正規化された尺度空間の差画像内の局所的極値を検出することによって前記正規化された尺度空間の差を用いて前記画像に関する前記1つまたは複数の特徴を特定することをさらに備える請求項1に記載の方法。
- 各特徴が、キーポイントと、前記キーポイントを囲むポイントについての情報とを含む請求項7に記載の方法。
- 特定された前記1つまたは複数の特徴に基づいて前記画像に関する記述子を生成することをさらに備える請求項1に記載の方法。
- 画像の2つの異なる平滑化されたバージョンの間の差をとることによって尺度空間の差画像を生成するように適合された尺度空間の差生成器と、
前記画像の第3の平滑化されたバージョンによって前記尺度空間の差画像を割ることによって正規化された尺度空間の差画像を生成するように適合された尺度空間の差生成器正規化器であって、前記画像の前記第3の平滑化されたバージョンが、前記画像の前記2つの異なる平滑化されたバージョンのうちで最も平滑なものと同じだけ平滑であるか、またはそれよりも平滑である、尺度空間の差生成器正規化器と、
前記画像に関する1つまたは複数の特徴を検出するために、前記正規化された尺度空間の差画像を使用するように適合された特徴検出器とを備える画像の特徴検出デバイス。 - 前記画像の複数の平滑化されたバージョンを得るために、前記画像を異なるスケーリング幅の複数の平滑化カーネルと畳み込むように適合された尺度空間生成器であって、前記複数の平滑化されたバージョンが、尺度空間ピラミッドを定義する、尺度空間生成器をさらに備える請求項10に記載の画像の特徴検出デバイス。
- 前記画像の前記2つの異なる平滑化されたバージョンが、前記平滑化された尺度空間ピラミッド内の隣り合うレベルである請求項11に記載の画像の特徴検出デバイス。
- 前記尺度空間の差生成器が、前記画像の異なる平滑化されたバージョンの対の間の差をとることによって尺度空間の差を生成するように適合され、前記尺度空間の差画像が、前記尺度空間の差の一部を形成する請求項11に記載の画像の特徴検出デバイス。
- 前記画像の異なる平滑化されたバージョンの前記対が、前記平滑化された尺度空間ピラミッド内の隣り合うレベルである請求項13に記載の画像の特徴検出デバイス。
- 前記画像の前記第3の平滑化されたバージョンが、前記画像の前記2つの異なる平滑化されたバージョンのスケールのうちでより大きい方と同じか、またはそれよりも広いスケールを有する請求項11に記載の画像の特徴検出デバイス。
- 前記特徴検出器が、前記正規化された尺度空間の差画像内の局所的極値を検出することによって前記正規化された尺度空間の差を用いて前記画像に関する特徴を特定するように適合される請求項10に記載の画像の特徴検出デバイス。
- 特定された前記1つまたは複数の特徴に基づいて前記画像に関する記述子を生成するように適合された特徴記述子生成器をさらに備える請求項10に記載の画像の特徴検出デバイス。
- 画像の2つの異なる平滑化されたバージョンの間の差をとることによって尺度空間の差画像を生成するための手段と、
前記画像の第3の平滑化されたバージョンによって前記尺度空間の差画像を割ることによって正規化された尺度空間の差画像を生成するための手段であって、前記画像の前記第3の平滑化されたバージョンが、前記画像の前記2つの異なる平滑化されたバージョンのうちで最も平滑なものと同じだけ平滑であるか、またはそれよりも平滑である、生成するための手段と、
前記画像に関する1つまたは複数の特徴を検出するために、前記正規化された尺度空間の差画像を使用するための手段とを備える画像の特徴検出デバイス。 - 前記画像の複数の平滑化されたバージョンを得るために、前記画像を異なるスケーリング幅の複数の平滑化カーネルと畳み込むための手段であって、前記複数の平滑化されたバージョンが、尺度空間ピラミッドを定義する、畳み込むための手段をさらに備える請求項18に記載の画像の特徴検出デバイス。
- 前記画像の異なる平滑化されたバージョンの対の間の差をとることによって尺度空間の差を生成するための手段であって、前記尺度空間の差画像が、前記尺度空間の差の一部を形成する、生成するための手段をさらに備える請求項19に記載の画像の特徴検出デバイス。
- 前記画像の異なる平滑化されたバージョンの前記対が、平滑化された尺度空間ピラミッド内の隣り合うレベルである請求項20に記載の画像の特徴検出デバイス。
- 前記正規化された尺度空間の差画像内の局所的極値を検出することによって前記正規化された尺度空間の差を用いて前記画像に関する前記1つまたは複数の特徴を特定するための手段をさらに備える請求項18に記載の画像の特徴検出デバイス。
- 特定された前記1つまたは複数の特徴に基づいて前記画像に関する記述子を生成するための手段をさらに備える請求項18に記載の画像の特徴検出デバイス。
- プロセッサによって実行されるときに、前記プロセッサに、
画像の2つの異なる平滑化されたバージョンの間の差をとることによって尺度空間の差画像を生成させ、
前記画像の第3の平滑化されたバージョンによって前記尺度空間の差画像を割ることによって正規化された尺度空間の差画像を生成させ、
前記画像に関する1つまたは複数の特徴を検出するために、前記正規化された尺度空間の差画像を使用させ、前記画像の前記第3の平滑化されたバージョンが、前記画像の前記2つの異なる平滑化されたバージョンのうちで最も平滑なものと同じだけ平滑であるか、またはそれよりも平滑である、画像の特徴検出デバイス上で動作する1つまたは複数の命令を有するプロセッサ可読媒体。 - プロセッサによって実行されるときに、前記プロセッサに、さらに、
前記画像の複数の平滑化されたバージョンを得るために、前記画像を異なるスケーリング幅の複数の平滑化カーネルと畳み込ませ、前記複数の平滑化されたバージョンが、尺度空間ピラミッドを定義する1つまたは複数の命令を有する請求項24に記載のプロセッサ可読媒体。 - プロセッサによって実行されるときに、前記プロセッサに、さらに、
前記画像の異なる平滑化されたバージョンの対の間の差をとることによって尺度空間の差を生成させ、前記尺度空間の差画像が、前記尺度空間の差の一部を形成する1つまたは複数の命令を有する請求項25に記載のプロセッサ可読媒体。 - プロセッサによって実行されるときに、前記プロセッサに、さらに、
前記正規化された尺度空間の差画像内の局所的極値を検出することによって前記正規化された尺度空間の差を用いて前記画像に関する前記1つまたは複数の特徴を特定させる1つまたは複数の命令を有する請求項24に記載のプロセッサ可読媒体。 - プロセッサによって実行されるときに、前記プロセッサに、さらに、
特定された前記1つまたは複数の特徴に基づいて前記画像に関する記述子を生成させる1つまたは複数の命令を有する請求項24に記載のプロセッサ可読媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US29343710P | 2010-01-08 | 2010-01-08 | |
US61/293,437 | 2010-01-08 | ||
US12/986,607 | 2011-01-07 | ||
US12/986,607 US8582889B2 (en) | 2010-01-08 | 2011-01-07 | Scale space normalization technique for improved feature detection in uniform and non-uniform illumination changes |
PCT/US2011/020613 WO2011085277A1 (en) | 2010-01-08 | 2011-01-08 | Scale space normalization technique for improved feature detection in uniform and non-uniform illumination changes |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013516709A JP2013516709A (ja) | 2013-05-13 |
JP5503018B2 true JP5503018B2 (ja) | 2014-05-28 |
Family
ID=44258568
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012548197A Expired - Fee Related JP5503018B2 (ja) | 2010-01-08 | 2011-01-08 | 一様なおよび一様でない照明の変化の中での特徴検出を改善するための尺度空間正規化技術 |
Country Status (8)
Country | Link |
---|---|
US (1) | US8582889B2 (ja) |
EP (1) | EP2521990A1 (ja) |
JP (1) | JP5503018B2 (ja) |
KR (1) | KR101420551B1 (ja) |
CN (1) | CN102713938B (ja) |
BR (1) | BR112012016654A2 (ja) |
TW (1) | TW201142718A (ja) |
WO (1) | WO2011085277A1 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8965130B2 (en) * | 2010-11-09 | 2015-02-24 | Bar-Ilan University | Flexible computer vision |
JP5820236B2 (ja) * | 2011-10-28 | 2015-11-24 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
CN103186762A (zh) * | 2011-12-28 | 2013-07-03 | 天津市亚安科技股份有限公司 | 基于surf特征匹配算法的车牌字符识别方法 |
US9031326B2 (en) * | 2012-02-16 | 2015-05-12 | Sony Corporation | System and method for effectively performing an image categorization procedure |
US9202108B2 (en) * | 2012-04-13 | 2015-12-01 | Nokia Technologies Oy | Methods and apparatuses for facilitating face image analysis |
ITTO20120602A1 (it) | 2012-07-09 | 2014-01-10 | Sisvel Technology Srl | Method for transforming an image descriptor based on a gradient histogram and relative image processing apparatus. |
JP5651659B2 (ja) * | 2012-08-31 | 2015-01-14 | 株式会社東芝 | 物体検出システムおよびプログラム |
JP5633550B2 (ja) * | 2012-09-05 | 2014-12-03 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
ITMI20131244A1 (it) * | 2013-07-24 | 2015-01-25 | Telecom Italia Spa | Identificazione di keypoint |
KR102018046B1 (ko) * | 2014-02-24 | 2019-09-04 | 한국전자통신연구원 | 이미지 특징 추출 장치 및 방법 |
US9576218B2 (en) * | 2014-11-04 | 2017-02-21 | Canon Kabushiki Kaisha | Selecting features from image data |
KR102302621B1 (ko) * | 2015-03-09 | 2021-09-16 | 한국전자통신연구원 | 고차 라플라시안 오브 가우시안 커널을 이용한 이미지의 특징점 추출 장치 및 방법 |
US9613273B2 (en) * | 2015-05-19 | 2017-04-04 | Toyota Motor Engineering & Manufacturing North America, Inc. | Apparatus and method for object tracking |
TW201727537A (zh) * | 2016-01-22 | 2017-08-01 | 鴻海精密工業股份有限公司 | 人臉識別系統及人臉識別方法 |
US10325351B2 (en) * | 2016-03-11 | 2019-06-18 | Qualcomm Technologies, Inc. | Systems and methods for normalizing an image |
US9977994B2 (en) | 2016-06-30 | 2018-05-22 | Apple Inc. | Configurable histogram-of-oriented gradients (HOG) processor |
US20190205693A1 (en) * | 2017-12-28 | 2019-07-04 | MorphoTrak, LLC | Scale-Invariant Feature Point Extraction in Edge Map |
CN108269244B (zh) * | 2018-01-24 | 2021-07-06 | 东北大学 | 一种基于深度学习和先验约束的图像去雾系统 |
CN109271905B (zh) * | 2018-09-03 | 2021-11-19 | 东南大学 | 一种基于单帧图像的黑烟车检测方法 |
KR102444544B1 (ko) | 2019-05-24 | 2022-09-19 | 한국전자통신연구원 | 영상의 전처리 방법 및 장치 |
CN110598578A (zh) * | 2019-08-23 | 2019-12-20 | 腾讯云计算(北京)有限责任公司 | 身份识别方法、身份识别系统的训练方法、装置及设备 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0424781A (ja) * | 1990-05-15 | 1992-01-28 | Canon Inc | 文書処理装置 |
US20050047647A1 (en) * | 2003-06-10 | 2005-03-03 | Ueli Rutishauser | System and method for attentional selection |
US7706603B2 (en) | 2005-04-19 | 2010-04-27 | Siemens Corporation | Fast object detection for augmented reality systems |
JP4459137B2 (ja) | 2005-09-07 | 2010-04-28 | 株式会社東芝 | 画像処理装置及びその方法 |
US7940994B2 (en) | 2005-11-15 | 2011-05-10 | Teledyne Licensing, Llc | Multi-scale image fusion |
US8233716B2 (en) * | 2008-06-27 | 2012-07-31 | Palo Alto Research Center Incorporated | System and method for finding stable keypoints in a picture image using localized scale space properties |
CN101329767B (zh) * | 2008-07-11 | 2011-11-16 | 西安交通大学 | 基于学习的视频中显著物体序列自动检测方法 |
US8363973B2 (en) * | 2008-10-01 | 2013-01-29 | Fuji Xerox Co., Ltd. | Descriptor for image corresponding point matching |
US8004576B2 (en) * | 2008-10-31 | 2011-08-23 | Digimarc Corporation | Histogram methods and systems for object recognition |
US20100303354A1 (en) * | 2009-06-01 | 2010-12-02 | Qualcomm Incorporated | Efficient coding of probability distributions for image feature descriptors |
-
2011
- 2011-01-07 US US12/986,607 patent/US8582889B2/en not_active Expired - Fee Related
- 2011-01-08 EP EP11700709A patent/EP2521990A1/en not_active Ceased
- 2011-01-08 BR BR112012016654A patent/BR112012016654A2/pt not_active IP Right Cessation
- 2011-01-08 WO PCT/US2011/020613 patent/WO2011085277A1/en active Application Filing
- 2011-01-08 CN CN201180005496.6A patent/CN102713938B/zh not_active Expired - Fee Related
- 2011-01-08 JP JP2012548197A patent/JP5503018B2/ja not_active Expired - Fee Related
- 2011-01-08 KR KR1020127020776A patent/KR101420551B1/ko active IP Right Grant
- 2011-01-10 TW TW100100837A patent/TW201142718A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
KR101420551B1 (ko) | 2014-07-16 |
BR112012016654A2 (pt) | 2018-05-15 |
TW201142718A (en) | 2011-12-01 |
JP2013516709A (ja) | 2013-05-13 |
US8582889B2 (en) | 2013-11-12 |
CN102713938B (zh) | 2015-05-13 |
US20110170780A1 (en) | 2011-07-14 |
KR20120116970A (ko) | 2012-10-23 |
EP2521990A1 (en) | 2012-11-14 |
CN102713938A (zh) | 2012-10-03 |
WO2011085277A1 (en) | 2011-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5503018B2 (ja) | 一様なおよび一様でない照明の変化の中での特徴検出を改善するための尺度空間正規化技術 | |
JP5714599B2 (ja) | イメージ認識のための記述子パッチの高速部分空間射影 | |
JP5384746B2 (ja) | プルーニング機能、画像スケーリング、および、空間制約付き特徴マッチングによる画像認識アルゴリズムの性能の改善 | |
JP5602940B2 (ja) | 事前計算されたスケール空間からのデイジー記述子生成 | |
JP5247646B2 (ja) | 特徴記述子ベクトル生成方法、システムおよびプログラム | |
KR101117837B1 (ko) | 멀티 스케일 지향 패치를 이용한 멀티 이미지 특징 매칭 | |
CN106981077B (zh) | 基于dce和lss的红外图像和可见光图像配准方法 | |
Khmag et al. | Natural image noise removal using nonlocal means and hidden Markov models in transform domain | |
US20110085728A1 (en) | Detecting near duplicate images | |
US20190287550A1 (en) | Method and apparatus for sound event detection robust to frequency change | |
JP5431362B2 (ja) | 画像識別のための特徴ベースの識別特性(signature) | |
Shyam et al. | Lightweight hdr camera isp for robust perception in dynamic illumination conditions via fourier adversarial networks | |
KR101166722B1 (ko) | 이미지 검색을 위한 국부적 색변화 기반 관심점 검출과 디스크립터 생성 방법 및 그 기록매체 | |
CN111768436B (zh) | 一种基于Faster-RCNN改进的图像特征块配准方法 | |
Ahmed et al. | Blind copy-move forgery detection using SVD and KS test | |
Mahalakshmi et al. | Improved Copy move forgery detection approach-A Comparative study | |
Dong et al. | GPU Accelerated Processing Method for Feature Point Extraction and Matching in Satellite SAR Images | |
GB2393062A (en) | Image transmission system and method for determining regions of interest in an image transmission | |
Iordache | Enforcing Invariance Constraints in Medical Imaging to Detect Heart Fibrillation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130809 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130820 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131024 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140313 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5503018 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |