JP6876094B2 - 画像内の極値点のサブピクセル位置を推定する方法、デバイス、およびシステム - Google Patents
画像内の極値点のサブピクセル位置を推定する方法、デバイス、およびシステム Download PDFInfo
- Publication number
- JP6876094B2 JP6876094B2 JP2019099155A JP2019099155A JP6876094B2 JP 6876094 B2 JP6876094 B2 JP 6876094B2 JP 2019099155 A JP2019099155 A JP 2019099155A JP 2019099155 A JP2019099155 A JP 2019099155A JP 6876094 B2 JP6876094 B2 JP 6876094B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- pixels
- point
- parametric function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 76
- 230000008569 process Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 description 106
- 230000000875 corresponding effect Effects 0.000 description 31
- 238000012887 quadratic function Methods 0.000 description 9
- 230000004807 localization Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000009499 grossing Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Description
a)画像内の近傍ピクセルのグループを選択することであって、近傍ピクセルのグループ内のピクセル数が、パラメトリック関数を定義するパラメータ数よりも大きい、近傍ピクセルのグループを選択することと、
b)近傍ピクセルのグループのピクセル値にパラメトリック関数を適合することであって、パラメトリック関数が、近傍ピクセルのグループのピクセル値を空間位置の関数として近似する、パラメトリック関数を適合することと、
c)パラメトリック関数の極値点の空間位置を識別することであって、パラメトリック関数の極値点が、極大点、極小点、または鞍点であるタイプである、極値点の空間位置を識別することと、
d)パラメトリック関数の極値点が、画像内の極値点と同一タイプであるか、あるいは異なるタイプであるか、およびパラメトリック関数の極値点の位置が、画像内の近傍ピクセルのグループのピクセル位置によって定義される領域内に位置するか、あるいは領域外に位置するかをチェックすること、ならびに、
パラメトリック関数の極値点が画像内の極値点とは異なるタイプであるか、またはパラメトリック関数の極値点の位置が前記領域外に位置する場合に、
近傍ピクセルのグループからピクセルを除去すること、ならびに、
近傍ピクセルのグループ内のピクセル数が、パラメトリック関数を定義するパラメータ数よりも依然として大きいか、または等しい場合、ステップb)、c)、およびd)を繰り返すことと、
e)画像内の極値点のサブピクセル位置を、パラメトリック関数の極値点の空間位置として推定することと、
f)推定されたサブピクセル位置を、ステップb)、c)、およびd)の反復数に対応する不確実性レベルに関連付けることと、を含む、方法によって達成される。
f(x,y)=Ax2+By2+Cxy+Dx+Ey+F
2次元2次関数は、6個のパラメータによって記述される。したがって、パラメトリック関数は、近傍ピクセルのグループ内に少なくとも6個のピクセルが存在する限り、近傍ピクセルのグループのピクセル値に適合され得る。このパラメトリック関数は、閉形式の式を用いて近傍ピクセルのグループのピクセル値に適合され得るということにおいて有利である。したがって、それは計算上効率的な選択である。しかしながら、他のパラメトリック関数が、その利点をなおも達成しつつ使用されてもよいと理解されるべきである。
画像のステレオペアの第1の画像内の複数のピクセルに対応する3次元空間内の複数の点を計算することであって、3次元空間内の各点が、第1の画像内の対応するピクセルの位置、および第1の画像内のピクセルに最も合致する第2の画像内のサブピクセル位置を用いて計算される、3次元空間内の複数の点を計算することと、
3次元空間内の複数の点に3次元物体テンプレートを適合することであって、3次元物体テンプレートが、場面内の物体と同一タイプである物体の外形を定義する、3次元物体テンプレートを適合することと、をさらに含んでもよく、
3次元物体テンプレートを適合するステップにおいて、高い不確実性レベルを有するサブピクセル位置から計算される3次元空間内の点が、低い不確実性レベルを有するサブピクセル位置から計算される3次元空間内の点よりも低い重みを与えられる。
a)画像内の近傍ピクセルのグループを選択し、近傍ピクセルのグループ内のピクセル数が、パラメトリック関数を定義するパラメータ数よりも大きく、
b)近傍ピクセルのグループのピクセル値にパラメトリック関数を適合し、
c)パラメトリック関数の極値点の位置を識別し、パラメトリック関数の極値点が、極大点、極小点、または鞍点であるタイプであり、
d)パラメトリック関数の極値点が、画像内の極値点と同一タイプであるか、あるいは異なるタイプであるか、およびパラメトリック関数の極値点の位置が、画像内の近傍ピクセルのグループのピクセル位置によって定義される領域内に位置するか、あるいは領域外に位置するかをチェックし、ならびに、
パラメトリック関数の極値点が、画像内の極値点とは異なるタイプであるか、またはパラメトリック関数の極値点の位置が、前記領域外に位置する場合に、
近傍ピクセルのグループからピクセルを除去し、ならびに、
近傍ピクセルのグループ内のピクセル数が、パラメトリック関数を定義するパラメータ数よりも依然として大きいか、または等しい場合、ステップb)、c)、およびd)を繰り返し、
e)画像内の極値点のサブピクセル位置を、パラメトリック関数の極値点の位置として推定し、
f)推定されたサブピクセル位置を、ステップb)、c)、およびd)の反復数に対応する不確実性レベルに関連付けるように構成される、プロセッサを備えるデバイスによって達成される。
画像のステレオペアの第1の画像をキャプチャするように構成される、第1の画像センサと、
画像のステレオペアの第2の画像をキャプチャするように構成される、第2の画像センサと、
第2の態様によるデバイスと、
第1の画像内のピクセルの近傍のピクセル値を、画像のステレオペアの第2の画像内のピクセル値とマッチングすることによって、画像のステレオペアから相関マップを生成し、
パラメトリック関数を用いてノイズが存在する相関マップ内の極値点のサブピクセル位置を、デバイスに推定させるように、デバイスへの入力として、相関マップを提供するように構成されるプロセッサと、
を含むステレオカメラシステムが提供される。
近傍ピクセルのグループ402内のピクセル位置は、領域407を定義する。領域407は、グループ内のピクセルのピクセル位置にかかっている。言い換えると、領域407は、近傍ピクセルのグループ402のピクセル位置の間にある全ての空間的位置を含む。この場合、領域407は、したがって、全ての空間的位置(x,y)を含み、その場合に、|x|<1、かつ|y|<1である。
f(x,y)=Ax2+By2+Cxy+Dx+Ey+F
2次元2次関数は、6個のパラメータによって記述されるため、近傍ピクセルのグループ402内に少なくとも6個のピクセルが存在する限り、パラメトリック関数は、近傍ピクセルのグループ402のピクセル値403に適合され得る。
A+B+C−D−E+F=z1
B−E+F=z2
A+B−C+D−E+F=z3
A−D+F=z4
F=z5
A+D+F=z6
A+B−C−D+E+F=z7
B+E+F=z8
A+B+C+D+E+F=z9
未知数よりも多くの方程式が存在するため、この方程式系は優決定系である。解を見つけるために、最小二乗法が使用されてもよい。これは、近傍ピクセルのグループ402のピクセル値403と、近傍ピクセルのグループ402のピクセルの位置において評価されたパラメトリック関数404との間の二乗された差の合計を最小化することを含む。言い換えると、解は、最小二乗の意味において、以下の最小二乗対象を最小化することによって見つけられ得る。
Θ(A,B,C,D,E,F)=(A+B+C−D−E+F−z1)2
+(B−E+F−z2)2
+(A+B−C+D−E+F−z3)2
+(A−D+F−z4)2
+(F−z5)2
+(A+D+F−z6)2
+(A+B−C−D+E+F−z7)2
+(B+E+F−z8)2
+(A+B+C+D+E+F−z9)2
偏導関数
、
、
、
、
を見つけること、およびそれぞれをゼロに設定することによって、明示的に解かれ得る方程式系につながる。この場合、解は、
である。その結果、方程式系を解いてパラメータを見つけることは、近傍ピクセルのグループ402のピクセル値(z1,z2,z3,z4,z5,z6,z7,z8,z9)の線形結合を形成することを含む。線形結合の係数は、予め計算され、デバイス100内、例えば、メモリ104内に記憶されることが好ましい。
および
がゼロに等しい点を意味する。言い換えると、極値点とは、パラメトリック関数404の停留点を意味する。パラメトリック関数404が上述の2次元2次方程式である場合、その極値点の空間位置(x*,y*)は、以下に等しい。
、fxx<0、およびfyy<0であるときである。ここで、
、
、
である。2次元2次関数については、fxx=2A、fyy=2B、およびfxy=Cである。よって、2次元2次関数について、プロセッサ102は、極値点406が、極大点であるかどうかを以下の条件をチェックすることによってチェックし得る。
4AB−C2>0
2A<0
2B<0
極小についての対応する条件は、
、fxx>0、およびfyy>0であり、2次元2次関数については、以下のようになる。
4AB−C2<0
2A>0
2B>0
図4bの例において、プロセッサ102は、極値点406が極大点であり、したがって画像400内の極値点と同一タイプであると分かる。パラメトリック関数404が、複数のローカル極値点を有し得る場合、プロセッサは、極値点406が、画像内の極値点と同一タイプである、パラメトリック関数の単一グローバル極値点であるかどうかもチェックしてもよい。
から分かるk*(i)は、近傍ピクセルのグループ402から除去されるべきピクセルである。これが、図4bの例に適用される場合、プロセッサは、k*(i)=4に到達し、よって、続けて図4bにおける数403bを有するピクセル値に対応するピクセル値z4を除去する。プロセッサ102は、配列からインデックスk*(i)を除去することによって、次の反復のために配列をさらに更新してもよい。したがって、k*(i)=4の場合、新たな配列は、長さK=7のk=[1,2,3,6,7,8,9]となる。
を含む。例えば、k*(i)=4の場合、最小化するための最小二乗対象は、ここで、
Θ(A,B,C,D,E,F)=(A+B+C−D−E+F−z1)2
+(B−E+F−z2)2
+(A+B−C+D−E+F−z3)2
+(F−z5)2
+(A+D+F−z6)2
+(A+B−C−D+E+F−z7)2
+(B+E+F−z8)2
+(A+B+C+D+E+F−z9)2
となる。ここでも、方程式系は、前述したのと同一の方法論で明示的に解かれ得る。この段階において、1つのピクセルが除去されると、近傍ピクセルのグループ402には8個のピクセルが残っている。よって、どのピクセルが除去されたかによって、解くための
個の可能な方程式系が存在する。これらの8個の可能な方程式系のそれぞれの解が、デバイス100内に予め記憶されていることが好ましい。
個の可能な方程式系が存在する。ここでも、これらの28個の方程式系に対する解が、デバイス100内に予め記憶されていることが好ましい。方法がさらなるピクセルを除去する場合、適合の次の段階において、
個の可能な方程式系が存在し、この方程式系に対する解が、デバイス100内に予め記憶されていることが好ましい。したがって、この例において、デバイス100は、1+8+28+56=93個の方程式系に対する解を予め記憶することが好ましい。
102 プロセッサ
104 メモリ
200 ステレオカメラシステム
202 第1の画像センサ
203 第1の画像
204 第2の画像センサ
205 第2の画像
206 マッチングコンポーネント
207 相関マップ
400 画像
402 近傍ピクセルのグループ
403 ピクセル値
404 パラメトリック関数
405b 空間位置
405d 空間位置
406 極値点
407 領域
500 物体
502a ピクセル
502b ピクセル
502c ピクセル
502d ピクセル
504a サブピクセル位置
504b サブピクセル位置
504c サブピクセル位置
504d サブピクセル位置
506a 点
506b 点
506c 点
506d 点
508 物体テンプレート
Claims (15)
- デバイス(100)において実行される、パラメトリック関数(404)を用いてノイズが存在する画像(400)内の極値点のサブピクセル位置を推定する方法であって、前記画像(400)内の前記極値点が、極大点または極小点のいずれかのタイプであり、前記方法が、
a)前記画像(400)内の近傍ピクセルのグループ(402)を選択すること(S02)であって、前記近傍ピクセルのグループ(402)内のピクセル数が、前記パラメトリック関数(404)を定義するパラメータ数よりも大きい、近傍ピクセルのグループ(402)を選択すること(S02)と、
b)前記近傍ピクセルのグループ(402)のピクセル値(403)に前記パラメトリック関数(404)を適合すること(S04)であって、前記パラメトリック関数(404)が、前記近傍ピクセルのグループ(402)の前記ピクセル値(403)を空間位置の関数として近似する、前記パラメトリック関数(404)を適合すること(S04)と、
c)前記パラメトリック関数(404)の極値点(406)の空間位置(405b、405d)を識別すること(S06)であって、前記パラメトリック関数(404)の前記極値点(406)が、極大点、極小点、または鞍点であるタイプである、極値点(406)の空間位置(405b、405d)を識別すること(S06)と、
d)前記パラメトリック関数(404)の前記極値点(406)が、前記画像(400)内の前記極値点と同一タイプであるか、あるいは異なるタイプであるか、および前記パラメトリック関数(404)の前記極値点の前記位置(405b、405d)が、前記画像(400)内の前記近傍ピクセルのグループ(402)のピクセル位置によって定義される領域(407)内に位置するか、あるいは領域(407)外に位置するかをチェックすること(S08a、S08b)、ならびに、
前記パラメトリック関数(404)の前記極値点(406)が前記画像(400)内の前記極値点とは異なるタイプであるか、または前記パラメトリック関数(404)の前記極値点(406)の前記位置(405b、405d)が前記領域(407)外に位置する場合に、
前記近傍ピクセルのグループ(402)から、外れ値を有するピクセルを除去すること(S08c)、ならびに、
前記近傍ピクセルのグループ(402)内の前記ピクセル数が、前記パラメトリック関数(404)を定義する前記パラメータ数よりも依然として大きいか、または等しい場合、ステップb)、c)、およびd)を繰り返すことと、
e)前記画像(400)内の前記極値点の前記サブピクセル位置を、前記パラメトリック関数(404)の前記極値点(406)の前記空間位置(405d)として推定すること(S10)と、
f)前記推定されたサブピクセル位置を、ステップb)、c)、およびd)の反復数に対応する不確実性レベルに関連付けること(S12)と、
を含む、方法。 - 前記画像(400)内の前記極値点が極大点である場合に、前記近傍ピクセルのグループ(402)が、前記画像(400)内の各近傍ピクセルのピクセル値よりも大きいピクセル値(403a)を有する前記画像(400)内のピクセル(402a)を含むように選択され、
前記画像(400)内の前記極値点が極小点である場合に、前記近傍ピクセルのグループ(402)が、前記画像内の各近傍ピクセルのピクセル値よりも小さいピクセル値を有する前記画像(400)内のピクセルを含むように選択される、請求項1に記載の方法。 - ステップb)が、前記パラメトリック関数(404)を定義するパラメータを見つけるために方程式系を解くことを伴い、前記方程式系を解くことが、前記パラメトリック関数(404)を定義する前記パラメータを見つけるために、前記近傍ピクセルのグループ(402)のピクセル値(403)の線形結合を形成することを含み、前記線形結合の係数が前記デバイス(100)に予め記憶される、請求項1または2に記載の方法。
- 前記推定されたサブピクセル位置を処理することをさらに含み、前記推定されたサブピクセル位置に関連付けられた前記不確実性レベルが、前記処理の間、前記推定されたサブピクセル位置に加重するために使用され、より高い不確実性レベルは、より低い不確実性レベルよりも低い重みに対応する、請求項1から3のいずれか一項に記載の方法。
- 前記画像内の前記極値点の前記推定されたサブピクセル位置が、第1の画像(203)内の前記ピクセル(502a、502b、502c、502d)に最も合致する、第2の画像(205)内のサブピクセル位置(504a、504b、504c、504d)に対応するように、前記画像(400)が、画像のステレオペアの前記第1の画像(203)内のピクセルの近傍のピクセル値を、前記画像のステレオペアの前記第2の画像(205)内のピクセル値とマッチングすることによって生成される相関マップ(207)に対応する、請求項1から4のいずれか一項に記載の方法。
- 前記画像のステレオペアの前記第1の画像(203)内の複数のピクセル(502a、502b、502c、502d)のそれぞれについて、
前記ピクセルの近傍のピクセル値を、前記第2の画像(205)内のピクセル値とマッチングすることによって、前記ピクセル(502a、502b、502c、502d)に対応する相関マップ(207)を生成することと、
前記ピクセル(502a、502b、502c、502d)に最も合致する前記第2の画像(205)内のサブピクセル位置(504a、504b、504c、504d)を推定するように、前記ピクセル(502a、502b、502c、502d)に対応する前記相関マップ(207)についてステップa)〜f)を実行することであって、前記第2の画像(205)内の前記サブピクセル位置(504a、504b、504c、504d)が、不確実性レベルに関連付けられている、ステップa)〜f)を実行することと
をさらに含む、請求項5に記載の方法。 - 前記画像のステレオペアの前記第1の画像(203)内の前記複数のピクセル(502a、502b、502c、502d)に対応する前記推定されたサブピクセル位置(504a、504b、504c、504d)を処理することをさらに含み、前記推定されたサブピクセル位置(504a、504b、504c、504d)に関連付けられた前記不確実性レベルが、前記処理の間に重みとして使用され、より高い不確実性レベルに関連付けられたサブピクセル位置から計算される数量は、より低い不確実性レベルに関連付けられたサブピクセル位置から計算される数量よりも低い重みを与えられる、請求項6に記載の方法。
- サブピクセル位置(504a、504b、504c、504d)から計算される前記数量が、前記サブピクセル位置(504a、504b、504c、504d)と前記第1の画像内の対応するピクセル(502a、502b、502c、502d)の位置との間の差として計算される、不均衡値を含む、請求項7に記載の方法。
- サブピクセル位置(504a、504b、504c、504d)から計算される前記数量が、前記サブピクセル位置(504a、504b、504c、504d)および前記第1の画像内の対応するピクセル(502a、502b、502c、502d)の位置に基づいて計算される、深度値を含み、前記深度値が、前記第1の画像内の前記ピクセルによって描かれる場面内の物体までの距離に対応する、請求項7または8に記載の方法。
- 前記処理することが、前記画像のステレオペアの前記第1の画像内の前記複数のピクセル(502a、502b、502c、502d)に対応する深度値の加重平均を計算することをさらに含み、より高い不確実性レベルを有するサブピクセル位置(504a、504b、504c、504d)から計算される深度値に、より低い不確実性レベルを有するサブピクセル位置(504a、504b、504c、504d)から計算される深度値よりも低い重みが与えられる、請求項9に記載の方法。
- サブピクセル位置(504a、504b、504c、504d)から計算される前記数量が、3次元空間内の点(506a、506b、506c、506d)を含み、3次元空間内の前記点(506a、506b、506c、506d)が、前記サブピクセル位置(504a、504b、504c、504d)および前記第1の画像内の対応するピクセル(502a、502b、502c、502d)の位置に基づいて計算される、請求項8から10のいずれか一項に記載の方法。
- 前記画像のステレオペアの前記第1の画像内の前記複数のピクセル(502a、502b、502c、502d)が、場面内の同一の物体(500)を描き、前記処理することが、
前記画像のステレオペアの前記第1の画像内の前記複数のピクセル(502a、502b、502c、502d)に対応する3次元空間内の複数の点(506a、506b、506c、506d)を計算することであって、3次元空間内の各点(506a、506b、506c、506d)が、前記第1の画像内の前記対応するピクセル(502a、502b、502c、502d)の前記位置、および前記第1の画像内の前記ピクセルに最も合致する前記第2の画像内の前記サブピクセル位置(504a、504b、504c、504d)を用いて計算される、3次元空間内の複数の点(506a、506b、506c、506d)を計算することと、
3次元空間内の前記複数の点(506a、506b、506c、506d)に3次元物体テンプレート(508)を適合することであって、前記3次元物体テンプレートが、前記場面内の前記物体と同一タイプである物体の外形を定義する、3次元物体テンプレート(508)を適合することと、をさらに含み、
前記3次元物体テンプレート(508)を前記適合するステップにおいて、より高い不確実性レベルを有するサブピクセル位置(504a、504b、504c、504d)から計算される3次元空間内の点(506a、506b、506c、506d)は、より低い不確実性レベルを有するサブピクセル位置(504a、504b、504c、504d)から計算される3次元空間内の点(506a、506b、506c、506d)よりも低い重みを与えられる、請求項11に記載の方法。 - パラメトリック関数(404)を用いてノイズが存在する画像(400)内の極値点のサブピクセル位置を推定するデバイス(100)であって、前記画像(400)内の前記極値点が、極大点または極小点のいずれかのタイプであり、前記デバイス(100)が、
a)前記画像(400)内の近傍ピクセルのグループ(402)を選択し、前記近傍ピクセルのグループ(402)内のピクセル数が、前記パラメトリック関数(404)を定義するパラメータ数よりも大きく、
b)前記近傍ピクセルのグループ(402)のピクセル値(403)に前記パラメトリック関数(404)を適合し、
c)前記パラメトリック関数(404)の極値点(406)の位置(405b、405d)を識別し、前記パラメトリック関数(404)の前記極値点が、極大点、極小点、または鞍点であるタイプであり、
d)前記パラメトリック関数(404)の前記極値点(406)が、前記画像(400)内の前記極値点と同一タイプであるか、あるいは異なるタイプであるか、および前記パラメトリック関数(404)の前記極値点の前記位置(405b、405d)が、前記画像(400)内の前記近傍ピクセルのグループ(402)のピクセル位置によって定義される領域(407)内に位置するか、あるいは領域(407)外に位置するかをチェックし、ならびに、
前記パラメトリック関数の前記極値点(406)が、前記画像(400)内の前記極値点とは異なるタイプであるか、または前記パラメトリック関数(404)の前記極値点(406)の前記位置(405b、405d)が、前記領域(407)外に位置する場合に、
前記近傍ピクセルのグループ(402)から、外れ値を有するピクセルを除去し、
前記近傍ピクセルのグループ(402)内の前記ピクセル数が、前記パラメトリック関数(404)を定義する前記パラメータ数よりも依然として大きいか、または等しい場合、ステップb)、c)、およびd)を繰り返し、
e)前記画像(400)内の前記極値点の前記サブピクセル位置を、前記パラメトリック関数(404)の前記極値点(406)の前記位置(405d)として推定し、
f)前記推定されたサブピクセル位置を、ステップb)、c)、およびd)の反復数に対応する不確実性レベルに関連付けるように構成される、プロセッサ(102)を備える、デバイス(100)。 - 画像のステレオペアの第1の画像(203)をキャプチャするように構成される、第1の画像センサ(202)と、
前記画像のステレオペアの第2の画像(205)をキャプチャするように構成される、第2の画像センサ(204)と、
請求項13に記載のデバイス(100)と、
前記第1の画像(203)内のピクセルの近傍のピクセル値を、前記画像のステレオペアの前記第2の画像(205)内のピクセル値とマッチングすることによって、前記画像のステレオペアから相関マップ(207)を生成し、
パラメトリック関数を用いてノイズが存在する前記相関マップ(207)内の極値点のサブピクセル位置を、前記デバイス(100)に推定させるように、前記デバイス(100)への入力として、前記相関マップ(207)を提供するように構成される、プロセッサと、
を備える、ステレオカメラシステム(200)。 - デバイス(100)に含まれるプロセッサ(120)によって実行されるときに、請求項1から12のいずれか一項に記載の方法を実行するように前記デバイス(100)を動作させるコンピュータコード命令を含む、非一時的コンピュータ可読媒体(104)。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18177169.2A EP3582182B1 (en) | 2018-06-12 | 2018-06-12 | A method, a device, and a system for estimating a sub-pixel position of an extreme point in an image |
EP18177169.2 | 2018-06-12 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020024673A JP2020024673A (ja) | 2020-02-13 |
JP6876094B2 true JP6876094B2 (ja) | 2021-05-26 |
Family
ID=62683121
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019099155A Active JP6876094B2 (ja) | 2018-06-12 | 2019-05-28 | 画像内の極値点のサブピクセル位置を推定する方法、デバイス、およびシステム |
Country Status (6)
Country | Link |
---|---|
US (1) | US10783662B2 (ja) |
EP (1) | EP3582182B1 (ja) |
JP (1) | JP6876094B2 (ja) |
KR (1) | KR102172912B1 (ja) |
CN (1) | CN110598689B9 (ja) |
TW (1) | TWI786293B (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11948318B1 (en) * | 2018-12-16 | 2024-04-02 | Sadiki Pili Fleming-Mwanyoha | System and methods for optimal precision positioning using minimum variance sub-sample offset estimation |
US11024001B2 (en) * | 2018-12-16 | 2021-06-01 | Sadiki Pili Fleming-Mwanyoha | System and methods for attaining optimal precision stereoscopic direction and ranging through air and across refractive boundaries using minimum variance sub-pixel registration |
CN112381796B (zh) * | 2020-11-16 | 2021-08-03 | 广东电网有限责任公司肇庆供电局 | 一种基于红外数据的导线缺陷识别及检测方法 |
KR102532965B1 (ko) * | 2020-12-18 | 2023-05-16 | 주식회사 더코더 | 이미지 상에 망점 삽입 방법 및 이를 실행하는 시스템 |
CN113408109B (zh) * | 2021-05-31 | 2022-05-27 | 中国地质大学(武汉) | 一种面向多点地质统计随机模拟过程的混合并行方法 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4945351A (en) * | 1988-05-23 | 1990-07-31 | Hewlett-Packard Company | Technique for optimizing grayscale character displays |
AU8204391A (en) * | 1990-06-14 | 1992-01-07 | Imaging Technology, Inc. | Patterned part inspection |
JPH05120436A (ja) * | 1991-10-25 | 1993-05-18 | Yaskawa Electric Corp | テンプレートマツチング方法 |
US6208769B1 (en) * | 1998-05-28 | 2001-03-27 | Acuity Imaging, Llc | Method of accurately locating the fractional position of a template match point |
US6912293B1 (en) * | 1998-06-26 | 2005-06-28 | Carl P. Korobkin | Photogrammetry engine for model construction |
US6195475B1 (en) * | 1998-09-15 | 2001-02-27 | Hewlett-Packard Company | Navigation system for handheld scanner |
US6504546B1 (en) * | 2000-02-08 | 2003-01-07 | At&T Corp. | Method of modeling objects to synthesize three-dimensional, photo-realistic animations |
US7072523B2 (en) * | 2000-09-01 | 2006-07-04 | Lenovo (Singapore) Pte. Ltd. | System and method for fingerprint image enhancement using partitioned least-squared filters |
DE10047211B4 (de) | 2000-09-23 | 2007-03-22 | Leica Microsystems Semiconductor Gmbh | Verfahren und Vorrichtung zur Positionsbestimmung einer Kante eines Strukturelementes auf einem Substrat |
US7162073B1 (en) | 2001-11-30 | 2007-01-09 | Cognex Technology And Investment Corporation | Methods and apparatuses for detecting classifying and measuring spot defects in an image of an object |
US20040217956A1 (en) * | 2002-02-28 | 2004-11-04 | Paul Besl | Method and system for processing, compressing, streaming, and interactive rendering of 3D color image data |
US7787655B1 (en) * | 2003-02-27 | 2010-08-31 | Adobe Systems Incorporated | Sub-pixel image registration |
US7030887B2 (en) * | 2003-09-12 | 2006-04-18 | Microsoft Corporation | Methods and systems for transparent depth sorting |
US7088368B1 (en) * | 2003-11-12 | 2006-08-08 | Microsoft Corporation | Methods and systems for rendering computer graphics |
CN101103376A (zh) * | 2005-01-07 | 2008-01-09 | 皇家飞利浦电子股份有限公司 | 用于检测图形对象的方法和电子设备 |
JP2007323440A (ja) * | 2006-06-01 | 2007-12-13 | Sharp Corp | 画像処理方法、画像処理プログラム、画像処理プログラムが記録された記録媒体および画像処理装置 |
US7844087B2 (en) * | 2006-12-19 | 2010-11-30 | Carestream Health, Inc. | Method for segmentation of lesions |
US20080240588A1 (en) * | 2007-03-29 | 2008-10-02 | Mikhail Tsoupko-Sitnikov | Image processing method and image processing apparatus |
JP2009282635A (ja) * | 2008-05-20 | 2009-12-03 | Konica Minolta Holdings Inc | サブピクセル推定装置およびサブピクセル推定方法 |
JP4181210B1 (ja) * | 2008-06-11 | 2008-11-12 | 株式会社ファースト | サブピクセルテンプレートマッチング方法、当該方法を実現するコンピュータプログラムおよび当該プログラム格納媒体 |
US8625932B2 (en) * | 2008-08-28 | 2014-01-07 | Adobe Systems Incorporated | Seam carving using seam energy re-computation in seam neighborhood |
US8433782B2 (en) * | 2010-04-06 | 2013-04-30 | Oracle International Corporation | Simplifying determination of dependencies among SOA services |
US8406506B2 (en) * | 2010-05-18 | 2013-03-26 | Honda Motor Co., Ltd. | Fast sub-pixel optical flow estimation |
EP2707853B1 (en) * | 2011-05-12 | 2017-09-06 | Koninklijke Philips N.V. | List mode dynamic image reconstruction |
TWI596573B (zh) * | 2013-04-25 | 2017-08-21 | 財團法人工業技術研究院 | 影像處理裝置及其影像雜訊抑制方法 |
US9189864B2 (en) | 2013-10-17 | 2015-11-17 | Honeywell International Inc. | Apparatus and method for characterizing texture |
JP6543935B2 (ja) * | 2014-02-28 | 2019-07-17 | 株式会社リコー | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム |
CN104869387B (zh) * | 2015-04-19 | 2017-01-11 | 中国传媒大学 | 基于光流法的双目图像最大视差获取方法 |
JP2017084975A (ja) * | 2015-10-28 | 2017-05-18 | オムロン株式会社 | 位置検出装置、位置検出方法、情報処理プログラム、および記録媒体 |
-
2018
- 2018-06-12 EP EP18177169.2A patent/EP3582182B1/en active Active
-
2019
- 2019-05-15 KR KR1020190056928A patent/KR102172912B1/ko active IP Right Grant
- 2019-05-22 TW TW108117592A patent/TWI786293B/zh active
- 2019-05-28 JP JP2019099155A patent/JP6876094B2/ja active Active
- 2019-06-06 CN CN201910491171.1A patent/CN110598689B9/zh active Active
- 2019-06-11 US US16/437,513 patent/US10783662B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20190378297A1 (en) | 2019-12-12 |
EP3582182B1 (en) | 2020-07-29 |
EP3582182A1 (en) | 2019-12-18 |
KR102172912B1 (ko) | 2020-11-03 |
KR20190140828A (ko) | 2019-12-20 |
TWI786293B (zh) | 2022-12-11 |
JP2020024673A (ja) | 2020-02-13 |
CN110598689A (zh) | 2019-12-20 |
TW202013313A (zh) | 2020-04-01 |
US10783662B2 (en) | 2020-09-22 |
CN110598689B9 (zh) | 2021-09-03 |
CN110598689B (zh) | 2021-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6876094B2 (ja) | 画像内の極値点のサブピクセル位置を推定する方法、デバイス、およびシステム | |
JP7173772B2 (ja) | 深度値推定を用いた映像処理方法及び装置 | |
US8755630B2 (en) | Object pose recognition apparatus and object pose recognition method using the same | |
JP6415066B2 (ja) | 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム | |
KR101776620B1 (ko) | 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
JP2014013147A5 (ja) | ||
KR20170091496A (ko) | 양안 시차 영상의 처리 방법 및 장치 | |
KR20190030456A (ko) | 스테레오 매칭 방법 및 장치 | |
JP6431404B2 (ja) | 姿勢推定モデル生成装置及び姿勢推定装置 | |
JP6411188B2 (ja) | ステレオマッチング装置とステレオマッチングプログラムとステレオマッチング方法 | |
US11189053B2 (en) | Information processing apparatus, method of controlling information processing apparatus, and non-transitory computer-readable storage medium | |
EP2840550A1 (en) | Camera pose estimation | |
JP6573196B2 (ja) | 距離情報補正装置、距離情報補正方法及び距離情報補正プログラム | |
JP6228239B2 (ja) | プリミティブの組を用いてデータをレジストレーションする方法 | |
JP4876742B2 (ja) | 画像処理装置及び画像処理プログラム | |
US11475233B2 (en) | Image processing device and image processing method | |
JP7234378B2 (ja) | 回転仮説を決定することによって画像を処理する方法及びシステム | |
JP4687579B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP4081553B2 (ja) | 距離推定装置 | |
CN109478326B (zh) | 一种图像处理方法、终端设备及计算机存储介质 | |
KR101518195B1 (ko) | 텍스쳐 흐름 추정 방법 및 장치 | |
JPH06241749A (ja) | 視線交点抽出装置 | |
CN116810359A (zh) | 一种基于视觉定位的三维拧固顺序防呆控制方法及系统 | |
Klecka et al. | Plane segmentation and reconstruction from stereo disparity map | |
CN116645335A (zh) | 路面坑洼检测方法及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200917 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200917 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201224 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210420 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210423 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6876094 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE Ref document number: 6876094 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |