JP6321202B2 - モバイルプラットフォームの運動を決定する方法、装置、及びシステム - Google Patents
モバイルプラットフォームの運動を決定する方法、装置、及びシステム Download PDFInfo
- Publication number
- JP6321202B2 JP6321202B2 JP2016557661A JP2016557661A JP6321202B2 JP 6321202 B2 JP6321202 B2 JP 6321202B2 JP 2016557661 A JP2016557661 A JP 2016557661A JP 2016557661 A JP2016557661 A JP 2016557661A JP 6321202 B2 JP6321202 B2 JP 6321202B2
- Authority
- JP
- Japan
- Prior art keywords
- feature point
- measurement
- error
- mobile platform
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 169
- 238000005259 measurement Methods 0.000 claims description 179
- 239000011159 matrix material Substances 0.000 claims description 57
- 238000006073 displacement reaction Methods 0.000 claims description 48
- 238000003384 imaging method Methods 0.000 claims description 37
- 238000000691 measurement method Methods 0.000 claims 1
- 238000004088 simulation Methods 0.000 description 48
- 230000000007 visual effect Effects 0.000 description 38
- 238000012360 testing method Methods 0.000 description 25
- 230000000875 corresponding effect Effects 0.000 description 21
- 230000006870 function Effects 0.000 description 16
- 238000001514 detection method Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 10
- 230000004927 fusion Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 9
- 238000000605 extraction Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- QBWCMBCROVPCKQ-UHFFFAOYSA-N chlorous acid Chemical compound OCl=O QBWCMBCROVPCKQ-UHFFFAOYSA-N 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 239000003905 agrochemical Substances 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000002917 insecticide Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 239000003305 oil spill Substances 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
- G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
- G01P3/38—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Power Engineering (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
運動の第1の測定の誤差寄与値を取得する取得ステップと、
誤差寄与値に基づいて、第1の測定の誤差を推定する推定ステップと
を含むモバイルプラットフォームの運動を決定するための方法が述べられている。
それぞれ選択される第1の特徴点と対応する第2の特徴点とをそれぞれ含む複数の一致特徴点対を特定するステップと、
複数の一致特徴点対から選択されたインライア特徴点対の第1の特徴点と対応する第2の特徴点との間の関係に基づいて、第1の時間と第2の時間との間のモバイルプラットフォームの運動を測定するステップとを含む。
それぞれの各一致特徴点対に基づいて、サンプル運動値を取得するステップと、
複数の一致特徴点対のうちの最も一致する特徴点対によって提供されるサンプル運動値に基づいて、モバイルプラットフォームの運動を測定するステップとを含み、
最も一致する特徴点対が、1つ又は複数のインライア特徴点対である。
運動の第1の測定に対する誤差寄与値を取得し、
取得に基づいて、第1の測定の誤差を推定するよう構成されるプロセッサを含む、
モバイルプラットフォームの運動を決定するための装置が述べられている。
第1の測定は、
複数の一致特徴点対を特定することであって、各一致特徴点対がそれぞれ選択される第1の特徴点と対応する第2の特徴点とを含み、
複数の一致特徴点対から選択された1つ又は複数のインライア特徴点対の第1の特徴点と対応する第2の特徴点との間の関係に基づいて、第1の時間と第2の時間との間のモバイルプラットフォームの運動を測定するステップとを含み、
誤差寄与値は、1つ又は複数のインライア特徴点対を含む。
それぞれの各一致特徴点対に基づいて、サンプル運動値を取得し、
複数の一致特徴点対のうちの最も一致する特徴点対によって提供されるサンプル運動値に基づいて、モバイルプラットフォームの運動を測定し、最も一致する特徴点対が、1つ又は複数のインライア特徴点対である。
モバイルプラットフォームの運動の第1の測定を生成するための視覚センサと、
第1の測定の誤差を推定するための、モバイルプラットフォームの運動を決定するための装置とを含む、
装置アセンブリが述べられている。
モバイルプラットフォームの運動の第1の測定を生成するための視覚センサと、
第1の測定の誤差を推定するための、モバイルプラットフォームの運動を決定するための装置と、
モバイルプラットフォームの運動の第2の測定を生成するための慣性測定装置とを含み、
第2の測定は、モバイルプラットフォームの運動を決定するよう、第1の測定の前記誤差に基づいて、第1の測定と組み合わされる、
装置アセンブリが述べられている。
誤差寄与値と運動を測定するステップの誤差との間の相関関係を仮定するステップであって、相関関係は未知のパラメータを含む、ステップと、
それぞれがテスト運動に対応する実験測定値、グラウンドトルース、及び誤差寄与値を収集するステップと、
グラウンドトルース及び実験測定値に基づいてテスト運動を測定するステップの誤差を計算するステップと、
仮定された相関関係をテスト運動の誤差寄与値及びテスト運動を測定するステップの誤差に適合させて、未知のパラメータを解決するステップと
を含む方法が述べられている。
それぞれ選択される第1の特徴点と対応する第2の特徴点とをそれぞれ含む複数の一致特徴点対を特定するステップと、
複数の一致特徴点対から選択される選択されたインライア特徴点対内部のそれぞれ選択される第1の特徴点と対応する第2の特徴点との間の関係に基づいて、第1の時間と第2の時間との間のモバイルプラットフォームの運動を測定するステップとを含み、
取得ステップは、多数の1つ又は複数のインライア特徴点対を含む誤差寄与値を取得するステップを含む。
各一致特徴点対のそれぞれに基づいて、サンプル運動値を取得するステップと、
複数の一致特徴点対のうちの最も一致する特徴点対によって提供されるサンプル運動値に基づいて、モバイルプラットフォームの運動を測定するステップとを含み、
最も一致する特徴点対が、インライア特徴点対である。
式(1)
ここで、Tx、Ty、及びTzは、それぞれ、予め設定された座標系のx軸、y軸、及びz軸上でのモバイルプラットフォーム200の変位Tの変位成分である。予め設定された座標系は、絶対及び/又は相対座標系を含むことができる。例示的な座標系は、第1の測定を実行するセンサに関して定義される座標系を含むことができる。
式(2)
ここで、Vx、Vy、及びVzは、それぞれ、予め設定された座標系のx軸、y軸、及びz軸上でのモバイルプラットフォーム200の速度Vの速度成分である。
式(3)
ここで、対角線要素Var(Vx)、Var(Vy)、及びVar(Vz)は、速度Vの各速度成分Vx、Vy、及びVzの分散である。i、j位置における非対角要素は、速度Vのi番目及びj番目の要素間の共分散であってもよい。例えば、位置(1,2)における要素、即ち、Var(Vx,Vy)は、速度Vの速度成分Vx及び速度成分Vy等の第1及び第2の要素間の共分散であってもよい。
式(4)
ここで、x1、y1、及びz1は、それぞれ、予め設定された座標系のx軸、y軸、及びz軸上の第1の特徴点の座標値である。
式(5)
ここで、x2、y2、及びz2は、それぞれ、予め設定された座標系のx軸、y軸、及びz軸上の第1の特徴点の座標値である。x2’、y2’は、それぞれ、視覚センサの焦点面上の第1の特徴点の座標値であり、第2の画像における第2の特徴点の位置から取得することができる。fは、視覚センサの焦点距離である。
P2=λK(RP1+T) 式(6)
ここで、λはスケーリングパラメータ、Kは内部参照行列、及び、回転行列Rは、モバイルプラットフォーム200の回転運動を特徴付ける回転行列である。
V=T/(t2−t1) 式(7)
Var(Vx)=g1(n) 式(8)
Var(Vy)=g2(n) 式(9)
Var(Vz)=g3(n) 式(10)
ここで、各g1(n)、g2(n)、及びg3(n)は、それぞれ、数nの関数である。g1(n)、g2(n)、及びg3(n)の例示的な値は、数nが減少するにつれて増加できる。g1(n)、g2(n)、及びg3(n)の数学的形式は、線形、対数、多項式、べき、指数関数、又はそれらの組み合わせを含むことができるが、これらに限定されない。
Var(Vx)=k1/na+b1 式(11)
Var(Vy)=k2/na+b2 式(12)
Var(Vz)=k3/na+b3 式(13)
ここで、各パラメータa、k1、b1、k2、b2、k3、及び/又はb3は、定数値、数n以外の誤差寄与値410、又はそれらの組み合わせを含む数式を含むことができる。更に、パラメータa、k1、b1、k2、b2、k3、及び/又はb3は、制限されることなく、異なるもの又は一様なものであってもよい。
Var(Vx)=g4(Z) 式(14)
Var(Vy)=g5(Z) 式(15)
Var(Vz)=g6(Z) 式(16)
ここで、各g4(Z)、g5(Z)、及びg6(Z)は、それぞれ、物体距離Zの関数である。g4(Z)、g5(Z)、及びg6(Z)の例示的な値は、物体距離Zが増加するにつれて増加できる。g4(Z)、g5(Z)、及びg6(Z)の数学的形式は、線形、対数、多項式、べき、指数関数、又はそれらの組み合わせを含むことができるが、これらに限定されない。
ここで、cxl及びcylは第1の撮像デバイス110aのそれぞれの中心座標を表し、xl及びylは第1のサブ画像120aにおける特徴点155の座標を表し、bは基線(言い換えれば、撮像デバイス110a、110bの中心座標間の距離)であり、fは各撮像デバイス110a、110bの焦点距離であり、dはサブ画像120a、120b間の両眼視差である。説明のために、図7は、同じ焦点距離fを有するような撮像デバイスを示している。しかし、撮像デバイス110a、110bが異なる焦点距離を有していたとしても、サブ画像120a、120bは、図7の三角測量を実施するよう、撮像デバイス110a、110bから同じ距離を有する投影面に変倍されてもよい。例えば、撮像デバイス110a、110bは、それぞれの焦点距離2f及びfを有することができる。その場合、第1のサブ画像120aの座標xl及びylは、0.5を乗じることによってそれぞれ変倍されてもよい。変倍された座標xl及びylは、従って、第1の撮像デバイス110aからの距離fを有する投影面に属してもよく、従って、式(17)〜(20)を介して第2のサブ画像120bとの三角測量のために用いられてもよい。
d=xl−xr 式(20)
Var(Vx)=g7(d) 式(21)
Var(Vy)=g8(d) 式(22)
Var(Vz)=g9(d) 式(23)
ここで、各g7(d)、g8(d)、及びg9(d)は、それぞれ、両眼視差dの関数である。g7(d)、g8(d)、及びg9(d)の例示的な値は、両眼視差dが減少するにつれて増加できる。g7(d)、g8(d)、及びg9(d)の数学的形式は、線形、対数、多項式、べき、指数関数、又はそれらの組み合わせを含むことができるが、これらに限定されない。
Var(Vx)=k4/dc+b4 式(24)
Var(Vy)=k5/dc+b5 式(25)
Var(Vz)=k6/dc+b6 式(26)
ここで、各パラメータc、k4、b4、k5、b5、k6、及び/又はb6は、定数値、両眼視差d以外の誤差寄与値410、又はそれらの組み合わせを含む数式を含むことができる。一実施形態において、c=2であり、従って、誤差420のVar(Vx)、Var(Vy)、及びVar(Vz)のそれぞれは、dの2乗の逆数と共に線形に増加できる。更に、k4、b4、k5、b5、k6、及び/又はb6は、異なる又は一様な定数であってもよい。k4、b4、k5、b5、k6、及び/又はb6の値を提供するための例示的な方法は、図8及び12を参照して本明細書中で検討する方法において述べる。
Var(Vx)=k7/nd2+b7 式(27)
Var(Vy)=k8/nd2+b8 式(28)
Var(Vz)=k9/nd2+b9 式(29)
ここで、k7、b7、k8、b8、k9、及び/又はb9は、定数値、数n以外の誤差寄与値410、又はそれらの組み合わせを含む式を含むことができる。更に、k7、b7、k8、b8、k9、及び/又はb9は、制限されることなく、異なるもの又は一様なものであってもよい。幾つかの実施形態において、k7、b7、k8、b8、k9、及び/又はb9のそれぞれは、異なる及び/又は一様な数値定数を含むことができる。k7、b7、k8、b8、k9、及び/又はb9の値を提供するための例示的な方法は、図8及び12を参照して本明細書中で検討する方法において述べる。
式(30)
ここで、σ2x1、σ2y1、σ2x2、及びσ2y2は、x方向における第1の特徴点、y方向における第1の特徴点、x方向における一致する第2の特徴点、及びy方向における一致する第2の特徴点の抽出誤差の分散を指してもよい。Σpixelは次いで、Qマッチング特徴点対を用いる変位Tの線形代数計算に適用される。
式(32)
ここで、j=1からMであり:
式(33)
ここで、Nは、各測定の一致する特徴点の総数を示している。
式(34)
ここで、画像の中心座標は、(u0,v0)Tであり、
カメラの焦点距離はf、基線はbであり、ui*及びvi*は、t2における第2の特徴点の二次元投影座標である。第1の特徴点及び第2の特徴点は、(jui,jvi)T及び
であり、iは、Nマッチング特徴点対のi番目に一致する特徴点対を示している。
と称される、Viconによって測定される速度Vを含むことができる。
及び実験測定値vに基づいて計算される。速度Vを測定することのテスト誤差は、
であってもよい。特定の場合において、第1の測定の誤差420は、(式(3)に示すような)共分散行列Σcamを含んでもよい。テスト誤差verrorは、必ずしも式(3)に示す分散と同じではないため、分散は、以下の例示的なプロセスを用いて計算されてもよい。
Σ=RΣcamRT
を用いて行われてもよい。
Claims (36)
- モバイルプラットフォームの運動を決定するための方法であって、
前記運動の第1の測定の誤差寄与値を取得する取得ステップと、
前記誤差寄与値との間の相関関係に従って、前記第1の測定の誤差を推定する推定ステップと、
前記第1の測定の前記誤差に基づいて、前記第1の測定と前記モバイルプラットフォームの前記運動の第2の測定とを組み合わせることによって、前記モバイルプラットフォームの前記運動を決定するステップと、
を含む方法。 - 第1の時間において取得された物体の第1の画像に基づく第1の特徴点と、第2の時間において取得された前記物体の第2の画像に基づく第2の特徴点とを備える一致特徴点対を特定することによって、前記第1の測定を生成するステップを更に含む、請求項1に記載の方法。
- 前記第1の時間は前記第2の時間とは異なり、前記第1の測定を生成するステップは、前記一致特徴点対内部の前記第1の特徴点と前記第2の特徴点との間の関係に基づいて、前記第1の時間と前記第2の時間との間の前記モバイルプラットフォームの前記運動を測定するステップを含む、請求項2に記載の方法。
- 前記相関関係は、前記第1の特徴点の座標の誤差分布パラメータとは無関係である、請求項2又は請求項3に記載の方法。
- 前記相関関係は、前記第1の特徴点の座標とは無関係である、請求項2〜4の何れか一項に記載の方法。
- 前記取得ステップは、前記物体と前記モバイルプラットフォームとの間の距離に関連する前記誤差寄与値を取得するステップを含む、請求項2〜5の何れか一項に記載の方法。
- 前記取得ステップは、前記第1の特徴点と関連する両眼視差を含む前記誤差寄与値を取得するステップを含む、請求項2〜6の何れか一項に記載の方法。
- 前記取得ステップは、前記第1の特徴点と関連する2つのサブ画像に基づいて生成される前記両眼視差を備える前記誤差寄与値を取得するステップを含む、請求項7に記載の方法。
- 前記取得ステップは、2つの撮像デバイスのそれぞれによって同時に取得される2つのサブ画像に基づいて生成される前記両眼視差を含む前記誤差寄与値を取得するステップを含む、請求項8に記載の方法。
- 前記推定ステップは、前記両眼視差の2乗の逆数と共に線形に増加するように、前記第1の測定の前記誤差を推定するステップを含む、請求項7〜9の何れか一項に記載の方法。
- 前記第1の測定を生成するステップは、
それぞれ選択される第1の特徴点と対応する第2の特徴点とをそれぞれ含む複数の一致特徴点対を特定するステップと、
前記複数の一致特徴点対から選択されたインライア特徴点対の第1の特徴点と前記対応する第2の特徴点との間の関係に基づいて、前記第1の時間と前記第2の時間との間の前記モバイルプラットフォームの前記運動を測定するステップとを含む、請求項2〜10の何れか一項に記載の方法。 - 前記第1の測定を生成するステップは、前記複数の一致特徴点対から1つ又は複数のインライア特徴点対を選択するステップを含む、請求項11に記載の方法。
- 前記取得ステップは、前記1つ又は複数のインライア特徴点対を含む前記誤差寄与値を取得するステップを含む、請求項12に記載の方法。
- 前記推定ステップは、前記1つ又は複数のインライア特徴点対の逆数と共に線形に増加するように、前記第1の測定の前記誤差を推定するステップを含む、請求項13に記載の方法。
- 前記第1の測定を生成するステップは、
それぞれの各一致特徴点対に基づいて、サンプル運動値を取得するステップと、
前記複数の一致特徴点対のうちの最も一致する特徴点対によって提供される前記サンプル運動値に基づいて、前記モバイルプラットフォームの前記運動を測定するステップと、を含み、
前記最も一致する特徴点対が、前記1つ又は複数のインライア特徴点対である、請求項12〜14の何れか一項に記載の方法。 - 前記第1の測定を生成するステップは、前記第1の時間と前記第2の時間との間の前記モバイルプラットフォームの変位を測定するステップを含む、請求項2〜15の何れか一項に記載の方法。
- 前記第1の測定を生成するステップは、前記第1の時間と前記第2の時間との間の前記モバイルプラットフォームの速度を測定するステップを含む、請求項2〜16の何れか一項に記載の方法。
- 前記推定ステップは、前記第1の測定に関連する共分散行列を推定するステップを含む、請求項1〜17の何れか一項に記載の方法。
- 慣性測定装置を用いて前記第2の測定を生成するステップを更に含む、請求項1〜18の何れか一項に記載の方法。
- モバイルプラットフォームの運動を決定するための装置であって、
前記運動の第1の測定のための誤差寄与値を取得し、
前記誤差寄与値との間の相関関係に従って、前記第1の測定の誤差を推定し、
前記第1の測定の前記誤差に基づいて、前記第1の測定と前記モバイルプラットフォームの前記運動の第2の測定とを組み合わせることによって、前記モバイルプラットフォームの前記運動を決定するよう構成されるプロセッサを備える装置。 - 前記第1の測定は、第1の時間において取得された物体の第1の画像に基づく第1の特徴点と、第2の時間において取得された前記物体の第2の画像に基づく第2の特徴点とを備える一致特徴点対を特定するステップを含む、請求項20に記載の装置。
- 前記第1の時間は前記第2の時間とは異なり、前記一致特徴点対内部の前記第1の特徴点と前記第2の特徴点との間の関係は、前記第1の時間と前記第2の時間との間の前記モバイルプラットフォームの前記運動を提供する、請求項21に記載の装置。
- 前記誤差と前記誤差寄与値との間の前記相関関係は、前記第1の特徴点の座標の誤差分布パラメータとは無関係である、請求項21又は請求項22に記載の装置。
- 前記誤差と前記誤差寄与値との間の前記相関関係は、前記第1の特徴点の座標とは無関係である、請求項21〜23の何れか一項に記載の装置。
- 前記プロセッサは、前記物体と前記モバイルプラットフォームとの間の距離に関連する前記誤差寄与値を取得するよう構成される、請求項21〜24の何れか一項に記載の装置。
- 前記誤差寄与値は、前記第1の特徴点と関連する両眼視差を備える、請求項21〜25の何れか一項に記載の装置。
- 前記両眼視差は、前記第1の特徴点と関連する2つのサブ画像に基づいて生成される、請求項26に記載の装置。
- 前記2つのサブ画像は、2つの撮像デバイスのそれぞれによって同時に取得される、請求項27に記載の装置。
- 前記プロセッサは、前記両眼視差の2乗の逆数と共に線形に増加するように、前記第1の測定の前記誤差を推定する、請求項26〜28の何れか一項に記載の装置。
- 前記第1の測定は、
複数の一致特徴点対を特定することであって、各一致特徴点対がそれぞれ選択される第1の特徴点と対応する第2の特徴点とを含み、
前記複数の一致特徴点対から選択された1つ又は複数のインライア特徴点対の第1の特徴点と前記対応する第2の特徴点との間の関係に基づいて、前記第1の時間と前記第2の時間との間の前記モバイルプラットフォームの前記運動を測定し、
前記誤差寄与値は、前記1つ又は複数のインライア特徴点対を含む、請求項21〜29の何れか一項に記載の装置。 - 前記プロセッサは、前記1つ又は複数のインライア特徴点対の逆数と共に線形に増加するように、前記第1の測定の前記誤差を推定する、請求項30に記載の装置。
- 前記第1の測定は、
前記それぞれの各一致特徴点対に基づいて、サンプル運動値を取得し、
前記複数の一致特徴点対のうちの最も一致する特徴点対によって提供される前記サンプル運動値に基づいて、前記モバイルプラットフォームの前記運動を測定し、
前記最も一致する特徴点対が、前記1つ又は複数のインライア特徴点対である、請求項30又は請求項31に記載の装置。 - 前記第1の測定は、前記第1の時間と前記第2の時間との間の前記モバイルプラットフォームの変位を測定する、請求項21〜32の何れか一項に記載の装置。
- 前記第1の測定は、前記第1の時間と前記第2の時間との間の前記モバイルプラットフォームの速度を測定する、請求項21〜33の何れか一項に記載の装置。
- 前記第1の測定の前記誤差は、前記第1の測定に関連する共分散行列を含む、請求項20〜34の何れか一項に記載の装置。
- 前記第1の測定は第1のセンサによって生成され、前記第2の測定は前記第1のセンサとは異なる第2のセンサによって生成される、請求項20〜35の何れか一項に記載の装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2015/083971 WO2017008246A1 (en) | 2015-07-14 | 2015-07-14 | Method, apparatus, and system for determining a movement of a mobile platform |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017523382A JP2017523382A (ja) | 2017-08-17 |
JP6321202B2 true JP6321202B2 (ja) | 2018-05-09 |
Family
ID=57359356
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016557661A Expired - Fee Related JP6321202B2 (ja) | 2015-07-14 | 2015-07-14 | モバイルプラットフォームの運動を決定する方法、装置、及びシステム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10895458B2 (ja) |
JP (1) | JP6321202B2 (ja) |
CN (1) | CN106170676B (ja) |
WO (1) | WO2017008246A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019160778A1 (en) * | 2018-02-14 | 2019-08-22 | University Of Massachusetts | Image capturing system, method, and analysis of objects of interest |
CN108663677A (zh) * | 2018-03-29 | 2018-10-16 | 上海智瞳通科技有限公司 | 一种多传感器深度融合提高目标检测能力的方法 |
US11142337B2 (en) * | 2018-07-17 | 2021-10-12 | Ge Aviation Systems Llc | Method and system for determining a descent profile |
CN109489561B (zh) * | 2018-12-05 | 2019-08-27 | 王勇 | 一种不限量程的高精度二维平面位移测量系统 |
CN110361010B (zh) * | 2019-08-13 | 2022-11-22 | 中山大学 | 一种基于占据栅格地图且结合imu的移动机器人定位方法 |
CN110825123A (zh) * | 2019-10-21 | 2020-02-21 | 哈尔滨理工大学 | 一种基于运动算法的自动跟随载物车的控制系统及方法 |
US20230051377A1 (en) * | 2020-10-30 | 2023-02-16 | Smartdrive Inc. | Mobility movemennt information acquiring method and mobility movement information acquiring apparatus |
WO2022091650A1 (ja) * | 2020-10-30 | 2022-05-05 | 株式会社スマートドライブ | 移動体挙動情報取得方法、移動体挙動情報取得装置及びプログラム |
CN112419314B (zh) * | 2020-12-10 | 2023-02-28 | 易思维(杭州)科技有限公司 | 一种基于相关性的特征点剔除方法 |
JP7318995B1 (ja) | 2022-03-24 | 2023-08-01 | 株式会社スマートドライブ | 移動体挙動情報取得方法、移動体挙動情報取得装置及びプログラム |
Family Cites Families (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004530869A (ja) * | 2001-03-13 | 2004-10-07 | ザイゴ コーポレーション | 平均干渉位置測定におけるサイクリック・エラーの低減 |
US6774860B2 (en) * | 2002-05-15 | 2004-08-10 | Northrop Grumman Corporation | UAV (unmanned air vehicle) servoing dipole |
GB0212748D0 (en) * | 2002-05-31 | 2002-07-10 | Qinetiq Ltd | Feature mapping between data sets |
JP4007899B2 (ja) * | 2002-11-07 | 2007-11-14 | オリンパス株式会社 | 運動検出装置 |
DE10316123A1 (de) * | 2003-04-04 | 2004-10-14 | Carl Zeiss Smt Ag | Vorrichtung und Verfahren zur Wellenfrontvermessung eines optischen Abbildungssystems durch phasenschiebende Interferometrie |
US20060167622A1 (en) * | 2005-01-24 | 2006-07-27 | Bodin William K | Navigating UAVs in formations |
US7469183B2 (en) * | 2005-01-24 | 2008-12-23 | International Business Machines Corporation | Navigating UAVs in formation |
US20080033645A1 (en) | 2006-08-03 | 2008-02-07 | Jesse Sol Levinson | Pobabilistic methods for mapping and localization in arbitrary outdoor environments |
US7925049B2 (en) * | 2006-08-15 | 2011-04-12 | Sri International | Stereo-based visual odometry method and system |
US20080195316A1 (en) * | 2007-02-12 | 2008-08-14 | Honeywell International Inc. | System and method for motion estimation using vision sensors |
US20090058723A1 (en) | 2007-09-04 | 2009-03-05 | Mediatek Inc. | Positioning system and method thereof |
JP2009074859A (ja) * | 2007-09-19 | 2009-04-09 | Toyota Central R&D Labs Inc | 運動計測装置及び位置計測装置 |
CN101952737A (zh) | 2007-12-11 | 2011-01-19 | 高通股份有限公司 | 有相机辅助的全球导航卫星系统方法和接收器 |
KR100926760B1 (ko) * | 2007-12-17 | 2009-11-16 | 삼성전자주식회사 | 이동 로봇의 위치 인식 및 지도 작성 방법 |
US7970507B2 (en) * | 2008-01-23 | 2011-06-28 | Honeywell International Inc. | Method and system for autonomous tracking of a mobile target by an unmanned aerial vehicle |
US8213706B2 (en) * | 2008-04-22 | 2012-07-03 | Honeywell International Inc. | Method and system for real-time visual odometry |
US8239133B2 (en) | 2008-07-02 | 2012-08-07 | O2Micro, International | Global positioning system and dead reckoning (GPSandDR) integrated navigation system |
US8265817B2 (en) * | 2008-07-10 | 2012-09-11 | Lockheed Martin Corporation | Inertial measurement with an imaging sensor and a digitized map |
CN101403620B (zh) | 2008-09-10 | 2013-04-24 | 深圳市同洲电子股份有限公司 | 导航装置及方法 |
CN201331348Y (zh) | 2009-01-06 | 2009-10-21 | 山东科沐华信息技术有限公司 | 惯导组合gps车载终端 |
EP2236980B1 (en) * | 2009-03-31 | 2018-05-02 | Alcatel Lucent | A method for determining the relative position of a first and a second imaging device and devices therefore |
CN101867868B (zh) | 2010-03-26 | 2012-11-28 | 东南大学 | 一种组合导航装置和实施方法 |
FR2961601B1 (fr) | 2010-06-22 | 2012-07-27 | Parrot | Procede d'evaluation de la vitesse horizontale d'un drone, notamment d'un drone apte au vol stationnaire autopilote |
CA2803346A1 (en) * | 2010-06-22 | 2011-12-29 | University Of Florida Research Foundation, Inc. | Systems and methods for estimating pose |
CN101950027A (zh) | 2010-08-18 | 2011-01-19 | 东莞市泰斗微电子科技有限公司 | 一种导航卫星信号接收模块及用于该模块的信息处理方法 |
CN103154666B (zh) * | 2011-06-14 | 2015-03-18 | 日产自动车株式会社 | 距离测量装置以及环境地图生成装置 |
US9275463B2 (en) * | 2011-06-17 | 2016-03-01 | Panasonic Intellectual Property Management Co., Ltd. | Stereo image processing device and stereo image processing method |
US8447116B2 (en) * | 2011-07-22 | 2013-05-21 | Honeywell International Inc. | Identifying true feature matches for vision based navigation |
US9488492B2 (en) * | 2014-03-18 | 2016-11-08 | Sri International | Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics |
JP5987660B2 (ja) * | 2012-11-30 | 2016-09-07 | 富士通株式会社 | 画像処理装置、画像処理方法及びプログラム |
US8948935B1 (en) * | 2013-01-02 | 2015-02-03 | Google Inc. | Providing a medical support device via an unmanned aerial vehicle |
KR20140108047A (ko) * | 2013-02-28 | 2014-09-05 | 삼성전자주식회사 | 물체 추적 방법, 물체의 표시 상태 판단 방법 및 물체 추적이 가능한 제어 장치 |
KR102077498B1 (ko) * | 2013-05-13 | 2020-02-17 | 한국전자통신연구원 | 상호 기하 관계가 고정된 카메라 군의 이동 경로 추출 장치 및 방법 |
GB2514334B (en) * | 2013-05-13 | 2020-04-22 | Snell Advanced Media Ltd | Video processing |
CN103365295B (zh) * | 2013-06-29 | 2015-09-30 | 天津大学 | 基于dsp的四旋翼无人飞行器自主悬停控制系统及方法 |
CN103487822A (zh) * | 2013-09-27 | 2014-01-01 | 南京理工大学 | 北斗/多普勒雷达/惯性自主式组合导航系统及其方法 |
US10250821B2 (en) * | 2013-11-27 | 2019-04-02 | Honeywell International Inc. | Generating a three-dimensional model of an industrial plant using an unmanned aerial vehicle |
CN104854428B (zh) * | 2013-12-10 | 2018-12-14 | 深圳市大疆创新科技有限公司 | 传感器融合 |
CN103697889B (zh) * | 2013-12-29 | 2016-05-25 | 北京航空航天大学 | 一种基于多模型分布式滤波的无人机自主导航与定位方法 |
CN103759730B (zh) | 2014-01-16 | 2016-06-29 | 南京师范大学 | 一种基于导航信息双向融合的行人与智能移动载体的协同导航系统及其导航方法 |
US9235215B2 (en) * | 2014-04-03 | 2016-01-12 | Honeywell International Inc. | Feature set optimization in vision-based positioning |
US9911190B1 (en) * | 2014-04-09 | 2018-03-06 | Vortex Intellectual Property Holding LLC | Method and computer program for generating a database for use in locating mobile devices based on imaging |
US9418284B1 (en) * | 2014-04-09 | 2016-08-16 | Vortex Intellectual Property Holding LLC | Method, system and computer program for locating mobile devices based on imaging |
CN106093455B (zh) * | 2014-04-10 | 2019-01-15 | 深圳市大疆创新科技有限公司 | 无人飞行器的飞行参数的测量方法及装置 |
US9996976B2 (en) * | 2014-05-05 | 2018-06-12 | Avigilon Fortress Corporation | System and method for real-time overlay of map features onto a video feed |
US9678506B2 (en) * | 2014-06-19 | 2017-06-13 | Skydio, Inc. | Magic wand interface and other user interaction paradigms for a flying digital assistant |
CN104197928B (zh) * | 2014-08-29 | 2017-01-18 | 西北工业大学 | 多摄像机协同的无人机检测、定位及跟踪方法 |
JP6281460B2 (ja) * | 2014-09-24 | 2018-02-21 | 株式会社デンソー | 物体検出装置 |
EP3023938A1 (en) * | 2014-11-21 | 2016-05-25 | Thomson Licensing | Method and apparatus for tracking the motion of image content in a video frames sequence using sub-pixel resolution motion estimation |
DE102014117888A1 (de) * | 2014-12-04 | 2016-10-13 | Connaught Electronics Ltd. | Online-Kalibrierung eines Kraftfahrzeug-Kamerasystems |
CN104398248A (zh) * | 2014-12-14 | 2015-03-11 | 瞿浩正 | 一种在电子血压计中确定收缩压的斜率差均方根值算法 |
GB2533788A (en) * | 2014-12-30 | 2016-07-06 | Nokia Technologies Oy | Method for determining the position of a portable device |
US9558424B2 (en) * | 2015-06-30 | 2017-01-31 | Mitsubishi Electric Research Laboratories, Inc. | On-road stereo visual odometry without explicit pose determinations |
JP6780648B2 (ja) * | 2015-09-30 | 2020-11-04 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
EP3360023A4 (en) * | 2015-10-09 | 2018-10-10 | SZ DJI Technology Co., Ltd. | Salient feature based vehicle positioning |
US10502840B2 (en) * | 2016-02-03 | 2019-12-10 | Qualcomm Incorporated | Outlier detection for satellite positioning system using visual inertial odometry |
US9946264B2 (en) * | 2016-03-22 | 2018-04-17 | Sharp Laboratories Of America, Inc. | Autonomous navigation using visual odometry |
US10527423B1 (en) * | 2016-04-07 | 2020-01-07 | Luftronix, Inc. | Fusion of vision and depth sensors for navigation in complex environments |
US10387727B2 (en) * | 2017-09-13 | 2019-08-20 | Wing Aviation Llc | Backup navigation system for unmanned aerial vehicles |
US10311833B1 (en) * | 2018-03-27 | 2019-06-04 | Seiko Epson Corporation | Head-mounted display device and method of operating a display apparatus tracking an object |
US20200202729A1 (en) * | 2018-12-20 | 2020-06-25 | William Tam | System for autonomous unmanned aerial vehicle trajectory conflict resolution |
-
2015
- 2015-07-14 CN CN201580012514.1A patent/CN106170676B/zh not_active Expired - Fee Related
- 2015-07-14 JP JP2016557661A patent/JP6321202B2/ja not_active Expired - Fee Related
- 2015-07-14 WO PCT/CN2015/083971 patent/WO2017008246A1/en active Application Filing
-
2018
- 2018-01-05 US US15/863,646 patent/US10895458B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN106170676A (zh) | 2016-11-30 |
US20180128620A1 (en) | 2018-05-10 |
US10895458B2 (en) | 2021-01-19 |
WO2017008246A1 (en) | 2017-01-19 |
JP2017523382A (ja) | 2017-08-17 |
CN106170676B (zh) | 2018-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6321202B2 (ja) | モバイルプラットフォームの運動を決定する方法、装置、及びシステム | |
US20210012520A1 (en) | Distance measuring method and device | |
JP6255085B2 (ja) | 位置特定システムおよび位置特定方法 | |
Panahandeh et al. | Vision-aided inertial navigation based on ground plane feature detection | |
US11062475B2 (en) | Location estimating apparatus and method, learning apparatus and method, and computer program products | |
WO2022193508A1 (zh) | 位姿优化方法、装置、电子设备、计算机可读存储介质、计算机程序及程序产品 | |
JP7033859B2 (ja) | ジオアーク(geoarc)を使用したビークルの二次元位置の特定 | |
EP3155369B1 (en) | System and method for measuring a displacement of a mobile platform | |
CN109903330A (zh) | 一种处理数据的方法和装置 | |
JP7057632B2 (ja) | ジオアーク(geoarc)を使用したビークルの二次元位置の特定 | |
KR102050995B1 (ko) | 공간좌표의 신뢰성 평가 장치 및 방법 | |
CN114529585A (zh) | 基于深度视觉和惯性测量的移动设备自主定位方法 | |
JP2023503750A (ja) | ロボットの位置決め方法及び装置、機器、記憶媒体 | |
KR101821992B1 (ko) | 무인비행체를 이용한 목표물의 3차원 위치 산출 방법 및 장치 | |
Irmisch et al. | Simulation framework for a visual-inertial navigation system | |
CN113610745A (zh) | 标定评价参数获取方法和装置、存储介质及电子设备 | |
WO2018134866A1 (ja) | カメラ校正装置 | |
Drouin et al. | Modeling and simulation framework for airborne camera systems | |
CN113847907B (zh) | 定位方法及装置、设备、存储介质 | |
Alix et al. | Error characterization of flight trajectories reconstructed using Structure from Motion | |
Wang et al. | Vision-aided inertial navigation using three-view geometry | |
JP7075090B1 (ja) | 情報処理システム、及び、情報処理方法 | |
JP7330114B2 (ja) | 対象位置特定システムおよび対象位置特定方法 | |
JP7258250B2 (ja) | 位置・姿勢推定装置、位置・姿勢推定方法、及びプログラム | |
Lanza et al. | A vision-based navigation facility for planetary entry descent landing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160915 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160915 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20160915 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20170830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180306 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180404 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6321202 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |