JPWO2016016959A1 - 光学式速度計測装置および移動体 - Google Patents

光学式速度計測装置および移動体 Download PDF

Info

Publication number
JPWO2016016959A1
JPWO2016016959A1 JP2016537649A JP2016537649A JPWO2016016959A1 JP WO2016016959 A1 JPWO2016016959 A1 JP WO2016016959A1 JP 2016537649 A JP2016537649 A JP 2016537649A JP 2016537649 A JP2016537649 A JP 2016537649A JP WO2016016959 A1 JPWO2016016959 A1 JP WO2016016959A1
Authority
JP
Japan
Prior art keywords
speed
pixel
moving body
measuring device
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016537649A
Other languages
English (en)
Other versions
JP6318252B2 (ja
Inventor
泰士 上田
泰士 上田
亮介 中村
亮介 中村
梓 網野
梓 網野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of JPWO2016016959A1 publication Critical patent/JPWO2016016959A1/ja
Application granted granted Critical
Publication of JP6318252B2 publication Critical patent/JP6318252B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G01P3/38Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/14Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/02Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses
    • G01P15/08Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses with conversion into electric or magnetic values
    • G01P15/093Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses with conversion into electric or magnetic values by photoelectric pick-up
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures

Abstract

車輪の無い移動体や車輪がスリップする移動体において、移動体の回転運動の影響を抑制しつつ自身の速度を精度良く推定可能な光学式速度計測装置等を提供することを目的とする。この課題を解決するための光学式速度計測装置は、移動体に備えられ,撮像平面が移動した際の各画素の移動量が画像内の位置によって異なるように走行面を撮像する撮像手段と、前記撮像部が時系列的に撮像した複数の画像から、所定の軸に対する各画素の移動量の変化を画素移動量勾配として求め、当該画素移動量勾配から前記移動体の速度を求めることを特徴とする。

Description

本発明は,光学式速度計測装置および移動体に関する。
移動体を適切に制御するためには、移動体の正確な速度を計測する必要がある。移動体の速度計測装置として,車輪の回転量を取得し、その回転量から算出された移動距離に基づいて速度を算出する速度計測装置がある。
しかし,前記の装置では,車輪を備えた移動体でしか利用できない。また,車輪を備えた移動体であっても,車輪がスリップするなどの影響によって正確な速度が計測できない場合ある。そこで、地面などを,デジタルカメラなどで連続的に撮像し、撮像画像内の画素の移動量を求めることで速度を算出する速度計測装置が知られている。
例えば,特許第5304064号(特許文献1)の請求項1に記載の速度計測装置は、「複数の画素を備えた撮像素子を有する撮像手段と,前記撮像素子で撮像された複数の画像情報が撮像された画素の、撮像素子上の位置である画像情報位置を検出する位置情報検出手段と、前記画素により撮像される範囲であり、かつ、進行方向における前記撮像手段からの距離に応じて大きさが異なる範囲を、撮像範囲として、前記画素ごとに算出する撮像範囲算出手段と、前記複数の画素にそれぞれ対応する複数の前記撮像範囲の大きさと、前記位置情報検出手段により検出された所定時間経過前後の前記画像情報位置とに基づいて、前記画像情報ごとに、該画像情報の最大移動距離L1および最小移動距離L2を算出する移動距離算出手段と、前記複数の画像情報のそれぞれについて、前記最大移動距離L1から最大移動速度V1を、前記最小移動距離L2から最小移動速度V2を算出し、前記複数の画像情報から算出された複数の前記最大移動速度V1のうちの最小値V1minと、複数の前記最小移動速度V2のうちの最大値V2maxとを算出し、算出した前記最小値V1minおよび最大値V2maxに基づいて、速度情報を算出する速度情報算出手段と、を備えること」を特徴とする。
特許第5304064号
多くの移動体は移動中に回転,振動をするため、移動体に備えられた撮像手段の撮像範囲は常に変化する。したがって、特許文献1の速度計測装置の撮像範囲算出手段は、移動中の撮像範囲を常に算出する必要がある。撮像範囲を常に算出するためには、センサによって移動体や撮像手段の姿勢を常に取得する。しかし、センサの測定値には一般的に誤差が含まれるため,撮像範囲の精度が低下し,速度計測装置の算出速度の精度も悪化する。したがって、移動体に備えられる速度計測装置は、速度計測結果に対し,移動体の回転運動の影響が少ないものが望ましい。
そこで本発明は、車輪の無い移動体や車輪がスリップする移動体において、移動体の回転運動の影響を抑制しつつ自身の速度を精度良く推定可能な光学式速度計測装置等を提供することを目的とする。
上記課題を解決する手段として,例えば,「移動体に備えられ,撮像平面が移動した際の各画素の移動量が画像内の位置によって異なるように走行面を撮像する撮像手段と、前記撮像部が時系列的に撮像した複数の画像から、所定の軸に対する各画素の移動量の変化を画素移動量勾配として求め、当該画素移動量勾配から前記移動体の速度を求める計算手段と、を有する」ことを特徴とする。
本発明によれば、車輪の無い移動体や車輪がスリップする移動体において、移動体の回転運動の影響を抑制しつつ自身の速度を精度良く推定可能な光学式速度計測装置等を提供することができる。
実施例1の装置の概要を説明する図である 実施例1の装置の構成を説明する図である 実施例1の座標系を説明する図である 撮像装置のピッチ運動による画素移動量を示す図である ブロックマッチング方を説明する図である 画素移動量ベクトル場の例である ブロックマッチングの探索領域の設置の仕方の例である 実施例2の移動体の構成図である 実施例2の移動体のシステム構成である 制御手段の動作フローである 速度計測手段切替時の速度を説明する図である
以下、実施例を図面を用いて説明する。
本実施例では、本発明の光学式速度計測装置の例を説明する。
まず,図1を用いて,本実施例の光学式速度計測装置の概略を説明し,詳細を後述する。前記装置は,例えば,撮像手段として,移動体に取り付けられたカメラを備える。前記カメラは,図1(a)に示すように,例えば,移動中に,斜め前方の路面を,所定の時間間隔で撮像する。撮像された複数の画像から,画像上の複数個所の画素の移動量のベクトル(以後,画素移動量ベクトルと呼ぶ)を算出すると,図1(b)のように,画像内にて画素移動量ベクトルの分布(以後,画素移動量ベクトル場と呼ぶ)が現れる。多くの従来方法(例えば特許文献1)では,路面とカメラの位置関係を,キャリブレーションなどによって求めるか,一定であると仮定した上で,画素移動量をもとに路面に対するカメラの移動量を逆算している。しかし,前記方法では,カメラが回転振動するなどして正確に前記位置関係を取得できない場合,正確な速度を算出できなくなる。一方,本手法では,画素移動量の値そのものではなく,画素移動量ベクトル場の所定の直線上での勾配(以後,画素移動量勾配と呼ぶ)から速度を計算する。これによって,従来手法よりも,速度計算結果に対する前記位置関係の変化の影響が少なくなり,前記位置関係の変化が一定量以下であれば高精度で速度が計算可能である。例えば,図1(b)の撮像画像内の列L上の画素移動量ベクトルに注目すると,列L上のx方向画素移動量は,図1(c)に示すように,ある勾配を持ったグラフとなる。前記グラフの勾配は,速度に応じて変化する。例えば,速度v1のときの勾配に対し,v2<v1なる速度のときの勾配は,v1のときの勾配よりも緩やかになる。また,速度はv1で,カメラが微少にピッチ回転した場合,グラフは,回転せずにv1で移動した場合とほぼ同じ勾配のまま平行移動する。詳細は後述するが,本発明では,前記勾配より,移動体の前後,左右方向への移動速度(以後,単に速度と呼ぶ)を求めることにより,移動体の回転運動の影響をほとんど受けることなく,速度を計算可能である。
図2は、本実施例の光学式速度計測装置11の構成図の例である。前記装置11は、外部環境の画像を撮像する撮像手段111と、計算の開始、終了などのトリガー信号や、速度計算に必要な情報,速度計算結果,ログ情報を送受信するための情報交換手段112を備え、撮像手段111から得た撮像画像と、情報交換手段112から得た情報は、速度を計算するための計算手段113へ伝えられる。計算手段113は、複数の撮像画像から、画像内の複数の画素の移動量を計算する画素移動量計算部1131と、前記計算部1131から得た複数の画素移動量から、画素移動量勾配を計算する、画素移動量勾配計算部1132と、前記計算部1132から得た画素移動量勾配から、移動体12の速度を計算する、速度計算部1133を備える。計算手段113で計算した速度や,ログ情報などは、情報交換手段112を介して、外部へ伝達される。尚、計算手段113は具体的には、CPUとメモリとから構成され、メモリから読み出した各種プログラムをCPUが実行することで実現される。図2では、CPUが実行する各種プログラムを、画素移動量計算部1131、画素移動量勾配計算部1132、速度計算部1133、のように機能ブロック図として表している。
以下、光学式速度計測装置11の各構成について説明する。
撮像手段111は、複数の撮像素子を有し、各撮像素子の輝度値を測定する。例えば、CCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)カメラなどを好適に用いる。また,前記撮像手段111は、所定の周期(フレームレート)Fで撮像平面を撮像する。この際,撮像手段は,撮像平面が移動した際の各画素の移動量が,画像内の位置によって異なるように設置する。例えば,撮像手段を撮像平面に対して斜めに設置すれば,遠くの撮像平面ほど画素移動量は小さく,近くの撮像平面ほど画素移動量は大きくなる。あるいは,カメラレンズを工夫したり,反射鏡などを用いたり,複数のカメラを同期して用いたりして,撮像平面の異なる領域を同時に撮像しても良い。撮像手段のフレームレートは,画素移動量を算出可能な範囲において好適に設定する。例えば,移動体の速度が早い場合には,単位時間当たりの画素移動量も長いため,注目画素が,次の画像の外側へ移動(フレームアウト)し,前記画素の移動量が求められない場合がある。したがって,例えば,移動体の直前の速度や,平均速度が速いほど,フレームレートを速くする等が可能である。また,例えば,撮像手段の設置向きを,移動体の直前の速度や,平均速度が速いほど遠方を撮像するようにして,注目画素のフレームアウトを防ぐ方法もある。撮像手段111の撮像画像は,計算手段113へ入力される。
計算手段113は、例えば、プログラム又はファームウェアが格納されたROM(Read Only Memory)と、記憶部としてのRAM(Random Access Memory)と、前記ROMに格納されたプログラムを実行するコントロールユニットを備える。コントロールユニットとしては、例えば、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)などを好適に用いる。計算手段113は,移動体の速度を計算し,情報交換手段112へ伝える。
情報交換手段112は,有線,または無線で信号を送受信する装置であり,各種デジタル・アナログIO(Input/Output)ポート,及びデバイスを好適に用いる。情報交換手段112を介して,例えばカメラの姿勢情報,移動体の目標速度,計算開始を示す信号などが計算手段113へ送信される。また,例えば,算出した速度や,各種装置のデバッグ情報,入力信号に対する応答信号などを装置11の外部へ出力する。
以下に,速度計算方法を説明する。
説明に際し,図3に示す座標系を導入する。図3(a)に示すように,カメラは,光軸を走行面と平行にした向きを基準に,ピッチ角θで移動体に取り付けられているものとする。図3(b)に示すように,y軸は,走行面Gと平行に設置するものとする。座標原点は結像面Cとレンズ光軸の交点である。Fはレンズの焦点距離である。このとき,移動体が走行面に沿って移動した場合の画素移動量について説明する。
画素移動量は,結像面C上に投射された,走行面上の任意の点の移動量とみなせる。移動体が,走行面Gに沿って,回転することなく後方にΔX,右方向へΔY移動した場合,図3(c)に示すように,走行面G上の任意の点M0=(x, y)は相対的に前方へΔX,左方向へΔY移動する。いま,走行面Gを数式1のようにおくと,M0の結像面C上の投射点Mc0=(xc, yc)は,数式2のようになる。
Figure 2016016959
Figure 2016016959
図3の状態において,走行面G上のM0の移動量ΔX,ΔYに対し,座標系での移動量をΔx,Δyとすると,ΔxはΔXに比例し,ΔyはΔYに等しい。したがって,Δxの比例定数をCとすれば,移動量Mc0の,結像面C上での移動量Δxct,Δyctは数式3のようになる。
Figure 2016016959
数式2を数式3に代入して整理すると,数式3の微分項はそれぞれ数式4のようになる。
Figure 2016016959
走行面Gは,y軸に平行なため,b = 0である。b = 0とし,数式4を数式3に代入して整理すると,数式5のようになる。
Figure 2016016959
以上より,移動体が回転することなく移動した場合の画素移動量を示した。一方,カメラが,移動することなく,ロール方向にΔφ,ピッチ方向にΔθ,ヨー方向にΔψ回転したときの画素移動量Δxcr,Δycrは,次式のようになる。ただし,Δφ,Δθ,Δψは微少な値とする。
Figure 2016016959
以上より,移動体が,回転しつつ移動した場合の画素移動量Δxc,Δycは,数式5と数式6を足し合わせて,数式7のようになる。
Figure 2016016959
次に,移動体の速度は,xc、ycを変数とみなしたときの、x軸上の移動量ベクトル場の勾配と,y軸上の移動量ベクトル場の勾配から推定できることを示す。
x軸上では,yc=0であるため,数式7は次式のようになる。
Figure 2016016959
数式8のΔxcの第二項は,ピッチ回転による画素移動量である。前記第二項のグラフの例を図4に示す。図4が示すように,ピッチ回転によるx方向の画素移動量Δxcrは,x=0,y=Δθfを最小値としたほぼ左右対称なグラフとなる。したがって,前記グラフにおいて,x=0を中心とした2点が作る勾配は,常にほぼ0となる。一方,Δxcの第一項は,頂点をf/aに持ち,下に凸な二次関数であるため,f/aが0から離れていれば,x=0近傍では単調変化する。したがって,前記第一項と第二項の和は,x=0を中心に等距離にある2点を選べば,その2点間の勾配は,常に第一項のみの勾配とほぼ等しい。また,前記第一項の勾配は,明らかに画素移動量Δxに比例する。したがって,移動体の既知の移動量に対するΔxcの勾配を記録すれば,記録した前記勾配に基づいて,移動体の前進移動量が求まる。前記前進移動量を移動所要時間で除すことにより,移動体の前進速度が求まる。
また,y軸上では,xc=0であるため,数式7は次式のようになる。
Figure 2016016959
数式9において,Δxcの勾配は,−Δφである。したがって,y軸上Δxcの複数の点から勾配を求めればロール方向回転量Δφが求まる。求めたΔφから,xcΔφを計算し,数式8のΔycから差し引くと,数式10となる。
Figure 2016016959
数式10より,Δycは,明らかに移動体の横方向移動量ΔYに比例する。したがって,移動体の既知の移動量に対するΔycの勾配を記録すれば,記録した前記勾配に基づいて,移動体の横方向移動量が求まる。前記横方向移動量を移動所要時間で除すことにより,移動体の横方向速度が求まる。
以上より,移動体の移動量が,画素移動量の勾配を用いて計算可能であることを示した。なお,移動体に取り付けるカメラの向きがどのようであっても,カメラの光軸を通り走行面Gに垂直な平面と,結像面Cの、交線上の勾配と,カメラの光軸を通り前記交線と垂直な,結像面C上の直線上の勾配を用いることで,同様の計算が可能である。また,走行面Gの諸係数をカメラの姿勢より算出し,求めたΔX,ΔY,Δφを用いることで,例えば数式8などから移動体の回転量も算出可能である。
次に,計算手段113の内部構成要素について述べる。
画素移動量計算部1131は、撮像手段111から得た複数の撮像画像から、画像内の複数個所での画素移動量を計算する。本実施例では、画素移動量の計算方法として、ブロックマッチング法を用いる。
図5は、ブロックマッチング法を説明する図である。ブロックマッチング法では、まず,画像1において注目画素を中心とするブロックを決める。ブロックには,走行路面の濃淡や,小石など,その領域に固有なテクスチャが含まれるものとする。次に,画像1の直後に撮像した画像2に,適当な大きさの探索範囲をもうけ,ブロックと最も類似度の高い領域を探索する。本実施例では,類似度として,計算量が少ない差分二乗和を用いる。差分二乗和とは,ブロックと比較対象領域の輝度値の差の2乗の合計である。ブロック内のテクスチャと比較対象内のテクスチャが似ているほど,輝度値の差は少なくなるため,差分二乗和が最小となる領域が,ブロックと一致していると推定できる。差分二乗和 R を,次式に示す。
Figure 2016016959
ここで,x ,y は,探索範囲内でのブロック位置を示す自然数で,画像の左上端部のピクセルを原点に,下方向を x 軸,右方向を y 軸とする。また,ブロックの横幅が w ピクセル,縦幅が h ピクセルのとき,x’= 0,1,…,h,y’= 0,1,…,w である。探索領域内全域の x ,y について R を計算し,R を最小とする x ,y が,画像2内でのブロック内に含まれる画素の移動先であると推定できる。以上を,画像内の異なる複数箇所におけるブロックについて計算することで,画像内の画素移動量ベクトル場を計算できる。なお,画素移動量ベクトル場の計算方法は上記に限定されるものではない。例えば,各点の明るさの空間的および時間的な勾配の間の関係を用いる勾配法を使用する方法や,画像内のエッジを検出し,異なる時間で撮像した複数の画像同士で前記エッジと一致するエッジを見つけることで,画素移動量を算出する方法などを用いても良い。
画素移動量勾配計算部1132は,画素移動量ベクトル場の勾配を計算する。図6に,画素移動量の例を示す。図6(a)は,路面上を移動する移動体に設けたCMOSカメラから撮像した,2枚の路面画像より,ブロックマッチング方によって算出した画素移動量ベクトル場である。撮像画像を,縦横一定間隔ごとの探索領域に分割し,全ての探索領域について,x方向,y方向への画素移動量を計算すると,同図のような画素移動量ベクトル場となる。図6(b)は,画素移動量ベクトル場のx方向の画素移動量Δxc,図6(c)は,前記ベクトル場のy方向の画素移動量Δycを示したものである。移動量の単位はピクセルである。両図が示すとおり,前記ベクトル場の各成分は,ピクセル精度で単調変化しており,前記ベクトル場へ,曲面関数,または平面関数をフィッティングすることで,前記ベクトル場の任意の直線上の勾配を計算可能である。関数のフィッティング手法としては,例えば非特許文献(GNU Scientific Library Reference Manual (v1.12), pp446−448)に記載の重回帰分析(Multi−parameter Fitting)などを好適に用いる。
なお,画素移動量ベクトル場を関数フィッティングする際は,画像全体での画素移動量ベクトルは必要ない。非特許文献1によれば,例えば,平面関数でフィッティングする場合は,最小3箇所の画素移動量ベクトルがあればよい。したがって,例えば,図7に示すような探索領域について画素移動量ベクトルを求め,撮像ノイズの少ない領域の画素移動量ベクトルのみを用いてフィッティングするなどの工夫により、計算速度を削減することが可能である。
速度計算部1133は前記画素移動量勾配から,すでに述べた速度計算方法によって速度を計算する。
なお,図4で示したとおり,カメラの回転によって,画素移動量そのものは影響を受ける。いかなる焦点距離のカメラであっても,ピッチ回転に対し,Δθf以上の画素移動量が生じる。これは,移動による画素移動量が小さい場合は,無視できない量となる。したがって,従来手法のように画素移動量そのものから速度を求める場合,カメラの姿勢測定センサに誤差があると,速度測定結果の誤差も大きくなることがわかる。一方,本発明の光学式速度計測装置は,回転振動の影響がほとんど無い。そして,例えば,車両などに固定した場合は,走行面からカメラまでの高さがほぼ一定で,カメラは,固定された向きを中心に回転振動するだけである。したがって,本発明の前記装置を用いれば,カメラ姿勢測定用のセンサを用いなくとも,正確な速度を測定可能である。また,本発明の前記装置を,飛行装置などに設置すると,撮像手段の地面に対する角度が大きく変化するため,姿勢測定センサが必要となる。その場合,回転量の誤差の影響が少ないため,例えば,誤差の大きい安価な姿勢測定センサを用いたとしても,正確な速度を測定可能である。
以上によって,速度計測結果に対し,移動体の回転運動の影響が少なく,車輪の無い移動体や,車輪がスリップする移動体の速度も正確に測定可能な速度計測装置を提供する。
次に、上記の光学式速度計測装置を備え,移動体の姿勢が変化したり,車輪がスリップ・空転したりしても,正確に自己速度を測定可能な移動体の例を示す。図1の光学式速度計測装置11のうち、既に説明した図2に示された同一の符号を付された構成と、同一の機能を有する部分については、説明を省略する。
図8を用いて,本実施例の光学式速度計測装置を備えた移動体21の構造を説明する。図8(a)に示すように,前記移動体21は,光学式速度計測装置11と,光学式速度計測装置を走行面とおおよそ水平に保つための安定化手段211と,前後直列に2つの車輪を備え移動体を移動させるための走行手段212と,走行手段212の制御や,計測結果の処理を行う制御手段213と,移動体の姿勢を認識するための姿勢認識手段214と,外部装置との情報の入出力を行う,外部情報入出力手段215を備える。
図9を用いて,移動体21のシステム構成を説明する。光学式速度計測装置11からの速度計測結果と,安定化手段211のロール・ピッチ角情報と,走行手段212からの車輪回転速度と車輪操舵角と,姿勢認識手段214からの移動体の姿勢情報は,制御手段213へ送信される。また,制御手段213から前記装置11には,車輪回転速度や,移動体の姿勢情報が送信され,光学式速度計測装置11の速度計算に用いられる。制御手段213から安定化手段211には,光学式速度計測装置11の姿勢をおおよそ水平に安定化するための,目標ピッチ・ロール角が送信される。制御手段213から走行手段212には,目標車輪回転速度や,目標車輪操舵角情報が送信される。外部情報入出力手段215は,人または自律制御コンピュータなどからの,移動体制御命令を受信し,移動体の現在速度や位置,路銀具情報などを外部へ送信する。
制御手段213は,内部に,走行制御部2121と,速度計測手段切替部2122と,キャリブレーション部2123を備える。走行制御部2121は,姿勢認識手段214からの移動体の姿勢情報や、走行手段212からの速度情報・移動方向情報を元に、移動体がロール方向へ転倒しないように制御したり,移動方向・速度などの制御を行う。速度計測手段切替部2122は,走行手段の車輪回転速度に応じて,速度測定結果が高精度になるように,速度計測手段を切り替える。キャリブレーション部2123は,光学式速度計測装置11をキャリブレーションする。ここで,キャリブレーションとは,実施例1にて説明した,画素移動量ベクトル勾配と,他の速度計測手段による既知の速度と,前記速度を計測時の前記装置11の地面からの距離との比率を求めることである。
図10を用いて,制御手段213の動作について説明する。まず,装置を起動後,ステップS01にて,走行信号を外部情報入出力手段215より受信すると,ステップS02に進み,走行手段212を制御し,移動体21を走行させる。つぎに,ステップS03にて,車輪回転速度が所定の基準値Vk以下であれば,ステップS04へ進み,Vk以下でなければステップS05へ進む。ステップS04では,走行手段212から得た車輪回転速度から,移動体の速度を計測する。ステップS05では,キャリブレーション部2123によって,光学式速度計測装置11をキャリブレーションする。また,ステップS14では,ステップS05で行ったキャリブレーション結果に基づいて光学式速度計測装置11によって速度を測定する。ステップS06で,外部情報入出力手段215から終了信号を受信するか,いずれかの構成要素からエラーによる終了信号を受信したりした場合は,移動体の動作を終了する。
図11を用いて,速度計測手段切替部2122の,切替基準値Vkについて説明する。図11は,横軸は移動体の速度,縦軸が速度の真値に対する速度計測結果の誤差の割合である。一般的に,車輪回転量による速度計測では,移動体の速度が上がるほど,車輪の変形やすべりが大きくなるため,誤差の割合が大きくなる。一方,光学式速度計測装置11の誤差は,画素移動量が原理的にピクセル精度で計算されることに起因し,移動速度に依存せず常に一定量の誤差が現れる。例えば,常に誤差が時速1km含まれる場合,時速10kmのときの誤差は10%だが,時速100kmのときは1%となる。以上のように,車輪回転量による速度計測手段の誤差の割合と,光学式速度計測装置11の誤差の割合は,速度に対して逆の変化をするため,図11に示すように,誤差の割合が互いに逆転する速度Vkが存在する。そこで,Vkよりも移動体の速度が遅い場合は,車輪回転量による速度計測手段を,Vk以上の場合は光学式速度計測装置11を用いることで,広範な速度領域において,精度良く速度を計測することが可能となる。
また,車輪回転量によって速度を計測しているときに,使用していない光学式速度計測装置をキャリブレーションすることで,移動体使用前に,キャリブレーションのためだけの動作を行う手間が省ける。
キャリブレーション結果から,速度を計算する方法を説明する。数式8より,画素移動量勾配は,速度に比例し,係数cに反比例する。係数cは,走行面Gと,座標系のz軸との切片である。また,係数cは,撮像手段111と走行面Gとの距離に比例する。以上より,速度は次式にように計算可能である。
Figure 2016016959
上式で,c’は,係数c か、または,係数cに比例する量であり,vxは前進方向の速度,vyは左方向への速度,pxはx方向の画素移動量勾配,pyはy方向の画素移動量勾配,Kx,yはキャリブレーションで求めた比例定数である。キャリブレーション時に記録した,既知の,x方向速度vx0,y方向速度vy0,係数cまたは係数cに比例する量c0’と,測定された、x方向の画素移動量勾配px0, y方向の画素移動量勾配py0より,前記比例定数Kx,yは,次式で求まる。
Figure 2016016959
係数cは,例えば,姿勢認識手段による移動体21の姿勢と,光学式速度測定装置11の撮像手段111との幾何的関係から求めることができる。あるいは,係数cと比例する量としては,撮像手段111と走行面Gとの距離がある。前記距離は、移動体21に具備したレーザーセンサや超音波センサなどのセンサを好適に用いて測定すればよい。
安定化手段211は,ピッチ,ロール方向に光学式速度計測装置11の姿勢を制御することができ,制御手段213からの制御信号に基づいて,前記装置11のロール角を走行面とおおよそ水平になるよう動作する。なお、速度計測のために安定化手段211は必ずしも必要ではないが、利用することによって、結像面のx軸とy軸上の画素移動量勾配を利用できるので、計算を簡略化することが可能となる。
走行手段212は,図8(b)のように,前後の車輪を独立に操舵することができ,制御手段213からの制御信号に基づいて移動体を移動させる。ただし、本実施例では移動体の姿勢が走行中に変わる移動体の例として2輪機構の走行手段を用いているが、走行手段は本例に限ったものではない。移動体を変異させる手段であればあらゆる手段が用いてよい。例えば、3輪機構、4輪機構をはじめとした車輪や、クローラー、脚、ホバーを用いてもよい。または、走行手段の変わりに、例えば、プロペラ、翼、ジェット、パラシュートなどの飛行手段を用いてもよい。さらに、例えば、壁伝い、天井伝いに移動するためのレール機構、吸着機構などを用いてもよい。
制御手段213は,例えば、プログラム又はファームウェアが格納されたROMと、記憶部としてのRAMと、前記ROMに格納されたプログラムを実行するコントロールユニットとしてCPUを備える。
このように本実施例では、速度計測結果に対し,移動体の回転運動の影響が少なく,車輪の無い移動体や,車輪がスリップする移動体の速度も正確に測定可能な速度計算装置を提供することができる。さらに、この速度計算装置を備え、車輪のスリップや空転,車輪の有無にかかわらず,自身の速度を正確に推定可能な移動体を提供することができる。なお,撮像対象の平面は,地面に限らず,カメラとの位置関係の分かる平面であればあらゆる平面が対象となる。例えば,地面やビルの壁面,天井面,水面,机の天板などでもよい。とくに,車輪を用いずに移動する船舶や飛行体への適用が期待できる。
本発明は、上記した実施例に限定されるものではなく,様々な変形例が含まれる。例えば,上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり,必ずしも説明した全ての構成を備えるものに限定されるものではない。また,ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり,また,ある実施例の構成に他の実施例の構成を加えることも可能である。また,各実施例の構成の一部について,他の構成の追加・削除・置換をすることが可能である。
また,上記の各構成,機能,処理部,処理手段等は,それらの一部又は全部を,例えば集積回路で設計する等によりハードウェアで実現してもよい。また,上記の各構成,機能等は,プロセッサがそれぞれの機能を実現するプログラムを解釈し,実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム,テーブル,ファイル等の情報は,メモリや,ハードディスク,SSD(Solid State Drive)等の記録装置,または,ICカード,SDカード,DVD等の記録媒体に置くことができる。
また,制御線や情報線は説明上必要と考えられるものを示しており,製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
また、上記実施例では移動体に設置した光学式速度計測装置について述べたが、前記装置を、例えば、固定された点に設置して、撮像対象物体の速度を計測することにも利用できる。例えば、液体表面や、シート状の物体、シート上に散布された物体などを撮像することにより、撮像対象物体の移動速度を計測できる。
また、前記装置の撮像装置によって、移動速度を観測したい物体を直接撮像するのではなく、外部に設置した撮像手段から映し出された画像モニタや、スクリーン映像などを、前記装置の撮像手段によって撮像するなど、間接的に撮像しても良い。
11 実施例1の光学式速度計測装置
111 撮像手段
112 情報交換手段
113 計算手段
1131 画像移動量計算部
1132 画素移動量勾配計算部
1133 速度計算部
21 実施例2の移動体
211 安定化手段
212 走行手段
2121 走行制御部
2122 速度計測手段切替部
2123 キャリブレーション部
213 制御手段
214 姿勢認識手段
215 外部情報入出力手段
c カメラの撮像面上のx座標
c カメラの撮像面上のy座標
Δxc x方向の画素移動量
Δyc y方向の画素移動量
Δx 撮像対象のx方向の移動量
Δy 撮像対象のy方向の移動量
ΔX 撮像対象の前進方向への移動量
ΔY 撮像対象の左方向への移動量

Claims (10)

  1. 移動体に備えられ,撮像平面が移動した際の各画素の移動量が画像内の位置によって異なるように走行面を撮像する撮像手段と、
    前記撮像部が時系列的に撮像した複数の画像から、所定の軸に対する各画素の移動量の変化を画素移動量勾配として求め、当該画素移動量勾配から前記移動体の速度を求める計算手段と、
    を有する光学式速度計測装置。
  2. 請求項1の光学式速度計測装置において,
    前記移動体の既知の移動量に対する前記画素移動量勾配を記憶し、
    前記計算手段は、求めた前記画素移動量勾配と、既知の移動量に対する前記画素移動量勾配と、から前記移動体の速度を求めることを特徴とする光学式速度計測装置。
  3. 請求項1の光学式速度計測装置において,
    前記撮像手段は、斜め方向から走行面を撮像することで、撮像平面が移動した際の各画素の移動量が画像内の位置によって異なるよう撮像することを特徴とする光学式速度計測装置。
  4. 請求項1の光学式速度計測装置において,
    前記計算手段が求める前記画素移動量勾配とは、前記撮像手段の光軸を通り走行面に垂直な平面と、前記撮像手段の結像面と、の交線上の画素移動量の勾配,及び、前記撮像手段の光軸を通り前記交線とおよそ垂直な前記結像面上の直線上の画素移動量の勾配、であることを特徴とする光学式速度計測装置。
  5. 請求項1の光学式速度計測装置において,
    前記計算手段が求める前記画素移動量勾配は,前記撮像手段の光軸と,前記撮像手段の結像面との交点を中心に対称な位置にある画素の移動量同士の変化量に基づいて計算することを特徴とする光学式速度計測装置。
  6. 自身の位置を変位させるための移動手段と,前記移動手段を制御するための制御手段と,を備える移動体において、
    撮像平面が移動した際の各画素の移動量が画像内の位置によって異なるように走行面を撮像する撮像手段と、前記撮像部が時系列的に撮像した複数の画像から、所定の軸に対する各画素の移動量の変化を画素移動量勾配として求め、当該画素移動量勾配から前記移動体の速度を求める計算手段と、を有する光学式速度計測装置
    を備える移動体。
  7. 請求項6に記載の移動体において、
    前記光学式速度計測装置の撮像手段の姿勢を認識する姿勢認識手段、を備え、
    前記計算手段は、前記姿勢認識手段により認識された姿勢情報を前記移動体の速度計測のキャリブレーションに用いることを特徴とする移動体。
  8. 請求項6に記載の移動体において、
    前記制御手段は,前記移動体の速度に応じて,前記光学式速度計測装置と,走行面に接地した接地式速度計測装置と切替えることを特徴とする移動体。
  9. 請求項6に記載の移動体において、
    前記光学式速度計測装置の測定誤差が,前記接地式速度計測装置の測定誤差と同程度になる速度以下の速度の場合には、前記接地式速度計測装置を用い、
    前記光学式速度計測装置の測定誤差が,前記接地式速度計測装置の測定誤差と同程度になる速度以上の速度の場合には、前記光学式速度計測装置を用いることを特徴とする移動体。
  10. 請求項6において、
    前記接地式速度計測装置の使用中に,前記光学式速度計測装置のキャリブレーションを行うことを特徴とする移動体。
JP2016537649A 2014-07-30 2014-07-30 光学式速度計測装置および移動体 Active JP6318252B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/069993 WO2016016959A1 (ja) 2014-07-30 2014-07-30 光学式速度計測装置および移動体

Publications (2)

Publication Number Publication Date
JPWO2016016959A1 true JPWO2016016959A1 (ja) 2017-04-27
JP6318252B2 JP6318252B2 (ja) 2018-04-25

Family

ID=55216904

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016537649A Active JP6318252B2 (ja) 2014-07-30 2014-07-30 光学式速度計測装置および移動体

Country Status (3)

Country Link
US (1) US9977044B2 (ja)
JP (1) JP6318252B2 (ja)
WO (1) WO2016016959A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3425898A1 (en) * 2016-03-02 2019-01-09 Sony Corporation Imaging control device, imaging control method, and program
EP3435152B1 (en) * 2016-03-23 2020-12-02 Hitachi Automotive Systems, Ltd. Vehicle-mounted image processing device
US10753857B2 (en) * 2017-07-24 2020-08-25 Visiongate Inc. Apparatus and method for measuring microscopic object velocities in flow
JP2019203732A (ja) * 2018-05-22 2019-11-28 株式会社小野測器 状態計測装置
CN109270289A (zh) * 2018-09-29 2019-01-25 广东省特种设备检测研究院东莞检测院 一种速度测试系统及测试方法
CN109782025B (zh) * 2019-02-14 2022-01-25 成都路行通信息技术有限公司 一种修正车载设备速度漂移的方法
CN110361560B (zh) * 2019-06-25 2021-10-26 中电科技(合肥)博微信息发展有限责任公司 一种船舶航行速度测量方法、装置、终端设备及计算机可读存储介质
DE102020114963A1 (de) 2020-06-05 2021-12-09 Connaught Electronics Ltd. Planarflussbasierte visuelle Odometrie mit Maßstabsauflösung

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4385830A (en) * 1980-11-26 1983-05-31 Cornell Research Foundation, Inc. Direct measurement of vorticity by optical probe
JP2007078358A (ja) * 2005-09-09 2007-03-29 Sumitomo Electric Ind Ltd 移動体計測装置、信号制御システム、移動体計測方法及びコンピュータプログラム
JP2010019640A (ja) * 2008-07-09 2010-01-28 Nissan Motor Co Ltd 速度計測装置および速度計測方法
JP2011209825A (ja) * 2010-03-29 2011-10-20 Panasonic Corp ナビゲーション装置
JP2013003110A (ja) * 2011-06-21 2013-01-07 Denso Corp 車両状態検出装置
EP2725362A1 (en) * 2012-10-26 2014-04-30 Aix-Marseille Université Motion sensor assembly for determining the angular velocity of a moving contrast in its field of view with high accuracy

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7065258B2 (en) * 2001-05-21 2006-06-20 Mitutoyo Corporation Systems and methods for reducing accumulated systematic errors in image correlation displacement sensing systems
DE50309811D1 (de) * 2002-09-23 2008-06-19 Captron Elect Gmbh Mess- und stabilisierungsystem f r maschinell steuerbare veh ikel
DE102005022095B4 (de) * 2005-05-12 2007-07-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Bestimmung einer lateralen Relativbewegung zwischen einem Bearbeitungskopf und einem Werkstück
US9188677B2 (en) * 2013-05-01 2015-11-17 Sandia Corporation Imaging doppler lidar for wind turbine wake profiling

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4385830A (en) * 1980-11-26 1983-05-31 Cornell Research Foundation, Inc. Direct measurement of vorticity by optical probe
JP2007078358A (ja) * 2005-09-09 2007-03-29 Sumitomo Electric Ind Ltd 移動体計測装置、信号制御システム、移動体計測方法及びコンピュータプログラム
JP2010019640A (ja) * 2008-07-09 2010-01-28 Nissan Motor Co Ltd 速度計測装置および速度計測方法
JP2011209825A (ja) * 2010-03-29 2011-10-20 Panasonic Corp ナビゲーション装置
JP2013003110A (ja) * 2011-06-21 2013-01-07 Denso Corp 車両状態検出装置
EP2725362A1 (en) * 2012-10-26 2014-04-30 Aix-Marseille Université Motion sensor assembly for determining the angular velocity of a moving contrast in its field of view with high accuracy

Also Published As

Publication number Publication date
WO2016016959A1 (ja) 2016-02-04
US20170322232A1 (en) 2017-11-09
JP6318252B2 (ja) 2018-04-25
US9977044B2 (en) 2018-05-22

Similar Documents

Publication Publication Date Title
JP6318252B2 (ja) 光学式速度計測装置および移動体
US20210124029A1 (en) Calibration of laser and vision sensors
US10133279B2 (en) Apparatus of updating key frame of mobile robot and method thereof
US10133278B2 (en) Apparatus of controlling movement of mobile robot mounted with wide angle camera and method thereof
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US10399228B2 (en) Apparatus for recognizing position of mobile robot using edge based refinement and method thereof
KR101776620B1 (ko) 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US20190311485A1 (en) Method for Evaluating Image Data of a Vehicle Camera
JP6003673B2 (ja) 3次元位置推定装置、車両制御装置、および3次元位置推定方法
JP2010165352A (ja) 多重3次元ワーピングに基づく物体運動検出システムおよび方法とこのようなシステムを備えた車両
JP2016148512A (ja) 単眼モーションステレオ距離推定方法および単眼モーションステレオ距離推定装置
JP2013097675A (ja) 勾配推定装置、勾配推定方法、及び勾配推定プログラム
JP2011141221A (ja) 測位装置及び測位方法
JPWO2017145541A1 (ja) 移動体
WO2017038659A1 (ja) 運動検出装置及びそれを用いた三次元形状測定装置
US11645762B2 (en) Obstacle detection
JP5062626B2 (ja) 物体識別装置
JP2022190173A (ja) 位置推定装置
JP4231883B2 (ja) 画像処理装置及びその方法
JP2007085825A (ja) 到来方向推定装置
US11715229B2 (en) Moving body and system
JP7199337B2 (ja) 位置推定装置、位置推定方法およびプログラム
KR102555269B1 (ko) 전방향 영상센서 및 관성측정센서의 자세추정 융합 방법 및 시스템
WO2023234384A1 (ja) 地図生成装置、地図生成方法、及びコンピュータ読み取り可能な記録媒体
JP7205049B2 (ja) 移動ベクトル算出方法及び移動ベクトル算出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161206

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170111

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180402

R150 Certificate of patent or registration of utility model

Ref document number: 6318252

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150