JP5160370B2 - 自律移動ロボット装置、移動体の操縦補助装置、自律移動ロボット装置の制御方法及び移動体の操縦補助方法 - Google Patents
自律移動ロボット装置、移動体の操縦補助装置、自律移動ロボット装置の制御方法及び移動体の操縦補助方法 Download PDFInfo
- Publication number
- JP5160370B2 JP5160370B2 JP2008266804A JP2008266804A JP5160370B2 JP 5160370 B2 JP5160370 B2 JP 5160370B2 JP 2008266804 A JP2008266804 A JP 2008266804A JP 2008266804 A JP2008266804 A JP 2008266804A JP 5160370 B2 JP5160370 B2 JP 5160370B2
- Authority
- JP
- Japan
- Prior art keywords
- reflectance
- wavelength band
- camera
- laser range
- range finder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 55
- 230000003595 spectral effect Effects 0.000 claims description 40
- 238000005259 measurement Methods 0.000 claims description 33
- 238000003384 imaging method Methods 0.000 claims description 16
- 241000196324 Embryophyta Species 0.000 description 78
- 244000025254 Cannabis sativa Species 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000010521 absorption reaction Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 1
- 229930002875 chlorophyll Natural products 0.000 description 1
- 235000019804 chlorophyll Nutrition 0.000 description 1
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Description
本発明は、制御装置を搭載し制御装置によって制御されて自律移動を行う自律移動ロボット装置及びこのような自律移動ロボット装置の制御方法、並びに、人間が行う移動体の操縦を補助する移動体の操縦補助装置及び移動体の操縦補助方法に関する。
従来、制御装置を搭載し、この制御装置によって制御されて自律移動を行う自律移動ロボット装置が提案されている。この自律移動ロボット装置は、周囲の障害物を避けながら所定の目標地点に到達するように、自らが決定した移動ルート上を移動する。また、このような制御装置は、人間が行う移動体の操縦の補助を行うこともできる。
自律移動の制御や操縦補助を行う制御装置においては、周囲の状況についての情報を得て、この情報に基づいて、安全に目的地に向かうことができる進路を決定する。そして、制御装置は、自律移動を行う場合には、決定した進路上を移動するように移動体を制御し、操縦補助を行う場合には、決定した進路を表示手段などにより操縦者に伝達する。
道路外や不整地などにおいて移動体の自律移動を実現するには、制御装置は、図１０に示すように、移動体１０１に装備したレーザレンジファインダなどのセンサ１０２により、地面や地上に存在する構造物１０３や樹木の立体形状をスキャンして計測し、起伏の変化が小さい平坦部分を検出する。そして、制御装置は、図１１に示すように、計測結果に基づいて、平坦部分を通過するように進路を決定し、この進路に沿って移動体を制御する。
また、制御装置は、操縦補助を行う場合には、安全性向上のため、地面や地上に存在する周囲の形状を検出し、危険距離まで接近した場合には、回避、または、停止するように移動体を制御し、あるいは、操縦者に危険を知らせる。
このように周囲の形状を検出して進路を決定する方法として、例えば、特許文献１には、路面外のデータやノイズデータを取り除いたデータを近似した曲線を求め、この曲線を進行方向に並べた列を求めて路面形状を検出する方法が提案されている。この方法においては、これら曲線及び曲線の列からそれぞれの計測点について距離を求めると、この距離の変化が大きいところが障害物の点となる。
また、特許文献２には、複数の２次元スキャンレーザレンジファインダを組み合わせて、障害物を検出する方法が提案されている。この方法においては、短時間で、進行方向には非常に短く横方向に長い長方形のスキャンエリアを持つ３次元スキャンを実現することができる。そして、この方法においては、進行方向及び横方向について、距離変化の微分値が周囲の微分値と大きく異なる箇所を障害物とする。
ところで、従来の自律移動ロボット装置においては、図１２中の（ａ）に示すように、例えば草むら１０４に対して、レーザ測距のためのスキャンを行うと、図１２中の（ｂ）に示すように、レーザ光が雑草に当たって反射する部分と、レーザ光が草の隙間を通過して反射しない部分とがランダムに繰り返されるため、全体の高さが低くとも、非常に急峻な距離変化が生ずる箇所が草むら１０４の全体に散在しているという結果が得られる。
草むらについてこのような結果が得られると、自律移動ロボット装置が車輪によって移動する構成である場合、車輪の半径と同程度の高さ、例えば、３５ｃｍ程度の草むらが存在した場合には、これと同程度の高さの急激な段差と同様の障害物として評価されることなり、通過不能と判断されることになる。
このような草むら１０４は、図１３中の（ａ）及び（ｂ）に示すように、道路１０５の踏み跡の中央部分や、公園、河原などにおいて頻繁に存在する。したがって、従来の自律移動ロボット装置においては、車輌が何度も通過してできた踏み跡をトレースする進路を辿ろうとしても、この踏み跡の中央部分に草むらがある場合には、この進路を通行できないことになり、不合理な結果となる。
また、操縦補助を行う場合においても、膝の高さ程度の草むらを通過しようとすると、実際には通行可能であるにも拘わらず、制御装置が障害物と判断するため、移動体が停止させられるなど、円滑な操縦ができなくなる。
そこで、本発明は、前述の実情に鑑みて提案されるものであり、例えば草むらが存在する進路など、実際には通行可能である進路を、障害物があって通過不能な進路と誤って判断することが防止され、円滑な移動を行うことができるようになされた自律移動ロボット装置及び自律移動ロボット装置の制御方法を提供し、また、このような移動体の操縦補助装置及び移動体の操縦補助方法を提供することを目的とする。
前述の課題を解決し、前記目的を達成するため、本発明は、以下の構成のいずれか一を有するものである。
〔構成１〕
本発明に係る自律移動ロボット装置は、移動可能となされた走行部と、走行部に搭載されこの走行部の周囲の形状を計測するレーザレンジファインダと、走行部に搭載されこの走行部の周囲を撮像するカメラと、走行部に搭載されレーザレンジファインダによる計測結果に基づいて移動可能領域を検出するとともにこの移動可能領域内において移動予定路を決定し走行部を制御して移動予定路上を移動させる制御手段とを備え、カメラは、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有し、制御手段は、カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、レーザレンジファインダにより計測された形状のうち、植物の葉であると判別された箇所については、この形状を避けるか否かを判断するための高さの閾値を変更し、該形状を避けるか否かを判断することを特徴とするものである。
本発明に係る自律移動ロボット装置は、移動可能となされた走行部と、走行部に搭載されこの走行部の周囲の形状を計測するレーザレンジファインダと、走行部に搭載されこの走行部の周囲を撮像するカメラと、走行部に搭載されレーザレンジファインダによる計測結果に基づいて移動可能領域を検出するとともにこの移動可能領域内において移動予定路を決定し走行部を制御して移動予定路上を移動させる制御手段とを備え、カメラは、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有し、制御手段は、カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、レーザレンジファインダにより計測された形状のうち、植物の葉であると判別された箇所については、この形状を避けるか否かを判断するための高さの閾値を変更し、該形状を避けるか否かを判断することを特徴とするものである。
〔構成２〕
本発明に係る自律移動ロボット装置は、移動可能となされた走行部と、走行部に搭載されこの走行部の周囲の形状を計測するレーザレンジファインダと、走行部に搭載されこの走行部の周囲を撮像するカメラと、走行部に搭載されレーザレンジファインダによる計測結果に基づいて移動可能領域を検出するとともにこの移動可能領域内において移動予定路を決定し走行部を制御して移動予定路上を移動させる制御手段とを備え、カメラは、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有し、制御手段は、カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、レーザレンジファインダにより計測された形状のうち、植物の葉であると判別された箇所については、増加関数によって高さを変換し、変換した高さと走行部を移動可能とする一定の閾値とによって、該形状を避けるか否かを判断することを特徴とするものである。
本発明に係る自律移動ロボット装置は、移動可能となされた走行部と、走行部に搭載されこの走行部の周囲の形状を計測するレーザレンジファインダと、走行部に搭載されこの走行部の周囲を撮像するカメラと、走行部に搭載されレーザレンジファインダによる計測結果に基づいて移動可能領域を検出するとともにこの移動可能領域内において移動予定路を決定し走行部を制御して移動予定路上を移動させる制御手段とを備え、カメラは、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有し、制御手段は、カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、レーザレンジファインダにより計測された形状のうち、植物の葉であると判別された箇所については、増加関数によって高さを変換し、変換した高さと走行部を移動可能とする一定の閾値とによって、該形状を避けるか否かを判断することを特徴とするものである。
〔構成３〕
本発明に係る移動体の操縦補助装置は、操縦可能な移動体に搭載されこの移動体の周囲の形状を計測するレーザレンジファインダと、移動体に搭載されこの移動体の周囲を撮像するカメラと、移動体に搭載されレーザレンジファインダによる計測結果に基づいて移動可能領域を検出する制御手段と、制御手段により制御される表示手段とを備え、カメラは、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有し、制御手段は、カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率比が所定値よりも高い点を植物の葉であると判別し、レーザレンジファインダにより計測された形状のうち、植物の葉であると判別された箇所については、この形状を避けるか否かを判断するための高さの閾値を変更し、該形状を避けるべきか否かを判断して、この判断結果を表示手段により表示し、または、衝突が予測される方向には進めなくすることを特徴とするものである。
本発明に係る移動体の操縦補助装置は、操縦可能な移動体に搭載されこの移動体の周囲の形状を計測するレーザレンジファインダと、移動体に搭載されこの移動体の周囲を撮像するカメラと、移動体に搭載されレーザレンジファインダによる計測結果に基づいて移動可能領域を検出する制御手段と、制御手段により制御される表示手段とを備え、カメラは、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有し、制御手段は、カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率比が所定値よりも高い点を植物の葉であると判別し、レーザレンジファインダにより計測された形状のうち、植物の葉であると判別された箇所については、この形状を避けるか否かを判断するための高さの閾値を変更し、該形状を避けるべきか否かを判断して、この判断結果を表示手段により表示し、または、衝突が予測される方向には進めなくすることを特徴とするものである。
〔構成４〕
本発明に係る移動体の操縦補助装置は、操縦可能な移動体に搭載されこの移動体の周囲の形状を計測するレーザレンジファインダと、移動体に搭載されこの移動体の周囲を撮像するカメラと、移動体に搭載されレーザレンジファインダによる計測結果に基づいて移動可能領域を検出する制御手段と、制御手段により制御される表示手段とを備え、カメラは、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有し、制御手段は、カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率比が所定値よりも高い点を植物の葉であると判別し、レーザレンジファインダにより計測された形状のうち、植物の葉であると判別された箇所については、増加関数によって高さを変換し、変換した高さと走行部を移動可能とする一定の閾値とによって、該形状を避けるべきか否かを判断して、この判断結果を表示手段により表示し、または、衝突が予測される方向には進めなくすることを特徴とするものである。
本発明に係る移動体の操縦補助装置は、操縦可能な移動体に搭載されこの移動体の周囲の形状を計測するレーザレンジファインダと、移動体に搭載されこの移動体の周囲を撮像するカメラと、移動体に搭載されレーザレンジファインダによる計測結果に基づいて移動可能領域を検出する制御手段と、制御手段により制御される表示手段とを備え、カメラは、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有し、制御手段は、カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率比が所定値よりも高い点を植物の葉であると判別し、レーザレンジファインダにより計測された形状のうち、植物の葉であると判別された箇所については、増加関数によって高さを変換し、変換した高さと走行部を移動可能とする一定の閾値とによって、該形状を避けるべきか否かを判断して、この判断結果を表示手段により表示し、または、衝突が予測される方向には進めなくすることを特徴とするものである。
〔構成５〕
本発明に係る自律移動ロボット装置の制御方法は、移動可能となされた走行部と周囲の形状を計測するレーザレンジファインダと周囲を撮像するカメラとを有する自律移動ロボット装置を制御する方法であって、カメラとして、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有するものを用い、カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率比が所定値よりも高い点を植物の葉であると判別し、レーザレンジファインダによる計測結果に基づいて計測された形状のうち、植物の葉であると判別された箇所については、この形状を避けるか否かを判断するための高さの閾値を変更し、該形状を避けるか否かを判断することにより、移動可能領域を検出し、この移動可能領域内において移動予定路を決定して、走行部を制御して移動予定路上を移動させることを特徴とするものである。
本発明に係る自律移動ロボット装置の制御方法は、移動可能となされた走行部と周囲の形状を計測するレーザレンジファインダと周囲を撮像するカメラとを有する自律移動ロボット装置を制御する方法であって、カメラとして、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有するものを用い、カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率比が所定値よりも高い点を植物の葉であると判別し、レーザレンジファインダによる計測結果に基づいて計測された形状のうち、植物の葉であると判別された箇所については、この形状を避けるか否かを判断するための高さの閾値を変更し、該形状を避けるか否かを判断することにより、移動可能領域を検出し、この移動可能領域内において移動予定路を決定して、走行部を制御して移動予定路上を移動させることを特徴とするものである。
〔構成６〕
本発明に係る自律移動ロボット装置の制御方法は、移動可能となされた走行部と周囲の形状を計測するレーザレンジファインダと周囲を撮像するカメラとを有する自律移動ロボット装置を制御する方法であって、カメラとして、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有するものを用い、カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率比が所定値よりも高い点を植物の葉であると判別し、レーザレンジファインダによる計測結果に基づいて計測された形状のうち、植物の葉であると判別された箇所については、増加関数によって高さを変換し、変換した高さと走行部を移動可能とする一定の閾値とによって、該形状を避けるか否かを判断することにより、移動可能領域を検出し、この移動可能領域内において移動予定路を決定して、走行部を制御して移動予定路上を移動させることを特徴とするものである。
本発明に係る自律移動ロボット装置の制御方法は、移動可能となされた走行部と周囲の形状を計測するレーザレンジファインダと周囲を撮像するカメラとを有する自律移動ロボット装置を制御する方法であって、カメラとして、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有するものを用い、カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率比が所定値よりも高い点を植物の葉であると判別し、レーザレンジファインダによる計測結果に基づいて計測された形状のうち、植物の葉であると判別された箇所については、増加関数によって高さを変換し、変換した高さと走行部を移動可能とする一定の閾値とによって、該形状を避けるか否かを判断することにより、移動可能領域を検出し、この移動可能領域内において移動予定路を決定して、走行部を制御して移動予定路上を移動させることを特徴とするものである。
〔構成７〕
本発明に係る移動体の操縦補助方法は、操縦可能な移動体に搭載され移動体の周囲の形状を計測するレーザレンジファインダと、移動体に搭載され移動体の周囲を撮像するカメラとを用いて、レーザレンジファインダによる計測結果に基づいて移動可能領域を検出して、移動体の操縦者を補助する操縦補助方法であって、カメラとして、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有するものを用い、カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率比が所定値よりも高い点を植物の葉であると判別し、レーザレンジファインダにより計測された形状のうち、植物の葉であると判別された箇所については、この形状を避けるか否かを判断するための高さの閾値を変更し、該形状を避けるべきか否かを判断して、この判断結果を操縦者に対して表示し、または、衝突が予測される方向には進めなくすることを特徴とするものである。
本発明に係る移動体の操縦補助方法は、操縦可能な移動体に搭載され移動体の周囲の形状を計測するレーザレンジファインダと、移動体に搭載され移動体の周囲を撮像するカメラとを用いて、レーザレンジファインダによる計測結果に基づいて移動可能領域を検出して、移動体の操縦者を補助する操縦補助方法であって、カメラとして、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有するものを用い、カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率比が所定値よりも高い点を植物の葉であると判別し、レーザレンジファインダにより計測された形状のうち、植物の葉であると判別された箇所については、この形状を避けるか否かを判断するための高さの閾値を変更し、該形状を避けるべきか否かを判断して、この判断結果を操縦者に対して表示し、または、衝突が予測される方向には進めなくすることを特徴とするものである。
〔構成８〕
本発明に係る移動体の操縦補助方法は、操縦可能な移動体に搭載され移動体の周囲の形状を計測するレーザレンジファインダと、移動体に搭載され移動体の周囲を撮像するカメラとを用いて、レーザレンジファインダによる計測結果に基づいて移動可能領域を検出して、移動体の操縦者を補助する操縦補助方法であって、カメラとして、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有するものを用い、カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率比が所定値よりも高い点を植物の葉であると判別し、レーザレンジファインダにより計測された形状のうち、植物の葉であると判別された箇所については、増加関数によって高さを変換し、変換した高さと走行部を移動可能とする一定の閾値とによって、該形状を避けるべきか否かを判断して、この判断結果を操縦者に対して表示し、または、衝突が予測される方向には進めなくすることを特徴とするものである。
本発明に係る移動体の操縦補助方法は、操縦可能な移動体に搭載され移動体の周囲の形状を計測するレーザレンジファインダと、移動体に搭載され移動体の周囲を撮像するカメラとを用いて、レーザレンジファインダによる計測結果に基づいて移動可能領域を検出して、移動体の操縦者を補助する操縦補助方法であって、カメラとして、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有するものを用い、カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率比が所定値よりも高い点を植物の葉であると判別し、レーザレンジファインダにより計測された形状のうち、植物の葉であると判別された箇所については、増加関数によって高さを変換し、変換した高さと走行部を移動可能とする一定の閾値とによって、該形状を避けるべきか否かを判断して、この判断結果を操縦者に対して表示し、または、衝突が予測される方向には進めなくすることを特徴とするものである。
構成１を有する本発明に係る自律移動ロボット装置においては、制御手段は、カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率比が所定値よりも高い点を植物の葉であると判別し、レーザレンジファインダにより計測された形状のうち、植物の葉であると判別された箇所については、この形状を避けるか否かを判断するための高さの閾値を変更し、該形状を避けるか否かを判断するので、草むらなどが存在するが実際には通行可能である進路を、障害物があって通過不能な進路と誤って判断することが防止され、円滑な移動を行うことができる。
構成２を有する本発明に係る自律移動ロボット装置においては、制御手段は、カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率比が所定値よりも高い点を植物の葉であると判別し、レーザレンジファインダにより計測された形状のうち、植物の葉であると判別された箇所については、増加関数によって高さを変換し、変換した高さと走行部を移動可能とする一定の閾値とによって、該形状を避けるか否かを判断するので、草むらなどが存在するが実際には通行可能である進路を、障害物があって通過不能な進路と誤って判断することが防止され、円滑な移動を行うことができる。
構成３を有する本発明に係る移動体の操縦補助装置においては、制御手段は、カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率比が所定値よりも高い点を植物の葉であると判別し、レーザレンジファインダにより計測された形状のうち、植物の葉であると判別された箇所については、この形状を避けるか否かを判断するための高さの閾値を変更し、該形状を避けるべきか否かを判断して、この判断結果を表示手段により表示し、または、衝突が予測される方向には進めなくするので、草むらなどが存在するが実際には通行可能である進路を、障害物があって通過不能な進路と誤って判断することが防止され、円滑な移動を行うべく補助することができる。
構成４を有する本発明に係る移動体の操縦補助装置においては、制御手段は、カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率比が所定値よりも高い点を植物の葉であると判別し、レーザレンジファインダにより計測された形状のうち、植物の葉であると判別された箇所については、増加関数によって高さを変換し、変換した高さと走行部を移動可能とする一定の閾値とによって、該形状を避けるべきか否かを判断して、この判断結果を表示手段により表示し、または、衝突が予測される方向には進めなくするので、草むらなどが存在するが実際には通行可能である進路を、障害物があって通過不能な進路と誤って判断することが防止され、円滑な移動を行うべく補助することができる。
構成５を有する本発明に係る自律移動ロボット装置の制御方法においては、カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率比が所定値よりも高い点を植物の葉であると判別し、レーザレンジファインダにより計測された形状のうち、植物の葉であると判別された箇所については、この形状を避けるか否かを判断するための高さの閾値を変更し、該形状を避けるか否かを判断することにより、移動可能領域を検出し、この移動可能領域内において移動予定路を決定して、走行部を制御して移動予定路上を移動させるので、草むらなどが存在するが実際には通行可能である進路を、障害物があって通過不能な進路と誤って判断することを防止して、円滑な移動が行えるように制御することができる。
構成６を有する本発明に係る自律移動ロボット装置の制御方法においては、カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率比が所定値よりも高い点を植物の葉であると判別し、レーザレンジファインダにより計測された形状のうち、植物の葉であると判別された箇所については、増加関数によって高さを変換し、変換した高さと走行部を移動可能とする一定の閾値とによって、該形状を避けるか否かを判断することにより、移動可能領域を検出し、この移動可能領域内において移動予定路を決定して、走行部を制御して移動予定路上を移動させるので、草むらなどが存在するが実際には通行可能である進路を、障害物があって通過不能な進路と誤って判断することを防止して、円滑な移動が行えるように制御することができる。
構成７を有する本発明に係る移動体の操縦補助方法においては、カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率比が所定値よりも高い点を植物の葉であると判別し、レーザレンジファインダにより計測された形状のうち、植物の葉であると判別された箇所については、この形状を避けるか否かを判断するための高さの閾値を変更し、該形状を避けるべきか否かを判断して、この判断結果を操縦者に対して表示し、または、衝突が予測される方向には進めなくするので、草むらなどが存在するが実際には通行可能である進路を、障害物があって通過不能な進路と誤って判断することを防止して、円滑な移動が行えるように補助することができる。
構成８を有する本発明に係る移動体の操縦補助方法においては、カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率比が所定値よりも高い点を植物の葉であると判別し、レーザレンジファインダにより計測された形状のうち、植物の葉であると判別された箇所については、増加関数によって高さを変換し、変換した高さと走行部を移動可能とする一定の閾値とによって、該形状を避けるべきか否かを判断して、この判断結果を操縦者に対して表示し、または、衝突が予測される方向には進めなくするので、草むらなどが存在するが実際には通行可能である進路を、障害物があって通過不能な進路と誤って判断することを防止して、円滑な移動が行えるように補助することができる。
すなわち、本発明は、例えば草むらが存在する進路など、実際には通行可能である進路を、障害物があって通過不能な進路と誤って判断することが防止され、円滑な移動を行うことができるようになされた自律移動ロボット装置及び自律移動ロボット装置の制御方法を提供し、また、このような移動体の操縦補助装置及び移動体の操縦補助方法を提供することができるものである。
以下、本発明の実施の形態を図面に基づいて説明する。
〔自律移動ロボット装置の構成〕
図１は、本発明に係る自律移動ロボット装置の外観構成を示す側面図である。
図１は、本発明に係る自律移動ロボット装置の外観構成を示す側面図である。
この自律移動ロボット装置は、図１に示すように、移動可能となされた走行部１を有し、この走行部１に、走行部１の周囲の形状を計測するレーザレンジファインダ（ＬＲＦ）２と、走行部１の周囲を撮像するカメラ３ａ，３ｂとが搭載されて構成されている。
レーザレンジファインダ２は、ラインスキャン（２次元スキャン）型、または、面スキャン（３次元スキャン）型のレーザレンジファインダであって、走行部１から周囲の形状までの距離情報を得ることができる。
カメラ３ａ，３ｂは、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有している。すなわち、カメラ３ａ，３ｂは、２つの波長の像を個別に撮影する機能を有している。
植物の葉の分光反射率において反射率の高い第１の波長帯域は、例えば、８００ｎｍ乃至１３００ｎｍである。一方のカメラ３ａは、この第１の波長帯域のうちの幅１００ｎｍ以上の波長域の光を透過させるフィルタを備え、このフィルタを透過した光を撮像するように構成されている。なお、フィルタにおける透過光の波長幅を過度に狭くすると、撮像される光量が少なくなり、相対的にノイズが増大し、Ｓ／Ｎが悪くなる。
植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域は、葉の構成要素の吸収が生じている波長帯域であり、例えば、クロロフィルの吸収帯である６４０ｎｍ±４０ｎｍである。他方のカメラ３ｂは、この第２の波長帯域のうちの幅３０ｎｍ乃至１００ｎｍ程度の波長域の光を透過させるフィルタを備え、このフィルタを透過した光を撮像するように構成されている。フィルタにおける透過光の波長幅を過度に狭くすると、撮像される光量が少なくなり、相対的にノイズが増大しＳ／Ｎが悪くなるので、中心波長に対する幅８０ｎｍ程度を透過させるフィルタが好適である。
なお、第２の波長帯域は、水の吸収帯としてもよい。例えば、１２４０ｎｍ±１０ｎｍ（フィルタの透過幅を１０ｎｍ〜５０ｎｍとする）、１４５０ｎｍ±５０ｎｍ（フィルタの透過幅５０ｎｍ〜１５０ｎｍとする）、１９４０ｎｍ±１００ｎｍ（フィルタの透過幅５０ｎｍ〜２５０ｎｍとする）などである。
このようにして、カメラ３ａ，３ｂは、撮像対象からの光量を２次元の受光素子で計測し、この光量に比例する値を輝度値として測定することができる。
図２は、本発明に係る自律移動ロボット装置の構成を示すブロック図である。
そして、図２に示すように、走行部１内には、制御手段２１が搭載されている。この制御手段２１は、レーザレンジファインダ２による計測結果及びカメラ３ａ，３ｂにより撮像された像に基づいて、移動可能領域を検出する。また、この制御手段２１は、検出した移動可能領域内において移動予定路を決定し、走行部１を制御して、移動予定路上を移動させる。
制御手段２１には、カメラ３ａ，３ｂ及びレーザレンジファインダ２の他に、ジャイロ２２及びＧＰＳ（受信機）２３が接続されている。制御手段２１は、カメラ３ａ，３ｂからの情報に基づいて、後述するように、植物の葉（植生）の検出を行う。また、制御手段２１は、レーザレンジファインダ及びジャイロ２２からの情報について、カメラ３ａ，３ｂによる撮影時のカメラ座標への変換を行う。そして、制御手段２１は、これらカメラ３ａ，３ｂ、レーザレンジファインダ及びジャイロ２２からの情報に基づいて、画像上の対応する植生情報を獲得する。
さらに、制御手段２１は、検出された植物の葉（植生）の位置とレーザレンジファインダからの情報とに基づいて、障害物の有無、すなわち、通行可能かの判定を行い、通行可能エリアを示す地図を作成する。この地図に基づき、制御手段２１は、移動予定計画を生成し、また、ＧＰＳ（受信機）２３からの情報に基づいて、軌道ずれを補正する行動計算を行う。この計算結果に基づき、制御手段２１は、ステアリング指示角及びアクセル指示量を計算する。
制御手段２１には、ブレーキ駆動モータ２４、アクセル駆動モータ２５及びステアリング駆動モータ２６が接続されている。制御手段２１は、計算されたステアリング指示角及びアクセル指示量に基づいて、これらブレーキ駆動モータ２４、アクセル駆動モータ２５及びステアリング駆動モータ２６を制御する。ブレーキ駆動モータ２４は、ブレーキ２７を駆動する。アクセル駆動モータ２５は、アクセル２８を駆動する。ステアリング駆動モータ２６は、ステアリング２９を駆動する。走行部１は、これらブレーキ２７、アクセル２８及びステアリング２９が駆動されることにより、移動予定路上を移動する。
周囲の形状の検出は、レーザレンジファインダ２による計測結果、すなわち、距離情報を用いて、距離情報の連続データが各局所領域で大きく変化している箇所、例えば、微分量が大きい箇所を障害物と判断することにより行うことができる。または、レーザレンジファインダ２による計測結果のデータ列を近似する関数の曲線を求め、この曲線から大きく離れている部分を障害物と判断することによっても、障害物を検出することができる。
また、制御手段２１は、カメラ３ａ，３ｂにより撮像された像の各点について、第１の波長帯域の輝度と第２の波長帯域の輝度との比を求め、この輝度比が所定値よりも高い点を植物の葉であると判別する。すなわち、制御手段は、空間上で対応する同じ位置の点における第１の波長帯域の輝度と第２の波長帯域の輝度との比率を求めて、この比率の大小により、植物の葉の判別を行う。
この判別を行うには、空間上で対応する同じ位置の各点について、輝度値の比に基づき、反射率比（第１の波長帯域の反射率／第２の波長帯域の反射率）を求める。
反射率比は計測された各波長帯の輝度値の比（Ｖ１／Ｖ２）に、係数（RefBase）を掛け、その時の露光時間の比（Ｅ１／Ｅ２）及びゲインの比（Ｋ１／Ｋ２）で除算することで求める。係数（RefBase）はカメラ３ａ，３ｂの受光素子の効率やゲイン係数、光源の分光光量比を補正するための値であり、既知反射率を持つ校正用の撮影対象を事前に、もしくは、計測と同時に撮影することにより求めることができる。
そして、制御手段２１は、この反射率比が、２．０乃至３．０の間の所定の値、例えば、２．５より大きい箇所を植物の葉（植生）と判断する。以下の〔表１〕に示すように、日照下において、ＮＩＲ（近赤外光（８５０ｎｍ〜１０００ｎｍ））の反射率とＶＩＳＲ（可視赤色光（６００ｎｍ〜６８０ｎｍ））の反射率との反射率比は、植物では３．０以上となり、非植物では２．０以下となっているので、２．０乃至３．０の間の所定の値を閾値とすることにより、植物の有無を判断することができる。
そして、制御手段２１は、レーザレンジファインダ２により計測された周囲の形状のうち、植物の葉であると判別された箇所については、この形状を避けるか否かを判断するための高さの閾値を１．５倍乃至４倍程度に変更したうえで、この形状を避けるか否かを判断する。すなわち、この制御手段２１においては、障害物の有無の判定において、植物の葉（植生）の部分だけを障害物と判定しにくいように、判定ルールを変えている。
判定ルールの変更の仕方としては、高さの閾値を変更することの他に、植物の葉（植生）の部分について、距離データの変化量及び乖離量を関数ｆ（ｘ）により変換し、変換した値を用いて、所定の閾値に基づく判定を行うようにしてもよい。
ここで、関数ｆ（ｘ）は、例えば、ｆ（ｘ）＜ｘ、ｆ（タイヤ半径）＜タイヤ半径／２を満たす単調増加関数である。制御手段２１は、関数ｆ（ｘ）により変換した高さが、例えば、走行部１を移動可能とするタイヤの半径よりも高い場合には、これを障害物と判断する。
また、関数ｆ（ｘ）は、ａｘ＋ｂで表される一次の増加関数とし、０．１＜ａ≦０．７、−[タイヤ半径]≦ｂ≦０とすることができる。この場合、反射率比（第１の波長帯域の反射率／第２の波長帯域の反射率）の増加に対して、ａ，ｂのどちらか、もしくは、両方を単調減少させるようにしてもよい。
制御手段２１は、判定結果に基づいて、走行経路の変更や、移動速度の変更を行う。なお、移動速度の変更には、停止することも含まれる。
また、この制御手段２１は、走行部１が操縦者により手動操縦される場合において、前述の判定結果を画像や音によって表示するようにして、操縦補助装置として構成することができる。
〔自律移動ロボット装置の動作〕
この自律移動ロボット装置は、動作を開始すると、カメラ３ａ，３ｂによる撮像と並行して、レーザレンジファインダ２による計測（スキャン）を行う。そして、カメラ３ａ，３ｂにより撮像した画像において、植物領域及び非植物領域の判別を行う。また、レーザレンジファインダ２により計測された各点に、植物領域及び非植物領域の判別結果を対応させる。
この自律移動ロボット装置は、動作を開始すると、カメラ３ａ，３ｂによる撮像と並行して、レーザレンジファインダ２による計測（スキャン）を行う。そして、カメラ３ａ，３ｂにより撮像した画像において、植物領域及び非植物領域の判別を行う。また、レーザレンジファインダ２により計測された各点に、植物領域及び非植物領域の判別結果を対応させる。
図３は、レーザレンジファインダ２により計測された各点と、カメラ３ａ，３ｂにより撮像された画像とを対応させる手順を示すフローチャートである。
レーザレンジファインダ２により計測された各点と、カメラ３ａ，３ｂにより撮像された画像との対応は、以下のようにして行う。すなわち、図３に示すように、ステップｓｔ１で動作を開始すると、ステップｓｔ２で、レーザレンジファインダ２により計測された方位及び距離から、レーザレンジファインダ２からの所定の点（測距点）までの相対位置を求め、測距点の座標を計算する。
次に、ステップｓｔ３において、レーザレンジファインダ２を原点とするカメラ撮影時の座標を計算する。さらに、ステップｓｔ４において、レーザレンジファインダ２とカメラ３ａ，３ｂとの相対位置関係から、カメラ３ａ，３ｂから所定の点（測距点）までの相対位置、すなわち、カメラ３ａ，３ｂを原点とするカメラ撮影時の座標を計算する。なお、レーザレンジファインダ２とカメラ３ａ，３ｂとの相対位置関係は、これらを自律移動ロボット装置に設置したときに既知となっている。
そして、ステップｓｔ５において、所定の点（測距点）までのカメラ３ａ，３ｂからの相対位置に基づいて、この所定の点の撮像画像上の位置を計算し、ステップｓｔ６で処理を完了する。
図４は、走行部１の移動を制御するための手順を示すフローチャートである。
そして、この自律移動ロボット装置において、制御手段は、図４に示すように、ステップｓｔ１１で処理を開始すると、移動体１の動作中において（ステップｓｔ１２）、ステップｓｔ１３に進み、カメラ３ａ，３ｂによる撮影を行う。
次に、ステップｓｔ１４において、ジャイロ２２により、撮影時の走行部１の姿勢を計測し記憶しておく。次に、ステップｓｔ１５において、植物の葉（植生）の有無を判別し、植生判定画像として記憶しておく。ステップｓｔ１６において、次のフレームの画像の撮影時刻まで待機し、ステップｓｔ１７に進み、レーザレンジファインダ２により、ラインスキャンを行う。ステップｓｔ１８において、ジャイロ２２により、ラインスキャン時の走行部１の姿勢を計測し記憶しておく。
制御手段２１は、レーザレンジファインダ２により計測された距離値について、〔ｄ（ｘｎ）−ｄ（ｘｎ＋１）〕を微分して、各点間の距離の変化率を求める。ここで、ｘｎは、任意の測定点であり、ｘｎ＋１は、その次に測定された点であり、ｄ（ｘｎ）は、任意の測定点について測定された距離である。
ステップｓｔ１９において、１ラインスキャン内の各点を測距点として設定し、ステップｓｔ２０に進み、撮像時の走行部１の姿勢、ラインスキャン時の走行部１の姿勢及びカメラ３ａ，３ｂとレーザレンジファインダ２との相対位置関係に基づいて、前述したように、画像上の対応位置を計算する。そして、ステップｓｔ２１では、記憶された植生判定画像を参照し、ステップｓｔ２２において、障害物の判定方式の切替を行う。
すなわち、制御手段２１は、距離が測定された点が非植物と判定されている場合には、変化率の値をそのまま用いる。そして、距離が測定された点が植物と判定されている場合には、算出された変化率の値に係数（例えば、１／４）を掛けた値を変化率として用いる。このようにして得られた変化率を所定の閾値により判別し、ステップｓｔ２３において、変化率が閾値以上である部分を通過不能エリアと判断し、変化率が閾値未満である部分を通過可能エリアと判断する。
なお、計測される距離ｄ（ｘｎ）については、レーザレンジファインダ２による計測値をそのままを用いてもよいし、座標変換により走行部１の接地平面を基準とした高さを求めて用いてもよい。走行部１の接地平面を基準とした高さは、走行部１の車輪とレーザレンジファインダ２との位置関係に基づいて求めることができる。
測定された点が植物と判定されている場合に、算出された変化率の値に乗算する係数は、通過可能と判定するエリアは、通常、歩道の段差に相当する１００ｍｍ程度の高さであり、一方、草むらなどは、車輪の半径に相当する４００ｍｍ程度の高さ以下であれば通過可能であるため、〔１／４〕程度に設定することが適当である。また、高さが５０ｍｍ程度の草地は、段差が何もないのと同じように扱うことができるため、係数として〔１／３．５〕を乗算した後、５０を減算するようにしてもよい。
制御手段２１は、このように換算された変化値を用いて、ステップｓｔ２４において、移動予定経路が通過可能かについて判定を行うとともに、その起伏の程度から、移動予定経路を通過する最高速度を決定し、通過するべき経路及び速度を計画し、その結果を地図に登録する。この地図を障害物地図として記憶してゆく。
このようにして、この自律移動ロボット装置は、硬質の障害物であって走行部１の移動に支障のない程度の高さの障害物が存在する場合の計測距離の変化率と、植物であって走行部１の移動に支障のない程度の高さの障害物が存在する場合の計測距離の変化率とを一致させるので、いずれも同一の判定基準により、移動可能か否かの判定を行うことができる。
ステップｓｔ２５においては、次のラインスキャンまでステップｓｔ１９以降の処理をループし、ステップｓｔ２６においては、次の画像撮影時刻までステップｓｔ１６以降の処理をループして、ステップｓｔ２７に進む。
ステップｓｔ２７では、記憶された障害物地図に基づいて、移動計画を生成し、ステップｓｔ２８では、ジャイロ２２及びＧＰＳ（受信機）２３により、現在位置を計測し、ステップｓｔ２９に進む。
ステップｓｔ２９では、ステアリング及びブレーキを制御して、走行部１の軌道修正を行い、ステップｓｔ３０では、動作中ループとして、ステップｓｔ２に戻る。
〔他の実施の形態〕
図５は、本発明に係る自律移動ロボット装置におけるカメラの構成を示す平面図である。
図５は、本発明に係る自律移動ロボット装置におけるカメラの構成を示す平面図である。
本発明に係る自律移動ロボット装置において、２つの波長帯における撮影を行うカメラ３ａ，３ｂは、図５に示すように、撮像対象から対物レンズ４に入射した光をダイクロイックミラー５によって２つの波長帯域に分けて、それぞれを撮像素子６，７により撮像するように構成することができる。すなわち、対物レンズ４に入射した光は、ダイクロイックミラー５など、波長選択性を有する光学素子により、第１の波長帯域と第２の波長帯域とに分けられる。第１の波長帯域の光は、第１の波長帯域光を透過する第１のフィルタ８及び集光レンズ９を経て、第１の撮像素子６により撮像される。第２の波長帯域の光は、第２の波長帯域光を透過する第２のフィルタ１０及び集光レンズ１１を経て、第２の撮像素子７により撮像される。
図６は、本発明に係る自律移動ロボット装置におけるカメラの他の構成を示す平面図である。
また、カメラ３ａ，３ｂは、図６に示すように、第１の波長帯域の撮像を行うカメラ３ａを一対のカメラ３ａＲ，３ａＬとしてステレオカメラを構成し、これらとは別に第２の波長帯域の撮像を行うカメラ３ｂを設けて構成してもよい。第１の波長帯域の撮像を行うカメラ３ａＲ，３ａＬは、それぞれ、第１の波長帯域光を透過する第１のフィルタ８及び対物レンズ４を介して、第１の撮像素子６により撮像するように構成されている。第２の波長帯域の撮像を行うカメラ３ｂは、第２の波長帯域光を透過する第２のフィルタ１０及び対物レンズ４を介して、第２の撮像素子７により撮像するように構成されている。
これら各カメラ３ａＲ，３ａＬ，３ｂは、同一の保持具１２上に位置決めされて設置されている。
また、本発明に係る自律移動ロボット装置においては、検出された周囲の形状が植物と判定された場合には、距離の変化率を補正するのではなく、移動可能か否かを判断する閾値を増加させるようにしてもよい。
さらに、本発明に係る自律移動ロボット装置においては、検出された周囲の形状が植物と判定された場合には、距離の変化率の計算方法を切り替えるようにしてもよい。例えば、植物と判定された場合には、距離の微分値を用いるのではなく、移動体１から推定される設置平面からの絶対的な高さが一定値以下ならば、常に低速で通過可能な領域と判断するようにしてもよい。
〔計算方法について（１）〕
カメラ３ａ，３ｂを、図５に示したように、対物レンズ４に入射した光をダイクロイックミラー５によって２つの波長帯域に分けて撮像する構成とした場合には、対物レンズ４の焦点距離及び撮像素子上での画素間隔が波長帯域ごとで異なるため、以下の〔式１〕及び〔式２〕により座標変換を行い、同じ位置の画素同士の重ね合わせを行う。
カメラ３ａ，３ｂを、図５に示したように、対物レンズ４に入射した光をダイクロイックミラー５によって２つの波長帯域に分けて撮像する構成とした場合には、対物レンズ４の焦点距離及び撮像素子上での画素間隔が波長帯域ごとで異なるため、以下の〔式１〕及び〔式２〕により座標変換を行い、同じ位置の画素同士の重ね合わせを行う。
ここで、ｘ１，ｙ１は、一方のカメラ３ａでの座標、ｘ２，ｙ２は、他方のカメラ３ｂでの座標であり、ｆｘ，ｆｙは、カメラのｘ軸及びｙ軸の焦点距離であり、ｃｘ，ｃｙは、カメラの焦点中心座標である。Ｒは、一方のカメラ３ａの座標から他方のカメラ３ｂの座標への回転行列であり、光軸に垂直に正しく受光素子の受光面が設置されていれば、以下の単位行列となる。
〔計算方法について（２）〕
図７は、図６に示すカメラにおいて、データの対応付けを行う手順を示すフローチャートである。
図７は、図６に示すカメラにおいて、データの対応付けを行う手順を示すフローチャートである。
カメラ３ａＲ，３ａＬ，３ｂを、図６に示したように、第１の波長帯域の撮像を行うカメラ３ａを一対のカメラ３ａＲ，３ａＬとしてステレオカメラとして構成した場合には、図７に示すように、ステップｓｔ３１において、一対のカメラ３ａＲ，３ａＬからの画像に基づいてステレオ計算を行い、ステップｓｔ３２において、三次元座標の復元を行う。次に、ステップｓｔ３３において、植物吸収帯域の部分をカメラ座標へ変換し、ステップｓｔ３４において、植物吸収帯域の部分をカメラ上の画素位置に変換する。そして、ステップｓｔ３５において、対応する画素値を読み出す。このようにして、別の周波数間で対応するカメラ上の位置を求め、データの対応付けを行う。
一対のカメラ３ａＲ，３ａＬ間の位置関係により座標の回転を表すＲＮＩＲ及びカメラの座標中心間の移動ＴＮＩＲをあらかじめ正確に測っておくことにより、両方のカメラ３ａＲ，３ａＬ上に対応する点（Ｘｎｉｒ１，Ｙｎｉｒ１），（Ｘｎｉｒ２，Ｙｎｉｒ２）を発見できた場合、ステレオ距離計測が可能である。これらを図９を用いて以下で説明する。
一方のカメラ３ａＬから見た他方のカメラ３ａＲの位置、および、発見した目標の方向（ともにカメラ３ａＬの座標系）から、θ１は、以下の〔式４〕により求める。
cos（θ１）＝ ＴＮＩＲ・Ｐ１−２／（｜ＴＮＩＲ｜・｜Ｐ１−２｜）
・・・・（式４）
cos（θ１）＝ ＴＮＩＲ・Ｐ１−２／（｜ＴＮＩＲ｜・｜Ｐ１−２｜）
・・・・（式４）
他方のカメラ３ａＲから見た一方のカメラ３ａＬの方向、および、発見した目標の方向（ともにカメラ３ａＲの座標系）から、θ２は、以下の〔式５〕により求める。
cos（θ２）＝（−ＴＮＩＲ）・Ｐ２−２／（｜−ＴＮＩＲ｜・｜Ｐ２−２｜）
・・・・（式５）
cos（θ２）＝（−ＴＮＩＲ）・Ｐ２−２／（｜−ＴＮＩＲ｜・｜Ｐ２−２｜）
・・・・（式５）
そして、一対のカメラ３ａＲ，３ａＬの視点間の距離｜ＴＮＩＲ｜および、先に求めたθ１、θ２を用いて三角測量により距離が求められる。
対応点は、２つの画像間でブロックマッチングにより求めてもよいし、オプティカルフローで求めてもよい。また、Ｆ行列をＴｎｉｒ，Ｒｎｉｒから求め、以下の〔式６〕を満たすように、エピポーラ先上で探索して、一致する画素をみつける方法を用いてもよい。
Ｐ１−２については、以下の〔式７〕により求められる。
ここで、Ａ１，Ａ２は、レンズ、焦点のパラメータであり、Ｐ１−１、Ｐ２−２は、以下の〔式８〕に示すそれぞれのカメラでの観測位置である。
距離ｄが求まった場合には、ＰＮＩＲ＝Ｐ１・ｄとして、３次元上の位置（一方のカメラ３ａＲの座標系）となる。
ここでは、ステレオカメラにより距離を計測しているが、位置関係が明らかなレーザレンジファインダ２を用いて距離を計測してもよく、距離を計測する手段は多種の手法で代替可能である。また、大凡の３次元形状が地図やルールによって決まっている場合、例えば、殆ど起伏がない場合などにおいては、そのルールに基づいて位置を特定し、対応点の変換を行ってもよい。
別個のカメラ３ｂの座標系へは、一方のカメラ３ａＲの座標中心から、別個のカメラ３ｂの座標中心までの移動ベクトルＴＳＷＩＲ及びカメラ３ｂへの回転成分をあらわす回転行列ＲＳＷＩＲを用いて、ＰＳＷＩＲ＝ＲＳＷＩＲＰＮＩＲ＋ＴＳＷＩＲとして求めることができる。
また、以下の〔式９〕を用いて、カメラ３ｂで観測したときの座標を求めることができる。
ｎ・（Ｘｓｗｉｒ，Ｙｓｗｉｒ，１）ｔ＝ＡＳＷＩＲＰＳＷＩＲ
・・・・（式９）
ｎ・（Ｘｓｗｉｒ，Ｙｓｗｉｒ，１）ｔ＝ＡＳＷＩＲＰＳＷＩＲ
・・・・（式９）
この座標は整数であるとは限らないので、その周辺の画素からバイリニア補完により中間の画素の値を推定する。以上により対応する画素の値が求められる。
〔計算方法について（３）〕
(1)分光比別の基準光量の算出について
前述のようにして対応付けした点同士の輝度から、以下の方法により、反射率比を求めることができる。
(1)分光比別の基準光量の算出について
前述のようにして対応付けした点同士の輝度から、以下の方法により、反射率比を求めることができる。
重ね合わせる画像同士を、以下のように、単位時間あたりの受光光量〔Ｉ＝Ｖ／（Ｅ・Ｋ）〕で正規化した値を求め、その２つの値の商により、以下の〔式１０〕により、反射率比を求める。なお、カメラ内での効率Ｑは、RefBase（反射率比を求めるための外部要因を総合した係数）に吸収してある。
RefBaseは、キャリブレーション時に、既知反射率を観測した際の画素値をＶＩｎｉｔ Ａ，ＶＩｎｉｔ Ｂとして、以下の〔式１１〕に示すように決定する。
光源が同じときには、カメラの撮影条件が異なっても正しい反射率比を計算しつづけることができる。
また、光源の分光光量の比率が変化する場合には、常時画像の端にキャリブレーション用の被写体、例えば、可視光から短波長及び赤外光までにおいて分光反射率の変化が５％以内となる標準反射板などが撮影できるようにしておき、Ｒa／Ｒb＝１で近似して常時キャリブレーションを行うようにしてもよい。
この場合には、常に標準反射板のデータを用いる必要がなくなり、色の異なる別の光源からの光が標準反射板に差し込んでも、その時のRefBaseは採用せず、信頼性の高いときのRefBase及びそれらを積算してノイズを取り除いたRefBaseを用いることにより、より正確性が高い計測が可能になる。常に標準反射板を見る必要がないので、ある間隔を置いて一瞬だけ標準反射板を見るようにしてもよい。これにより、通常は広い視界を確保し、行動が停止した際などに、再キャリブレーションするという使い方も可能になる。この場合、視野が有効に活用できるという利点がある。
また、反射率比は、反射率比をそのまま用いるのではなく、反射率比を１対１で変換する関数を用いて変換し、判りやすくしてもよい。この関数の１つの例として、以下の〔式１２〕がある。
Ｆ（RefRate）＝（RefRate−１）／（RefRate＋１）
・・・・（式１２）
・・・・（式１２）
また、以下の〔式１３〕に相当する。
ＮＤＶＩ＝（Ｒａ−Ｒｂ）／（Ｒａ＋Ｒｂ）＝Ｆ（RefRate）
・・・・（式１３）
反射率比RefRateは、以下の計算式を用いることにより、観測した画素値からリアルタイムに求めることができる。
ＮＤＶＩ＝（Ｒａ−Ｒｂ）／（Ｒａ＋Ｒｂ）＝Ｆ（RefRate）
・・・・（式１３）
反射率比RefRateは、以下の計算式を用いることにより、観測した画素値からリアルタイムに求めることができる。
各カメラ３ａ，３ｂ上の位置Ｘ，Ｙで得られる単位時間光量を、ＩＡ（ＸＡ，ＹＡ），ＩＢ（ＸＢ，ＹＢ）とする。各カメラ３ａ，３ｂ上の位置Ｘ，Ｙの画素値を、ＶＡ（ＸＡ，ＹＡ），ＶＢ（ＸＢ，ＹＢ）とする。各カメラ３ａ，３ｂの露光時間を、ＥＡ，ＥＢとする。各カメラ３ａ，３ｂのゲイン設定を、ＫＡ，ＫＢとする。
観測対象の座標を（ｘ，ｙ，ｚ）とする。光源の各波長での光量を、ＬＡ，ＬＢとする。観測対象の各帯域での反射率を、ＲＡ（ｘ，ｙ，ｚ），ＲＢ（ｘ，ｙ，ｚ）とする。観測対象の入射角を（ψ）、観測角（λ）依存の反射率をＤ（ψ、λ）とする。光源から観測対象までの経路上でのロス（光源から観測対象への向きに光量分布を含む）を、ＰＡ（ｘ，ｙ，ｚ），ＰＢ（ｘ，ｙ，ｚ）とする。観測対象から受光面までの経路上でのロスを、ＷＡ（ｘ，ｙ，ｚ），ＷＢ（ｘ，ｙ，ｚ）とする（大気中で、かつ、近距離なので、レンズのＦ値となる）。撮像素子の受光面での変換効率を、ＱＡ，ＱＢとする（受光面積と変換効率との積となる。）。
ＩＡ（ＸＡ，ＹＡ）＝ＶＡ（ＸＡ，ＹＡ）／（ＥＡ・ＫＡ）
ＩＢ（ＸＢ，ＹＢ）＝ＶＢ（ＸＢ，ＹＢ）／（ＥＢ・ＫＢ）
・・・・（式１４）
ＩＡ（ＸＡ，ＹＡ）＝ＬＡ・ＰＡ（ｘ，ｙ，ｚ）・ＲＡ（ｘ，ｙ，ｚ）・Ｄ（ψ、λ）・ＷＡ（ｘ，ｙ，ｚ）・ＱＡ
ＩＢ（ＸＢ，ＹＢ）＝ＬＢ・ＰＢ（ｘ，ｙ，ｚ）・ＲＢ（ｘ，ｙ，ｚ）・Ｄ（ψ、λ）・ＷＢ（ｘ，ｙ，ｚ）・ＱＢ
・・・・（式１５）
ここで、既知の反射特性Ｒｒｅｆ Ａを観測したときのパラメータを以下のようにアンダーバー付きで書くこととする。
ＩＢ（ＸＢ，ＹＢ）＝ＶＢ（ＸＢ，ＹＢ）／（ＥＢ・ＫＢ）
・・・・（式１４）
ＩＡ（ＸＡ，ＹＡ）＝ＬＡ・ＰＡ（ｘ，ｙ，ｚ）・ＲＡ（ｘ，ｙ，ｚ）・Ｄ（ψ、λ）・ＷＡ（ｘ，ｙ，ｚ）・ＱＡ
ＩＢ（ＸＢ，ＹＢ）＝ＬＢ・ＰＢ（ｘ，ｙ，ｚ）・ＲＢ（ｘ，ｙ，ｚ）・Ｄ（ψ、λ）・ＷＢ（ｘ，ｙ，ｚ）・ＱＢ
・・・・（式１５）
ここで、既知の反射特性Ｒｒｅｆ Ａを観測したときのパラメータを以下のようにアンダーバー付きで書くこととする。
Ｑ，Ｗが固定でＬの変動が少ないと考えると、以下の〔式１７〕、〔式１８〕となる。
〔式１７〕÷〔式１８〕により
・・・・（式１９）
照明利用時には、光源からの観察対象の方向に依存し、以下の〔式２０〕で示すようになる。この〔式２０〕を〔式１９〕に代入することで最終的には〔式２３〕が得られる。
光源が太陽である場合には、大気の影響があるため、太陽光が傾いて散乱が増加するなど、光路の状態が大きく変わるまではキャリブレーションが有効であると考えると、以下の〔式２２〕で示される条件が満たされる。また、〔式１９〕をさらに変形すると〔式２１〕のようになる。この〔式２１〕に〔式２２〕を代入することで最終的には〔式２３〕が得られる。
照明有り、太陽光源ともに以下のようになる。
RefBaseをキャリブレーション時の測定値と計測条件を用いて〔式２４〕として定義されている。
〔式２４〕は
のＩをキャリブレーション時の計測値、計測条件のＶ，Ｅ，Ｋで表した式であるため、〔式２４〕は以下の〔式２５〕となる。
よって、反射率比RefRateは、以下の〔式２６〕のように求められる。
(2)自動補正機能について
図８は、日付及び時刻をパラメータとして、もしくは、太陽の傾きをパラメータとして、補正係数を得る手順を説明する側面図である。
図８は、日付及び時刻をパラメータとして、もしくは、太陽の傾きをパラメータとして、補正係数を得る手順を説明する側面図である。
ここでは、図８に示すように、日付及び時刻をパラメータとして、もしくは、太陽の傾きをパラメータとして、RefBaseを補正する補正係数Mod（Ｔ）をあらかじめ求めておき、RefBase’＝RefBase×Mod（ｔ）により補正済みの係数を用いて計算することを考える。
これにより、補正用の標準反射板を常に視界内にとどめる必要がなくなり、視野を有効活用することができるようになる。
太陽の角度（時刻及び季節）と雲量（その季節・時刻本来の明るさと照度計によって計測した照度により推測）とから、各周波数における透過率のテーブル（もしくは、近似式）を予め用意しておく。補正係数Mod（Ｔ）は、以下の〔式２８〕により示される。
〔式２７〕を〔式２１〕にあてはめ、RefBase’＝RefBase×Mot（ｔ）となる補正後の値により、キャリブレーション時と現在の太陽の角度及び雲量を計算する。
については、現在及びリファレンスを計測したときの時刻天候により決まる。特に、波長が長いほど大気の散乱は少なく、また、太陽の傾きが水平に近いほど散乱の影響が大きくなるため、夕方など太陽光が水平に近くなるほど、波長が短い波長の減衰率が大きくなるという変化がある。
そのため、太陽の角度を時刻から計算し、太陽の角度とMod（ｔ）との関係を示すテーブルを作っておいてもよい。また、日付及び時刻から、Mot（ｔ）をテーブル引きするようにしてもよい。中途半端な時間については、最も近い時刻を選ぶか、もしくは、前後の時刻の値の加重平均などで求めるとよい。
実際には、指標に関連するパラメータは、以下の〔表２〕に示すように変化している。このような太陽の角度と、Ｐａ／Ｐｂとの関係を示すテーブルを用いるとよい。
１ 走行部
２ レーザレンジファインダ
３ａ カメラ
３ｂ カメラ
２１ 制御手段
１０３ 障害物
２ レーザレンジファインダ
３ａ カメラ
３ｂ カメラ
２１ 制御手段
１０３ 障害物
Claims (8)
- 移動可能となされた走行部と、
前記走行部に搭載され、この走行部の周囲の形状を計測するレーザレンジファインダと、
前記走行部に搭載され、この走行部の周囲を撮像するカメラと、
前記走行部に搭載され、前記レーザレンジファインダによる計測結果に基づいて、移動可能領域を検出するとともに、この移動可能領域内において移動予定路を決定し、前記走行部を制御して前記移動予定路上を移動させる制御手段と
を備え、
前記カメラは、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有し、
前記制御手段は、前記カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記レーザレンジファインダにより計測された形状のうち、植物の葉であると判別された箇所については、この形状を避けるか否かを判断するための高さの閾値を変更し、該形状を避けるか否かを判断する
ことを特徴とする自律移動ロボット装置。 - 移動可能となされた走行部と、
前記走行部に搭載され、この走行部の周囲の形状を計測するレーザレンジファインダと、
前記走行部に搭載され、この走行部の周囲を撮像するカメラと、
前記走行部に搭載され、前記レーザレンジファインダによる計測結果に基づいて、移動可能領域を検出するとともに、この移動可能領域内において移動予定路を決定し、前記走行部を制御して前記移動予定路上を移動させる制御手段と
を備え、
前記カメラは、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有し、
前記制御手段は、前記カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記レーザレンジファインダにより計測された形状のうち、植物の葉であると判別された箇所については、増加関数によって高さを変換し、変換した高さと走行部を移動可能とする一定の閾値とによって、該形状を避けるか否かを判断する
ことを特徴とする自律移動ロボット装置。 - 操縦可能な移動体に搭載され、この移動体の周囲の形状を計測するレーザレンジファインダと、
前記移動体に搭載され、この移動体の周囲を撮像するカメラと、
前記移動体に搭載され、前記レーザレンジファインダによる計測結果に基づいて、移動可能領域を検出する制御手段と、
前記制御手段により制御される表示手段と
を備え、
前記カメラは、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有し、
前記制御手段は、前記カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率比が所定値よりも高い点を植物の葉であると判別し、前記レーザレンジファインダにより計測された形状のうち、植物の葉であると判別された箇所については、この形状を避けるか否かを判断するための高さの閾値を変更し、該形状を避けるべきか否かを判断して、この判断結果を前記表示手段により表示し、または、衝突が予測される方向には進めなくする
ことを特徴とする移動体の操縦補助装置。 - 操縦可能な移動体に搭載され、この移動体の周囲の形状を計測するレーザレンジファインダと、
前記移動体に搭載され、この移動体の周囲を撮像するカメラと、
前記移動体に搭載され、前記レーザレンジファインダによる計測結果に基づいて、移動可能領域を検出する制御手段と、
前記制御手段により制御される表示手段と
を備え、
前記カメラは、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有し、
前記制御手段は、前記カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率比が所定値よりも高い点を植物の葉であると判別し、前記レーザレンジファインダにより計測された形状のうち、植物の葉であると判別された箇所については、増加関数によって高さを変換し、変換した高さと走行部を移動可能とする一定の閾値とによって、該形状を避けるべきか否かを判断して、この判断結果を前記表示手段により表示し、または、衝突が予測される方向には進めなくする
ことを特徴とする移動体の操縦補助装置。 - 移動可能となされた走行部と、周囲の形状を計測するレーザレンジファインダと、周囲を撮像するカメラとを有する自律移動ロボット装置を制御する方法であって、
前記カメラとして、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有するものを用い、
前記カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率比が所定値よりも高い点を植物の葉であると判別し、前記レーザレンジファインダによる計測結果に基づいて計測された形状のうち、植物の葉であると判別された箇所については、この形状を避けるか否かを判断するための高さの閾値を変更し、該形状を避けるか否かを判断することにより、移動可能領域を検出し、この移動可能領域内において移動予定路を決定して、前記走行部を制御して前記移動予定路上を移動させる
ことを特徴とする自律移動ロボット装置の制御方法。 - 移動可能となされた走行部と、周囲の形状を計測するレーザレンジファインダと、周囲を撮像するカメラとを有する自律移動ロボット装置を制御する方法であって、
前記カメラとして、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有するものを用い、
前記カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率比が所定値よりも高い点を植物の葉であると判別し、前記レーザレンジファインダによる計測結果に基づいて計測された形状のうち、植物の葉であると判別された箇所については、増加関数によって高さを変換し、変換した高さと走行部を移動可能とする一定の閾値とによって、該形状を避けるか否かを判断することにより、移動可能領域を検出し、この移動可能領域内において移動予定路を決定して、前記走行部を制御して前記移動予定路上を移動させる
ことを特徴とする自律移動ロボット装置の制御方法。 - 操縦可能な移動体に搭載され移動体の周囲の形状を計測するレーザレンジファインダと、前記移動体に搭載され移動体の周囲を撮像するカメラとを用いて、前記レーザレンジファインダによる計測結果に基づいて移動可能領域を検出して、前記移動体の操縦者を補助する操縦補助方法であって、
前記カメラとして、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有するものを用い、
前記カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率比が所定値よりも高い点を植物の葉であると判別し、前記レーザレンジファインダにより計測された形状のうち、植物の葉であると判別された箇所については、この形状を避けるか否かを判断するための高さの閾値を変更し、該形状を避けるべきか否かを判断して、この判断結果を前記操縦者に対して表示し、または、衝突が予測される方向には進めなくする
ことを特徴とする移動体の操縦補助方法。 - 操縦可能な移動体に搭載され移動体の周囲の形状を計測するレーザレンジファインダと、前記移動体に搭載され移動体の周囲を撮像するカメラとを用いて、前記レーザレンジファインダによる計測結果に基づいて移動可能領域を検出して、前記移動体の操縦者を補助する操縦補助方法であって、
前記カメラとして、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有するものを用い、
前記カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率比が所定値よりも高い点を植物の葉であると判別し、前記レーザレンジファインダにより計測された形状のうち、植物の葉であると判別された箇所については、増加関数によって高さを変換し、変換した高さと走行部を移動可能とする一定の閾値とによって、該形状を避けるべきか否かを判断して、この判断結果を前記操縦者に対して表示し、または、衝突が予測される方向には進めなくする
ことを特徴とする移動体の操縦補助方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008266804A JP5160370B2 (ja) | 2008-10-15 | 2008-10-15 | 自律移動ロボット装置、移動体の操縦補助装置、自律移動ロボット装置の制御方法及び移動体の操縦補助方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008266804A JP5160370B2 (ja) | 2008-10-15 | 2008-10-15 | 自律移動ロボット装置、移動体の操縦補助装置、自律移動ロボット装置の制御方法及び移動体の操縦補助方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010097360A JP2010097360A (ja) | 2010-04-30 |
| JP5160370B2 true JP5160370B2 (ja) | 2013-03-13 |
Family
ID=42259004
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008266804A Active JP5160370B2 (ja) | 2008-10-15 | 2008-10-15 | 自律移動ロボット装置、移動体の操縦補助装置、自律移動ロボット装置の制御方法及び移動体の操縦補助方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5160370B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5648546B2 (ja) * | 2011-03-17 | 2015-01-07 | 株式会社Ihi | 通路検出装置、方法、及びプログラム |
| JP5827508B2 (ja) * | 2011-07-13 | 2015-12-02 | ヤマハ発動機株式会社 | 車両用障害物検出装置及びそれを用いた車両 |
| CN104765366B (zh) * | 2014-11-27 | 2017-03-01 | 浙江传媒学院 | 实现智能化越障的服务机器人 |
| JP6705271B2 (ja) * | 2016-04-20 | 2020-06-03 | トヨタ自動車株式会社 | 移動体の自動運転制御システム |
| JP7043738B2 (ja) * | 2017-04-20 | 2022-03-30 | 株式会社Ihi | 対象物検知システム |
| JP6882092B2 (ja) * | 2017-06-22 | 2021-06-02 | 株式会社日立製作所 | 経路探索装置および経路探索方法 |
| JP7207645B2 (ja) * | 2018-05-24 | 2023-01-18 | シンフォニアテクノロジー株式会社 | 移動装置 |
| KR102037946B1 (ko) * | 2018-12-10 | 2019-10-29 | 엘아이지넥스원 주식회사 | 복합 광학 시스템의 다중 표적 탐지 방법 |
| KR102037945B1 (ko) * | 2018-12-10 | 2019-10-29 | 엘아이지넥스원 주식회사 | 다중 표적 탐지용 복합 광학 시스템 및 그를 위한 장치 |
| JP7349277B2 (ja) * | 2019-07-10 | 2023-09-22 | ヤンマーパワーテクノロジー株式会社 | 作業車両用の自動走行システム |
| KR102272462B1 (ko) * | 2019-07-18 | 2021-07-05 | (주)아세아항측 | 다분광 카메라 및 라이다를 이용한 작물 생장상태 분석방법 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3036301B2 (ja) * | 1993-06-14 | 2000-04-24 | スズキ株式会社 | 無人車両用障害物検出装置 |
| JPH11281480A (ja) * | 1998-03-31 | 1999-10-15 | Omron Corp | 撮像装置及び方法 |
-
2008
- 2008-10-15 JP JP2008266804A patent/JP5160370B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010097360A (ja) | 2010-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5160370B2 (ja) | 自律移動ロボット装置、移動体の操縦補助装置、自律移動ロボット装置の制御方法及び移動体の操縦補助方法 | |
| JP7301909B2 (ja) | 地図データ、レーザ、およびカメラからのヨー誤差の確定 | |
| JP7150274B2 (ja) | 改善された視覚的検出能力を備えた自律走行車 | |
| JP6387407B2 (ja) | 周辺検知システム | |
| US7652686B2 (en) | Device for image detecting objects, people or similar in the area surrounding a vehicle | |
| US10086870B2 (en) | Trailer parking assist system for vehicle | |
| JP5157067B2 (ja) | 自動走行用マップ作成装置、及び自動走行装置。 | |
| JP2011013803A (ja) | 周囲形状検出装置、自律移動装置、移動体の操縦補助装置、周囲形状検出方法、自律移動装置の制御方法及び移動体の操縦補助方法 | |
| EP3045936A1 (en) | Surround sensing system with telecentric optics | |
| US20060111841A1 (en) | Method and apparatus for obstacle avoidance with camera vision | |
| EP3045935A1 (en) | Surround sensing system with dome-filter assembly | |
| JPH07270518A (ja) | 距離計測装置 | |
| JP5429986B2 (ja) | 移動ロボットの遠方環境認識装置及び方法 | |
| WO2021078812A1 (en) | Method and system for object detection for a mobile robot with time-of-flight camera | |
| JP5951785B2 (ja) | 画像処理装置及び車両前方監視装置 | |
| JP5102718B2 (ja) | 植生検出装置および方法 | |
| JP6668975B2 (ja) | 電子機器および自動車 | |
| JP4321142B2 (ja) | 標識認識装置 | |
| JP6614607B2 (ja) | 遠隔操縦システムと方法 | |
| JP5910180B2 (ja) | 移動物体位置姿勢推定装置及び方法 | |
| JPH11149557A (ja) | 自律走行車の周囲環境認識装置 | |
| US10249056B2 (en) | Vehicle position estimation system | |
| JPH0626859A (ja) | 無人走行車の測距装置 | |
| JPH07160331A (ja) | 自律走行作業車の自己位置検出方法 | |
| JPH05173629A (ja) | 無人走行車の視覚装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110525 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120613 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120619 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120820 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121127 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121212 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5160370 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151221 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |