JP5429986B2 - Mobile robot remote environment recognition apparatus and method - Google Patents
Mobile robot remote environment recognition apparatus and method Download PDFInfo
- Publication number
- JP5429986B2 JP5429986B2 JP2009294815A JP2009294815A JP5429986B2 JP 5429986 B2 JP5429986 B2 JP 5429986B2 JP 2009294815 A JP2009294815 A JP 2009294815A JP 2009294815 A JP2009294815 A JP 2009294815A JP 5429986 B2 JP5429986 B2 JP 5429986B2
- Authority
- JP
- Japan
- Prior art keywords
- obstacle
- mobile robot
- plane area
- coordinate system
- normal vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 33
- 230000007613 environmental effect Effects 0.000 claims description 23
- 238000005259 measurement Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 230000009466 transformation Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 3
- 238000002945 steepest descent method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
本発明は、例えば、人がＧＰＳ座標系でウェイポイントを入力し、これを通過するように自律的に走行経路の生成を行って走行する自律移動ロボット、又は半自律移動ロボット及び遠隔で操縦する操縦支援装置に係り、特に移動ロボットの遠方環境認識装置及び方法に関する。
なお、半自律移動ロボットとは、自律走行と遠隔操縦とを混成して走行させるロボットである。
In the present invention, for example, an autonomous mobile robot or a semi-autonomous mobile robot that travels by inputting a waypoint in a GPS coordinate system and generating a travel route autonomously so as to pass through the waypoint is used for remote control. More particularly, the present invention relates to a far environment recognition apparatus and method for a mobile robot.
The semi-autonomous mobile robot is a robot that travels in a hybrid of autonomous traveling and remote control.
移動ロボットの遠方環境認識方法として、車載カメラからのステレオ画像を利用して、走行可能な平面領域及び障害物を検出する技術が、特許文献１〜３に既に開示されている。 As a method for recognizing a distant environment of a mobile robot, techniques for detecting a plane area and an obstacle that can be traveled using a stereo image from an in-vehicle camera have already been disclosed in Patent Documents 1 to 3.
また、進行方向の斜め下方に向けて測距センサを取り付け、かつ同センサを進行方向に向けて取り付けることで、走行可能領域及び障害物を検出する技術が、特許文献４に既に開示されている。 Further, Patent Document 4 has already disclosed a technology for detecting a travelable area and an obstacle by attaching a distance measuring sensor obliquely downward in the traveling direction and attaching the sensor in the traveling direction. .
図１は特許文献１〜３の技術が適用される車両の説明図である。
この図において、車両５０（移動体）のウィンドシールド上部の左右には、車両５０が走行する道路平面領域を含む画像を撮像する一対の撮像手段である基準カメラ５２及び参照カメラ５４が固定配置される。基準カメラ５２及び参照カメラ５４は、共通の撮像領域が設定されたＣＣＤカメラ等からなるステレオカメラであり、これらには、撮像した画像を処理することで道路平面領域と障害物となる可能性のある物体とを検出する演算処理装置５６が接続される。なお、以下の説明では、基準カメラ５２によって撮像された画像を「基準画像」と称し、参照カメラ５４によって撮像された画像を「参照画像」と称する。
FIG. 1 is an explanatory diagram of a vehicle to which the techniques of Patent Documents 1 to 3 are applied.
In this figure, a reference camera 52 and a reference camera 54, which are a pair of imaging means for imaging an image including a road plane area where the vehicle 50 travels, are fixedly arranged on the left and right above the windshield of the vehicle 50 (moving body). The The reference camera 52 and the reference camera 54 are stereo cameras including a CCD camera or the like in which a common imaging area is set. These may be a road plane area and an obstacle by processing captured images. An arithmetic processing unit 56 for detecting a certain object is connected. In the following description, an image captured by the standard camera 52 is referred to as a “standard image”, and an image captured by the reference camera 54 is referred to as a “reference image”.
図２は一対の撮像手段間での２次元射影変換を説明するための模式図であり、
図３は平面領域を抽出する手順の説明図である。
先ず、特許文献１〜３における道路平面領域の抽出原理を説明する。
FIG. 2 is a schematic diagram for explaining two-dimensional projective transformation between a pair of imaging means.
FIG. 3 is an explanatory diagram of a procedure for extracting a planar area.
First, the principle of road plane region extraction in Patent Documents 1 to 3 will be described.
図２に示すように、空間中にある平面Π上の観測点Ｍ１が基準画像Ｉｂ及び参照画像Ｉｒに投影されるとき、基準画像Ｉｂ上での同次座標をｍｂ、参照画像Ｉｒ上での同次座標をｍｒとすると、各同次座標ｍｂ、ｍｒは、２次元射影変換行列Ｈによって関係付けられる。 As shown in FIG. 2, when the observation point M1 on the plane に in the space is projected onto the standard image I b and the reference image I r , the homogeneous coordinates on the standard image I b are m b , and the reference image When the homogeneous coordinates on the I r and m r, the homogeneous coordinates m b, m r are related by a two-dimensional projective transformation matrix H.
ここで、Ｈは３×３の射影変換行列である。また、図２において、Ｏは基準カメラ５２の光学中心、Ｏ’は参照カメラ５４の光学中心、Ｒは基準カメラ座標系から参照カメラ座標系への回転行列、ｔは、参照カメラ座標系において参照カメラ５４の光学中心から基準カメラ５２の光学中心へ向かう並進ベクトル、ｄは基準カメラ５２の光学中心Ｏと平面Πとの距離、ｎは平面Πの法線ベクトルである。 Here, H is a 3 × 3 projective transformation matrix. In FIG. 2, O is the optical center of the reference camera 52, O 'is the optical center of the reference camera 54, R is a rotation matrix from the reference camera coordinate system to the reference camera coordinate system, and t is referenced in the reference camera coordinate system. A translation vector from the optical center of the camera 54 toward the optical center of the reference camera 52, d is a distance between the optical center O of the reference camera 52 and the plane Π, and n is a normal vector of the plane Π.
道路等の走行可能な領域は、空間中でほぼ平面であると見なすことができれば、図３（Ａ）の参照画像Ｉｒに対して適切な射影変換を施すことにより、平面の部分に対して図３（Ｂ）（Ｃ）の基準画像Ｉｂに一致するような画像（図３（Ｃ））を得ることができる。
一方、平面上にない物体は、射影変換した際に画像（図３（Ｃ）と図３（Ｄ））が一致しないため、その物体の領域は走行可能な領域でない、あるいは、障害物となり得る領域であると判断することができる。したがって、図３（Ｅ）のように、平面の拡がりを算出することにより、走行可能な平面領域及び障害物となる物体の検出が可能となる。
Travelable area's roads, if be regarded as substantially planar in space, by applying an appropriate projective transformation for the reference image I r in FIG. 3 (A), to the portion of the plane An image (FIG. 3C) that matches the reference image Ib in FIGS. 3B and 3C can be obtained.
On the other hand, since an image (FIG. 3C and FIG. 3D) does not match when a projective transformation is performed on an object that is not on a plane, the area of the object is not a travelable area or may be an obstacle. It can be determined that this is an area. Therefore, as shown in FIG. 3E, by calculating the spread of the plane, it is possible to detect a plane area that can be traveled and an object that becomes an obstacle.
上述した特許文献１〜３の手段により、車載カメラからのステレオ画像を利用して、走行可能な前方の平面領域、基準カメラ５２の光学中心Ｏと平面領域との距離ｄ、前方の平面領域の法線ベクトルｎを検出することができる。 By means of the above-mentioned Patent Documents 1 to 3, using the stereo image from the in-vehicle camera, the front plane area that can be traveled, the distance d between the optical center O and the plane area of the reference camera 52, the front plane area A normal vector n can be detected.
一方、図４は、特許文献４による自律移動車両の側面図である。
この図において自律移動車両６１は、記憶した地図情報に基づいて自律的に移動する車両であって、進行方向の斜め下方に向けて車両前面に取付けられた下方測距センサ６２と、進行方向に向けて車両前面に取付けられた前方距離センサ６３と、車両本体の車輪の回転数から移動量を計測する移動量計測手段（図示せず）とを備え、前方距離センサ６３で取得した情報に下方測距センサ６２で取得した情報を重ね合わせて地図情報を作成し、障害物を検出して回避を行いつつ移動する。
On the other hand, FIG. 4 is a side view of the autonomous mobile vehicle according to Patent Document 4.
In this figure, an autonomously moving vehicle 61 is a vehicle that moves autonomously based on stored map information, and includes a downward distance measuring sensor 62 attached to the front surface of the vehicle toward an obliquely downward direction of the traveling direction, and a traveling direction. A front distance sensor 63 attached to the front of the vehicle and a movement amount measuring means (not shown) for measuring a movement amount from the number of rotations of the wheels of the vehicle body. The information acquired by the distance measuring sensor 62 is superimposed to create map information, and an obstacle is detected and moved while avoiding.
移動ロボットにおいて、高速走行（例えば約５０ｋｍ／ｈ）を実現するためには、必要な制動距離及び制御サイクルを考慮すると、例えば４０ｍ程度の遠距離の平面領域及び障害物位置を計測する必要がある。以下、この距離を「検出必要距離」と呼ぶ。 In order to realize high-speed traveling (for example, about 50 km / h) in a mobile robot, it is necessary to measure a plane area and an obstacle position at a long distance of, for example, about 40 m in consideration of necessary braking distance and control cycle. . Hereinafter, this distance is referred to as “necessary detection distance”.
上述した特許文献１〜３の技術では、障害物位置の計測にカメラによるステレオ視を使用するため、遠方（検出必要距離）の縁石や路面上の石などの小さな障害物を検出することは困難である。 In the techniques of Patent Documents 1 to 3 described above, since stereoscopic vision using a camera is used to measure the position of an obstacle, it is difficult to detect a small obstacle such as a curb at a distance (necessary detection distance) or a stone on a road surface. It is.
一方、特許文献４の技術では、走行可能領域を検出するために、斜め下方に向けて下方測距センサ６２を備えている。しかし、遠方（検出必要距離）の路面の計測を行う場合、下方測距センサ６２の下向き角度θは、水平に対して非常に小さく（例えば３度未満）になるため、路面からの反射が非常に微弱であり、高出力のレーザセンサが必要である。また、レーザセンサのスキャンレートも高く設定する必要がある。そのようなセンサは大型かつ高価なものとなり、移動ロボットへの採用は現実的ではない。 On the other hand, in the technique of Patent Document 4, a downward distance measuring sensor 62 is provided obliquely downward in order to detect a travelable area. However, when measuring a road surface far away (necessary detection distance), the downward angle θ of the downward distance measuring sensor 62 is very small (for example, less than 3 degrees) with respect to the horizontal, so reflection from the road surface is very Therefore, a high-power laser sensor is necessary. In addition, the scan rate of the laser sensor needs to be set high. Such a sensor becomes large and expensive, and its adoption in a mobile robot is not realistic.
本発明は、上述した問題点を解決するために創案されたものである。すなわち、本発明の第１の目的は、小型かつ安価な装置を用いて、高速走行時に検出が必要な検出必要距離内に存在する平面及びある程度小さな障害物も検出することができる移動ロボットの遠方環境認識装置及び方法を提供することにある。また、本発明の第２の目的は、走行路に対して前方の走行可能領域が傾いており、検出必要距離に存在する障害物を検出できない場合でも、走行安全性を確保することができる移動ロボットの遠方環境認識装置及び方法を提供することにある。 The present invention has been developed to solve the above-described problems. That is, the first object of the present invention is to use a small and inexpensive device to move a mobile robot far away from a mobile robot that can detect a plane and a small obstacle that are within a detection required distance that needs to be detected when traveling at high speed. To provide an environment recognition apparatus and method. In addition, the second object of the present invention is to make it possible to ensure traveling safety even when the forward travelable area is inclined with respect to the travel path and an obstacle present at the required detection distance cannot be detected. It is an object of the present invention to provide a remote environment recognition apparatus and method for a robot.
本発明によれば、移動ロボットに、走行経路の生成に必要な環境地図データを出力する遠方環境認識装置であって、
前記移動ロボットに固定して配置され、前方の平面領域を含む相互に重複する領域の画像を撮像する一対の車載カメラと、
前記移動ロボットに固定して配置され、レーザ光を前方左右に走査しその反射光から障害物の位置を検出するレーザセンサと、
前記車載カメラとレーザセンサの出力から、単一の座標系に定義された平面領域及び障害物を含む前記環境地図データを生成するコンピュータと、を備えたことを特徴とする遠方環境認識装置が提供される。
According to the present invention, a remote environment recognition device that outputs environmental map data necessary for generating a travel route to a mobile robot,
A pair of in-vehicle cameras that are fixedly disposed on the mobile robot and that capture images of mutually overlapping areas including a front plane area;
A laser sensor that is fixed to the mobile robot, scans the laser beam forward and left and detects the position of the obstacle from the reflected light, and
A remote environment recognition apparatus comprising: a computer that generates the environmental map data including a plane area and an obstacle defined in a single coordinate system from outputs of the on-vehicle camera and a laser sensor. Is done.
本発明の実施形態によれば、前記移動ロボットは、自律的に走行経路の生成を行って走行する自律移動ロボット、半自律移動ロボット、又は遠隔で操縦する操縦支援装置である。
また、前記レーザセンサは、複数のスキャンラインを持つレーザセンサである。
According to an embodiment of the present invention, the mobile robot is an autonomous mobile robot that travels by generating a travel route autonomously, a semi-autonomous mobile robot, or a steering assistance device that is remotely controlled.
The laser sensor is a laser sensor having a plurality of scan lines.
また本発明によれば、移動ロボットに、走行経路の生成に必要な環境地図データを出力する遠方環境認識方法であって、
前記移動ロボットに固定して配置された一対の車載カメラにより、前方の平面領域を含む相互に重複する領域の画像を撮像し、
前記移動ロボットに固定して配置されたレーザセンサにより、レーザ光を前方左右に走査しその反射光から障害物の位置を検出し、
前記画像から前記平面領域と該平面領域のカメラ座標系における法線ベクトルとを検出し、
前記平面領域、平面領域の法線ベクトル、障害物の位置から単一の座標系に定義された平面領域及び障害物を含む前記環境地図データを生成する、ことを特徴とする遠方環境認識方法が提供される。
According to the present invention, there is provided a remote environment recognition method for outputting environmental map data necessary for generating a travel route to a mobile robot,
With a pair of in-vehicle cameras fixedly arranged on the mobile robot, images of mutually overlapping areas including a front plane area are taken,
The laser sensor fixed to the mobile robot scans the laser beam forward and left and detects the position of the obstacle from the reflected light,
Detecting the planar region and the normal vector in the camera coordinate system of the planar region from the image;
A far environment recognition method characterized by generating the environment map data including the plane area, the normal vector of the plane area, the plane area defined in a single coordinate system and the obstacle from the position of the obstacle. Provided.
本発明の実施形態によれば、路面と正対物の再帰反射率の違いに着眼し、前記レーザセンサの反射光の受光強度により障害物の有無を検出する。
さらに、遠方の計測であることから、障害物位置に対応する地図セルに投票して、地図上を探索窓によって探索し、探索窓内の投票値が閾値を超える場合に、その窓内のセルを障害物として、前記レーザセンサから算出される障害物位置の計測誤差を補正する、ことが好ましい。
According to the embodiment of the present invention, attention is paid to the difference in retroreflectance between the road surface and the regular objective, and the presence or absence of an obstacle is detected based on the received light intensity of the reflected light of the laser sensor.
Furthermore, since it is a distant measurement, if a vote is made on a map cell corresponding to the obstacle position and the map is searched by a search window, and the vote value in the search window exceeds the threshold value, the cell in that window It is preferable that the measurement error of the obstacle position calculated from the laser sensor is corrected by using as an obstacle.
また、新たに検出された前方の平面領域のカメラ座標系における法線ベクトルが、カメラ座標系において所定の範囲を超える場合に、前記レーザセンサの走査領域が路面上から外れ、障害物検出が有効ではないとして、新たに検出された前方の平面領域を除外して前記環境地図データを生成する。
また、新たに検出された前方の平面領域のカメラ座標系における法線ベクトルから、走行領域に対する車両の角度を算出し、この角度から、レーザ光が地面上の障害物を検出しうる範囲にある領域を算出し、この領域と重複する平面検出領域を選択して、前記環境地図データに反映する。
In addition, when the normal vector in the camera coordinate system of the newly detected front plane area exceeds a predetermined range in the camera coordinate system, the scanning area of the laser sensor deviates from the road surface, and obstacle detection is effective. However, the environmental map data is generated by excluding the newly detected front plane area.
Further, the angle of the vehicle with respect to the traveling area is calculated from the normal vector in the camera coordinate system of the newly detected front plane area, and from this angle, the laser beam is within a range where an obstacle on the ground can be detected. An area is calculated, and a plane detection area overlapping with this area is selected and reflected in the environmental map data.
上記本発明の装置及び方法によれば、一対の車載カメラ、レーザセンサ、及びコンピュータからなる小型かつ安価な装置により、単一の座標系に定義された平面領域及び障害物を含む前記環境地図データを生成するので、この環境地図データを用いて、自律移動ロボットが自律的に走行経路の生成を行って走行することができる。 According to the apparatus and method of the present invention, the environmental map data including a plane area and an obstacle defined in a single coordinate system by a small and inexpensive apparatus including a pair of in-vehicle cameras, a laser sensor, and a computer. Therefore, the autonomous mobile robot can autonomously generate a travel route and travel using this environmental map data.
また、レーザセンサがレーザ光を前方左右に走査しその反射光から障害物の位置を検出するので、高速走行時に検出が必要な検出必要距離に存在する小さな障害物を検出することができる。 Further, since the laser sensor scans the laser beam forward and left and detects the position of the obstacle from the reflected light, it is possible to detect a small obstacle existing at a detection required distance that needs to be detected when traveling at high speed.
また、新たに検出された前方の平面領域のカメラ座標系における法線ベクトルが、カメラ座標系において所定の範囲を超える場合に、新たに検出された前方の平面領域を除外して前記環境地図データを生成するので、車両に対して前方の走行可能領域が傾いており、検出必要距離内に存在する障害物を検出できない場合でも、元の走行可能領域のみが表示されるので、走行安全性を確保することができる Further, when the normal vector in the camera coordinate system of the newly detected front plane area exceeds a predetermined range in the camera coordinate system, the environment map data excluding the newly detected front plane area is excluded. Therefore, even if an obstacle that is within the required detection distance cannot be detected, only the original available area is displayed. Can be secured
従って、ステレオカメラ（一対の車載カメラ）、レーザセンサの組合せにより、相互の欠点を補うことができ、遠方の環境認識が実現できる。
また小さな障害物が存在する場合でも、遠方（現状約４０ｍ）の環境認識が実現できるため、高速走行（現状約５０ｋｍ／ｈ）が可能となる。
Therefore, the combination of a stereo camera (a pair of in-vehicle cameras) and a laser sensor can compensate for each other's disadvantages and realize remote environment recognition.
Further, even when a small obstacle is present, environment recognition in a distant place (currently about 40 m) can be realized, so that high speed running (currently about 50 km / h) is possible.
以下、本発明の好ましい実施形態を図面を参照して説明する。なお各図において、共通する部分には同一の符号を付し、重複した説明は省略する。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. In each figure, common portions are denoted by the same reference numerals, and redundant description is omitted.
図５は、本発明が適用される自律移動ロボットの説明図であり、図６は自律移動ロボットのブロック図である。 FIG. 5 is an explanatory diagram of an autonomous mobile robot to which the present invention is applied, and FIG. 6 is a block diagram of the autonomous mobile robot.
図５、図６において、自律移動ロボット１０は、ＧＰＳ１１、ジャイロセンサ１２、自己位置評定用コンピュータ１３、車両制御装置１４及び操縦装置１５を備える。
自律移動ロボット１０は、この例では自走する車両であるが、本発明はこれに限定されず、半自律移動ロボットや操縦支援装置であってもよい。なお、以下の説明では、自律移動ロボット１０を、単に「移動ロボット」又は「車両」と呼ぶ。
5 and 6, the autonomous mobile robot 10 includes a GPS 11, a gyro sensor 12, a self-position assessment computer 13, a vehicle control device 14, and a control device 15.
The autonomous mobile robot 10 is a self-propelled vehicle in this example, but the present invention is not limited to this, and may be a semi-autonomous mobile robot or a steering assistance device. In the following description, the autonomous mobile robot 10 is simply referred to as “mobile robot” or “vehicle”.
車両制御装置１４は、この例では経路生成用コンピュータ１４ａ、車両制御用コンピュータ１４ｂ、ドライバ１４ｃ及びモータ、アクチュエータ１４ｄからなり、経路生成用コンピュータ１４ａにより自律的に走行経路の生成を行い、車両制御用コンピュータ１４ｂ、ドライバ１４ｃ及びモータ、アクチュエータ１４ｄにより車両を操縦して走行するようになっている。
操縦装置１５は、この例ではノートパソコンであり、人がノートパソコン１５によりＧＰＳ座標系でウェイポイントを入力し、経路生成用コンピュータ１４ａに無線で通信するようになっている。
またＧＰＳ１１、ジャイロセンサ１２及び自己位置評定用コンピュータ１３により周辺の地図、車両の位置、車両の姿勢を検出し、経路生成用コンピュータ１４ａに出力するようになっている
In this example, the vehicle control device 14 includes a route generation computer 14a, a vehicle control computer 14b, a driver 14c, a motor, and an actuator 14d. The vehicle generation device 14a autonomously generates a travel route, and is used for vehicle control. The vehicle is driven by a computer 14b, a driver 14c, a motor, and an actuator 14d.
In this example, the control device 15 is a notebook personal computer, and a person inputs a waypoint in the GPS coordinate system using the notebook personal computer 15, and communicates wirelessly with the route generation computer 14a.
The GPS 11, the gyro sensor 12, and the self-position assessment computer 13 detect the surrounding map, the position of the vehicle, and the attitude of the vehicle, and output them to the route generation computer 14a.
上述した構成により、人がＧＰＳ座標系でウェイポイントを入力することにより、経路生成用コンピュータ１４ａによりウェイポイントを通過するように移動ロボット１０は自律的に走行路検出及び経路生成を行い車両を操縦して走行することができる。 With the above-described configuration, when a person inputs a waypoint in the GPS coordinate system, the mobile robot 10 autonomously detects a route and generates a route so that the route generation computer 14a passes the waypoint and controls the vehicle. And can travel.
本発明の遠方環境認識装置２０は、上述した移動ロボット１０に走行経路の生成に必要な環境地図データ５を出力する装置である。 The far environment recognition apparatus 20 of the present invention is an apparatus that outputs the environment map data 5 necessary for generating a travel route to the mobile robot 10 described above.
図５、図６において、本発明の遠方環境認識装置２０は、一対の車載カメラ２２、レーザセンサ２４、及びコンピュータ２６を備える。
コンピュータ２６は、この例では画像処理用コンピュータ２６ａと環境地図生成用コンピュータ２６ｂからなり、車載カメラ２２とレーザセンサ２４の出力から、単一の座標系に定義された平面領域及び障害物を含む環境地図データを生成する。
5 and 6, the remote environment recognition device 20 of the present invention includes a pair of in-vehicle cameras 22, a laser sensor 24, and a computer 26.
In this example, the computer 26 includes an image processing computer 26a and an environment map generation computer 26b. From the outputs of the in-vehicle camera 22 and the laser sensor 24, the environment including a plane area and an obstacle defined in a single coordinate system is included. Generate map data.
図７は、移動ロボット１０の使用状態を示す側面図である。
この図において、一対の車載カメラ２２は、例えばステレオカメラであり、移動ロボット１０に固定して配置され、前方の平面領域１を含む相互に重複する領域の画像２（ステレオ画像）を撮像する。
画像処理用コンピュータ２６ａは、上述した特許文献１〜３の手段により、車載カメラ２２からのステレオ画像２を利用して、平面領域１と、平面領域１の法線ベクトルｎ（カメラ座標系における法線ベクトル）を検出する。
FIG. 7 is a side view showing the usage state of the mobile robot 10.
In this figure, a pair of vehicle-mounted cameras 22 is a stereo camera, for example, is fixed to the mobile robot 10 and captures images 2 (stereo images) of mutually overlapping areas including the front plane area 1.
The image processing computer 26a uses the stereo image 2 from the in-vehicle camera 22 by means of the above-described Patent Documents 1 to 3, and the plane area 1 and the normal vector n of the plane area 1 (method in the camera coordinate system). Line vector).
レーザセンサ２４は、この例では、移動ロボット１０に固定して配置されたレーザセンサである。またこのレーザセンサ２４は、４本のスキャンラインを有しており、前方正面及び所定の検出必要距離に相当する下向き角度でレーザ光３ａ〜３ｄを前方左右に走査しその反射光から障害物４の位置を検出するようになっている。 In this example, the laser sensor 24 is a laser sensor fixed to the mobile robot 10. The laser sensor 24 has four scan lines. The laser beams 3a to 3d are scanned forward and leftward at a front angle and a downward angle corresponding to a predetermined detection required distance. The position of is detected.
この例で、レーザ光３ａは、前方正面に水平に照射され、その反射光から、前方に位置する障害物４の位置（方向及び距離）を検出する。また、レーザ光３ｂ〜３ｄは、レーザ光３ａから一定の角度（例えば、０．５〜１．０度）ずつ下向きに傾斜しており、それぞれの反射光から、前方に位置する障害物４の位置（方向及び距離）を検出するようになっている。 In this example, the laser beam 3a is irradiated horizontally in front of the front, and the position (direction and distance) of the obstacle 4 positioned in front is detected from the reflected light. Further, the laser beams 3b to 3d are inclined downward by a certain angle (for example, 0.5 to 1.0 degree) from the laser beam 3a. The position (direction and distance) is detected.
また、本発明の方法では、路面と正対物の再帰反射率の違いに着眼し、レーザセンサ２４の反射光の受光強度により障害物の有無を検出する。
すなわち、画像処理用コンピュータ２６ａによる平面検出により検出することができなかった、路面上の小さな障害物をレーザセンサ２４の反射光の受光強度により検出する。
レーザセンサ２４のレーザ光３ｂ〜３ｄは平面領域１に対しては浅い入射角となり、受光強度は弱い。一方、正対する障害物４は深い入射角となり高い受光強度が得られる。本発明の方法では、この差により、障害物４の検出を行う。また、計測が遠距離となるため、レーザセンサから算出される障害物位置にも誤差があるので、これを考慮した処理を行う。
すなわち、遠方の計測であることから、障害物位置に対応する地図セルに投票して、地図上を探索窓によって探索し、探索窓内の投票値が閾値を超える場合に、その窓内のセルを障害物として、レーザセンサから算出される障害物位置の計測誤差を補正する。
In the method of the present invention, attention is paid to the difference in retroreflectance between the road surface and the regular objective, and the presence or absence of an obstacle is detected based on the received light intensity of the reflected light of the laser sensor 24.
That is, a small obstacle on the road surface that could not be detected by plane detection by the image processing computer 26a is detected by the received light intensity of the reflected light of the laser sensor 24.
The laser beams 3b to 3d of the laser sensor 24 have a shallow incident angle with respect to the planar region 1, and the received light intensity is weak. On the other hand, the obstacle 4 directly facing has a deep incident angle, and a high received light intensity is obtained. In the method of the present invention, the obstacle 4 is detected based on this difference. In addition, since the measurement is performed at a long distance, there is an error in the obstacle position calculated from the laser sensor.
In other words, because it is a distant measurement, if you vote for the map cell corresponding to the obstacle position, search the map with the search window, and the vote value in the search window exceeds the threshold, the cell in that window Is used as an obstacle, and the measurement error of the obstacle position calculated from the laser sensor is corrected.
環境地図生成用コンピュータ２６ｂは、自己位置評定用コンピュータ１３、車載カメラ２２及びレーザセンサ２４の出力、すなわち、周辺の地図、車両の位置、車両の姿勢、平面領域１、平面領域１の法線ベクトルｎ、及び障害物４の位置から、単一の座標系に定義された平面領域１及び障害物４を含む環境地図データ５を生成する。
この環境地図データ５は、車両制御装置１４の経路生成用コンピュータ１４ａに入力され、経路生成用コンピュータ１４ａにより、自律的に走行路検出及び経路生成を行うために用いられる。
The environment map generation computer 26b outputs the outputs of the self-position evaluation computer 13, the in-vehicle camera 22 and the laser sensor 24, that is, the surrounding map, the position of the vehicle, the posture of the vehicle, the plane region 1, and the normal vector of the plane region 1. From the position of n and the obstacle 4, environmental map data 5 including the plane area 1 and the obstacle 4 defined in a single coordinate system is generated.
The environmental map data 5 is input to the route generation computer 14a of the vehicle control device 14, and is used for autonomously detecting the travel route and generating the route by the route generation computer 14a.
図８は、移動ロボット１０の特殊な使用状態を示す側面図である。
この例では、移動ロボット１０が走行中の路面１ａに対して前方の走行可能領域１が傾いており、検出必要距離内に存在する障害物４を検出できない場合を示している。
すなわち現在走行する路面１ａに対して前方の走行可能領域１が上述したレーザ光３ａ〜３ｄの下向き角度（例えば最大約３度）以上に傾くと、レーザ光３ａ〜３ｄが路面（走行可能領域１）から外れてしまう。
レーザセンサ２４が反射光を検出せず、レーザセンサ２４から測距データが出力されないということは、障害物４が存在しないことを意味する。そのためレーザセンサ２４の走査範囲が、路面から外れる場合は、障害物４は検出されず、このため、障害物発見の遅れとなる問題が発生する。
この問題を回避するために、本発明では、新たに検出された前方の平面領域１のカメラ座標系における法線ベクトルｎが、カメラ座標系において所定の範囲を超える場合に、レーザセンサの走査領域が路面上から外れ、障害物検出が有効ではないとして、新たに検出された前方の平面領域を除外して前記環境地図データ５を生成する。
すなわち、本発明では、移動ロボット１０から見た平面領域１の姿勢角とレーザセンサ２４のレーザ光３ａ〜３ｄの成す角が、想定範囲から外れた場合には、平面検出処理によって新たに検出された前方の平面領域を地図に反映させないという処理をとることで、上記問題を回避する。
この場合、例えば車両１０は元の平面領域内で減速し、前記角度が閾値内に戻りしだい、新たに検出された前方の平面領域を地図に反映させて、高速走行を続行する。
FIG. 8 is a side view showing a special use state of the mobile robot 10.
This example shows a case where the forward travelable area 1 is inclined with respect to the road surface 1a on which the mobile robot 10 is traveling, and the obstacle 4 existing within the required detection distance cannot be detected.
That is, when the forward travelable area 1 is inclined to the above-described downward angle (for example, about 3 degrees at the maximum) of the laser light 3a to 3d described above with respect to the currently traveling road surface 1a, the laser light 3a to 3d is ).
The fact that the laser sensor 24 does not detect the reflected light and the distance measurement data is not output from the laser sensor 24 means that the obstacle 4 does not exist. Therefore, when the scanning range of the laser sensor 24 deviates from the road surface, the obstacle 4 is not detected, and thus a problem of delaying obstacle discovery occurs.
In order to avoid this problem, in the present invention, when the normal vector n in the camera coordinate system of the newly detected front plane area 1 exceeds a predetermined range in the camera coordinate system, the scanning area of the laser sensor Is removed from the road surface and obstacle detection is not effective, the environmental map data 5 is generated excluding the newly detected front plane area.
That is, in the present invention, when the angle between the attitude angle of the planar region 1 viewed from the mobile robot 10 and the laser beams 3a to 3d of the laser sensor 24 deviates from the assumed range, it is newly detected by the plane detection process. The above problem can be avoided by taking a process of not reflecting the front plane area on the map.
In this case, for example, the vehicle 10 decelerates in the original plane area, and as soon as the angle returns to the threshold value, the newly detected front plane area is reflected on the map and the high-speed running is continued.
図９は、移動ロボット１０の特殊な使用状態を示す別の説明図である。この図において、（Ａ）は走行領域に対する車両１０の角度が正常な場合、（Ｂ）は車両１０にピッチ角が発生した場合、（Ｃ）は車両１０にロール角が発生した場合である。
図９（Ｂ）の車両１０にピッチ角が発生した場合は、図８の場合に相当する。この場合、レーザ光のスキャン範囲２７の全体において、レーザセンサ２４が反射光を検出せず、レーザ光のスキャンが有効ではない（無効）ため、平面検出結果を反映させない。
FIG. 9 is another explanatory diagram showing a special use state of the mobile robot 10. In this figure, (A) shows the case where the angle of the vehicle 10 with respect to the travel area is normal, (B) shows the case where a pitch angle is generated in the vehicle 10, and (C) shows the case where a roll angle occurs in the vehicle 10.
A case where a pitch angle is generated in the vehicle 10 of FIG. 9B corresponds to the case of FIG. In this case, the laser sensor 24 does not detect the reflected light in the entire laser light scanning range 27, and the scanning of the laser light is not valid (invalid), so that the planar detection result is not reflected.
一方、図９（Ｃ）の車両１０にロール角が発生した場合は、レーザ光のスキャン範囲２７の一部でレーザが有効であるため、この有効範囲では平面検出結果を反映する。
すなわち車両１０が例えば時計方向にロールしていて、前方は水平な平面であると画像で検出できた場合、レーザセンサ２４ではある角度以上に左側に向いた方向が所定の角度以上に上空を向いてしまい、無効な計測となる。このような場合を想定して、レーザ光のスキャン範囲２７の全部の有効・無効を判断するのではなく、スキャンのうち、有効な扇状のエリアを、計測点の向きと平面の向きから決定する。
この場合、新たに検出された前方の平面領域のカメラ座標系における法線ベクトルから、走行領域に対する車両の角度を算出し、この角度から、レーザ光が地面上の障害物を検出しうる範囲にある領域を算出し、この領域と重複する平面検出領域を選択して、前記環境地図データに反映する。
On the other hand, when a roll angle occurs in the vehicle 10 in FIG. 9C, the laser is effective in a part of the laser light scanning range 27, and thus the plane detection result is reflected in this effective range.
That is, for example, when the vehicle 10 rolls in the clockwise direction and the front can be detected as an image that is a horizontal plane, the laser sensor 24 has a direction toward the left side beyond a certain angle toward the sky above a predetermined angle. It becomes an invalid measurement. Assuming such a case, instead of determining the validity / invalidity of the entire scan range 27 of the laser beam, the effective fan-shaped area of the scan is determined from the orientation of the measurement point and the orientation of the plane. .
In this case, the angle of the vehicle with respect to the travel area is calculated from the normal vector in the camera coordinate system of the newly detected front plane area, and from this angle, the laser beam is within a range where an obstacle on the ground can be detected. A certain area is calculated, and a plane detection area overlapping with this area is selected and reflected in the environmental map data.
図１０は、自己位置評定用コンピュータ、画像処理用コンピュータ、及び環境地図生成用コンピュータの動作フロー図であり、Ｓ１〜Ｓ４の各ステップ（工程）を有する。
ノートパソコン１５により、ＧＰＳ座標系でウェイポイントを入力し、車両制御用コンピュータ１４に無線で入力する。
自己位置評定用コンピュータ１３は、ＧＰＳ１１とジャイロセンサ１２からデータを受信し（Ｓ１）、周辺の地図、車両の位置、車両の姿勢を検出し、車両制御用コンピュータ１４に出力する。
画像処理用コンピュータ２６ａは、車載カメラ２２からのステレオ画像２を利用して、平面領域１の地図と、車両から見た平面姿勢角（すなわち平面領域１の法線ベクトルｎ）を検出し（Ｓ２）、環境地図生成用コンピュータ２６ｂと車両制御用コンピュータ１４に出力する。
環境地図生成用コンピュータ２６ｂは、自己位置評定用コンピュータ１３の出力（すなわち、周辺の地図、車両の位置、車両の姿勢）とレーザセンサ２４の出力から、障害物の検出処理を行い（Ｓ３）、障害物マップ４ａを出力する。さらにこの環境地図生成用コンピュータ２６ｂは、障害物マップ４ａと車載カメラ２２の出力（すなわち、平面領域１、平面領域１の法線ベクトルｎ）から、地図データを合成して、単一の座標系に定義された平面領域１及び障害物４を含む環境地図データ５を生成し（Ｓ４）、車両制御用コンピュータ１４に出力する。
FIG. 10 is an operation flowchart of the self-position evaluation computer, the image processing computer, and the environment map generation computer, and includes steps (steps) S1 to S4.
A waypoint is input in the GPS coordinate system by the notebook personal computer 15 and input to the vehicle control computer 14 wirelessly.
The self-position evaluation computer 13 receives data from the GPS 11 and the gyro sensor 12 (S 1), detects the surrounding map, the position of the vehicle, and the posture of the vehicle, and outputs them to the vehicle control computer 14.
The image processing computer 26a uses the stereo image 2 from the in-vehicle camera 22 to detect the map of the plane area 1 and the plane attitude angle (that is, the normal vector n of the plane area 1) viewed from the vehicle (S2). And output to the environment map generation computer 26b and the vehicle control computer 14.
The environment map generation computer 26b performs an obstacle detection process from the output of the self-position evaluation computer 13 (that is, the surrounding map, the position of the vehicle, the attitude of the vehicle) and the output of the laser sensor 24 (S3), The obstacle map 4a is output. Further, the environment map generating computer 26b synthesizes map data from the obstacle map 4a and the output of the in-vehicle camera 22 (that is, the plane region 1 and the normal vector n of the plane region 1) to generate a single coordinate system. The environmental map data 5 including the plane area 1 and the obstacle 4 defined in (1) is generated (S4) and output to the vehicle control computer 14.
図１１は、車両制御用コンピュータの動作フロー図であり、Ｓ１１〜Ｓ１８の各ステップ（工程）を有する。
車両制御用コンピュータ１４は、ノートパソコン１５からウェイポイントを受信し、自己位置評定用コンピュータ１３から車両位置と車両姿勢を受信し、環境地図生成用コンピュータ２６ｂから環境地図データ５を受信し、画像処理用コンピュータ２６ａから車両から見た平面姿勢角を受信する。
車両制御用コンピュータ１４は、ウェイポイント、車両位置、車両姿勢及び環境地図データ５から、ポテンシャル法によりポテンシャル場を生成し（Ｓ１１）、最急降下法により経路を設定する（Ｓ１２）。このポテンシャル法と最急降下法は、車両位置や障害物位置のポテンシャルを高く設定し、ウェイポイントや平面領域のポテンシャルを低く設定して、ポテンシャルの高い方から低い方に向かって水が流れるような方向に経路を設定する手法である。
FIG. 11 is an operation flowchart of the vehicle control computer, which includes steps S11 to S18.
The vehicle control computer 14 receives waypoints from the notebook computer 15, receives the vehicle position and vehicle posture from the self-position assessment computer 13, receives the environment map data 5 from the environment map generation computer 26 b, and performs image processing. The plane attitude angle viewed from the vehicle is received from the computer 26a.
The vehicle control computer 14 generates a potential field from the waypoint, vehicle position, vehicle posture, and environment map data 5 by the potential method (S11), and sets a route by the steepest descent method (S12). In this potential method and steepest descent method, the potential of the vehicle position and obstacle position is set high, the potential of the waypoint and the plane area is set low, and water flows from the higher potential to the lower potential. This is a method of setting a route in the direction.
車両制御用コンピュータ１４は、次いで、旋回半径から車速目標値Ａを設定し（Ｓ１３）、さらに平面姿勢角と車両姿勢から車速目標値Ｂを設定し（Ｓ１４）、車速目標値Ａ，Ｂの小さい方を採用する（Ｓ１５）。
次いで、車両制御用コンピュータ１４は、アクセル、ブレーキ位置の目標値を設定し（Ｓ１６）、旋回半径からステアリング位相の目標値を設定し（Ｓ１７）、モータ、アクチュエータを作動させる（Ｓ１８）。
以上の各ステップを車両制御用コンピュータ１４は、所定の制御間隔Δｔで繰り返し実施し、自律的に走行経路の生成を行い、車両を操縦して走行する。
Next, the vehicle control computer 14 sets a vehicle speed target value A from the turning radius (S13), further sets a vehicle speed target value B from the plane attitude angle and the vehicle attitude (S14), and the vehicle speed target values A and B are small. Is adopted (S15).
Next, the vehicle control computer 14 sets the target values of the accelerator and brake positions (S16), sets the target value of the steering phase from the turning radius (S17), and operates the motor and actuator (S18).
The vehicle control computer 14 repeatedly performs the above steps at a predetermined control interval Δt, autonomously generates a travel route, and steers the vehicle to travel.
図１２は、レーザセンサによる障害物検出フロー図であり、Ｓ２１〜Ｓ３０の各ステップ（工程）を有する。また図１３は図１２の説明図である。
図１２において、レーザセンサ２４は、前方正面及び所定の検出必要距離に相当する下向き角度でレーザ光３ａ〜３ｄを前方左右に走査し、その反射光の受光強度が所定の閾値以上であるものから測距値を算出する。この場合、車両の走行に支障がある大きさの障害物を確実に検出するように、レーザ光３ａ〜３ｄの走査密度（すなわち走査レート）を設定する。
検出されたＮ０個のデータ（位相と測距値）を出力し（Ｓ２１）、そのデータから環境認識に必要な位相範囲内のデータＮ個を抽出し（Ｓ２２）、車両姿勢角と自己位置を用いて座標変換によりＮ個の慣性座標特徴（Ｘｅ，Ｙｅ，Ｚｅ）を算出する（Ｓ２３）。この場合、測距データがない場所は、障害物がないとして扱う。
図１３（Ａ）はこの時点（Ｓ２３）での障害物候補マップを示している。この図において、ａは車両位置、ｂは環境認識に必要な位相範囲、ｃは障害物候補である。
FIG. 12 is a flowchart of obstacle detection by the laser sensor, and includes steps (steps) S21 to S30. FIG. 13 is an explanatory diagram of FIG.
In FIG. 12, the laser sensor 24 scans the laser beams 3a to 3d forward and left at a front angle and a downward angle corresponding to a predetermined detection required distance, and the received light intensity of the reflected light is greater than or equal to a predetermined threshold value. A distance measurement value is calculated. In this case, the scanning density (that is, the scanning rate) of the laser beams 3a to 3d is set so as to surely detect an obstacle having a size that hinders traveling of the vehicle.
The detected N0 data (phase and distance measurement value) are output (S21), N data within the phase range necessary for environment recognition are extracted from the data (S22), and the vehicle attitude angle and self-position are obtained. Using these, N inertial coordinate features (Xe, Ye, Ze) are calculated by coordinate transformation (S23). In this case, a place without distance measurement data is treated as having no obstacle.
FIG. 13A shows an obstacle candidate map at this time (S23). In this figure, a is a vehicle position, b is a phase range necessary for environment recognition, and c is an obstacle candidate.
次いで、図１２において、障害物候補マップを呼び出し投票作業へ移行し（Ｓ２４）、Ｎ個の障害物候補に対して、座標（Ｘｅ，Ｙｅ）を地図分解能δで除し、投票セル位置（ｉ，ｊ）を算出し（Ｓ２５）、投票セル位置（ｉ，ｊ）に投票する（Ｓ２６）。
次にｉ＝ｉｓ〜ｉｅ、ｊ＝ｊｓ〜ｊｅの環境認識範囲において、探索窓内の投票数の総和を算出し（Ｓ２７）、投票数の総和が所定の閾値以上である場合（Ｓ２８）に、探索窓内の地図セルを障害物に設定する（Ｓ２９）。
図１３（Ｂ）は、探索窓ｄ内の投票数の総和を算出する状態を示している。
Next, in FIG. 12, the obstacle candidate map is called and the process proceeds to voting (S24). For N obstacle candidates, the coordinates (Xe, Ye) are divided by the map resolution δ, and the voting cell position (i , J) is calculated (S25) and voted at the voting cell position (i, j) (S26).
Next, in the environment recognition range of i = is to ie, j = js to je, the total number of votes in the search window is calculated (S27), and the total number of votes is equal to or greater than a predetermined threshold (S28). Then, the map cell in the search window is set as an obstacle (S29).
FIG. 13B shows a state in which the total number of votes in the search window d is calculated.
次いで、図１２において、障害物候補マップから、環境認識範囲で障害物情報を切り出し、障害物マップとして出力する（Ｓ３０）。図１３（Ｃ）は、障害物マップの例であり、この図でｅは環境認識に必要な範囲、ｆは障害物である。 Next, in FIG. 12, obstacle information is cut out from the obstacle candidate map within the environment recognition range, and is output as an obstacle map (S30). FIG. 13C is an example of an obstacle map. In this figure, e is a range necessary for environment recognition, and f is an obstacle.
図１４は、本発明の遠方環境認識装置２０から出力する環境地図データの説明図である。この図において、（Ａ）はある時刻ｔまでに検出した平面領域１ａ、（Ｂ）は時刻ｔに検出した平面領域１、（Ｃ）は時刻ｔに検出した障害物領域ｆを示している。 FIG. 14 is an explanatory diagram of environment map data output from the remote environment recognition device 20 of the present invention. In this figure, (A) shows the plane area 1a detected until a certain time t, (B) shows the plane area 1 detected at the time t, and (C) shows the obstacle area f detected at the time t.
図１４（Ａ）に示す時刻ｔまでに検出した平面領域１ａは、走行可能領域であり、車両ａは安全に走行できる。
図１４（Ｂ）に示す時刻ｔに検出した平面領域１は、画像処理用コンピュータ２６ａにより車載カメラ２２からのステレオ画像２を利用して検出された平面領域１であり、障害物がない限り車両ａは安全に走行できる。
図１４（Ｃ）に示す時刻ｔに検出した障害物領域ｆは、レーザセンサ２４により上述した方法で検出される。
図１４（Ｃ）の図は、上述した単一の座標系に定義された平面領域１及び障害物４を含む環境地図データ５に相当しており、この環境地図データ５に基づき、経路生成用コンピュータ１４ａにより、自律的に走行路検出及び経路生成を行うことができる。
The planar area 1a detected by time t shown in FIG. 14A is a travelable area, and the vehicle a can travel safely.
The plane area 1 detected at time t shown in FIG. 14B is the plane area 1 detected by using the stereo image 2 from the in-vehicle camera 22 by the image processing computer 26a. a can travel safely.
The obstacle region f detected at time t shown in FIG. 14C is detected by the laser sensor 24 by the method described above.
The diagram of FIG. 14C corresponds to the environmental map data 5 including the planar area 1 and the obstacle 4 defined in the above-described single coordinate system. The computer 14a can autonomously detect a travel route and generate a route.
また、図８に示したように、レーザセンサ２４の走査範囲が、路面から外れる場合は、障害物４は検出されず、このため、障害物発見の遅れとなるが、本発明では、移動ロボット１０から見た平面領域１の姿勢角とレーザセンサ２４のレーザ光３ａ〜３ｄの成す角が、想定範囲から外れた場合には、平面検出処理によって検出された図１４（Ｂ）の平面領域１を地図に反映させないという処理をとることで、図１４（Ａ）に示す平面領域１ａのみを走行可能領域とするので、車両ａは安全に走行することができる。 In addition, as shown in FIG. 8, when the scanning range of the laser sensor 24 deviates from the road surface, the obstacle 4 is not detected, which causes a delay in finding the obstacle. When the attitude angle of the planar region 1 viewed from 10 and the angle formed by the laser beams 3a to 3d of the laser sensor 24 deviate from the assumed range, the planar region 1 of FIG. By taking the process of not reflecting the map on the map, only the plane area 1a shown in FIG.
上述した本発明の装置及び方法によれば、一対の車載カメラ２２、レーザセンサ２４、及びコンピュータ２６ａ，２６ｂからなる小型かつ安価な装置により、単一の座標系に定義された平面領域１及び障害物４を含む環境地図データ５を生成するので、この環境地図データ５を用いて、自律移動ロボット１０が自律的に走行経路の生成を行って走行することができる。 According to the apparatus and method of the present invention described above, the plane region 1 and the obstacle defined in a single coordinate system can be obtained by a small and inexpensive apparatus comprising a pair of the on-vehicle camera 22, the laser sensor 24, and the computers 26a and 26b. Since the environment map data 5 including the object 4 is generated, the autonomous mobile robot 10 can travel by autonomously generating a travel route using the environment map data 5.
また、レーザセンサ２４が前方正面及び所定の検出必要距離に相当する下向き角度でレーザ光３ａ〜３ｄを前方左右に走査し、その反射光から障害物４の位置を検出するので、高速走行時に検出が必要な検出必要距離内に存在する小さな障害物４を検出することができる。 In addition, the laser sensor 24 scans the laser beams 3a to 3d forward and left and at a downward angle corresponding to a predetermined detection required distance, and detects the position of the obstacle 4 from the reflected light. It is possible to detect a small obstacle 4 existing within a necessary detection distance.
また、新たに検出された前方の平面領域１の法線ベクトルｎと、走行中の路面１ａの法線ベクトルｎａとの角度が、所定の閾値を超える場合に、新たに検出された前方の平面領域１を除外して環境地図データ５を生成するので、走行中の路面１ａに対して前方の走行可能領域１が傾いており、検出必要距離内に存在する障害物４を検出できない場合でも、元の走行可能領域のみが表示されるので、走行安全性を確保することができる Further, when the angle between the normal vector n of the newly detected front plane area 1 and the normal vector na of the road surface 1a being traveled exceeds a predetermined threshold, the newly detected front plane Since the environmental map data 5 is generated by excluding the region 1, even if the forward travelable region 1 is inclined with respect to the traveling road surface 1a and the obstacle 4 existing within the necessary detection distance cannot be detected, Only the original travelable area is displayed, so driving safety can be ensured.
従って、ステレオカメラ（一対の車載カメラ）、レーザセンサの組合せにより、相互の欠点を補うことができ、遠方の環境認識が実現できる。
また小さな障害物が存在する場合でも、遠方（現状約４０ｍ）の環境認識が実現できるため、高速走行（現状約５０ｋｍ／ｈ）が可能となる。
Therefore, the combination of a stereo camera (a pair of in-vehicle cameras) and a laser sensor can compensate for each other's disadvantages and realize remote environment recognition.
Further, even when a small obstacle is present, environment recognition in a distant place (currently about 40 m) can be realized, so that high speed running (currently about 50 km / h) is possible.
なお、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々に変更することができることは勿論である。 In addition, this invention is not limited to embodiment mentioned above, Of course, it can change variously in the range which does not deviate from the summary of this invention.
１ 平面領域、１ａ 走行中の路面、２ 画像（ステレオ画像）、
３ａ〜３ｄ レーザ光、４ 障害物、５ 環境地図データ、
１０ 自律移動ロボット（移動ロボット、車両）、１１ ＧＰＳ、
１２ ジャイロセンサ、１３ 自己位置評定用コンピュータ、
１４ 車両制御装置、１４ａ 経路生成用コンピュータ、
１４ｂ 車両制御用コンピュータ、１４ｃドライバ、
１４ｄ モータ、アクチュエータ、１５ 操縦装置、
２０ 遠方環境認識装置、２２ 車載カメラ（ステレオカメラ）、
２４ レーザセンサ、
２６ コンピュータ、２６ａ 画像処理用コンピュータ、
２６ｂ 環境地図生成用コンピュータ、２７ スキャン範囲
1 Plane area, 1a Road surface during travel, 2 images (stereo image)
3a to 3d laser light, 4 obstacles, 5 environmental map data,
10 autonomous mobile robots (mobile robots, vehicles), 11 GPS,
12 gyro sensor, 13 self-positioning computer,
14 vehicle control device, 14a route generation computer,
14b vehicle control computer, 14c driver,
14d motor, actuator, 15 control device,
20 Distant environment recognition device, 22 In-vehicle camera (stereo camera),
24 laser sensor,
26 computer, 26a image processing computer,
26b Computer for environmental map generation, 27 scan range
Claims (8)
前記移動ロボットに固定して配置され、前方の平面領域を含む相互に重複する領域の画像を撮像する一対の車載カメラと、
前記移動ロボットに固定して配置され、レーザ光を前方左右に走査しその反射光から障害物の位置を検出するレーザセンサと、
前記画像から前記平面領域と該平面領域のカメラ座標系における法線ベクトルとを検出し、前記平面領域、平面領域の法線ベクトル、及び障害物の位置から単一の座標系に定義された平面領域及び障害物を含む前記環境地図データを生成するコンピュータと、を備え、
前記コンピュータは、新たに検出された前方の平面領域のカメラ座標系における法線ベクトルと、走行中の路面のカメラ座標系における法線ベクトルとの角度が、カメラ座標系において所定の範囲を超えて、前記レーザ光が、新たに検出された前方の平面領域から外れる場合に、新たに検出された前方の平面領域を除外して前記環境地図データを生成する、ことを特徴とする移動ロボットの遠方環境認識装置。 A remote environment recognition device that outputs environmental map data necessary for generating a travel route to a mobile robot,
A pair of in-vehicle cameras that are fixedly disposed on the mobile robot and that capture images of mutually overlapping areas including a front plane area;
A laser sensor that is fixed to the mobile robot, scans the laser beam forward and left and detects the position of the obstacle from the reflected light, and
The plane area and the normal vector in the camera coordinate system of the plane area are detected from the image, and the plane defined in a single coordinate system from the plane area, the normal vector of the plane area, and the position of the obstacle A computer for generating the environmental map data including an area and an obstacle ,
In the computer, the angle between the normal vector in the camera coordinate system of the newly detected front plane area and the normal vector in the camera coordinate system of the traveling road surface exceeds a predetermined range in the camera coordinate system. When the laser beam deviates from the newly detected front plane area, the environment map data is generated excluding the newly detected front plane area, and the distance from the mobile robot is characterized by Environment recognition device.
前記移動ロボットに固定して配置され、前方の平面領域を含む相互に重複する領域の画像を撮像する一対の車載カメラと、
前記移動ロボットに固定して配置され、レーザ光を下向き角度で前方左右に走査しその反射光から障害物の位置を検出するレーザセンサと、
前記画像から前記平面領域と該平面領域のカメラ座標系における法線ベクトルとを検出し、前記平面領域、該平面領域の法線ベクトル、及び障害物の位置から単一の座標系に定義された前記平面領域及び障害物を含む前記環境地図データを生成するコンピュータと、を備え、
前記コンピュータは、新たに検出された前方の前記平面領域のカメラ座標系における法線ベクトルから、走行領域に対する車両の角度を算出し、この角度から、レーザ光が地面上の障害物を検出しうる範囲にある領域を算出し、この領域と重複する前記平面領域の一部を選択して、前記環境地図データに反映する、ことを特徴とする移動ロボットの遠方環境認識装置。 A remote environment recognition device that outputs environmental map data necessary for generating a travel route to a mobile robot,
A pair of in-vehicle cameras that are fixedly disposed on the mobile robot and that capture images of mutually overlapping areas including a front plane area;
A laser sensor that is fixedly disposed on the mobile robot, scans the laser beam forward and left and at a downward angle, and detects the position of the obstacle from the reflected light;
The plane area and the normal vector in the camera coordinate system of the plane area are detected from the image, and defined in a single coordinate system from the plane area, the normal vector of the plane area, and the position of the obstacle and a computer for generating the environment map data including the planar area and obstacle,
The computer calculates the angle of the vehicle with respect to the traveling area from the normal vector in the camera coordinate system of the plane area in front of the newly detected, and from this angle, the laser beam can detect an obstacle on the ground. An apparatus for recognizing a distant environment of a mobile robot , wherein a region in a range is calculated, a part of the planar region overlapping with the region is selected and reflected in the environment map data .
前記移動ロボットに固定して配置された一対の車載カメラにより、前方の平面領域を含む相互に重複する領域の画像を撮像し、
前記移動ロボットに固定して配置されたレーザセンサにより、レーザ光を前方左右に走査しその反射光から障害物の位置を検出し、
前記画像から前記平面領域と該平面領域のカメラ座標系における法線ベクトルとを検出し、
前記平面領域、平面領域の法線ベクトル、及び障害物の位置から単一の座標系に定義された平面領域及び障害物を含む前記環境地図データを生成し、
新たに検出された前方の平面領域のカメラ座標系における法線ベクトルと、走行中の路面のカメラ座標系における法線ベクトルとの角度が、カメラ座標系において所定の範囲を超えて、前記レーザ光が、新たに検出された前方の平面領域から外れる場合に、新たに検出された前方の平面領域を除外して前記環境地図データを生成する、ことを特徴とする移動ロボットの遠方環境認識方法。 A remote environment recognition method for outputting environment map data necessary for generating a travel route to a mobile robot,
With a pair of in-vehicle cameras fixedly arranged on the mobile robot, images of mutually overlapping areas including a front plane area are taken,
The laser sensor fixed to the mobile robot scans the laser beam forward and left and detects the position of the obstacle from the reflected light,
Detecting the planar region and the normal vector in the camera coordinate system of the planar region from the image;
Generating the environmental map data including the plane area and the obstacle defined in a single coordinate system from the plane area, the normal vector of the plane area, and the position of the obstacle ;
The angle between the normal vector in the camera coordinate system of the newly detected front plane area and the normal vector in the camera coordinate system of the running road surface exceeds a predetermined range in the camera coordinate system, and the laser beam but if out of the newly detected in front of the planar regions, newly detected by excluding the front flat region generates the environmental map data, far environment recognition method of the mobile robot, characterized in that.
前記移動ロボットに固定して配置された一対の車載カメラにより、前方の平面領域を含む相互に重複する領域の画像を撮像し、
前記移動ロボットに固定して配置されたレーザセンサにより、レーザ光を下向き角度で前方左右に走査しその反射光から障害物の位置を検出し、
前記画像から前記平面領域と該平面領域のカメラ座標系における法線ベクトルとを検出し、
前記平面領域、該平面領域の法線ベクトル、及び障害物の位置から単一の座標系に定義された前記平面領域及び障害物を含む前記環境地図データを生成し、
新たに検出された前方の前記平面領域のカメラ座標系における法線ベクトルから、走行領域に対する車両の角度を算出し、この角度から、レーザ光が地面上の障害物を検出しうる範囲にある領域を算出し、この領域と重複する前記平面領域を選択して、前記環境地図データに反映する、ことを特徴とする移動ロボットの遠方環境認識方法。 A remote environment recognition method for outputting environment map data necessary for generating a travel route to a mobile robot,
With a pair of in-vehicle cameras fixedly arranged on the mobile robot, images of mutually overlapping areas including a front plane area are taken,
By the laser sensor fixed to the mobile robot, the laser beam is scanned forward and left at a downward angle to detect the position of the obstacle from the reflected light,
Detecting the planar region and the normal vector in the camera coordinate system of the planar region from the image;
Said planar region, and generates the environment map data including the normal vector of the planar region, and said planar region and the obstacle defined single coordinate system from the position of the obstacle,
A vehicle angle with respect to the travel area is calculated from the normal vector in the camera coordinate system of the front plane area that is newly detected, and from this angle, an area where the laser beam can detect an obstacle on the ground The mobile robot remote environment recognition method characterized in that the plane area overlapping with this area is selected and reflected in the environment map data .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009294815A JP5429986B2 (en) | 2009-12-25 | 2009-12-25 | Mobile robot remote environment recognition apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009294815A JP5429986B2 (en) | 2009-12-25 | 2009-12-25 | Mobile robot remote environment recognition apparatus and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011134226A JP2011134226A (en) | 2011-07-07 |
| JP5429986B2 true JP5429986B2 (en) | 2014-02-26 |
Family
ID=44346857
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009294815A Active JP5429986B2 (en) | 2009-12-25 | 2009-12-25 | Mobile robot remote environment recognition apparatus and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5429986B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110487178A (en) * | 2019-07-29 | 2019-11-22 | 烟台南山学院 | A kind of space coordinate measuring instrument and its measurement method |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016199312A1 (en) | 2015-06-10 | 2016-12-15 | 株式会社Ｄｏｏｇ | Autonomous movement system |
| CN106323335B (en) * | 2015-07-02 | 2023-05-02 | 中国科学院沈阳自动化研究所 | Reconfigurable indoor mobile robot navigation performance evaluation instrument and evaluation method thereof |
| US10274325B2 (en) * | 2016-11-01 | 2019-04-30 | Brain Corporation | Systems and methods for robotic mapping |
| CN207903264U (en) * | 2017-01-16 | 2018-09-25 | 浙江国自机器人技术有限公司 | A kind of transport device with freight detection function |
| EP3663882B1 (en) * | 2017-08-04 | 2022-06-22 | Sony Group Corporation | Information processing device, information processing method, program and mobile unit |
| CN110162030B (en) * | 2018-02-12 | 2022-11-25 | 北京欣奕华科技有限公司 | Mobile robot and obstacle detection method thereof |
| JP7112066B2 (en) * | 2018-04-04 | 2022-08-03 | 国立大学法人九州工業大学 | Autonomous mobile robot and its control method |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3669205B2 (en) * | 1999-05-17 | 2005-07-06 | 日産自動車株式会社 | Obstacle recognition device |
| JP2001056377A (en) * | 1999-08-20 | 2001-02-27 | Nippon Signal Co Ltd:The | On-vehicle detecting apparatus for obstacle |
| JP4344860B2 (en) * | 2004-01-30 | 2009-10-14 | 国立大学法人東京工業大学 | Road plan area and obstacle detection method using stereo image |
| JP4270386B2 (en) * | 2004-08-11 | 2009-05-27 | 国立大学法人東京工業大学 | Moving body moving amount calculation device |
| JP4377347B2 (en) * | 2005-03-11 | 2009-12-02 | セコム株式会社 | Mobile robot |
| JP4340247B2 (en) * | 2005-03-14 | 2009-10-07 | 株式会社日立製作所 | Autonomous mobile robot |
| JP5105596B2 (en) * | 2007-10-30 | 2012-12-26 | 株式会社Ｉｈｉ | Travel route determination map creation device and travel route determination map creation method for autonomous mobile body |
| JP5141507B2 (en) * | 2008-08-25 | 2013-02-13 | 村田機械株式会社 | Autonomous mobile device |
| JP2013503404A (en) * | 2009-08-31 | 2013-01-31 | ニート ロボティックス，インコーポレイティド | Method and apparatus for simultaneous localization and mapping of mobile robot environment |
-
2009
- 2009-12-25 JP JP2009294815A patent/JP5429986B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110487178A (en) * | 2019-07-29 | 2019-11-22 | 烟台南山学院 | A kind of space coordinate measuring instrument and its measurement method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011134226A (en) | 2011-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5429986B2 (en) | Mobile robot remote environment recognition apparatus and method | |
| US20210365750A1 (en) | Systems and methods for estimating future paths | |
| EP3091338B1 (en) | Misrecognition determination device | |
| US9815462B2 (en) | Path determination for automated vehicles | |
| US10705220B2 (en) | System and method for ground and free-space detection | |
| US9493157B2 (en) | Autonomous vehicle operation in obstructed occupant view and sensor detection environments | |
| US9201424B1 (en) | Camera calibration using structure from motion techniques | |
| US11620837B2 (en) | Systems and methods for augmenting upright object detection | |
| CN112189225B (en) | Lane line information detection apparatus, method, and computer-readable recording medium storing computer program programmed to execute the method | |
| KR20190062390A (en) | Vehicle navigation based on detected barriers | |
| CN110249235A (en) | For moving the variable field of view and direction sensor of machine vision applications | |
| KR20190080885A (en) | System and method for navigation by car merge and car separation | |
| JP5105596B2 (en) | Travel route determination map creation device and travel route determination map creation method for autonomous mobile body | |
| US20170371346A1 (en) | Ray tracing for hidden obstacle detection | |
| US11874660B2 (en) | Redundant lateral velocity determination and use in secondary vehicle control systems | |
| US10955857B2 (en) | Stationary camera localization | |
| US20050030378A1 (en) | Device for image detecting objects, people or similar in the area surrounding a vehicle | |
| WO2019181284A1 (en) | Information processing device, movement device, method, and program | |
| CN101207802A (en) | Driving support method and driving support apparatus | |
| JP6982999B2 (en) | Route determination device and route determination method | |
| CN113826028A (en) | Radar field of view extension | |
| CN112567264A (en) | Apparatus and method for acquiring coordinate transformation information | |
| Moras et al. | Drivable space characterization using automotive lidar and georeferenced map information | |
| CN113677584B (en) | Multi-sensor synchronous measuring equipment | |
| US10775804B1 (en) | Optical array sensor for use with autonomous vehicle control systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120907 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130815 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130829 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131028 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131120 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131202 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5429986 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |