JP4774401B2 - Autonomous mobile route setting device - Google Patents

Autonomous mobile route setting device Download PDF

Info

Publication number
JP4774401B2
JP4774401B2 JP2007309285A JP2007309285A JP4774401B2 JP 4774401 B2 JP4774401 B2 JP 4774401B2 JP 2007309285 A JP2007309285 A JP 2007309285A JP 2007309285 A JP2007309285 A JP 2007309285A JP 4774401 B2 JP4774401 B2 JP 4774401B2
Authority
JP
Japan
Prior art keywords
recognized
person
autonomous mobile
robot
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007309285A
Other languages
Japanese (ja)
Other versions
JP2008276731A (en
Inventor
貢秀 黒田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2007309285A priority Critical patent/JP4774401B2/en
Priority to EP08006602A priority patent/EP1978432B1/en
Priority to US12/078,686 priority patent/US8019475B2/en
Publication of JP2008276731A publication Critical patent/JP2008276731A/en
Application granted granted Critical
Publication of JP4774401B2 publication Critical patent/JP4774401B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

この発明は、自律移動体に備えられる経路設定装置に関する。   The present invention relates to a route setting device provided in an autonomous mobile body.

特許文献１には、レーダーを用いて障害物との距離および相対速度情報を検出して危険判断を行う自動車の衝突防止装置において、障害物からの反射信号が低下して障害物を検出できなくなったとき、それまでに得られた情報を用いて障害物との距離および相対速度を推定し、この推定に基づいて危険判断を行うことが記載されている。   In Patent Document 1, in a collision prevention apparatus for an automobile that uses a radar to detect distance and relative speed information from an obstacle and makes a risk judgment, the reflected signal from the obstacle is lowered and the obstacle cannot be detected. It is described that the distance to the obstacle and the relative speed are estimated using the information obtained so far, and the danger judgment is performed based on this estimation.

また、特許文献２には、車両周辺の物体までの距離分布から立体物を識別し、車両との相対位置を求め、この相対位置が、車両を中心とするあらかじめ定めた領域の外に出たら、この物体を消去し、新たに検出された物体を記憶して、車両との接触可能性を判断する物体認識装置が記載されている。検出された物体の位置を車両の移動に応じて更新するので、同じ物体が複数回検出されると、複数個の物体として演算され、車両の動きを制限することになる。   In Patent Document 2, a three-dimensional object is identified from the distance distribution to objects around the vehicle, a relative position with respect to the vehicle is obtained, and if this relative position goes out of a predetermined area centered on the vehicle. An object recognition device is described that erases this object, stores the newly detected object, and determines the possibility of contact with the vehicle. Since the position of the detected object is updated according to the movement of the vehicle, if the same object is detected a plurality of times, it is calculated as a plurality of objects, and the movement of the vehicle is limited.

オフィス、家庭などで自律して移動するロボットは、人と衝突することなく移動することが求められる。人は、移動速度は遅いが速度にむらがあり、急に立ち止まったり、急に方向を変えたりする性質をもっている。このような環境においてロボットは、人との衝突を回避して移動経路を設定する必要がある。   Robots that move autonomously in offices and homes are required to move without colliding with people. People move slowly but have uneven speed, and have the property of suddenly stopping or suddenly changing direction. In such an environment, the robot needs to set a movement path while avoiding a collision with a person.

自律移動体は、限られた視野内の画像をデータ処理して環境に存在する物体、特に人を検出し、人との衝突を避けて移動するよう経路を修正しながら移動する。この場合、自律移動体から見えていた物体が見えなくなる物体の取り扱いが問題となる。具体的には、自律移動体の移動に伴い視野が揺れるので、視野境界にある物体は見えたり見えなかったりする。自律移動体が進行方向を変えると視野が変わり、それまで視野内にいた人が視野からはずれることがある。また、物体を検知するセンサの計測誤差、センサ出力の演算処理の誤差などにより、瞬間的に物体を検出することができなくなることもある。視野からはずれた人をデータから削除して経路演算を行うと、自律移動体が再度方向を変更したとき、このデータから削除された人が急に近距離で視野内に入ってくるような状況があり、自律移動体のスムーズな移動を妨げることになる。かといって、視野外のデータを保存し続けるには、大きなメモリ容量を必要とする。人の動きにはむらがあるので、視野外の人の動きの推定は信頼性が低く、見えたり見えなかったりする人のデータ上の取り扱いが重要となる。
特開昭53-16230 特許第3866328号 The autonomous mobile body processes an image within a limited visual field to detect an object, particularly a person, existing in the environment, and moves while correcting a route so as to avoid a collision with the person. In this case, there is a problem in handling an object that cannot be seen from an autonomous mobile body. Specifically, the field of view fluctuates with the movement of the autonomous mobile body, so that an object at the field boundary may or may not be visible. When the autonomous moving body changes its direction of travel, the field of view changes, and people who have been in the field of view may deviate from the field of view. In addition, the object may not be detected instantaneously due to a measurement error of the sensor that detects the object, an error in calculation processing of the sensor output, or the like. When a person who is out of the field of view is deleted from the data and route calculation is performed, when the autonomous mobile body changes direction again, the person deleted from this data suddenly enters the field of view at a short distance There will be a hindrance to the smooth movement of the autonomous mobile body. However, a large memory capacity is required to keep the data outside the field of view. Since there is unevenness in human movement, estimation of human movement outside the field of view is unreliable, and it is important to handle data that is visible or invisible.
JP 53-16230 Patent No. 3866328

上記のような環境において、自律移動体には、見えていた状態から見えない状態になった物体に適切に対応し、この物体との衝突を避ける経路設定を行うことが求められている。また、計測誤差により、または物体の移動に伴い、同じ物体が複数個の物体として認識されて移動体の運動を過度に制限する現象を軽減することが求められている。   In the environment as described above, an autonomous mobile body is required to appropriately correspond to an object that has become invisible from a visible state and to set a route that avoids a collision with the object. In addition, there is a demand for reducing a phenomenon in which the same object is recognized as a plurality of objects due to measurement errors or accompanying movement of the object and excessively restricts the movement of the moving object.

上記の課題を解決するため、この発明の経路設定装置は、対象となる視野から物体を検出し、その位置を計測する機能を有するセンサ装置および自律移動体の動きを制御する電子制御ユニットとを備え、この電子制御ユニットは、前記センサ装置から得られる複数の計測サイクルにわたる前記物体の位置の変化に基づいて、該物体の速度および移動方向を求める機能と、前記物体の位置、速度および移動方向に基づいて、該物体との接触を回避して前記自律移動体の経路を設定する機能と、前回の計測サイクルで認識された物体が今回の計測サイクルで認識されないとき、該物体の速度を所定値以下の値に設定してメモリに記憶し、該メモリの内容を考慮して自律移動体の経路を設定する機能と、を実現するようプログラムされている。   In order to solve the above problems, a route setting device according to the present invention includes a sensor device having a function of detecting an object from a target visual field and measuring the position thereof, and an electronic control unit that controls the movement of an autonomous mobile body. The electronic control unit comprises a function for determining the speed and moving direction of the object based on a change in the position of the object over a plurality of measurement cycles obtained from the sensor device, and the position, speed and moving direction of the object. Based on the function of setting the path of the autonomous mobile body by avoiding contact with the object, and when the object recognized in the previous measurement cycle is not recognized in the current measurement cycle, the speed of the object is set to a predetermined value. It is programmed to realize a function of setting a value equal to or less than the value and storing it in the memory, and setting the route of the autonomous mobile body in consideration of the contents of the memory.

この発明によると、見えていた物体が見えなくなったときは、その物体の速度を所定値以下の値に設定してその物体の位置情報をメモリに記憶し、このメモリの内容を考慮して自律移動体の経路を設定するので、再度この物体が視野に入ってくることがあっても、この物体のおよその位置を考慮して経路設定がなされているので、接触を避けることができる。   According to the present invention, when an object that has been visible becomes invisible, the speed of the object is set to a value equal to or less than a predetermined value, the position information of the object is stored in a memory, and the contents of the memory are considered in an autonomous manner. Since the path of the moving body is set, even if this object comes into the field of view again, the path is set in consideration of the approximate position of this object, so that contact can be avoided.

この発明の一形態では、見えていた物体が見えなくなったときは、その物体の速度をゼロに設定して経路設定を行う。すなわち、見えていた人が見えなくなったときは、その人はその位置に静止しているものとして経路設定を行う。人の動きにはむらがあり、急に立ち止まったり、急に方向転換したりということがある。このような人の動きを予測しても信頼性が低い。この発明の一形態では、視野からはずれた人は、元の位置を中心とする所定の範囲内にいるものとして自律移動体の経路設定を行うので、この人に位置に関して大きな誤りが生じることを防止することができ、経路設定の信頼性を向上させることができる。また、物体がそのまま移動する場合より、物体が止まった場合の方が、再度視野内に現れる可能性が高い。   In one aspect of the present invention, when an object that has been visible is no longer visible, the path is set by setting the speed of the object to zero. In other words, when a person who has been seen disappears, the person is set as a route at that position. There is unevenness in the movement of people, and they may stop suddenly or change direction suddenly. Even if such a person's movement is predicted, the reliability is low. In one aspect of the present invention, a person who is out of the field of view sets the route of the autonomous mobile body assuming that the person is within a predetermined range centered on the original position. Therefore, the reliability of route setting can be improved. In addition, when the object stops, it is more likely that it will appear in the field of view again than when the object moves as it is.

さらに、この発明のもう一つの形態では、前回の計測サイクルで認識され、今回の計測サイクルで認識されない物体に関する情報は、前記自律移動体が該物体付近に到達するのに要する予測時間が経過するとき、消去する。こうすることにより、メモリの容量を有効に利用することができる。   Furthermore, in another aspect of the present invention, the information related to the object that is recognized in the previous measurement cycle and not recognized in the current measurement cycle passes the predicted time required for the autonomous mobile body to reach the vicinity of the object. When erased. By doing so, the capacity of the memory can be used effectively.

この発明の一実施形態では、メモリに記憶された、前回の計測サイクルで認識され、今回の計測サイクルで認識されない物体に関する情報は、該物体の近傍に物体が計測されたとき、消去される。   In one embodiment of the present invention, information related to an object that is recognized in the previous measurement cycle and is not recognized in the current measurement cycle stored in the memory is deleted when the object is measured in the vicinity of the object.

このように物体に関する情報を整理することにより、自律移動体の経路設定に課される制約を低減し、移動の自由度を高めることができる。   By organizing the information related to the object in this way, it is possible to reduce restrictions imposed on the route setting of the autonomous mobile body and increase the degree of freedom of movement.

さらにもう一つの実施形態では、メモリに記憶された物体に関する情報は、記憶されている該物体の位置が前記視野から外れた後、再び視野に含まれるようになったとき、その位置に物体が検出されないときは消去する。これにより、同様に自律移動体の移動の自由度を高めることができる。   In yet another embodiment, the information related to the object stored in the memory is such that when the stored position of the object deviates from the field of view and becomes included in the field of view again, the object is in that position. Delete if not detected. Thereby, the freedom degree of a movement of an autonomous mobile body can be raised similarly.

次に図面を参照しながら、この発明の実施の形態を説明する。この実施形態では自律移動体として２足歩行のロボットを用いる。このようなロボットは、電子制御ユニット(ECU)が組み込まれており、このECUにより行動が制御される。ECUは、基本的にはコンピュータであり、プロセッサ（CPU）、CPUの作業領域を提供するランダムアクセス・メモリ（RAM）、コンピュータ・プログラムおよびデータを格納する読み取り専用メモリ(ROM)、ロボットの諸々の箇所に設けられたセンサからの信号を受け取り処理する入力インターフェス、ならびにロボットの諸々の箇所のアクチュエータに駆動信号を送る出力インターフェスを備えている。この発明は、このような既存の電子制御ユニットに新たな機能を追加する。   Next, embodiments of the present invention will be described with reference to the drawings. In this embodiment, a biped robot is used as the autonomous mobile body. Such a robot incorporates an electronic control unit (ECU), and the behavior is controlled by this ECU. An ECU is basically a computer, a processor (CPU), a random access memory (RAM) that provides the work area of the CPU, a read-only memory (ROM) that stores computer programs and data, and various robots. It has an input interface that receives and processes signals from sensors provided at locations, and an output interface that sends drive signals to actuators at various locations on the robot. The present invention adds a new function to such an existing electronic control unit.

図１は、この発明によって、追加された機能を有するECU10の機能ブロック図である。ロボットに組み込まれた内界センサ１および外界センサからの信号は、入力インターフェス11でサンプリングおよびAD（アナログ/ディジタル）変換処理を受け、それぞれ自己位置認識部13および物体認識部15に送られる。   FIG. 1 is a functional block diagram of an ECU 10 having functions added according to the present invention. Signals from the inner world sensor 1 and the outer world sensor incorporated in the robot are subjected to sampling and AD (analog / digital) conversion processing at the input interface 11, and sent to the self-position recognition unit 13 and the object recognition unit 15, respectively.

内界センサ1は、エンコーダ、ジャイロ、加速度センサなどで構成することができる。ロボットの分野では、これらで得られる信号から基準時間内の移動変化量を推定し、それを時間積分することにより初期位置からの総移動量を計算することが行われている。この手法は、デッドレコニング(Dead Reckoning)法と呼ばれている。自己位置認識部13は、内界センサ1からの信号に基づいてデッドレコニング法により絶対座標系における自己位置および自己の移動速度を推定する。自己位置認識部は、外界センサ3からの信号に基づいて外部環境内の特徴点（ランドマーク）を観測し、ロボットの保持している（ROMまたはRAMに記憶されている）環境地図と照合して自己位置を同定することもできる。   The inner world sensor 1 can be composed of an encoder, a gyro, an acceleration sensor, and the like. In the field of robots, a movement change amount within a reference time is estimated from signals obtained by these, and a total movement amount from an initial position is calculated by integrating the time change. This method is called a dead reckoning method. The self-position recognition unit 13 estimates the self-position and the movement speed of the self in the absolute coordinate system by the dead reckoning method based on the signal from the internal sensor 1. The self-position recognition unit observes feature points (landmarks) in the external environment based on signals from the external sensor 3, and compares them with the environmental map held by the robot (stored in ROM or RAM). It is also possible to identify the self position.

外界センサ3は、CCDカメラ、超音波センサ、レーザレンジファインダなどで構成することができる。この実施例では、外界センサ3は、ステレオカメラであり、物体認識部15は、ステレオカメラからの画像データを処理して、画像から物体を検出し切り出す。検出した物体は、矩形、楕円などの図形で近似してデータ処理を行う。この実施例では、ステレオカメラの視界は、幅90度、奥行き9メートルの扇形とした。ステレオカメラから得られる画像データから視界内のそれぞれの画素までの距離を計算、この距離に基づいて背景画像から物体を切り出す手法はこの分野でよく知られている。また、時間差を有する２以上の画像からオプティカルフローを求め、オプティカルフローに基づいて移動する物体を背景画像から切り出す技術もこの分野でよく知られている。物体認識部15は、これらの技術を用いてカメラの視界から物体を切り出す。   The external sensor 3 can be constituted by a CCD camera, an ultrasonic sensor, a laser range finder, or the like. In this embodiment, the external sensor 3 is a stereo camera, and the object recognition unit 15 processes image data from the stereo camera to detect and cut out an object from the image. The detected object is approximated by a figure such as a rectangle or an ellipse, and data processing is performed. In this embodiment, the field of view of the stereo camera is a fan shape having a width of 90 degrees and a depth of 9 meters. A method for calculating the distance from the image data obtained from the stereo camera to each pixel in the field of view and extracting an object from the background image based on this distance is well known in this field. A technique for obtaining an optical flow from two or more images having a time difference and cutting out a moving object from the background image based on the optical flow is also well known in this field. The object recognition unit 15 cuts out an object from the field of view of the camera using these techniques.

移動推定部17は、物体認識部15から得られる検出された物体の位置情報および自己位置認識部13から得られる自己の位置情報を用いて、絶対座標系における自己の位置および検出された物体の位置を求める。このとき、前回の計測時(t-1)に得られた検出物体の位置と今回の計測時(t0) で得られる位置とを比較し、その差が所定の範囲内であるとき、計測時(t-1)に検出した物体と今回の計測時(t0)検出した物体は同一であると判定する。 The movement estimation unit 17 uses the position information of the detected object obtained from the object recognition unit 15 and the position information of the self obtained from the self-position recognition unit 13 to determine the position of the self and the detected object in the absolute coordinate system. Find the position. At this time, the position of the detected object obtained during the previous measurement (t -1 ) is compared with the position obtained during the current measurement (t 0 ), and the measurement is performed when the difference is within the predetermined range. It is determined that the object detected at the time (t −1 ) and the object detected at the time of the current measurement (t 0 ) are the same.

オフィス内に二足歩行ロボットを配置する場合、環境の中で移動する物体は人間または他のロボットである。オフィス内で人がとりうる速度vは一般に、静止状態の0km/hから8km/hである。計測間隔Δt= t0 - t-1の時間に人が移動する範囲は、時間t-1におけるその人の位置から半径vΔtの範囲である。一実施例では、人の移動速度をvkm/h（たとえば、オフィスにおける人の平均的な移動速度である4km/h）とし、時間t0において検出される人の位置が時間t-1におけるその人の位置から半径vΔtの範囲内であるとき、同一人物を検出していると判定する。 When a biped robot is placed in an office, the moving object in the environment is a human being or another robot. The speed v that a person can take in an office is generally from 0 km / h to 8 km / h in a stationary state. The range in which the person moves at the time of the measurement interval Δt = t 0 −t −1 is the range of the radius vΔt from the position of the person at the time t −1 . In one embodiment, the movement speed of a person is vkm / h (eg, the average movement speed of a person in the office is 4 km / h), and the position of the person detected at time t 0 is that at time t -1 . When it is within the radius vΔt from the position of the person, it is determined that the same person is detected.

この判定の演算においては、統計的に位置の計測誤差を求め、この計測誤差を加えて上記の範囲を定めることができる。一実施例では、計算誤差を16cmとする。   In the calculation of this determination, a position measurement error is statistically obtained, and the above range can be determined by adding this measurement error. In one embodiment, the calculation error is 16 cm.

移動推定部17は、ロボットAの視野内の人に関し、前回の計測時(t-1)におけるこの位置と、今回の計測時(t0)における位置とから、この人の移動速度および移動方向を求める。静止している人については、その移動速度をゼロにセットする。 The movement estimation unit 17 relates to the person in the field of view of the robot A from the position at the time of the previous measurement (t -1 ) and the position at the time of the current measurement (t 0 ). Ask for. For stationary people, set their movement speed to zero.

環境記述部19は、移動推定部17で認識された検出物体に関する情報、すなわち、位置、形状、速度および移動方向、ならびに自己位置認識部13で得られた自己の位置情報、プログラムにより指示された移動速度および予め定められている自己の形状に基づいて、干渉判定領域および予測掃引領域を生成する。   The environment description unit 19 is instructed by the program with respect to the detected object recognized by the movement estimation unit 17, that is, the position, shape, speed and moving direction, and the own position information obtained by the self-position recognition unit 13. An interference determination area and a predicted sweep area are generated based on the moving speed and a predetermined self shape.

図２を参照すると、ロボットAの現在位置を座標の原点とし、その形状を半径ｒの円で近似し、検出物体Bを矩形で近似して検出された位置を座標上に示す。人Bの干渉判定領域Cは、ロボットAを現す半径ｒの円と検出物体Bを現す矩形とのミンコフスキー和によって求められる。ミンコフスキー和は、既知の論理であり、次の式で現される。

Figure 0004774401
Referring to FIG. 2, the current position of the robot A is set as the origin of coordinates, the shape is approximated by a circle with a radius r, and the detected object B is approximated by a rectangle, and the detected position is indicated on the coordinates. The interference determination area C of the person B is obtained by a Minkowski sum of a circle having a radius r representing the robot A and a rectangle representing the detection object B. The Minkowski sum is a known logic and is expressed by the following equation.
Figure 0004774401

予測掃引領域Mは、干渉判定領域Cを検出物体であるロボットまたは人Bの移動方向に拡大（掃引）した領域である。図３を参照すると、予測掃引領域Mは、人Bが検出された移動方向に所定の時間内に移動する領域であり、干渉判定領域Cを人Bの移動方向に掃引して得られる。ここでの所定の時間は、ロボットAが人Bの位置に到達するまでの時間（予測到達時間）であり、予測掃引領域Mは、この時間の間に人Bが移動すると予測される領域である。予測到達時間Tは、次の式で求められる。
T＝（ロボットAから人Bまでの距離）/（AとBの相対速度） (2) The predicted sweep area M is an area in which the interference determination area C is expanded (swept) in the moving direction of the robot or person B that is the detection object. Referring to FIG. 3, the predicted sweep area M is an area that moves within a predetermined time in the movement direction in which the person B is detected, and is obtained by sweeping the interference determination area C in the movement direction of the person B. The predetermined time here is the time until the robot A reaches the position of the person B (predicted arrival time), and the predicted sweep area M is an area where the person B is predicted to move during this time. is there. The predicted arrival time T is obtained by the following formula.
T = (distance from robot A to person B) / (relative speed between A and B) (2)

また、予測掃引領域は、干渉判定領域を人Bの移動方向に（人Bの速度 × T）だけ拡大して求められる。   The predicted sweep area is obtained by expanding the interference determination area in the movement direction of the person B (the speed of the person B × T).

図４は、人Bに関する検出データが敏感すぎるときの予測掃引領域の振動を現している。   FIG. 4 shows the vibration of the predicted sweep region when the detection data for person B is too sensitive.

移動計画部21は、ロボットAが目的点まで移動する経路を生成する。図５を参照すると、ロボットAが既に設定済みの経路に沿って移動しているとき、計測時(t-1)に生成された干渉判定領域C1からC4と設定済みの経路とが干渉するかどうかを判定する。図５の例では、丸印で示すように干渉判定領域C3と経路とが干渉している。このような場合、移動計画部21は、図６に示すように人Bの予測掃引領域M1からM4と干渉しない経路を生成する。計測時(t-1)において経路が未設定のときは、初期設定されている目的地に向かう経路を同様の手法により生成する。 The movement planning unit 21 generates a route along which the robot A moves to the target point. Referring to FIG. 5, when the robot A is moving along a route that has already been set, does the interference determination area C1 to C4 generated at the time of measurement (t -1 ) interfere with the route that has been set? Determine if. In the example of FIG. 5, the interference determination area C3 and the path interfere with each other as indicated by a circle. In such a case, the movement planning unit 21 generates a route that does not interfere with the predicted sweep region M1 to M4 of the person B as shown in FIG. When the route is not set at the time of measurement (t −1 ), a route toward the destination that is initially set is generated by the same method.

図７は、図１の物体認識部15および移動推定部17の詳細な機能ブロック図である。物体切り出し部31は、外界センサ3から得られる画像データから人またはロボットである物体を切り出し、位置計測部33は、切り出された物体の位置を計測する。計測された位置データは、物体データメモリ30に記憶される。同一判定部34は、今回の計測(t0)で検出された物体が前回(t-1)検出された物体の位置から半径vΔtの範囲内（vは物体の移動速度、Δtは計測間隔： t0 - t-1）にあるときは、今回検出した物体は前回検出した物体と同一であると判定し、その物体に関連づけて位置データを記憶する。 FIG. 7 is a detailed functional block diagram of the object recognition unit 15 and the movement estimation unit 17 of FIG. The object cutout unit 31 cuts out an object that is a person or a robot from the image data obtained from the external sensor 3, and the position measurement unit 33 measures the position of the cut out object. The measured position data is stored in the object data memory 30. The same determination unit 34 determines that the object detected in the current measurement (t 0 ) is within the radius vΔt from the position of the object detected last time (t −1 ) (v is the moving speed of the object, Δt is the measurement interval: t 0 -t -1 ), it is determined that the object detected this time is the same as the object detected last time, and the position data is stored in association with the object.

物体消滅判断部36は、同一判定部34において、前回認識された物体が、今回(t0)認識されないとき、物体がロボットから見えなくなったことを示す信号を位置データ保留部37に送る。物体がロボットから見えなくなるのは、物体がロボットの視野境界にあってロボットから見えたり見えなかったりしているとき、またはセンサの計測誤差、センサ出力の演算誤差など物体を検出できないとき、経路の曲線に伴ってロボットの視野が変化するとき、などである。位置データ保留部37はこの物体の位置を示すデータを物体データメモリ30に記憶したままの状態にする、すなわち位置データを保留させる。速度設定部38は、この物体の速度を人の平均速度より十分小さい値、たとえばゼロに設定して物体データメモリ30に記録させる。こうすることによって、物体は、ロボットAの視界からはずれるなどの原因で検出されなかったが、前回の位置に静止しているものとして扱われる。 The object disappearance determination unit 36 sends a signal indicating that the object is no longer visible to the robot to the position data holding unit 37 when the previously recognized object is not recognized this time (t 0 ) in the same determination unit 34. An object disappears from the robot when the object is in the robot's field of view and cannot be seen or seen by the robot, or when the object cannot be detected such as sensor measurement error or sensor output calculation error. Such as when the robot's field of view changes with the curve. The position data holding unit 37 keeps the data indicating the position of the object stored in the object data memory 30, that is, holds the position data. The speed setting unit 38 sets the speed of the object to a value sufficiently smaller than the average speed of the person, for example, zero, and records it in the object data memory 30. By doing so, the object is not detected due to reasons such as being out of the field of view of the robot A, but is treated as being stationary at the previous position.

物体消滅判断部36は、２回または数回の計測で物体が認識されないとき、物体がロボットの視野からはずれたと判断するようにしてもよい。物体消滅判断部36は、前回の計測以前に複数回にわたって同一と検出された物体に対してのみ、判断を行ってもよい。   The object disappearance determination unit 36 may determine that the object has deviated from the field of view of the robot when the object is not recognized by two or several measurements. The object disappearance determination unit 36 may make a determination only for an object that is detected to be the same multiple times before the previous measurement.

平滑化部39は、同一物体の所定数の計測サイクルにわたる位置データからその物体の移動速度および移動方向を算出する。速度・方向算出部35が計測（サンプリング）ごとの物体の速度および方向を算出する。平滑化部39は、所定数の計測サイクルにわたって計測ごとに速方向算出部35で算出された複数の速度値の移動平均として物体の平滑化された速度を算出する。   The smoothing unit 39 calculates the moving speed and moving direction of the same object from position data over a predetermined number of measurement cycles of the same object. The speed / direction calculation unit 35 calculates the speed and direction of the object for each measurement (sampling). The smoothing unit 39 calculates the smoothed speed of the object as a moving average of a plurality of speed values calculated by the speed direction calculating unit 35 for each measurement over a predetermined number of measurement cycles.

移動方向は、速度と同様に所定数の計測サイクルにわたる同一物体の位置の変化から算出される。移動方向は、ロボットAのメモリ上に存在する環境マップ上の２次元座標上の方向として算出し、検出された物体に関連づけて物体データメモリ30に記憶される。   The moving direction is calculated from the change in the position of the same object over a predetermined number of measurement cycles as well as the speed. The moving direction is calculated as a direction on a two-dimensional coordinate on the environment map existing on the memory of the robot A, and is stored in the object data memory 30 in association with the detected object.

こうして平滑化された速度および方向のデータが図１を参照して説明した環境記述部19に送られ、その物体の干渉判定領域および予測掃引領域の算出に用いられる。   The velocity and direction data thus smoothed is sent to the environment description unit 19 described with reference to FIG. 1, and is used to calculate the interference determination region and the predicted sweep region of the object.

物体消滅判断部36は、次の３つの場合、物体がいなくなったと判断し、これに応じて位置データ消去部41が、この物体に関するデータを物体データメモリ30から消去する。   In the following three cases, the object disappearance determination unit 36 determines that there is no object, and the position data deletion unit 41 deletes data relating to this object from the object data memory 30 accordingly.

第１に、前回の計測サイクルで認識され、今回の計測サイクルで認識されない物体について、ロボットAがこの物体付近に到達するのに要する予測時間が経過しているとき、この物体が検出されないときは、この物体は他の方向に移動したものとしてそのデータを物体データメモリ30から消去する。   First, for an object that is recognized in the previous measurement cycle but not recognized in the current measurement cycle, when the estimated time required for the robot A to reach the vicinity of this object has passed, when this object is not detected The object is erased from the object data memory 30 assuming that the object has moved in the other direction.

第２に、その物体がロボットの視野の境界付近に位置するとき、ロボットの揺れなどにより、物体が見えたり見えなかったりする。このとき、同一判定部における同一判定の信頼性は低く、同一の物体が異なる物体として認識され、比較的近接した複数の物体が物体データメモリ30に記録され、ロボットの移動経路を不当に制限することがある。この現象を解消するため、視野境界付近では、新たに検出された物体から所定の半径、たとえば一般的な人間の大きさである70ｃｍ、以内に既に記録されている物体は、今回検出された物体と同一であると推定して、過去のデータを物体データメモリ30から消去する。   Second, when the object is located near the boundary of the visual field of the robot, the object may or may not be visible due to the shaking of the robot. At this time, the reliability of the same determination in the same determination unit is low, the same object is recognized as a different object, a plurality of relatively close objects are recorded in the object data memory 30, and the movement path of the robot is unreasonably limited. Sometimes. In order to eliminate this phenomenon, in the vicinity of the visual field boundary, an object already recorded within a predetermined radius from a newly detected object, for example, a general human size of 70 cm, is an object detected this time. And the past data is erased from the object data memory 30.

第３に、物体が存在するとして物体データメモリ30に記録されている位置が、ロボットの視野からはずれた後、再びロボットの視野内に入ったときであって、この物体がその位置または、その予測掃引領域M内に検出されないときは、この物体は他の方向に移動したものとして、物体データメモリ30から消去する。   Third, when the position recorded in the object data memory 30 as an object is out of the field of view of the robot and then reenters the field of view of the robot, When the object is not detected in the predicted sweep area M, the object is erased from the object data memory 30 as having moved in the other direction.

図８は、ロボットAの視野を点線の扇形で示す。この例ではロボットAのステレオカメラの視野は、広がり（幅）が９０度で奥行きが9ｍである。ロボットAの視野内にいる物体（人B1）は、予測掃引領域で示されている。移動計画部21は、ロボットAの進行方向にいる人B1を避ける経路を設定し、駆動制御部22が設定された経路にそってロボットAを移動させる。   FIG. 8 shows the field of view of the robot A as a dotted fan. In this example, the field of view of the stereo camera of the robot A has a spread (width) of 90 degrees and a depth of 9 m. An object (person B1) within the field of view of robot A is shown in the predicted sweep area. The movement planning unit 21 sets a route that avoids the person B1 in the traveling direction of the robot A, and moves the robot A along the set route by the drive control unit 22.

図９は、このような制御にしたがって、ロボットAが人B1を避けるため向きを変えた状態を示す。このとき、人B1はロボットAの視野からはずれる。物体消滅判断部36は、人B1が同一と判定される物体が認識されないため、人B1がロボットAの視野からはずれたことを検出する。位置データ保留部37は、これに応じて人B1の位置データを物体データメモリ30に保持させる。速度設定部38は、これに応じて人B1の速度をゼロに設定して物体データメモリ30に記録する。   FIG. 9 shows a state in which the robot A changes its direction to avoid the person B1 according to such control. At this time, the person B1 deviates from the field of view of the robot A. The object disappearance determination unit 36 detects that the person B1 has deviated from the field of view of the robot A because the object determined to be the same as the person B1 is not recognized. In response to this, the position data holding unit 37 holds the position data of the person B1 in the object data memory 30. Accordingly, the speed setting unit 38 sets the speed of the person B1 to zero and records it in the object data memory 30.

図１０は、ロボットAが人B1を回避した後、目標点に向かって再度向きを変えた様子を示す。この時、進行方向の視野内に人B2が認識される。人B1は、ロボットAの視野外にいるが、物体データメモリ30上では、速度ゼロ、すなわち視野内で最後に検出された位置に静止しているものとして記憶されている。   FIG. 10 shows how the robot A changes its direction again toward the target point after avoiding the person B1. At this time, the person B2 is recognized within the visual field in the traveling direction. The person B1 is out of the field of view of the robot A, but is stored on the object data memory 30 as being at a speed of zero, that is, being stationary at the last detected position in the field of view.

図１１を参照すると、移動計画部21は、物体データメモリ30を参照して人B1の存在を計算に入れ、かつロボットAに向かって進行してくる人B2を計算に入れて、ロボットAの移動経路を設定する。こうして、ロボットAを、視野外にいる人B1に衝突することなく、また人B2の進行を妨げることなく、目標点に向かって移動させることができる。   Referring to FIG. 11, the movement planning unit 21 refers to the object data memory 30 to calculate the presence of the person B1 and to calculate the person B2 traveling toward the robot A. Set the travel route. In this way, the robot A can be moved toward the target point without colliding with the person B1 who is out of the field of view and without disturbing the progress of the person B2.

以上にこの発明を具体的な実施例について説明したが、この発明はこのような実施例に限定されるものではない。   Although the present invention has been described with respect to specific embodiments, the present invention is not limited to such embodiments.

この発明の物体認識装置の全体的な構成を示す機能ブロック図。The functional block diagram which shows the whole structure of the object recognition apparatus of this invention. ミンコフスキー和の一例を示す図。The figure which shows an example of Minkowski sum. 干渉判定領域Cを掃引して予測掃引領域Mを生成する態様を示す図。The figure which shows the aspect which sweeps the interference determination area | region C and produces | generates the prediction sweep area | region M. FIG. 予測掃引領域Mを生成する感度が高く、領域Mが振動する様子を示す図。The figure which shows a mode that the sensitivity which produces | generates the prediction sweep area | region M is high, and the area | region M vibrates. 干渉判定領域C1―C4とロボットAの経路との関係の一例を示す図。The figure which shows an example of the relationship between the interference determination area | region C1-C4 and the path | route of the robot A. FIG. 予測掃引領域M1―M4とロボットAの経路との関係の一例を示す図。The figure which shows an example of the relationship between the prediction sweep area | region M1-M4 and the path | route of the robot A. FIG. 図１の物体認識部15および移動推定部17の詳細な機能ブロック図である。FIG. 2 is a detailed functional block diagram of an object recognition unit 15 and a movement estimation unit 17 in FIG. 1. ロボットAの視野内に人B1がいる状態を示す図。The figure which shows the state where the person B1 exists in the visual field of the robot A. FIG. ロボットAが人B1を回避する行動をとり、人B1がロボットAの視野からはずれた状態を示す図。The figure which shows the state from which the robot A took the action which avoids the person B1, and the person B1 deviated from the visual field of the robot A. ロボットAが再び目標方向に向きを変えた状態を示す図。The figure which shows the state which the robot A changed direction to the target direction again. ロボットAが視野外の人B1および視野内の人B2を避けて移動する状態を示す図。The figure which shows the state which the robot A moves avoiding the person B1 outside a visual field, and the person B2 within a visual field.

符号の説明Explanation of symbols

１ 内界センサ
３ 外界センサ
10 電子制御ユニット（ECU）
13 自己位置認識部
15 物体認識部
17 移動推定部
19 環境記述部
21 移動計画部
22 駆動制御部 1 Inside sensor 3 Outside sensor
10 Electronic control unit (ECU)
13 Self-position recognition unit
15 Object recognition unit
17 Movement estimation part
19 Environment description section
21 Movement Planning Department
22 Drive controller

Claims (4)

自律移動体に設けられた経路設定装置であって、
対象となる視野から物体を検出し、その位置を計測する機能を有するセンサ装置および前記自律移動体の動きを制御する電子制御ユニットを備え、該電子制御ユニットは、
前記センサ装置から得られる複数の計測サイクルにわたる前記物体の位置の変化に基づいて、該物体の速度および移動方向を求める機能と、
前記物体の位置、速度および移動方向に基づいて、該物体との接触を回避して前記自律移動体の経路を設定する機能と、
前回の計測サイクルで認識された物体が今回の計測サイクルで認識されないとき、該物体の速度を、該物体が視野内で最後に検出された位置に静止していることを表す所定値に設定してメモリに記憶する機能と、
前記メモリに記憶された前記物体を考慮して、前記自律移動体の経路を設定する機能と、を実現するようプログラムされている、経路設定装置。 A route setting device provided in an autonomous mobile body,
A sensor device having a function of detecting an object from a target visual field and measuring the position thereof, and an electronic control unit for controlling the movement of the autonomous mobile body, the electronic control unit,
A function for determining the speed and moving direction of the object based on a change in the position of the object over a plurality of measurement cycles obtained from the sensor device;
A function of setting a route of the autonomous mobile body by avoiding contact with the object based on the position, speed and moving direction of the object;
When an object recognized in the previous measurement cycle is not recognized in the current measurement cycle, the speed of the object is set to a predetermined value indicating that the object is stationary at the last detected position in the field of view. Function to store in memory,
A route setting device programmed to realize a function of setting a route of the autonomous mobile object in consideration of the object stored in the memory. 前記前回の計測サイクルで認識され、今回の計測サイクルで認識されない物体に関する記憶は、前記自律移動体が該物体付近に到達するのに要する予測時間が経過するとき、消去するようにした、請求項１に記載の経路設定装置。   The memory related to the object recognized in the previous measurement cycle and not recognized in the current measurement cycle is erased when an estimated time required for the autonomous mobile body to reach the vicinity of the object elapses. 1. The route setting device according to 1. 前記メモリに記憶された、前回の計測サイクルで認識され、今回の計測サイクルで認識されない物体に関する情報は、該物体の近傍に物体が計測されたときは、消去するよう構成した、請求項１に記載の経路設定装置。   The information related to the object that is stored in the memory and is recognized in the previous measurement cycle and not recognized in the current measurement cycle is configured to be deleted when the object is measured in the vicinity of the object. The route setting device described. 前記メモリに記憶された物体に関する情報は、記憶されている該物体の位置が前記視野から外れた後、再び視野に含まれるとき、該位置に物体が検出されないとき、消去するよう構成した、請求項１に記載の経路設定装置。   The information related to the object stored in the memory is configured to be erased when the stored object position is out of the field of view and included in the field of view again when no object is detected at the position. Item 4. The route setting device according to Item 1.
JP2007309285A 2007-04-06 2007-11-29 Autonomous mobile route setting device Expired - Fee Related JP4774401B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007309285A JP4774401B2 (en) 2007-04-06 2007-11-29 Autonomous mobile route setting device
EP08006602A EP1978432B1 (en) 2007-04-06 2008-03-31 Routing apparatus for autonomous mobile unit
US12/078,686 US8019475B2 (en) 2007-04-06 2008-04-03 Routing apparatus for autonomous mobile unit

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007100190 2007-04-06
JP2007100190 2007-04-06
JP2007309285A JP4774401B2 (en) 2007-04-06 2007-11-29 Autonomous mobile route setting device

Publications (2)

Publication Number Publication Date
JP2008276731A JP2008276731A (en) 2008-11-13
JP4774401B2 true JP4774401B2 (en) 2011-09-14

Family

ID=40054572

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007309285A Expired - Fee Related JP4774401B2 (en) 2007-04-06 2007-11-29 Autonomous mobile route setting device

Country Status (1)

Country Link
JP (1) JP4774401B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5304534B2 (en) * 2009-08-21 2013-10-02 トヨタ自動車株式会社 Self-position estimation apparatus, self-position estimation method and program
JP6897376B2 (en) 2017-07-11 2021-06-30 トヨタ自動車株式会社 Movement planning equipment, mobile robots, and movement planning programs
JP6844508B2 (en) * 2017-11-15 2021-03-17 株式会社豊田自動織機 Safety device
JP7063066B2 (en) 2018-03-30 2022-05-09 トヨタ自動車株式会社 Route planning device, route planning method and program
US11338438B2 (en) * 2019-01-25 2022-05-24 Bear Robotics, Inc. Method, system and non-transitory computer-readable recording medium for determining a movement path of a robot
CN110097576B (en) 2019-04-29 2022-11-18 腾讯科技（深圳）有限公司 Motion information determination method of image feature point, task execution method and equipment

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3135722B2 (en) * 1992-12-10 2001-02-19 マツダ株式会社 Vehicle safety devices
JP3135723B2 (en) * 1992-12-10 2001-02-19 マツダ株式会社 Vehicle safety devices
JPH10143245A (en) * 1996-11-07 1998-05-29 Komatsu Ltd Obstacle collision preventing device for mobile object
JP3781370B2 (en) * 2002-11-19 2006-05-31 本田技研工業株式会社 Mobile device

Also Published As

Publication number Publication date
JP2008276731A (en) 2008-11-13

Similar Documents

Publication Publication Date Title
JP5080333B2 (en) Object recognition device for autonomous mobile objects
EP1978432B1 (en) Routing apparatus for autonomous mobile unit
CN108007452B (en) Method and device for updating environment map according to obstacle and robot
JP5048077B2 (en) Apparatus and method for creating an environment map for a moving body capable of quickly adapting to surrounding environmental changes and creating an environment map
KR100877072B1 (en) Method and apparatus of building map for a mobile robot and cleaning simultaneously
KR101782057B1 (en) Apparatus for building map and method thereof
JP4774401B2 (en) Autonomous mobile route setting device
KR101439921B1 (en) Slam system for mobile robot based on vision sensor data and motion sensor data fusion
US20120106828A1 (en) Mobile robot and simultaneous localization and map building method thereof
JP6828579B2 (en) Environmental maintenance robot and its control program
JP5276931B2 (en) Method for recovering from moving object and position estimation error state of moving object
JP5085251B2 (en) Autonomous mobile device
RU2740229C1 (en) Method of localizing and constructing navigation maps of mobile service robot
JP2011054082A (en) Autonomous moving apparatus
CN114153200A (en) Trajectory prediction and self-moving equipment control method
JP2019109773A (en) Moving object
CN115565058A (en) Robot, obstacle avoidance method, device and storage medium
JP5314788B2 (en) Autonomous mobile device
KR101650128B1 (en) Apparatus for building map of moving robot and method thereof
JP7121489B2 (en) moving body
WO2016009585A1 (en) Autonomous mobile object and method of controlling same
KR100703882B1 (en) Mobile robot capable of pose sensing with a single camera and method thereof
CN113465592A (en) Navigation method and self-walking device
KR102421831B1 (en) Vehicle and controlling method for the same
JP2021060943A (en) Occupation map creation method and occupation map creation device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110614

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110627

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4774401

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees