JP6728959B2 - Automatic operation control system for mobile - Google Patents
Automatic operation control system for mobile Download PDFInfo
- Publication number
- JP6728959B2 JP6728959B2 JP2016098097A JP2016098097A JP6728959B2 JP 6728959 B2 JP6728959 B2 JP 6728959B2 JP 2016098097 A JP2016098097 A JP 2016098097A JP 2016098097 A JP2016098097 A JP 2016098097A JP 6728959 B2 JP6728959 B2 JP 6728959B2
- Authority
- JP
- Japan
- Prior art keywords
- target
- information
- state quantity
- self
- reference target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 claims description 27
- 230000007613 environmental effect Effects 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000003068 static effect Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 239000010813 municipal solid waste Substances 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000000994 depressogenic effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
本発明は移動体の自動運転制御システムに関する。 The present invention relates to an automatic driving control system for a mobile body.
部屋内を移動する移動ロボットであって、家具のような部屋内の障害物の位置及び大きさの情報を有する地図情報を有し、家具を避けつつ現在地から目標に到る移動経路を地図情報を用いて決定し、移動経路に沿って移動する、移動ロボットが公知である(特許文献1参照)。 A mobile robot that moves in a room and has map information that has information on the position and size of obstacles in the room, such as furniture, and maps the travel route from the current location to the target while avoiding furniture. There is known a mobile robot which is determined by using a robot and moves along a moving route (see Patent Document 1).
部屋内の障害物が例えばベッドのようにほとんど位置が変わらない静的障害物である場合には、地図情報が障害物の位置及び大きさの情報を有していれば、移動ロボットは障害物を避けて移動できるかもしれない。しかしながら、障害物が例えばイスやゴミ箱のように位置が比較的頻繁に変わる静的障害物の場合には、或る時刻において或る位置に静的障害物が存在していたとしても、別の時刻においては静的障害物は当該或る位置に存在している可能性は低く、当該或る位置とは別の位置に存在している可能性が高い。障害物が例えば人間やペットのような動的障害物の場合は、その位置が変わっている可能性は更に高い。 If the obstacle in the room is a static obstacle whose position hardly changes, such as a bed, if the map information has information on the position and size of the obstacle, the mobile robot will detect the obstacle. You may be able to move around. However, when the obstacle is a static obstacle whose position changes relatively frequently such as a chair or a trash can, even if the static obstacle exists at a certain position at a certain time, another At time, the static obstacle is unlikely to be present at the certain position, and is likely to be present at a position different from the certain position. If the obstacle is a dynamic obstacle such as a human being or a pet, it is more likely that its position has changed.
特許文献1の地図は、地図情報が作成された時刻における障害物の位置及び大きさの情報を有しているに過ぎない。したがって、特許文献1では、時間によって変化する障害物の位置、すなわち部屋内の状況を正確に把握することができないおそれがある。言い換えると、地図情報の有する情報が障害物の位置及び大きさの情報だけであると、移動ロボットが移動する空間の状況を正確に把握するのは困難である。
The map of
ところで、移動ロボットや車両のような移動体の自動運転において、移動体の自己位置を用いる場合には、移動体の自己位置をできるだけ正確に推定するのが好ましい。移動体の自己位置の推定は、おおまかに言うと、移動体の外部の物標を検出し、検出された物標とデータベースの物標とを比較することにより、行うことができる。ところが、移動体の外部の状況を正確に把握するのが困難であると、移動体の自己位置を正確に推定するのが困難である。 By the way, in the automatic driving of a mobile body such as a mobile robot or a vehicle, when the self-position of the mobile body is used, it is preferable to estimate the self-position of the mobile body as accurately as possible. Roughly speaking, the self-position of the moving body can be estimated by detecting a target outside the moving body and comparing the detected target with the target in the database. However, if it is difficult to accurately grasp the situation outside the moving body, it is difficult to accurately estimate the self-position of the moving body.
本発明の目的は、移動体の自己位置をより正確に推定することができる、移動体の自動運転制御システムを提供することにある。 An object of the present invention is to provide an automatic driving control system for a mobile body, which can estimate the self-position of the mobile body more accurately.
本発明によれば、環境地図情報を記憶している環境地図記憶装置と、基準物標情報を記憶している基準物標情報記憶装置と、移動体の外部の情報を検出するための外部センサと、電子制御ユニットと、を備えた、移動体の自動運転制御システムであって、前記環境地図情報は、空間内の複数の位置をそれぞれ表す位置情報と、前記複数の位置のそれぞれの状態量変化性であって、それぞれ対応する前記位置情報と関連付けられた前記状態量変化性と、を有しており、前記状態量変化性は、対応する位置の状態量の時間に対する変化のしやすさを表しており、前記基準物標情報は、空間内の複数の基準物標のそれぞれの特徴情報と、前記複数の基準物標のそれぞれの位置を表す位置情報と、を有しており、前記電子制御ユニットは、前記移動体の推定自己位置を求めるように構成されている自己位置推定部を備え、前記自己位置推定部は、前記外部センサを用いて、前記移動体の外部の複数の物標をそれぞれ検出すると共に、検出された前記物標である検出物標の位置を、前記移動体の前記推定自己位置を用いてそれぞれ算出するように構成されている検出物標特定部と、前記基準物標情報を用いて、前記検出物標にそれぞれ対応する前記基準物標を特定すると共に、特定された前記基準物標の位置をそれぞれ特定するように構成されている基準物標特定部と、前記検出物標の位置と対応する前記基準物標の位置との間の物標位置偏差をそれぞれ算出するように構成されている物標位置偏差算出部と、算出された前記物標位置偏差を対応する重み付け係数によりそれぞれ重み付けすると共に、重み付けされた前記物標位置偏差に基づいて前記移動体の自己位置偏差を算出するように構成されている自己位置偏差算出部と、前記自己位置偏差が最小になるように前記推定自己位置を更新するように構成されている推定自己位置更新部と、を備え、前記重み付け係数は、前記基準物標の位置における前記状態量変化性に基づいてそれぞれ設定されている、移動体の自動運転制御システムが提供される。 According to the present invention, an environment map storage device that stores environment map information, a reference target information storage device that stores reference target information, and an external sensor for detecting information outside the moving body. And an electronic control unit, wherein the environment map information is position information representing a plurality of positions in space and state quantities of the plurality of positions. And the state quantity variability associated with the corresponding position information, and the state quantity variability is the easiness of change of the state quantity of the corresponding position with respect to time. The reference target information has respective characteristic information of a plurality of reference targets in a space, and position information indicating respective positions of the plurality of reference targets, and The electronic control unit includes a self-position estimating unit configured to obtain an estimated self-position of the moving body, and the self-position estimating unit uses the external sensor to detect a plurality of objects outside the moving body. While detecting each target, the position of the detected target which is the detected target, the detected target specifying unit configured to calculate respectively using the estimated self-position of the moving body, the Using the reference target information, while specifying the reference target corresponding to each of the detected target, the reference target specifying unit configured to specify the position of the specified reference target, respectively. A target position deviation calculator configured to respectively calculate a target position deviation between the detected target position and the corresponding reference target position, and the calculated target position deviation And a self-position deviation calculator configured to calculate a self-position deviation of the moving object based on the weighted target position deviation, and the self-position deviation is An estimated self-position updating unit configured to update the estimated self-position so that the weighting coefficient is set to a minimum based on the state quantity variability at the position of the reference target. An automatic driving control system for a mobile body is provided.
移動体の自己位置をより正確に推定することができる。 The self-position of the moving body can be estimated more accurately.
図1は本発明による実施例の移動体の自動運転制御システムのブロック図を示している。移動体は車両や移動ロボットなどを含む。以下では、移動体が車両である場合を例にとって説明する。図1を参照すると、車両の自動運転制御システムは外部センサ1、GPS受信部2、内部センサ3、地図データベース4、記憶装置5、環境地図記憶装置6a、基準物標情報記憶装置6b、ナビゲーションシステム7、HMI(Human Machine Interface)8、種々のアクチュエータ9、電子制御ユニット(ECU,Electronic Computer Unit)10を備える。
FIG. 1 is a block diagram of an automatic driving control system for a moving body according to an embodiment of the present invention. The moving body includes a vehicle and a mobile robot. Hereinafter, a case where the moving body is a vehicle will be described as an example. Referring to FIG. 1, an automatic vehicle driving control system includes an
外部センサ1は自車両の外部又は周囲の情報を検出するための検出機器である。外部センサ1はライダー(LIDAR:Laser Imaging Detection and Ranging)、レーダー(Radar)、及びカメラのうち少なくとも1つを備える。本発明による実施例では図2に示されるように、外部センサ1は、少なくとも1つのライダーSO1、少なくとも1つのレーダーSO2、及び少なくとも1つのカメラSO3を備える。
The
ライダーSO1はレーザー光を利用して自車両Vの外部の物体を検出する装置である。本発明による実施例では、物体は、移動不能な物体である静的物体(例えば、建物、道路など)、移動可能な物体である動的物体(例えば、他車両、歩行者など)、基本的には移動不能であるが容易に移動可能な物体である準静的物体(例えば、立て看板、ゴミ箱、樹木の枝など)を含む。図2に示される例では、4つのライダーSO1が車両Vの四隅においてバンパーにそれぞれ取り付けられる。ライダーSO1は、自車両Vの全周囲に向けてレーザー光を順次照射し、その反射光から物体に関する情報を計測する。この物体情報はライダーSO1から物体までの距離及び向き、すなわちライダーSO1に対する物体の相対位置を含む。ライダーSO1により検出された物体情報は電子制御ユニット10へ送信される。一方、レーダーSO2は、電波を利用して自車両Vの外部の物体を検出する装置である。図2に示される例では、4つのレーダーSO2が車両Vの四隅においてバンパーにそれぞれ取り付けられる。レーダーSO2は、レーダーSO2から自車両Vの周囲に電波を発射し、その反射波から自車両Vの周囲の物体に関する情報を計測する。レーダーSO2により検出された物体情報は電子制御ユニット10へ送信される。カメラSO3は図2に示される例では、車両Vのフロントガラスの内側に設けられた単一のステレオカメラを備える。ステレオカメラSO3は自車両Vの前方をカラー又はモノクロ撮影し、ステレオカメラSO3によるカラー又はモノクロ撮影情報は電子制御ユニット10へ送信される。 The rider SO1 is a device that detects an object outside the vehicle V using laser light. In the embodiment according to the present invention, the object is a static object (for example, a building, a road, etc.) that is an immovable object, a dynamic object (for example, another vehicle, a pedestrian, etc.) that is a movable object, a basic object. Includes quasi-static objects that are immovable but easily moveable (eg, signboards, trash cans, tree branches, etc.). In the example shown in FIG. 2, four riders SO1 are attached to the bumper at the four corners of the vehicle V, respectively. The rider SO1 sequentially irradiates the entire circumference of the vehicle V with laser light, and measures information about the object from the reflected light. This object information includes the distance and direction from the rider SO1 to the object, that is, the relative position of the object with respect to the rider SO1. The object information detected by the rider SO1 is transmitted to the electronic control unit 10. On the other hand, the radar SO2 is a device that uses radio waves to detect an object outside the vehicle V. In the example shown in FIG. 2, four radar SO2 are attached to the bumper at the four corners of the vehicle V, respectively. The radar SO2 emits a radio wave around the host vehicle V from the radar SO2, and measures information about an object around the host vehicle V from the reflected wave. The object information detected by the radar SO2 is transmitted to the electronic control unit 10. In the example shown in FIG. 2, the camera SO3 includes a single stereo camera provided inside the windshield of the vehicle V. The stereo camera SO3 photographs the front of the vehicle V in color or monochrome, and the color or monochrome photographing information by the stereo camera SO3 is transmitted to the electronic control unit 10.
再び図1を参照すると、GPS受信部2は、3個以上のGPS衛星からの信号を受信し、それにより自車両又は外部センサ1の絶対位置(例えば自車両Vの緯度、経度及び高度)を表す情報を検出する。GPS受信部2により検出された自車両の絶対位置情報は電子制御ユニット10へ送信される。
Referring again to FIG. 1, the
内部センサ3は、自車両Vの走行状態を検出するための検出機器である。自車両Vの走行状態は、自車両の速度、加速度、及び姿勢のうち少なくとも1つにより表される。内部センサ3は、車速センサ及びIMU(Inertial Measurement Unit)の一方又は両方を備える。本発明による実施例では内部センサ3は車速センサ及びIMUを備える。車速センサは、自車両Vの速度を検出する。IMUは例えば3軸のジャイロ及び3方向の加速度センサを備え、自車両Vの3次元の角速度及び加速度を検出し、それらに基づいて自車両Vの加速度及び姿勢を検出する。内部センサ3により検出された自車両Vの走行状態情報は電子制御ユニット10へ送信される。
The
地図データベース4は、地図情報に関するデータベースである。この地図データベース4は例えば車両に搭載されたHDD(Hard disk drive)内に記憶されている。地図情報には、例えば道路の位置情報、道路形状の情報(例えば、カーブと直線部の種別、カーブの曲率、交差点、合流点及び分岐点の位置など)などが含まれる。 The map database 4 is a database relating to map information. The map database 4 is stored in, for example, an HDD (Hard disk drive) mounted on the vehicle. The map information includes, for example, road position information and road shape information (for example, types of curves and straight lines, curvature of curves, positions of intersections, confluences, and branch points).
記憶装置5には、ライダーSO1により検出された物体の三次元画像及びライダーSO1の検出結果に基づき作成された自動運転専用の道路地図が記憶されている。これら物体の三次元画像及び道路地図は常時又は定期的に更新される。 The storage device 5 stores a three-dimensional image of the object detected by the rider SO1 and a road map dedicated to automatic driving created based on the detection result of the rider SO1. The three-dimensional images and road maps of these objects are constantly or regularly updated.
環境地図記憶装置6aには環境地図情報(後述する)が記憶されている。基準物標情報記憶装置6bには基準物標情報(後述する)が記憶されている。 Environmental map information (described later) is stored in the environmental map storage device 6a. Reference target information (described later) is stored in the reference target information storage device 6b.
ナビゲーションシステム7は、HMI8を介し自車両Vのドライバによって設定された目的地まで自車両Vを案内する装置である。このナビゲーションシステム7は、GPS受信部2により検出された自車両Vの現在の位置情報と地図データベース4の地図情報とに基づいて、目的地に至るまでの目標ルートを演算する。この自車両Vの目標ルートの情報は電子制御ユニット10へ送信される。
The navigation system 7 is a device that guides the own vehicle V to a destination set by the driver of the own vehicle V via the HMI 8. The navigation system 7 calculates a target route to reach the destination based on the current position information of the vehicle V detected by the
HMI8は、自車両Vの乗員と車両の自動運転制御システムとの間で情報の出力及び入力を行うためのインターフェイスである。本発明による実施例ではHMI8は、文字又は画像情報を表示するディスプレイ、音を発生するスピーカ、及び乗員が入力操作を行うための操作ボタン、タッチパネル、又は音声認識装置(マイク)を備える。 The HMI 8 is an interface for outputting and inputting information between the occupant of the own vehicle V and the automatic driving control system of the vehicle. In the embodiment according to the present invention, the HMI 8 includes a display for displaying character or image information, a speaker for generating sound, an operation button for an occupant to perform an input operation, a touch panel, or a voice recognition device (microphone).
アクチュエータ9は、電子制御ユニット10からの制御信号に応じて自車両Vの走行操作を制御するための装置である。車両Vの走行操作には車両Vの駆動、制動及び操舵が含まれる。アクチュエータ9は、駆動アクチュエータ、制動アクチュエータ、及び操舵アクチュエータのうちの少なくとも1つを備える。駆動アクチュエータは、車両Vの駆動力を提供するエンジン又は電気モータの出力を制御し、それにより車両Vの駆動操作を制御する。制動アクチュエータは、車両Vの制動装置を操作し、それにより車両Vの制動操作を制御する。操舵アクチュエータは、車両Vの操舵装置を操作し、それにより車両Vの操舵操作を制御する。
The
自動運転が可能な状態において、HMI8において乗員により自動運転を開始すべき入力操作がなされると、電子制御ユニット10に信号が送られて自動運転が開始される。すなわち、車両Vの走行操作である駆動、制動及び操舵がアクチュエータ9により制御される。一方、HMI8において乗員により自動運転を停止すべき入力操作がなされると、電子制御ユニット10に信号が送られて自動運転が停止され、車両Vの走行操作の少なくとも1つがドライバにより行われるマニュアル運転が開始される。言い換えると、自動運転からマニュアル運転に切り換えられる。なお、自動運転時にドライバにより車両Vの走行操作が行なわれたとき、すなわちドライバがステアリングをあらかじめ定められたしきい量以上操作したとき、アクセルペダルをあらかじめ定められたしきい量以上踏み込んだとき、又は、ブレーキペダルをあらかじめ定められたしきい量以上踏み込んだときにも、自動運転からマニュアル運転に切り換えられる。更に、自動運転中に自動運転が困難と判断されたときには、HMI7を介してドライバに対しマニュアル運転が要求される。
When an occupant performs an input operation to start the automatic operation in the HMI 8 while the automatic operation is possible, a signal is sent to the electronic control unit 10 to start the automatic operation. That is, driving, braking and steering, which are traveling operations of the vehicle V, are controlled by the
電子制御ユニット10は、双方向性バスによって相互に接続されたCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などを備えたコンピュータである。図1に示されるように、本発明による実施例の電子制御ユニット10は、ROM及びRAMを有する記憶部11、及び自動運転制御部12を備える。
The electronic control unit 10 is a computer including a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), etc. that are mutually connected by a bidirectional bus. As shown in FIG. 1, an electronic control unit 10 according to an embodiment of the present invention includes a storage unit 11 having a ROM and a RAM, and an automatic
自動運転制御部12は、車両Vの自動運転を制御するように構成されている。
The automatic
本発明による実施例では、自動運転制御部12は図3に示されるように、周辺認識部12a、自己位置推定部12b、進路生成部12c、及び移動制御部12dを備える。
In the embodiment according to the present invention, the automatic
周辺認識部12aは、外部センサ1を用いて、自車両Vの周辺の状況を認識するように構成されている。すなわち、周辺認識部12aは、外部センサ1の検出結果(例えば、ライダーSO1による物体の三次元画像情報、レーダーSO2による物体情報、カメラSO3による撮影情報など)に基づいて、自車両Vの周辺状況を認識する。この外部状況には、例えば、自車両Vに対する走行車線の白線の位置、車両Vに対する車線中心の位置、道路幅、道路の形状(例えば、走行車線の曲率、路面の勾配変化など)、車両Vの周辺の物体の状況(例えば、静的物体と動的物体を区別する情報、車両Vに対する物体の位置、車両Vに対する物体の移動方向、車両Vに対する物体の相対速度など)が含まれる。
The surrounding
自己位置推定部12bは、自車両Vの絶対位置を推定するように構成されている。
The self-
進路生成部12cは、車両Vの進路を生成するように構成されている。本発明による実施例では、進路は、時間tを表す情報と、当該時間tにおける車両の絶対位置(x(t),y(t))を表す情報と、当該時間tにおける車両の走行状態(例えば、速度v(t)及び進行方向θ(t))を表す情報との組合せ(t,x(t),y(t),v(t),θ(t))を含む。ここで、x(t)は例えば緯度により表され、y(t)は例えば経度により表される。例えば、まず、現在時刻(t=0)における組合せ(0,x(0),y(0),v(0),θ(0))を用いて、時間Δtが経過した後の組合せ(Δt,x(Δt),y(Δt),v(Δt),θ(Δt))が算出される。次いで、更に時間Δtが経過した後の組合せ(2Δt,x(2Δt),y(2Δt),v(2Δt),θ(2Δt))が算出される。次いで、更に時間nΔtが経過した後の組合せ(nΔt,x(nΔt),y(nΔt),v(nΔt),θ(nΔt))が算出される。これらの組合せの一例が図4に示されている。すなわち図4は、時間t及び車両Vの絶対位置(x(t),y(t))により規定された三次元空間内に上述の組合せ(t,x(t),y(t),v(t),θ(t))の一例をプロットしたものである。図4に示されるように、複数の組合せ(t,x(t),y(t),v(t),θ(t))を順次結んで得られる曲線が進路Pとなる。
The
移動制御部12dは、車両Vの移動制御を行うように構成されている。具体的には、移動制御部12dは、進路生成部12cにより生成された進路Pに沿って移動するように車両Vを制御するように構成されている。すなわち、移動制御部12dは、進路Pが有する組合せ(t,x(t),y(t),v(t),θ(t))が実現されるようにアクチュエータ9を制御して、車両Vの駆動、制動及び操舵を制御する。
The
次に、本発明による実施例の環境地図情報を説明する。図5は本発明による実施例の環境地図情報Mを概略的に示している。本発明による実施例の環境地図情報Mは図5に示されるように、空間内の複数の位置をそれぞれ表す位置情報と、それぞれ対応する位置情報と関連付けられた状態量代表値と、それぞれ対応する位置情報と関連付けられた状態量変化性と、を有する。なお、本発明による実施例では、上述の空間は三次元空間である。別の実施例(図示しない)では、空間は二次元空間である。 Next, the environmental map information of the embodiment according to the present invention will be described. FIG. 5 schematically shows the environment map information M of the embodiment according to the present invention. As shown in FIG. 5, the environment map information M of the embodiment according to the present invention respectively corresponds to position information representing each of a plurality of positions in space, and a state quantity representative value associated with each corresponding position information. State quantity variability associated with position information. In the embodiment according to the present invention, the above space is a three-dimensional space. In another example (not shown), the space is a two-dimensional space.
或る位置の状態量代表値及び状態量変化性は、当該或る位置の状態量に基づいて算出されるものである。本発明による実施例では、或る位置の状態量は、当該或る位置に物体が存在する確率により表される。この場合、状態量は例えば、ゼロから1までの連続値の形で算出される。別の実施例(図示しない)では、状態量は離散値の形で算出される。 The state quantity representative value and the state quantity variability at a certain position are calculated based on the state quantity at the certain position. In the embodiment according to the present invention, the state quantity at a certain position is represented by the probability that an object exists at the certain position. In this case, the state quantity is calculated in the form of a continuous value from 0 to 1, for example. In another embodiment (not shown), the state quantity is calculated in the form of discrete values.
或る位置の状態量代表値は、当該或る位置の状態を適切に表す数値である。本発明による実施例では、状態量代表値は、例えば、ゼロから1までの連続値の形で算出される。別の実施例(図示しない)では、状態量代表値は離散値の形で算出される。 The state quantity representative value at a certain position is a numerical value that appropriately represents the state at the certain position. In the embodiment according to the present invention, the state quantity representative value is calculated in the form of a continuous value from zero to one, for example. In another embodiment (not shown), the state quantity representative value is calculated in the form of discrete values.
一方、或る位置の状態量変化性は、当該或る位置の状態量の時間に対する変化のしやすさを表す数値である。本発明による実施例では、状態量変化性は、連続値の形で算出される。別の実施例(図示しない)では、状態量変化性は離散値の形で算出される。次に、図6A、図6B、及び図6Cを参照して、状態量変化性を更に説明する。なお、図6A、図6B、及び図6Cにおいて、検出された状態量がプロットされている。 On the other hand, the variability of the state quantity at a certain position is a numerical value that represents how easily the state quantity at the certain position changes with time. In the embodiment according to the present invention, the state quantity variability is calculated in the form of continuous values. In another embodiment (not shown), the state variable variability is calculated in the form of discrete values. Next, the state quantity variability will be further described with reference to FIGS. 6A, 6B, and 6C. Note that the detected state quantities are plotted in FIGS. 6A, 6B, and 6C.
状態量変化性は、例えば、時間に対する状態量の変化の頻度や変化の程度などによって表される。すなわち、図6Bに示される例の状態量は、図6Aに示される例の状態量に比べて、変化の頻度が高く、時間に対し変化しやすい。したがって、図6Bに示される例の状態量変化性は、図6Aに示される例の状態量変化性よりも高い。一方、図6Cに示される例の状態量は、図6Aに示される例の状態量に比べて、変化の程度が大きく、時間に対し変化しやすい。したがって、図6Cに示される例の状態量変化性は、図6Aに示される例の状態量変化性よりも高い。 The state quantity variability is represented by, for example, the frequency of change of the state quantity over time or the degree of change. That is, the state quantity of the example shown in FIG. 6B changes more frequently than the state quantity of the example shown in FIG. 6A and is likely to change with time. Therefore, the state quantity variability of the example shown in FIG. 6B is higher than the state quantity variability of the example shown in FIG. 6A. On the other hand, the state quantity of the example shown in FIG. 6C has a greater degree of change than the state quantity of the example shown in FIG. 6A and is likely to change with time. Therefore, the state quantity variability of the example shown in FIG. 6C is higher than the state quantity variability of the example shown in FIG. 6A.
次に、環境地図情報Mの作成例を説明する。この作成例では、空間内の位置を表す位置情報と位置の状態量とを検出する環境検出装置と、環境地図用の記憶装置と、環境地図作成用の電子制御ユニットと、を備え、環境地図作成用の電子制御ユニットは、空間内の複数の位置のそれぞれについて、前記位置を表す位置情報と、互いに異なる時刻における前記位置の状態量とを前記環境検出装置により検出するように構成されている環境検出部と、前記複数の位置のそれぞれについて、検出された前記状態量を用いて前記状態量代表値を算出する状態量算出部と、前記複数の位置のそれぞれについて、検出された前記状態量を用いて前記状態量変化性を算出するように構成されている変化性算出部と、前記状態量代表値及び前記状態量変化性をそれぞれ対応する前記位置情報と関連付けて環境地図用の記憶装置に記憶する記憶部と、を備えた環境地図作成システムを用いて、環境地図情報Mが作成される。環境地図作成システムは車両のような移動体に搭載される。環境検出装置は、例えば、環境地図作成システムの周囲の物体を検出する外部センサ(例えば、ライダー)と、内部センサと、環境地図作成システムの絶対位置を検出するGPS受信部と、を備える。 Next, an example of creating the environmental map information M will be described. In this creation example, an environment detection device that detects position information representing a position in space and a state quantity of the position, a storage device for the environment map, and an electronic control unit for creating the environment map are provided. The electronic control unit for creation is configured such that, for each of a plurality of positions in the space, position information representing the position and the state quantity of the position at different times are detected by the environment detection device. An environment detection unit, a state quantity calculation unit that calculates the state quantity representative value using the detected state quantity for each of the plurality of positions, and the detected state quantity for each of the plurality of positions. A variability calculating unit configured to calculate the state quantity variability using a storage device for an environment map by associating the state quantity representative value and the state quantity variability with the corresponding position information. The environmental map information M is created by using the environmental map creating system including a storage unit that stores the information. The environment mapping system is mounted on a moving body such as a vehicle. The environment detection device includes, for example, an external sensor (for example, a rider) that detects an object around the environment map creation system, an internal sensor, and a GPS receiver that detects an absolute position of the environment map creation system.
図7は、環境地図作成システムのライダーLから照射されたレーザー光が物体OBJで反射した場合を示している。この場合、図7に黒丸で示されるように、位置PXに反射点が形成される。ライダーLは、反射光から、反射点の位置PXの相対位置情報を計測する。この計測結果から、位置PXに物体OBJが存在するということがわかり、したがって位置PXの状態量、すなわち物体存在確率は1となる。また、ライダー1からの位置PXの相対位置情報と、環境地図作成システムのGPS受信部からの環境地図作成システムの絶対位置情報とから、位置PXの絶対位置情報がわかる。更に、図7に白丸で示される反射点でない位置PYに物体が存在しないということがわかり、したがって位置PYの状態量すなわち物体存在確率はゼロとなる。また、ライダーLからの位置PXの相対位置情報と、環境地図作成システムのGPS受信部からの環境地図作成システムの絶対位置情報とから、位置PYの絶対位置情報がわかる。このようにして、位置PX,PYの絶対位置情報及び状態量が算出される。
FIG. 7 shows a case where the laser light emitted from the rider L of the environment map making system is reflected by the object OBJ. In this case, a reflection point is formed at the position PX, as indicated by a black circle in FIG. The rider L measures relative position information of the position PX of the reflection point from the reflected light. From this measurement result, it is known that the object OBJ exists at the position PX, and therefore the state quantity of the position PX, that is, the object existence probability is 1. Further, the absolute position information of the position PX can be known from the relative position information of the position PX from the
環境地図情報Mの作成例では、環境地図作成システムのライダーLは物体情報を例えば数十msのインターバルで繰り返し検出する。言い換えると、環境地図作成システムのライダーLは、互いに異なる複数の時刻における物体情報を検出する。したがって、互いに異なる複数の時刻における物体情報から、互いに異なる複数の時刻における状態量が算出される。あるいは、環境地図作成システムを搭載した移動体が一定の場所を複数回移動した場合にも、互いに異なる複数の時刻における物体情報が検出され、したがって互いに異なる複数の時刻における状態量が算出される。 In the example of creating the environmental map information M, the rider L of the environmental map creating system repeatedly detects object information at intervals of, for example, several tens of ms. In other words, the rider L of the environment mapping system detects object information at a plurality of different times. Therefore, the state quantities at a plurality of mutually different times are calculated from the object information at a plurality of mutually different times. Alternatively, even when the mobile body equipped with the environment map creating system moves a certain place a plurality of times, the object information at a plurality of different times is detected, and thus the state quantities at a plurality of different times are calculated.
環境地図情報Mの作成例では、状態量の単位時間当たりの変化量が算出され、状態量の単位時間当たりの変化量に基づいて状態量変化性が算出される。すなわち、図8Aに示される例では、同一の時間幅dtにおける状態量の変化量(絶対値)dSQ1,dSQ2,…が算出される。この場合の時間幅dtは、例えば、状態量の検出間隔に等しい。なお、図8Aに示される例では、連続した時間幅dtにおいて状態量の変化量dSQ1,dSQ2,…がそれぞれ算出されるけれども、別の例では、不連続の時間幅dtにおいて状態量の変化量がそれぞれ算出される。あるいは、図8Bに示される例では、互いに異なる複数の時間幅dt1,dt2,…における状態量の変化量(絶対値)dSQ1,dSQ2,…がそれぞれ算出される。異なる時間幅は例えば、秒、分、日、年といったオーダーである。次いで、状態量の単位時間当たりの変化量dSQ1/dt1,dSQ2/dt2,…が順次算出される。なお、図8Bに示される例では、連続した時間幅dt1,dt2,…において状態量の変化量dSQ1,dSQ2,…がそれぞれ算出されるけれども、別の例では、不連続の時間幅において状態量の変化量がそれぞれ算出される。次いで、状態量の単位時間当たりの変化量dSQ1/dt1,dSQ2/dt2,…を単純平均又は加重平均することにより、状態量変化性が算出される。加重平均が用いられる場合、一例では、検出時期がより新しい状態量の単位時間当たりの変化量dSQ/dtがより大きく重み付けされ、検出時期がより古い状態量の単位時間当たりの変化量dSQ/dtがより小さく重み付けされる。別の例では、検出時期がより新しい状態量の単位時間当たりの変化量dSQ/dtがより小さく重み付けされ、検出時期がより古い状態量の単位時間当たりの変化量dSQ/dtがより大きく重み付けされる。このような状態量変化性の算出が複数の位置についてそれぞれ行われる。 In the creation example of the environment map information M, the amount of change in the state amount per unit time is calculated, and the state amount variability is calculated based on the amount of change in the state amount per unit time. That is, in the example shown in FIG. 8A, the change amounts (absolute values) dSQ1, dSQ2,... Of the state quantities in the same time width dt are calculated. The time width dt in this case is equal to the state amount detection interval, for example. Note that in the example shown in FIG. 8A, the state amount variation amounts dSQ1, dSQ2,... Are calculated in the continuous time width dt, but in another example, the state amount variation amount is calculated in the discontinuous time width dt. Are calculated respectively. Alternatively, in the example shown in FIG. 8B, change amounts (absolute values) dSQ1, dSQ2,... Of state quantities in a plurality of mutually different time widths dt1, dt2,. The different time spans are, for example, in the order of seconds, minutes, days, years. Next, the amount of change dSQ1/dt1, dSQ2/dt2,... Of the state quantity per unit time is sequentially calculated. In the example shown in FIG. 8B, the state amount variation amounts dSQ1, dSQ2,... Are calculated in the continuous time widths dt1, dt2,..., However, in another example, the state amount is calculated in the discontinuous time widths. Change amount is calculated. Next, the state quantity variability is calculated by performing a simple average or a weighted average of the change amounts dSQ1/dt1, dSQ2/dt2,... Of the state amount per unit time. When the weighted average is used, in one example, the change amount dSQ/dt of the new state quantity per unit time is weighted more heavily, and the change amount dSQ/dt of the state quantity older than the detection time is dSQ/dt. Are weighted less. In another example, the amount of change dSQ/dt per unit time of the newer state quantity is weighted less, and the amount of change dSQ/dt of the older state quantity per unit time is weighted more. It Such state quantity variability is calculated for each of a plurality of positions.
環境地図情報Mの別の作成例(図示しない)では、時間の関数としての複数の状態量がフーリエ変換され、その結果から状態量変化性が算出される。具体的には、一例では、あらかじめ定められたスペクトル(周波数)の強度が状態量変化性として算出される。別の例では、種々のスペクトルの強度を単純平均又は加重平均することにより状態量変化性が算出される。 In another example of creating the environmental map information M (not shown), a plurality of state quantities as a function of time are Fourier transformed, and the state quantity variability is calculated from the result. Specifically, in one example, the intensity of a predetermined spectrum (frequency) is calculated as the state quantity variability. In another example, the state quantity variability is calculated by performing a simple average or a weighted average of the intensities of various spectra.
一方、環境地図情報Mの作成例では、状態量代表値は、互いに異なる複数の時刻において検出された当該或る位置の状態量に基づいて算出される。一例では、或る位置の状態量代表値は、互いに異なる複数の時刻における当該或る位置の状態量のうち、最新のものに設定される。このようにすると、或る位置の状態量代表値は、当該或る位置の最新の状態を表すことになる。別の例では、或る位置の状態量代表値は、互いに異なる複数の時刻における当該或る位置の状態量を単純平均又は加重平均することにより算出される。このようにすると、或る位置の状態量が一時的に変わったとしても、状態量代表値により、当該位置の状態を正確に表すことができる。 On the other hand, in the creation example of the environment map information M, the state quantity representative value is calculated based on the state quantity of the certain position detected at a plurality of mutually different times. In one example, the state quantity representative value at a certain position is set to the latest state quantity at the certain position at a plurality of mutually different times. By doing so, the state quantity representative value of a certain position represents the latest state of the certain position. In another example, the state quantity representative value at a certain position is calculated by performing a simple average or a weighted average of the state quantities at the certain position at different times. By doing so, even if the state quantity at a certain position temporarily changes, the state quantity representative value can accurately represent the state at that position.
次いで、状態量代表値がそれぞれ対応する位置情報と関連付けられて環境地図用の記憶装置内に記憶される。また、状態量変化性がそれぞれ対応する位置情報と関連付けられて環境地図用の記憶装置内に記憶される。このようにして環境地図情報Mが作成される。 Next, the state quantity representative value is stored in the environment map storage device in association with the corresponding position information. Further, the state quantity variability is associated with the corresponding position information and stored in the environment map storage device. In this way, the environment map information M is created.
このように状態量代表値及び状態量変化性が位置情報と関連付けられているので、位置情報を指定すると、環境地図情報Mから、対応する位置の状態量代表値及び状態量変化性がわかる。なお、本発明による実施例では、環境地図情報Mは、三次元空間内の位置の位置情報、状態量代表値、及び状態量変化性を有するので、三次元地図である。また、本発明による実施例では、位置情報は絶対位置情報である。この場合の絶対位置は、例えば、緯度、経度、及び標高により表される。別の実施例(図示しない)では位置情報は、緯度、経度、及び路面からの高さにより表される。別の実施例(図示しない)では、位置情報はあらかじめ定められた特定の位置に対する相対位置情報である。 Since the state quantity representative value and the state quantity variability are associated with the position information in this way, when the position information is designated, the state quantity representative value and the state quantity variability of the corresponding position can be known from the environment map information M. In the embodiment according to the present invention, the environment map information M is a three-dimensional map because it has the positional information of the position in the three-dimensional space, the state quantity representative value, and the state quantity variability. Further, in the embodiment according to the present invention, the position information is absolute position information. The absolute position in this case is represented by latitude, longitude, and altitude, for example. In another embodiment (not shown), the position information is represented by latitude, longitude, and height from the road surface. In another embodiment (not shown), the position information is relative position information with respect to a predetermined specific position.
このようにして作成された環境地図情報Mから、次のことがわかる。すなわち、或る位置の、物体存在確率により表される状態量が大きく、状態量変化性が低い場合には、当該位置は、静的物体(例えば、建物、道路面など)、又は、静止している動的物体(例えば、他車両、歩行者など)もしくは準静的物体(例えば、立て看板、ゴミ箱、樹木の枝など)により占有されている。あるいは、当該位置が動的物体又は準静的物体により占有されている占有状態と、当該位置が動的物体又は準静的物体により占有されていない非占有状態とが比較的低い頻度で切り換わると共に、占有状態の時間が比較的長い。一方、或る位置の状態量が小さく状態量変化性が低い場合には、当該位置には、何も存在していない。そのような位置の具体例は、池の上方空間などである。或る位置の状態量が大きく状態量変化性が高い場合には、当該位置では占有状態と非占有状態とが比較的高い頻度で切り換わると共に、占有状態の時間が比較的長い。そのような位置の具体例は、交通量が比較的多い道路などである。或る位置の状態量が小さく状態量変化性が高い場合には、当該位置では占有状態と非占有状態とが比較的高い頻度で切り換わると共に、非占有状態の時間が比較的長い。そのような位置の具体例は、交通量が比較的少ない(ゼロではない)道路などである。 The following can be understood from the environment map information M created in this way. That is, when the state quantity represented by the object existence probability at a position is large and the state quantity variability is low, the position is a static object (such as a building or road surface) or is stationary. It is occupied by a moving object (for example, another vehicle, a pedestrian, etc.) or a quasi-static object (for example, a signboard, a trash can, or a tree branch). Alternatively, the occupied state in which the position is occupied by the dynamic object or the quasi-static object and the unoccupied state in which the position is not occupied by the dynamic object or the quasi-static object are switched at a relatively low frequency. In addition, the occupied time is relatively long. On the other hand, when the state quantity at a certain position is small and the state quantity variability is low, nothing exists at that position. A specific example of such a position is a space above a pond. When the state quantity at a certain position is large and the state quantity variability is high, the occupied state and the unoccupied state are switched at a relatively high frequency, and the occupied state time is relatively long. A specific example of such a position is a road having a relatively large traffic volume. When the state quantity at a certain position is small and the state quantity variability is high, the occupied state and the unoccupied state switch at a relatively high frequency, and the unoccupied state takes a relatively long time. A specific example of such a position is a road having relatively low traffic volume (not zero).
すなわち、本発明による実施例の環境地図情報Mには、或る位置における物体又は物体の存在の有無に関する情報だけでなく、当該位置がどのような状況にあるかの情報も含まれている。したがって、空間内の状況をより正確に表すことができる。 That is, the environment map information M according to the embodiment of the present invention includes not only the information about the presence of an object or the presence of an object at a certain position, but also the information about the situation of the position. Therefore, the situation in space can be represented more accurately.
なお、本発明による実施例では、環境地図作成システムを搭載した移動体は、車両Vとは別の移動体である。別の実施例(図示しない)では、環境地図作成システムを搭載した移動体は、車両Vである。すなわち、車両Vにおいて環境地図情報Mが作成され、環境地図記憶装置6a内に記憶される。この場合、車両Vの外部センサ1及びGPS受信部2は、環境地図作成システムの環境検出装置を構成する。
In the embodiment according to the present invention, the moving body equipped with the environment map creating system is a moving body different from the vehicle V. In another embodiment (not shown), the vehicle equipped with the environment mapping system is a vehicle V. That is, the environment map information M is created in the vehicle V and stored in the environment map storage device 6a. In this case, the
また、上述した本発明による実施例では、或る位置の状態量は当該或る位置に物体が存在する確率により表される。別の実施例(図示しない)では、或る位置の状態量は、或る位置に存在する物体の色又は輝度値により表される。この場合、例えば、信号機のランプのうちどのランプが点灯しているかを把握することができる。この別の実施例では、状態量が物体の色により表わされる場合には、物体の色は、外部センサ1のカメラSO3としてのカラーカメラにより検出される。一方、状態量が物体の輝度値により表わされる場合には、物体の輝度値は、外部センサ1のライダーSO1、レーダーSO2、又は、カラーもしくはモノクロカメラSO3により検出される。すなわち、ライダーSO1から発射されたレーザー光が物体に反射したときに得られる反射光の強度は当該物体の輝度値を表している。同様に、レーダーSO2の反射波強度は物体の輝度値を表している。したがって、反射光強度又は反射波強度を検出することにより、物体の輝度値が検出される。なお、状態量が物体の色により表される場合、状態量は、例えばRGBモデルを用いて数値化される。
Further, in the above-described embodiment according to the present invention, the state quantity at a certain position is represented by the probability that an object exists at the certain position. In another embodiment (not shown), the state quantity at a certain position is represented by the color or brightness value of the object existing at the certain position. In this case, for example, which of the lamps of the traffic light is lit can be grasped. In this another embodiment, when the state quantity is represented by the color of the object, the color of the object is detected by a color camera as the camera SO3 of the
一方、上述した本発明による実施例では、1つの位置情報に1つの状態量変化性が関連付けられる。別の実施例(図示しない)では、1つの位置情報に複数の状態量変化性が関連付けられ、したがって環境地図情報Mは複数の状態量変化性を有する。この場合、一例では、図8Bに示されるような、互いに異なる複数の時間幅における状態量の変化量に基づいて、複数の状態量変化性がそれぞれ算出される。別の例では、状態量をフーリエ変換することにより得られる複数のスペクトルの強度に基づいて、複数の状態量変化性が算出される。 On the other hand, in the above-described embodiment according to the present invention, one state quantity variability is associated with one position information. In another embodiment (not shown), a plurality of state quantity variability is associated with one position information, and thus the environment map information M has a plurality of state quantity variability. In this case, in one example, as illustrated in FIG. 8B, the plurality of state amount variability is calculated based on the change amounts of the state amounts in a plurality of mutually different time widths. In another example, a plurality of state quantity variability is calculated based on the intensities of a plurality of spectra obtained by Fourier transforming the state quantity.
本発明による別の実施例(図示しない)では、環境地図情報Mは、ボクセルを用いて表現されている。すなわち、空間内に、互いに隣接する複数のボクセル又は単位空間が区画され、複数の単位空間のそれぞれについて、位置情報、状態量代表値、及び状態量変化性が記憶されている。単位空間は例えば立方体、直方体、円柱などの形状をなしている。 In another embodiment (not shown) according to the present invention, the environment map information M is expressed using voxels. That is, a plurality of voxels or unit spaces adjacent to each other are partitioned in the space, and the position information, the state quantity representative value, and the state quantity variability are stored for each of the plurality of unit spaces. The unit space has a shape such as a cube, a rectangular parallelepiped, or a cylinder.
次に、本発明による実施例の基準物標情報を説明する。図9は本発明による実施例の基準物標情報Rを概略的に示している。本発明による実施例の基準物標情報Rは図9に示されるように、空間内の複数の基準物標のそれぞれの特徴情報と、複数の基準物標のそれぞれの位置を表す位置情報と、を有する。なお、本発明による実施例では、上述の空間は三次元空間である。別の実施例(図示しない)では、空間は二次元空間である。 Next, reference target information of the embodiment according to the present invention will be described. FIG. 9 schematically shows the reference target information R of the embodiment according to the present invention. As shown in FIG. 9, the reference target information R of the embodiment according to the present invention includes the respective characteristic information of the plurality of reference targets in the space and the position information indicating the respective positions of the plurality of reference targets. Have. In the embodiment according to the present invention, the above space is a three-dimensional space. In another example (not shown), the space is a two-dimensional space.
基準物標の特徴情報は、基準物標の物理的特徴を表すものである。物標の物理的特徴には、当該物標の形状、大きさ、色又は輝度などが含まれる。図10には、本発明による実施例における、基準物標及び特徴情報の種々の例が示される。図10に示されるように、基準物標が例えば白線の場合には、特徴情報は直線又は曲線である。この場合、この直線又は曲線の長さは、対応する白線の長さを表している。基準物標が例えばポールの場合には、特徴情報は円柱であり、当該円柱の長さ及び直径は、対応するポールの長さ及び直径をそれぞれ表している。別の実施例(図示しない)では、ポールの特徴情報は、ポールの中心線である。いずれにしても、このように基準物標の物理的特徴を特徴情報により表すことにより、少ないデータ量でもって物標を表すことができる。すなわち、基準物標情報のデータ量を低減することができる。本発明による別の実施例(図示しない)では、特徴情報は、例えばカメラにより撮影された基準物標の画像データである。 The characteristic information of the reference target represents the physical characteristics of the reference target. The physical characteristics of the target include the shape, size, color or brightness of the target. FIG. 10 shows various examples of reference targets and characteristic information in the embodiment according to the present invention. As shown in FIG. 10, when the reference target is, for example, a white line, the characteristic information is a straight line or a curved line. In this case, the length of this straight line or curve represents the length of the corresponding white line. When the reference target is, for example, a pole, the characteristic information is a cylinder, and the length and diameter of the cylinder represent the length and diameter of the corresponding pole, respectively. In another embodiment (not shown), the pole feature information is the pole centerline. In any case, by expressing the physical characteristics of the reference target by the feature information in this way, the target can be expressed with a small amount of data. That is, the data amount of the reference target information can be reduced. In another embodiment (not shown) according to the present invention, the characteristic information is, for example, image data of a reference target imaged by a camera.
一方、本発明による実施例では、基準物標情報の位置情報は、対応する基準物標の絶対位置情報である。この場合の絶対位置は、例えば、緯度、経度、及び標高により表される。別の実施例(図示しない)では位置情報は、緯度、経度、及び路面からの高さにより表される。 On the other hand, in the embodiment according to the present invention, the position information of the reference target information is the absolute position information of the corresponding reference target. The absolute position in this case is represented by latitude, longitude, and altitude, for example. In another embodiment (not shown), the position information is represented by latitude, longitude, and height from the road surface.
上述した自動運転制御部12の自己位置推定部12bは図11に示されるように、検出物標特定部12ba、基準物標特定部12bb、物標位置偏差算出部12bc、自己位置偏差算出部12bd、及び推定自己位置更新部12beを備える。
As shown in FIG. 11, the self-
検出物標特定部12baは、外部センサ1を用いて、車両Vの外部の複数の物標をそれぞれ検出すると共に、検出された物標である検出物標の位置を、車両の推定自己位置を用いてそれぞれ算出するように構成されている。
The detected target specifying unit 12ba detects each of a plurality of targets outside the vehicle V by using the
基準物標特定部12bbは、基準物標情報を用いて、検出物標にそれぞれ対応する基準物標を特定すると共に、特定された基準物標の位置をそれぞれ特定するように構成されている。 The reference target specifying unit 12bb is configured to specify the reference targets corresponding to the detected targets using the reference target information and specify the positions of the specified reference targets.
物標位置偏差算出部12bcは、検出物標の位置と対応する基準物標の位置との間の偏差である物標位置偏差をそれぞれ算出するように構成されている。 The target position deviation calculation unit 12bc is configured to calculate a target position deviation, which is a deviation between the detected target position and the corresponding reference target position.
自己位置偏差算出部12bdは、算出された物標位置偏差を対応する重み付け係数によりそれぞれ重み付けすると共に、重み付けされた物標位置偏差に基づいて車両Vの自己位置偏差を算出するように構成されている。 The self-position deviation calculating unit 12bd is configured to weight the calculated target position deviation by a corresponding weighting coefficient and calculate the self-position deviation of the vehicle V based on the weighted target position deviation. There is.
推定自己位置更新部12beは、自己位置偏差が最小になるように推定自己位置を更新するように構成されている。なお、推定自己位置の初期値として、例えば、GPS受信部2より検出された自車両の絶対位置情報が用いられる。
The estimated self-position updating unit 12be is configured to update the estimated self-position so that the self-position deviation is minimized. As the initial value of the estimated own position, for example, the absolute position information of the own vehicle detected by the
すなわち、本発明による実施例では、まず、自己位置推定部12bにより求められた車両Vの推定自己位置に車両Vが位置するときに、外部センサ1により検出可能であるはずの複数の基準物標の組合せが、基準物標情報を用いて選択される。具体的には、複数の基準物標の特徴情報及び位置情報がそれぞれ選択される。図12に示される例では、外部センサ1により検出可能であるはずの基準物標の組合せとして、3つの基準物標TR(1),TR(2),TR(3)が示されている。なお、本発明による実施例では、基準物標TR(j)の位置は、基準物標TR(j)の重心又は中心の位置LR(j)により表される。
That is, in the embodiment according to the present invention, first, when the vehicle V is located at the estimated self-position of the vehicle V obtained by the self-
一方、外部センサ1を用いて、車両Vの外部の複数の検出物標の組合せが検出される。具体的には、複数の検出物標の特徴情報及び位置情報がそれぞれ検出される。図12に示される例では、検出物標の組合せとして、2つの検出物標TD(1),TD(2)が示されている。この場合、検出物標の車両Vに対する相対位置がまず検出され、この相対位置と車両Vの推定自己位置とから検出物標の推定絶対位置が検出される。図12に示される例では、車両Vの推定自己位置LVを用いて、検出物標TD(1),TD(2)の位置LD(1),LD(2)がそれぞれ検出される。なお、本発明による実施例では、検出物標TD(i)の位置は、検出物標TD(i)の重心又は中心の位置LD(i)により表される。また、選択された基準物標の数と、検出された検出物標の数は必ずしも一致しない。
On the other hand, the combination of a plurality of detection targets outside the vehicle V is detected using the
次いで、選択された基準物標と、検出された検出物標との間で対応付けが行われる。言い換えると、選択された基準物標のなかから、検出された検出物標に対応する基準物標がそれぞれ特定される。例えば、検出物標の特徴情報とほぼ等しい特徴情報を有する基準物標が一つのときには、検出物標に対応する基準物標として当該基準物標が特定される。検出物標の特徴情報とほぼ等しい特徴情報を有する基準物標が複数のときには、検出物標に対応する基準物標として、検出物標の位置と基準物標の位置との間の偏差が最小の基準物標が特定される。図12に示される例では、検出物標TD(1)の特徴情報(円柱)に対応する特徴情報を有する基準物標は基準物標TR(1)のみであるので、検出物標TD(1)に対応する基準物標として基準物標TR(1)が特定される。一方、検出物標TD(2)の特徴情報(直方体)に対応する特徴情報を有する基準物標は2つの基準物標TR(2),TR(3)があり、検出物標TD(2)の位置LD(2)と基準物標TR(2)の位置LR(2)との偏差DT(2)は、検出物標TD(2)の位置LD(2)と基準物標TR(3)の位置LR(3)との偏差DT(3)よりも小さいので、検出物標TD(2)に対応する基準物標として基準物標TR(2)が特定される。 Next, the selected reference target and the detected detection target are associated with each other. In other words, the reference target corresponding to the detected detection target is specified from the selected reference targets. For example, when there is only one reference target having the characteristic information that is substantially the same as the characteristic information of the detected target, the reference target is specified as the reference target corresponding to the detected target. When there are a plurality of reference targets that have characteristic information that is almost equal to the characteristic information of the detected target, the difference between the position of the detected target and the position of the reference target is the minimum as the reference target corresponding to the detected target. The standard target of is specified. In the example shown in FIG. 12, since the reference target TR(1) is the only reference target having the feature information corresponding to the feature information (cylinder) of the detection target TD(1), the detection target TD(1 ) Is specified as the reference target TR(1). On the other hand, the reference target having the feature information corresponding to the feature information (rectangular solid) of the detected target TD(2) has two reference targets TR(2) and TR(3), and the detected target TD(2) Deviation DT(2) between the position LD(2) of the target object TR and the position LR(2) of the reference object TR(2) is the position LD(2) of the detected object TD(2) and the reference target TR(3). Since it is smaller than the deviation DT(3) from the position LR(3) of, the reference target TR(2) is specified as the reference target corresponding to the detection target TD(2).
すなわち、検出物標TD(i)の位置LD(i)と、対応する基準物標TR(j)の位置LR(j)との間の偏差(=|LD(i)−LR(j)|)を物標位置偏差と称すると、物標位置偏差がそれぞれ算出され、物標位置偏差の合計(=Σ|LD(i)−LR(j)|)が最小となるように、選択された基準物標と、検出された検出物標との間で対応付けが行われる、ということになる。なお、本発明による実施例では、検出物標TD(i)の重心又は中心LD(i)と、対応する基準物標TR(j)の重心又は中心LD(j)との間の距離が物標位置偏差DT(i)として算出される。 That is, the deviation (=|LD(i)−LR(j)| between the position LD(i) of the detected target TD(i) and the position LR(j) of the corresponding reference target TR(j). ) Is referred to as a target position deviation, the target position deviations are calculated respectively, and the total of the target position deviations (=Σ|LD(i)-LR(j)|) is selected to be the minimum. This means that the reference target and the detected detected target are associated with each other. In the embodiment according to the present invention, the distance between the center of gravity or center LD(i) of the detected target TD(i) and the center of gravity or center LD(j) of the corresponding reference target TR(j) is the object. It is calculated as the standard position deviation DT(i).
ここで、物標位置偏差又は物標位置偏差の合計がゼロのときには、検出物標の位置と基準物標の位置とが互いに一致している。したがって、このときの推定自己位置は正確であるということになる。これに対し、物標位置偏差又は物標位置偏差の合計がゼロでないときには、検出物標の位置と基準物標の位置とは互いに一致しておらず、したがってこのときの推定自己位置は不正確であるということになる。車両Vの正確な自己位置LVCに対する推定自己位置LVの偏差を自己位置偏差と称すると、図12に示される例では、自己位置偏差がDSLでもって示されている。 Here, when the target position deviation or the total of the target position deviations is zero, the position of the detected target and the position of the reference target match each other. Therefore, the estimated self-position at this time is accurate. On the other hand, when the target position deviation or the total of the target position deviations is not zero, the position of the detected target and the position of the reference target do not match each other, so the estimated self-position at this time is inaccurate. It means that When the deviation of the estimated self-position LV from the accurate self-position LVC of the vehicle V is called a self-position deviation, the self-position deviation is represented by DSL in the example shown in FIG.
本発明による実施例では次いで、物標位置偏差DT(i)がそれぞれ対応する重み付け係数kwにより重み付けされ(kw・DT(i))、重み付けされた物標位置偏差DT(i)に基づいて、車両Vの自己位置偏差が算出される。具体的には、重み付けされた物標位置偏差DT(i)の合計が算出される(Σkw・DT(i))。この合計値は上述の自己位置偏差DSLを表している。一方、この合計値は、検出物標の位置TD(i)の関数であり、検出物標の位置TD(i)は上述したように推定自己位置の関数である。そこで、上述の合計値が最小、好ましくはゼロになるような推定自己位置が算出され、算出された推定自己位置が新たな推定自己位置とされる。言い換えると、推定自己位置が更新される。その結果、より正確な推定自己位置を求めることができる。 In the embodiment according to the present invention, the target position deviation DT(i) is then weighted by the corresponding weighting coefficient kw (kw·DT(i)), and based on the weighted target position deviation DT(i), The self-position deviation of the vehicle V is calculated. Specifically, the total of the weighted target position deviations DT(i) is calculated (Σkw·DT(i)). This total value represents the above-mentioned self-position deviation DSL. On the other hand, this total value is a function of the detected target position TD(i), and the detected target position TD(i) is a function of the estimated self-position as described above. Therefore, the estimated self-position is calculated so that the above-mentioned total value becomes minimum, preferably zero, and the calculated estimated self-position is set as the new estimated self-position. In other words, the estimated self-position is updated. As a result, a more accurate estimated self-position can be obtained.
重み付け係数kwは、基準物標が存在する領域における状態量変化性に基づいて設定される。なお、重み付け係数kwは例えば、ゼロから1までの値をとる。具体的には、基準物標が存在する領域における状態量変化性が高いときには、基準物標が存在する領域における状態量変化性が低いときに比べて、重み付け係数kwは小さく設定される。図13Aに示される例では、基準物標が存在する領域における状態量変化性VRBがあらかじめ定められた設定変化性VRBxよりも高いときには、重み付け係数kwはゼロに設定され、基準物標が存在する領域における状態量変化性VRBがあらかじめ定められた設定変化性VRBxよりも低いときには、重み付け係数kwは1に設定される。一方、図13Bに示される例では、環境地図情報Mの複数の状態量変化性のうち、最大の状態量変化性VRBM及び最小の状態量変化性VRBmが特定される。その上で、重み付け係数kwは、基準物標が存在する領域における状態量変化性VRBが最大の状態量変化性VRBMよりも高いときにはゼロに設定され、基準物標が存在する領域における状態量変化性VRBが最大の状態量変化性VRBMよりも低く最小の状態量変化性VRBmよりも高いときには、基準物標が存在する領域における状態量変化性VRBが低くなるにつれて大きくなり、基準物標が存在する領域における状態量変化性VRBが最小の状態量変化性VRBmよりも低いときには1に設定される。 The weighting coefficient kw is set based on the state quantity variability in the area where the reference target is present. The weighting coefficient kw takes a value from 0 to 1, for example. Specifically, when the state quantity variability in the area where the reference target is present is high, the weighting coefficient kw is set smaller than when the state quantity variability in the area where the reference target is present is low. In the example shown in FIG. 13A, when the state quantity variability VRB in the area where the reference target is present is higher than the preset setting variability VRBx, the weighting coefficient kw is set to zero and the reference target is present. When the state quantity variability VRB in the region is lower than the preset setting variability VRBx, the weighting coefficient kw is set to 1. On the other hand, in the example shown in FIG. 13B, among the plurality of state quantity variability of the environment map information M, the maximum state quantity variability VRBM and the minimum state quantity variability VRBm are specified. In addition, the weighting coefficient kw is set to zero when the state variable variability VRB in the region where the reference target is present is higher than the maximum state variability VRBM, and the state amount change in the region where the reference target is present. When the sex VRB is lower than the maximum state quantity change VRBM and higher than the minimum state quantity change VRBm, the state quantity change VRB in the region where the reference target is present becomes larger as the state quantity change VRB becomes lower, and the reference target is present. It is set to 1 when the state quantity variability VRB in the region to be controlled is lower than the minimum state quantity variability VRBm.
基準物標が存在する領域における状態量変化性は例えば次のようにして算出される。状態量変化性が1mx1mx1mの立方体をなす単位空間を用いて表現されている場合において、基準物標又は基準物標の特徴情報が長さ10mの直線の場合には、基準物標は複数個の単位空間を横切って存在する。そこで、この例では、基準物標が横切る単位空間の状態量変化性の平均値、最大値、最小値、又は中央値が、基準物標が存在する領域における状態量変化性として算出される。一例では、基準物標が単位空間を横切る長さに応じて、対応する単位空間の状態量変化性が重み付けされる。
The state quantity variability in the area where the reference target is present is calculated as follows, for example. When the state quantity variability is expressed by using a unit space forming a cube of 1
あるいは、状態量変化性が1mx1mx1mの立方体をなす単位空間を用いて表現されている場合において、基準物標が10mx10mx10mの立方体の場合には、基準物標は複数の単位空間を含む。そこで、この例では、基準物標に含まれる単位空間の状態量変化性の平均値、最大値、最小値、又は中央値が、基準物標が存在する領域における状態量変化性として算出される。 Alternatively, when the state quantity variability is expressed by using a unit space forming a cube of 1mx1mx1m, and the reference target is a cube of 10mx10mx10m, the reference target includes a plurality of unit spaces. Therefore, in this example, the average value, the maximum value, the minimum value, or the median value of the state quantity variability of the unit space included in the reference target object is calculated as the state quantity variability in the area where the reference target object exists. ..
あるいは、状態量変化性が直径1m長さ1mの円柱をなす単位空間を用いて表現されている場合において、基準物標が1mx1mx1mの立方体であり、単位空間と基準物標とが部分的に重なっている場合には、単位空間の状態量変化性及び当該単位空間外の状態量変化性の平均値、最大値、最小値、又は中央値が、基準物標が存在する領域における状態量変化性として算出される。一例では、単位空間内に位置する基準物標の部分の体積と、単位空間外に位置する基準物標の部分の体積とに応じて、対応する状態量変化性が重み付けされる。
Alternatively, when the state quantity variability is expressed using a unit space that forms a cylinder with a diameter of 1 m and a length of 1 m, the reference target is a cube of 1
したがって、本発明による実施例では、状態量変化性が高い領域に基準物標が存在する場合には、重み付け係数kwは小さく設定されるので、当該基準物標とこれに対応する検出物標との間の物標位置偏差は、推定自己位置の更新に関し、軽視される。これに対し、状態量変化性が低い領域に基準物標が存在する場合には、重み付け係数kwは大きく設定されるので、当該基準物標とこれに対応する検出物標との間の物標位置偏差は、推定自己位置の更新に関し、重視される。状態量変化性が低い領域に位置する物標の位置の精度は、状態量変化性が高い領域に位置する物標の位置の精度に比べて、高い。したがって、本発明による実施例では、推定自己位置をより正確に更新することができる。 Therefore, in the embodiment according to the present invention, when the reference target exists in the region where the state quantity change is high, the weighting coefficient kw is set small, so that the reference target and the detected target corresponding thereto are The target position deviation between the two is neglected regarding the update of the estimated self-position. On the other hand, when the reference target is present in the region where the state quantity variability is low, the weighting coefficient kw is set to a large value, so that the target between the reference target and the detected target corresponding thereto is set. The position deviation is considered important in updating the estimated self-position. The accuracy of the position of the target object located in the region where the state quantity variability is low is higher than the accuracy of the position of the target object located in the region where the state quantity variability is high. Therefore, in the embodiment according to the present invention, the estimated self-position can be updated more accurately.
図14は、本発明による実施例の自己位置推定制御を実行するためのルーチンを示している。このルーチンは自己位置推定制御を行うべきときに繰り返し行われる。図14を参照すると、ステップ101では基準物標が特定される。続くステップ102では検出物標が特定される。別の実施例(図示しない)では、検出物標の特定が行われ、次いで基準物標の特定が行われる。続くステップ103では、物標位置偏差が算出される。続くステップ104では重み付け係数kwが算出される。続くステップ105では自己位置偏差が算出される。続くステップ106では推定自己位置が更新される。
FIG. 14 shows a routine for executing self-position estimation control of the embodiment according to the present invention. This routine is repeatedly performed when the self-position estimation control should be performed. Referring to FIG. 14, in
図15は、環境地図情報Mの別の例を示している。図15に示される例では、環境地図情報Mは、空間内の複数の位置をそれぞれ表す位置情報と、それぞれ対応する位置情報と関連付けられた状態量変化性と、を有し、状態量代表値を有していない。この場合にも、状態量変化性により、複数の位置の状況を把握することができる。 FIG. 15 shows another example of the environment map information M. In the example shown in FIG. 15, the environment map information M includes position information representing a plurality of positions in space and state quantity variability associated with the corresponding position information, respectively. Does not have. Also in this case, it is possible to grasp the situation of a plurality of positions by the variability of the state quantity.
1 外部センサ
6a 環境地図記憶装置
6b 基準物標情報記憶装置
10 電子制御ユニット
12 自動運転制御部
12b 自己位置推定部
M 環境地図情報
1 External Sensor 6a Environment Map Storage Device 6b Reference Target Information Storage Device 10
Claims (1)
前記環境地図情報は、
空間内の複数の位置をそれぞれ表す位置情報と、
前記複数の位置のそれぞれの状態量変化性であって、それぞれ対応する前記位置情報と関連付けられた前記状態量変化性と、
を有しており、前記状態量変化性は、対応する位置の状態量の時間に対する変化のしやすさを表しており、
前記基準物標情報は、
空間内の複数の基準物標のそれぞれの特徴情報と、
前記複数の基準物標のそれぞれの位置を表す位置情報と、
を有しており、
前記電子制御ユニットは、
前記移動体の推定自己位置を求めるように構成されている自己位置推定部
を備え、
前記自己位置推定部は、
前記外部センサを用いて、前記移動体の外部の複数の物標をそれぞれ検出すると共に、検出された前記物標である検出物標の位置を、前記移動体の前記推定自己位置を用いてそれぞれ算出するように構成されている検出物標特定部であって、前記検出物標の前記移動体に対する相対位置をそれぞれ検出し、前記相対位置と前記移動体の前記推定自己位置とから、前記検出物標の位置をそれぞれ算出するように構成されている、検出物標特定部と、
前記基準物標情報を用いて、前記検出物標にそれぞれ対応する前記基準物標を特定すると共に、特定された前記基準物標の位置をそれぞれ特定するように構成されている基準物標特定部と、
前記検出物標の位置と対応する前記基準物標の位置との間の物標位置偏差をそれぞれ算出するように構成されている物標位置偏差算出部と、
算出された前記物標位置偏差を対応する重み付け係数によりそれぞれ重み付けすると共に、重み付けされた前記物標位置偏差に基づいて前記移動体の自己位置偏差を算出するように構成されている自己位置偏差算出部と、
前記自己位置偏差が最小になるように前記推定自己位置を更新するように構成されている推定自己位置更新部と、
を備え、
前記重み付け係数は、前記基準物標の位置における前記状態量変化性に基づいてそれぞれ設定されている、
移動体の自動運転制御システム。 An environment map storage device that stores environment map information, a reference target information storage device that stores reference target information, an external sensor for detecting information outside the moving body, and an electronic control unit. An automatic driving control system for a mobile body, comprising:
The environmental map information is
Position information representing each of a plurality of positions in space,
The state quantity variability of each of the plurality of positions, the state quantity variability associated with each corresponding position information,
And the state quantity variability represents the easiness of change of the state quantity of the corresponding position with respect to time,
The reference target information is
Feature information of each of the multiple reference targets in the space,
Position information indicating the position of each of the plurality of reference targets,
Has
The electronic control unit,
A self-position estimating unit configured to obtain an estimated self-position of the moving body,
The self-position estimation unit,
Using the external sensor, while detecting a plurality of targets outside the moving body, respectively, the position of the detected target is the detected target, using the estimated self-position of the moving body, respectively. A detection target specifying unit configured to calculate , detecting a relative position of the detection target with respect to the moving body, respectively, from the relative position and the estimated self position of the moving body, the detection A detected target specifying unit configured to calculate the position of each target ,
A reference target specifying unit configured to specify the reference target corresponding to each of the detected targets using the reference target information and to specify the position of each of the specified reference targets. When,
A target position deviation calculator configured to respectively calculate a target position deviation between the position of the detected target and the corresponding position of the reference target;
The self-position deviation calculation is configured to weight the calculated target position deviation with a corresponding weighting coefficient and to calculate the self-position deviation of the moving body based on the weighted target position deviation. Department,
An estimated self-position updating unit configured to update the estimated self-position such that the self-position deviation is minimized,
Equipped with
The weighting coefficient is respectively set based on the state quantity variability at the position of the reference target,
An automatic driving control system for mobile units.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016098097A JP6728959B2 (en) | 2016-05-16 | 2016-05-16 | Automatic operation control system for mobile |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016098097A JP6728959B2 (en) | 2016-05-16 | 2016-05-16 | Automatic operation control system for mobile |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017207821A JP2017207821A (en) | 2017-11-24 |
JP6728959B2 true JP6728959B2 (en) | 2020-07-22 |
Family
ID=60417161
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016098097A Expired - Fee Related JP6728959B2 (en) | 2016-05-16 | 2016-05-16 | Automatic operation control system for mobile |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6728959B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6939378B2 (en) | 2017-10-11 | 2021-09-22 | トヨタ自動車株式会社 | Vehicle control device |
JPWO2019131062A1 (en) * | 2017-12-27 | 2021-01-07 | パイオニア株式会社 | Judgment device and information recording device, judgment method and judgment program |
CN110688920B (en) * | 2019-09-17 | 2022-06-14 | 宁波吉利汽车研究开发有限公司 | Unmanned control method and device and server |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003345438A (en) * | 2002-05-29 | 2003-12-05 | Mitsubishi Heavy Ind Ltd | Mobile robot |
JP4978099B2 (en) * | 2006-08-03 | 2012-07-18 | トヨタ自動車株式会社 | Self-position estimation device |
US8930127B2 (en) * | 2007-07-12 | 2015-01-06 | Carmel—Haifa University Economic Corp Ltd. | Localization method for mobile robots based on landmarks |
JP4945480B2 (en) * | 2008-02-26 | 2012-06-06 | 株式会社日立製作所 | Position detection system |
JP6020326B2 (en) * | 2013-04-16 | 2016-11-02 | 富士ゼロックス株式会社 | Route search device, self-propelled working device, program, and recording medium |
WO2015072002A1 (en) * | 2013-11-15 | 2015-05-21 | 株式会社日立製作所 | Mobile robot system |
JP6303902B2 (en) * | 2014-08-04 | 2018-04-04 | 日産自動車株式会社 | Position detection apparatus and position detection method |
-
2016
- 2016-05-16 JP JP2016098097A patent/JP6728959B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2017207821A (en) | 2017-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3345086B1 (en) | A physical model and machine learning combined method to simulate autonomous vehicle movement | |
KR102313026B1 (en) | Vehicle and method for collision avoidance assist when backing up the vehicle | |
US10331139B2 (en) | Navigation device for autonomously driving vehicle | |
US10310511B2 (en) | Automatic driving control system of mobile object | |
CN108137015B (en) | Sideslip compensation control method for autonomous vehicle | |
JP6544320B2 (en) | Control system and control method of autonomous driving vehicle | |
JP6411956B2 (en) | Vehicle control apparatus and vehicle control method | |
CN108688660B (en) | Operating range determining device | |
CN109426261B (en) | Automatic driving device | |
JP7059888B2 (en) | Assistance control system | |
CN109215433A (en) | The Driving Scene generator of view-based access control model for automatic Pilot emulation | |
JP2017194527A (en) | Data structure of circumstance map, creation system of circumstance map and creation method, update system and update method of circumstance map | |
JP2015506310A (en) | Vehicle control based on cognitive uncertainty | |
JP6705270B2 (en) | Automatic operation control system for mobile | |
JP2018030531A (en) | Control system and control method for automatic operation vehicle | |
JP6728959B2 (en) | Automatic operation control system for mobile | |
JP2022129175A (en) | Vehicle evaluation method and vehicle evaluation device | |
JP2023095904A (en) | Self-position estimation device | |
CN111693054A (en) | Map information distribution system and vehicle | |
JP6728970B2 (en) | Automatic operation control system for mobile | |
JP6855759B2 (en) | Self-driving vehicle control system | |
JP6668915B2 (en) | Automatic operation control system for moving objects | |
JP6705271B2 (en) | Automatic operation control system for mobile | |
JP6798206B2 (en) | Recommended route determination system for mobiles | |
JP2020201647A (en) | Vehicle display control device, vehicle display control method, and vehicle display control program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191029 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200615 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6728959 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |