JP5482323B2 - Driving support device and program - Google Patents
Driving support device and program Download PDFInfo
- Publication number
- JP5482323B2 JP5482323B2 JP2010056031A JP2010056031A JP5482323B2 JP 5482323 B2 JP5482323 B2 JP 5482323B2 JP 2010056031 A JP2010056031 A JP 2010056031A JP 2010056031 A JP2010056031 A JP 2010056031A JP 5482323 B2 JP5482323 B2 JP 5482323B2
- Authority
- JP
- Japan
- Prior art keywords
- traveling
- vehicle
- host vehicle
- vector
- change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Description
本発明は、運転支援装置及びプログラムに係り、特に、自車両周辺に存在する他の走行体との衝突の可能性を判定する運転支援装置及びプログラムに関する。 The present invention relates to a driving support apparatus and program, and more particularly, to a driving support apparatus and program for determining the possibility of a collision with another traveling body existing around the host vehicle.
従来より、自車両と自車両周辺に存在する他車両、二輪車両、自転車、歩行者等の他の走行体との衝突の可能性を判定し、判定結果に基づいてドライバへの警報を行ったり、車両運動を制御したりすることが行われている。 Conventionally, the possibility of a collision between the host vehicle and another vehicle, a two-wheeled vehicle, a bicycle, a pedestrian, or the like existing around the host vehicle is determined, and a warning is given to the driver based on the determination result. Controlling vehicle movement has been done.
例えば、自動車等の移動体の外界環境の検出結果からその環境内に含まれる危険度(リスク)に係る情報を適応的に認識するリスク認識システムが提案されている(特許文献1参照)。特許文献1のリスク認識システムでは、ドライバを認識器の学習においての教師とし、ドライバの運転操作からリスク情報を抽出し、その運転操作に基づくリスク情報と、カメラから得られる画像情報との関連を人工知能技術を用いて学習させている。例えば、ドライバが歩行者を回避するような操作行動を行ったとき、その状況が危険であると判断し、そのときに得られた画像は危険であるということを学習させる。そして、次に同じような画像が得られた場合に危険であるという出力を行い、ドライバに警告を与えている。
For example, a risk recognition system that adaptively recognizes information related to the degree of risk (risk) included in the environment from the detection result of the external environment of a moving body such as an automobile has been proposed (see Patent Document 1). In the risk recognition system of
しかしながら、特許文献1に記載の発明では、画像特徴量を用いて自車両前方の状況の危険度を推定しているが、画像特徴量のみで危険状態を規定することは困難であり、自車両前方の状況と危険状態とが不確定な関係で対応付けられている場合もある。そのため、運転支援を行うための確度を持ってその学習結果を使用する際に、調整等の煩雑な処理が必要となる、という問題がある。また、衝突の可能性を判定する上で、他の走行体の行動を予測することが重要となるが、特許文献1に記載の発明では、他の走行体視点での他の走行体の行動が考慮されていないため、判定精度が低くなる、という問題がる。
However, in the invention described in
本発明は、上記の問題点を解決するためになされたもので、他の走行体視点の状況も考慮した精度の高い衝突判定を行うことができる運転支援装置及びプログラムを提供することを目的とする。 The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a driving support device and a program that can perform highly accurate collision determination in consideration of the situation of other traveling body viewpoints. To do.
上記目的を達成するために、本発明の運転支援装置は、自車両の走行状態及び自車両周辺に存在する他の走行体の走行状態を含む走行環境を取得する取得手段と、前記取得手段により取得された自車両の走行状態及び走行環境に基づいて、前記自車両の現在の状況及び該自車両を基準とした他の走行体の状況を示す自車両ベクトルを算出すると共に、前記他の走行体の現在の状況及び該他の走行体を基準とした自車両の状況を示す走行体ベクトルを算出するベクトル算出手段と、前記ベクトル算出手段により算出された自車両ベクトルと、複数の自車両ベクトルの各々と該自車両ベクトルの算出に用いた自車両の走行状態及び走行環境が取得された時刻の所定時間後の自車両の行動状態の変化の各々とを学習用データとして学習した前記所定時間後の自車両の行動状態の変化を予測するための自車両変化モデルとに基づいて、前記所定時間後の自車両の行動状態の変化を予測すると共に、前記ベクトル算出手段により算出された走行体ベクトルと、複数の走行体ベクトルの各々と該走行体ベクトルの算出に用いた自車両の走行状態及び走行環境が取得された時刻の前記所定時間後の他の走行体の行動状態の変化の各々とを学習用データとして学習した前記所定時間後の他の走行体の行動状態の変化を予測するための走行体変化モデルとに基づいて、前記所定時間後の他の走行体の行動状態の変化を予測する予測手段と、前記取得手段により取得された前記自車両の走行状態及び走行環境、並びに前記予測手段により予測された前記所定時間後の自車両の行動状態の変化及び前記所定時間後の他の走行体の行動状態の変化に基づいて、前記所定時間経過以降の前記自車両と前記他の走行体との相対距離を推定し、推定した前記相対距離に基づいて、前記自車両と前記他の走行体との衝突の可能性を判定する判定手段と、を含んで構成されている。 In order to achieve the above object, the driving support device of the present invention includes an acquisition unit that acquires a traveling environment including a traveling state of the host vehicle and a traveling state of another traveling body existing around the host vehicle, and the acquiring unit. Based on the acquired traveling state and traveling environment of the host vehicle, the host vehicle vector indicating the current state of the host vehicle and the state of another traveling body based on the host vehicle is calculated, and the other traveling A vector calculation means for calculating a running body vector indicating a current situation of the body and a situation of the own vehicle with reference to the other running body; a host vehicle vector calculated by the vector calculation means; and a plurality of host vehicle vectors predetermined for each and the free-vehicle vector running state and running environment of the vehicle used in the calculation of the learned and each change of behavior state of the vehicle after a predetermined time of the acquired time as the learning data Based on the vehicle change model for predicting the change in the behavior condition of the vehicle after between, as well as predict changes in behavior state of the vehicle after a predetermined time, travel calculated by the vector calculating unit and body vector, behavioral changes states of a plurality of run Gyotai vectors each with said traveling body vector vehicle running state and running environment other traveling body after the predetermined time of the acquired time used for calculation of the other based behavioral changes state of the running body on the traveling body change model to predict, other action state of the traveling body after the predetermined time of each said predetermined time after the learning as the learning data Predicting means for predicting the change of the vehicle, the traveling state and traveling environment of the host vehicle acquired by the acquiring unit, the change in the behavior state of the host vehicle after the predetermined time predicted by the predicting unit, and the predetermined A relative distance between the host vehicle and the other traveling body after the lapse of the predetermined time is estimated based on a change in the behavior state of another traveling body after a while, and the own traveling distance is estimated based on the estimated relative distance. Determining means for determining the possibility of a collision between the vehicle and the other traveling body.
本発明の運転支援装置によれば、取得手段が、自車両の走行状態及び自車両周辺に存在する他の走行体の走行状態を含む走行環境を取得し、ベクトル算出手段が、取得手段により取得された自車両の走行状態及び走行環境に基づいて、自車両の現在の状況及び自車両を基準とした他の走行体の状況を示す自車両ベクトルを算出すると共に、他の走行体の現在の状況及び他の走行体を基準とした自車両の状況を示す走行体ベクトルを算出する。このように走行体ベクトルも算出することにより、他の走行体視点での他の走行体の行動を考慮することができる。 According to the driving support apparatus of the present invention, the acquisition unit acquires the traveling environment including the traveling state of the host vehicle and the traveling states of other traveling bodies existing around the host vehicle, and the vector calculating unit acquires the traveling unit. Based on the traveling state and traveling environment of the subject vehicle, the present vehicle vector indicating the current situation of the subject vehicle and the situation of the other traveling body based on the own vehicle is calculated, and the current state of the other traveling body is calculated. A traveling body vector indicating the situation and the situation of the host vehicle with respect to another traveling body is calculated. By calculating the traveling body vector in this way, it is possible to consider the behavior of other traveling bodies from other traveling body viewpoints.
そして、予測手段が、ベクトル算出手段により算出された自車両ベクトルと、複数の自車両ベクトルの各々と該自車両ベクトルの算出に用いた自車両の走行状態及び走行環境が取得された時刻の所定時間後の自車両の行動状態の変化の各々とを学習用データとして学習した前記所定時間後の自車両の行動状態の変化を予測するための自車両変化モデルとに基づいて、所定時間後の自車両の行動状態の変化を予測すると共に、ベクトル算出手段により算出された走行体ベクトルと、複数の走行体ベクトルの各々と該走行体ベクトルの算出に用いた自車両の走行状態及び走行環境が取得された時刻の所定時間後の他の走行体の行動状態の変化の各々とを学習用データとして学習した所定時間後の他の走行体の行動状態の変化を予測するための走行体変化モデルとに基づいて、所定時間後の他の走行体の行動状態の変化を予測する。すなわち、他の走行体については、他の走行体視点の走行体ベクトルを用いて行動状態の変化を予測することができる。 Then, the prediction unit determines the time when the host vehicle vector calculated by the vector calculation unit, each of the plurality of host vehicle vectors, and the travel state and the travel environment of the host vehicle used to calculate the host vehicle vector are acquired. Based on the own vehicle change model for predicting the change in the behavior state of the own vehicle after the predetermined time learned as the learning data , each change in the behavior state of the own vehicle after the time, with predicting the change in the behavior condition of the vehicle, a traveling body vector calculated by the vector calculating means, a plurality of run Gyotai vector running state and running environment of each and of the vehicle used in the calculation of the running body vector of travel for but to predict changes in the other action state of the traveling body after the predetermined learned and each of the other action state of the traveling body after a predetermined acquired time time change as the learning data time Based on the change model to predict changes in the action state of the other traveling body after a predetermined time. That is, for other traveling bodies, it is possible to predict a change in behavior state using traveling body vectors from other traveling body viewpoints.
そして、判定手段が、取得手段により取得された自車両の走行状態及び走行環境、並びに予測手段により予測された所定時間後の自車両の行動状態の変化及び所定時間後の他の走行体の行動状態の変化に基づいて、所定時間経過以降の自車両と他の走行体との相対距離を推定し、推定した相対距離に基づいて、自車両と他の走行体との衝突の可能性を判定する。 Then, the determination means determines the traveling state and traveling environment of the own vehicle acquired by the acquiring means, the change in the behavior state of the own vehicle after a predetermined time predicted by the predicting means, and the behavior of another traveling body after the predetermined time. Based on the change in state, the relative distance between the host vehicle and another traveling body after a predetermined time has elapsed is estimated, and the possibility of a collision between the host vehicle and another traveling body is determined based on the estimated relative distance. To do.
このように、自車両の状況及び自車両を基準とした他の走行体の状況を示す自車両ベクトルだけでなく、他の走行体の状況及び他の走行体を基準とした自車両の状況を示す走行体ベクトルも算出して、他の走行体の所定時間後の行動状態の変化を予測するため、他の走行体視点の状況も考慮した精度の高い衝突判定を行うことができる。 In this way, not only the vehicle vector indicating the situation of the own vehicle and the situation of the other traveling body based on the own vehicle, but also the situation of the other vehicle and the situation of the own vehicle based on the other traveling body. Since the traveling body vector to be shown is also calculated and the change in the behavior state of the other traveling body after a predetermined time is predicted, it is possible to perform the collision determination with high accuracy in consideration of the situation of the other traveling body viewpoint.
また、前記ベクトル算出手段は、前記自車両の状況として、少なくとも自車両の位置、速度、加速度、及び向きを含み、前記他の走行体の状況として、少なくとも他の走行体の位置、速度、及び向きを含んだ前記自車両ベクトル及び前記走行体ベクトルを算出するようにすることができる。また、前記取得手段は、走行環境として前記自車両及び前記他の走行体が存在する走路の形状を取得し、前記ベクトル算出手段は、前記自車両の状況として、さらに自車両の進行方向の所定距離先の走路の曲率半径を含み、前記他の走行体の状況として、さらに他の走行体の進行方向の所定距離先の走路の曲率半径を含んだ前記自車両ベクトル及び前記走行体ベクトルを算出するようにすることができる。このように、各種情報を用いて自車両ベクトル及び走行体ベクトルを算出することにより、衝突判定の精度を向上させることができる。 The vector calculation means includes at least the position, speed, acceleration, and orientation of the host vehicle as the situation of the host vehicle, and at least the position, speed, and other position of the other running body as the situation of the other running body. The vehicle vector and the traveling body vector including the direction can be calculated. In addition, the acquisition unit acquires a shape of a traveling path where the host vehicle and the other traveling body exist as a driving environment, and the vector calculation unit further determines a predetermined traveling direction of the host vehicle as the situation of the host vehicle. The own vehicle vector and the traveling body vector including the radius of curvature of the traveling road ahead of the distance and further including the curvature radius of the traveling road ahead of the predetermined distance in the traveling direction of the other traveling body are calculated as the state of the other traveling body. To be able to. Thus, the accuracy of the collision determination can be improved by calculating the host vehicle vector and the traveling body vector using various information.
また、前記ベクトル算出手段は、前記自車両周辺に存在する他の走行体が複数存在する場合には、所定個の他の走行体を選択し、前記自車両の現在の状況及び該自車両を基準とした選択された他の走行体の各々の状況を示す自車両ベクトルを算出すると共に、選択された他の走行体の各々について、前記選択された他の走行体の現在の状況及び該他の走行体を基準とした自車両の状況及びその他の選択された他の走行体の各々の状況を示す走行体ベクトルを算出するようにすることができる。その際、前記ベクトル算出手段は、前記自車両と前記選択された他の走行体の各々との距離が近い順に前記自車両ベクトル及び前記走行体ベクトルの要素とするようにすることができる。このように、他の走行体が複数存在するような複雑な状況の場合でも、適切に自車両ベクトル及び走行体ベクトルを算出することができる。 The vector calculating means selects a predetermined number of other traveling bodies when there are a plurality of other traveling bodies existing around the own vehicle, and determines the current situation of the own vehicle and the own vehicle. Calculate the own vehicle vector indicating the status of each of the other selected traveling bodies as a reference, and for each of the selected other traveling bodies, the current status of the selected other traveling body and the other It is possible to calculate a traveling body vector indicating the situation of the host vehicle with respect to the traveling body of the vehicle and each of the other selected traveling bodies. In that case, the vector calculation means can use the own vehicle vector and the elements of the traveling body vector in order of increasing distance from the own vehicle and each of the selected other traveling bodies. Thus, even in a complicated situation where there are a plurality of other traveling bodies, the host vehicle vector and the traveling body vector can be appropriately calculated.
また、前記自車両変化モデルを、前記自車両ベクトルが投影されるベクトル空間を複数に区分した各々の領域内での行動状態の変化別の割合で定め、前記走行体変化モデルを、前記走行体ベクトルが投影されるベクトル空間を複数に区分した各々の領域内での行動状態の変化別の割合で定めるようにすることができる。このような自車両変化モデル及び走行体変化モデルを用いることにより、自車両及び他の走行体の行動状態の変化を柔軟に予測することができる。 Further, the host vehicle change model is determined at a rate for each change in action state in each region obtained by dividing the vector space onto which the host vehicle vector is projected, and the running body change model is defined as the running body. The vector space onto which the vector is projected can be determined at a rate corresponding to the change in the behavior state in each of the divided areas. By using such a host vehicle change model and a traveling body change model, it is possible to flexibly predict changes in the behavior state of the host vehicle and other traveling bodies.
また、前記予測手段は、前記所定時間後の自車両の行動状態の変化別の割合を予測すると共に、前記所定時間後の他の走行体の行動状態の変化別の割合を予測し、前記判定手段は、自車両の行動状態の変化と他の走行体の行動状態の変化との組合せの各々について前記相対距離を推定し、前記相対距離が予め定めた閾値距離より小さくなる組合せの前記自車両の行動状態の変化別の割合と前記他の走行体の行動状態の変化別の割合とを乗算した発生割合に基づいて、前記自車両と前記他の走行体との衝突の可能性を判定するようにすることができる。 Further, the predicting means predicts a rate of change in behavior state of the host vehicle after the predetermined time, and predicts a rate of change in behavior state of other traveling bodies after the predetermined time. The means estimates the relative distance for each combination of a change in the behavior state of the host vehicle and a change in the behavior state of another traveling body, and the host vehicle in a combination in which the relative distance is smaller than a predetermined threshold distance The possibility of a collision between the host vehicle and the other traveling body is determined based on an occurrence ratio obtained by multiplying the ratio according to the change in behavior state of the vehicle and the ratio according to the change in behavior state of the other traveling body. Can be.
また、前記行動状態の変化を、加速、等速、及び減速とすることができる。 Further, the change in the behavior state can be acceleration, constant speed, and deceleration.
また、本発明の運転支援装置は、前記取得手段で取得された自車両の走行状態及び走行環境の履歴に基づいて、前記所定時間後の自車両の行動状態の変化、及び前記所定時間後の他の走行体の行動状態の変化を算出する変化算出手段と、前記ベクトル算出手段により算出された前記自車両ベクトルと前記変化算出手段により算出された前記所定時間後の自車両の行動状態の変化との対応に基づいて、前記自車両変化モデルを更新すると共に、前記ベクトル算出手段により算出された前記走行体ベクトルと前記変化算出手段により算出された前記所定時間後の他の走行体の行動状態の変化との対応に基づいて、前記走行体変化モデルを更新する更新手段と、を含んで構成するようにすることができる。このように、実際に取得されたデータに基づいて、自車両変化モデル及び走行体変化モデルを更新することにより、車両やドライバの個人差を吸収することができる。 Further, the driving support device of the present invention is based on the traveling state and traveling environment history of the host vehicle acquired by the acquiring unit, and changes in the behavior state of the host vehicle after the predetermined time, and after the predetermined time. Change calculation means for calculating a change in the behavior state of another traveling body, the own vehicle vector calculated by the vector calculation means, and a change in the behavior state of the own vehicle after the predetermined time calculated by the change calculation means The vehicle change model is updated based on the correspondence between the vehicle and the behavior vector of the other vehicle after the predetermined time calculated by the vector calculator and the change calculator. Updating means for updating the traveling body change model based on the correspondence with the change. As described above, by updating the own vehicle change model and the traveling body change model based on the actually acquired data, individual differences between the vehicle and the driver can be absorbed.
また、前記他の走行体には、他車両、二輪車両、自転車、及び歩行者が含まれる。 The other traveling bodies include other vehicles, two-wheeled vehicles, bicycles, and pedestrians.
また、本発明の運転支援プログラムは、コンピュータを、自車両の走行状態及び自車両周辺に存在する他の走行体の走行状態を含む走行環境を取得する取得手段、前記取得手段により取得された自車両の走行状態及び走行環境に基づいて、前記自車両の現在の状況及び該自車両を基準とした他の走行体の状況を示す自車両ベクトルを算出すると共に、前記他の走行体の現在の状況及び該他の走行体を基準とした自車両の状況を示す走行体ベクトルを算出するベクトル算出手段、前記ベクトル算出手段により算出された自車両ベクトルと、複数の自車両ベクトルの各々と該自車両ベクトルの算出に用いた自車両の走行状態及び走行環境が取得された時刻の所定時間後の自車両の行動状態の変化の各々とを学習用データとして学習した前記所定時間後の自車両の行動状態の変化を予測するための自車両変化モデルとに基づいて、前記所定時間後の自車両の行動状態の変化を予測すると共に、前記ベクトル算出手段により算出された走行体ベクトルと、複数の走行体ベクトルの各々と該走行体ベクトルの算出に用いた自車両の走行状態及び走行環境が取得された時刻の前記所定時間後の他の走行体の行動状態の変化の各々とを学習用データとして学習した前記所定時間後の他の走行体の行動状態の変化を予測するための走行体変化モデルとに基づいて、前記所定時間後の他の走行体の行動状態の変化を予測する予測手段、及び前記取得手段により取得された前記自車両の走行状態及び走行環境、並びに前記予測手段により予測された前記所定時間後の自車両の行動状態の変化及び前記所定時間後の他の走行体の行動状態の変化に基づいて、前記所定時間経過以降の前記自車両と前記他の走行体との相対距離を推定し、推定した前記相対距離に基づいて、前記自車両と前記他の走行体との衝突の可能性を判定する判定手段として機能させるためのプログラムである。 The driving support program according to the present invention includes a computer that acquires a traveling environment including a traveling state of the host vehicle and a traveling state of another traveling body existing around the host vehicle, and the driver acquired by the acquiring unit. Based on the traveling state and the traveling environment of the vehicle, the present vehicle vector indicating the current state of the own vehicle and the state of the other traveling body based on the own vehicle is calculated, and the current state of the other traveling body is calculated. A vector calculation means for calculating a running body vector indicating the situation and the situation of the own vehicle with reference to the other running body, the own vehicle vector calculated by the vector calculation means, each of a plurality of own vehicle vectors and the own vehicle vector ; the predetermined time that has learned and each change of behavior state of the vehicle after a predetermined time at the time the running state and running environment of the vehicle is acquired using the calculated vehicle vector as the learning data Based on the vehicle change model for predicting the change in the behavior condition of the vehicle after, as well as predict changes in behavior state of the vehicle after a predetermined time, the running body calculated by the vector calculating unit vector and, of a plurality of run Gyotai vectors each with said traveling body vector calculated vehicle running state and running environment of the behavioral changes the state of the other traveling member after the predetermined time of the acquired time using the Based on a traveling body change model for predicting a change in the behavior state of another traveling body after the predetermined time learned as learning data, each of the behavioral states of the other traveling bodies after the predetermined time Predicting means for predicting a change, traveling state and traveling environment of the own vehicle acquired by the acquiring means, change in behavior state of the own vehicle after the predetermined time predicted by the predicting means, and the predetermined A relative distance between the host vehicle and the other traveling body after the lapse of the predetermined time is estimated based on a change in the behavior state of another traveling body after a while, and the own traveling distance is estimated based on the estimated relative distance. It is a program for functioning as a determination means for determining the possibility of a collision between a vehicle and the other traveling body.
なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ROMであってもよい。また、CD−ROMやDVDディスク、光磁気ディスクやICカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。 The storage medium for storing the program of the present invention is not particularly limited, and may be a hard disk or a ROM. Further, it may be a CD-ROM, a DVD disk, a magneto-optical disk or an IC card. Furthermore, the program may be downloaded from a server or the like connected to the network.
以上説明したように、本発明の運転支援装置及びプログラムによれば、自車両の状況及び自車両を基準とした他の走行体の状況を示す自車両ベクトルだけでなく、他の走行体の状況及び他の走行体を基準とした自車両の状況を示す走行体ベクトルも算出して、他の走行体の所定時間後の行動状態の変化を予測するため、他の走行体視点の状況も考慮した精度の高い衝突判定を行うことができる、という効果が得られる。 As described above, according to the driving support apparatus and program of the present invention, not only the own vehicle vector indicating the situation of the own vehicle and the situation of the other running body based on the own vehicle, but also the situation of the other running body. In addition, it also calculates the traveling body vector indicating the situation of the host vehicle with reference to the other traveling body, and predicts the change in the behavior state of the other traveling body after a predetermined time. The effect that the highly accurate collision determination can be performed is obtained.
以下、図面を参照して本発明の実施の形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1に示すように、本実施の形態に係る運転支援装置10は、自車両の前方に対してレーザを1次元(水平方向)に走査しながら照射し、レーザの反射によりレーザが照射された物体の2次元位置を検出するレーザレーダ12と、車両周辺を撮像するCCDカメラ等で構成され、撮像された画像の画像データを出力する撮像装置14と、GPS衛星からの衛星信号を受信し、擬似距離データ等のGPSデータを出力するGPS装置16と、自車両の車速を検出する車速センサ、自車両の加速度を検出する加速度センサ、及び自車両のヨー角を検出するヨー角センサを含む車両センサ18と、判定結果に応じて警報を表示するための表示装置や警報を音声出力するためのスピーカ等で構成された警報装置22と、自車両と他の走行体との衝突の可能性を判定する処理を実行するコンピュータ30と、を備えている。
As shown in FIG. 1, the driving
コンピュータ30は、運転支援装置10全体の制御を司るCPU、後述する衝突判定処理ルーチン及び学習処理ルーチンを含む運転支援処理ルーチンを実行するためのプログラム等を記憶したROM、データ等を一時的に記憶するRAM、各種情報が記憶されたメモリ、及びこれらを接続するバスを含んで構成されている。
The
このコンピュータ30をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図1に示すように、レーザレーダ12により測定された測定データ、撮像装置14により撮像された画像データ、GPS装置16から出力されたGPSデータ、車両センサ18の検出値、及びネットワークを介して接続された電子地図記憶装置20に記憶された地図情報に基づいて、シーン(状況)に応じた自車両ベクトル及び走行体ベクトル、並びに自車両及び他の走行体の所定時間後の行動状態変化を算出する環境認識部32と、自車両ベクトルと自車両の行動状態変化、及び走行体ベクトルと他の走行体の行動状態変化とが対応して記憶されるシーンベクトル記憶部34と、シーンベクトル記憶部34に記憶された情報を学習して、自車両及び他の走行体の行動状態の変化を予測するための変化モデルを生成する学習部36と、生成された変化モデルが記憶される変化モデル記憶部38と、自車両ベクトル、走行体ベクトル、及び変化モデルに基づいて、自車両及び他の走行体の行動を予測する行動予測部40と、予測された自車両及び他の走行体の行動に基づいて、自車両と他の走行体との衝突の可能性を判定する衝突判定部42と、を含んだ構成で表すことができる。なお、環境認識部32が、本発明の取得手段、ベクトル算出手段、及び変化算出手段の一例であり、学習部36が、本発明の更新手段の一例である。
If the
環境認識部32は、GPS装置16からGPSデータを取得し、自車両の位置座標(S_x,S_y)を算出する。また、車両センサ18の車速センサ、加速度センサ、及びヨー角センサの検出値を取得し、自車両の進行方向をX軸、X軸に直交する方向をY軸とするXY座標系を想定し、自車両の速度(S_vx,S_vy)、自車両の加速度(S_ax,S_ay)、自車両の向き(S_dir)を算出する。なお、自車両の速度は、GPSデータのドップラー周波数に基づいて算出するようにしてもよいし、時系列の自車両の位置座標を微分して算出してもよい。また、自車両の加速度は、時系列の自車両の速度を微分して算出してもよい。
The
また、環境認識部32は、撮像装置14から出力された画像データ、及びレーザレーダ12の測定データを取得し、画像データを画像認識した結果、及びレーザレーダ12による物体検出の結果に基づいて、自車両の周辺に存在する他の走行体を抽出し、他の走行体リストを生成する。例えば、図2に示すシーンでは、走行体A及び走行体Bが抽出される。
Further, the
また、環境認識部32は、さらに、可動物識別部32aと走路識別部32bとを含んだ構成で表すことができる。
Moreover, the
可動物識別部32aは、取得した画像データを画像認識して、他の走行体リストに含まれる走行体の属性c(他車両、二輪車両、自転車、歩行者等)を識別する。例えば、図2の例では、走行体Aの属性は「歩行者」、走行体Bの属性は「他車両」と識別される。また、画像認識の結果から、他の走行体の各々の向き(O_dir)を算出する。向きdirは、xの正方向を0deg、yの正方向を90deg、xの負方向を180degとして表した角度(degree)である。
The movable
なお、走行体Aの向きについて表記する場合には「OA_dir」とし、走行体Bの向きについて表記する場合には「OB_dir」とする。以下、他の走行体の各々を区別することなく他の走行体に関する情報を表記する場合には「O_」とし、特定の他の走行体の情報を表記する場合には、「OA_」「OB_」等のように表記する。 In addition, when describing about the direction of the traveling body A, it is set as "OA_dir", and when describing about the direction of the traveling body B, it is set as "OB_dir." Hereinafter, when notifying each other traveling body without distinguishing each of the other traveling bodies, it is referred to as “O_”, and when describing information on a specific other traveling body, “OA_”, “OB_” "And so on.
さらに、可動物識別部32aは、取得したレーザレーダ12の測定データに基づいて、自車両と他の走行体の各々との相対距離を算出し、相対距離の微分値を自車両に対する他の走行体の各々の相対速度として算出し、相対速度の微分値を自車両に対する他の走行体の各々の相対加速度として算出する。そして、自車両の位置座標(S_x,S_y)、自車両の速度(S_vx,S_vy)、自車両の加速度(S_ax,S_ay)、相対距離、相対速度、及び相対加速度に基づいて、他の走行体の位置座標(O_x,O_y)、他の走行体の速度(O_vx,O_vy)、及び他の走行体の加速度(O_ax,O_ay)を算出する。
Further, the movable
走路識別部32bは、電子地図記憶装置20から地図情報を取得し、地図情報とGPSデータとを照合して、最近傍の走行可能なレーンや歩道等を認識し、自車両及び他の走行体の走行する走路の中央線を識別する。そして、自車両の進行方向走路の中央線をクロソイド曲線で近似した場合における所定距離(S_WL)先の曲率半径(S_WR)を算出する。同様に、他の走行体の進行方向走路の所定距離(O_WL)先の曲率半径(O_WR)を算出する。なお、所定距離WLは、Z秒後(例えば、2〜3秒後)の自車両及び他の走行体の行動を予測することを考慮して、属性に応じたZ秒間の走行距離を想定した値を予め定めておく。例えば、属性が自車両または他車両であれば、WL=50mとして定めておくことができる。
The travel
また、環境認識部32は、他の走行体リストに含まれる他の走行体の中から、自車両との距離が近い順にN個の他の走行体を選択する。また、選択した他の走行体について、過去のデータを参照して既にデータが存在する走行体については、既に付与されている走行体固有の識別番号と同一の識別番号を付与する。新たに出現した走行体については、新たな識別番号を付与する。
In addition, the
また、環境認識部32は、自車両及び過去のデータが存在する走行体の各々について、x方向の速度vx及びy方向の速度vyの合成速度の絶対値の現時点の値VTとZ秒前の値VT−Zとの増減から行動状態の変化を示す行動状態変化を算出する。本実施の形態では、行動状態変化を、加速、等速、及び減速とする。具体的には、VT−Z−VT<εであれば加速、VT−Z−VT>εであれば減速、その他を等速として行動状態変化を算出する。εは、例えば1m/sとすることができる。
Moreover, the
また、環境認識部32は、自車両及び選択されたN個の他の走行体の各々について算出した属性c、向きdir、位置(x,y)、速度(vx,vy)、加速度(ax,ay)、距離WL、曲率半径WRを用いて、現在のシーンにおける自車両ベクトル及び走行体ベクトルを生成する。例えば、図2に示すようなシーンQにおける自車両ベクトルは下記(1)式となる。
The
シーンQの自車両ベクトル
=(S_c,S_x,S_y,S_vx,S_vy,S_ax,S_ay,S_dir,S_WR,S_WL,
OA_c,OA_x,OA_y,OA_vx,OA_vy,OA_ax,OA_ay,OA_dir,OA_WR,OA_WL,
OB_c,OB_x,OB_y,OB_vx,OB_vy,OB_ax,OB_ay,OB_dir,OB_WR,OB_WL)
・・・(1)
Scene Q vehicle vector
= (S_c, S_x, S_y, S_vx, S_vy, S_ax, S_ay, S_dir, S_WR, S_WL,
OA_c, OA_x, OA_y, OA_vx, OA_vy, OA_ax, OA_ay, OA_dir, OA_WR, OA_WL,
(OB_c, OB_x, OB_y, OB_vx, OB_vy, OB_ax, OB_ay, OB_dir, OB_WR, OB_WL)
... (1)
ここで、自車両ベクトルは、自車両、自車両との距離が最も近い走行体、自車両との距離が次に近い走行体、・・・自車両との距離が最も遠い走行体の順に、各々の状況を示す値をベクトルの要素とする。また、他の走行体の走行体ベクトルは、自車両ベクトルと同一の値を用いて、要素の順番を他の走行体との距離が近い順に要素の順番を入れ換えることで生成することができる。シーンQにおける走行体Aの走行体ベクトルを下記(2)式に示す。 Here, the own vehicle vector is the order of the own vehicle, the traveling body having the closest distance to the own vehicle, the traveling body having the next closest distance to the own vehicle,... A value indicating each situation is a vector element. Moreover, the traveling body vector of the other traveling body can be generated by using the same value as that of the host vehicle vector and changing the order of the elements in the order in which the distance from the other traveling body is closer. The traveling body vector of the traveling body A in the scene Q is shown in the following equation (2).
シーンQの走行体Aの走行体ベクトル
=(OA_c,OA_x,OA_y,OA_vx,OA_vy,OA_ax,OA_ay,OA_dir,OA_WR,OA_WL,
OB_c,OB_x,OB_y,OB_vx,OB_vy,OB_ax,OB_ay,OB_dir,OB_WR,OB_WL,
S_c,S_x,S_y,S_vx,S_vy,S_ax,S_ay,S_dir,S_WR,S_WL)
・・・(2)
Traveling body vector of traveling body A in scene Q
= (OA_c, OA_x, OA_y, OA_vx, OA_vy, OA_ax, OA_ay, OA_dir, OA_WR, OA_WL,
OB_c, OB_x, OB_y, OB_vx, OB_vy, OB_ax, OB_ay, OB_dir, OB_WR, OB_WL,
(S_c, S_x, S_y, S_vx, S_vy, S_ax, S_ay, S_dir, S_WR, S_WL)
... (2)
シーンQにおける自車両ベクトル及び走行体ベクトルを上記のように生成することにより、自車両ベクトルでは、自車両を基準としたシーンQの状況を捉えることができ、走行体ベクトルでは、他の走行体を基準とした、すなわち他の走行体視点のシーンQの状況を捉えることができる。 By generating the host vehicle vector and the traveling body vector in the scene Q as described above, the host vehicle vector can capture the situation of the scene Q with reference to the host vehicle. That is, the situation of the scene Q from the viewpoint of another traveling body can be captured.
シーンベクトル記憶部34には、生成された自車両ベクトル、走行体ベクトル、及び算出された行動状態変化が記憶される。記憶する際には、自車両ベクトル及び走行体ベクトルと、その自車両ベクトル及び走行体ベクトルが生成された時刻(データが取得された時刻)のZ秒後の時刻に算出された行動状態変化とが対応するように記憶する。
The scene
図3にシーンベクトル記憶部34に記憶された自車両ベクトル及び走行体ベクトル、並びに行動状態変化の一例を示す。図中の「ID」は自車両及び他の走行体に付与された固有の識別番号であり、自車両は、ID=0で固定である。また、図中の行動状態変化は、加速を「1」、等速を「0」、減速を「−1」で示している。また、自車両ベクトルにおける他の走行体の状況を示す要素は、選択されたN個の他の走行体について自車両との距離が近い順に「O1_」〜「ON_」としている。同様に、走行体ベクトルにおける自車両及びその他の他の走行体の状況を示す要素は、基準となる他の走行体を除いた(N−1)個の他の走行体及び自車両について基準となる他の走行体との距離が近い順に「O1_」〜「ON_」としている。走行体ベクトルにおいて、基準となる走行体は、「OS_」としている。また、データ取得の時間間隔dtは、例えば0.1秒とすることができる。
FIG. 3 shows an example of the host vehicle vector and the traveling body vector stored in the scene
学習部36は、さらに、自車両シーン分類部36aと走行体シーン分類部36bとを含んだ構成で表すことができる。
The
自車両シーン分類部36aは、シーンベクトル記憶部34に記憶された自車両ベクトル及び対応して記憶された行動状態変化を学習用データとして学習して、自車両の行動状態の変化を予測するための自車両変化モデルを生成する。具体的には、図4に示すように、自車両ベクトルが投影されるベクトル空間の各軸を離散化してベクトル空間を所定領域に区分したブロック毎に、投影された自車両ベクトルに対応する行動状態変化(加速:AC、等速:CR、減速:DC)別のデータ数、及びその総数Mを計算し、行動状態変化別の割合(加速の割合:P_AC、等速の割合:P_CR、減速の割合:P_DC)を算出する。なお、シーンベクトル記憶部34に該当するデータが存在しない場合に対応するために、初期値として、CR=N(N>0、例えばN=1)、AC=DC=0のように定めておくことができる。離散化の基準をヘッダーとしたブロック毎の行動状態変化別の割合を自車両変化モデルとして、変化モデル記憶部38に記憶する。
The own vehicle scene classification unit 36a learns the own vehicle vector stored in the scene
また、別の手法として、自車両ベクトル及び走行体ベクトルを用いたロジスティック回帰にて、以下の3グループを学習する。
i:ACとそれ以外とを2値化し(ACなら1、それ以外なら0)、これを回帰するモデルF1
ii:DCとそれ以外とを2値化し(DCなら1、それ以外なら0)、これを回帰するモデルF2
iii:CRとそれ以外とを2値化し(CRなら1、それ以外なら0)、これを回帰するモデルF3
As another method, the following three groups are learned by logistic regression using the host vehicle vector and the traveling body vector.
i: A model F1 that binarizes AC and the rest (1 for AC, 0 otherwise) and regresses this
ii: Model F2 that binarizes DC and other values (1 for DC, 0 for other) and regresses this
iii: A model F3 that binarizes CR and other values (1 for CR, 0 for other values) and regresses this
そして、F1、F2、F3を用いてベクトル空間の各軸を離散化して生成された仮想的な入力ベクトルを用いて、該当するブロック毎にF1、F2、F3の値 P_F1、P_F2、P_F3を算出し、AC、CR、DCの割合P_AC、P_CR、P_DCを以下の様に算定することができる。
P_AC=P_F1/(P_F1+P_F2+P_F3)
P_CR=P_F2/(P_F1+P_F2+P_F3)
P_DC=P_F3/(P_F1+P_F2+P_F3)
Then, using the virtual input vector generated by discretizing each axis of the vector space using F1, F2, and F3, the values P_F1, P_F2, and P_F3 of F1, F2, and F3 are calculated for each corresponding block. Then, the ratios P_AC, P_CR, P_DC of AC, CR, and DC can be calculated as follows.
P_AC = P_F1 / (P_F1 + P_F2 + P_F3)
P_CR = P_F2 / (P_F1 + P_F2 + P_F3)
P_DC = P_F3 / (P_F1 + P_F2 + P_F3)
走行体シーン分類部36bは、走行体ベクトルを用いて、自車両シーン分類部36aと同様の手法により、走行体変化モデルを生成して、変化モデル記憶部38に記憶する。図5に、自車両変化モデル及び走行体変化モデルの一例を示す。
The traveling body
行動予測部40は、さらに自車両行動予測部40aと走行体行動予測部40bとを含んだ構成で表すことができる。
The
自車両行動予測部40aは、環境認識部32で生成された現在の自車両ベクトルと、変化モデル記憶部38に記憶された自車両変化モデルとを照合して、Z秒後の自車両の行動状態の変化を予測する。例えば、図5に示す自車両変化モデルにおいて、自車両ベクトルがブロックAに該当する場合には、Z秒後の自車両の行動状態は、「加速」である場合が0%、「等速」である場合が80%、「減速」である場合が20%であると予測する。
The own vehicle
走行体行動予測部40bは、自車両行動予測部40aと同様の手法により、走行体ベクトルと走行体変化モデルとを照合して、Z秒後の他の走行体の行動状態の変化を予測する。例えば、図5に示す走行体変化モデルにおいて、走行体ベクトルがブロックCに該当する場合には、Z秒後の他の走行体の行動状態は、「加速」である場合が80%、「等速」である場合が20%、「減速」である場合が0%であると予測する。
The traveling body
衝突判定部42は、自車両及び他の走行体の現在の走行状態、及び行動予測部40で予測されたZ秒後の行動状態の変化に基づいて、自車両及び他の走行体の軌跡を算出する。例えば、自車両について、現在の自車両の速度および加速度がZ秒間継続した後、Z秒後に行動状態変化(例えば、「加速」)が生じた場合の各時刻の予測位置を算定する。行動状態変化における加速は、例えば加速度1m/s2の加速、減速は、例えば加速度−1m/s2の減速として予め定めておく。また、他の走行体の場合には、行動状態変化における加速は、例えば加速度1m/s2の加速、減速は、例えば加速度−2m/s2の減速として、自車両の場合とは異なる値を定めておいてもよい。また、走行体の属性に応じて異なる値を定めておいてもよい。また、以下のように、Z秒経過後以降の加速度を算出してもよい。
The
図6を参照して、S_vx+S_ax・s=0とした場合に、Z>s>0となるsが存在し、かつS_vy+S_ay・s=0となる場合、または、S_vy+S_ay・s=0とした場合に、Z>s>0となるsが存在し、かつS_vx+S_ax・s=0となる場合は、Zはsとして算定する。現在からZ秒まで
S_x’=S_x+S_vx・Z+0.5・S_ax・Z2
S_y’=S_y+S_vy・Z+0.5・S_ay・Z2
S_vx’=S_vx+S_ax・Z
S_vy’=S_vy+S_ay・Z
Referring to FIG. 6, when S_vx + S_ax · s = 0, there exists s satisfying Z>s> 0 and S_vy + S_ay · s = 0, or when S_vy + S_ay · s = 0. , Z>s> 0, and S_vx + S_ax · s = 0, Z is calculated as s. From now to Z seconds S_x ′ = S_x + S_vx · Z + 0.5 · S_ax · Z 2
S_y ′ = S_y + S_vy · Z + 0.5 · S_ay · Z 2
S_vx ′ = S_vx + S_ax · Z
S_vy ′ = S_vy + S_ay · Z
減速の場合、tの上限は、[(S_vx’)2+(S_vx’)2]0.5÷(−α)として、(Z+t)秒後の加速度を以下のように求める。
S_x”(t) =S_x’+S_vx’・t+0.5 ・azx ・t2
S_y”(t) =S_y’+S_vy’・t+0.5 ・azy ・t2
In the case of deceleration, the upper limit of t is [(S_vx ′) 2 + (S_vx ′) 2 ] 0.5 ÷ (−α), and the acceleration after (Z + t) seconds is obtained as follows.
S_x ″ (t) = S_x ′ + S_vx ′ · t + 0.5 · azx · t 2
S_y ″ (t) = S_y ′ + S_vy ′ · t + 0.5 · azy · t 2
また、衝突判定部42は、予測された行動状態変化毎に算出された自車両及び他の走行体の軌跡に基づいて、予測された行動状態変化別の割合が0%以外の行動状態変化の全組合せについて、自車両と他の走行体との相対距離を算出する。上記の図5の例の場合には、図7に示すように、(1)自車両の行動状態変化が「等速」、他の走行体の行動状態変化が「加速」の場合、(2)自車両の行動状態変化が「減速」、他の走行体の行動状態変化が「加速」の場合、(3)自車両の行動状態変化が「等速」、他の走行体の行動状態変化が「等速」の場合、(4)自車両の状態変化が「減速」、他の走行体の状態変化が「等速」の場合の4つの組合せが存在する。これら(1)〜(4)の組合せの各々についての自車両と他の走行体との相対距離の一例を図8に示す。
In addition, the
現在時刻からZ秒後を経過した以降の時点において、算出された相対距離が閾値dcrよりも小さくなる組合せが存在した場合には、その組合せの自車両の行動状態の変化別の割合と他の走行体の行動状態変化別の割合とを乗算して、その組合せが発生する発生割合を算出し、その発生割合が所定の閾値(例えば、30%)より大きい場合に、自車両と他の走行体とが衝突する可能性があると判定して、警報装置22により警報が出力されるよう制御する。
If there is a combination in which the calculated relative distance becomes smaller than the threshold value dcr after Z seconds have elapsed from the current time, the ratio of the combination according to the change in the behavior state of the own vehicle and the other The rate of occurrence of the combination is calculated by multiplying the rate according to the behavior state change of the traveling body, and when the rate of occurrence is larger than a predetermined threshold value (for example, 30%), the host vehicle and the other running It is determined that there is a possibility of collision with the body, and the
次に、図9を参照して、コンピュータ30で実行される衝突判定処理ルーチンについて説明する。
Next, a collision determination processing routine executed by the
ステップ100で、レーザレーダ12の測定データ、撮像装置14から出力された画像データ、GPS装置16から出力されたGPSデータ、車両センサ18で検出された検出値を取得する。
In
次に、ステップ102で、GPSデータに基づいて、自車両の位置座標(S_x,S_y)を算出する。また、車両センサ18の車速センサ、加速度センサ、及びヨー角センサの検出値に基づいて、自車両の進行方向をX軸、X軸に直交する方向をY軸とするXY座標系を想定し、自車両の速度(S_vx,S_vy)、自車両の加速度(S_ax,S_ay)、自車両の向き(S_dir)を算出する。
Next, in
次に、ステップ104で、画像データを画像認識し、レーザレーダ12の測定値から自車両の周辺の物体を検出し、画像認識の結果及び物体検出の結果に基づいて、自車両の周辺に存在する他の走行体を抽出し、他の走行体リストを生成する。
Next, in
次に、ステップ106で、画像データを画像認識して、他の走行体リストに含まれる走行体の属性c(他車両、二輪車両、自転車、歩行者等)を識別する。また、画像認識の結果から、他の走行体の各々の向き(O_dir)を算出する。
Next, in
次に、ステップ108で、レーザレーダ12の測定データに基づいて、自車両と他の走行体の各々との相対距離を算出し、相対距離の微分値を自車両に対する他の走行体の各々の相対速度として算出し、相対速度の微分値を自車両に対する他の走行体の各々の相対加速度として算出する。
Next, in
次に、ステップ110で、上記ステップ102で算出された自車両の位置座標(S_x,S_y)、自車両の速度(S_vx,S_vy)、自車両の加速度(S_ax,S_ay)、上記ステップ108で算出された相対距離、相対速度、及び相対加速度に基づいて、他の走行体の位置座標(O_x,O_y)、他の走行体の速度(O_vx,O_vy)、及び他の走行体の加速度(O_ax,O_ay)を算出する。
Next, in
次に、ステップ112で、電子地図記憶装置20から地図情報を取得し、次に、ステップ114で、地図情報とGPSデータとを照合して、最近傍の走行可能なレーンや歩道等を認識し、自車両及び他の走行体の走行する走路の中央線を識別する。
Next, in
次に、ステップ116で、上記ステップ114で識別した自車両の進行方向走路の中央線をクロソイド曲線で近似した場合における所定距離(S_WL)先の曲率半径(S_WR)を算出する。同様に、他の走行体の進行方向走路の所定距離(O_WL)先の曲率半径(O_WR)を算出する。
Next, in
次に、ステップ118で、上記ステップ104で生成した他の走行体リストに含まれる他の走行体の中から、自車両との距離が近い順にN個の他の走行体を選択する。また、選択した他の走行体について、過去のデータを参照して既にデータが存在する走行体については、既に付与されている走行体固有の識別番号と同一の識別番号を付与する。新たに出現した走行体については、新たな識別番号を付与する。
Next, in
次に、ステップ120で、自車両及び過去のデータが存在する走行体の各々について、x方向の速度vx及びy方向の速度vyの合成速度の絶対値の現時点の値VTとZ秒前の値VT−Zとの増減に基づいて、VT−Z−VT<εであれば加速、VT−Z−VT>εであれば減速、その他を等速として行動状態変化を算出する。
Next, in
次に、ステップ122で、自車両及び選択されたN個の他の走行体の各々について算出した属性c、向きdir、位置(x,y)、速度(vx,vy)、加速度(ax,ay)、距離WL、曲率半径WRを用いて、例えば、上記(1)式に示すような、現在のシーンQにおける自車両ベクトル、上記(2)式に示すような、現在のシーンQにおける走行体ベクトルを生成する。なお、上記(2)式では、走行体Aの走行体ベクトルを示しているが、その他の他の走行体についても、同様に走行体ベクトルを算出する。そして、後述する学習処理のために、生成した自車両ベクトル及び走行体ベクトルの各々と、その自車両ベクトル及び走行体ベクトルの各々が生成された時刻(データが取得された時刻)のZ秒後の時刻に算出された行動状態変化とを対応させて、シーンベクトル記憶部34に記憶する。
Next, in
次に、ステップ124で、上記ステップ122で生成された現在の自車両ベクトルと、変化モデル記憶部38に記憶された自車両変化モデルとを照合して、Z秒後の自車両の行動状態変化別の割合を予測する。同様に、走行体ベクトルの各々と走行体変化モデルとを照合して、Z秒後の他の走行体の各々の行動状態変化別の割合を予測する。
Next, in
次に、ステップ126で、自車両及び他の走行体の各々の現在の走行状態、及び上記ステップ124で予測されたZ秒後の行動状態変化別の割合に基づいて、予測された行動状態変化毎に自車両及び他の走行体の各々の軌跡を算出し、予測された行動状態変化別の割合が0%以外の行動状態変化の全組合せについて、自車両と他の走行体の各々との相対距離di(iは組合せ毎の識別番号、図7の例では(1)〜(4))を算出する。
Next, in
次に、ステップ128で、相対距離diが閾値dcrよりも小さくなる組合せiが存在するか否かを判定する。存在する場合には、ステップ130へ移行し、組合せiの自車両の行動状態変化別の割合と他の走行体の行動状態変化別の割合とを乗算して発生割合を算出し、その発生割合が所定の閾値より大きいか否かを判定する。発生割合が閾値より大きい場合には、ステップ132へ移行して、自車両と他の走行体とが衝突する可能性があるとして、警報装置22により警報が出力されるよう制御して、処理を終了する。
Next, in
一方、上記ステップ128で、d≧dcrと判定された場合、及び上記ステップ130で、発生割合が閾値以下と判定された場合には、そのまま処理を終了する。
On the other hand, if it is determined in
次に、図10を参照して、コンピュータ30で実行される学習処理ルーチンについて説明する。
Next, a learning process routine executed by the
ステップ200で、シーンベクトル記憶部34から自車両ベクトル及び対応して記憶された行動状態変化を学習用データとして読み出す。
In
次に、ステップ202で、自車両ベクトルが投影されるベクトル空間の各軸を離散化してベクトル空間を所定領域に区分したブロック毎に、投影された自車両ベクトルに対応する行動状態変化(加速:AC、等速:CR、減速:DC)別のデータ数、及びその総数Mを計算し、行動状態変化別の割合(加速の割合:P_AC、等速の割合:P_CR、減速の割合:P_DC)を算出する。
Next, in
次に、ステップ204で、離散化の基準をヘッダーとしたブロック毎の行動状態変化別の割合を自車両変化モデルとして、変化モデル記憶部38に記憶する。
Next, in
次に、ステップ206で、シーンベクトル記憶部34から走行体ベクトル及び対応して記憶された行動状態変化を学習用データとして読み出し、次に、ステップ208及び210で、上記ステップ202及び204と同様に処理して、走行体変化モデルを生成して、変化モデル記憶部38に記憶して、処理を終了する。
Next, in
本ルーチンを所定時間毎に実行して、所定時間内にシーンベクトル記憶部34に新たに記憶されたデータを、前回の処理時点でのブロック毎のデータ数に加算して、ブロック毎の行動状態変化別の割合を算出することで、自車両変化モデル及び走行体変化モデルの各々を更新する。
This routine is executed every predetermined time, and the data newly stored in the scene
以上説明したように、本実施の形態の運転支援装置によれば、自車両の状況及び自車両を基準とした他の走行体の状況を示す自車両ベクトルだけでなく、他の走行体の状況及び他の走行体を基準とした自車両及びその他の他の走行体の状況を示す走行体ベクトルも算出して、他の走行体の所定時間後の行動状態の変化も予測するため、他の走行体視点の状況も考慮した精度の高い衝突判定を行うことができる。 As described above, according to the driving support device of the present embodiment, not only the own vehicle vector indicating the situation of the own vehicle and the situation of the other running body based on the own vehicle, but also the situation of the other running body. In addition, a traveling body vector indicating the situation of the host vehicle and the other traveling body with respect to the other traveling body is also calculated, and a change in the behavior state of the other traveling body after a predetermined time is also predicted. It is possible to perform collision determination with high accuracy in consideration of the situation of the traveling body viewpoint.
なお、上記実施の形態では、自車両ベクトル及び走行体ベクトルの要素として、自車両及び他の走行体の属性、向き、位置、速度、加速度、進行方向の所定距離、及び進行方向の所定距離先の曲率半径を用いる場合について説明したが、これら全てを要素として含む必要はなく、自車両ベクトルについては、少なくとも、向き、位置、速度、加速度を含み、走行体ベクトルについては、少なくとも、向き、位置、速度を含むものであればよい。 In the above embodiment, as elements of the own vehicle vector and the traveling body vector, attributes, directions, positions, speeds, accelerations, a predetermined distance in the traveling direction, and a predetermined distance ahead in the traveling direction as the elements of the own vehicle and other traveling bodies. However, it is not necessary to include all of these as elements, and the vehicle vector includes at least the direction, position, speed, and acceleration, and the traveling body vector includes at least the direction and position. Anything that includes speed is acceptable.
また、上記実施の形態では、自車両ベクトルに含まれる要素の順番を、自車両との距離が近い順に所定個(N個)とし、走行体ベクトルに含まれる要素の順番を、他の走行体との距離が近い順に所定個(N個)とする場合について説明したが、自車両または他の走行体の属性に基づいた優先順位順(例えば、車両、二輪車両、自転車、歩行者の順)としたり、自車両または他の走行体との相対速度が大きい順としたりしてもよい。なお、現在のシーンにおいて、他の走行体の個数がN個に満たない場合は、対応する全値を0としたり、予め定めた値としたりしてもよい。 In the above embodiment, the order of the elements included in the host vehicle vector is a predetermined number (N) in the order of the distance from the host vehicle, and the order of the elements included in the traveling body vector is set to another traveling body. Although the case where the predetermined number (N) is set in order from the shortest distance to the vehicle has been described, the priority order based on the attributes of the own vehicle or other traveling body (for example, the order of the vehicle, the two-wheeled vehicle, the bicycle, the pedestrian) Or in order of increasing relative speed with the host vehicle or another traveling body. In the current scene, when the number of other traveling bodies is less than N, all corresponding values may be set to 0 or a predetermined value.
また、上記実施の形態では、自車両変化モデル及び走行体変化モデルを、行動状態変化別の割合で定めた場合について説明したが、1つの自車両ベクトル及び走行体ベクトルに対して1つの行動状態変化を予測するような自車両変化モデル及び走行体変化モデルとしてもよい。 In the above-described embodiment, the case where the own vehicle change model and the traveling body change model are determined at a rate for each behavior state change has been described. However, one behavior state for one own vehicle vector and one traveling body vector. It is good also as an own vehicle change model and a traveling body change model which predict a change.
また、上記実施の形態では、実際に検出された自車両及び他の走行体の状況を用いて自車両変化モデル及び走行体変化モデルを生成及び更新する場合について説明したが、車車間通信等により、他車両で検出されたデータを取得して、このデータもあわせて用いて自車両変化モデル及び走行体変化モデルを生成及び更新するようにしてもよいし、更新処理は行わず、予め実験走行等により検出したデータを用いて生成した自車両変化モデル及び走行体変化モデルを用いるようにしてもよい。 In the above-described embodiment, the case where the own vehicle change model and the running body change model are generated and updated using the actually detected situation of the own vehicle and the other running bodies has been described. The data detected in the other vehicle may be acquired, and this data may be used together to generate and update the own vehicle change model and the running body change model. It is also possible to use a host vehicle change model and a running body change model generated using data detected by the above method.
また、上記実施の形態では、予測される自車両と他の走行体との相対距離が閾値より小さい組合せの自車両の行動状態変化の割合と他の走行体の行動状態変化の割合とを乗算した発生割合が閾値より大きいか否かにより衝突の可能性を判定する場合について説明したが、相対距離が閾値より小さい組合せが存在する場合には、衝突の可能性ありと判定し、その組合せの発生割合を判定結果として出力するようにしてもよい。 In the above embodiment, the ratio of the change in the behavior state of the host vehicle and the ratio of the change in the behavior state of the other traveling body are multiplied by the predicted relative distance between the host vehicle and the other traveling body being smaller than the threshold. In the case of determining the possibility of collision based on whether or not the occurrence rate is larger than the threshold, if there is a combination whose relative distance is smaller than the threshold, it is determined that there is a possibility of collision, and The occurrence ratio may be output as a determination result.
また、上記実施の形態では、衝突の可能性ありと判定された場合に、警報を出力する場合について説明したが、予測された相対距離に基づいて、衝突を回避するように車両運動を制御するようにしてもよい。また、撮像装置で撮像された画像上の衝突の可能性がある他の走行体をウインドウで囲むなどの表示を行うことにより、警報を表示するようにしてもよい。 In the above-described embodiment, a case where a warning is output when it is determined that there is a possibility of a collision has been described. However, based on the predicted relative distance, vehicle motion is controlled so as to avoid a collision. You may do it. Moreover, you may make it display an alarm by performing display, such as enclosing another traveling body with the possibility of the collision on the image imaged with the imaging device with a window.
また、上記実施の形態では、レーザレーダを用いる場合について説明したが、ミリ波レーダ等を用いてもよい。 Moreover, although the case where the laser radar was used was demonstrated in the said embodiment, you may use a millimeter wave radar etc.
また、上記実施の形態では、地図情報を外部から取得する場合について説明したが、本装置のコンピュータに地図情報を記憶しておくようにしてもよい。 Moreover, although the case where map information is acquired from the outside has been described in the above embodiment, the map information may be stored in the computer of this apparatus.
10 運転支援装置
12 レーザレーダ
14 撮像装置
16 GPS装置
18 車両センサ
20 電子地図記憶装置
22 警報装置
30 コンピュータ
32 環境認識部
32a 可動物識別部
32b 走路識別部
34 シーンベクトル記憶部
36 学習部
36a 自車両シーン分類部
36b 走行体シーン分類部
38 変化モデル記憶部
40 行動予測部
40a 自車両行動予測部
40b 走行体行動予測部
42 衝突判定部
DESCRIPTION OF
Claims (12)
前記取得手段により取得された自車両の走行状態及び走行環境に基づいて、前記自車両の現在の状況及び該自車両を基準とした他の走行体の状況を示す自車両ベクトルを算出すると共に、前記他の走行体の現在の状況及び該他の走行体を基準とした自車両の状況を示す走行体ベクトルを算出するベクトル算出手段と、
前記ベクトル算出手段により算出された自車両ベクトルと、複数の自車両ベクトルの各々と該自車両ベクトルの算出に用いた自車両の走行状態及び走行環境が取得された時刻の所定時間後の自車両の行動状態の変化の各々とを学習用データとして学習した前記所定時間後の自車両の行動状態の変化を予測するための自車両変化モデルとに基づいて、前記所定時間後の自車両の行動状態の変化を予測すると共に、前記ベクトル算出手段により算出された走行体ベクトルと、複数の走行体ベクトルの各々と該走行体ベクトルの算出に用いた自車両の走行状態及び走行環境が取得された時刻の前記所定時間後の他の走行体の行動状態の変化の各々とを学習用データとして学習した前記所定時間後の他の走行体の行動状態の変化を予測するための走行体変化モデルとに基づいて、前記所定時間後の他の走行体の行動状態の変化を予測する予測手段と、
前記取得手段により取得された前記自車両の走行状態及び走行環境、並びに前記予測手段により予測された前記所定時間後の自車両の行動状態の変化及び前記所定時間後の他の走行体の行動状態の変化に基づいて、前記所定時間経過以降の前記自車両と前記他の走行体との相対距離を推定し、推定した前記相対距離に基づいて、前記自車両と前記他の走行体との衝突の可能性を判定する判定手段と、
を含む運転支援装置。 An acquisition means for acquiring a traveling environment including a traveling state of the host vehicle and a traveling state of another traveling body existing around the host vehicle;
Based on the traveling state and traveling environment of the host vehicle acquired by the acquiring unit, a host vehicle vector indicating a current state of the host vehicle and a state of another traveling body based on the host vehicle is calculated. A vector calculating means for calculating a running body vector indicating a current situation of the other running body and a situation of the host vehicle based on the other running body;
The own vehicle calculated by the vector calculation means, each of the plurality of own vehicle vectors, and the own vehicle after a predetermined time from the time when the running state and the running environment of the own vehicle used for calculating the own vehicle vector are acquired. Based on the vehicle change model for predicting a change in the behavior state of the host vehicle after the predetermined time learned using each of the changes in the behavior state as learning data, the behavior of the host vehicle after the predetermined time with predicting the change in state, the traveling body vector calculated by the vector calculating means, the vehicle traveling state and running environment used for calculating the respective and said traveling body vectors of a plurality of run Gyotai vector is obtained It travels for predicting the time the predetermined time other behavioral changes the state of the other traveling member after the predetermined time has learned and each change in the action state of the traveling body as the learning data after of Based on the change model, prediction means for predicting a change in the behavior condition of the other traveling member after the predetermined time,
The traveling state and traveling environment of the host vehicle acquired by the acquiring unit, the change in the behavior state of the host vehicle after the predetermined time predicted by the predicting unit, and the behavior state of another traveling body after the predetermined time. The relative distance between the host vehicle and the other traveling body after the lapse of the predetermined time is estimated based on the change in the vehicle, and the collision between the host vehicle and the other traveling body is based on the estimated relative distance. Determining means for determining the possibility of
A driving support device including
前記ベクトル算出手段は、前記自車両の状況として、さらに自車両の進行方向の所定距離先の走路の曲率半径を含み、前記他の走行体の状況として、さらに他の走行体の進行方向の所定距離先の走路の曲率半径を含んだ前記自車両ベクトル及び前記走行体ベクトルを算出する
請求項2記載の運転支援装置。 The acquisition means acquires a shape of a traveling path where the host vehicle and the other traveling body exist as a traveling environment,
The vector calculating means further includes a radius of curvature of a traveling path ahead of a predetermined distance in the traveling direction of the host vehicle as the situation of the host vehicle, and further includes a predetermined direction of the traveling direction of the other traveling body as the situation of the other traveling body. The driving support device according to claim 2, wherein the host vehicle vector and the traveling body vector including a radius of curvature of a travel path ahead of a distance are calculated.
前記判定手段は、自車両の行動状態の変化と他の走行体の行動状態の変化との組合せの各々について前記相対距離を推定し、前記相対距離が予め定めた閾値距離より小さくなる組合せの前記自車両の行動状態の変化別の割合と前記他の走行体の行動状態の変化別の割合とを乗算した発生割合に基づいて、前記自車両と前記他の走行体との衝突の可能性を判定する
請求項6記載の運転支援装置。 The predicting means predicts a rate for each change in behavior state of the host vehicle after the predetermined time, and predicts a rate for change in the behavior state of another traveling body after the predetermined time,
The determination means estimates the relative distance for each combination of a change in the behavior state of the host vehicle and a change in the behavior state of another traveling body, and the combination of the relative distance is smaller than a predetermined threshold distance. The possibility of a collision between the host vehicle and the other traveling body is determined based on an occurrence ratio obtained by multiplying the ratio according to the change in the behavior state of the own vehicle and the ratio according to the change of the behavior state of the other traveling body. The driving support device according to claim 6 which judges.
前記ベクトル算出手段により算出された前記自車両ベクトルと前記変化算出手段により算出された前記所定時間後の自車両の行動状態の変化との対応に基づいて、前記自車両変化モデルを更新すると共に、前記ベクトル算出手段により算出された前記走行体ベクトルと前記変化算出手段により算出された前記所定時間後の他の走行体の行動状態の変化との対応に基づいて、前記走行体変化モデルを更新する更新手段と、
を含む請求項1〜請求項8のいずれか1項記載の運転支援装置。 Based on the travel state and travel environment history of the host vehicle acquired by the acquisition means, the change in the behavior state of the host vehicle after the predetermined time and the change in the behavior state of other traveling bodies after the predetermined time. Change calculating means for calculating;
Updating the host vehicle change model based on the correspondence between the host vehicle vector calculated by the vector calculator and the change in the behavior state of the host vehicle after the predetermined time calculated by the change calculator; The traveling body change model is updated based on the correspondence between the traveling body vector calculated by the vector calculating means and the change in behavior state of another traveling body after the predetermined time calculated by the change calculating means. Update means;
The driving support device according to claim 1, comprising:
自車両の走行状態及び自車両周辺に存在する他の走行体の走行状態を含む走行環境を取得する取得手段、
前記取得手段により取得された自車両の走行状態及び走行環境に基づいて、前記自車両の現在の状況及び該自車両を基準とした他の走行体の状況を示す自車両ベクトルを算出すると共に、前記他の走行体の現在の状況及び該他の走行体を基準とした自車両の状況を示す走行体ベクトルを算出するベクトル算出手段、
前記ベクトル算出手段により算出された自車両ベクトルと、複数の自車両ベクトルの各々と該自車両ベクトルの算出に用いた自車両の走行状態及び走行環境が取得された時刻の所定時間後の自車両の行動状態の変化の各々とを学習用データとして学習した前記所定時間後の自車両の行動状態の変化を予測するための自車両変化モデルとに基づいて、前記所定時間後の自車両の行動状態の変化を予測すると共に、前記ベクトル算出手段により算出された走行体ベクトルと、複数の走行体ベクトルの各々と該走行体ベクトルの算出に用いた自車両の走行状態及び走行環境が取得された時刻の前記所定時間後の他の走行体の行動状態の変化の各々とを学習用データとして学習した前記所定時間後の他の走行体の行動状態の変化を予測するための走行体変化モデルとに基づいて、前記所定時間後の他の走行体の行動状態の変化を予測する予測手段、及び
前記取得手段により取得された前記自車両の走行状態及び走行環境、並びに前記予測手段により予測された前記所定時間後の自車両の行動状態の変化及び前記所定時間後の他の走行体の行動状態の変化に基づいて、前記所定時間経過以降の前記自車両と前記他の走行体との相対距離を推定し、推定した前記相対距離に基づいて、前記自車両と前記他の走行体との衝突の可能性を判定する判定手段
として機能させるための運転支援プログラム。 Computer
An acquisition means for acquiring a traveling environment including a traveling state of the host vehicle and a traveling state of another traveling body existing around the host vehicle;
Based on the traveling state and traveling environment of the host vehicle acquired by the acquiring unit, a host vehicle vector indicating a current state of the host vehicle and a state of another traveling body based on the host vehicle is calculated. A vector calculating means for calculating a running body vector indicating a current situation of the other running body and a situation of the host vehicle based on the other running body;
The own vehicle calculated by the vector calculation means, each of the plurality of own vehicle vectors, and the own vehicle after a predetermined time from the time when the running state and the running environment of the own vehicle used for calculating the own vehicle vector are acquired. Based on the vehicle change model for predicting a change in the behavior state of the host vehicle after the predetermined time learned using each of the changes in the behavior state as learning data, the behavior of the host vehicle after the predetermined time with predicting the change in state, the traveling body vector calculated by the vector calculating means, the vehicle traveling state and running environment used for calculating the respective and said traveling body vectors of a plurality of run Gyotai vector is obtained travel for predicting the time the predetermined time other behavioral changes the state of the other traveling member after the predetermined time has learned and each change in the action state of the traveling body as the learning data after of Based on a change model, a predicting means for predicting a change in the behavioral state of another traveling body after the predetermined time, a traveling state and a traveling environment of the own vehicle acquired by the acquiring means, and the predicting means Based on the predicted change in the behavior state of the host vehicle after the predetermined time and the change in the behavior state of the other travel body after the predetermined time, the host vehicle and the other travel body after the lapse of the predetermined time A driving support program for causing the vehicle to function as a determination unit that determines the possibility of a collision between the host vehicle and the other traveling body based on the estimated relative distance.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010056031A JP5482323B2 (en) | 2010-03-12 | 2010-03-12 | Driving support device and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010056031A JP5482323B2 (en) | 2010-03-12 | 2010-03-12 | Driving support device and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011191894A JP2011191894A (en) | 2011-09-29 |
JP5482323B2 true JP5482323B2 (en) | 2014-05-07 |
Family
ID=44796764
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010056031A Expired - Fee Related JP5482323B2 (en) | 2010-03-12 | 2010-03-12 | Driving support device and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5482323B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10604070B2 (en) | 2016-11-09 | 2020-03-31 | Samsung Electronics Co., Ltd. | Method and apparatus for informing pedestrian and occupant of vehicle of each other's approach |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014211756A (en) * | 2013-04-18 | 2014-11-13 | トヨタ自動車株式会社 | Driving assist device |
CN106255997A (en) * | 2014-05-15 | 2016-12-21 | 本田技研工业株式会社 | Auxiliary device for moving |
JP6330537B2 (en) | 2014-07-14 | 2018-05-30 | 株式会社デンソー | Driving assistance device |
CN104786928B (en) * | 2015-03-18 | 2017-04-05 | 佛山市智海星空科技有限公司 | Rear-end collision preventing system based on millimetre-wave radar |
EP3091509A1 (en) * | 2015-05-04 | 2016-11-09 | Honda Research Institute Europe GmbH | Method for improving performance of a method for computationally predicting a future state of a target object, driver assistance system, vehicle including such driver assistance system and respective program storage medium and program |
US10838417B2 (en) | 2018-11-05 | 2020-11-17 | Waymo Llc | Systems for implementing fallback behaviors for autonomous vehicles |
US11294381B2 (en) | 2018-11-21 | 2022-04-05 | Toyota Motor North America, Inc. | Vehicle motion adaptation systems and methods |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5130638B2 (en) * | 2006-03-22 | 2013-01-30 | 日産自動車株式会社 | Avoidance operation calculation device, avoidance control device, vehicle including each device, avoidance operation calculation method, and avoidance control method |
JP4602277B2 (en) * | 2006-03-28 | 2010-12-22 | 本田技研工業株式会社 | Collision determination device |
JP4416020B2 (en) * | 2007-08-03 | 2010-02-17 | トヨタ自動車株式会社 | Travel plan generator |
JP2009096365A (en) * | 2007-10-17 | 2009-05-07 | Fuji Heavy Ind Ltd | Risk recognition system |
-
2010
- 2010-03-12 JP JP2010056031A patent/JP5482323B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10604070B2 (en) | 2016-11-09 | 2020-03-31 | Samsung Electronics Co., Ltd. | Method and apparatus for informing pedestrian and occupant of vehicle of each other's approach |
Also Published As
Publication number | Publication date |
---|---|
JP2011191894A (en) | 2011-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5482323B2 (en) | Driving support device and program | |
US10996679B2 (en) | Method to evaluate trajectory candidates for autonomous driving vehicles (ADVs) | |
CN111771141B (en) | LIDAR positioning for solution inference using 3D CNN network in autonomous vehicles | |
US9595197B2 (en) | Lateral control apparatus of vehicle and control method of the same | |
JP5938569B2 (en) | Advanced driver support system considering azimuth information and operation method thereof | |
WO2020243162A1 (en) | Methods and systems for trajectory forecasting with recurrent neural networks using inertial behavioral rollout | |
US20180374359A1 (en) | Evaluation framework for predicted trajectories in autonomous driving vehicle traffic prediction | |
JP5620147B2 (en) | Movable object prediction apparatus and program | |
JP5278419B2 (en) | Driving scene transition prediction device and vehicle recommended driving operation presentation device | |
JP5556748B2 (en) | Vehicle state detection device | |
CN109074742B (en) | Peripheral recognition device, peripheral recognition method, and computer-readable recording medium | |
CN111771135A (en) | LIDAR positioning using RNN and LSTM for time smoothing in autonomous vehicles | |
JP2013225295A5 (en) | ||
JP2015165381A (en) | Image processing apparatus, equipment control system, and image processing program | |
CN107408344A (en) | Driving ancillary equipment | |
JP2018063476A (en) | Apparatus, method and computer program for driving support | |
JP2013242615A (en) | Driving scene transition prediction device and recommended driving operation presentation device for vehicle | |
CN110632916A (en) | Behavior prediction device and automatic driving device | |
JP5895728B2 (en) | Vehicle group management device | |
Gill et al. | Behavior identification and prediction for a probabilistic risk framework | |
CN117901858A (en) | Method and device for predicting lateral collision time of vehicle, electronic equipment and storage medium | |
EP4336445A2 (en) | Multi-object tracking system and its motion trajectory optimization apparatus and optimization method | |
JP7532569B2 (en) | Method and apparatus for determining pedestrian location | |
CN117184128A (en) | Automatic driving and parking method and device based on path planning | |
US20230245323A1 (en) | Object tracking device, object tracking method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131105 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140203 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5482323 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |