JP6724820B2 - Running trajectory generator - Google Patents

Running trajectory generator Download PDF

Info

Publication number
JP6724820B2
JP6724820B2 JP2017036654A JP2017036654A JP6724820B2 JP 6724820 B2 JP6724820 B2 JP 6724820B2 JP 2017036654 A JP2017036654 A JP 2017036654A JP 2017036654 A JP2017036654 A JP 2017036654A JP 6724820 B2 JP6724820 B2 JP 6724820B2
Authority
JP
Japan
Prior art keywords
trajectory
constraint information
generation unit
operation amount
state quantity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017036654A
Other languages
Japanese (ja)
Other versions
JP2018140735A (en
Inventor
功 大川
功 大川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2017036654A priority Critical patent/JP6724820B2/en
Publication of JP2018140735A publication Critical patent/JP2018140735A/en
Application granted granted Critical
Publication of JP6724820B2 publication Critical patent/JP6724820B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Steering Control In Accordance With Driving Conditions (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Description

本開示は、走行軌道生成装置に関する。 The present disclosure relates to a traveling trajectory generation device.

車両といった移動体の走行軌道を生成する装置として、下記特許文献1に記載の装置が提案されている。下記特許文献1に記載の装置は、路上障害物や周囲の物と衝突しない条件や道路境界外に出ない条件をリスクポテンシャルとして扱い、前輪舵角の可動範囲を不等式制約条件として扱うことで、最適制御問題へとモデリングし走行軌道を生成している。 As a device for generating a traveling track of a moving body such as a vehicle, a device described in Patent Document 1 below has been proposed. The device described in Patent Document 1 below treats conditions that do not collide with obstacles on the road and surroundings and conditions that do not go outside the road boundary as risk potentials, and treats the movable range of the front wheel steering angle as an inequality constraint condition. The running trajectory is generated by modeling the optimal control problem.

特開2011−186878号公報JP, 2011-186878, A

特許文献1では、最適制御問題を解くにあたって、適当な解の候補を与えて、解の候補に補正を加える演算を反復する処理を行っている。反復演算の処理を行った後、その結果をチェックし、反復演算を終了する条件が満たされているか否かを判定する。反復演算の終了条件としては、例えば反復回数が所定の回数に達した場合や、反復演算による変化量の大きさが所定の水準よりも小さくなった場合等、種々のものが用いられる。そのため、リスクポテンシャルのパラメータや、終了条件の設定によっては、終了条件を満たすのに想定以上の時間を要する場合がある。従って、最大演算量が走行シーンに依存し、走行軌道を更新する周期の上限を明確に把握することができない。 In Patent Document 1, in solving an optimal control problem, an appropriate solution candidate is given, and a process of adding a correction to the solution candidate is repeated. After processing the iterative operation, the result is checked to determine whether the condition for ending the iterative operation is satisfied. Various conditions are used as the termination condition of the iterative calculation, for example, when the number of iterations reaches a predetermined number or when the amount of change due to the iterative calculation becomes smaller than a predetermined level. Therefore, depending on the risk potential parameter and the setting of the termination condition, it may take longer than expected to satisfy the termination condition. Therefore, the maximum calculation amount depends on the traveling scene, and the upper limit of the cycle for updating the traveling track cannot be clearly grasped.

本開示は、最大演算量が走行シーンやパラメータに依存することなく、最大演算量を既定の演算量以下に収めることができる走行軌道生成装置を提供することを目的とする。 An object of the present disclosure is to provide a traveling trajectory generation device that can keep the maximum calculation amount within a predetermined calculation amount without depending on the driving scene and parameters.

本開示は、走行軌道生成装置であって、自車両が走行中の車線情報に基づく規範軌道を生成する規範軌道生成部(201)と、自車両の状態量に対する上下限制約を規定する状態量制約情報及び自車両の操作量に対する上下限制約を規定する操作量制約情報を算出する制約情報生成部(202)と、規範軌道と、状態量制約情報及び操作量制約情報の少なくとも一方と、に基づいて自車両の走行軌道を生成する軌道生成部(203)と、を備える。軌道生成部は、規範軌道を基準として、状態量制約情報又は操作量制約情報を反映させた一部反映軌道を生成し、一部反映軌道を基準として、一部反映軌道に反映されていない状態量制約情報又は操作量制約情報を反映させることで走行軌道を生成する。 The present disclosure is a traveling trajectory generation device, and a reference trajectory generation unit (201) that generates a reference trajectory based on lane information in which the vehicle is traveling, and a state quantity that defines upper and lower limit constraints on the state quantity of the vehicle. A constraint information generation unit (202) that calculates constraint information and manipulated variable constraint information that defines upper and lower bound constraints on the manipulated variable of the host vehicle, a reference trajectory, and at least one of state quantity constraint information and manipulated variable constraint information. A trajectory generation unit (203) that generates a traveling trajectory of the host vehicle based on the vehicle. The trajectory generation unit generates a partially reflected trajectory in which the state quantity constraint information or the manipulated variable constraint information is reflected with the reference trajectory as a reference, and the partially reflected trajectory is not reflected in the partially reflected trajectory as a reference. The travel trajectory is generated by reflecting the amount constraint information or the operation amount constraint information.

本開示では、制約を受けず車線情報のみに基づく規範軌道を生成し、その規範軌道に制約情報を1種類ずつ反映させることで、走行軌道を生成するまでの演算量を既定以下に抑えることができる。 In the present disclosure, a reference trajectory based on only lane information is generated without being restricted, and the constraint information is reflected one by one on the reference trajectory, so that the amount of calculation until the travel trajectory is generated can be suppressed to a predetermined value or less. it can.

尚、「課題を解決するための手段」及び「特許請求の範囲」に記載した括弧内の符号は、後述する「発明を実施するための形態」との対応関係を示すものであって、「課題を解決するための手段」及び「特許請求の範囲」が、後述する「発明を実施するための形態」に限定されることを示すものではない。 In addition, the reference numerals in parentheses described in "Means for solving the problem" and "Claims" indicate a correspondence relationship with "Mode for carrying out the invention" described later, It does not mean that the “means for solving the problems” and the “claims” are limited to “modes for carrying out the invention” described below.

本開示によれば、最大演算量が走行シーンやパラメータに依存することなく、最大演算量を既定の演算量以下に収めることができる走行軌道生成装置を提供することができる。 According to the present disclosure, it is possible to provide a traveling trajectory generation device capable of keeping the maximum calculation amount within a predetermined calculation amount or less without depending on the traveling scene and parameters.

図1は、本実施形態における走行軌道生成装置の機能的な構成を説明するためのブロック構成図である。FIG. 1 is a block configuration diagram for explaining a functional configuration of the traveling track generation device according to the present embodiment. 図2は、状態量の設定について説明するための図である。FIG. 2 is a diagram for explaining the setting of the state quantity. 図3は、進入禁止領域の設定について説明するための図である。FIG. 3 is a diagram for explaining the setting of the entry prohibition area. 図4は、横位置に対する上下限設定について説明するための図である。FIG. 4 is a diagram for explaining the upper and lower limit settings for the lateral position. 図5は、加速度に対する上下限設定について説明するための図である。FIG. 5 is a diagram for explaining setting of upper and lower limits for acceleration. 図6は、走行軌道生成装置の処理フローについて説明するためのフローチャートである。FIG. 6 is a flowchart for explaining the processing flow of the traveling trajectory generation device. 図7は、走行軌道生成の一例を説明するための図である。FIG. 7 is a diagram for explaining an example of travel trajectory generation. 図8は、走行軌道生成の一例を説明するための図である。FIG. 8 is a diagram for explaining an example of travel trajectory generation. 図9は、追従誤差の処理について説明するための図である。FIG. 9 is a diagram for explaining the processing of the tracking error.

以下、添付図面を参照しながら本実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する。 The present embodiment will be described below with reference to the accompanying drawings. In order to facilitate understanding of the description, the same constituent elements in each drawing are denoted by the same reference numerals as much as possible, and redundant description will be omitted.

図1は、本実施形態における走行軌道生成装置20が含まれるシステムのブロック構成図である。 FIG. 1 is a block configuration diagram of a system including a traveling trajectory generation device 20 according to the present embodiment.

車載カメラ10は、自車両の前方を撮影する。車載カメラ10は、自車両が走行する走路上の車道外側線や車線境界線や車道中央線を含む風景画像を連続的に撮影する。車載カメラ10は、撮影した風景画像の画像データを走行軌道生成装置20に出力する。 The vehicle-mounted camera 10 photographs the front of the vehicle. The vehicle-mounted camera 10 continuously captures landscape images including a road outside line, a lane boundary line, and a road center line on a track on which the vehicle travels. The vehicle-mounted camera 10 outputs the image data of the captured landscape image to the travel trajectory generation device 20.

測距センサ11は、他車両や歩行者や自転車といった、走路上の障害物表面までの距離を計測するセンサである。計測は、測距角度を変えながら連続的に実行される。測距センサ11は、距離と測距角度が対になったデータを測距データとして走行軌道生成装置20に出力する。 The distance measuring sensor 11 is a sensor that measures the distance to the surface of an obstacle such as another vehicle, a pedestrian, or a bicycle on the track. The measurement is continuously performed while changing the distance measurement angle. The distance-measuring sensor 11 outputs the data in which the distance and the distance-measuring angle are paired as distance-measuring data to the traveling track generation device 20.

車速センサ12は、自車両の速度を検出し、車速データとして走行軌道生成装置20に出力する。ヨーレートセンサ13は、自車両のヨーレートを検出し、ヨーレートデータとして走行軌道生成装置20に出力する。 The vehicle speed sensor 12 detects the speed of the host vehicle and outputs it as vehicle speed data to the traveling track generation device 20. The yaw rate sensor 13 detects the yaw rate of the host vehicle and outputs it as yaw rate data to the running trajectory generation device 20.

走行軌道生成装置20は、画像データ、測距データ、車速データ、及びヨーレートデータに基づいて走行軌道を生成する演算を実行し、制御装置14に出力する。制御装置14は、出力された走行軌道を追従するための操舵トルクを演算し、操舵トルク指令として電動パワーステアリング装置15に出力する。電動パワーステアリング装置15は、操舵トルク指令に基づいて前輪を操舵する。 The traveling track generation device 20 executes a calculation for generating a traveling track based on the image data, the distance measurement data, the vehicle speed data, and the yaw rate data, and outputs it to the control device 14. The control device 14 calculates a steering torque for following the output running trajectory, and outputs it to the electric power steering device 15 as a steering torque command. The electric power steering device 15 steers the front wheels based on the steering torque command.

走行軌道生成装置20及び制御装置14は、ハードウェア的な構成要素として、CPUといった演算部、RAMやROMといった記憶部、データの授受を行うためのインターフェイス部を備えるコンピュータとして構成されている。 The running trajectory generation device 20 and the control device 14 are configured as a computer including, as hardware components, an arithmetic unit such as a CPU, a storage unit such as a RAM or a ROM, and an interface unit for exchanging data.

続いて、走行軌道生成装置20の機能的な構成要素について説明する。走行軌道生成装置20は機能的な構成要素として、規範軌道生成部201と、制約情報生成部202と、軌道生成部203と、を備えている。 Subsequently, functional components of the traveling track generation device 20 will be described. The traveling track generation device 20 includes a reference track generation unit 201, a constraint information generation unit 202, and a track generation unit 203 as functional components.

規範軌道生成部201は、自車両が走行中の車線情報に基づく規範軌道を生成する部分である。規範軌道生成部201は、自車両が走行中の車線情報に基づき、路上障害物が存在しないとした場合の走行軌道を規範軌道として生成する。 The reference trajectory generation unit 201 is a portion that generates a reference trajectory based on lane information in which the vehicle is traveling. The reference trajectory generation unit 201 generates, as a reference trajectory, a traveling trajectory when it is assumed that there is no road obstacle on the basis of the lane information in which the vehicle is traveling.

規範軌道生成部201は、車載カメラ10で撮像した風景画像の画像データから、車道外側線や車線境界線や車道中央線といった白線をハフ変換等の方法により検出する。規範軌道生成部201は、図2に示されるように、検出した白線から左右の車線境界の中央に位置する仮想線を規範軌道Trとして生成する。規範軌道生成部201は、生成した規範軌道を軌道生成部203に出力する。 The reference trajectory generation unit 201 detects white lines such as a road outside line, a lane boundary line, and a road center line from the image data of the landscape image captured by the vehicle-mounted camera 10 by a method such as Hough transform. As shown in FIG. 2, the reference trajectory generation unit 201 generates an imaginary line located at the center of the left and right lane boundaries from the detected white line as the reference trajectory Tr. The reference trajectory generation unit 201 outputs the generated reference trajectory to the trajectory generation unit 203.

制約情報生成部202は、自車両の状態量に対する上下限制約を規定する状態量制約情報及び自車両の操作量に対する上下限制約を規定する操作量制約情報を算出する部分である。 The constraint information generation unit 202 is a part that calculates state amount constraint information that defines upper and lower limit constraints for the state amount of the own vehicle and operation amount constraint information that defines upper and lower limit constraints for the operation amount of the own vehicle.

制約情報生成部202は、自車両の状態量を算出する。図2に示されるように、一例として、自車位置y及び自車角度θを自車両Cの状態量とすることができる。自車位置yは、規範軌道Tr上の最近傍点Npに対する自車中心の横位置として定義される。自車角度θは、最近傍点Npにおける規範軌道Trの接線に対する自車両Cの向きとして定義される。 The constraint information generation unit 202 calculates the state quantity of the host vehicle. As shown in FIG. 2, as an example, the host vehicle position y and the host vehicle angle θ can be used as the state quantities of the host vehicle C. The host vehicle position y is defined as the lateral position of the host vehicle center with respect to the nearest point Np on the reference trajectory Tr. The host vehicle angle θ is defined as the orientation of the host vehicle C with respect to the tangent line of the reference trajectory Tr at the nearest point Np.

尚、自車角度θに変えて、自車位置yの変化速度vyを状態量とすることができる。変化速度vyは、例えば自車位置yを用いた差分近似や近似微分フィルタといった方法で推定することができる。 It should be noted that the changing speed vy of the vehicle position y can be used as the state quantity instead of the vehicle angle θ. The changing speed vy can be estimated by a method such as a difference approximation using the vehicle position y or an approximate differentiation filter.

制約情報生成部202は、自車両を操作する入力である操作量を算出する。操作量の例としては、前輪舵角δや、自車位置yの加速度ayが用いられる。 The constraint information generation unit 202 calculates an operation amount that is an input for operating the own vehicle. As an example of the operation amount, the front wheel steering angle δ and the acceleration ay of the vehicle position y are used.

制約情報生成部202は、自車両の状態量である自車位置yに対して、上下限制約を規定する状態量制約情報を算出する。例えば図3に示されるように、路上障害物31,32が含まれる侵入禁止領域を、自車位置yの上下限制約によって回避することができる。図3に示される例では、自車両Cの前方における規範軌道Tr上に、予測点を等間隔で設定している。その予測点毎に上限値と下限値がセットになったデータ群として、(yl[1],yu[1])、(yl[2],yu[2])、(yl[3],yu[3])を状態量制約情報として算出する。 The constraint information generation unit 202 calculates state amount constraint information that defines upper and lower limit constraints for the vehicle position y that is the state amount of the vehicle. For example, as shown in FIG. 3, it is possible to avoid the intrusion prohibited area including the road obstacles 31 and 32 by the upper and lower limit constraints of the vehicle position y. In the example shown in FIG. 3, the prediction points are set at equal intervals on the reference trajectory Tr in front of the host vehicle C. As a data group in which the upper limit value and the lower limit value are set for each prediction point, (yl[1], yu[1]), (yl[2], yu[2]), (yl[3], yu [3]) is calculated as the state quantity constraint information.

具体的な状態量制約情報の算出手法について、図4を参照しながら説明する。図4は、上限値を規定する状態量制約情報の算出について例示しているが、下限値を規定する状態量制約情報についても同様に算出することができる。 A specific method of calculating state quantity constraint information will be described with reference to FIG. Although FIG. 4 illustrates the calculation of the state quantity constraint information that defines the upper limit value, the state quantity constraint information that defines the lower limit value can be calculated in the same manner.

図4の(A)に示されるように、測距センサ11の計測データを、規範軌道に沿った道程を意味するs軸と、自車位置yに対応するy軸からなる座標上の点群に変換する。より具体的には、路上障害物31,32を避けるように座標上の点群を生成する。 As shown in FIG. 4(A), the measurement data of the distance measuring sensor 11 is a point group on the coordinates including the s axis that means the path along the reference trajectory and the y axis that corresponds to the vehicle position y. Convert to. More specifically, the point group on the coordinates is generated so as to avoid the road obstacles 31 and 32.

続いて、図4の(B)に示されるように、点群データを道程sをパラメータとする曲線に当てはめ、yu=fu(s)とする。この際に、車線外に位置するデータは使用せず、車載カメラ10で検出した車線上に点を設定する。 Then, as shown in FIG. 4B, the point cloud data is fitted to a curve having the path s as a parameter, and yu=fu(s). At this time, the data located outside the lane is not used, and a point is set on the lane detected by the vehicle-mounted camera 10.

続いて、図4の(C)に示されるように、曲線を自車両の半幅以上オフセットさせてマージンを与え、yu'=fu(s)−ydとする。このようにして得られた曲線において、各予測点に対応する上限値となる。 Subsequently, as shown in FIG. 4C, the curve is offset by a half width or more of the vehicle to give a margin, and yu'=fu(s)-yd. In the curve obtained in this way, the upper limit value corresponds to each prediction point.

状態量制約情報としては、状態量を自車角度θや自車位置の変化速度vyとし、それらに対する上下限制約を規定することができる。これらの場合は、路上障害物等の外的要因による制約ではなく、自車両の達成したい運動状態による制約となるので、その制約を前提として所望の上下限を規定する。 As the state quantity constraint information, the state quantity may be the vehicle angle θ or the changing speed vy of the vehicle position, and upper and lower limit constraints for them may be defined. In these cases, the constraints are not due to external factors such as road obstacles but to the motion state of the vehicle to be achieved, so the desired upper and lower limits are defined on the basis of the constraints.

制約情報生成部202は、自車両の操作量である前輪舵角δや、自車位置yの加速度ayに対して、上下限制約を規定する操作量制約情報を算出する。これらの場合も、路上障害物等の外的要因による制約ではなく、自車両の達成したい運動状態による制約となるので、その制約を前提として所望の上下限を規定する。 The constraint information generation unit 202 calculates operation amount constraint information that defines upper and lower limit constraints for the front wheel steering angle δ that is the operation amount of the host vehicle and the acceleration ay of the host vehicle position y. In these cases as well, the constraints are not due to external factors such as road obstacles but to the motion state that the host vehicle wants to achieve, so the desired upper and lower limits are defined on the basis of these constraints.

図5に示されるように、状態量の場合とは異なり、現在の自車位置を含み、終端の予測点を含まないデータセットを算出する。このような点列おける操作量の上限値と下限値とがセットになったデータ群として、(al[0],au[0])、(al[1],au[1])、(al[2],au[2])を操作量制約情報として算出する。 As shown in FIG. 5, unlike the case of the state quantity, a data set that includes the current vehicle position and does not include the predicted point at the end is calculated. As a data group in which the upper limit value and the lower limit value of the operation amount in such a point sequence are set, (al[0], au[0]), (al[1], au[1]), (al [2], au[2]) is calculated as the manipulated variable constraint information.

制約情報生成部202は、状態量制約情報及び操作量制約情報を、軌道生成部203に出力する。 The constraint information generation unit 202 outputs the state amount constraint information and the operation amount constraint information to the trajectory generation unit 203.

軌道生成部203は、規範軌道と、状態量制約情報及び操作量制約情報の少なくとも一方と、に基づいて自車両の走行軌道を生成する部分である。軌道生成部203の処理内容に対する説明の準備として、各種の変数及び関数を設定する。 The trajectory generation unit 203 is a portion that generates a traveling trajectory of the host vehicle based on the reference trajectory and at least one of the state amount constraint information and the operation amount constraint information. Various variables and functions are set in preparation for the explanation of the processing contents of the trajectory generation unit 203.

状態量と操作量は扱う制約に応じて異なる物理量となるため、一般に状態量をx[k]=[x1[k],x2[k]]Tとし、操作量をu[k] とする.ただしx1[k]=y[k]とする。kは予測点のインデックスで、k=0で現在の自車位置を示すものとする。 Since the state quantity and the manipulated variable are different physical quantities depending on the constraints to be handled, generally, the state quantity is x[k]=[x1[k],x2[k]] T and the manipulated quantity is u[k]. However, x1[k]=y[k]. k is an index of the prediction point, where k=0 indicates the current vehicle position.

このとき、x[k]とu[k]との関係は、必要に応じて非線形関数を線形近似することで、式f01で表現される。

Figure 0006724820
At this time, the relationship between x[k] and u[k] is expressed by the expression f01 by linearly approximating the nonlinear function as necessary.
Figure 0006724820

Aは行列、bはベクトルである。例えば、状態量を自車位置yと自車角度θ、操作量を前輪舵角δとした場合、式f02の関係が成立する。

Figure 0006724820
A is a matrix and b is a vector. For example, when the state quantity is the vehicle position y and the vehicle angle θ and the operation quantity is the front wheel steering angle δ, the relationship of the expression f02 is established.
Figure 0006724820

続いて、各種の変数を自車位置と各予測点の値を要素とするベクトルでまとめると次のようになる。操作量u[k]は、式f03で表される。状態量x[k]は、式f04で表される。第1状態量x1[k]は、式f05で表される。第2状態量x2[k]は、式f06で表される。操作量下限値ul[k]は、式f07で表される。操作量上限値uu[k]は、式f08で表される。状態量下限値xl[k]は、式f09で表される。状態量上限値xu[k]は、式f10で表される。

Figure 0006724820
Subsequently, various variables are summarized as a vector having the vehicle position and the value of each prediction point as elements. The manipulated variable u[k] is represented by formula f03. The state quantity x[k] is represented by the expression f04. The first state quantity x 1 [k] is represented by the expression f05. The second state quantity x 2 [k] is represented by the expression f06. The manipulated variable lower limit value u l [k] is represented by the expression f07. The operation amount upper limit value u u [k] is represented by the expression f08. The state quantity lower limit value x l [k] is represented by an expression f09. The state quantity upper limit value x u [k] is represented by the expression f10.
Figure 0006724820

続いて、制約を満たす走行軌道は無数に存在するため、走行軌道の良し悪しの指標を設定することで一意に決定できるようにする。本実施形態では一般に「2次形式」と呼ばれる式f11の関数を指標として使用する。

Figure 0006724820
Next, since there are innumerable traveling trajectories that satisfy the constraints, it is possible to uniquely determine them by setting an index of the traveling trajectories. In this embodiment, the function of the expression f11 generally called "quadratic form" is used as an index.
Figure 0006724820

ここで、Qは、生成する軌道を規範軌道に近づける作用を調整するためのパラメータ行列、Rは生成する軌道の変化の急峻さを調整するためのパラメータである。また、Nは予測点の総数である。式f11を変形すると、Uを用いて式f12のように表現することができる。

Figure 0006724820
Here, Q is a parameter matrix for adjusting the action of bringing the generated trajectory closer to the reference trajectory, and R is a parameter for adjusting the steepness of the change of the generated trajectory. N is the total number of prediction points. When the expression f11 is modified, it can be expressed as the expression f12 using U.
Figure 0006724820

ただし、Hは式f13で表される行列、Fは式f14で表される行列である。

Figure 0006724820
However, H is the matrix represented by Formula f13 and F is the matrix represented by Formula f14.
Figure 0006724820

さらにX、X1=Y、X2は、式f15,f16,f17のように表すことができる。

Figure 0006724820
Furthermore, X, X1=Y, and X2 can be expressed as in formulas f15, f16, and f17.
Figure 0006724820

続いて、規範軌道生成部201及び軌道生成部203の処理について、図6、図7、図8を参照しながら説明を続ける。ステップS101では、規範軌道生成部201が、制約がない場合の走行軌道を規範軌道として生成する。図7の(A)のように、制約がない場合に指標とした関数を最小にする走行軌道を規範軌道Trとして生成する。規範軌道Trは、式f18,f19,f20のように代数的に成立する。規範軌道Trは、Y0 *で表される。

Figure 0006724820
Subsequently, the processes of the reference trajectory generation unit 201 and the trajectory generation unit 203 will be described with reference to FIGS. 6, 7, and 8. In step S101, the reference trajectory generation unit 201 generates a traveling trajectory when there is no constraint as a reference trajectory. As shown in FIG. 7A, a running trajectory that minimizes the function used as an index when there is no constraint is generated as the reference trajectory Tr. The reference trajectory Tr is algebraically established as in equations f18, f19, and f20. The reference trajectory Tr is represented by Y 0 * .
Figure 0006724820

ステップS101に続くステップS102では、軌道生成部203が、規範軌道Trを、状態量の下限制約を満たす一部反映軌道Traに修正する。図7の(B)に示されるように、路上障害物33及び車線が下限制約となっている。第1状態量に対する一部反映軌道は式f21で求められ、第2状態量に対する一部反映軌道は式f22で求められる。尚、修正ベクトルλxlは、軌道の修正量を決定するベクトルである。

Figure 0006724820
In step S102 following step S101, the trajectory generation unit 203 corrects the reference trajectory Tr to a partial reflection trajectory Tra that satisfies the lower limit constraint of the state quantity. As shown in FIG. 7B, the road obstacle 33 and the lane are the lower limit restrictions. The partially reflected trajectory for the first state quantity is obtained by the equation f21, and the partially reflected trajectory for the second state quantity is obtained by the equation f22. The correction vector λxl is a vector that determines the correction amount of the trajectory.
Figure 0006724820

制約を満たすための修正ベクトルを求める問題は、線形相補性問題と呼ばれ、これを解く方法としてはLemke法等の公知の方法が知られている。1種類の制約に対する修正ベクトルを求める場合は、演算量が有限で既定以下となるので、ステップS102での最大演算量は既定以下となる。 The problem of finding a correction vector to satisfy the constraint is called a linear complementarity problem, and a known method such as the Lemke method is known as a method of solving this problem. When obtaining a correction vector for one type of constraint, the amount of calculation is finite and is less than the default, so the maximum amount of calculation in step S102 is less than the default.

ステップS102に続くステップS103では、軌道生成部203が、一部反映軌道Traを、状態量の上限制約を満たす一部反映軌道Trbに修正する。図7の(C)に示されるように、路上障害物34及び車線が上限制約となっている。第1状態量に対する一部反映軌道は式f23で求められ、第2状態量に対する一部反映軌道は式f24で求められる。

Figure 0006724820
In step S103 following step S102, the trajectory generation unit 203 corrects the partially reflected trajectory Tra to the partially reflected trajectory Trb that satisfies the upper limit constraint of the state quantity. As shown in FIG. 7C, the road obstacle 34 and the lane are the upper limit restrictions. The partially reflected trajectory for the first state quantity is obtained by the equation f23, and the partially reflected trajectory for the second state quantity is obtained by the equation f24.
Figure 0006724820

ステップS102と同様に、修正ベクトルを求める演算量は有限で既定以下となるので、ステップS103での最大演算量も既定以下となる。 Similar to step S102, the amount of calculation for obtaining the correction vector is finite and less than the default, so the maximum amount of calculation in step S103 is also less than the default.

ステップS103に続くステップS104では、軌道生成部203が、一部反映軌道Trbを、操作量の下限制約を満たす一部反映軌道Trcに修正する。図8の(A)に示される一部反映軌道Trcは、式f25で求められる。

Figure 0006724820
In step S104 following step S103, the trajectory generation unit 203 corrects the partially reflected trajectory Trb to the partially reflected trajectory Trc that satisfies the lower limit constraint of the operation amount. The partial reflection trajectory Trc shown in (A) of FIG. 8 is obtained by the expression f25.
Figure 0006724820

ステップS102,S103と同様に、修正ベクトルを求める演算量は有限で既定以下となるので、ステップS104での最大演算量も既定以下となる。 Similar to steps S102 and S103, since the amount of calculation for obtaining the correction vector is finite and less than the default, the maximum amount of calculation in step S104 is also less than the default.

ステップS104に続くステップS105では、軌道生成部203が、一部反映軌道Trcを、操作量の上限制約を満たす一部反映軌道Trdに修正する。図8の(B)に示される一部反映軌道Trdは、式f26で求められる。

Figure 0006724820
In step S105 following step S104, the trajectory generation unit 203 corrects the partially reflected trajectory Trc to be the partially reflected trajectory Trd that satisfies the upper limit constraint of the operation amount. The partial reflection trajectory Trd shown in (B) of FIG. 8 is obtained by the expression f26.
Figure 0006724820

ステップS105に続くステップS106では、軌道生成部203が、以上のステップで求められた一部反映軌道Trdが全ての制約を満たしているかチェックする。図8の(C)に示されるように、全ての制約を満たしていれば走行軌道Treとし、ステップS107の処理に進む。全ての制約を満たしていなければ、ステップS108の処理に進む。 In step S106 following step S105, the trajectory generation unit 203 checks whether or not the partially reflected trajectory Trd obtained in the above steps satisfies all the constraints. As shown in (C) of FIG. 8, if all the constraints are satisfied, the traveling trajectory Tre is set, and the process proceeds to step S107. If all the constraints are not satisfied, the process proceeds to step S108.

ステップS107では、軌道生成部203は、走行軌道Treの生成が完了したこと及び走行軌道Treを制御装置14に通知し処理を終了する。ステップS108では、軌道生成部203は、生成した走行軌道が制約を満たしていないことを制御装置14に通知し処理を終了する。 In step S107, the trajectory generation unit 203 notifies the control device 14 of the completion of the generation of the traveling trajectory Tre and the traveling trajectory Tre, and ends the processing. In step S108, the trajectory generation unit 203 notifies the control device 14 that the generated traveling trajectory does not satisfy the constraint, and ends the process.

続いて、図9を参照しながら、制御装置14の処理について説明する。制御装置14は、走行軌道Trfを成す予測点の内1点を選択し、自車両の中央軸と選択した点との距離eを算出する。距離eを追従誤差として、これを減少させるように、目標前輪舵角δtを式f27で算出する。尚、gは適合パラメータである。

Figure 0006724820
Subsequently, the processing of the control device 14 will be described with reference to FIG. 9. The control device 14 selects one of the predicted points forming the traveling track Trf and calculates the distance e between the center axis of the host vehicle and the selected point. The target front wheel steering angle δt is calculated by the expression f27 so as to reduce the tracking error with the distance e as the tracking error. Note that g is a compatible parameter.
Figure 0006724820

続いて、実際の前輪舵角δwと目標前輪舵角δtとを用いて、式f28に基づいて操舵トルクTwを算出する。尚、gp、gd、giは適合パラメータである。

Figure 0006724820
Subsequently, the steering torque Tw is calculated based on the equation f28 using the actual front wheel steering angle δw and the target front wheel steering angle δt. Note that g p , g d , and g i are compatible parameters.
Figure 0006724820

上記したように本実施形態に係る走行軌道生成装置20は、自車両Cが走行中の車線情報に基づく規範軌道を生成する規範軌道生成部201と、自車両Cの状態量に対する上下限制約を規定する状態量制約情報及び自車両Cの操作量に対する上下限制約を規定する操作量制約情報を算出する制約情報生成部202と、規範軌道と、状態量制約情報及び操作量制約情報の少なくとも一方と、に基づいて自車両Cの走行軌道を生成する軌道生成部203と、を備える。軌道生成部203は、規範軌道を基準として、状態量制約情報又は操作量制約情報を反映させた一部反映軌道を生成し、一部反映軌道を基準として、一部反映軌道に反映されていない状態量制約情報又は操作量制約情報を反映させることで走行軌道を生成する。 As described above, the traveling trajectory generation device 20 according to the present embodiment includes the normative trajectory generation unit 201 that generates the normative trajectory based on the lane information in which the host vehicle C is traveling, and the upper and lower limit constraints on the state quantity of the host vehicle C. A constraint information generation unit 202 that calculates the operation amount constraint information that defines the state amount constraint information and the operation amount constraint information that defines the upper and lower limit constraints for the operation amount of the vehicle C, a reference trajectory, and at least one of the state amount constraint information and the operation amount constraint information. And a trajectory generation unit 203 that generates a traveling trajectory of the host vehicle C based on The trajectory generation unit 203 generates a partially reflected trajectory in which the state quantity constraint information or the operation amount constraint information is reflected with the reference trajectory as a reference, and the partially reflected trajectory is not reflected in the partially reflected trajectory as a reference. The traveling trajectory is generated by reflecting the state quantity constraint information or the operation quantity constraint information.

本実施形態では、制約を受けず車線情報のみに基づく規範軌道を生成し、その規範軌道に制約情報を1種類ずつ反映させることで、走行軌道を生成するまでの演算量を既定以下に抑えることができる。 In the present embodiment, a reference trajectory based on only lane information is generated without being restricted, and the constraint information is reflected on the reference trajectory one by one, so that the amount of calculation until the travel trajectory is generated is suppressed to a predetermined value or less. You can

また本実施形態では、軌道生成部203は、規範軌道に状態量制約情報を反映させて一部反映軌道として状態量反映軌道(図7の(B)(C)及びその説明参照)を生成し、状態量反映軌道に操作量制約情報を反映させて走行軌道を生成する。自車両側でコントロールできない外的要因である状態量制約情報を先に反映させることで、その反映させた状態量反映軌道を前提として、操作量を制御することができる。 In addition, in the present embodiment, the trajectory generation unit 203 reflects the state quantity constraint information on the reference trajectory and generates a state quantity reflected trajectory (see (B), (C) of FIG. 7 and its description) as a partially reflected trajectory. , The operation amount constraint information is reflected on the state quantity reflecting trajectory to generate a traveling trajectory. By reflecting the state quantity constraint information, which is an external factor that cannot be controlled by the host vehicle, first, the manipulated variable can be controlled on the premise of the reflected state quantity reflecting trajectory.

また本実施形態では、制約情報生成部202は、自車両Cの中心の、自車両Cが走行する車線の横位置に対する上下限制約を規定して状態量制約情報を算出する。 Further, in the present embodiment, the constraint information generation unit 202 calculates the state quantity constraint information by defining upper and lower limit constraints on the lateral position of the center of the own vehicle C in the lane in which the own vehicle C is traveling.

また本実施形態では、制約情報生成部202は、自車両Cの向く方向が規範軌道と成す角に対する上下限制約を規定して状態量制約情報を算出することもできる。 Further, in the present embodiment, the constraint information generation unit 202 can also calculate the state quantity constraint information by defining upper and lower limit constraints on the angle formed by the direction in which the host vehicle C faces the reference trajectory.

また本実施形態では、制約情報生成部202は、自車両Cの横位置が変化する速度に対する上下限制約を規定して状態量制約情報を算出することもできる。 Further, in the present embodiment, the constraint information generation unit 202 can also calculate the state quantity constraint information by defining upper and lower limit constraints on the speed at which the lateral position of the vehicle C changes.

また本実施形態では、制約情報生成部202は、自車両Cの前輪舵角に対する上下限制約を規定して操作量制約情報を算出することもできる。 Further, in the present embodiment, the constraint information generation unit 202 can also calculate the operation amount constraint information by defining upper and lower limit constraints on the front wheel steering angle of the host vehicle C.

また本実施形態では、制約情報生成部202は、自車両Cの中心の横位置が変化する加速度に対する上下限制約を規定して操作量制約情報を算出することもできる。 Further, in the present embodiment, the constraint information generation unit 202 can also calculate the operation amount constraint information by defining upper and lower limit constraints on the acceleration at which the lateral position of the center of the own vehicle C changes.

以上、具体例を参照しつつ本実施形態について説明した。しかし、本開示はこれらの具体例に限定されるものではない。これら具体例に、当業者が適宜設計変更を加えたものも、本開示の特徴を備えている限り、本開示の範囲に包含される。前述した各具体例が備える各要素およびその配置、条件、形状などは、例示したものに限定されるわけではなく適宜変更することができる。前述した各具体例が備える各要素は、技術的な矛盾が生じない限り、適宜組み合わせを変えることができる。 The present embodiment has been described above with reference to specific examples. However, the present disclosure is not limited to these specific examples. Those obtained by those skilled in the art who appropriately change the design are also included in the scope of the present disclosure as long as they have the features of the present disclosure. The elements provided in each of the specific examples described above and the arrangement, conditions, shapes, and the like of the elements are not limited to those illustrated, but can be appropriately changed. The respective elements included in the above-described specific examples can be appropriately combined as long as there is no technical contradiction.

20:走行軌道生成装置
201:規範軌道生成部
202:制約情報生成部
203:軌道生成部
20: Running trajectory generation device 201: Reference trajectory generation unit 202: Constraint information generation unit 203: Trajectory generation unit

Claims (6)

走行軌道生成装置であって、
自車両が走行中の車線情報に基づく規範軌道を生成する規範軌道生成部(201)と、
前記自車両の状態量に対する上下限制約を規定する状態量制約情報及び前記自車両の操作量に対する上下限制約を規定する操作量制約情報を算出する制約情報生成部(202)と、
前記規範軌道と、前記状態量制約情報及び前記操作量制約情報の少なくとも一方と、に基づいて前記自車両の走行軌道を生成する軌道生成部(203)と、を備え、
前記軌道生成部は、
前記規範軌道を基準として、前記状態量制約情報又は前記操作量制約情報のいずれか一方を反映させた一部反映軌道を生成し、
前記一部反映軌道を基準として、前記一部反映軌道に反映されていない前記状態量制約情報又は前記操作量制約情報を反映させることで前記走行軌道を生成するものであって
前記制約情報生成部は、前記自車両の中心の、前記自車両が走行する車線の横位置に対する上下限制約を規定して前記状態量制約情報を算出する、走行軌道生成装置。
A travel trajectory generator,
A reference trajectory generation unit (201) for generating a reference trajectory based on lane information in which the vehicle is traveling,
A constraint information generation unit (202) that calculates state quantity constraint information that defines upper and lower limit constraints on the state quantity of the own vehicle and operation amount constraint information that defines upper and lower limit constraints on the operation amount of the own vehicle,
A trajectory generation unit (203) that generates a traveling trajectory of the host vehicle based on the reference trajectory and at least one of the state amount constraint information and the operation amount constraint information;
The trajectory generation unit,
Based on the reference trajectory, generate a partially reflected trajectory reflecting either one of the state amount constraint information or the operation amount constraint information,
The reference to the part reflected orbital been made to generate the running track by reflecting the state quantity restriction information or the operation amount restriction information is not reflected in the part reflected track,
The traveling trajectory generation device , wherein the constraint information generation unit calculates the state quantity constraint information by defining upper and lower limit constraints on a lateral position of a lane in which the host vehicle travels at the center of the host vehicle .
走行軌道生成装置であって、
自車両が走行中の車線情報に基づく規範軌道を生成する規範軌道生成部(201)と、
前記自車両の状態量に対する上下限制約を規定する状態量制約情報及び前記自車両の操作量に対する上下限制約を規定する操作量制約情報を算出する制約情報生成部(202)と、
前記規範軌道と、前記状態量制約情報及び前記操作量制約情報の少なくとも一方と、に基づいて前記自車両の走行軌道を生成する軌道生成部(203)と、を備え、
前記軌道生成部は、
前記規範軌道を基準として、前記状態量制約情報又は前記操作量制約情報のいずれか一方を反映させた一部反映軌道を生成し、
前記一部反映軌道を基準として、前記一部反映軌道に反映されていない前記状態量制約情報又は前記操作量制約情報を反映させることで前記走行軌道を生成するものであって
前記制約情報生成部は、前記自車両の向く方向が前記規範軌道と成す角に対する上下限制約を規定して前記状態量制約情報を算出する、走行軌道生成装置。
A travel trajectory generator,
A reference trajectory generation unit (201) for generating a reference trajectory based on lane information in which the vehicle is traveling,
A constraint information generation unit (202) that calculates state quantity constraint information that defines upper and lower limit constraints on the state quantity of the own vehicle and operation amount constraint information that defines upper and lower limit constraints on the operation amount of the own vehicle,
A trajectory generation unit (203) that generates a traveling trajectory of the host vehicle based on the reference trajectory and at least one of the state amount constraint information and the operation amount constraint information;
The trajectory generation unit,
Based on the reference trajectory, generate a partially reflected trajectory reflecting either one of the state amount constraint information or the operation amount constraint information,
The reference to the part reflected orbital been made to generate the running track by reflecting the state quantity restriction information or the operation amount restriction information is not reflected in the part reflected track,
The constraint information generation unit is a traveling trajectory generation device that calculates upper limit and lower limit constraints on an angle formed by the direction in which the host vehicle faces the reference trajectory and calculates the state quantity constraint information .
走行軌道生成装置であって、
自車両が走行中の車線情報に基づく規範軌道を生成する規範軌道生成部(201)と、
前記自車両の状態量に対する上下限制約を規定する状態量制約情報及び前記自車両の操作量に対する上下限制約を規定する操作量制約情報を算出する制約情報生成部(202)と、
前記規範軌道と、前記状態量制約情報及び前記操作量制約情報の少なくとも一方と、に基づいて前記自車両の走行軌道を生成する軌道生成部(203)と、を備え、
前記軌道生成部は、
前記規範軌道を基準として、前記状態量制約情報又は前記操作量制約情報のいずれか一方を反映させた一部反映軌道を生成し、
前記一部反映軌道を基準として、前記一部反映軌道に反映されていない前記状態量制約情報又は前記操作量制約情報を反映させることで前記走行軌道を生成するものであって
前記制約情報生成部は、前記自車両の横位置が変化する速度に対する上下限制約を規定して前記状態量制約情報を算出する、走行軌道生成装置。
A travel trajectory generator,
A reference trajectory generation unit (201) for generating a reference trajectory based on lane information in which the vehicle is traveling,
A constraint information generation unit (202) that calculates state quantity constraint information that defines upper and lower limit constraints on the state quantity of the own vehicle and operation amount constraint information that defines upper and lower limit constraints on the operation amount of the own vehicle,
A trajectory generation unit (203) that generates a traveling trajectory of the host vehicle based on the reference trajectory and at least one of the state amount constraint information and the operation amount constraint information;
The trajectory generation unit,
Based on the reference trajectory, generate a partially reflected trajectory reflecting either one of the state amount constraint information or the operation amount constraint information,
The reference to the part reflected orbital been made to generate the running track by reflecting the state quantity restriction information or the operation amount restriction information is not reflected in the part reflected track,
The traveling trajectory generation device , wherein the constraint information generation unit calculates upper limit and lower limit constraints on the speed at which the lateral position of the host vehicle changes to calculate the state quantity constraint information .
請求項1から3のいずれか1項に記載の走行軌道生成装置であって、
前記軌道生成部は、前記規範軌道に前記状態量制約情報を反映させて一部反映軌道として状態量反映軌道を生成し、前記状態量反映軌道に前記操作量制約情報を反映させて前記走行軌道を生成する、走行軌道生成装置。
The traveling trajectory generation device according to any one of claims 1 to 3 ,
The trajectory generation unit reflects the state quantity constraint information on the reference trajectory to generate a state quantity reflected trajectory as a partially reflected trajectory, and reflects the operation amount constraint information on the state quantity reflected trajectory to drive the running trajectory. A travel trajectory generation device for generating.
請求項1から4のいずれか1項に記載の走行軌道生成装置であって、
前記制約情報生成部は、前記自車両の前輪舵角に対する上下限制約を規定して前記操作量制約情報を算出する、走行軌道生成装置。
The traveling trajectory generation device according to any one of claims 1 to 4 ,
The traveling trajectory generation device, wherein the constraint information generation unit defines upper and lower limit constraints on a front wheel steering angle of the host vehicle and calculates the operation amount constraint information.
請求項1から4のいずれか1項に記載の走行軌道生成装置であって、
前記制約情報生成部は、前記自車両の中心の横位置が変化する加速度に対する上下限制約を規定して前記操作量制約情報を算出する、走行軌道生成装置。
The traveling trajectory generation device according to any one of claims 1 to 4 ,
The traveling trajectory generation device, wherein the constraint information generation unit calculates upper limit and lower limit constraints on the acceleration at which the lateral position of the center of the vehicle changes and calculates the operation amount constraint information.
JP2017036654A 2017-02-28 2017-02-28 Running trajectory generator Active JP6724820B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017036654A JP6724820B2 (en) 2017-02-28 2017-02-28 Running trajectory generator

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017036654A JP6724820B2 (en) 2017-02-28 2017-02-28 Running trajectory generator

Publications (2)

Publication Number Publication Date
JP2018140735A JP2018140735A (en) 2018-09-13
JP6724820B2 true JP6724820B2 (en) 2020-07-15

Family

ID=63527573

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017036654A Active JP6724820B2 (en) 2017-02-28 2017-02-28 Running trajectory generator

Country Status (1)

Country Link
JP (1) JP6724820B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7243227B2 (en) * 2019-01-29 2023-03-22 トヨタ自動車株式会社 vehicle controller
JP7496797B2 (en) 2021-03-29 2024-06-07 本田技研工業株式会社 Trajectory generation device and trajectory generation method
JP2023013298A (en) * 2021-07-15 2023-01-26 株式会社デンソー Track processing system, track processing device, track processing method, and track processing program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6558238B2 (en) * 2015-12-22 2019-08-14 アイシン・エィ・ダブリュ株式会社 Automatic driving support system, automatic driving support method, and computer program
JP6376522B2 (en) * 2016-11-29 2018-08-22 マツダ株式会社 Vehicle control device

Also Published As

Publication number Publication date
JP2018140735A (en) 2018-09-13

Similar Documents

Publication Publication Date Title
US11092967B2 (en) Vehicle movement control device
Broggi et al. The ARGO autonomous vehicle’s vision and control systems
JP6829255B2 (en) Control system for steering means of motorized vehicles in situations where a collision with an obstacle is imminent
Piazzi et al. Quintic G/sup 2/-splines for the iterative steering of vision-based autonomous vehicles
JP6323473B2 (en) Travel control device
US10775798B2 (en) Running track determining device and automatic driving apparatus
CN109690649B (en) Vehicle travel control method and vehicle travel control device
US20140169630A1 (en) Driving assistance apparatus and driving assistance method
CN110361013B (en) Path planning system and method for vehicle model
JP6910973B2 (en) Vehicle control device, its control method, and vehicle control system
CN105774801B (en) Method and device for guiding a vehicle on a lane
CN108646756B (en) Intelligent automobile transverse control method and system based on segmented affine fuzzy sliding mode
JP6724820B2 (en) Running trajectory generator
BR112020004099A2 (en) position correction method and position error correction device for driving-aided vehicles
JP6610799B2 (en) Vehicle traveling control method and traveling control apparatus
JP6419671B2 (en) Vehicle steering apparatus and vehicle steering method
US11884273B2 (en) Vehicle control device, vehicle control method, and vehicle control system
CN113247023B (en) Driving planning method and device, computer equipment and storage medium
CN110789530B (en) Four-wheel independent steering-independent driving vehicle trajectory tracking method and system
JP7125286B2 (en) Behavior prediction device and automatic driving device
CN115551756A (en) Path control module, associated path control device and associated method
JPH03113513A (en) Speed-sensitive steering controller for self-traveling vehicle
WO2019031137A1 (en) Roadside object detection device, roadside object detection method, and roadside object detection system
CN114852085A (en) Automatic vehicle driving track planning method based on road right invasion degree
US20230097675A1 (en) Driving assistance device, driving assistance method, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190408

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200608

R151 Written notification of patent or utility model registration

Ref document number: 6724820

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250