JP6913063B2 - 車線維持制御装置 - Google Patents

車線維持制御装置 Download PDF

Info

Publication number
JP6913063B2
JP6913063B2 JP2018159360A JP2018159360A JP6913063B2 JP 6913063 B2 JP6913063 B2 JP 6913063B2 JP 2018159360 A JP2018159360 A JP 2018159360A JP 2018159360 A JP2018159360 A JP 2018159360A JP 6913063 B2 JP6913063 B2 JP 6913063B2
Authority
JP
Japan
Prior art keywords
lane
vehicle
traveling
preceding vehicle
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018159360A
Other languages
English (en)
Other versions
JP2020032802A (ja
Inventor
明博 渡邉
明博 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2018159360A priority Critical patent/JP6913063B2/ja
Priority to CN201910422663.5A priority patent/CN110871796B/zh
Priority to US16/433,783 priority patent/US11142198B2/en
Priority to DE102019117654.9A priority patent/DE102019117654A1/de
Publication of JP2020032802A publication Critical patent/JP2020032802A/ja
Application granted granted Critical
Publication of JP6913063B2 publication Critical patent/JP6913063B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/53Road markings, e.g. lane marker or crosswalk
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4045Intention, e.g. lane change or imminent movement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/18Braking system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/20Steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10Longitudinal speed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

本発明は、先行車のウインカ点滅を検出し、且つ車線幅の広がりを検出した場合、点滅ウインカと反対側の区画線を基準に目標進行路を設定する車線維持制御装置に関する。
運転者が運転する車両(自車両)に搭載されているカーナビゲーションシステムでは、運転者が目的地をセットすると、GPS衛星を代表とするGNSS(Global Navigation Satellite System )衛星等の測位衛星から受信した位置情報に基づいて自車位置を検出し、道路地図情報とのマッチングにより自車位置から目的地までの走行ルートを設定する。そして、この走行ルートに沿って自車両を目的地まで誘導する。
その際、自車両が高速道路や一般道路を直進走行するに際しては、運転者が行う操舵を車両側が支援することで、運転者の負担を軽減させる車線維持(ALK:Active Lane Keep)制御が知られている。この車線維持制御では、自車両に搭載されているカメラ等のセンシングデバイスにより自車両前方の走行環境情報を取得し、取得した走行環境情報に基づいて自車両が走行している車線(走行車線)の左右を区画する区画線(主に白線)を認識する。そして、その左右区画線間の距離から車線幅を求め、この車線幅に基づいて自車両が走行車線の中央を走行させるための目標進行路を設定する。
この場合、例えば、走行車線前方に分岐路が接続されており、この分岐路によって区画線が途切れていると区画線を検出することができないため、目標進行路を設定することが困難となり、車線維持制御はキャンセルされる。
この対策として、例えば、特許文献1(WO2011/064825号公報)では、左右何れか一方の区画線が途切れたとき、これまでに得られた区画線を延長させて仮想的な区画線を設定する技術が開示されている。この文献に開示されている技術によれば、仮想的な区画線と実際に検出されている反対側の区画線とに基づいて車線幅を求めることで、目標進行路を設定することができる。
WO2011/064825号公報
しかし、例えば、図9に示すように、車線の左側に分岐路が接続されている場合、左区画線は分岐路に沿って延在するため、この分岐路側の区画線と右区画線との間の距離から車線幅が設定されることになる。
そのため、上述した文献に開示されている技術では、区画線の途切れを検出するまでに若干の遅れが生じる。その間、例えば、図10の破線枠で示すように、車線幅が分岐路側の区画線に沿ってΔWずつ増加し、車線幅が徐々に拡幅した状態で検出されるため、目標進行路が分岐路側へ偏倚した状態で設定される。その結果、自車両の走行が不安定となり、運転者に不快感を与えてしまう不都合がある。
これに対処するに、区画線の広がりを早期に検出することで、走行の不安定化を抑制することも考えられるが、左右の区画線間の距離は誤差を有しているため、区画線間の距離の僅かな広がりを、区画線の途切れと誤判定しやすくなり、安定した車線維持制御性を得ることが困難となり、運転者に却って不快感を与えてしまうことになる。
本発明は、上記事情に鑑み、区画線の広がりから、この区画線の途切れを早期に検出しても、車線維持制御性が不安定化せず、運転者に与える不快感を軽減させることのできる車線維持制御装置を提供することを目的とする。
本発明は、自車両の前方の走行環境情報を取得する走行環境情報取得手段と、前記走行環境情報取得手段で取得した前記走行環境情報から前記自車両の前方を走行する先行車情報を抽出する先行車情報抽出手段と、前記走行環境情報取得手段で取得した前記走行環境情報から前記自車両が走行している車線の左右を区画する区画線の情報を抽出する区画線情報抽出手段と、前記区画線情報抽出手段で抽出した前記区画線の情報に基づき前記自車両が走行している車線の車線幅を求め、該車線幅内の所定横位置に沿って前記自車両を走行させるための目標進行路を演算する車線維持制御演算手段とを備える車線維持制御装置において、前記車線維持制御演算手段は、前記先行車情報抽出手段で抽出した前記先行車情報から前記自車両と同一の車線上を先行車が走行しているか否かを調べる先行車検出手段と、前記先行車検出手段で前記先行車が走行していると判定した場合、前記走行環境情報取得手段で取得した前記走行環境情報から前記先行車のウインカが点滅しているか否かを調べるウインカ点滅判定手段と、前記先行車付近における前記区画線の車線幅方向への広がりを検出する区画線広がり検出手段と、前記ウインカ点滅判定手段で前記先行車の前記ウインカの点滅を検出し、且つ前記区画線広がり検出手段で前記ウインカが点滅している側への前記区画線の広がりを検出した場合、前記目標進行路を前記ウインカが点滅している側の区画線とは反対側の区画線のみを基準に設定する目標進行路演算手段とを備える。
本発明によれば、先行車情報抽出手段で抽出した先行車情報から自車両と同一の車線上を先行車が走行しているか否かを調べ、先行車が走行していると判定した場合、走行環境情報取得手段で取得した走行環境情報から先行車のウインカが点滅しているか否かを調べ、ウインカが点滅している側の区画線とは反対側の区画線のみを基準に目標進行路を設定するようにしたので、区画線の広がりから、この区画線の途切れを誤判定なく、早期に検出することができ、車線維持制御性が不安定化せず、運転者に与える不快感を軽減させることができる。
車線維持制御を含む運転支援システムの機能ブロック図 車線維持制御ルーチンを示すフローチャート 目標進行路演算処理サブルーチンを示すフローチャート(その1) 目標進行路演算処理サブルーチンを示すフローチャート(その2) フレーム画像上にプロットした区画線の候補点列を示す説明図 車線幅の広がり判定しきい値を示す説明図 直進路を走行中の先行車が車線変更をしようとしている状態を示す説明図 入り口に補助線が描画されている分岐路へ進路変更しようとしている先行車の状態を示す説明図 先行車がウインカを点滅させて分岐路方向へ進路変更しようとしている状態を示す説明図 自車両が分岐路側の区画線を認識した状態を示す説明図 先行車がウインカを点滅させて交差点手前の右折専用レーンに車線変更しようとしている状態を示す説明図
以下、図面に基づいて本発明の一実施形態を説明する。図1に示す運転支援システム1は、自車両M(図7〜図11参照)に搭載されている。この運転支援システム1は、自車両Mの現在位置(自車位置)、及び運転者の設定した目的地までの走行ルートを設定するナビゲーションユニット11と、走行環境情報取得手段としてのカメラユニット21と、車線維持制御ユニット22とが搭載されている。
ナビゲーションユニット11は、道路地図上の自車両Mの現在位置(自車位置)を推定すると共に、運転者の設定した目的地までの走行ルートを道路地図データに基づいて設定する。一方、カメラユニット21は自車両Mの前方の走行環境情報を取得して、走行車線の左右を区画する区画線、道路形状、先行車の有無等の各情報を認識すると共に、左右区画線間の距離(車線幅)から車線中央を求める。そして、この車線中央の道路曲率、先行車との車間距離及び相対速度等を求める。
ナビゲーションユニット11は、地図ロケータ演算手段としての地図ロケータ演算部12と記憶手段としての道路地図データベース16とを有している。尚、この道路地図データベース16は、HDD等の記憶媒体に格納されている。
この地図ロケータ演算部12、後述する前方走行環境認識部21d、及び車線維持制御ユニット22は、CPU,RAM,ROM等を備える周知のマイクロコンピュータ、及びその周辺機器で構成されており、ROMにはCPUで実行するプログラムやベースマップ等の固定データ等が予め記憶されている。
又、地図ロケータ演算部12の入力側に、GNSS(Global Navigation Satellite System / 全球測位衛星システム)受信機13、走行状況取得センサ14、及び目的地情報入力装置15が接続されている。GNSS受信機13は複数の測位衛星から発信される測位信号を受信する。又、走行状況取得センサ14は、トンネル内走行等、GNSS衛生からの受信感度が低く測位信号を有効に受信することのできない環境において、自車位置の推定を可能にする情報を取得するもので、車速センサ、ジャイロセンサ、及び前後加速度センサ等で構成されている。
そして、地図ロケータ演算部12は、GNSS衛星からの受信感度が低い走行環境において、車速センサで検出した車速とジャイロセンサで検出した角速度、及び前後加速度センサで検出した前後加速度等に基づき移動距離と方位からローカライゼーションを行う。
又、目的地情報入力装置15は、操作者である運転者が目的地情報(住所、電話番号、モニタに表示された登録一覧からの選択等)を入力すると、対応する位置座標(緯度、経度)を取得し、この位置座標を目的地として設定する。
地図ロケータ演算部12は、自車位置推定演算部12a、道路地図情報取得部12b、ルート設定演算部12cを備えている。自車位置推定演算部12aは、GNSS受信機13で受信した測位信号に基づき自車両Mの位置情報である位置座標(緯度、経度)を取得する。又、GNSS受信機13の感度低下により測位衛星からの有効な測位信号を受信することができない環境では、走行状況取得センサ14からの信号に基づいて自車両Mの位置座標を推定する。
道路地図情報取得部12bは、自車両Mの位置座標と目的地情報入力装置15で設定した目的地の位置座標(緯度、経度)とを、道路地図データベース16に記憶されている道路地図上にマップマッチングする。そして、両位置を特定し、現在の自車位置から目的地周辺の道路地図情報をルート設定演算部12cに送信する。
ルート設定演算部12cは、先ず、道路地図情報取得部12bでマップマッチングした現在位置と目的地とを結ぶ走行ルートを道路地図上に、予め設定されている条件(推奨ルート、最速ルート等)に従って作成する。
一方、カメラユニット21は、自車両Mの車室内前部の上部中央に固定されており、車幅方向中央を挟んで左右対称な位置に配設されているメインカメラ21a及びサブカメラ21bからなる車載カメラ(ステレオカメラ)と、画像処理ユニット(IPU)21c、及び前方走行環境認識部21dとを有している。このカメラユニット21は、メインカメラ21aで基準画像データを撮像し、サブカメラ21bで比較画像データを撮像する。
そして、この両画像データをIPU21cにて所定に画像処理する。前方走行環境認識部21dは、IPU21cで画像処理された基準画像データと比較画像データとを読込み、その視差に基づいて両画像中の同一対象物を認識すると共に、その距離データ(自車両Mから対象物までの距離)を、三角測量の原理を利用して算出して、前方走行環境情報を認識する。この前方走行環境情報には、自車両Mが走行する車線(走行車線)の道路形状(左右を区画する区画線、区画線間中央の道路曲率[1/m]、及び左右区画線間の幅(車線幅))、交差点、横断歩道、信号機、道路標識、及び路側障害物(電柱、電信柱、ガードレール、塀、駐車車両等)が含まれている。
図5に前方走行環境情報の1つである左右区画線の求め方を例示する。先ず、予め設定されている検索開始水平ラインjsから検索終了水平ラインjeまでの間の検索領域で、今回撮像した1フレーム画像の基準画像データ上の1水平ライン毎に下側の検索開始水平ラインjs(自車両Mの手前側)から上側の検索終了水平ラインje(遠方)に1画素幅、或いは予め設定されている数画素幅ずつオフセットしながら順次画素を探索する。そして、基準画像データの各画素の輝度値に基づいて各画素の輝度微分値、すなわちエッジ強度(輝度差)がしきい値以上に大きく変化する条件を満たしている画素を内側の区画線境界として検出する。
従って、走行車線の左右を区画する区画線Ll,Lr(図7〜図11参照)上には、その内側エッジに区画境界線bl,brを示す候補点Pl,Prがプロットされる。尚、同図の符号iは水平画素数、jは垂直画素数である。その際、1水平ラインでの検出処理は、例えば、画像の中央部SLから左区画線Ll、及び右区画線Lrのそれぞれに向けて1画素ずつ行われる。
そして、各候補点Pl,Pr毎の時系列で並ぶ候補点列から、例えば最小二乗法を適用して、一次以上の直線、或いは曲線の近似式を求め、この近似式に基づいて、左右の区画線Ll,Lrの内側に区画境界線bl,brを設定する。尚、先行車D等の立体物については、距離情報は上述した三角測量の原理を利用して算出し、形状については周知のパターンマッチング法等を用いて認識する。
車線維持制御ユニット22は、前方走行環境認識部21dで認識した前方走行環境情報に基づき、自車両Mを左右区画線Ll,Lr間の、所定横位置(本実施形態では中央)に沿って走行させるための目標進行路を設定する。この車線維持制御ユニット22は、先行車情報抽出手段としての先行車情報抽出部22aと、区画線情報抽出手段としての左右区画線情報抽出部22bと、車線維持制御演算手段としての車線維持制御演算部22cとを備えており、入力側に地図ロケータ演算部12、及びカメラユニット21の前方走行環境認識部21dが接続されている。
又、この車線維持制御ユニット22の出力側に、自車両Mを目標進行路に沿って走行させる操舵制御部31、強制ブレーキにより自車両Mを減速させるブレーキ制御部32、自車両Mの車速を制御する加減速制御部33、及び警報装置34が接続されている。
先行車情報抽出部22aは、前方走行環境情報から自車両Mの直前を走行する先行車Dの情報(車間距離d1、ウインカの点滅等)を抽出する。又、左右区画線情報抽出部22bは、前方走行環境情報から自車両M前方の左右区画線Ll,Lrの情報(区画境界線bl,brを含む)を抽出する。
この先行車情報と左右区画線Ll,Lrの情報(区画境界線bl,brを含む)は、車線維持制御演算部22cで読込まれる。この車線維持制御演算部22cは、左右区画境界線bl,br間の距離から車線幅Wを算出し、この車線幅W内の所定横位置である中央(W/2)に目標進行路を設定する。この目標進行路は操舵制御部31で読込まれ、自車両Mを目標進行路に沿って走行させる車線維持(ALK:Active Lane Keep)制御が行われる。
車線維持制御演算部22cで車線維持制御は、具体的には、図2に示す車線維持制御ルーチンに従って実行される。
このルーチンでは、先ずステップS1で、先行車情報抽出部22aで抽出した先行車情報を読込み、ステップS2で、自車両Mと同一の車線上に先行車Dが走行しているか否かを調べる。尚、このステップでの処理が、本発明の先行車検出手段に対応している。
そして、先行車Dが走行している場合は、ステップS3へ進み、先行車フラグFdをセットして(Fd←1)、ステップS5へ進む。又、先行車Dが検出されていない場合はステップS4へ分岐し、先行車フラグFdをクリアして(Fd←0)、ステップS7へ進む。
ステップS5へ進むと、自車両Mと先行車Dとの車間距離d1と追従車間距離Td1とを比較する。この追従車間距離Td1は、運転者が設定することも可能であるが、車速に応じて自動的に設定される可変値であっても良い。
そして、d1<Td1の場合はステップS6へ進み、d1≧Td1の場合はステップS7へ分岐する。ステップS6へ進むと、先行車Dに対して追従車間距離Td1を開けた状態で追従走行させるべく、図示しない追従車間距離制御(ACC:Adaptive Cruise Control)ユニットに対して、追従走行制御指令を送信する。すると、ACCユニットでは、追従走行制御指令に従い、ブレーキ制御部32、加減速制御部33を所定に制御動作させて、周知のACC制御を行う。
一方、ステップS4、或いはステップS5からステップS7へ進むと、運転者が設定したセット車速での定速走行を実行させるべく、ACCユニットに対して、セット車速による定速走行制御指令を送信する。すると、ACCユニットでは自車両Mをセット車速で定速走行させる走行制御を実行する。
そして、ステップS6、或いはステップS7からステップS8へ進むと、左右区画線情報抽出部22bで抽出した左右区画線情報を読込み、ステップS9で左右区画線が検出されているか否かを調べる。そして、左右区画線Ll,Lrが検出されている場合はステップS10へ進む。又、交差点に進入する際などのように左右区画線Ll,Lrが途切れた場合はステップS11へ分岐し、車線維持制御をキャンセルする指令を操舵制御部31に送信してルーチンを抜ける。操舵制御部31は、車線維持制御演算部22cからのキャンセル信号を受けて、車線維持(ALK)制御をキャンセルする。
一方、ステップS10へ進むと、左右区画線情報の1つである左右区画境界線bl,br間の距離(車線幅)Wを算出する。次いで、ステップS12へ進み、この車線幅Wから車線中央W/2を算出し、ステップS13へ進む。
ステップS13では、自車両Mを車線中央W/2上を走行させるための目標進行路を求めてステップS14へ進む。このステップS13での目標進行路演算処理は、図3、図4に示す目標進行路演算処理サブルーチンに従って実行される。
このサブルーチンでは、先ず、ステップS21で区間平均車線幅Wavを算出する。この区間平均車線幅Wavは、例えば、図5に示すような1フレーム画像毎に算出した車線幅の過去数フレーム分の平均値から求める。
そして、ステップS22で、今回計測した車線幅W(n)と区間平均車線幅Wavとの差分から車線変動幅ΔWを算出する(ΔW←W(n)−Wav)。次いで、ステップS23へ進み、先行車フラグFdの値を参照し、Fd=1の先行車Dありの場合はステップS24へ進み、又、Fd=0の先行車Dなしの場合はステップS25へジャンプする。
ステップS24へ進むと、前方走行環境情報から先行車Dのウインカが点滅しているか否かを調べる。そして、点滅していなければステップS25へ進み、又、点滅していると判定した場合はステップS28へジャンプする。尚、このステップS24での処理が、本発明のウインカ点滅判定手段に対応している。
ステップS23、或いはステップS24からステップS25へ進むと、車線変動幅ΔWと予め設定されている第1広がり判定しきい値ΔWHとを比較し、ΔW≧ΔWHの場合はステップS26へ進み、又、ΔW<ΔWHの場合はステップS31へ分岐する。この第1広がり判定しきい値ΔWHは、目標進行路に分岐路が接続されているか否かを調べる値であり、予めシミュレーション等に基づいて設定されている。車線幅Wは、左右区画境界線bl,br間の距離から算出される。
この場合、例えば、図9に示すように、自車両Mが走行している左側車線に分岐路が接続されている場合、左区画線Llは分岐路方向へ延在されるため、左区画線Llが外方へ広がり、その分、車線幅Wが広がって検出されてしまう。
図7に示すように、直進路においては、車線幅Wの中央W/2を目標進行路として設定しているので、一方の区画線(図9では左区画線Ll)が分岐路に沿って延在されていると、車線幅Wが広がって検出される。その結果、車線中央W/2は分岐路側へ偏倚されて設定されてしまい、走行安定性が損なわれる。そのため、車線変動幅ΔWが第1広がり判定しきい値ΔWHを超えた場合は、車線が分岐していると判定し、ステップS26へ進む。
ステップS26へ進むと、左区画線Llと右区画線Lrとの何れが広がっているかを調べる。広がり方向の区画線を検出する方法は種々考えられる。例えば、図5に示すように、直進路の場合、候補点Pl,Prを検索開始水平ラインjsから検索終了水平ラインje方向へ検索すると、この候補点Pl,Prは中央寄りに移動する。しかし、例えば、左区画線Llが分岐路に沿って描画されている場合、この候補点Plは外側へ移動するため、時系列で並ぶ候補点の点列が外方向へ広がっていれば、広がり方向の区画線であると判定できる。
そして、ステップS26で広がり方向の区画線を検出した後、ステップS27へ進み、広がり方向と反対側の区画線(区画境界線)を基準として目標進行路を演算して、図2のステップS14へ進む。この目標進行路は、ステップS12で求めた車線中央W/2を、広がり方向と反対側の区画線の区画境界線(図9では右区画線Lrの右区画境界線br)を基準に設定する。この場合、上述のステップS21で算出した区間平均車線幅Wavの1/2を車線中央として設定するようにしても良い。
一方、ステップS24で、先行車Dのウインカが点滅していると判定されてステップS28へジャンプすると、自車両M前方の目標進行路上に分岐路が接続されているか否かを調べる。分岐路は、図8、図9に示すような本線に接続する道路に限るものではなく、図11に示すような交差点手前の右折専用レーンも含まれる。
分岐路が接続されているか否かは、例えば地図ロケータ演算部12の道路地図情報取得部12bで取得した自車両M前方の道路地図情報に基づいて判断する。尚、図11では左側通行規制の車道が示されているが、右側通行規制の車道では、上述した右折専用レーンは左折専用レーンが対象となる。
そして、分岐路ありの場合はステップS29へ進み、又、分岐路なしの場合はステップS30へ分岐する。本実施形態では、先行車Dのウインカ点滅により、前方の分岐路を予測しているため、道路地図情報からは分岐路の有無のみの情報を取得すれば良い。従って、道路地図データベース16に記憶されている道路地図データの精度が低く、分岐路の位置を正確に表示させることのできない場合であっても、本実施形態を適用することができる。
ステップS29へ進むと、車線変動幅ΔWと第2広がり判定しきい値ΔWLとを比較する。そして、ΔW<ΔWLの場合、ステップS31へ分岐し、又、ΔW≧ΔWLの場合、ステップS32へ進む。これにより、分岐路をいち早く検出し、目標進行路が分岐路側へ偏倚してしまうことを防止することができ、良好な走行判定性を得ることができる。
一方、ステップS30へ進むと、車線変動幅ΔWと第1広がり判定しきい値ΔWHとを比較する。そして、ΔW<ΔWHの場合はステップS31へ進み、又、ΔW≧ΔWHの場合はステップS32へ進む。
先行車Dのウインカが点滅したことを検出した場合であっても、分岐路が検出されない場合、先行車Dは路肩に停車させようとしているか、車線変更しようとしているか等、少なくとも曲がる意思はないと判断される。この場合、第2広がり判定しきい値ΔWLよりも高い第1広がり判定しきい値ΔWHを適用することで、過敏な応答性により走行安定性が損なわれることを防止することができる。尚、上述したステップS25、及びステップS29,S30での各処理が、本発明の区画線広がり検出手段に対応している。
そして、ステップS29、或いはステップS30からステップS31へ進むと、左右区画境界線bl,br間の距離から算出した車線幅Wの中央(W/2)を基準とした目標進行路を求め、図2のステップS14へ進む。例えば、図8に示すように、本線と分岐路との接続部分に補助線が描画されている場合、先行車Dがウインカを点滅させて分岐路方向へ進路変更しても、左区画境界線blは補助線の内側に沿って設定されるため、ΔW<ΔWLとなる。従って、左右区画境界線bl,br間の車線幅Wに基づいて車線中央W/2が設定される。
一方、ステップS29或いはステップS30からステップS32へ進むと、先行車Dの点滅しているウインカとは反対側の区画線(区画境界線)を基準に目標進行路を設定して、図2のステップS14へ進む。尚、このステップS32での処理が、本発明の目標進行路演算手段に対応している。
この場合の車線中央は、ステップS12で算出した値(W/2)であるが、ステップS21で算出した区間平均車線幅Wavの1/2であっても良い。或いは、最新の車線幅W(n)の1/2であっても良い。
例えば、自車両Mの目標進行路上に先行車Dが走行していない場合、ステップS26での処理のように、先ず、広がり方向の区画線を検出し、その後、基準となる区画線を特定する必要があり、制御遅れが生じてしまう。これに対し、先行車Dのウインカの点滅を検出することで、基準となる区画線を即座に特定することができ、制御遅れを防止することができる。
又、図6に示すように、第2広がり判定しきい値ΔWLは、第1広がり判定しきい値ΔWHよりも低い値に設定されている。従って、図9に示すように、本線と分岐路との接続部分に補助線が描画されていない、或いはかすれ等により、区画線が途切れている場合であっても、先行車Dのウインカが点滅していることを検出した後、図10に示すように分岐路での車線幅W(n)と区間平均車線幅Wavとの差分である車線変動幅ΔWが第2広がり判定しきい値ΔWLを超えていることを検出することで、区画線の途切れを、誤判定なく早期に検出することができる。
これは、図11に示すような右折専用レーンであっても同様である。すなわち、目標進行路の前方に分岐路として右折専用レーンが接続されており、本線と右折専用レーンとの接続部分において、区画線が途切れていても、車線変動幅ΔWが、ΔW≧ΔWLに達すれば、早期に左区画線Llの内側に沿って設定されている左区画境界線blを基準に車線中央が設定される。
そして、図2のステップS14へ進むと、自車両MをステップS13で設定した目標進行路に沿って走行させる車線維持制御を実行させる指令信号を操舵制御部31に送信してルーチンを抜ける。操舵制御部31は、車線維持(ALK)制御を実行し、自車両Mを車線維持制御演算部22cで演算した目標進行路に沿って走行させる。
このように、本実施形態によれば、本線と分岐路との接続部が途切れていても、先行車Dがウインカを点滅させて分岐路方向に進路変更するに際し、車線変動幅ΔWが、ΔW≧ΔWLに達すれば、この区画線の広がりにより、途切れと判断し、反対側の区画線に沿って設定された区画境界線bl(br)を基準に目標進行路が設定される。
そのため、目標進行路が分岐路側へ大きく偏倚してしまうことがなく、安定した車線維持(ALK)制御性を得ることができ、運転者に与える不快感を軽減させることができる。
尚、本発明は、上述した実施形態に限るものではなく、例えば、目標進行路は車線幅Wの中央W/2に限らず、車線幅Wの一方に偏倚した位置に設定しても良い。
1…運転支援システム、
11…ナビゲーションユニット、
12…地図ロケータ演算部、
12a…自車位置推定演算部、
12b…道路地図情報取得部、
12c…ルート設定演算部、
13…GNSS受信機、
14…走行状況取得センサ、
15…目的地情報入力装置、
16…道路地図データベース、
21…カメラユニット、
21a…メインカメラ、
21b…サブカメラ、
21c…画像処理ユニット(IPU)、
21d…前方走行環境認識部、
22…車線維持制御ユニット、
22a…先行車情報抽出部、
22b…左右区画線情報抽出部、
22c…車線維持制御演算部、
31…操舵制御部、
32…ブレーキ制御部、
33…加減速制御部、
34…警報装置、
bl…左区画境界線、
br…右区画境界線、
D…先行車、
d1…車間距離、
Fd…先行車フラグ、
i…水平画素数、
j…垂直画素数、
je…検索終了水平ライン、
js…検索開始水平ライン、
Ll…左区画線、
Lr…右区画線、
M…自車両、
Pl,Pr…候補点、
SL…中央部、
Td1…追従車間距離、
W…車線幅、
W/2…車線中央、
Wav…区間平均車線幅、
ΔW…車線変動幅、
ΔWH…第1広がり判定しきい値、
ΔWL…第2広がり判定しきい値

Claims (3)

  1. 自車両の前方の走行環境情報を取得する走行環境情報取得手段と、
    前記走行環境情報取得手段で取得した前記走行環境情報から前記自車両の前方を走行する先行車情報を抽出する先行車情報抽出手段と、
    前記走行環境情報取得手段で取得した前記走行環境情報から前記自車両が走行している車線の左右を区画する区画線の情報を抽出する区画線情報抽出手段と、
    前記区画線情報抽出手段で抽出した前記区画線の情報に基づき前記自車両が走行している車線の車線幅を求め、該車線幅内の所定横位置に沿って前記自車両を走行させるための目標進行路を演算する車線維持制御演算手段と
    を備える車線維持制御装置において、
    前記車線維持制御演算手段は、
    前記先行車情報抽出手段で抽出した前記先行車情報から前記自車両と同一の車線上を先行車が走行しているか否かを調べる先行車検出手段と、
    前記先行車検出手段で前記先行車が走行していると判定した場合、前記走行環境情報取得手段で取得した前記走行環境情報から前記先行車のウインカが点滅しているか否かを調べるウインカ点滅判定手段と、
    前記先行車付近における前記区画線の車線幅方向への広がりを検出する区画線広がり検出手段と、
    前記ウインカ点滅判定手段で前記先行車の前記ウインカの点滅を検出し、且つ前記区画線広がり検出手段で前記ウインカが点滅している側への前記区画線の広がりを検出した場合、前記目標進行路を前記ウインカが点滅している側の区画線とは反対側の区画線のみを基準に設定する目標進行路演算手段と
    を備えることを特徴とする車線維持制御装置。
  2. 前記区画線広がり検出手段は、前記車線幅の変動幅と予め設定した広がり判定しきい値とを比較し、該変動幅が該広がり判定しきい値を超えた場合に、前記区画線の広がりと判定することを特徴とする請求項1記載の車線維持制御装置。
  3. 前記広がり判定しきい値は、前記走行環境情報取得手段で取得した前記走行環境情報、或いは地図ロケータ演算手段で推定した前記自車両の位置情報に基づいて取得した該自車両前方の道路地図情報から前方に分岐路が検出された場合、該分岐路が検出されない場合に比べて低い値に設定することを特徴とする請求項2に記載の車線維持制御装置。
JP2018159360A 2018-08-28 2018-08-28 車線維持制御装置 Active JP6913063B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018159360A JP6913063B2 (ja) 2018-08-28 2018-08-28 車線維持制御装置
CN201910422663.5A CN110871796B (zh) 2018-08-28 2019-05-21 车道保持控制装置
US16/433,783 US11142198B2 (en) 2018-08-28 2019-06-06 Lane keep control apparatus
DE102019117654.9A DE102019117654A1 (de) 2018-08-28 2019-07-01 Fahrspureinhaltesteuervorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018159360A JP6913063B2 (ja) 2018-08-28 2018-08-28 車線維持制御装置

Publications (2)

Publication Number Publication Date
JP2020032802A JP2020032802A (ja) 2020-03-05
JP6913063B2 true JP6913063B2 (ja) 2021-08-04

Family

ID=69526889

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018159360A Active JP6913063B2 (ja) 2018-08-28 2018-08-28 車線維持制御装置

Country Status (4)

Country Link
US (1) US11142198B2 (ja)
JP (1) JP6913063B2 (ja)
CN (1) CN110871796B (ja)
DE (1) DE102019117654A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7302950B2 (ja) * 2018-06-05 2023-07-04 株式会社デンソー 車両の運転支援制御装置、運転支援システムおよび運転支援制御方法
JP7229710B2 (ja) * 2018-09-26 2023-02-28 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US11480962B1 (en) * 2019-06-28 2022-10-25 Zoox, Inc. Dynamic lane expansion
US11427191B2 (en) 2019-10-31 2022-08-30 Zoox, Inc. Obstacle avoidance action
US11532167B2 (en) 2019-10-31 2022-12-20 Zoox, Inc. State machine for obstacle avoidance
CN115210123A (zh) * 2020-01-27 2022-10-18 三菱电机株式会社 前车判定系统及前车判定方法
JP7109496B2 (ja) * 2020-03-13 2022-07-29 本田技研工業株式会社 走行制御装置、車両、走行制御方法及びプログラム
CN114255606B (zh) * 2020-09-21 2023-09-22 华为技术有限公司 辅助驾驶提醒、地图辅助驾驶提醒方法、装置和地图
JP2022060078A (ja) 2020-10-02 2022-04-14 株式会社Subaru 運転支援装置
JP7549503B2 (ja) 2020-10-02 2024-09-11 株式会社Subaru 走行制御装置
JP7261782B2 (ja) * 2020-10-29 2023-04-20 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
DE102020214162B3 (de) 2020-11-11 2022-03-17 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Spurhalteassistenzsystems eines Fahrzeugs während einer Fortbewegungsfahrt des Fahrzeugs entlang einer Fahrspur, sowie elektronisches Fahrerassistenzsystem sowie Fahrzeug
CN112406535A (zh) * 2020-11-23 2021-02-26 上海伟世通汽车电子系统有限公司 一种基于黑白灰屏仪表的驾驶辅助方法
JP2022123239A (ja) * 2021-02-12 2022-08-24 本田技研工業株式会社 区画線認識装置
CN113401121B (zh) * 2021-07-30 2022-11-08 驭势(上海)汽车科技有限公司 一种车辆控制方法、装置、电子设备及存储介质
CN113715816B (zh) * 2021-09-30 2023-06-30 岚图汽车科技有限公司 车道居中功能控制方法、装置、设备及可读存储介质
CN114937372B (zh) * 2022-05-18 2023-09-05 安徽蔚来智驾科技有限公司 一种车辆定位系统、定位方法、车辆和存储介质
KR20240109519A (ko) * 2023-01-04 2024-07-11 현대모비스 주식회사 차량 제어 시스템 및 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004182161A (ja) * 2002-12-05 2004-07-02 Toyota Motor Corp 方向指示装置
JP4603970B2 (ja) * 2005-12-15 2010-12-22 トヨタ自動車株式会社 道路区画線検出装置
JP4933962B2 (ja) * 2007-06-22 2012-05-16 富士重工業株式会社 分岐路進入判定装置
JP5359092B2 (ja) * 2008-07-28 2013-12-04 日産自動車株式会社 車両運転支援装置及び車両運転支援方法
KR101424421B1 (ko) 2009-11-27 2014-08-01 도요타지도샤가부시키가이샤 운전 지원 장치 및 운전 지원 방법
JP5964609B2 (ja) * 2012-02-23 2016-08-03 株式会社日本自動車部品総合研究所 車両用追従制御装置
JP6217412B2 (ja) * 2014-01-29 2017-10-25 アイシン・エィ・ダブリュ株式会社 自動運転支援装置、自動運転支援方法及びプログラム
JP6344275B2 (ja) * 2015-03-18 2018-06-20 トヨタ自動車株式会社 車両制御装置
CN105711588B (zh) * 2016-01-20 2018-05-11 奇瑞汽车股份有限公司 一种车道保持辅助系统和车道保持辅助方法
JP6327719B2 (ja) * 2016-02-04 2018-05-23 株式会社Subaru 車両の走行制御装置
JP2017165216A (ja) * 2016-03-15 2017-09-21 株式会社Subaru 車両の走行制御装置
JP6658565B2 (ja) * 2017-01-20 2020-03-04 トヨタ自動車株式会社 運転支援装置

Also Published As

Publication number Publication date
JP2020032802A (ja) 2020-03-05
DE102019117654A1 (de) 2020-03-05
US20200070826A1 (en) 2020-03-05
US11142198B2 (en) 2021-10-12
CN110871796A (zh) 2020-03-10
CN110871796B (zh) 2024-07-30

Similar Documents

Publication Publication Date Title
JP6913063B2 (ja) 車線維持制御装置
JP6788634B2 (ja) 自動運転支援システム
US11313976B2 (en) Host vehicle position estimation device
CN110471406B (zh) 自动驾驶系统
EP3477614B1 (en) Vehicle control method and vehicle control device
US8620571B2 (en) Driving assistance apparatus, driving assistance method, and driving assistance program
JP6489003B2 (ja) 経路探索装置及び車両用自動運転装置
JP7360269B2 (ja) 車両の走行制御装置
JP7303667B2 (ja) 自動運転支援装置
US9026356B2 (en) Vehicle navigation system and method
US20190061753A1 (en) Vehicle control apparatus
JP7193948B2 (ja) 自動運転支援装置
JP7502869B2 (ja) 車両の運転支援システム
JP2020166539A (ja) 交差点発進判定装置
US11845435B2 (en) Driving assistance device
CN109425861B (zh) 本车位置可信度运算装置
JP2023013304A (ja) 車両制御システム
JP2022060075A (ja) 運転支援装置
JP2023054084A (ja) 車両用ステレオカメラ装置
KR101543073B1 (ko) 차량의 주행안내 장치 및 방법
JP7202120B2 (ja) 運転支援装置
JP2022123940A (ja) 車両制御装置
US11920949B2 (en) Map generation apparatus
JP7216695B2 (ja) 周囲車両監視装置及び周囲車両監視方法
US20220268596A1 (en) Map generation apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190328

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190328

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200325

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200805

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200819

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200821

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200825

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20201023

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20201027

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20201124

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20210105

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210303

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210413

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20210518

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20210615

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210615

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210709

R150 Certificate of patent or registration of utility model

Ref document number: 6913063

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250