JP7156924B2 - 車線境界設定装置、車線境界設定方法 - Google Patents

車線境界設定装置、車線境界設定方法 Download PDF

Info

Publication number
JP7156924B2
JP7156924B2 JP2018223645A JP2018223645A JP7156924B2 JP 7156924 B2 JP7156924 B2 JP 7156924B2 JP 2018223645 A JP2018223645 A JP 2018223645A JP 2018223645 A JP2018223645 A JP 2018223645A JP 7156924 B2 JP7156924 B2 JP 7156924B2
Authority
JP
Japan
Prior art keywords
vehicle
lane boundary
lane
movement history
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018223645A
Other languages
English (en)
Other versions
JP2020087191A (ja
Inventor
昌也 岡田
巧 植松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2018223645A priority Critical patent/JP7156924B2/ja
Priority to US16/595,915 priority patent/US11120277B2/en
Publication of JP2020087191A publication Critical patent/JP2020087191A/ja
Application granted granted Critical
Publication of JP7156924B2 publication Critical patent/JP7156924B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本開示は、車線境界設定装置、車線境界設定方法に関する。
特許文献1には、カメラで認識した道路の区画線のエッジ点から、自車両の走行する車線境界を設定する技術が記載されている。設定された車線境界は、例えば、自車線への他車両の車線変更判定に用いられる。
特開2016-134093号公報
しかし、特許文献1の技術では、道路の区画線がかすれている場合等、カメラによって区画線が認識されない場合については考慮されていなかった。そのため、区画線が認識されない場合にも、車線境界を精度よく設定可能な技術が求められていた。
本開示は、上述の課題を解決するためになされたものであり、以下の形態として実現することが可能である。
本開示の第1の形態によれば、車線境界設定装置(105、105a)が提供される。この装置は、自車両(10)に搭載され少なくともカメラ(122)を含む検出装置(120)の検出結果を取得して、前記自車両の進行方向周囲における路側物(30)の形状と、他車両(20、20a、20b、20c)の移動履歴(21、21a、21b、21c)と、の少なくとも一つを周辺情報として繰り返し認識する認識部(111)と、
前記認識部により認識された前記周辺情報を用いて、前記自車両の進行方向に、道路形状を点で表す点列からなる基準線(11)を繰り返し推定する基準線推定部(112)と、
前記基準線推定部により推定された前記基準線から前記自車両の車幅方向両側へ予め定められた第1距離(D1)離れた位置を、前記自車両の走行車線の境界である第1車線境界(15R、15L)として繰り返し設定する、第1車線境界設定部(114)と、を備える。この形態によれば、区画線が認識されない場合であっても、自車両の走行車線の境界である第1車線境界を設定することができる。また、立体的形状である他車両と路側物とは、道路にペイントされた区画線よりも遠方まで検出可能であるため、より遠方まで第1車線境界を設定することができる。
本開示の第2の形態によれば、車線境界設定方法が提供される。この方法では、自車両の進行方向周囲における路側物の形状と、他車両の移動履歴と、の少なくとも一つを周辺情報として繰り返し認識し(ステップS100)、認識された周辺情報を用いて、自車両の進行方向に、道路形状を点で表す点列からなる基準線を繰り返し推定し(ステップS200)、推定された基準線から自車両の車幅方向両側へ予め定められた第1距離離れた位置を、自車両の走行車線の境界である第1車線境界として繰り返し設定する(ステップS300)。この形態によれば、区画線が認識されない場合であっても、自車両の走行車線の境界である第1車線境界を設定することができる。また、立体的形状である他車両と路側物とは、道路にペイントされた区画線よりも遠方まで検出可能であるため、より遠方まで第1車線境界を設定することができる。
本開示は、車線境界設定装置以外の種々の形態で実現することも可能である。例えば、車線境界設定装置を備える運転システム、車線境界設定装置を備える車両、車線境界設定方法、かかる方法を実現するためのコンピュータプログラム、かかるコンピュータプログラムを記憶した記憶媒体等の形態で実現することができる。
車線境界設定装置を備える車両の概略構成を示す図。 第1実施形態における車線境界設定処理を示す工程図。 基準線推定部により推定される点列のイメージ図。 基準線推定部により推定される基準線のイメージ図。 車線境界設定部により設定される第1車線境界を示すイメージ図。 第2実施形態における車線境界設定処理を示す工程図。 第2実施形態における除外車両特定処理を示す工程図。 第1除外車両として特定される他車両の例を示す図。 第1除外車両として特定される他車両の例を示す図。 第1除外車両として特定されない他車両の例を示す図。 第3実施形態における除外車両特定処理を示す工程図。 第1除外車両として特定される第1離間車両の例を示す図。 第1除外車両として特定されない第1離間車両の例を示す図。 第1除外車両として特定されない第1離間車両の例を示す図。 第4実施形態における車線境界設定装置を備える車両の概略構成を示す図。 第2車線境界設定処理を示す工程図。 第1車線境界の外側に第2車線境界が設定される例を示す図。 第1車線境界の外側に第2車線境界が設定されない例を示す図。 第5実施形態における除外車両特定処理を示す工程図。 第2除外車両として特定される他車両と特定されない他車両の例を示す図。 第6実施形態における除外車両特定処理を示す工程図。 他の実施形態1において複数の第2車線境界が設定される例を示す図。 他の実施形態3において区画線を用いて第1車線境界が設定される例を示す図。 他の実施形態4において地図情報を用いて基準線が推定される例を示す図。
A.第1実施形態
図1に示すように、本開示の一実施形態としての車両10は、自動運転制御システム100を備える。本実施形態において、自動運転制御システム100は、車線境界設定装置105と、検出装置120と、運転制御部210と、駆動力制御ECU(Electronic Control Unit)220と、制動力制御ECU230と、操舵制御ECU240と、を備える。車線境界設定装置105と、運転制御部210と、駆動力制御ECU220と、制動力制御ECU230と、操舵制御ECU240とは、車載ネットワーク250を介して接続される。車両10を「自車両」とも呼ぶ。本実施形態において、自動運転制御システム100は、車両10の自動運転を実行する。運転手が手動で運転してもよい。
車両10に搭載された検出装置120は、カメラ122を含み、車両10の少なくとも進行方向周辺の情報を繰り返し検出する。本実施形態では、カメラ122は、車両10の前方、側方及び後方に向けて設置され、前方、側方及び後方の撮像画像を取得する。側方とは、車両10の車幅方向である。後方とは、車両10の後方正面に加え、右後方及び左後方を含む。カメラ122として、単眼カメラが用いられてもよい。また、2以上のカメラによって構成されるステレオカメラやマルチカメラが用いられてもよい。
本実施形態の検出装置120は、更に、車両10の周辺を監視するセンサ群、車両10の走行状態を監視するセンサ群や、V2X(Vehicle to Everything)を用いた情報通信装置を含む。車両10の周辺を監視するセンサ群として、例えば、ミリ波レーダー、LiDAR(Light Detection And Ranging又はLaser Imaging Detection And Ranging)、超音波センサ等の反射波を利用した物体センサが挙げられる。車両10の走行状態を監視するセンサ群として、例えば、車速センサ、加速度センサ、GNSS(Global Navigation Satellite System)センサ、ヨーレートセンサが挙げられる。車速センサは、車両10の速度を検出する。加速度センサは、車両10の加速度を検出する。ヨーレートセンサは、車両10の回転角速度を検出する。GNSSセンサは、例えば、GPS(Global Positioning System)センサにより構成され、GPSを構成する航法衛星から受信する電波に基づき、車両10の現在位置を検出する。V2Xを用いた情報通信装置は、高度道路交通システム(Intelligent Transport System)との無線通信と、他の車両との車車間通信と、道路設備に設置された路側無線機との路車間通信とを実行することで、車両10の状況や周囲の状況に関する情報を、他車両等と交換することができる。検出装置120の有する各センサには、各センサの検出結果を処理するECU(Electronic Control Unit)が備えられている。検出装置120は、上記の種々の情報を検出可能である。
車線境界設定装置105は、認識部111と、基準線推定部112と、第1車線境界設定部114と、を備える。本実施形態では、車線境界設定装置105は、更に、除外車両特定部113と、出力部115と、を備える。除外車両特定部113については、第2実施形態で説明する。車線境界設定装置105は、CPU110とメモリ117と図示しないインターフェースとを備えるコンピュータとして構成されている。CPU110は、メモリ117に記憶されたプログラムP1を展開して実行することによって、上記の各部の機能を実現する。ただし、これら各部の機能の一部又は全部はハードウエア回路で実現されてもよい。
認識部111は、検出装置120の検出結果を取得して、路側物の形状と他車両の移動履歴との少なくとも一つを周辺情報として繰り返し認識する。路側物とは、道路の側縁に存在する立体構造物である。本実施形態において、認識部111は、検出装置120の検出結果から、路側物の存在とその位置を周辺情報として認識する。認識部111は、また、検出装置120から取得した他車両の存在、位置、大きさ、距離、進行方向、速度、ヨー角速度等を用いて、他車両の移動履歴を周辺情報として認識する。認識部111は、検出装置120の検出結果から、走行している道路における区画線の存在とその位置を取得可能である場合には、区画線の存在とその位置を周辺情報として認識してもよい。
基準線推定部112は、認識部111により認識された周辺情報を用いて、車両10における車幅方向中央から進行方向に向けて、車両10の走行路線の道路形状を点で表す点列からなる基準線を繰り返し推定する。基準線は、後述する第1車線境界の車幅方向における中央となる曲線である。基準線の推定には、例えば、カルマンフィルタや最小二乗法を用いることができる。
第1車線境界設定部114は、基準線推定部112が推定した基準線における各位置から、自車両10の車幅方向両側へ予め定められた第1距離D1における各位置を、自車両10の走行車線の境界として繰り返し設定する。自車両の走行車線の境界を「第1車線境界」とも呼ぶ。本実施形態では、第1距離D1はメモリ117に予め記憶されている。第1距離D1は、一般的な車線幅値の2分の1に対応する距離である。他の実施形態では、第1距離D1は、図示しない車幅学習装置により学習された車線幅に基づいて定められてもよい。
出力部115は、第1車線境界設定部114が設定した第1車線境界を、車載ネットワーク250を通じて運転制御部210等に繰り返し出力する。
運転制御部210は、いずれも図示しないCPUと、メモリと、インターフェースとを備えるマイクロコンピュータ等からなる。運転制御部210のCPUは、メモリに記憶されたプログラムを展開して実行することによって、自動運転機能を実現する。運転制御部210は、例えば、第1車線境界や後述する第2車線境界を用いて駆動力制御ECU220及び制動力制御ECU230、操舵制御ECU240を制御する。
駆動力制御ECU220は、エンジンなど車両の駆動力を発生するアクチュエータを制御する電子制御装置である。運転者が手動で運転を行う場合、駆動力制御ECU220は、アクセルペダルの操作量に応じてエンジンや電気モータである動力源を制御する。一方、自動運転を行う場合、駆動力制御ECU220は、運転制御部210で演算された要求駆動力に応じて動力源を制御する。
制動力制御ECU230は、車両の制動力を発生するブレーキアクチュエータを制御する電子制御装置である。運転者が手動で運転を行う場合、制動力制御ECU230は、ブレーキペダルの操作量に応じてブレーキアクチュエータを制御する。一方、自動運転を行う場合、制動力制御ECU230は、運転制御部210で演算された要求制動力に応じてブレーキアクチュエータを制御する。
操舵制御ECU240は、車両の操舵トルクを発生するモータを制御する電子制御装置である。運転者が手動で運転を行う場合、操舵制御ECU240は、ステアリングハンドルの操作に応じてモータを制御して、ステアリング操作に対するアシストトルクを発生させる。これにより、運転者が少量の力でステアリングを操作でき、車両の操舵を実現する。一方、自動運転を行う場合、操舵制御ECU240は、運転制御部210で演算された要求操舵角に応じてモータを制御することで操舵を行う。
図2に示す車線境界設定処理は、車線境界設定装置105が車両10の走行する道路の車線境界を設定する一連の処理である。この処理は、車両10の走行中、例えば、100ms毎に、車線境界設定装置105により繰り返し実行される。検出装置120は、自車両10の進行方向周囲の情報を、繰り返し検出する。
ステップS100では、認識部111は、検出装置120の検出結果を取得して、路側物の形状と、他車両の移動履歴と、の少なくとも一つを周辺情報として認識する。
ステップS200では、基準線推定部112は、認識部111により認識された周辺情報を用いて基準線を推定する。基準線推定部112は、まず、自車両10の進行方向に、道路形状を点で表す点列を推定し、推定した点列から基準線を推定する。
図3に示すように、本実施形態では、基準線推定部112は、認識部111によって認識された路側物30の形状と他車両20の移動履歴21を、自車両10の車幅方向中央に推移させて、点列の座標位置を推定する。他の形態では、基準線推定部112は、点列の座標位置を、自車両の車幅方向における左右の路側物30の形状から推定してもよいし、自車両の車幅方向における左右の他車両20の移動履歴21から推定してもよい。また、基準線推定部112は、点列の座標位置を、自車両10の車幅方向における一方側の路側物30の形状から推定してもよいし、自車両10の車幅方向における一方側の他車両20の移動履歴21から推定してもよい。図3及び以降の図では、基準線推定部112が推定した点列は×で表される。点列は、自車両10の車幅方向中央から、進行方向に向けて推定される。基準線推定部112は、メモリ117に記憶された道路モデルを用い、カルマンフィルタや最小二乗法を利用して、図4に示すように、点列から基準線11を推定する。
ステップS300では、第1車線境界設定部114は、推定された基準線11から自車両10の車幅方向両側へ予め定められた第1距離D1における各位置を、第1車線境界として設定する。図5に示すように、ステップS300では、自車両10の車幅方向右側における境界15Rと、自車両10の車幅方向左側における境界15Lと、からなる第1車線境界15が設定される。以下、第1車線境界15のうち右側の車線境界を第1車線境界15Rとも呼び、左側の車線境界を第1車線境界15Lとも呼ぶ。
図2のステップS400では、出力部115は、設定された第1車線境界15を運転制御部210等に出力する。以上のようにして、車線境界設定処理が実行される。
この形態によれば、車線境界設定装置105は、検出装置120の検出結果を取得して、路側物30の形状と他車両20の移動履歴21との少なくとも一つを周辺情報として認識し、認識された周辺情報を用いて道路形状を点で表す点列からなる基準線11を繰り返し推定する。また、車線境界設定装置105は、推定された基準線11から自車両10の車幅方向両側へ予め定められた第1距離D1離れた位置を、自車両10の走行車線の境界である第1車線境界15として繰り返し設定する。そのため、図3から図5に示したような区画線40が、光の反射等で認識されない場合であっても、第1車線境界15を設定することができる。また、立体的形状である他車両20と路側物30とは、道路にペイントされた区画線40よりも遠方まで検出可能であるため、より遠方まで第1車線境界15を設定することができる。
B.第2実施形態
図6に示す第2実施形態の車線境界設定処理では、ステップS120、ステップS140、ステップS150を備える点が第1実施形態と異なり、他の工程は第1実施形態と同じである。以降では、既に述べた構成や処理と同様の構成や処理については、同じ符号を付し、説明を省略する。
ステップS120では、図1に示した除外車両特定部113は、認識部111により認識された他車両の移動履歴と、設定された車線境界とを用いて、自車両10の進行方向周囲における他車両のうち、移動履歴が道路形状に沿わない他車両である除外車両を特定する。本実施形態では、除外車両特定部113は、他車両の移動履歴と、設定された第1車線境界15と、を用いて、移動履歴が道路形状に沿わない他車両を第1除外車両として特定する。
図7は、除外車両特定部113により実行される除外車両特定処理を示す工程図である。ステップS121では、除外車両特定部113は、検出装置120の検出結果を取得して、自車両10の進行方向に、他車両が存在するか否かを判定する。他車両が存在する場合、除外車両特定部113は処理をステップS123に進める。他車両が存在しない場合、除外車両特定部113は除外車両特定処理を終了する。
ステップS123では、除外車両特定部113は、今回の除外車両特定処理開始時に取得された撮像画像を用いて、自車両10の進行方向に予め定められた第2距離D2以内において、他車両が、設定された第1車線境界15を跨ぐか否かを判定する。第2距離D2は、自車両10の車幅方向中央から進行方向に向けた距離である。第2距離D2は、検出装置120の検出範囲を用いて実験やシミュレーションにより求められた、基準線推定部112により点列を推定するために設定された距離である。ステップS123が肯定判定される場合とは、図8に示す例のように、他車両20の少なくとも一部が、設定された第1車線境界15と重なる場合である。図8に示すように、他車両20が設定された第1車線境界15を跨ぐ場合には、除外車両特定部113は処理をステップS132に進め、当該他車両20を第1除外車両として特定する。他車両20が設定された第1車線境界15を跨がない場合には、除外車両特定部113は処理をステップS125に進める。
ステップS125では、除外車両特定部113は、前回の車線境界設定処理が行われてから、今回の車線境界設定処理が行われるまでに、第2距離D2以内において、他車両の移動履歴が、設定された第1車線境界15と交差するか否かを判定する。すなわち、ステップS123とステップS125により、除外車両特定部113は、前回の車線境界設定処理が行われてから、今回の車線境界設定処理が行われるまでに、設定された第1車線境界15を跨いだ他車両を、第1除外車両として特定することとなる。
図9に示す例のように、第2距離D2以内において、他車両20の移動履歴21が設定された第1車線境界15と交差する場合には、除外車両特定部113は処理をステップS130に進め、当該他車両20を第1除外車両として特定する。図10に示す例のように、第2距離D2以内において、他車両20の移動履歴21が設定された第1車線境界15と交差しない場合には、除外車両特定部113は処理をステップS132に進め、他車両20を第1除外車両として特定しない。以上のようにして、除外車両特定部113は、除外車両特定処理を実行する。
図6に戻り、ステップS140では、基準線推定部112は、除外車両が特定されたか否かを判定する。除外車両特定部113により除外車両が特定されている場合、基準線推定部112は処理をステップS150に進める。除外車両特定部113により除外車両が特定されていない場合、基準線推定部112は処理をステップS200に進める。
ステップS150では、基準線推定部112は、除外車両の移動履歴を周辺情報から除く。すなわち、ステップS140が肯定判定された場合には、ステップS200では、基準線推定部112は、除外車両の移動履歴を除く周辺情報を用いて、基準線11を推定する。
この形態によれば、除外車両特定部113は、第1車線境界15と、認識された他車両20の移動履歴21とを用いて、移動履歴が道路形状に沿わない他車両20を第1除外車両として特定し、基準線推定部112は、除外車両特定部113により特定された第1除外車両の移動履歴21を用いずに基準線11を推定する。そのため、より道路形状に沿った第1車線境界15を設定することができる。
この形態によれば、除外車両特定部113は、自車両10の進行方向に予め定められた第2距離D2以内において、設定された第1車線境界15を跨いだ他車両20と、設定された第1車線境界15と移動履歴21が交差する他車両20とを、第1除外車両として特定する。そのため、移動履歴21が道路形状に沿わない他車両20を適切に特定して、第1車線境界15を設定することができる。
C.第3実施形態
図11に示す第3実施形態の除外車両特定処理では、ステップS122とステップS127とを備える点が第2実施形態と異なり、他の工程は第2実施形態と同じである。ステップS121では、除外車両特定部113は、自車両10の進行方向周囲に他車両が存在する場合、処理をステップS122に進める。
ステップS122では、除外車両特定部113は、検出された他車両が、第1離間車両であるか否かを判定する。第1離間車両は、自車両10から予め定められた第3距離よりも離れた他車両である。第3距離D3は、自車両10の車幅方向中央から進行方向に向けた距離であり、第2距離D2以上の距離である。本実施形態では、第3距離D3は第2距離と等しい。第3距離D3は、車線境界設定装置105の処理速度と車両速度との関係から、第1車線境界15を適切に設定可能な距離に余裕を持たせた距離として定められる。第3距離D3は、実験やシミュレーションにより求められる。他車両20が第1離間車両でない場合には、除外車両特定部113は処理をステップS123に進め、上述の第2実施形態と同様にステップS123からステップS132の処理を実行する。他車両20が第1離間車両である場合には、除外車両特定部113は処理をステップS127に進める。
ステップS127では、除外車両特定部113は、第3距離D3以内の位置で、第1離間車両の移動履歴21が設定された第1車線境界15と交差するか否かを判定する。図12から図14には、第1離間車両である他車両20と設定された第1車線境界15とが示されている。図12に示す例のように、第3距離D3以内の位置で、他車両20の移動履歴21が設定された第1車線境界15と交差する場合には、除外車両特定部113は、処理をステップS132に進め、第1離間車両を第1除外車両として特定する。
図13に示す例では、第3距離D3よりも離れた位置において他車両20が設定された第1車線境界15を跨いでいる。しかし、他車両20の移動履歴21は、第3距離D3以内で、設定された第1車線境界15と交差していない。また、図14に示す例では、他車両20の移動履歴21は、第3距離D3よりも離れた位置において第1車線境界15と交差している。図13及び図14に示す例では、除外車両特定部113は、処理をステップS130に進め、他車両20を第1除外車両として特定しない。
続いて行われる基準線推定処理(図6、ステップS200)では、基準線推定部112は、第1離間車両のうち、第3距離D3以内において、移動履歴が設定された第1車線境界15と交差しない他車両の移動履歴を含む周辺情報を用いて、基準線11を推定する。
例えば、カーブの出入り口等、道路形状が大きく変化する場合には、車線境界設定装置105の処理速度と車両速度との関係等により、自車両10から離れた位置における第1車線境界15は、道路形状に沿わない可能性もある。しかし、第3距離D3以内において、第1離間車両の移動履歴が設定された第1車線境界15と交差しない場合には、当該第1離間車両の移動履歴は、道路形状に沿っていると考えられる。この形態によれば、自車両10から第3距離D3よりも離れた第1離間車両のうち、第3距離D3以内において、移動履歴が設定された第1車線境界15と交差しない他車両20は、第1除外車両として特定されない。そのため、第1離間車両のうち、移動履歴が道路形状に沿った車両の移動履歴を用いて基準線11が推定されるので、基準線の推定精度を向上させることができる。
D.第4実施形態
図15に示すように、第4実施形態の車両10aは、車線境界設定装置105aを有する自動運転制御システム100aを備える。本実施形態において、車線境界設定装置105aは、第2車線境界設定部116を備える点と、出力部115に代えて出力部115aを備える点とが、上記実施形態の車線境界設定装置105と異なる。車線境界設定装置105aのCPU110aは、メモリ117aに記憶されたプログラムP1aを展開して実行することで、認識部111と、基準線推定部112と、除外車両特定部113と、第1車線境界設定部114と、出力部115aと、第2車線境界設定部116として機能する。
第2車線境界設定部116は、設定された第1車線境界15に対し、自車両10の存在する側と反対側に、車両の走行車線の境界である第2車線境界を設定する。第1車線境界15R、15Lに対し、自車両10の存在する側と反対側を、第1車線境界の外側とも呼ぶ。出力部115aは、第1車線境界15に加え、設定された第2車線境界を出力する。
図16は、第2車線境界設定部116により実行される車線境界設定処理を示す工程図である。この処理は、第1車線境界設定部114により第1車線境界15が設定される毎に実行される。
ステップS310では、第2車線境界設定部116は、認識部111により認識された他車両の移動履歴と、設定された第1車線境界15と、除外車両特定部113により特定された除外車両の情報とを用いて、設定された第1車線境界15の外側に、除外車両でない他車両の移動履歴が存在するか否かを判定する。当該他車両の移動履歴が存在する場合には、第2車線境界設定部116は、処理をステップS320に進める。当該他車両の移動履歴が存在しない場合には、第2車線境界設定部116は本処理を終了する。
ステップ320では、第2車線境界設定部116が、設定された第1車線境界15の外側であって、除外車両でない他車両の移動履歴が認識された側に、第1車線境界15から予め定められた第4距離D4における位置を、第2車線境界として設定する。第2車線境界設定部116は、一つの移動履歴に対して1本の第2車線境界を設定する。第4距離D4は、メモリ117aに予め記憶された、実験やシミュレーションによって求められる車幅である。本実施形態では、第4距離D4は、第1距離D1の2倍の距離である。
ステップS410では、出力部115aは、設定された第2車線境界を出力する。
図17に示す例では、設定された第1車線境界15Rの右側に、他車両20aの移動履歴21aが存在し、設定された第1車線境界15Lの左側に、他車両20bの移動履歴21bが存在する。他車両20aの移動履歴21aは、第2距離D2以内において、設定された第1車線境界15と交差していないため、他車両20aは第1除外車両として特定されない。そのため、第2車線境界設定部116は、設定された第1車線境界15Rの右側に第1車線境界15Rを第4距離D4だけスライドさせて、第2車線境界25aを設定する。また、他車両20bの移動履歴21bは、第2距離D2以内において、設定された第1車線境界15と交差していないため、他車両20bは第1除外車両として特定されない。そのため、第2車線境界設定部116は、第1車線境界15Lの左側に第1車線境界15Lを第4距離D4だけスライドさせて、第2車線境界25bを設定する。図18に示す例では、設定された第1車線境界15Rの右側に、他車両20aの移動履歴21aが存在する。他車両20aの移動履歴21aは、第2距離D2以内において、設定された第1車線境界15と交差しているため、他車両20aは第1除外車両として特定される。そのため、第2車線境界設定部116は、第1車線境界15Rの右側に、第2車線境界を設定しない。
この形態によれば、第2車線境界設定部116は、設定された第1車線境界15の外側に他車両の移動履歴が認識された場合には、当該他車両の移動履歴が認識された側に、更に、第2車線境界を設定することができる。
なお、上記形態のステップS310では、第2車線境界設定部116は、設定された第1車線境界15と、他車両の移動履歴21と、を用いて第2車線境界を設定した。これに対し、又は、これに加えて、認識部111により第1車線境界15に対し自車両10の存在する側とは反対側に、道路の区画線が周辺情報として認識された場合には、第2車線境界設定部116は、設定された第1車線境界15に対し当該区画線が認識された側に第4距離D4における位置を、第2車線境界として設定してもよい。
E.第5実施形態
第5実施形態では、除外車両特定部113は、上記実施形態の機能に加え、更に、他車両の移動履歴と、第2車線境界設定部116により設定された第2車線境界とを用いて、自車両10の進行方向周囲における他車両20のうち、移動履歴21が道路形状に沿わない他車両を第2除外車両として特定する。
図19に示す除外車両特定処理は、第2車線境界が設定された場合に実行される処理である。図19に示す処理は、ステップS123、ステップS125、ステップS130、ステップS132に代えて、それぞれ、ステップS123a、ステップS125a、ステップS132、ステップS132aを備える点が第2実施形態の除外車両特定処理と異なる。
ステップS123aでは、除外車両特定部113は、今回の除外車両特定処理開始時に取得された撮像画像を用いて、自車両10の進行方向に予め定められた第2距離D2以内において、他車両が、設定された第2車線境界を跨ぐか否かを判定する。他車両が設定された第2車線境界を跨がない場合には、除外車両特定部113は処理をステップS125aに進める。
ステップS125aでは、除外車両特定部113は、前回の車線境界設定処理が行われてから、今回の車線境界設定処理が行われるまでに、第2距離D2以内において、他車両の移動履歴が、設定された第2車線境界と交差するか否かを判定する。すなわち、ステップS123aとステップS125aにより、除外車両特定部113は、前回の車線境界設定処理が行われてから、今回の車線境界設定処理が行われるまでに、設定された第2車線境界を跨いだ他車両を、第2除外車両として特定することとなる。
図20に示す例のように、第2距離D2以内において、他車両20aの移動履歴21aが設定された第2車線境界25aと交差する場合には、除外車両特定部113は処理をステップS130aに進め、当該他車両20aを第2除外車両として特定する。図20に示す他車両20bは、移動履歴21が設定された第2車線境界25bと交差しない。このような場合には、除外車両特定部113は処理をステップS132aに進め、他車両20bを第2除外車両として特定しない。以上のようにして、除外車両特定部113は、第2車線境界設定部116により設定された第2車線境界25a、25bを用いた除外車両特定処理を実行する。第2除外車両が特定されると、基準線推定部は、図6に示した車線境界設定処理において、第2除外車両の移動履歴を認識情報から除き(図6、ステップS150参照)、第2除外車両の移動履歴を除いた周辺情報を用いて基準線を推定する(図6、ステップS200参照)。
この形態によれば、除外車両特定部113は、第1車線境界設定部114により設定された第1車線境界15だけでなく、第2車線境界設定部116により設定された第2車線境界25aを用いて除外車両を特定するので、いっそう精度よく第1車線境界15を設定することができる。
F.第6実施形態
図21に示す除外車両特定処理は、第2車線境界設定部116により第2車線境界が設定された場合に実行される処理である。図21に示す処理は、ステップS122a、ステップS127aを備える点が第5実施形態(図19)と異なり、他の工程は第5実施形態と同じである。
除外車両特定部113は、ステップS122aにおいて、他車両が第5距離よりも離れた第2離間車両であるか否かを判定する。第5距離D5は、車線境界設定装置105aの処理速度と車両速度との関係から、第2車線境界を適切に設定可能な距離に余裕を持たせた距離として定められる。第5距離D5は、実験やシミュレーションにより求められる。本実施形態では、第5距離D5は、上記実施形態における第3距離D3と等しい。他車両が第2離間車両である場合には、除外車両特定部113は、処理をステップS127aに進める。他車両が第2離間車両でない場合には、除外車両特定部113は処理をステップS123aに進める。ステップS123a、ステップS125aは、第5実施形態と同様であるため説明を省略する。
ステップS127aでは、除外車両特定部113は、第5距離D5以内で、第2離間車両の移動履歴が設定された第2車線境界と交差するか否かを判定する。第5距離D5以内で、他車両の移動履歴が設定された第2車線境界と交差する場合には、除外車両特定部113は、処理をステップS132aに進め、第2離間車両を第2除外車両として特定する。第2除外車両が特定されると、基準線推定部は、図6に示した車線境界設定処理において、第2除外車両の移動履歴を認識情報から除き(図6、ステップS150参照)、第2除外車両の移動履歴を除いた周辺情報を用いて基準線を推定する(図6、ステップS200参照)。
この形態によれば、自車両10から第3距離D3よりも離れて位置する第2離間車両のうち、第5距離D5以内で、移動履歴が設定された第2車線境界と交差しない他車両は、第2除外車両として特定されない。そのため、第2離間車両のうち、移動履歴が道路形状に沿った離間車両の移動履歴を用いて基準線が推定されるので、基準線の推定精度をよりいっそう向上させることができる。
G.他の実施形態
G1.他の実施形態1
上記実施形態において、第2車線境界設定部116は、第1車線境界15の外側に、複数の第2車線境界を設定してもよい。具体的には、第2車線境界設定部116は、図16のステップS310において、設定された第2車線境界に対し第1車線境界15が設定された側と反対側に、除外車両として特定されない他車両の移動履歴が存在する場合には、設定された第2車線境界から、第1車線境界15が設定された側と反対側に第4距離D4における位置を、第2車線境界として更に設定してもよい。これに代えて、又は、これに加えて、第2車線境界設定部116は、設定された第2車線境界に対し第1車線境界15が設定された側と反対側に、認識部111により道路の区画線40が認識された場合には、設定された第2車線境界から、第1車線境界15が設定された側と反対側に第4距離D4における位置を、第2車線境界として更に設定してもよい。
図22に示す例では、設定された第2車線境界25aの車幅方向外側であって、設定された第2車線境界25aに対し、第1車線境界15Rが設定された側(左側)と反対側(右側)に、他車両20cの移動履歴21cが存在する。他車両20cの移動履歴21cは、第2距離D2以内において設定された第2車線境界25aと交差していないため、他車両20cは除外車両として特定されない。そのため、第2車線境界設定部116は、第2車線境界25aの右側に、更に第2車線境界25cを設定する。
この形態によれば、第1車線境界の車幅方向外側に、複数の第2車線境界を設定することができる。
G2.他の実施形態2
上記の他の実施形態1は、上記第5実施形態又は上記第6実施形態と組合せ可能である。例えば、除外車両特定部113は、設定された第1車線境界15と、設定された複数の第2車線境界と、を用いて、自車両10の進行方向に位置する他車両のうち、移動履歴が道路形状に沿わない他車両を除外車両として特定してもよい。この形態によれば第2車線境界設定部116は、第1車線境界15を用いて特定された第1除外車両と、複数の第2車線境界と用いて特定された第2除外車両と、の移動履歴を除いた周辺情報を用いて基準線11を推定するので、いっそう精度よく第1車線境界15を設定することができる。
G3.他の実施形態3
上記実施形態において、認識部111は、道路の区画線40を認識可能である場合には、区画線40を周辺情報として認識してもよい。図23に示す例のように、自車両10の近傍において区画線40が認識され、遠方において区画線40が認識されない場合には、基準線推定部112は、近傍において認識された区画線40と、近傍から遠方において認識された路側物30と移動履歴21とを用いて、点列を推定して基準線11を推定してもよい。
G4.他の実施形態4
上記実施形態において、認識部111により、路側物30と他車両の移動履歴と区画線40とのいずれもが周辺情報として認識されない場合には、基準線推定部112は、GNSSにより検出される自車両10の位置と、点列の座標を有する地図情報とを用いて、仮の基準線を推定してもよい。第1車線境界設定部114は、推定された仮の基準線を用いて第1車線境界を設定してもよい。この際、図24に示す例のように、基準線推定部112は、検出装置120により検出された自車両10の自己位置と、メモリ117、117aあるいは他の装置から通信によって取得した地図情報とを用いて、点列を推定し、点列から仮の基準線12を推定してもよい。第1車線境界設定部114は、仮の基準線11aを用いて仮の第1車線境界を設定してもよい。地図情報を用いて推定される隣り合う点列の間隔は、上記実施形態において推定される点列の間隔よりも広い可能性がある。また、車両10の走行環境によっては、GNSSにより検出される車両10の位置精度は低下する場合がある。そのため、基準線推定部112は、認識部111により、路側物30や他車両の移動履歴が周辺情報として認識可能となった段階で、仮の基準線12を路側物30や他車両の移動履歴を用いて推定した基準線で更新することが望ましい。この形態によれば、仮の基準線12及び仮の第1車線境界により自車両10の走行を制御しつつ、路側物30や他車両の移動履歴が周辺情報として認識可能となった段階で、より精度の高い第1車線境界を設定して、自車両10の走行を制御することができる。
本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組合せを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
本開示に記載の認識部111、基準線推定部112、除外車両特定部113、第1車線境界設定部114、第2車線境界設定部116、出力部115、115a等の制御部、及びその他の制御部とその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリーを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部及びその手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリーと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
10、10a 自車両、11 基準線、15R、15L 第1車線境界、20、20a、20b、20c 他車両、21、21a、21b、21c 移動履歴、25a、25b、25c 第2車線境界、30 路側物、105、105a 車線境界設定装置、111 認識部、112 基準線推定部、114 第1車線境界設定部

Claims (10)

  1. 車線境界設定装置(105、105a)であって、
    自車両(10)に搭載され少なくともカメラ(122)を含む検出装置(120)の検出結果を取得して、前記自車両の進行方向周囲における路側物(30)の形状と、他車両(20、20a、20b、20c)の移動履歴(21、21a、21b、21c)と、の少なくとも一つを周辺情報として繰り返し認識する認識部(111)と、
    前記認識部により認識された前記周辺情報を用いて、前記自車両の進行方向に、道路形状を点で表す点列からなる基準線(11)を繰り返し推定する基準線推定部(112)と、
    前記基準線推定部により推定された前記基準線から前記自車両の車幅方向両側へ予め定められた第1距離(D1)離れた位置を、前記自車両の走行車線の境界である第1車線境界(15R、15L)として繰り返し設定する、第1車線境界設定部(113)と、
    前記他車両の移動履歴と設定された前記第1車線境界とを用いて、前記自車両の進行方向周囲に位置する他車両のうち、移動履歴が道路形状に沿わない他車両である第1除外車両を特定する除外車両特定部(114)と、を備え、
    前記基準線推定部は、前記第1除外車両の移動履歴を除いた前記周辺情報を用いて前記基準線を推定し、
    前記除外車両特定部は、前記自車両の進行方向における前記自車両から予め定められた第2距離(D2)以内において、設定された前記第1車線境界を跨いだ他車両と、設定された前記第1車線境界と前記他車両の移動履歴とが交差する他車両と、を前記第1除外車両として特定する、車線境界設定装置。
  2. 請求項に記載の車線境界設定装置であって、
    前記除外車両特定部は、前記第2距離以上の距離であって、前記自車両の進行方向における前記自車両から予め定められた第3距離(D3)よりも離れた他車両である第1離間車両のうち、
    設定された前記第1車線境界と前記第1離間車両の移動履歴とが前記第3距離以内で交差する場合には、前記第1離間車両を前記第1除外車両として特定し、
    設定された前記第1車線境界と前記第1離間車両の移動履歴とが前記第3距離よりも離れた位置で交差する場合には、前記第1離間車両を前記第1除外車両として特定しない、車線境界設定装置。
  3. 請求項又は請求項2に記載の車線境界設定装置であって、
    更に、設定された前記第1車線境界に対し前記自車両の存在する側とは反対側に、車両の走行車線の境界である第2車線境界(25a、25b、25c)を設定する第2車線境界設定部(116)を備え、
    前記第2車線境界設定部は、
    前記認識部により認識された前記他車両の移動履歴と、設定された前記第1車線境界と、前記第1除外車両の情報とを取得し、
    設定された前記第1車線境界に対し前記自車両の存在する側とは反対側に前記第1除外車両として特定されない前記他車両の移動履歴が存在する場合には、設定された前記第1車線境界から前記他車両の移動履歴が存在する側に予め定められた第4距離における位置を、前記第2車線境界として設定する、車線境界設定装置。
  4. 請求項又は請求項2に記載の車線境界設定装置であって、
    更に、設定された前記第1車線境界に対し前記自車両の存在する側とは反対側に、車両の走行車線の境界である第2車線境界を設定する第2車線境界設定部を備え、
    前記第2車線境界設定部は、前記認識部の認識結果と、設定された前記第1車線境界と、を取得し、
    設定された前記第1車線境界に対し前記自車両の存在する側とは反対側に前記認識部により区画線が認識された場合には、設定された前記第1車線境界から前記認識部により区画線が認識された側に予め定められた第4距離における位置を、前記第2車線境界として設定する、車線境界設定装置。
  5. 請求項3又は請求項4に記載の車線境界設定装置であって、
    前記第2車線境界設定部は、設定された前記第2車線境界に対し前記第1車線境界が設定された側と反対側に、前記他車両の移動履歴が存在する場合には、設定された前記第2車線境界から前記他車両の移動履歴が存在する側に前記第4距離における位置を、前記第2車線境界として更に設定する、車線境界設定装置。
  6. 請求項3又は請求項4に記載の車線境界設定装置であって、
    前記第2車線境界設定部は、設定された前記第2車線境界に対し前記第1車線境界が設定された側と反対側に、前記認識部により道路の区画線が認識された場合には、設定された前記第2車線境界から前記認識部により区画線が認識された側に前記第4距離における位置を、前記第2車線境界として更に設定する、車線境界設定装置。
  7. 請求項3から請求項6までのいずれか一項に記載の車線境界設定装置であって、
    前記除外車両特定部は、更に、前記他車両の移動履歴と設定された前記第2車線境界とを用いて、前記自車両の進行方向周囲に位置する他車両のうち、移動履歴が道路形状に沿わない第2除外車両を特定し、
    前記基準線推定部は、更に、設定された前記第2車線境界を用いて特定された前記第2除外車両の移動履歴を除いた前記周辺情報を用いて、前記基準線を推定する、車線境界設定装置。
  8. 請求項7に記載の車線境界設定装置であって、
    前記除外車両特定部は、前記自車両の進行方向における前記自車両から前記第2距離以内において、設定された前記第2車線境界を跨いだ他車両と、設定された前記第2車線境界と前記他車両の移動履歴とが交差する他車両と、を前記第2除外車両として特定する、車線境界設定装置。
  9. 請求項8に記載の車線境界設定装置であって、
    前記除外車両特定部は、前記第2距離以上の距離であって、前記自車両の進行方向における前記自車両から予め定められた第5距離(D5)よりも離れた他車両である第2離間車両のうち、
    設定された前記第2車線境界と前記第2離間車両の移動履歴とが前記第5距離以内で交差する場合には、前記第2離間車両を前記第2除外車両として特定し、
    設定された前記第2車線境界と前記第2離間車両の移動履歴とが前記第5距離よりも離れた位置で交差する場合には、前記第2離間車両を前記第2除外車両として特定しない、車線境界設定装置。
  10. 車線境界設定方法であって、
    自車両の進行方向周囲における路側物の形状と、他車両の移動履歴と、の少なくとも一つを周辺情報として繰り返し認識し(ステップS100)、
    認識された前記周辺情報を用いて、前記自車両の進行方向に、道路形状を点で表す点列からなる基準線を繰り返し推定し(ステップS200)、
    推定された前記基準線から前記自車両の車幅方向両側へ予め定められた第1距離離れた位置を、前記自車両の走行車線の境界である第1車線境界として繰り返し設定する(ステップS300)、車線境界設定方法であり、
    前記他車両の移動履歴と設定された前記第1車線境界とを用いて、前記自車両の進行方向周囲に位置する他車両のうち、移動履歴が道路形状に沿わない他車両である第1除外車両を特定し、
    前記基準線を繰り返し推定する処理において、前記第1除外車両の移動履歴を除いた前記周辺情報を用いて前記基準線を推定し、
    前記第1除外車両を特定する処理において、前記自車両の進行方向における前記自車両から予め定められた第2距離(D2)以内において、設定された前記第1車線境界を跨いだ他車両と、設定された前記第1車線境界と前記他車両の移動履歴とが交差する他車両と、を前記第1除外車両として特定する、車線境界設定方法
JP2018223645A 2018-10-10 2018-11-29 車線境界設定装置、車線境界設定方法 Active JP7156924B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018223645A JP7156924B2 (ja) 2018-11-29 2018-11-29 車線境界設定装置、車線境界設定方法
US16/595,915 US11120277B2 (en) 2018-10-10 2019-10-08 Apparatus and method for recognizing road shapes

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018223645A JP7156924B2 (ja) 2018-11-29 2018-11-29 車線境界設定装置、車線境界設定方法

Publications (2)

Publication Number Publication Date
JP2020087191A JP2020087191A (ja) 2020-06-04
JP7156924B2 true JP7156924B2 (ja) 2022-10-19

Family

ID=70908423

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018223645A Active JP7156924B2 (ja) 2018-10-10 2018-11-29 車線境界設定装置、車線境界設定方法

Country Status (1)

Country Link
JP (1) JP7156924B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7323493B2 (ja) * 2020-06-22 2023-08-08 株式会社Soken 道路形状認識装置
CN112415552B (zh) * 2020-11-17 2022-04-15 北京百度网讯科技有限公司 车辆位置的确定方法、装置及电子设备
DE112021005227T5 (de) 2020-12-16 2023-08-31 Hitachi Astemo, Ltd. Trennlinienerkennungsvorrichtung
JP2022123239A (ja) * 2021-02-12 2022-08-24 本田技研工業株式会社 区画線認識装置
CN114132325B (zh) * 2021-12-14 2024-03-01 京东鲲鹏(江苏)科技有限公司 车辆的行驶方法和装置
WO2024147237A1 (ja) * 2023-01-06 2024-07-11 住友電気工業株式会社 電波センサの設定装置、電波センサ、電波センサの設定方法、及びコンピュータプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007008281A (ja) 2005-06-29 2007-01-18 Toyota Motor Corp 車両用運転支援装置
JP2016101889A (ja) 2014-11-28 2016-06-02 株式会社デンソー 車両の走行制御装置
JP2016103220A (ja) 2014-11-28 2016-06-02 株式会社デンソー 車両の走行制御装置
JP2016148935A (ja) 2015-02-10 2016-08-18 株式会社デンソー 走行軌跡選定装置、走行軌跡選定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007008281A (ja) 2005-06-29 2007-01-18 Toyota Motor Corp 車両用運転支援装置
JP2016101889A (ja) 2014-11-28 2016-06-02 株式会社デンソー 車両の走行制御装置
JP2016103220A (ja) 2014-11-28 2016-06-02 株式会社デンソー 車両の走行制御装置
JP2016148935A (ja) 2015-02-10 2016-08-18 株式会社デンソー 走行軌跡選定装置、走行軌跡選定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高木 聖和 外3名,特集 レーザレーダによる走行環境認識技術,デンソーテクニカルレビュー,Vol.12 No.1,2007年05月18日,pp.29-34

Also Published As

Publication number Publication date
JP2020087191A (ja) 2020-06-04

Similar Documents

Publication Publication Date Title
JP7156924B2 (ja) 車線境界設定装置、車線境界設定方法
US9896101B2 (en) Autonomous driving vehicle system
US9550496B2 (en) Travel control apparatus
JP6559194B2 (ja) 運転支援装置、運転支援方法、およびプログラム
US11703883B2 (en) Autonomous driving device
CN108688660B (zh) 运行范围确定装置
US20190071094A1 (en) Vehicle control system, vehicle control method, and storage medium
US11120277B2 (en) Apparatus and method for recognizing road shapes
JP6631289B2 (ja) 車両制御システム
JP6941178B2 (ja) 自動運転制御装置及び方法
WO2016194168A1 (ja) 走行制御装置及び方法
JP2020050108A (ja) 車両制御装置、車両制御方法、及びプログラム
JP2019526105A (ja) 周辺モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両
JP6658968B2 (ja) 運転支援方法及び運転支援装置
CN111918803B (zh) 驾驶辅助控制装置、驾驶辅助系统和驾驶辅助控制方法
JP7201310B2 (ja) 車両制御システム
US10839678B2 (en) Vehicle identifying device
JP7144271B2 (ja) 道路形状認識装置
US11932283B2 (en) Vehicle control device, vehicle control method, and storage medium
US11867526B2 (en) Map generation apparatus
JP7543196B2 (ja) 走行制御装置
US20230294702A1 (en) Control device, control method, and storage medium
JP7478696B2 (ja) 道路形状認識装置
JP7448370B2 (ja) 運転支援装置
US20230311870A1 (en) Vehicle control apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210415

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221006

R150 Certificate of patent or registration of utility model

Ref document number: 7156924

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150