JP7304334B2 - 車両制御装置、車両制御方法、およびプログラム - Google Patents

車両制御装置、車両制御方法、およびプログラム Download PDF

Info

Publication number
JP7304334B2
JP7304334B2 JP2020200856A JP2020200856A JP7304334B2 JP 7304334 B2 JP7304334 B2 JP 7304334B2 JP 2020200856 A JP2020200856 A JP 2020200856A JP 2020200856 A JP2020200856 A JP 2020200856A JP 7304334 B2 JP7304334 B2 JP 7304334B2
Authority
JP
Japan
Prior art keywords
vehicle
lane
road
exists
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020200856A
Other languages
English (en)
Other versions
JP2022088809A (ja
Inventor
隆史 懸田
将史 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2020200856A priority Critical patent/JP7304334B2/ja
Priority to CN202111193363.8A priority patent/CN114590247A/zh
Priority to US17/505,590 priority patent/US11780455B2/en
Publication of JP2022088809A publication Critical patent/JP2022088809A/ja
Application granted granted Critical
Publication of JP7304334B2 publication Critical patent/JP7304334B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0043Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052Filtering, filters
    • B60W2050/0054Cut-off filters, retarders, delaying means, dead zones, threshold values or cut-off frequency
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/53Road markings, e.g. lane marker or crosswalk
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4041Position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/801Lateral distance

Description

本発明は、車両制御装置、車両制御方法、およびプログラムに関する。
従来、自車両の周辺に存在する他車両(周辺車両)を検知し、検知した周辺車両に関する情報を通知したり、周辺車両の挙動に応じた制御を行う技術が知られている。これに関連して、自車両が走行する自車線に隣接する隣接車線に存在する追越車両を検知し、検知した追越車両から自車両を離間する方向にオフセットさせて走行する技術が知られている(例えば、特許文献1参照)。また、隣接車線等の車線判定において、カーブ走行中に、車両に搭載されたカメラによって撮影された画像に含まれる白線の変化に基づいて走行車線、隣接車線、隣々接車線を特定する技術が知られている(例えば、特許文献2参照)。
特許第5743286号公報 特開2019-213108号公報
しかしながら、周辺車両を検知する場合に、自車両の走行に影響を及ぼす可能性の低い周辺車両や道路の外側に存在する物標等の物体を検知した場合にも、その物体に関する情報に関する警報が出力される場合があった。そのため、自車両の乗員に対して適切な警報ができない場合があった。
本発明は、このような事情を考慮してなされたものであり、自車両の乗員に、より適切に物体に関する警報を行うことができる車両制御装置、車両制御方法、およびプログラムを提供することを目的の一つとする。
この発明に係る車両制御装置、車両制御方法、およびプログラムは、以下の構成を採用した。
(1):この発明の一態様に係る車両制御装置は、自車両の周辺の物体を認識する認識部と、前記自車両の周辺の道路情報を取得する道路情報取得部と、前記認識部により認識された前記物体が、前記自車両の位置を基準として設定される所定領域内に存在する場合に警報装置に警報を行わせる警報制御部と、を備え、前記警報制御部は、前記認識部により認識された前記所定領域内に存在する物体の少なくとも一部が、前記道路情報取得部により取得された前記自車両が存在する道路の境界よりも道路の外側に存在する場合に、前記物体に関する警報を行わない、車両制御装置である。
(2):上記(1)の態様において、前記道路情報取得部は、前記道路に含まれる前記自車両が走行する自車線と、前記自車線に隣接する隣接車線を取得し、前記警報制御部は、前記認識部により認識された前記所定領域内に存在する物体の少なくとも一部が前記道路情報取得部により取得された前記隣接車線に存在する場合に前記警報を行うものである。
(3):上記(1)または(2)の態様において、前記警報制御部は、前記認識部により認識された前記所定領域内に存在する物体が、前記道路情報取得部により取得された前記道路に含まれる前記自車両が走行する自車線の区間線から所定距離以内に存在する場合に前記警報を行うものである。
(4):上記(1)~(3)のうち、何れか一つの態様において、前記認識部は、前記自車両の周辺の物体のうち、認識の信頼度が閾値以下の物体、または最初に認識した物体の位置が前記自車両から所定距離以内の位置である物体を、不確定物体として認識し、前記警報制御部は、前記所定領域内で、且つ前記自車両が存在する道路の境界よりも道路の内側に存在する物体が、所定時間以上連続して認識されていない不確定物体である場合に、前記物体に関する警報を行わないものである。
(5):上記(1)~(4)のうち、何れか一つの態様において、前記認識部は、前記所定領域内に存在する物体の少なくとも一部が、前記自車両が存在する道路の境界よりも道路の外側に存在する場合に前記物体を障害物として認識し、前記警報制御部は、前周期で障害物と認識された物体の少なくとも一部が隣接車線、または前記物体が自車線から所定距離以内に存在する場合に、前記物体に関する警報を行うものである。
(6):上記(5)の態様において、前記警報制御部は、前周期で障害物と認識されていない物体が、前記自車両からみて二本目の区画線よりも外側に存在する場合に、前記物体に関する警報を行わないものである。
(7):この発明の一態様に係る車両制御方法は、コンピュータが、自車両の周辺の物体を認識し、前記自車両の周辺の道路情報を取得し、認識した前記物体が、前記自車両の位置を基準として設定される所定領域内に存在する場合に警報装置に警報を行わせ、前記所定領域内に存在する物体の少なくとも一部が、前記自車両が存在する道路の境界よりも道路の外側に存在する場合に、前記物体に関する警報を行わない、車両制御方法である。
(8):この発明の一態様に係るプログラムは、コンピュータに、自車両の周辺の物体を認識させ、前記自車両の周辺の道路情報を取得させ、認識した前記物体が、前記自車両の位置を基準として設定される所定領域内に存在する場合に警報装置に警報を行わせ、前記所定領域内に存在する物体の少なくとも一部が、前記自車両が存在する道路の境界よりも道路の外側に存在する場合に、前記物体に関する警報を行わせない、プログラムである。
上記(1)~(8)の態様によれば、自車両の乗員に、より適切に物体に関する警報を行うことができる。
実施形態の車両制御装置を含む車両システム1の構成図である。 自車両Mを上方から見た場合の車室内の様子を模式的に示す図である。 ドアミラーDMR1に表示される画像の一例を示す図である。 判定部130における第4の判定処理について説明するための図である。 判定部130における第4の判定処理について説明するための図である。 区画線からの距離に基づいて、警報対象の物体であるか否かを判定する処理を説明するための図である。 実施形態の車両制御装置100によって実行される処理の流れの一例を示すフローチャートである。 実施形態の車両制御装置100のハードウェア構成の一例を示す図である。
以下、図面を参照し、本発明の車両制御装置、車両制御方法、およびプログラムの実施形態について説明する。
[全体構成]
図1は、実施形態の車両制御装置を含む車両システム1の構成図である。車両システム1が搭載される車両(以下、自車両Mと称する)は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池等のバッテリ(蓄電池)の放電電力を使用して動作する。
車両システム1は、例えば、カメラ(撮像部)10と、レーダ12と、LIDAR(Light Detection and Ranging)14と、物体認識装置16と、通信装置20と、HMI(Human Machine Interface)30と、車両センサ40と、ナビゲーション装置50と、運転操作子80と、車両制御装置100と、走行駆動力出力装置200と、ブレーキ装置210と、ステアリング装置220とを備える。これらの装置や機器は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図1に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。
カメラ10は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したデジタルカメラである。カメラ10は、自車両Mの任意の箇所に一つまたは複数が取り付けられる。例えば、前方を撮像する場合、カメラ10は、フロントウィンドシールド上部やルームミラー裏面等に取り付けられる。後方を撮像する場合、カメラ10は、リアウインドシールド上部やバックドア等に取り付けられる。側方を撮像する場合、カメラ10は、ドアミラー等に取り付けられる。カメラ10は、例えば、周期的に繰り返し自車両Mの周辺を撮像する。カメラ10は、ステレオカメラであってもよい。
レーダ12は、自車両Mの周辺にミリ波等の電波を放射すると共に、物体によって反射された電波(反射波)を検出して少なくとも物体の位置(距離および方位)を検出する。レーダ12は、自車両Mの任意の箇所に一つまたは複数が取り付けられる。レーダ12は、FM-CW(Frequency Modulated Continuous Wave)方式によって物体の位置および速度を検出してもよい。
LIDAR14は、自車両Mの周辺に光を照射し、散乱光を測定する。LIDAR14は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。LIDAR14は、自車両Mの任意の箇所に取り付けられる。
物体認識装置16は、カメラ10、レーダ12、およびLIDAR14のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、自車両Mの周辺の物体の位置、種類、速度等を認識する。物体には、例えば、周辺車両(例えば、自車両Mから所定距離以内に存在する周辺車両)、歩行者、自転車、道路構造物等が含まれる。道路構造物には、例えば、道路標識や交通信号機、縁石、中央分離帯、ガードレール、フェンス、壁、踏切等が含まれる。また、道路構造物には、例えば、路面に描画または貼付された道路区画線(以下、区画線と称する)や横断歩道、自転車横断帯、一時停止線等の路面標識が含まれてもよい。物体認識装置16は、区画線を認識する場合に、線種(例えば、実線、破線、二重線、色等)を認識してもよい。物体認識装置16は、認識結果を車両制御装置100に出力する。なお、物体認識装置16は、カメラ10、レーダ12、およびLIDAR14の検出結果をそのまま車両制御装置100に出力してよい。その場合、車両システム1の構成から物体認識装置16が省略されてもよい。また、物体認識装置16は、車両制御装置100に含まれていてもよい。
通信装置20は、例えば、セルラー網やWi-Fi網、Bluetooth(登録商標)、DSRC(Dedicated Short Range Communication)、LAN(Local Area Network)、WAN(Wide Area Network)、インターネット等のネットワークを利用して、例えば、自車両Mの周辺に存在する周辺車両、自車両Mを利用する利用者の端末装置、或いは各種サーバ装置と通信する。
HMI30は、自車両Mの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。HMI30は、例えば、表示部32と、スピーカ34と、BSI(Blind Spot Information)インジケータ36とを備える。また、HMI30には、ブザー、タッチパネル、スイッチ、キー、マイク等が含まれてもよい。
図2は、自車両Mを上方から見た場合の車室内の様子を模式的に示す図である。図示のように、例えば、表示部32は、フロントウィンドシールドの下に位置し、運転席DSおよび助手席PSの正面に設けられたダッシュボードに設けられる(図中、表示部32a)。また、表示部32は、例えば、運転席DS(ステアリングホイールSWに最も近い座席)の正面付近に設けられ(図中、表示部32b)、乗員がステアリングホイールSWの間隙から、或いはステアリングホイールSW越しに視認可能な位置に設置されてもよい。
表示部32は、例えば、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイ等の各種表示装置である。表示部32は、HMI制御部140により出力された画像を表示する。また、表示部32は、乗員による操作を画面上で受け付けるタッチパネルでもよい。また、表示部32bは、スピードメーターやタコメーター等の計器類を表示するインストルメントパネル(メーターディスプレイ)として機能してもよい。
スピーカ34は、車室内に少なくとも一つ設置される。スピーカ34は、例えば、助手席PSに最も近いドア付近(図中、スピーカ34La)と、運転席DSに最も近いドア付近(図中、スピーカ34Ra)と、助手席の後ろの後部座席に最も近いドア付近(図中、スピーカ34Lb)と、運転席DSの後ろの後部座席に最も近いドア付近(図中、スピーカ34Rb)とに設置される。スピーカ34は、例えば、HMI制御部140の制御により音声や警告音等を出力する。
BSIインジケータ36は、例えば、自車両Mのドアミラーの鏡面の一部に所定の画像36aを表示する。ドアミラーは、例えば、運転席に最も近いドアおよび助手席に最も近いドアにそれぞれ設けられる(図中、ドアミラーDMR1、ドアミラーDMR2)。画像36aとは、例えば、自車両Mを基準とした所定領域に物体が存在することを乗員に通知するための画像である。
図3は、ドアミラーDMR1に表示される画像の一例を示す図である。図示の例のように、ドアミラーDMR1の鏡面の一部には、物体(例えば、周辺車両)が自車両Mを基準とした所定領域に存在することを示す画像36aが表示される。ドアミラーDMR2についても同様に画像36aが表示される。なお、画像36aは、ドアミラーDMR1、DMR2に表示することに代えて(または加えて)、表示部32(例えば、メーターディスプレイ)に表示されてもよい。
車両センサ40は、自車両Mの速度を検出する車速センサ、加速度を検出する加速度センサ、ヨーレート(例えば、自車両Mの重心点を通る鉛直軸回りの回転角速度)を検出するヨーレートセンサ、自車両Mの向きを検出する方位センサ等を含む。また、車両センサ40は、自車両Mの位置を検出する位置センサを備えていてもよい。位置センサは、例えば、GPS(Global Positioning System)装置から位置情報(経度・緯度情報)を取得するセンサである。また、位置センサは、ナビゲーション装置50のGNSS(Global Navigation Satellite System)受信機51を用いて位置情報を取得するセンサであってもよい。車両センサ40により検出した結果は、車両制御装置100に出力される。
ナビゲーション装置50は、例えば、GNSS(Global Navigation Satellite System)受信機51と、ナビHMI52と、経路決定部53とを備え、HDD(Hard Disk Drive)やフラッシュメモリ等の記憶装置に地図情報54を保持している。GNSS受信機51は、GNSS衛星から受信した信号に基づいて、自車両Mの位置を特定する。自車両Mの位置は、車両センサ40の出力を利用したINS(Inertial Navigation System)によって特定または補完されてもよい。ナビHMI52は、表示装置、スピーカ、タッチパネル、キー等を含む。ナビHMI52は、HMI30と一部または全部が共通化されてもよい。経路決定部53は、例えば、GNSS受信機51により特定された自車両Mの位置(或いは入力された任意の位置)から、ナビHMI52を用いて乗員により入力された目的地までの経路(例えば、目的地まで走行するときの経由地に関する情報を含む)を、地図情報54を参照して決定する。
地図情報54は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。また、地図情報54は、例えば、車線の中央の情報或いは車線の境界の情報等を含んでいる。また、地図情報54には、道路情報、交通規制情報、住所情報(住所・郵便番号)、施設情報、電話番号情報等が含まれてよい。道路情報には、高速道路、有料道路、国道、都道府県道といった道路の種別を表す情報や、道路の基準速度、車線数、各車線の幅員、道路の勾配、道路の位置(経度、緯度、高さを含む3次元座標)、道路またはその道路の各車線のカーブの曲率、車線の合流および分岐ポイントの位置、道路に設けられた標識等の情報が含まれる。基準速度は、例えば、法定速度や、その道路を過去に走行した複数の車両の平均速度等である。ナビゲーション装置50は、経路決定部53により決定された経路に基づいて、ナビHMI52を用いた経路案内を行う。
また、地図情報54は、例えば、道路の車線数、道路の曲率半径(或いは曲率)、幅員、勾配等の情報が含まれてもよい。また、地図情報54は、例えば、道路構造物に関する情報として、道路構造物の種別、位置、道路の延伸方向に対する向き、大きさ、形状、色等の情報が含まれてよい。道路構造物の種別において、例えば、区画線を1つの種別としてもよく、区画線に属するレーンマークや縁石、中央分離帯等のそれぞれを異なる種別としてもよい。また、区画線の種別には、例えば、車線変更が可能であることを示す区画線と、車線変更が不可能であることを示す区画線とが含まれてもよい。区画線の種別は、例えば、リンクを基準とした道路または車線の区間ごとに設定されてもよく、1つのリンク内に複数の種別が設定されてもよい。
また、地図情報54は、道路の内側(路内)と外側(路外)とを識別する情報や、芝や砂利等の道路の外側の領域に関する情報が格納されていてもよい。また、地図情報54は、通信装置20が外部装置と通信することにより、随時、アップデートされてよい。地図情報54は、記憶部150に記憶されていてもよい。
運転操作子80は、例えば、乗員が操舵操作を行うステアリングホイールや、アクセルペダル、ブレーキペダル、ウインカー(方向指示器)を作動させるウインカーレバー、シフトレバー等の各種操作子を含む。運転操作子80の各操作子には、例えば、乗員による操作の操作量を検出する操作検出部が取り付けられている。操作検出部は、ウインカーレバーの位置や、アクセルペダルやブレーキペダルの踏込量、シフトレバーの位置、ステアリングホイールの操舵角や操舵トルク等を検出する。そして、操作検出部は、検出結果を示す検出信号を車両制御装置100、もしくは、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220のうち一方または双方に出力する。
車両制御装置100の説明に先立って、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220について説明する。走行駆動力出力装置200は、自車両Mが走行するための走行駆動力(トルク)を駆動輪に出力する。走行駆動力出力装置200は、例えば、内燃機関、電動機、および変速機等の組み合わせと、これらを制御するパワーECU(Electronic Control Unit)とを備える。パワーECUは、車両制御装置100から入力される情報、或いは運転操作子80から入力される情報に従って、上記の構成を制御する。
ブレーキ装置210は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキECUとを備える。ブレーキECUは、車両制御装置100から入力される情報、或いは運転操作子80から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置210は、運転操作子80に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置210は、上記説明した構成に限らず、車両制御装置100から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。
ステアリング装置220は、例えば、ステアリングECUと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングECUは、車両制御装置100から入力される情報、或いは運転操作子80から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。
[車両制御装置の構成]
車両制御装置100は、例えば、物体認識部110と、道路情報取得部120と、判定部130と、HMI制御部140と、記憶部150とを備える。物体認識部110、道路情報取得部120、判定部130、およびHMI制御部140は、それぞれ、例えば、CPU(Central Processing Unit)等のハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。上述のプログラムは、予め車両制御装置100のHDDやフラッシュメモリ等の記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD-ROM、メモリカード等の着脱可能な記憶媒体に格納されており、記憶媒体(非一過性の記憶媒体)がドライブ装置やカードスロット等に装着されることで車両制御装置100の記憶装置にインストールされてもよい。物体認識部110は、「認識部」の一例である。HMI30は、「警報装置」の一例である。
記憶部150は、上記の各種記憶装置、或いはEEPROM(Electrically Erasable Programmable Read Only Memory)、ROM(Read Only Memory)、またはRAM(Random Access Memory)等により実現されてもよい。記憶部150には、例えば、本実施形態における警報制御を実行するために必要な情報(例えば、周期ごとの物体の判定結果)、その他の各種情報、プログラム等が格納される。また、記憶部150には、上述した地図情報54が格納されていてもよい。
物体認識部110は、物体認識装置16を介してカメラ10、レーダ12、およびLIDAR14から入力された情報に基づいて、自車両Mの周辺に存在する物体を認識する。自車両Mの周辺とは、例えば、自車両Mの基準となる点(例えば、自車両Mの中心または重心)から所定距離以内の領域である。また、また、自車両Mの周辺とは、カメラ10、レーダ12、およびLIDAR14の検知可能範囲に応じて設定されてもよい。また、物標には、例えば、周辺車両、縁石、ガードレール、電流、道路標識等の物標が含まれる。
また、物体認識部110は、物体の位置や形状、大きさ、領域等を取得する。また、物体認識部110は、物体が周辺車両である場合に、周辺車両の位置、速度、および加速度等の状態を認識する。周辺車両の位置は、その周辺車両の重心やコーナー等の代表点で表されてもよいし、周辺車両の輪郭で表現された領域で表されてもよい。周辺車両の「状態」とは、周辺車両の加速度やジャーク、或いは「行動状態」(例えば加速車線変更をしている、またはしようとしているか否か)を含んでもよい。
物体認識部110は、認識された物体に対する信頼度を設定してもよい。例えば、物体認識部110は、外界センサ(例えば、カメラ10、レーダ12、およびLIDAR14)のうち、その物体を認識できたセンサの数が多いほど、その物体の信頼度を大きくする。したがって、単一センサのみで認識された物体は、複数センサで認識された物体よりも信頼度が小さくなる。単一センサとは、例えば、カメラ10、レーダ12、およびLIDAR14のうち、何れか一つである。
更に、物体認識部110は、信頼度が閾値以下の物体(例えば、単一センサのみで検出された物体)を不確定物体として認識してもよい。また、物体認識部110は、物体のそれぞれを識別可能に認識し、物体ごとに、最初に認識した位置が自車両Mから所定距離以内の位置である場合に、その物体を不確定物体として認識してもよい。例えば、所定距離ごとに区切れているガードレールやフェンス等は、それぞれが物体として認識され、且つ、最初に認識される位置が自車両Mから近い距離となるため、これらの物体を不確定物体として認識する。
道路情報取得部120は、自車両Mの位置情報に基づき、自車両Mの周辺の道路情報を取得する。例えば、道路情報取得部120は、GNSS(Global Navigation Satellite System)受信機51によりGNSS衛星から受信した信号に基づいて、自車両Mの位置を特定する。自車両Mの位置は、車両センサ40の出力を利用したINS(Inertial Navigation System)によって特定または補完されてもよい。また、道路情報取得部120は、自車両Mの位置情報に基づいて地図情報54を参照し、自車両Mの周辺に存在する道路情報を取得してもよい。道路情報には、例えば、道路の境界や区画線の位置情報、道路構造物の有無や種類が含まれる。境界とは、例えば、区画線以外の物標であって、同一方向に進行可能な道路の内側と外側とを分ける境目のことである。境界は、例えば、縁石やカードレール、フェンス、看板、壁、ブロック等の道路構造物の位置によって区切られる。また、境界は、芝や砂利等の領域の端部によって区切られてもよい。また、道路情報取得部120は、自車両Mの位置情報に基づき、通信装置20を介して地図情報が格納された外部装置にアクセスし、外部装置から上述の道路情報を取得してもよい。
また、道路情報取得部120は、カメラ10により撮像された画像(以下、カメラ画像)の解析結果に基づいて道路情報を取得してもよい。この場合、道路情報取得部120は、カメラ画像の解析結果としてエッジ領域や色情報、形状、大きさ等の特徴情報を取得し、取得した情報から境界や区画線等の位置情報を取得する。また、道路情報取得部120は、カメラ画像の解析結果から、ブロックや盛り土、工事現場等のように一時的に置かれた地図情報に含まれていない物体の特徴情報から道路の境界を取得してもよい。
また、道路情報取得部120は、地図情報54に基づいて取得した道路情報と、カメラ画像に基づいて取得した道路情報とを統合することで、より精度の高い道路情報を取得してもよい。また、道路情報取得部120は、地図情報54またはカメラ画像のうち一方または双方を用いて、自車両Mが存在する道路に含まれる自車線(自車両Mの走行車線)の位置や、自車線に隣接する車線(以下、隣接車線)の位置を取得してもよい。また、道路情報取得部120は、隣接車線に隣接する隣隣接車線の位置を取得してもよい。また、道路情報取得部120は、車線を区別する区画線の位置を取得してもよい。
判定部130は、物体認識部110により認識された物体に関する情報と、道路情報取得部120により取得された道路情報とに基づいて、物体認識部110により認識された物体ごとに、警報対象の物体であるか否か(言い換えると、警報対象の物体であるか、または警報対象外の物体であるか)を判定する。警報対象の物体とは、例えば、自車両Mを基準とした所定領域に存在する物体である。所定領域とは、例えば、乗員(例えば、運転者)の運転中の死角となる領域である。所定領域は、例えば、自車両Mの後側方の領域(例えば、左側方領域、右側方領域)である。判定部130の機能の詳細については、後述する。
HMI制御部140は、HMI30により、乗員に所定の情報を通知する。所定の情報には、例えば、自車両Mの走行に関連のある情報が含まれる。自車両Mの走行に関する情報には、例えば、自車両Mの速度、エンジン回転数、シフト位置等が含まれる。また、所定の情報には、例えば、自車両Mの現在位置や目的地、燃料の残量に関する情報が含まれてもよい。また、所定の情報には、テレビ番組、DVD等の記憶媒体に記憶されたコンテンツ(例えば、映画)等の自車両Mの走行に関連しない情報が含まれてもよい。
HMI制御部140は、例えば、警報制御部142を備える。警報制御部142は、判定部130により警報対象の物体が存在すると判定された場合に、BSIインジケータ36により、画像36aを自車両MのドアミラーDMR1、DMR2等に表示させて、物体の存在を乗員等に通知する。また、警報制御部142は、BSIインジケータ36による画像36aの表示に代えて(または加えて)、警報等の音声をスピーカ34から出力させてもよく、ステアリングホイールSWに備えた振動センサ(不図示)や、運転席DSに備えた振動センサ(不図示)を作動させ、振動によって乗員(運転者)に警報を行ってもよい。
例えば、HMI制御部140は、上述した所定の情報を含む画像を生成し、生成した画像をHMI30の表示部32に表示させてもよく、所定の情報を示す音声を生成し、生成した音声をHMI30のスピーカ34から出力させてもよい。また、HMI制御部140は、HMI30により受け付けられた情報を通信装置20、ナビゲーション装置50等に出力してもよい。また、HMI制御部140は、HMI30に出力させる各種情報を、通信装置20を介して自車両Mの利用者(乗員)が利用する端末装置に送信してもよい。端末装置は、例えば、スマートフォンやタブレット端末である。
[判定部の機能]
次に、判定部130の機能について具体的に説明する。判定部130は、例えば以下に示す第1~第5の判定処理を実行する。なお、第4および第5の判定処理は、第3の判定処理の結果に基づいて何れかが実行される。一連の判定処理は、所定のタイミングまたは一定周期で繰り返し実行される。判定部130は、周期ごとに判定結果を記憶部150または内部メモリに記憶する。記憶部150または内部メモリには、所定周期分(例えば、約10~100周期程度)の判定結果が記憶される。
<第1の判定処理>
第1の判定処理は、例えば、自車両Mを基準とした所定領域内に存在する物体の少なくとも一部が、自車両Mが存在する道路の境界よりも道路の外側に存在する場合に、その物体を警報対象の物体ではないと判定するものである。
図4は、判定部130における第1の判定処理について説明するための図である。図4の例では、自車両Mが道路RD1の進行可能な方向(図中X軸方向)に速度VMで走行しているものとする。また、図4の例において、道路RD1は、道路境界BR、BLによって道路の外側の領域OR、OLと区切られている。
また、図4の例では、自車両Mの所定の位置を基準とした所定領域として、左右の後方領域ARLおよびARR(後側方領域)が設定されている。図4の例において、左後方領域ARLは、自車両Mの左側のドアミラーDMR2の位置から自車両Mの進行方向に対して左方向に向けて所定の長さDL1と、ドアミラーDMR2の位置から自車両Mの後方に向けて所定の長さDL2とを有する領域である。右後方領域ARRは、例えば、自車両Mの右側のドアミラーDMR1の位置から自車両Mの進行方向に対して右方向に向けて所定の長さDR1と、ドアミラーDMR1の位置から自車両Mの後方に向けて所定の長さDR2とを有する領域である。所定領域ARLおよびARRは、例えば、車両ごとのカメラ10、レーダ12、LIDAR14の設置位置や性能によって異ならせてもよい。また、自車両Mの基準となる位置は、ドアミラーDMR1、DMR2以外の位置(例えば、自車両Mの中心や重心、側端部、後端部)であってもよい。また、自車両Mの所定の位置を基準とした所定領域として左右の前方領域を含めてもよい。
図4の例において、物体認識部110は、例えばカメラ10、レーダ12、およびLIDAR14のうち一部または全部による検出結果に基づいて、自車両Mの周辺に存在する物体OB11~OB15を認識する。道路情報取得部120は、例えば、カメラ10等による検出結果に基づいて、道路RD1(道路領域)と道路の外側の領域OR、OLとの境界BR、BLを取得する。また、道路情報取得部120は、自車両Mの位置情報に基づいて地図情報54を参照して、自車両Mが存在する道路の境界BR、BLを取得してもよい。
判定部130は、まず物体認識部110により認識された物体のうち、左後方領域ARLまたは右後方領域ARRに含まれる物体が存在するか否かを判定する。図4の例では、判定部130は、物体OB12~OB15が左後方領域ARLまたは右後方領域ARRに含まれると判定する。次に、判定部130は、物体OB11~OB14のそれぞれについて、少なくとも一つが道路情報取得部120により取得された境界BRまたはBLよりも道路RD1の外側に存在するか否かを判定する。判定部130は、物体の少なくとも一部が境界BRまたはBLよりも道路RD1の外側にある場合には、その物体を障害物(例えば、ガードレールやフェンス、壁等)として警報対象外(警報しない)と判定する。また、判定部130は、物体の少なくとも一部が道路RD1の外側にない場合(物体の全てが道路RD1の内側に存在する場合)に、後述する第2の判定処理を行う。
図4の例において、判定部130は、左後方領域ARLまたは右後方領域ARRに含まれる物体OB12~OB15のうち、物体OB12、OB14、およびOB15を警報対象外であると判定し、物体OB13を警報対象であると判定する。
第1の判定処理では、所定領域(右後方領域ARR、左後方領域ARL)に存在する物体のうち、少なくとも一部が境界BR、BLよりも道路RD1の外側に存在する物体を報知対象外とすることで、境界上または境界の外側に存在するガードレールやフェンス、壁等の物体を警報対象から除外することができる。また、第1の判定処理を行うことで、例えば道路内の区画線が認識(または取得)できない場合であっても、路外の障害物を警報対象から除外することができる。したがって、より適切な警報制御を行うことができる。
<第2の判定処理>
次に、判定部130における第2の判定処理について説明する。第2の判定処理は、上記第1の判定処理において警報対象であると判定された物体ごとに、不確定物体であるか否かを判定するものである。第2の判定処理において、判定部130は、第1の判定処理において警報対象であると判定された物体が、新規物体であるか、または前周期において物体認識部110により認識された物体の判定結果が不確定物体であるか否かを判定する。新規物体とは、例えば、今回の周期の処理において物体認識部110により初めて認識された物体である。
物体が新規物体であるか、または前周期において物体認識部110により認識された物体の判定結果が不確定物体であると判定した場合、判定部130は、物体認識部110による認識結果に基づいて、その物体が今回の処理で不確定物体であるか否かを判定する。不確定物体であると判定した場合、判定部130は、記憶部150や内部メモリに記憶された判定結果に基づき、その物体が所定周期(所定時間)以上連続して認識された物体であるか否かを判定する。所定周期とは、例えば、判定部130による判定処理が一定周期で複数回実行されたときの期間である。また所定周期は、所定時間に言い換えてもよい。
また、例えば、自車両Mの近傍に突然現れたり信頼度が低い物体であると判定した場合、判定部130は、その物体が不確定物体であると判定する。また、判定部130は、この物体が所定周期以上連続して認識されないと物体として確定しない。これにより、例えば、新規物標のうち、自車両Mの近傍に突然現れた物体(例えば、壁やガードレール等)や、道端の反射物(例えば、カーブミラーや壁)、光の反射等によってカメラ10の撮像画像に移り込むゴースト現象等によって誤検知された物体、単一センサで検知されていた信頼度の低い物体等を不確定物体として除外することができる。例えば、道路に沿って分岐されている複数の壁またはガードレールのそれぞれが異なる物体であると認識できている場合には、それぞれの壁やガードレールが新たな物体として認識されるため、自車両Mの近傍に突然現れることになる。また、単一センサのみで検知された物体は、信頼度が低いため同一の物体であっても異なる物体として認識される場合があり得る。したがって、第2の判定処理により、上述したように不確定物体であると判定された物体を、警報対象外とすることで警報精度を向上させることができる。
また、第2の判定処理において、不確定物体であると判定されなかった物体が存在する場合、判定部130は、後述する第3の判定処理を行う。例えば、判定部130は、前回において認識した物体が不確定物体であると判定した場合であっても、次周期で認識の信頼度が閾値以上に上がる等によって不確定条件を満たさなくなった場合には、即座に物体として確定されて第3の判定処理を行う。上述の第2の判定処理によれば、信頼性が低い物体を追跡することで、より精度よく警報対象の物体であるか否かを判定することができる。
<第3の判定処理>
次に、第3の判定処理について説明する。第3の判定処理は、例えば、第2の判定処理において、認識された物体が新規物体ではなく、且つ前周期において物体認識部110により認識された物体の判定結果が不確定物体でもない場合に実行される。また、第3の判定処理は、第2の判定処理において、物体が不確定物体と判定された場合であって、且つ所定周期以上連続して存在している場合に実行されてもよい。不確定物体であっても所定周期以上連続して死角領域等に存在している物体は、乗員の運転に影響を及ぼす可能性が高く、警報する必要性が高いためである。
判定部130は、第3の判定処理として、認識された物体が前周期における判定部130の判定において、障害物として判定されたか否かを判定する。判定部130は、物体が前周期において障害物として判定されていると判定した場合、後述する第4の判定処理を行い、障害物として判定されていない場合に、後述する第5の判定処理を行う。
<第4の判定処理>
図5は、判定部130における第4の判定処理について説明するための図である。図5の例では、説明の都合上、主に右後方領域ARRを中心として説明するが、左後方領域ARLについても同様の処理が実行される。図5の例では、同一方向に進行可能な三車線(L1~L3)を含む道路RD2が示されている。道路RD2は境界BRとBLとで区画され、車線L1は道路境界BLと区画線CL1とで区画され、車線L2は区画線CL1とCL2で区画され、車線L3は区画線CL2と境界BRとで区画されている。また、自車両Mは、車線L1を速度VMで走行しているものとする。以下、自車両Mが車線L1を走行する状況において、車線L1を「自車線L1」と称し、車線L2を「隣接車線L2」と称し、車線L3を「隣隣接車線L3」と称するものとする。
物体認識部110は、自車両Mの右後方領域ARRに存在する物体OB21~OB25を認識する。道路情報取得部120は、カメラ画像または地図情報54のうち、一方または双方に基づいて道路境界BR、BL、および区画線CL1、CL2を認識する。また、道路情報取得部120は、道路区画線CL1、CL2の線種(例えば、実線、破線、二重線等)の情報を取得してもよい。
判定部130は、第4の判定処理において、道路境界BR、BLよりも道路RD2の内側に存在する物体であって、物体の少なくとも一部が隣接車線L2に存在する場合に、その物体を道路上の車両であり、警報対象の物体であると判定する。また、判定部130は、第4の判定処理において、道路境界BR、BLよりも道路RD2の内側に存在する物体であって、且つ、物体の少なくとも一部が隣接車線L2に存在しない場合に、障害物であり、警報対象外の物体であると判定する。図5の例において、判定部130は、物体OB21~OB25のうち、OB22~OB24を警報対象の物体であると判定し、物体OB21およびOB25を警報対象外の物体であると判定する。
また、上述した第4の判定処理では、道路RD2上の車線L2、L3を基準として、後側方に存在する物体のうち、警報対象の物体であるか否かの判定を行ったが、これに代えて(または加えて)、自車線L1を区画する区画線CL1または境界BLのうち、自車線L1と隣接車線L2とを区画する区画線(隣接車線側の区間線)CL1から所定距離以内に存在する物体を、警報対象の物体であると判定してもよい。
図6は、区画線からの距離に基づいて、警報対象の物体であるか否かを判定する処理を説明するための図である。図6の例では、図5の例と同様の状況下における自車両Mの走行の様子を示している。図6の例において、判定部130は、右方向領域ARRであり、且つ区画線CL1から車線の横方向(図中Y軸方向)に所定距離D1だけ延伸させた位置よりも内側(区画線CL1側)に物体の少なくとも一部が存在する場合に、警報対象の物体であると判定する。
所定距離D1は、例えば、道路RD1の幅や車線(L1またはL2)の幅に基づいて設定される。また、所定距離D1は、道路形状(例えば、カーブ路や坂道等)に基づいて設定されてもよく、自車両Mの挙動(例えば、速度や操舵角)に基づいて設定されてもよい。また、所定距離D1は、区画線CL1を基準にすることに代えて、車線L1の中心を基準にしてもよく、境界BLを基準にしてもよい。また、所定距離D1は、固定値であってもよい。所定距離D1も用いて判定することで、道路状況や自車両Mの走行状態に基づいて、より適切な判定を行うことができる。
図6の例において、判定部130は、物体OB21~OB25のうち、物体OB21~OB24を警報対象の物体と判定する。このように、自車線L1から見て所定距離D1以内に存在する物体を警報対象とすることで、例えば、道路上の車線が認識できない場合でも、区画線情報と物体の検出距離に基づいて判定を行うことで、警報精度をより向上させることができる。また、隣隣接車線L3に存在する車両であっても道路幅や車線幅が狭い場合には、少ない挙動の変化によって自車両Mと接触する可能性があるため、隣隣接車線L3に存在する周辺車両であっても警報対象として判定することができるため、より適切な警報を行うことができる。なお、判定部130は、道路に含まれる車線の幅が閾値より大きい場合には、車線を基準に判定を行い、閾値以下の場合は上述した区画線CL1からの距離D1を基準とした判定を行ってもよい。
<第5の判定処理>
次に、第5の判定処理について説明する。第5の判定処理では、第3の判定処理において、認識された物体が前周期において障害物として認識されていない場合に、その物体が警報対象であるか否かを判定するものである。第5の判定処理において、判定部130は、認識された物体が自車線L1から見て二本目の区画線よりも外側に存在するか否かを判定する。自車線L1から見て二本目の区画線よりも外側に存在する場合、その物体が隣隣接車線L3を走行する周辺車両として警報対象外であると判定する。また、判定部130は、物体が自車線L1から見て二本目の区画線よりも外側に存在しない(つまり、物体の少なくとも一部が隣接車線L2に存在する)場合に、道路上車両として警報対象であると判定する。
例えば、図5の例において、第5の判定処理を適用した場合、判定部130は、物体OB21~OB25のうち、物体OB21およびOB25は、警報対象外の周辺車両であると判定し、物体OB22~OB24を警報対象の周辺車両であると判定する。なお、物体OB25は、第1の判定処理により、障害物として警報対象外と判定される。
[警報制御部の機能]
次に、警報制御部142の機能について具体的に説明する。警報制御部142は、判定部130により警報対象であると判定された物体が存在する場合に、その物体に関する警報を行い、所定領域(例えば、死角領域)に物体が存在することを乗員に通知する。この場合、警報制御部142は、上記の判定条件を満たしている間、警報を継続して実行する。また、警報制御部142は、自車両Mと物体との距離や、自車両Mの挙動、物体の挙動、警報時間等に応じて警報の度合を異ならせてもよい。
例えば、警報制御部142は、自車両Mから距離以上離れた位置に物体が存在する場合には、警報度合が最も低い場合の警報制御(第1の警報制御)として、BSIインジケータ36を点灯させる。警報制御部142は、右側方に警報対象の物体が存在する場合には、右側のドアミラーDMR1に所定の画像36aを点灯させ、左側方に警報対象の物体が存在する場合には、左側のドアミラーDMR2に所定の画像36aを点灯させる。
また、警報制御部142は、第1の警報制御の実行中において、乗員がウインカーレバーの操作等により自車両Mを車線変更させる意志を検知した場合には、第1の警報制御よりも警報度合の高い第2の警報制御として、BSIインジケータ36の画像36aを点滅させると共に、警報音をスピーカ34から出力させる。警報音をスピーカ34から出力させる場合には、警報制御部142は、警報対象の物体が存在する方向のスピーカから警報音を出力させてもよく、自車両Mと物体(例えば、周辺車両)との相対距離に応じて警報音の種類や音量を異ならせてもよい。
また、警報制御部142は、第2の警報制御を実行中において、乗員が自車両Mの車線変更を開始した場合に、第2の警報制御よりも警報度合の高い第3の警報制御として、BSIインジケータ36の画像36aを点滅させたり、警報音をスピーカ34から出力させると共に、表示部32にも警報を示す画像を表示させたり、ステアリング装置220に対して、車線変更を実行させずに元の走行車線に移動させたり、接近車両との接触を回避する操舵や加減速を行う運転支援制御を実行してもよい。このように、自車両Mと物体の状況に応じて警報の度合を変更して制御を行うことで、自車両Mの乗員に対して、より適切な警報や運転支援等の制御を行うことができる。
なお、警報制御部142は、複数の警報対象が存在する場合には、自車両Mから最も近い物体を基準にして、上述の警報度合を設定し、設定した警報度合に基づく警報制御を行ってもよい。また、警報制御部142は、上述した警報制御に代えて(または加えて)、ステアリングハンドルに設けられた振動センサ(不図示)や運転席DSに設けられた振動センサ(不図示)を振動させたり、表示部32に文字情報を表示させることにより、乗員(特に、運転者)に警報を行ってもよい。
[処理フロー]
図7は、実施形態の車両制御装置100によって実行される処理の流れの一例を示すフローチャートである。例えば、本フローチャートの処理は、所定の周期或いは所定のタイミングで繰り返し実行されてよい。まず、物体認識部110は、自車両Mの周辺の物体を認識する(ステップS100)。次に、道路情報取得部120は、自車両Mの周辺の道路情報を取得する(ステップS102)。
次に、判定部130は、自車両Mの後側方(自車両Mを基準として設定される所定領域の一例)に物体が存在するか否かを判定する(ステップS104)。後側方に物体が存在すると判定した場合、判定部130は、物体ごとに以下の処理を行う。判定部130は、第1の判定処理として、物体認識部110によって認識された物体が障害物であるか否かを判定する(ステップS106)。障害物であると判定された場合、判定部130は、認識された物体が障害物であり、警報対象外であると判定する(ステップS108)。
また、ステップS106の処理において、認識された物体が障害物ではないと判定した場合、判定部130は、第2の判定処理として、物体認識部110により認識された物体が新規物体であるか、または、前周期が不確定物体であるか否か(前周期において物体認識部110により認識された物体の判定結果が不確定物体であるか否か)を判定する(ステップS110)。新規物体、または、前周期が不確定物体であると判定した場合、判定部130は、今回の判定が不確定物体であるか否かを判定する(ステップS112)。
また、今回の判定が不確定物体であると判定した場合、判定部130は、同一の不確定物体が所定周期以上連続で存在するか否かを判定する(ステップS114)。所定周期以上連続で存在しないと判定した場合、判定部130は、その物体を不確定物体として警報対象外であると判定する(ステップS116)。また、所定周期以上連続で存在すると判定した場合、ステップS110の処理において新規物体ではなく且つ前周期が不確定物体ではないと判定した場合、または、ステップS112の処理において、不確定物体ではないと判定した場合、判定部130は、第3の判定処理として、前周期が障害物として判定したか否かを判定する(ステップS118)。前周期が障害物として判定した場合、判定部130は、第4の判定処理として、その物体の少なくとも一部が隣接車線に存在する、または物体が自車線から所定距離以内に存在するか否かを判定する(ステップS120)。物体の少なくとも一部が隣接車線に存在しない、且つ物体が自車線から所定距離以内に存在しないと判定した場合、判定部130は、その物体を障害物として警報対象外と判定する(ステップS108)。物体の少なくとも一部が隣接車線に存在するか、または物体が自車線から所定距離以内に存在すると判定された場合に、判定部130は、周辺車両として警報対象と判定する(ステップS122)。そして、警報制御部142は、HMI30により、その物体に関する警報を出力させる(ステップS124)。
また、ステップS118の処理において、前周期が障害物ではないと判定した場合、判定部130は、第5の判定処理として、その物体が自車両から見て二本目の区画線より外側に存在するか否かを判定する(ステップS126)。その物体が自車両から見て二本目の区画線より外側に存在しないと判定した場合、周辺車両として警報対象と判定する(ステップS122)。そして、警報制御部142は、HMI30により、その物体に対する警報を出力させる(ステップS124)。また、ステップS126の処理において、物体が自車両から見て二本目の区画線より外側に存在すると判定した場合、判定部130は、その物体を隣隣接車線に存在する周辺車両として警報対象外と判定する(ステップS128)。
また、判定部130は、ステップS108、ステップS124、ステップS128、またはステップS116の処理後、1周期分の判定結果を記憶部150に記憶させる(ステップS130)。これにより、本フローチャートの処理は終了する。また、ステップS104の処理において、自車両Mの後側方に物体が存在しないと判定された場合、本フローチャートの処理は、終了する。
[変形例]
ここで、上述した実施形態の車両制御装置100の変形例について説明する。例えば、物体認識部110は、自車両Mの周辺に存在する物体のうち、自車両Mに対する相対位置や相対速度を時系列で認識し、認識結果に基づいて自車両Mに接近している物体(周辺車両)を認識する。そして、判定部130は、上述した第1~第5の判定処理に加えて(または代えて)、自車両Mに接近している物体を警報対象の車両と判定してもよい。これにより、自車両Mと接触する可能性の高い周辺車両の存在を、より適切に乗員に通知することができる。
また、実施形態において、BSIをHMI30から出力する場合に、BSIインジケータ36によって画像36aを表示させることに代えて(または加えて)、警報対象の物体が存在する位置(自車両Mから見た相対位置)を示す画像を生成して表示部32に表示させてもよい。この場合、警報制御部142は、自車両Mを模した画像と、警報対象の物体(周辺車両)を模した画像とを生成し、自車両Mを模した画像を基準にして、物体が存在する方向および相対位置に応じた位置に警報対象の物体を模した画像を位置付けて、それぞれの画像を表示部32に表示させる。これにより、警報対象の車両が複数存在する場合であってもその位置をより明確に乗員に把握させることができる。
また、実施形態において、例えば、判定部130は、自車両Mの走行軌跡から自車両Mの周囲の道路形状を推定し、推定した道路形状に沿って所定領域(自車両Mの後側方領域)を設定し、設定した所定領域に基づいて、上述した判定処理により警報対象物体を判定してもよい。これにより、急カーブ等の道路形状においても後方から接近する車両に対して、より適切に警報制御を作動させることができる。また、判定部130は、地図情報やカメラ画像から自車両Mの周辺の道路情報が取得できない場合に上述の道路形状の推定を行ってもよい。これにより、地図情報やカメラ画像から自車両Mの周辺の道路情報が取得できない場合であっても、警報対象外の物体を除外することができる。
以上説明した実施形態の車両制御装置100によれば、自車両Mの周辺の物体を認識する物体認識部(認識部の一例)110と、自車両Mの周辺の道路情報を取得する道路情報取得部120と、物体認識部110により認識された物体が、自車両Mの位置を基準として設定される所定領域内に存在する場合に警報装置に警報を行わせる警報制御部142と、を備え、警報制御部142は、物体認識部110により認識された所定領域内に存在する物体の少なくとも一部が、道路情報取得部120により取得された自車両が存在する道路の境界よりも道路の外側に存在する場合に、物体に関する警報を行わないことにより、自車両の乗員に、より適切に物体に関する警報を行うことができる。
具体的には、実施形態によれば、道路情報(例えば境界や区画線等の情報)を用いることにより、走行車両以外の障害物を検出して警報対象から除外することができるため、警報精度を向上させることができる。また、実施形態によれば、物体の少なくとも一部が隣接車線に存在する場合に、警報対象とすることで、道路の外側の障害物と隣隣接車線の車両を警報対象から除外することができるため、警報精度をより向上させることができる。また、実施形態によれば、自車線から見て所定距離以内に存在する物体を警報対象とすることで、道路上の車線が認識できない場合でも、区画線情報と物体の検出距離に基づいて判定を行うことで、警報精度を、より向上させることができる。したがって、実施形態によれば、道路情報を用いて、より適切なBSIを提供することができる。
[ハードウェア構成]
図8は、実施形態の車両制御装置100のハードウェア構成の一例を示す図である。図示するように、車両制御装置100のコンピュータは、通信コントローラ100-1、CPU100-2、ワーキングメモリとして使用されるRAM100-3、ブートプログラム等を格納するROM100-4、フラッシュメモリやHDD等の記憶装置100-5、ドライブ装置100-6等が、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ100-1は、車両制御装置100以外の構成要素との通信を行う。ドライブ装置100-6には、光ディスク等の可搬型記憶媒体(例えば、コンピュータ読み込み可能な非一時的記憶媒体)が装着される。記憶装置100-5には、CPU100-2が実行するプログラム100-5aが格納されている。このプログラムは、DMA(Direct Memory Access)コントローラ(不図示)等によってRAM100-3に展開されて、CPU100-2によって実行される。CPU100-2が参照するプログラム100-5aは、ドライブ装置100-6に装着された可搬型記憶媒体に格納されていてもよいし、ネットワークを介して他の装置からダウンロードされてもよい。これによって、車両制御装置100の各構成要素のうち一部または全部が実現される。
上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
自車両の周辺の物体を認識し、
前記自車両の周辺の道路情報を取得し、
認識した前記物体が、前記自車両の位置を基準として設定される所定領域内に存在する場合に警報装置に警報を行わせ、
前記所定領域内に存在する物体の少なくとも一部が、前記自車両が存在する道路の境界よりも道路の外側に存在する場合に、前記物体に関する警報を行わない、
ように構成されている、車両制御装置。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
1…車両システム、10…カメラ、12…レーダ、14…LIDAR、16…物体認識装置、20…通信装置、30…HMI、40…車両センサ、50…ナビゲーション装置、80…運転操作子、100…車両制御装置、110…物体認識部、120…道路情報取得部、130…判定部、140…HMI制御部、142…警報制御部、150…記憶部、200…走行駆動力出力装置、210…ブレーキ装置、220…ステアリング装置

Claims (4)

  1. 自車両の周辺の物体を認識する認識部と、
    前記自車両の周辺の道路情報を取得する道路情報取得部と、
    前記認識部により認識された前記物体が、前記自車両の位置を基準として設定される所定領域内に存在する場合に警報装置に警報を行わせる警報制御部と、を備え、
    前記警報制御部は、前記認識部により認識された前記所定領域内に存在する物体の少なくとも一部が、前記道路情報取得部により取得された前記自車両が存在する道路の境界よりも道路の外側に存在する場合に、前記物体に関する警報を行わず、
    前記所定領域は、前記自車両の後側方の領域であり、
    前記道路の境界は、区画線以外の物標の位置によって区切られ、
    更に前記認識部により認識された物体が、不確定物体であるか、または障害物であるかを、所定のタイミングまたは一定周期で繰り返し実行する判定部を備え、
    前記判定部は、
    前記自車両の周辺の物体のうち、認識の信頼度が閾値以下の物体、または今回の周期の判定で初めて認識された物体の位置が前記自車両から所定距離以内の位置である物体を不確定物体として判定し、
    前記不確定物体として判定されていない物体であって、前記所定領域内に存在する物体の少なくとも一部が、前記自車両が存在する道路の境界よりも道路の外側に存在する場合に前記物体を障害物として判定し、
    前記警報制御部は、
    前記所定領域内で、且つ前記自車両が存在する道路の境界よりも道路の内側に存在する物体が、所定時間以上連続して認識されていない不確定物体である場合に、前記物体に関する警報を行わず、
    前記判定部による前回の周期の判定で障害物として判定された物体の少なくとも一部が前記自車両が走行する自車線に隣接する隣接車線に存在する場合、または前記物体が前記自車線から所定距離以内に存在する場合に、前記物体に関する警報を行い、
    前記判定部による前回の周期の判定で障害物として判定されていない物体が、前記隣接車線を区画する区画線よりも前記自車線から見て外側に存在する場合に前記物体に関する警報を行わず、前記隣接車線を区画する区画線よりも前記自車線から見て外側に存在しない場合に前記物体に関する警報を行う、
    車両制御装置。
  2. 前記警報制御部は、前記認識部により認識された前記所定領域内に存在する物体が、前記自車線の区間線から所定距離以内に存在する場合に前記警報を行う、
    請求項1に記載の車両制御装置。
  3. コンピュータが、
    自車両の周辺の物体を認識し、
    前記自車両の周辺の道路情報を取得し、
    認識した前記物体が、前記自車両の位置を基準として設定される所定領域内に存在する場合に警報装置に警報を行わせ、
    前記所定領域内に存在する物体の少なくとも一部が、前記自車両が存在する道路の境界よりも道路の外側に存在する場合に、前記物体に関する警報を行わず、
    前記所定領域は、前記自車両の後側方の領域であり、
    前記道路の境界は、区画線以外の物標の位置によって区切られ、
    認識した前記物体が、不確定物体であるか、または障害物であるかを、所定のタイミングまたは一定周期で繰り返し実行し、
    前記自車両の周辺の物体のうち、認識の信頼度が閾値以下の物体、または今回の周期の判定で初めて認識された物体の位置が前記自車両から所定距離以内の位置である物体を不確定物体として判定し、
    前記不確定物体として判定されていない物体であって、前記所定領域内に存在する物体の少なくとも一部が、前記自車両が存在する道路の境界よりも道路の外側に存在する場合に前記物体を障害物として判定し、
    前記所定領域内で、且つ前記自車両が存在する道路の境界よりも道路の内側に存在する物体が、所定時間以上連続して認識されていない不確定物体である場合に、前記物体に関する警報を行わず、
    前回の周期の判定で障害物として判定された物体の少なくとも一部が前記自車両が走行する自車線に隣接する隣接車線に存在する場合、または前記物体が前記自車線から所定距離以内に存在する場合に、前記物体に関する警報を行い、
    前回の周期の判定で障害物として判定されていない物体が、前記隣接車線を区画する区画線よりも前記自車線から見て外側に存在する場合に前記物体に関する警報を行わず、前記隣接車線を区画する区画線よりも前記自車線から見て外側に存在しない場合に前記物体に関する警報を行う、
    車両制御方法。
  4. コンピュータに、
    自車両の周辺の物体を認識させ、
    前記自車両の周辺の道路情報を取得させ、
    認識された前記物体が、前記自車両の位置を基準として設定される所定領域内に存在する場合に警報装置に警報を行わせ、
    前記所定領域内に存在する物体の少なくとも一部が、前記自車両が存在する道路の境界よりも道路の外側に存在する場合に、前記物体に関する警報を行わせず、
    前記所定領域は、前記自車両の後側方の領域であり、
    前記道路の境界は、区画線以外の物標の位置によって区切られ、
    認識された前記物体が、不確定物体であるか、または障害物であるかを、所定のタイミングまたは一定周期で繰り返し実行させ、
    前記自車両の周辺の物体のうち、認識の信頼度が閾値以下の物体、または今回の周期の判定で初めて認識された物体の位置が前記自車両から所定距離以内の位置である物体を不確定物体として判定させ、
    前記不確定物体として判定されていない物体であって、前記所定領域内に存在する物体の少なくとも一部が、前記自車両が存在する道路の境界よりも道路の外側に存在する場合に前記物体を障害物として判定させ、
    前記所定領域内で、且つ前記自車両が存在する道路の境界よりも道路の内側に存在する物体が、所定時間以上連続して認識されていない不確定物体である場合に、前記物体に関する警報を行わず、
    前回の周期の判定で障害物として判定された物体の少なくとも一部が前記自車両が走行する自車線に隣接する隣接車線に存在する場合、または前記物体が前記自車線から所定距離以内に存在する場合に、前記物体に関する警報を行わせ、
    前回の周期の判定で障害物として判定されていない物体が、前記隣接車線を区画する区画線よりも前記自車線から見て外側に存在する場合に前記物体に関する警報を行わず、前記隣接車線を区画する区画線よりも前記自車線から見て外側に存在しない場合に前記物体に関する警報を行わせる、
    プログラム。
JP2020200856A 2020-12-03 2020-12-03 車両制御装置、車両制御方法、およびプログラム Active JP7304334B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020200856A JP7304334B2 (ja) 2020-12-03 2020-12-03 車両制御装置、車両制御方法、およびプログラム
CN202111193363.8A CN114590247A (zh) 2020-12-03 2021-10-13 车辆控制装置、车辆控制方法及存储介质
US17/505,590 US11780455B2 (en) 2020-12-03 2021-10-19 Vehicle control device, vehicle control method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020200856A JP7304334B2 (ja) 2020-12-03 2020-12-03 車両制御装置、車両制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2022088809A JP2022088809A (ja) 2022-06-15
JP7304334B2 true JP7304334B2 (ja) 2023-07-06

Family

ID=81803705

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020200856A Active JP7304334B2 (ja) 2020-12-03 2020-12-03 車両制御装置、車両制御方法、およびプログラム

Country Status (3)

Country Link
US (1) US11780455B2 (ja)
JP (1) JP7304334B2 (ja)
CN (1) CN114590247A (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006195641A (ja) 2005-01-12 2006-07-27 Nissan Motor Co Ltd 車両用情報提供装置
WO2016084149A1 (ja) 2014-11-26 2016-06-02 三菱電機株式会社 運転支援装置および運転支援方法
JP2017041132A (ja) 2015-08-20 2017-02-23 株式会社Jvcケンウッド 車両検出装置、車両検出システム、車両検出方法、及び車両検出プログラム
US20180170327A1 (en) 2016-12-21 2018-06-21 Hyundai Motor Company Vehicle and method for controlling the same
JP2020152222A (ja) 2019-03-20 2020-09-24 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5743286U (ja) 1980-08-20 1982-03-09
US9586525B2 (en) * 2011-11-28 2017-03-07 Robert Bosch Gmbh Camera-assisted blind spot detection
JP5743286B2 (ja) 2012-12-28 2015-07-01 富士重工業株式会社 車両の運転支援装置
KR101782496B1 (ko) * 2013-08-21 2017-09-27 주식회사 만도 후측방 경보 시스템 및 그의 경보 제어 방법
US10503983B2 (en) * 2015-08-19 2019-12-10 Mitsubishi Electric Corporation Lane recognition apparatus and lane recognition method
JP6550016B2 (ja) * 2016-06-27 2019-07-24 株式会社デンソー 車両制御装置及び車両制御方法
JP7226930B2 (ja) 2018-06-07 2023-02-21 フォルシアクラリオン・エレクトロニクス株式会社 キャリブレーション装置及び電子ミラーシステム
US10553117B1 (en) * 2018-11-06 2020-02-04 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for determining lane occupancy of surrounding vehicles
JP7360269B2 (ja) * 2019-08-01 2023-10-12 株式会社Subaru 車両の走行制御装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006195641A (ja) 2005-01-12 2006-07-27 Nissan Motor Co Ltd 車両用情報提供装置
WO2016084149A1 (ja) 2014-11-26 2016-06-02 三菱電機株式会社 運転支援装置および運転支援方法
JP2017041132A (ja) 2015-08-20 2017-02-23 株式会社Jvcケンウッド 車両検出装置、車両検出システム、車両検出方法、及び車両検出プログラム
US20180170327A1 (en) 2016-12-21 2018-06-21 Hyundai Motor Company Vehicle and method for controlling the same
JP2020152222A (ja) 2019-03-20 2020-09-24 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム

Also Published As

Publication number Publication date
CN114590247A (zh) 2022-06-07
JP2022088809A (ja) 2022-06-15
US20220176983A1 (en) 2022-06-09
US11780455B2 (en) 2023-10-10

Similar Documents

Publication Publication Date Title
US10643474B2 (en) Vehicle control device, vehicle control method, and recording medium
JP6662828B2 (ja) 運転支援システム、運転支援装置および運転支援方法
CN110114253B (zh) 车辆控制装置、车辆控制方法及存储介质
CN109421799B (zh) 车辆控制装置、车辆控制方法及存储介质
US9896094B2 (en) Collision avoidance control system and control method
JP6402684B2 (ja) 表示装置
JP5094658B2 (ja) 走行環境認識装置
JP6592852B2 (ja) 車両制御装置、車両制御方法、およびプログラム
EP3573035A1 (en) Vehicle behavior prediction method and vehicle behavior prediction apparatus
US20200094875A1 (en) Vehicle control device, vehicle control method, and storage medium
JP6613265B2 (ja) 予測装置、車両、予測方法およびプログラム
US11200806B2 (en) Display device, display control method, and storage medium
WO2017104209A1 (ja) 運転支援装置
JP2020163903A (ja) 表示制御装置、表示制御方法、及びプログラム
JP7183438B2 (ja) 運転支援装置、運転支援方法及びプログラム
JP7304334B2 (ja) 車両制御装置、車両制御方法、およびプログラム
EP4212400A1 (en) Driving assistance method and driving assistance device
US20220262131A1 (en) Information recording device, information recording method, and storage medium
JP2019049808A (ja) 情報表示装置
JP2024049549A (ja) 運転支援装置、運転支援方法、およびプログラム
JP2022139009A (ja) 運転支援装置、運転支援方法及びプログラム
JP2021162893A (ja) 管理装置、管理方法、およびプログラム
CN115440025A (zh) 信息处理服务器、信息处理服务器的处理方法、非临时性存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230626

R150 Certificate of patent or registration of utility model

Ref document number: 7304334

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150