JP6990675B2 - 車両制御装置、車両制御方法、およびプログラム - Google Patents

車両制御装置、車両制御方法、およびプログラム Download PDF

Info

Publication number
JP6990675B2
JP6990675B2 JP2019125438A JP2019125438A JP6990675B2 JP 6990675 B2 JP6990675 B2 JP 6990675B2 JP 2019125438 A JP2019125438 A JP 2019125438A JP 2019125438 A JP2019125438 A JP 2019125438A JP 6990675 B2 JP6990675 B2 JP 6990675B2
Authority
JP
Japan
Prior art keywords
vehicle
state
recognition unit
recognized
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019125438A
Other languages
English (en)
Other versions
JP2021011151A (ja
Inventor
勝也 八代
歩 堀場
忠彦 加納
ちひろ 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2019125438A priority Critical patent/JP6990675B2/ja
Priority to US16/917,995 priority patent/US11600079B2/en
Priority to CN202010623933.1A priority patent/CN112172814B/xx
Publication of JP2021011151A publication Critical patent/JP2021011151A/ja
Application granted granted Critical
Publication of JP6990675B2 publication Critical patent/JP6990675B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14Adaptive cruise control
    • B60W30/16Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B60W30/17Control of distance between vehicles, e.g. keeping a distance to preceding vehicle with provision for special action when the preceding vehicle comes to a halt, e.g. stop and go
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/53Road markings, e.g. lane marker or crosswalk

Description

本発明は、車両制御装置、車両制御方法、およびプログラムに関する。
従来、車両を先行車両に追従する走行制御装置が開示されている。この走行制御装置は、ブレーキペダルと足との接触が検出されている場合に、車両を先行車両に追従走行するように制御する(例えば、特許文献1参照)。
特許第5062137号公報
上記の走行制御装置は、ブレーキペダルと足とが接触している否かに基づいて、追従制御する装置であり、追従制御を実行するための条件が限定的であった。また、上記の走行制御装置は、追従制御を実行する際に車両の周辺状況について考慮していない場合があった。
本発明は、このような事情を考慮してなされたものであり、より周辺状況に応じた車両の制御を実現することができる車両制御装置、車両制御方法、およびプログラムを提供することを目的の一つとする。
この発明に係る車両制御装置、車両制御方法、およびプログラムは、以下の構成を採用した。
(1)この発明の一態様の車両制御装置は、車両の周辺状況を認識する認識部と、前記認識部の認識結果に基づいて前記車両の速度および操舵を制御する運転制御部と、を備え、前記運転制御部は、前記認識部により認識された前走車両に追従する追従走行を行っている場合において、前記前走車両が通過した走行領域における前記認識部により認識された対象物の状態に基づいて、前記追従走行を停止し、前記対象物は、車両が走行する車線の一部または車線を規制するための規制標、または車両の乗員の視線を誘導するための誘導標であるものである。
(2)の態様は、上記(1)の態様に係る車両制御装置において、前記認識部は、撮像された撮像画像を学習済モデルに入力することで、前記撮像画像が所定の状態であるか否かを判定し、前記運転制御部は、前記撮像画像が所定の状態であると判定された場合に、前記追従走行を停止し、前記学習済モデルは、所定の状態の対象物を含む撮像画像が入力された場合に、前記撮像画像が所定の状態であることを示す情報を出力するように学習されたモデルである。
(3)の態様は、上記(1)または(2)のいずれかの態様に係る車両制御装置において、前記運転制御部は、前記前走車両が通過した走行領域における前記認識部により認識された対象物の状態が、前記前走車両が通過する直前において前記認識部により認識された対象物の状態と異なる場合、前記追従走行を停止するものである。
(4)の態様は、上記(1)から(3)のいずれかの態様に係る車両制御装置において、前記前走車両が通過した走行領域における前記認識部により認識された対象物の状態は、前記対象物が運動している状態、または前記対象物が位置していた位置から異なる位置に静止している状態であるものである。
(5)の態様は、上記(1)から(4)のいずれかの態様に係る車両制御装置において、前記対象物は、一時的に道路に配置され、前記車両が参照する地図情報に記憶されていない対象物であるものである。
(6)の態様は、上記(1)から(5)のいずれかの態様に係る車両制御装置において、前記運転制御部は、前記車両が走行する道路区画線に基づいて、前記車両の横方向の位置を制御する第1制御と、前記前走車両に基づいて、前記車両の横方向の位置を制御する第2制御と、を実行可能であり、前記第1制御を実行している場合には、前記前走車両が通過した走行領域における前記認識部により認識された対象物の状態に基づいて、前記追従走行を停止せず、前記第2制御を実行している場合には、前記前走車両が通過した走行領域における前記認識部により認識された対象物の状態に基づいて前記追従走行を停止するものである。
(7)の態様は、上記(6)の態様に係る車両制御装置において、前記第2制御における前記車両が維持する前記車両と前走車両との車間距離は、前記第1制御における前記車両が維持する前記車両と前走車両との車間距離よりも長いものである。
(8)の態様は、上記(1)から(7)のいずれかの態様に係る車両制御装置において、前記運転制御部は、前記車両の乗員が前記車両の操作子を把持しているか否かに関わらず実行する第1追従走行を行っている場合において、前記前走車両が通過した走行領域における前記認識部により認識された対象物の状態に基づいて、前記追従走行を停止する場合、前記車両の乗員が前記車両の操作子を把持していることを条件に実行する第3走行制御を実行するものである。
(9)の態様は、上記(1)から(8)のいずれかの態様に係る車両制御装置において、前記運転制御部は、前記対象物の大きさが所定の大きさ以下である場合、前記追従走行を停止しないものである。
(10)の態様は、上記(9)の態様に係る車両制御装置において、前記所定の大きさ以下とは、前記車両の車体の下部と道路との距離に基づく大きさであるものである。
(11)の態様は、上記の(1)から(10)のいずれかの態様に係る車両制御装置において、前記対象物は、光の反射強度が閾値以上の領域、前記対象物の他の領域よりも所定度合以上光の反射強度が高い領域を有する、またはリフレクターを有する対象物であるものである。
(12)この発明の他の態様の車両制御方法は、コンピュータが、車両の周辺状況を認識し、前記認識結果に基づいて前記車両の速度および操舵を制御し、前記認識された前走車両に追従する追従走行を行っている場合において、前記前走車両が通過した走行領域における前記認識された対象物の状態に基づいて、前記追従走行を停止し、前記対象物は、車両が走行する車線の一部または車線を規制するための規制標、または車両の乗員の視線を誘導するための誘導標である車両制御方法である。
(13)この発明の他の態様のプログラムは、コンピュータに、車両の周辺状況を認識させ、前記認識結果に基づいて前記車両の速度および操舵を制御させ、前記認識された前走車両に追従する追従走行を行っている場合において、前記前走車両が通過した走行領域における前記認識された対象物の状態に基づいて、前記追従走行を停止させ、前記対象物は、車両が走行する車線の一部または車線を規制するための規制標、または車両の乗員の視線を誘導するための誘導標であるプログラムである。
(1)~(13)によれば、より周辺状況に応じた車両の制御を実現することができる。
第1実施形態に係る車両制御装置を利用した車両システム1の構成図である。 第1制御部120および第2制御部160の機能構成図である。 前走車両mへの追従を継続する処理について説明するための図である。 特定処理について説明するための図である。 自動運転制御装置100により実行される特定処理の流れを示すフローチャートである。 対象物認識部132が学習済モデル192を用いて特定対象物の状態を認識する処理について説明するための図である。 対象物認識部132が特定対象物の状態を認識する処理について説明するための図である。 特定対象物が運動している状態について説明するための図である。 自動運転制御装置100により実行される追従走行を停止する際に実行される処理の流れを示すフローチャートである。 第1実施形態の変形例の前走車両mへの追従を継続する処理について説明するための図である。 特定処理について説明するための図である。 対象物認識部132が分裂した特定対象物が所定の状態であるか否かを認識する処理について説明するための図である。 所定の大きさ以下である特定対象物が所定の状態である場合に行われる処理について説明するための図である。 第3実施形態の自動運転制御装置100により実行される処理の流れの一例を示すフローチャートである。 自動運転制御装置100のハードウェア構成の一例を示す図である。
以下、図面を参照し、本発明の車両制御装置、車両制御方法、及びプログラムの実施形態について説明する。以下では、左側通行の法規が適用される国または地域を前提として説明するが、右側通行の法規が適用される場合、左右を逆に読み替えればよい。
<第1実施形態>
[全体構成]
図1は、第1実施形態に係る車両制御装置を利用した車両システム1の構成図である。車両システム1が搭載される車両は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
車両システム1は、例えば、カメラ10と、レーダ装置12と、ファインダ14と、物体認識装置16と、通信装置20と、HMI(Human Machine Interface)30と、車両センサ40と、車室内カメラ42と、ステアリングセンサ44と、ナビゲーション装置50と、MPU(Map Positioning Unit)60と、運転操作子80と、自動運転制御装置100と、走行駆動力出力装置200と、ブレーキ装置210と、ステアリング装置220とを備える。これらの装置や機器は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図1に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。
カメラ10は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したデジタルカメラである。カメラ10は、車両システム1が搭載される車両(以下、車両M)の任意の箇所に取り付けられる。前方を撮像する場合、カメラ10は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。後方を撮像する場合、カメラ10は、リアウィンドシールド上部等に取り付けられる。カメラ10は、例えば、周期的に繰り返し車両Mの周辺を撮像する。カメラ10は、ステレオカメラであってもよい。
レーダ装置12は、車両Mの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波(反射波)を検出して少なくとも物体の位置(距離および方位)を検出する。レーダ装置12は、車両Mの任意の箇所に取り付けられる。レーダ装置12は、FM-CW(Frequency Modulated Continuous Wave)方式によって物体の位置および速度を検出してもよい。
ファインダ14は、LIDAR(Light Detection and Ranging)である。ファインダ14は、車両Mの周辺に光を照射し、散乱光を測定する。ファインダ14は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ファインダ14は、車両Mの任意の箇所に取り付けられる。
物体認識装置16は、カメラ10、レーダ装置12、およびファインダ14のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置16は、認識結果を自動運転制御装置100に出力する。物体認識装置16は、カメラ10、レーダ装置12、およびファインダ14の検出結果をそのまま自動運転制御装置100に出力してよい。車両システム1から物体認識装置16が省略されてもよい。
通信装置20は、例えば、セルラー網やWi-Fi網、Bluetooth(登録商標)、DSRC(Dedicated Short Range Communication)などを利用して、車両Mの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。
HMI30は、車両Mの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。HMI30は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。
車両センサ40は、車両Mの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、車両Mの向きを検出する方位センサ等を含む。
車室内カメラ42は、例えば、CCDやCMOS等の固体撮像素子を利用したデジタルカメラである。車室内カメラ42は、ステレオカメラであってもよい。車室内カメラ42は、車両Mの室内の任意の箇所に取り付けられる。車室内カメラ42は、車室内に存在する運転席のシートを含む領域を撮像する。すなわち、車室内カメラ42は、運転席に着座した乗員を撮像する。車室内カメラ42は、上記の領域を周期的に繰り返し撮像する。
ステアリングセンサ44は、ステアリングホイールの所定の位置に設けられる。例えば、ステアリングホイールには、複数のステアリングセンサが設けられる。所定の位置とは、例えば、リム部などの運転者によって操作(把持または接触)される部分である。ステアリングセンサ44は、例えば、静電容量の変化を検出するセンサである。
ナビゲーション装置50は、例えば、GNSS(Global Navigation Satellite System)受信機51と、ナビHMI52と、経路決定部53とを備える。ナビゲーション装置50は、HDD(Hard Disk Drive)やフラッシュメモリなどの記憶装置に第1地図情報54を保持している。GNSS受信機51は、GNSS衛星から受信した信号に基づいて、車両Mの位置を特定する。車両Mの位置は、車両センサ40の出力を利用したINS(Inertial Navigation System)によって特定または補完されてもよい。ナビHMI52は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビHMI52は、前述したHMI30と一部または全部が共通化されてもよい。経路決定部53は、例えば、GNSS受信機51により特定された車両Mの位置(或いは入力された任意の位置)から、ナビHMI52を用いて乗員により入力された目的地までの経路(以下、地図上経路)を、第1地図情報54を参照して決定する。第1地図情報54は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第1地図情報54は、道路の曲率やPOI(Point Of Interest)情報などを含んでもよい。地図上経路は、MPU60に出力される。ナビゲーション装置50は、地図上経路に基づいて、ナビHMI52を用いた経路案内を行ってもよい。ナビゲーション装置50は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置50は、通信装置20を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。
MPU60は、例えば、推奨車線決定部61を含み、HDDやフラッシュメモリなどの記憶装置に第2地図情報62を保持している。推奨車線決定部61は、ナビゲーション装置50から提供された地図上経路を複数のブロックに分割し(例えば、車両進行方向に関して100[m]毎に分割し)、第2地図情報62を参照してブロックごとに推奨車線を決定する。推奨車線決定部61は、左から何番目の車線を走行するといった決定を行う。
推奨車線決定部61は、地図上経路に分岐箇所が存在する場合、車両Mが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。
第2地図情報62は、第1地図情報54よりも高精度な地図情報である。第2地図情報62は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第2地図情報62には、道路情報、交通規制情報、住所情報(住所・郵便番号)、施設情報、電話番号情報などが含まれてよい。第2地図情報62は、通信装置20が他装置と通信することにより、随時、アップデートされてよい。
運転操作子80は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティック、ウインカレバー、マイク、各種スイッチなどを含む。運転操作子80には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御装置100、もしくは、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220のうち一部または全部に出力される。
自動運転制御装置100は、例えば、第1制御部120と、第2制御部160と、乗員監視部170と、出力制御部180と、記憶部190とを備える。第1制御部120と第2制御部160と乗員監視部170は、それぞれ、例えば、CPU(Central Processing Unit)などのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め記憶部190のHDDやフラッシュメモリなどの記憶装置に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで自動運転制御装置100のHDDやフラッシュメモリにインストールされてもよい。記憶部190には、学習済モデル192が記憶されている。学習済モデル192の詳細については後述する。
乗員監視部170は、乗員(運転席に着座した乗員)が車両の周辺を監視しているか否かを判定する。乗員監視部170は、車室内カメラ42により撮像された画像を解析して、解析結果に基づいて、運転者の顔の向きや、視線の方向を導出する。例えば、乗員監視部170は、導出した顔の向きや視線の方向が基準範囲内であると判定した場合、乗員が周辺監視を行っていると判定する。
乗員監視部170は、運転者がステアリングホイールを操作、または把持しているか否かを判定する。また、乗員監視部170は、運転者の手がステアリングホイールに接触している状態であるか否を判定する。乗員監視部170は、ステアリングセンサ44により検出された検出結果を取得し、取得した検出結果に基づいて、ステアリングセンサ44が操作等されているか否かを判定する。例えば、乗員監視部170は、第1時刻で取得したステアリングセンサ44の検知値と、第2時刻で取得したステアリングセンサ44の検知値とを比較し、検知値が閾値以上変化している場合、運転者がステアリングホイールを操作等していると判定する。また、乗員監視部170は、取得したステアリングセンサ44の検知値が所定の範囲内である場合、運転者がステアリングホイールを操作等していると判定してもよい。また、乗員監視部170は、車室内カメラ42により撮像された画像の解析結果を加味して、運転者がステアリングホイールを操作等しているか否かを判定してもよい。
図2は、第1制御部120および第2制御部160の機能構成図である。第1制御部120は、例えば、認識部130と、行動計画生成部140とを備える。認識部130は、例えば、AI(Artificial Intelligence;人工知能)による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニング等による交差点の認識と、予め与えられた条件(パターンマッチング可能な信号、道路標示などがある)に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。これによって、自動運転の信頼性が担保される。
認識部130は、カメラ10、レーダ装置12、およびファインダ14から物体認識装置16を介して入力された情報に基づいて、車両Mの周辺にある物体の位置、および速度、加速度等の状態を認識する。物体には、他車両が含まれる。物体の位置は、例えば、車両Mの代表点(重心や駆動軸中心など)を原点とした絶対座標上の位置として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、表現された領域で表されてもよい。物体の「状態」とは、物体の加速度やジャーク、あるいは「行動状態」(例えば車線変更をしている、またはしようとしているか否か)を含んでもよい。
また、認識部130は、例えば、車両Mが走行している車線(走行車線)を認識する。例えば、認識部130は、第2地図情報62から得られる道路区画線のパターン(例えば実線と破線の配列)と、カメラ10によって撮像された画像から認識される車両Mの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。なお、認識部130は、道路区画線に限らず、道路区画線や路肩、縁石、中央分離帯、ガードレールなどを含む走路境界(道路境界)を認識することで、走行車線を認識してもよい。この認識において、ナビゲーション装置50から取得される車両Mの位置やINSによる処理結果が加味されてもよい。また、認識部130は、一時停止線、障害物、赤信号、料金所、その他の道路事象を認識する。
認識部130は、走行車線を認識する際に、走行車線に対する車両Mの位置や姿勢を認識する。認識部130は、例えば、車両Mの代表点の車線中央からの乖離、および車両Mの進行方向の車線中央を連ねた線に対してなす角度を、走行車線に対する車両Mの相対位置および姿勢として認識してもよい。これに代えて、認識部130は、走行車線のいずれかの側端部(道路区画線または道路境界)に対する車両Mの代表点の位置などを、走行車線に対する車両Mの相対位置として認識してもよい。
認識部130は、例えば、対象物認識部132を含む。対象物認識部132は、カメラ10により撮像された画像に基づいて、特定対象物を認識する。「特定対象物」とは、例えば、車両Mが走行する車線の一部または車線を規制するための規制標、または車両Mの乗員の視線を誘導するための誘導標である。「特定対象物」は、例えば、車両Mが参照する地図情報に記憶されていない物体である。「特定対象物」は、例えば、光の反射強度が閾値以上の特定領域、特定対象物の他の領域よりも所定度合以上光の反射強度が高い特定領域を有する、またはリフレクター(反射板)を有する物体であってもよい。リフレクターが設けられた領域は、光の反射強度が閾値以上の領域である。参照する地図情報とは、車両Mの記憶装置に記憶された地図情報や、ネットワークを介してサーバ装置が提供する地図情報を含む。
対象物認識部132は、画像を解析して、画像における特定対象物(物体)およびその特定対象物の画像における位置を認識する。対象物認識部132は、画像における特定対象物を含む領域を抽出し、抽出した領域の画像を学習済モデル192に入力する。対象物認識部132は、学習済モデル192が出力した出力結果に基づいて、画像に特定対象物が含まれるか否を認識する。また、対象物認識部132は、光の反射強度が閾値以上の特定領域、またはリフレクターが設けられた特定領域を認識し、特定領域を有する対象物を特定対象物と認識してもよい。対象物認識部132は、画像処理のおける輝度勾配や、上記のように学習済モデル192を用いた処理に基づいて、特定領域を認識する。
行動計画生成部140は、原則的には推奨車線決定部61により決定された推奨車線を走行し、更に、車両Mの周辺状況に対応できるように、車両Mが自動的に(運転者の操作に依らずに)将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、車両Mの到達すべき地点(軌道点)を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離(例えば数[m]程度)ごとの車両Mの到達すべき地点であり、それとは別に、所定のサンプリング時間(例えば0コンマ数[sec]程度)ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における車両Mの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。
行動計画生成部140は、目標軌道を生成するにあたり、自動運転のイベントを設定してよい。自動運転のイベントには、定速走行イベント、所定車速(例えば60[km])以下で前走車両mに追従して走行する追従走行イベント、車線変更イベント、分岐イベント、合流イベント、テイクオーバーイベントなどがある。行動計画生成部140は、起動させたイベントに応じた目標軌道を生成する。
行動計画生成部140は、例えば、第1運転状態と、第2運転状態と、第3運転状態とのうち、いずれかの運転状態で車両を制御する。第1運転状態、第2運転状態、第3運転状態は、この順で車両の制御に関して自動化度合いが高い運転状態である。自動化度合いが高いとは、換言すると、乗員の車両に対する操作度合に基づいて車両が制御されている度合いが低いこと、または乗員に要求される車両の周辺監視に関するタスクが低いことである。以下、第1運転状態~第3運転状態の一例について説明する。
第1運転状態は、乗員が車両の周辺を監視する必要および乗員がステアリングホイールを操作する必要がない運転状態である。第1運転状態は、例えば、乗員がステアリングホイールを操作していなく(把持、保持、またはステアリングホイールに接触していなく)、且つ乗員が車両の周辺を監視していない状態において、車両が速度および操舵を自動で制御可能な運転状態である。また、乗員が車両の周辺を監視している、乗員がステアリングホイールを把持している、または乗員が上記の監視および上記の把持を行っている場合であっても、第1運転状態が実行可能な他の条件を満たしていれば、第1運転状態は実行または維持される。
第2運転状態は、乗員が車両の周辺を監視する必要があるが、乗員がステアリングホイールを操作する必要がない運転状態である。第2運転状態は、乗員が車両の周辺を監視している状態において、乗員がステアリングホイールを操作していない状態で、車両が速度及び操舵を自動で制御可能な運転状態である。また、乗員が車両の周辺を監視し、且つ第2運転状態が実行可能な他の条件を満たしていれば、乗員がステアリングホイールを把持していても、把持していなくても、第2運転状態は実行または維持される。
第3運転状態は、例えば、少なくとも運転者に周辺(前方注視等)の安全運転に係る監視のタスクが課される運転状態である。第3運転状態は、例えば、乗員がステアリングホイールを操作し、且つ乗員が車両の周辺を監視している状態で、車両が速度および操舵を自動で制御可能な運転状態である。
なお、第3運転状態は、運転者が手動運転を行っている状態であってもよい。また、第3運転状態は、ADAS(Advanced Driver Assistance System)が作動している状態であってもよい。ADASは、ACC(Adaptive Cruise Control System)やLKAS(Lane Keeping Assist System)に代表される運転支援システムである。
第1運転状態から第3運転状態において、例えば車両Mの前方を走行する前走車両mを追従する追従走行が行われていてもよい。追従走行とは、車両Mが、車両Mと前走車両mとの車間距離とを所定距離(例えば速度に応じた所定距離)に維持して、前走車両mを追従する制御である。追従走行が行われている運転状態において、追従対象の前走車両mが存在しなくなった場合、追従制御は解除される。この場合、追従制御が行われていた運転状態よりも自動化度合の低い運転状態に移行するための処理が行われる。例えば、自動化度合の低い運転状態に移行するための処理とは、運転者に周辺を監視することを要求する通知や、運転者にステアリングホイールを把持することを要求する通知等が、HMI30により行われることである。また、追従対象の前走車両mが存在しなくなる場合とは、前走車両mが車両Mの進行方向とは異なる方向、異なる車線に進行したことである。
上記の第1運転状態~第3運転状態の制御が行われる条件は、一例であり、第1運転状態、第2運転状態、第3運転状態の順で、車両の自動化度合いが高ければ任意に設定されてよい。例えば、第1運転状態~第3運転状態の一部または全部は自動運転の状態でもよいし、第1運転状態~第3運転状態の一部または全部は自動運転の状態でなく運転支援が実行される状態でもよい。また、3つの運転状態に代えて、2つ以上の運転状態において本実施形態が適用されてもよい。
第2制御部160は、行動計画生成部140によって生成された目標軌道を、予定の時刻通りに車両Mが通過するように、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220を制御する。行動計画生成部140と、第2制御部160とを合わせたものが、「運転制御部」の一例である。
第2制御部160は、例えば、取得部162と、速度制御部164と、操舵制御部166とを備える。取得部162は、行動計画生成部140により生成された目標軌道(軌道点)の情報を取得し、メモリ(不図示)に記憶させる。速度制御部164は、メモリに記憶された目標軌道に付随する速度要素に基づいて、走行駆動力出力装置200またはブレーキ装置210を制御する。操舵制御部166は、メモリに記憶された目標軌道の曲がり具合に応じて、ステアリング装置220を制御する。速度制御部164および操舵制御部166の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部166は、車両Mの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道からの乖離に基づくフィードバック制御とを組み合わせて実行する。
図1に戻り、出力制御部180は、例えば、所定の通知をHMI30に行わせる。所定の通知とは、ステアリングホイールを把持することを乗員に要求する通知や、周辺を監視することを乗員に要求する通知である。
走行駆動力出力装置200は、車両が走行するための走行駆動力(トルク)を駆動輪に出力する。走行駆動力出力装置200は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するECUとを備える。ECUは、第2制御部160から入力される情報、或いは運転操作子80から入力される情報に従って、上記の構成を制御する。
ブレーキ装置210は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキECUとを備える。ブレーキECUは、第2制御部160から入力される情報、或いは運転操作子80から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置210は、運転操作子80に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置210は、上記説明した構成に限らず、第2制御部160から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。
ステアリング装置220は、例えば、ステアリングECUと、電動モータとを備える。
電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングECUは、第2制御部160から入力される情報、或いは運転操作子80から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。
[前走車両への追従を継続する処理]
図3は、前走車両mへの追従を継続する処理について説明するための図である。図3は、車両Mにより車両Mの進行方向が撮像された画像である。図3では、車線L1において車両Mが前走車両mに追従している。前走車両mの進行方向において規制標OB1~OB4によって車線が規制されている。以下、規制標OB1~OB4を区別しない場合は、単に「規制標OB」と称する場合がある。規制標OBは、一時的または継続的に道路に配置されるものである。例えば、一時的に配置される規制標OBは、道路工事、事故処理、救護等の所定の状況が道路または道路付近で発生した場合に道路または道路付近に配置される物体である。時刻Tにおいて、前走車両mは、車線L1において前走車両mに最も近い規制標OB1の手前に到達する。時刻T+1において、前走車両mは、規制標OB1および規制標OB1の進行方向側に配置された規制標OB2~OB4を回避するように車線L1に隣接する車線L2側に近づく。時刻T+2において、前走車両mは、車線L2に進入する。
このように、前走車両mが、前走車両mが通過した前後で規制標OBの状態が変化していない場合、車両Mは、前走車両mを追従する制御を継続する。すなわち、車両Mは、時刻Tから時刻T+2における道路における規制標OBの状態、または規制標OBの状態および車両Mの状態を認識し、認識結果に基づいて、追従走行を継続する。
[追従走行を停止する処理(特定処理)]
自動運転制御装置100は、前走車両に追従する追従走行を行っている場合において、前走車両mが通過した走行領域における認識部130により認識された特定対象物の状態に基づいて、追従走行を停止する。以下、この処理を「特定処理」と称する場合がある。
図4は、特定処理について説明するための図である。図3と重複する説明については説明を省略する。時刻T#において、前走車両mは、車線L1において前走車両mに最も近い規制標OB1の手前に到達する。時刻T+1#において、前走車両mは、規制標OB1に近くを走行する。時刻T+2#において、前走車両mは、時刻T+1#の規制標OB1が配置されていた位置を通過する。また、時刻T+2#において、規制標OBの状態は、時刻T+1#の状態と異なる所定の状態である。図4の例では、所定の状態とは、立った状態で用いられる規制標OBが倒れている状態である。また、所定の状態とは、破損や基準状態に対して変形している状態等であってもよい。
このように、前走車両mが、規制標OB付近を前走車両mが走行している場合において、車両Mは、前走車両mが通過した走行領域における規制標OBの状態に基づいて、追従走行を停止する。すなわち、車両Mは、時刻T#から時刻T+2#における道路における規制標OBの状態、または車両Mの状態および規制標OBの状態を認識し、認識結果に基づいて、追従走行を停止する。
[フローチャート(その1)]
図5は、自動運転制御装置100により実行される特定処理の流れを示すフローチャートである。まず、行動計画生成部140は、追従走行を行っている状態であるか否を判定する(ステップS100)。本処理における追従走行は、例えば、車両Mの乗員が車両Mのステアリングホイール(またはジョイスティックなどの他の操作子)を把持しているか否かに関わらず、またはステアリングホイールを把持していないことを条件に実行する追従走行である。
追従走行を行っている状態である場合、対象物認識部132が、特定対象物を認識したか否かを判定する(ステップS102)。特定対象物が認識されなかった場合、ステップS100の処理に戻る。
特定対象物が認識された場合、認識部130は、道路の長手方向に関して特定対象物が配置された特定位置付近を、前走車両mが通過したか否かを判定する(ステップS104)。前走車両mが、道路の長手方向に関して特定対象物が配置された特定位置付近を通過していない場合、ステップS100の処理に戻る。なお、本処理では、認識部130は、撮像された画像において特定対象物を認識した場合、以降の処理で撮像された画像において特定対象物をトラッキングしてもよい。
前走車両mが、道路の長手方向に関して特定対象物が配置された特定位置付近を通過した場合、対象物認識部132は、前走車両mが特定位置付近を通過した後に撮像された画像において認識された特定対象物を認識し、認識した特定対象物の状態を認識する(ステップS106)。この処理および後述するステップS110の処理の詳細については後述する。
次に、対象物認識部132は、認識した特定対象物が所定の状態であるか否を判定する(ステップS108)。特定対象物が所定の状態でない場合、本フローチャートの1ルーチンの処理が終了する。
特定対象物が所定の状態である場合、行動計画生成部140は、追従走行を停止して運転状態を変更する(ステップS110)。この処理の詳細については後述する。これにより本フローチャートの1ルーチンの処理が終了する。
上述した処理により、自動運転制御装置100は、認識した特定対象物が所定の状態である場合に、追従走行を停止することにより、より周辺状況に応じた車両の制御を実現することができる。
なお、上記の図5のフローチャートの処理において、ステップS102の処理は省略されてもよい。この場合、自動運転制御装置100は、前走車両mが通過した領域付近に所定の状態の特定対象物を認識した場合に、追従走行を停止する。すなわち、車両Mが前走車両mに追従している状態において特定対象物を認識していなかったが、前走車両mが通過した走行軌跡付近(車線L1付近)において、所定の状態の特定対象物を認識した場合、追従走行を停止する。
[特定対象物の状態が認識される処理(その1)]
ここで、ステップS106およびS108の特定対象物の状態が認識される処理について説明する。図6は、対象物認識部132が学習済モデル192を用いて特定対象物の状態を認識する処理について説明するための図である。学習済モデル192は、画像IMが入力されると、画像に含まれる特定対象物が所定の状態であるか、所定の状態でないかを示す情報を出力する。
学習済モデル192は、不図示の学習装置が、学習データを学習して生成したモデルである。学習済モデル192は、ディープラーニングなどの機械学習によって学習されたモデルである。学習済モデル192は、例えば、ニューラルネットワークなどの形態を有する。学習データは、例えば、所定の状態である特定対象物が撮像された第1画像と、第1画像の特定対象物が所定の状態であることを示す第1ラベルとが対応付けられた複数の第1情報、および所定の状態でない特定対象物が撮像された第2画像と、第2画像の特定対象物が所定の状態でないことを示す第2ラベルとが対応付けられた複数の第2情報を含む。学習装置は、第1画像が入力されたモデルが、所定の状態であることを示す情報を出力し、第2画像が入力されたモデルが、所定の状態でないことを示す情報を出力するように学習して学習済モデル192を生成する。
また、学習済モデル192は、時系列の画像が入力された場合に、時系列の画像に含まれる特定対象物が所定の状態であるか、所定の状態でないかを示す情報を出力するモデルであってもよい。この場合、所定の状態は、特定対象物が運動している状態であることを含む。また、この場合、学習済モデル192は、学習装置が、時系列の画像と、時系列の画像に対応付けられたラベル(特定対象物が所定の状態である、または所定の状態でないことを示すラベル)とを含む学習データを学習して学習済モデル192を生成する。
また、対象物認識部132は、記憶部190に記憶された所定の状態である特定対象物の特徴量の分布と、認識した特定対象物の分布とが合致する場合、認識した特定対象物は所定の状態であると判定してもよい。
このように、自動運転制御装置100は、より精度よく特定対象物が所定の状態であるか否かを判定することができる。例えば、自動運転制御装置100は、前走車両mが特定対象物と接触して特定対象物を所定の状態にしたか否かが認識できない場合であっても、前走車両mが通過した走行領域における対象物認識部132により認識された対象物の状態に基づいて、より精度よく特定対象物が所定の状態であるか否かを判定することができる。
[特定対象物の状態が認識される処理(その2)]
自動運転制御装置100は、前走車両mが通過した走行領域における認識部130により認識された特定対象物の状態が、前走車両mが通過する直前(または所定時間前)において認識部130により認識された特定対象物の状態と異なる場合、追従走行を停止する。すなわち、自動運転制御装置100は、前走車両mが通過した走行領域における認識部130により認識された特定対象物の状態は、特定対象物が位置していた位置から異なる位置に静止している状態である場合、追従走行を停止する。
図7は、対象物認識部132が特定対象物の状態を認識する処理について説明するための図である。対象物認識部132は、時刻T#で撮像された第1特定画像において認識した特定対象物と同一の特定対象物を、時刻T+2#で撮像された第2特定画像において認識する。例えば、対象物認識部132は、第2特定画像において、規制標OB2の手前に存在し、第1特定画像で認識した規制標OB1と同じ特徴量の分布を有する対象物を規制標OB1と推定する。そして、対象物認識部132は、第1特定画像における規制標OB1の位置や向きが、第2特定画像における規制標OB1の位置や向きと異なっている場合、第2特定画像における規制標OB1は所定の状態であると判定する。なお、時刻T#は、対象物認識部132が、最初に特定対象物を認識した時刻であってもよいし、例えば、前走車両mによって特定対象物が認識できなるくなる直前の時刻であってもよい。
例えば、対象物認識部132は、横たわっている規制標OB1の特徴量の分布に関する形状を、立っている規制標OB1の特徴量の分布に関する形状の向きに合わせ、これらの分布に関する形状が合致する場合、第2画像における規制標OB1は所定の状態であると判定する。
また、対象物認識部132は、特定対象物が運動している状態である場合、特定対象物は所定の状態であると判定してもよい。図8は、特定対象物が運動している状態について説明するための図である。例えば、対象物認識部132は、時刻T+2#の前後(時刻T+2#-1、時刻T+2#+1)の画像に基づいて、特定対象物が運動しているか否かを判定する。例えば、対象物認識部132は、図8に示すように、規制標OB1の基準状態を時刻T+2#における状態としたときに、その前後の画像において特定対象物が第1状態と第2状態であると認識した場合、または基準状態と第1状態と第2状態とが繰り返されている場合、規制標OB1は運動していると判定する。第1状態は、基準状態に対して規制標OB1の土台の第1端部を支点に第1方向に傾いている状態である。第2状態は、基準状態に対して規制標OB1の土台の第1端部に対向する第2端部を支点に第1方向に対向する第2方向に傾いている状態である。
[その他]
また、対象物認識部132は、上記の処理に代えて(或いは加えて)、特定対象物の位置がずれた場合や、基準状態であった特定対象物が基準状態とは異なる状態である場合、特定対象物が所定の状態であると判定してもよい。更に、対象物認識部132は、上記の処理に代えて(或いは加えて)、前走車両mが特定対象物の横を通過した後に、その特定対象物が所定時間移動し、道路上に止まって位置した場合、特定対象物を所定の状態であると判定してもよいし、前走車両mが特定対象物の横を通過した後に、通過前に存在していた特定対象物が存在しなくなった場合、特定対象物を所定の状態であると判定してもよい。
このように、自動運転制御装置100は、より精度よく特定対象物が所定の状態であるか否かを判定することができる。例えば、自動運転制御装置100は、前走車両mが特定対象物と接触して特定対象物を所定の状態にしたか否かが認識できない場合であっても、前走車両mが通過した走行領域における対象物認識部132により認識された対象物の状態に基づいて、より精度よく特定対象物が所定の状態であるか否かを判定することができる。
[フローチャート(その2)]
図9は、自動運転制御装置100により実行される追従走行を停止する際に実行される処理の流れを示すフローチャートである。本フローチャートの処理は、図5のフローチャートのステップS110の処理において、追従走行を停止すると判定された場合に実行される処理である。
まず、行動計画生成部140は、車両Mを減速させる、もしくは車両Mの加速を抑制する(ステップS200)。次に、出力制御部180は、ステアリングホイールの把持を乗員に要求する通知をHMI30に出力させる(ステップS202)。なお、既に乗員がステアリングホイールを把持している場合、ステップS202の処理は省略されてもよい。
次に、乗員監視部170は、所定期間内においてステアリングホイールが乗員により把持されたか否かを判定する(ステップS204)。所定期間期間内にステアリングホイールが乗員より把持された場合、行動計画生成部140は、運転状態をステアリングホイールの把持を条件に実行される運転状態に変更する(ステップS206)。すなわち、行動計画生成部140は、運転状態を第3制御の運転状態に変更する。所定期間期間内にステアリングホイールが乗員より把持されなかった場合、行動計画生成部140は、車両Mを停車または徐行した後に停車させる(ステップS208)。停車の位置は、例えば、所定の状態の特定対象物の手前や、路肩など安全に停車できる位置である。
なお、上記のステップS204において、ステアリングホイールが把持された否かの判定に代えて(或いは加えて)、他の条件を満たすか否かが判定されてもよい。他の条件とは、乗員が車両Mの周辺を監視していることや、乗員がブレーキペダルを操作したことなど任意の条件である。
また、上記の図9のフローチャートの処理に代えて、追従走行を停止する場合に、オートレーンチェンジ(自動車線変更)が行われてもよい。これにより、車両Mは、車線L2に自動で車線変更する。なお、車線変更する際に障害となる他車両が車線L2に存在しない場合、車線変更を行い、車線変更する際に障害となる他車両が車線L2に存在する場合、図9のフローチャートの処理が行われてもよい。
また、特定対象物が所定の状態であると判定された後に、オートレーンチェンジが行われた場合、または車線L2に車線変更が行われた場合、車両Mは、所定期間の間、所定の状態の特定対象物が存在していた車線L1に戻ることを制限してもよい。
このように、自動運転制御装置100は、追従走行を停止して、所定の運転状態に移行するための制御を実行することにより、より周辺状況に応じた車両Mの制御を実現することができる。
以上説明した第1実施形態によれば、自動運転制御装置100は、前走車両mに追従する追従走行を行っている場合において、前走車両mが通過した走行領域における認識部130により認識された対象物の状態に基づいて、追従走行を停止することにより、より周辺状況に応じた車両の制御を実現することができる。
<第1実施形態の変更例(1)>
以下、第2実施形態について説明する。第1実施形態では、特定対象物は、規制標OB1であるものとした。第2実施形態では、特定対象物は、誘導標OB11である。以下、第1実施形態との相違点について説明する。
[前走車両への追従を継続する処理]
図10は、第1実施形態の変形例の前走車両mへの追従を継続する処理について説明するための図である。図10は、車両Mにより車両Mの進行方向が撮像された画像である。図10では、道路において車両Mが前走車両mに追従している。前走車両mの進行方向において誘導標OB11およびOB12が設けられている。以下、誘導標OB11、OB12を区別しない場合は、単に「誘導標OB」と称する場合がある。誘導標OBは、例えば、弾性を有する部材で構成され、ポール部が土台に接続され、その土台は道路に固定されている。
時刻tにおいて、前走車両mは、誘導標OB11およびOB12の手前に到達する。時刻t+1において、前走車両mは、誘導標OB11と誘導標OB12との間に位置する。時刻t+2において、前走車両mは、誘導標OB11と誘導標OB12との間を通過し、誘導路OBの奥側に位置する。
このように、前走車両mが、誘導標OBを通過した前後において、誘導標OBの状態に所定の変化が生じていない場合、車両Mは、前走車両mを追従する制御を継続する。すなわち、車両Mは、時刻tから時刻t+2における道路における誘導標OBの状態、または誘導標OBの状態および車両Mの状態を認識し、認識結果に基づいて、追従走行を継続する。
[追従走行を停止する処理(特定処理)]
図11は、特定処理について説明するための図である。図10と重複する説明については説明を省略する。時刻t#において、前走車両mは、誘導標OB11と誘導標OB12との間に位置する。時刻t#+1#において、前走車両mは、誘導路OB11と誘導標OB12との間を通過し、誘導標OBの奥側に位置する。時刻t#+2において、前走車両mは、時刻t#+1における位置より更に奥側に位置する。
対象物認識部132は、時刻t#+1および時刻t#+2において、誘導標OB11は曲がった状態であるため、誘導標OB11が所定の状態であると判定する。そして、行動計画生成部140は、追従走行を停止する。
このように、前走車両mが、誘導標OB11付近を前走車両mが走行している場合において、車両Mは、前走車両mが通過した走行領域における誘導標OBの状態に基づいて、追従走行を停止する。すなわち、車両Mは、時刻t#から時刻t#+2における道路における誘導標OBの状態、または車両Mの状態および誘導標OBの状態を認識し、認識結果に基づいて、追従走行を停止する。
以上説明した第1実施形態の変形例(1)によれば、自動運転制御装置100は、第1実施形態と同様の効果を奏することができる。
<第1実施形態の変更例(2)>
以下、第2実施形態について説明する。第2実施形態では、分裂した特定対象物が所定の状態であるか否が判定される。以下、第1実施形態との相違点について説明する。
図12は、対象物認識部132が分裂した特定対象物が所定の状態であるか否かを認識する処理について説明するための図である。時刻t#+2#において、前走車両mは、誘導路OB11と誘導標OB12との間を通過し、誘導標OBの奥側に位置する。対象物認識部132は、時刻t#+2において、誘導標OB11のポールOB11Pが土台OB11Bから分離して、道路に転がっている場合、誘導標OB11が所定の状態であると判定する。そして、行動計画生成部140は、追従走行を停止する。
対象物認識部132は、前走車両mに追従する追従走行を行っている場合において、前走車両mが通過した走行領域における特定対象物の状態が分裂した特定対象物であるか否かを判定する。図12に示すように、特定対象物OB11が特定対象物のポール部OB11Pと土台部OB11Bとに分裂して道路に落ちている場合、対象物認識部132は、ポール部OB11Pまたは土台部OB11Bを所定の状態である特定対象物であると認識する。
このように、対象物認識部132が、前走車両mが通過する前の特定対象物の一部が、通過する前の位置と異なる位置や通過する前の状態と異なる状態である場合、特定対象物は所定の状態であると判定する。なお、この処理は、上述したように学習済モデル192が用いられてもよいし、所定の状態の特定対象物(例えば、ベースOB11BまたはポールOB11P)の特徴量の分布が用いられて行われてもよい。行動計画生成部140は、対象物認識部132により特定対象物が分裂していると判定された場合、追従走行を停止する。
以上説明した第1実施形態の変形例(2)によれば、自動運転制御装置100は、第1実施形態と同様の効果を奏することができる。
<第2実施形態>
以下、第2実施形態について説明する。第2実施形態では、特定対象物の大きさが所定の大きさ以下である場合、追従走行を停止しない。以下、第1実施形態との相違点について説明する。
図13は、所定の大きさ以下である特定対象物が所定の状態である場合に行われる処理について説明するための図である。時刻T11で、前走車両mは、誘導標OB21の手前に到達する。時刻T11+1において、前走車両mは、誘導標OB21を通過し、誘導路OBの奥側に位置する。時刻T11+1において、誘導標OB21は倒れた状態(通常とは異なる状態)であるため、対象物認識部132は、誘導標OB21が所定の状態であると判定する。ここで、対象物認識部132は、所定の状態である誘導標OB21の大きさが所定の大きさ以下であるか否かを判定する。誘導標OB21の大きさが所定の大きさを超える場合、行動計画生成部140は、追従走行を停止する。
誘導標OB21の大きさが所定の大きさを以下である場合、行動計画生成部140は、追従走行を停止せずに、追従走行を継続する。所定の大きさとは、車両Mの記憶装置に記憶された車両Mの車体の下部と道路との距離(最低地上高)に基づく大きさである。例えば、車両Mの車体の下部と道路とが第1距離である場合、所定の大きさは、道路における鉛直反対方向の対象物の大きさ(高さ)が、第1距離、または第1距離からマージンを差し引いた距離に対応する大きさであることである。例えば、図13に示すように道路における鉛直反対方向の対象物の高さDが、第1距離または第1距離からマージンを差し引いた距離以下である場合、車両Mは追従走行を継続する。
以上説明した第2実施形態によれば、自動運転制御装置100は、特定対象物の大きさに基づいて、より周辺状況に応じた車両の制御を実現することができる。
<第3実施形態>
以下、第3実施形態について説明する。第3実施形態では、自動運転制御装置100は、第1横位置制御または第2横位置制御を選択的に実行し、実行している横位置制御に基づいて、追従走行を停止するか否かを判定する。以下、第3実施形態との相違点について説明する。
第1横位置制御は、道路区画線に基づいて、車両Mの横方向の位置を制御する制御である。例えば、自動運転制御装置100は、第1横位置制御を実行している場合、左右の道路区画線を認識し、認識した道路区画線の中央に車両Mが位置するように車両Mを制御する。また、自動運転制御装置100は、左右の道路区画線のうち一方の道路区画線を認識し、一方の道路区画線から車両Mの横位置に関して所定距離スライドさせた位置に車両Mの幅方向の中央が位置するように車両Mを制御してもよい。
第2横位置制御は、前走車両mに基づいて、車両Mの横方向の位置を制御する制御である。例えば、自動運転制御装置100は、第2制御を実行している場合、前走車両mが走行した走行軌跡(前走車両mの車幅方向に関する走行軌跡の中心などの基準位置)に沿って車両Mが走行するように車両Mを制御する。
第1横位置制御および第2横位置制御は、追従走行が行われている際に実行されてもよい。例えば、第1横位置制御が行われている場合、道路の長手方向に関する前走車両mの位置に基づいて、車両Mと前走車両mとの距離が所定の距離になるように車両Mの進行方向に関する位置が制御され、道路区画線に基づいて車両Mの幅方向の位置が制御される。例えば、第2横位置制御が行われている場合、道路の長手方向に関する前走車両mの位置に基づいて、車両Mと前走車両mとの距離が所定の距離になるように車両Mの進行方向に関する位置が制御され、前走車両mの走行軌跡に基づいて車両Mの幅方向の位置が制御される。また、第1横位置制御と第2横位置制御とは組み合わされて実行されてもよい。
第2横位置制御における車両Mが維持する車両Mと前走車両mとの車間距離は、第1横位置制御における車両Mが維持する車両Mと前走車両mとの車間距離よりも長く設定される。第2横位置制御における車間距離が、第1横位置制御における車間距離よりも長く設定されることにより、道路区画線の認識精度が向上する。また、車両Mは、より精度よく前走車両mの周辺の物体を検出することができる。
図14は、第3実施形態の自動運転制御装置100により実行される処理の流れの一例を示すフローチャートである。図14のフローチャートに示すように、行動計画生成部140は、第1横位置制御を実行している場合には、前走車両mが通過した走行領域における認識部130により認識された特定対象物(または対象物)の状態に基づいて追従走行を停止せず、第2横位置制御を実行している場合には、前走車両mが通過した走行領域における認識部130により認識された特定対象物(または対象物)の状態に基づいて追従走行を停止する。
上述した図5のフローチャートの処理と同様の処理については説明を省略して、図5のフローチャートで実行されないステップS109の処理について説明する。ステップS109の処理において、特定対象物が所定の状態であると判定された場合、行動計画生成部140は、第2横位置制御が実行されている否かを判定する(ステップS109)。第2横位置制御が実行されていない場合、本フローチャートの処理が終了し、第2横位置制御が実行されている場合、行動計画生成部140は、追従走行を停止し、運転状態を変更する(ステップS110)。これにより本フローチャートの処理が終了する。
なお、上記の図14のフローチャートの処理に代えて、自動運転制御装置100は、第2横位置制御が行われている場合に、図5のフローチャートの処理を実行してもよい。
このように、行動計画生成部140は、特定対象物が所定の状態であり、且つ第2横位置制御が行われている場合に、追従走行を停止する。これにより、基準にするのにふさわしくない前走車両mに基づいて、横位置制御が行われることが抑制される。前走車両mが通過後に、前走車両mが通過前に通常の状態であった特定対象物が所定の状態になった場合、前走車両mが特定対象物を所定の状態にした可能性が高いためである。
以上説明した第3実施形態によれば、自動運転制御装置100は、認識部130により認識された前走車両mに追従する追従走行を行っている場合において、前走車両mが通過した走行領域における認識部130により認識された対象物の状態に基づいて、追従走行を停止することにより、より周辺状況に応じた車両の制御を実現することができる。
[ハードウェア構成]
図15は、自動運転制御装置100のハードウェア構成の一例を示す図である。図示するように、自動運転制御装置100は、通信コントローラ100-1、CPU100-2、ワーキングメモリとして使用されるRAM(Random Access Memory)100-3、ブートプログラムなどを格納するROM(Read Only Memory)100-4、フラッシュメモリやHDD(Hard Disk Drive)などの記憶装置100-5、ドライブ装置100-6などが、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ100-1は、自動運転制御装置100以外の構成要素との通信を行う。記憶装置100-5には、CPU100-2が実行するプログラム100-5aが格納されている。このプログラムは、DMA(Direct Memory Access)コントローラ(不図示)などによってRAM100-3に展開されて、CPU100-2によって実行される。これによって、認識部130、行動計画生成部140、および第2制御部160のうち一部または全部が実現される。
上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサは、前記記憶装置に記憶されたプログラムを実行することにより、
車両の周辺状況を認識し、
前記認識結果に基づいて前記車両の速度および操舵を制御し、
前記認識された前走車両に追従する追従走行を行っている場合において、前記前走車両が通過した走行領域における前記認識された対象物の状態に基づいて、前記追従走行を停止するように構成され、
前記対象物は、車両が走行する車線の一部または車線を規制するための規制標、または車両の乗員の視線を誘導するための誘導標である、
車両制御装置。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
1…車両システム、10…カメラ、12…レーダ装置、14…ファインダ、16…物体認識装置、100…自動運転制御装置、120…第1制御部、130…認識部、132…対象物認識部、140…行動計画生成部、160…第2制御部、170…乗員監視部、180…出力制御部、190…記憶部、192…学習済モデル

Claims (13)

  1. 車両の周辺状況を認識する認識部と、
    前記認識部の認識の結果に基づいて前記車両の速度および操舵を制御する運転制御部と、を備え、
    前記運転制御部は、前記認識部により認識された前走車両に追従する追従走行を行っている場合において、前記前走車両が通過した後の走行領域における前記認識部により認識された対象物の状態が、前記前走車両が通過する直前において前記認識部により認識された対象物の状態とは異なる場合、前記追従走行を停止し、
    前記対象物は、車両が走行する車線の一部または車線を規制するための規制標、または車両の乗員の視線を誘導するための誘導標である、
    車両制御装置。
  2. 車両の周辺状況を認識する認識部と、
    前記認識部の認識の結果に基づいて前記車両の速度および操舵を制御する運転制御部と、を備え、
    前記運転制御部は、前記認識部により認識された前走車両に追従する追従走行を行っている場合において、前記前走車両が通過した走行領域における前記認識部により認識された対象物の状態に基づいて、前記追従走行を停止し、
    前記対象物は、車両が走行する車線の一部または車線を規制するための規制標、または車両の乗員の視線を誘導するための誘導標であり、
    前記認識部は、撮像された撮像画像を学習済モデルに入力することで、前記撮像画像が所定の状態であるか否かを判定し、
    前記運転制御部は、前記撮像画像が所定の状態であると判定された場合に、前記追従走行を停止し、
    前記学習済モデルは、所定の状態の対象物を含む撮像画像が入力された場合に、前記撮像画像が所定の状態であることを示す情報を出力するように学習されたモデルである、
    車両制御装置。
  3. 車両の周辺状況を認識する認識部と、
    前記認識部の認識の結果に基づいて前記車両の速度および操舵を制御する運転制御部と、を備え、
    前記運転制御部は、前記認識部により認識された前走車両に追従する追従走行を行っている場合において、
    前記前走車両が通過した走行領域における前記認識部により認識された対象物の状態が、前記前走車両が通過する直前において前記認識部により認識された対象物の状態と異なる場合、前記追従走行を停止し、
    前記対象物は、車両が走行する車線の一部または車線を規制するための規制標、または車両の乗員の視線を誘導するための誘導標である、
    車両制御装置。
  4. 車両の周辺状況を認識する認識部と、
    前記認識部の認識の結果に基づいて前記車両の速度および操舵を制御する運転制御部と、を備え、
    前記運転制御部は、前記認識部により認識された前走車両に追従する追従走行を行っている場合において、前記前走車両が通過した走行領域における前記認識部により認識された対象物の状態に基づいて、前記追従走行を停止し、
    前記対象物は、車両が走行する車線の一部または車線を規制するための規制標、または車両の乗員の視線を誘導するための誘導標であり、
    前記前走車両が通過した走行領域における前記認識部により認識された対象物の状態は、前記対象物が運動している状態、または前記対象物が位置していた位置から異なる位置に静止している状態である、
    車両制御装置。
  5. 車両の周辺状況を認識する認識部と、
    前記認識部の認識の結果に基づいて前記車両の速度および操舵を制御する運転制御部と、を備え、
    前記運転制御部は、前記認識部により認識された前走車両に追従する追従走行を行っている場合において、前記前走車両が通過した走行領域における前記認識部により認識された対象物の状態に基づいて、前記追従走行を停止し、
    前記対象物は、車両が走行する車線の一部または車線を規制するための規制標、または車両の乗員の視線を誘導するための誘導標であり、
    前記運転制御部は、
    前記車両が走行する道路区画線に基づいて、前記車両の横方向の位置を制御する第1制御と、
    前記前走車両に基づいて、前記車両の横方向の位置を制御する第2制御と、を実行可能であり、
    前記第1制御を実行している場合には、前記前走車両が通過した走行領域における前記認識部により認識された対象物の状態に基づいて前記追従走行を停止せず、
    前記第2制御を実行している場合には、前記前走車両が通過した走行領域における前記認識部により認識された対象物の状態に基づいて前記追従走行を停止する、
    車両制御装置。
  6. 前記第2制御における前記車両が維持する前記車両と前走車両との車間距離は、前記第1制御における前記車両が維持する前記車両と前走車両との車間距離よりも長い、
    請求項5に記載の車両制御装置。
  7. 車両の周辺状況を認識する認識部と、
    前記認識部の認識の結果に基づいて前記車両の速度および操舵を制御する運転制御部と、を備え、
    前記運転制御部は、前記認識部により認識された前走車両に追従する追従走行を行っている場合において、前記前走車両が通過した走行領域における前記認識部により認識された対象物の状態に基づいて、前記追従走行を停止し、
    前記対象物は、車両が走行する車線の一部または車線を規制するための規制標、または車両の乗員の視線を誘導するための誘導標であり、
    前記運転制御部は、
    前記車両の乗員が前記車両の操作子を把持しているか否かに関わらず実行する追従走行を行っている場合において、前記前走車両が通過した走行領域における前記認識部により認識された対象物の状態に基づいて、前記追従走行を停止する場合、前記車両の乗員が前記車両の操作子を把持していることを条件に実行する第3走行制御を実行する、
    車両制御装置。
  8. 車両の周辺状況を認識する認識部と、
    前記認識部の認識の結果に基づいて前記車両の速度および操舵を制御する運転制御部と、を備え、
    前記運転制御部は、前記認識部により認識された前走車両に追従する追従走行を行っている場合において、前記前走車両が通過した走行領域における前記認識部により認識された対象物の状態に基づいて、前記追従走行を停止し、
    前記対象物は、車両が走行する車線の一部または車線を規制するための規制標、または車両の乗員の視線を誘導するための誘導標であり、
    前記運転制御部は、前記対象物の大きさが所定の大きさ以下である場合、前記追従走行を停止しない、
    車両制御装置。
  9. 前記所定の大きさ以下とは、前記車両の車体の下部と道路との距離に基づく大きさである、
    請求項8に記載の車両制御装置。
  10. 前記対象物は、一時的に道路に配置され、前記車両が参照する地図情報に記憶されていない対象物である、
    請求項1から9のうちいずれか1項に記載の車両制御装置。
  11. 前記対象物は、光の反射強度が閾値以上の領域、前記対象物の他の領域よりも所定度合以上光の反射強度が高い領域を有する、またはリフレクターを有する対象物である、
    請求項1から10のうちいずれか1項に記載の車両制御装置。
  12. コンピュータが、
    車両の周辺状況を認識し、
    前記認識の結果に基づいて前記車両の速度および操舵を制御し、
    前記認識された前走車両に追従する追従走行を行っている場合において、前記前走車両が通過した後の走行領域における前記認識された対象物の状態が、前記前走車両が通過する直前において前記認識された対象物の状態とは異なる場合、前記追従走行を停止し、
    前記対象物は、車両が走行する車線の一部または車線を規制するための規制標、または車両の乗員の視線を誘導するための誘導標である、
    車両制御方法。
  13. コンピュータに、
    車両の周辺状況を認識させ、
    前記認識の結果に基づいて前記車両の速度および操舵を制御させ、
    前記認識された前走車両に追従する追従走行を行っている場合において、前記前走車両が通過した後の走行領域における前記認識された対象物の状態が、前記前走車両が通過する直前において前記認識された対象物の状態とは異なる場合、前記追従走行を停止させ、
    前記対象物は、車両が走行する車線の一部または車線を規制するための規制標、または車両の乗員の視線を誘導するための誘導標である、
    プログラム。
JP2019125438A 2019-07-04 2019-07-04 車両制御装置、車両制御方法、およびプログラム Active JP6990675B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019125438A JP6990675B2 (ja) 2019-07-04 2019-07-04 車両制御装置、車両制御方法、およびプログラム
US16/917,995 US11600079B2 (en) 2019-07-04 2020-07-01 Vehicle control device, vehicle control method, and program
CN202010623933.1A CN112172814B (en) 2019-07-04 2020-07-01 Vehicle control device, vehicle control method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019125438A JP6990675B2 (ja) 2019-07-04 2019-07-04 車両制御装置、車両制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2021011151A JP2021011151A (ja) 2021-02-04
JP6990675B2 true JP6990675B2 (ja) 2022-01-12

Family

ID=73919623

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019125438A Active JP6990675B2 (ja) 2019-07-04 2019-07-04 車両制御装置、車両制御方法、およびプログラム

Country Status (2)

Country Link
US (1) US11600079B2 (ja)
JP (1) JP6990675B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6861669B2 (ja) * 2018-06-15 2021-04-21 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US11295615B2 (en) 2018-10-29 2022-04-05 Here Global B.V. Slowdown events
US11100794B2 (en) * 2019-04-15 2021-08-24 Here Global B.V. Autonomous driving and slowdown patterns

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007280132A (ja) 2006-04-07 2007-10-25 Fuji Heavy Ind Ltd 走行誘導障害物検出装置および車両用制御装置
JP2014058229A (ja) 2012-09-18 2014-04-03 Daimler Ag 運転支援装置
WO2018179359A1 (ja) 2017-03-31 2018-10-04 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5062137B2 (ja) 2008-10-21 2012-10-31 トヨタ自動車株式会社 走行制御装置
JP5994755B2 (ja) * 2013-09-06 2016-09-21 トヨタ自動車株式会社 車両走行制御装置
US20170160744A1 (en) * 2015-12-08 2017-06-08 Delphi Technologies, Inc. Lane Extension Of Lane-Keeping System By Ranging-Sensor For Automated Vehicle
JP6294924B2 (ja) * 2016-09-05 2018-03-14 株式会社Subaru 車両の走行制御装置
US10935982B2 (en) * 2017-10-04 2021-03-02 Huawei Technologies Co., Ltd. Method of selection of an action for an object using a neural network
KR102553247B1 (ko) * 2018-04-27 2023-07-07 주식회사 에이치엘클레무브 전방 차량 추종 제어 시 안전성을 향상할 수 있는 차선 유지 보조 시스템 및 방법
JP7020348B2 (ja) * 2018-08-30 2022-02-16 トヨタ自動車株式会社 自車位置推定装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007280132A (ja) 2006-04-07 2007-10-25 Fuji Heavy Ind Ltd 走行誘導障害物検出装置および車両用制御装置
JP2014058229A (ja) 2012-09-18 2014-04-03 Daimler Ag 運転支援装置
WO2018179359A1 (ja) 2017-03-31 2018-10-04 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム

Also Published As

Publication number Publication date
US11600079B2 (en) 2023-03-07
JP2021011151A (ja) 2021-02-04
CN112172814A (zh) 2021-01-05
US20210004615A1 (en) 2021-01-07

Similar Documents

Publication Publication Date Title
JP6972294B2 (ja) 車両制御システム、車両制御方法、およびプログラム
CN110001634B (zh) 车辆控制装置、车辆控制方法及存储介质
JP6788751B2 (ja) 車両制御装置、車両制御方法、およびプログラム
CN110239549B (zh) 车辆控制装置、车辆控制方法及存储介质
JP7043279B2 (ja) 車両制御システム、車両制御方法、およびプログラム
JP2019128612A (ja) 車両制御装置、車両制御方法、およびプログラム
JP7112374B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP7000202B2 (ja) 車両制御システム、車両制御方法、およびプログラム
JP6990675B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP2021049872A (ja) 車両制御装置、車両制御方法、およびプログラム
CN110949376A (zh) 车辆控制装置、车辆控制方法及存储介质
US11827246B2 (en) Vehicle control device, vehicle control method, and storage medium
JP7286691B2 (ja) 判定装置、車両制御装置、判定方法、およびプログラム
JP2021015344A (ja) 車両制御装置、車両制御方法、およびプログラム
JP2022096236A (ja) 車両制御装置、車両制御方法、及びプログラム
US20210402998A1 (en) Control device and control method
CN115140086A (zh) 车辆控制装置、车辆控制方法及存储介质
CN115140078A (zh) 驾驶支援装置、驾驶支援方法及存储介质
CN114506316A (zh) 车辆控制装置、车辆控制方法以及存储介质
JP2022088857A (ja) 車両制御装置、車両制御方法、およびプログラム
JP6858110B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP2021160399A (ja) 車両制御装置、車両制御方法、およびプログラム
CN112141097A (zh) 车辆控制装置、车辆控制方法及存储介质
CN112172814B (en) Vehicle control device, vehicle control method, and storage medium
JP7048832B1 (ja) 車両制御装置、車両制御方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210506

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211007

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211007

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20211014

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20211019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211206

R150 Certificate of patent or registration of utility model

Ref document number: 6990675

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150