JP6558356B2 - 自動運転システム - Google Patents

自動運転システム Download PDF

Info

Publication number
JP6558356B2
JP6558356B2 JP2016249578A JP2016249578A JP6558356B2 JP 6558356 B2 JP6558356 B2 JP 6558356B2 JP 2016249578 A JP2016249578 A JP 2016249578A JP 2016249578 A JP2016249578 A JP 2016249578A JP 6558356 B2 JP6558356 B2 JP 6558356B2
Authority
JP
Japan
Prior art keywords
information
automatic driving
timing
driving system
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016249578A
Other languages
English (en)
Other versions
JP2018103667A (ja
Inventor
竜太 橋本
竜太 橋本
義徳 渡邉
義徳 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2016249578A priority Critical patent/JP6558356B2/ja
Priority to US15/824,674 priority patent/US10761540B2/en
Publication of JP2018103667A publication Critical patent/JP2018103667A/ja
Application granted granted Critical
Publication of JP6558356B2 publication Critical patent/JP6558356B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control

Description

本発明は、車両の自動運転技術に関する。特に、本発明は、自動運転システムによる走行制御の提案及び実行に関する。
特許文献1は、自動運転システムによるゾーンドライビングに関する技術を開示している。当該技術において、道路図(roadgraph)は、特定のルールと関連付けられたゾーンを含んでいる。車両がゾーンに接近すると、自動運転システムは、ゾーンへの接近をドライバに通知し、特定のルールに応じたコントロール(操舵、加減速)を行うようドライバに要求する。
特表2013−544695号公報
特許文献1に開示されている自動運転システムは、車両がゾーンに接近すると、ドライバに対して要求を行う。このとき、自動運転システムは、道路図の情報を参照することによって、ゾーンへの接近を検出する。よって、自動運転システムは、ゾーンへの接近をドライバよりも早く検出することができる。この場合、自動運転システムは、ドライバがゾーンを認知するよりも前のタイミングで、ドライバに対して要求を行う可能性がある。そのように早いタイミングで要求が行われると、まだゾーンを認知していないドライバは、違和感や不安感を感じる。
上記の観点をより一般化すれば、次の通りである。すなわち、ドライバ(人間)と自動運転システムとでは、情報量、認知速度、及び判断速度の全てが異なっている。自動運転システムは、ドライバと比較して、より多くの情報を把握しており、また、より速く認知及び判断を行うことができる。よって、自動運転システムが車両の前方のイベントを認知しても、ドライバの方はそのイベントをまだ認知していない可能性が高い。また、自動運転システムがそのイベントに対処する走行制御を提案あるいは実行しても、ドライバの方はその走行制御の必要性を判断できる段階に達していない可能性が高い。従って、自動運転システムが決定したタイミングで走行制御の提案あるいは実行がなされると、ドライバは、違和感や不安感を感じることになる。このことは、自動運転システムに対する信頼の低下につながる。
本発明の1つの目的は、自動運転システムが走行制御を提案あるいは実行する際に、ドライバの違和感及び不安感を軽減することができる技術を提供することにある。
第1の発明は、自動運転システムを提供する。
自動運転システムは、
車両の運転環境を示す運転環境情報を取得する情報取得装置と、
運転環境情報に基づいて、車両の自動運転を制御する自動運転制御装置と
を備える。
車両の前方に存在し、且つ、自動運転制御装置が車両の走行状態を変化させる原因となるイベントは、前方イベントである。
自動運転制御装置は、
運転環境情報に基づいて前方イベントを検出するイベント検出処理と、
車両のドライバが前方イベントを視認可能な視認タイミングを推定する視認タイミング推定処理と、
前方イベントに応じて走行状態を変化させる走行制御を、視認タイミング以降に提案あるいは実行する走行制御処理と
を行う。
第2の発明は、第1の発明において次の特徴を有する。
運転環境情報は、交通ルールを位置と関連付けて示す交通ルール情報を含む。
前方イベントは、交通ルール情報に基づいて検出される交通ルールの変化を含む。
第3の発明は、第1又は第2の発明において次の特徴を有する。
運転環境情報は、地図上のレーンに関するレーン情報を含む。
前方イベントは、レーン情報に基づいて検出される車線属性の変化、車線増加、車線減少、合流、分岐のうち少なくとも1つを含む。
第4の発明は、第1から第3の発明のいずれか1つにおいて次の特徴を有する。
運転環境情報は、車両の外部のシステムから配信される配信情報を含む。
前方イベントは、配信情報に基づいて検出される工事区間、事故車両、障害物のうち少なくとも1つを含む。
第5の発明は、第1から第4の発明のいずれか1つにおいて次の特徴を有する。
情報取得装置は、車両の周辺の状況を撮影するカメラを含む。
運転環境情報は、カメラによって得られた撮像情報を含む。
視認タイミング推定処理は、
撮像情報に基づいて、前方イベントを示すアイテムを認識する処理と、
アイテムを認識した第1タイミングあるいは第1タイミングより後のタイミングを、視認タイミングとして推定する処理と
を含む。
第6の発明は、第5の発明において次の特徴を有する。
視認タイミングは、第1タイミングから一定時間後である。
第7の発明は、第5の発明において次の特徴を有する。
視認タイミングは、第1タイミングから遅延時間だけ後である。
自動運転制御装置は、遅延時間を運転環境に応じて可変に設定する。
第8の発明は、第7の発明において次の特徴を有する。
運転環境は、周辺車両の数を含む。
遅延時間は、周辺車両の数が多くなるにつれてより大きくなる。
第9の発明は、第7の発明において次の特徴を有する。
運転環境は、天候あるいは時間帯に依存する視認性を含む。
遅延時間は、視認性が低くなるにつれてより大きくなる。
本発明に係る自動運転システムは、前方イベントを事前に検出すると、ドライバがその前方イベントを視認可能な視認タイミングを推定する。そして、自動運転システムは、前方イベントに応じて走行状態を変化させる走行制御を、推定した視認タイミング以降に提案あるいは実行する。これにより、ドライバの違和感及び不安感を軽減することが可能となる。このことは、自動運転システムに対する信頼の向上に寄与する。
本発明の実施の形態に係る自動運転システムの概要を説明するための概念図である。 本発明の実施の形態に係る自動運転システムの構成例を示すブロック図である。 本発明の実施の形態に係る自動運転システムの制御装置の機能構成例を示すブロック図である。 本発明の実施の形態に係る自動運転システムによる情報取得処理を説明するためのブロック図である。 本発明の実施の形態に係る自動運転システムによる自動運転制御処理を説明するためのブロック図である。 本発明の実施の形態に係る自動運転制御処理を示すフローチャートである。 本発明の実施の形態における前方イベントの様々な例を示す概念図である。 本発明の実施の形態に係る視認タイミング推定処理の例を示すフローチャートである。 本発明の実施の形態に係る視認タイミング推定処理の例を説明するためのブロック図である。 本発明の実施の形態における遅延マップの設計例を説明するための概念図である。 本発明の実施の形態における遅延マップの設計例を説明するための概念図である。
添付図面を参照して、本発明の実施の形態を説明する。
1.概要
図1は、本実施の形態に係る自動運転システムの概要を説明するための概念図である。自動運転システムは、車両1に搭載されており、車両1の自動運転を制御する。
図1に示される例において、車両1は、あるタイミングTAにおいて位置XAを走行している。車両1の前方には先行車両2が存在しているが、位置XAでは車線変更(追い越し)は禁止されている。位置XAよりも前方の位置XCにおいて、交通ルールが変わり、車線変更禁止が解除される。ここで、位置XAにおける車両1のドライバは、位置XCにおける交通ルールの変化を視認することができないとする。例えば、位置XAと位置XCとの間に、ドライバの視界を遮る遮断構造INTが存在している。遮断構造INTとしては、カーブ、トンネル、登り坂、先行車、構造物などが例示される。
その一方で、自動運転システムは、位置XAにおいても、前方の位置XCにおける交通ルールの変化を検出(認識)することができる場合がある。例えば、自動運転システムは、車両1の前方のレーン及び交通ルールに関する情報を取得し、その情報に基づいて位置XCにおける交通ルールの変化を前もって検出することができる。交通ルールの変化を検出すると、自動運転システムは、その変化に応じた走行制御をドライバに提案することができる。図1に示される例では、自動運転システムは、「この先で先行車両2を追い越すこと」を、タイミングTA(位置XA)の段階で提案することができる。
しかしながら、タイミングTAの段階では、車両1のドライバは、前方の位置XCにおける交通ルールの変化をまだ認知していない。よって、タイミングTAで「追い越し」が提案されても、ドライバはその妥当性を判断することはできない。このような自動運転システムによる先走った提案に対し、ドライバは、違和感や不安感を感じる。このことは、自動運転システムに対する信頼の低下につながる。
そこで、本実施の形態に係る自動運転システムは、ドライバが前方の位置XCにおける交通ルールの変化を“視認”することができるタイミングを考慮する。図1に示される例では、車両1は、遮断構造INTを通過し、タイミングTBにおいて位置XCの手前の位置XBに到達する。この位置XBにおいて、車両1のドライバは、交通ルールの変化を示す交通標識3、あるいは、区画線4の変化を視認することができる。つまり、ドライバは、タイミングTBにおいて、交通ルールの変化を視認することができる。このタイミングTBは、以下「視認タイミングTB」と呼ばれる。
図1に示される例では、自動運転システムは、ドライバが交通標識3あるいは区画線4の変化を視認可能な視認タイミングTBを推定する。そして、自動運転システムは、推定した視認タイミングTB以降に「追い越し」の提案を行う。言い換えれば、自動運転システムは、推定した視認タイミングTBまでは「追い越し」の提案を行わない。これにより、ドライバが自動運転システムからの提案に違和感及び不安感を感じることが抑制される。ドライバは、自動運転システムからの提案に妥当性を感じる。その結果、自動運転システムに対するドライバの信頼が向上する。
尚、図1に示される例は、あくまで一例である。上述のコンセプトは、「交通ルールの変化」だけでなく、他のイベントにも適用可能である。例えば、車両1の前方において「車線の減少」が存在する場合、自動運転システムは、その「車線の減少」を事前に検出し、車線変更を提案あるいは実行する可能性がある。他の例として、車両1の前方において「工事区間」が存在する場合、自動運転システムは、その「工事区間」を事前に検出し、車線変更を提案あるいは実行する可能性がある。いずれの場合であっても、視認タイミングTBまで車線変更を提案あるいは実行しないことによって、ドライバの違和感及び不安感を軽減することが可能である。
また、自動運転システムが提案あるいは実行するのは、車線変更に限られない。例えば、車両1の前方において制限速度が変化する場合を考える。この場合、自動運転システムは、その「制限速度の変化」を事前に検出し、加速あるいは減速を提案する可能性がある。また、自動運転システムは、車線変更の予備動作として、ウィンカー点滅を実行することも考えられる。
一般化すれば、自動運転システムは、車両1の前方に存在するイベントを検出すると、検出したイベントに応じた走行制御を行うことを計画する。ここで、「走行制御」とは、車両1の走行状態を変化させる制御であり、操舵制御、加速制御、減速制御、ウィンカー点滅を含む。車両1の前方に存在し、且つ、自動運転システムが走行制御を行う原因となるイベントは、以下「前方イベント」と呼ばれる。前方イベントとしては、上述の「車線変更禁止の解除」、「制限速度の変化」、「車線の減少」、「工事区間」だけでなく、様々な例が考えられる。前方イベントの様々な例は後述される。
本実施の形態に係るコンセプトは、次のように要約することができる。すなわち、ドライバ(人間)と自動運転システムとでは、情報量、認知速度、及び判断速度の全てが異なっている。自動運転システムは、ドライバと比較して、より多くの情報を把握しており、また、より速く認知及び判断を行うことができる。このような差異を考慮し、本実施の形態に係る自動運転システムは、前方イベントを事前に検出すると、ドライバがその前方イベントを視認可能な視認タイミングTBを推定する。そして、自動運転システムは、前方イベントに応じて走行状態を変化させる走行制御を、推定した視認タイミングTB以降に提案あるいは実行する。これにより、ドライバの違和感及び不安感を軽減することが可能となる。このことは、自動運転システムに対する信頼の向上に寄与する。
以下、本実施の形態に係る自動運転システムについて更に詳しく説明する。
2.自動運転システムの構成例
図2は、本実施の形態に係る自動運転システム100の構成例を示すブロック図である。自動運転システム100は、車両1に搭載されており、車両1の自動運転を制御する。より詳細には、自動運転システム100は、GPS(Global Positioning System)受信器10、地図データベース20、センサ群30、通信装置40、HMI(Human Machine Interface)ユニット50、走行装置60、及び制御装置70を備えている。
GPS受信器10は、複数のGPS衛星から送信される信号を受信し、受信信号に基づいて車両1の位置及び姿勢(方位)を算出する。GPS受信器10は、算出した情報を制御装置70に送る。
地図データベース20には、地図上の各レーンの境界位置を示す情報があらかじめ記録されている。各レーンの境界位置は、複数の点あるいは線の集合で表される。また、地図データベース20には、各位置における交通ルールに関する情報が含まれていてもよい。この地図データベース20は、所定の記憶装置に格納されている。
センサ群30は、車両1の周辺の状況、車両1の走行状態、ドライバの状態等を検出する。センサ群30は、少なくとも、車両1の周辺の状況を撮影するカメラ30Cを含んでいる。その他、センサ群30としては、ライダー(LIDAR: Laser Imaging Detection and Ranging)、レーダー、輝度センサ、車速センサ、ドライバモニタ等が例示される。ライダーは、光を利用して車両1の周囲の物標を検出する。レーダーは、電波を利用して車両1の周囲の物標を検出する。輝度センサは、車両1の位置における輝度を検出する。車速センサは、車両1の速度を検出する。ドライバモニタは、ドライバの状態を検出する。センサ群30は、検出した情報を制御装置70に送る。
通信装置40は、V2X通信(車車間通信および路車間通信)を行う。具体的には、通信装置40は、他の車両との間でV2V通信(車車間通信)を行う。また、通信装置40は、外部のシステム(インフラ)との間でV2I通信(路車間通信)を行う。V2X通信を通して、通信装置40は、車両1の周囲の環境に関する情報を取得することができる。通信装置40は、取得した情報を制御装置70に送る。
HMIユニット50は、ドライバに情報を提供し、また、ドライバから情報を受け付けるためのインタフェースである。例えば、HMIユニット50は、入力装置、表示装置、スピーカ、及びマイクを備えている。入力装置としては、タッチパネル、キーボード、スイッチ、ボタンが例示される。ドライバは、入力装置を用いて、情報をHMIユニット50に入力することができる。HMIユニット50は、ドライバから入力された情報を制御装置70に送る。
走行装置60は、操舵装置、駆動装置、制動装置、トランスミッション等を含んでいる。操舵装置は、車輪を転舵する。駆動装置は、駆動力を発生させる動力源である。駆動装置としては、エンジンや電動機が例示される。制動装置は、制動力を発生させる。
制御装置70は、車両1の自動運転を制御する自動運転制御を行う。典型的には、制御装置70は、プロセッサ、メモリ、及び入出力インタフェースを備えるマイクロコンピュータである。制御装置70は、ECU(Electronic Control Unit)とも呼ばれる。制御装置70は、入出力インタフェースを通して各種情報を受け取る。そして、制御装置70は、受け取った情報に基づいて自動運転制御を行う。具体的には、制御装置70は、車両1の走行計画を立案し、その走行計画に沿って車両1が走行するよう走行装置60を制御する。
図3は、本実施の形態に係る制御装置70の機能構成例を示すブロック図である。制御装置70は、機能ブロックとして、情報取得部71、イベント検出部72、視認タイミング推定部73、及び走行制御部74を備えている。これら機能ブロックは、制御装置70のプロセッサがメモリに格納された制御プログラムを実行することにより実現される。制御プログラムは、コンピュータ読み取り可能な記録媒体に格納されていてもよい。
情報取得部71は、自動運転制御に必要な情報を取得する「情報取得処理」を行う。イベント検出部72、視認タイミング推定部73、及び走行制御部74は、車両1の自動運転を制御する「自動運転制御処理」を行う。以下、本実施の形態における情報取得処理及び自動運転制御処理のそれぞれについて詳しく説明する。
3.情報取得処理
図4は、本実施の形態に係る情報取得処理を説明するためのブロック図である。情報取得処理において、情報取得部71は、自動運転制御処理に必要な情報を取得する。尚、情報取得処理は、一定サイクル毎に繰り返し実行される。
より詳細には、情報取得部71は、GPS受信器10から、車両1の現在位置及び姿勢(方位)を示す位置姿勢情報81を取得する。
また、情報取得部71は、地図データベース20からレーン情報82を生成する。レーン情報82は、地図上のレーンに関する情報である。具体的には、レーン情報82は、各レーンの配置(位置、形状、傾き)及び属性(登坂車線、追越車線等)を示している。レーン情報82に基づいて、車線属性、車線増加、車線減少、合流、分岐、交差等を把握することができる。
また、情報取得部71は、センサ群30によって検出された情報に基づいて、センサ検出情報83を生成する。例えば、センサ検出情報83は、カメラ30Cによって撮影された撮像情報83Cを含んでいる。撮像情報83Cは、車両1の周囲の周辺車両、交通標識、区画線等の情報を含んでいる。よって、撮像情報83Cを周知の手法で画像解析することによって、周辺車両、交通標識、区画線等を認識することができる。
より一般化すると、センサ検出情報83は、車両1の周囲の物標に関する物標情報を含んでいる。車両1の周囲の物標は、移動物標と静止物標を含む。移動物標としては、周辺車両、バイク、自転車、歩行者などが例示される。移動物標に関する情報は、移動物標の位置、速度、及びサイズを含む。静止物標としては、交通標識、区画線、路側物、障害物などが例示される。静止物標に関する情報は、静止物標の位置及びサイズを含む。このような物標情報は、カメラ30C、ライダー、レーダー等によって得られる検出情報に基づいて生成される。
更に、センサ検出情報83は、車速センサによって検出される車速を含んでいる。更に、センサ検出情報83は、輝度センサによって検出される輝度を含んでいてもよい。更に、センサ検出情報83は、ドライバモニタによって検出されるドライバの状態を含んでいてもよい。
また、情報取得部71は、通信装置40による通信を通して、配信情報84を受け取る。例えば、配信情報84は、車両1の外部のシステム(インフラ)から配信される情報である。配信情報84としては、天気情報、工事区間情報、事故情報、交通規制情報などが例示される。
また、情報取得部71は、HMIユニット50を通して、ドライバ情報85を受け取る。ドライバ情報85としては、ドライバの年齢や運転歴が例示される。ドライバ情報85は、ドライバが選択した各種設定を含んでいてもよい。ドライバは、HMIユニット50の入力装置を用いることによって、ドライバ情報85を自動運転システム100に予め登録しておくことができる。
また、情報取得部71は、交通ルール情報86を取得する。交通ルール情報86は、交通ルールを位置と関連付けて示す情報である。例えば、地図データベース20に地図と共に交通ルールが登録されている場合、情報取得部71は、地図データベース20から交通ルール情報86を取得することができる。あるいは、車両1の外部のシステムが交通ルール情報86を配信している場合、情報取得部71は、通信装置40を介して交通ルール情報86を取得することができる。
以上に例示された位置姿勢情報81、レーン情報82、センサ検出情報83、撮像情報83C、配信情報84、ドライバ情報85、及び交通ルール情報86は全て、車両1の運転環境を示している。そのような車両1の運転環境を示す情報は、以下「運転環境情報80」と呼ばれる。すなわち、運転環境情報80は、位置姿勢情報81、レーン情報82、センサ検出情報83、撮像情報83C、配信情報84、ドライバ情報85、及び交通ルール情報86を含んでいる。
制御装置70の情報取得部71は、運転環境情報80を取得する機能を有していると言える。図4に示されるように、この情報取得部71は、GPS受信器10、地図データベース20、センサ群30、通信装置40、及びHMIユニット50と共に、「情報取得装置110」を構成している。情報取得装置110は、自動運転システム100の一部として、上述の情報取得処理を行う。
4.自動運転制御処理
図5は、本実施の形態に係る自動運転制御処理を説明するためのブロック図である。図5に示されるように、イベント検出部72、視認タイミング推定部73、走行制御部74、HMIユニット50、及び走行装置60は、車両1の自動運転を制御する「自動運転制御装置120」を構成している。自動運転制御装置120は、自動運転システム100の一部として、上述の運転環境情報80に基づく自動運転制御処理を行う。
図6は、本実施の形態に係る自動運転制御処理を示すフローチャートである。図5及び図6を参照して、本実施の形態に係る自動運転制御処理を説明する。
4−1.イベント検出処理(ステップS10)
イベント検出部72は、運転環境情報80に基づいて、前方イベントが存在するか否かを判定する。つまり、イベント検出部72は、前方イベントの検出を行う。ここで、「前方イベント」とは、車両1の前方に存在し、且つ、自動運転制御装置120が走行制御を行う原因となるイベントである。「走行制御」とは、車両1の走行状態を変化させる制御であり、操舵制御、加速制御、減速制御、ウィンカー点滅を含む。
図7は、前方イベントの様々な例を示している。例えば、前方イベントは、交通ルールの変化である。交通ルールの変化としては、車線変更禁止の解除、制限速度の変化、などが挙げられる。「車線変更禁止の解除」の場合の走行制御としては、車線変更のための操舵制御、加減速制御、あるいは、車線変更の予備動作としてのウィンカー点滅が考えられる。「制限速度の変化」の場合の走行制御としては、加速制御あるいは減速制御が考えられる。イベント検出部72は、交通ルール情報86に基づいて、このような交通ルールの変化をドライバよりも先に検出(認知)することができる。
前方イベントの他の例は、車線変更が必要なイベントである。そのようなイベントの1つとして、車線属性の変化が考えられる。車線属性とは、登坂車線、追越車線といった区分である。一般的に、自動運転システムは、登坂車線や追越車線を避けて、一般車線を選択する傾向にある。従って、車両1の前方において車線属性が変化する場合、あらかじめ車線変更を行うことが必要となる可能性がある。その他、車線増加、車線減少、分岐、合流の場合にも、車線変更が必要となる可能性がある。本例の場合の走行制御は、車線変更のための操舵制御、加減速制御、あるいは、車線変更の予備動作としてのウィンカー点滅である。イベント検出部72は、レーン情報82に基づいて、これら前方イベントをドライバよりも先に検出(認知)することができる。
前方イベントの更に他の例は、回避すべきイベントである。そのようなイベントとしては、工事区間、事故車両、障害物などが考えられる。これらイベントを回避するために、あらかじめ車線変更を行うことが必要である。よって、本例の場合の走行制御は、車線変更のための操舵制御、加減速制御、あるいは、車線変更の予備動作としてのウィンカー点滅である。イベント検出部72は、配信情報84(工事区間情報、事故情報、交通規制情報)に基づいて、これら前方イベントをドライバよりも先に検出(認知)することができる。
前方イベントの内容は、あらかじめ決定され、制御装置70のメモリに記録される。記録される前方イベントは複数であってもよい。その場合、「前方イベントを検出する」とは、複数の前方イベントのうち少なくとも1つを検出することを意味する。イベント検出部72は、メモリにあらかじめ記録された情報と運転環境情報80とに基づいて、前方イベントが存在するか否かを判定することができる。
イベント検出部72が前方イベントを検出した場合(ステップS10;Yes)、処理はステップS20に進む。一方、イベント検出部72が前方イベントを検出しない場合(ステップS10;No)、今回のサイクルにおける処理は終了する。
4−2.視認タイミング推定処理(ステップS20)
視認タイミング推定部73は、ドライバが上記ステップS10において検出された前方イベントを視認可能な視認タイミングTBを推定する。この推定の方針としては、様々な例が考えられる。以下、推定方針の様々な例を説明する。
4−2−1.第1の例
図1で示された例において、交通標識3及び区画線4の変化は、交通ルールの変化を示している。車両1のドライバは、交通標識3あるいは区画線4の変化を発見(視認)することによって、交通ルールの変化を認識する。
その一方で、自動運転システム100は、車両1の周辺の状況を光学的に撮影するカメラ30Cを備えている。カメラ30Cによって撮影された撮像情報83Cを画像解析することによって、交通標識3及び区画線4の変化を認識することができる。すなわち、自動運転システム100のカメラ30Cは、ドライバの眼に相当している。よって、撮像情報83Cに基づいて交通標識3あるいは区画線4の変化を認識するタイミングは、ドライバの視認タイミングTBに近いと考えられる。
より一般化して、前方イベントを示す「アイテム」という用語を定義する。アイテムとは、前方イベントを示唆する物体、変化、あるいは形状であり、光学的に検出可能である。例えば、前方イベントが「交通ルールの変化(図7参照)」の場合、アイテムは、交通ルールの変化を示す交通標識3、あるいは、区画線4の変化である。前方イベントが「車線変更が必要なイベント(図7参照)」の場合、アイテムは、車線属性、分岐、合流等を示す交通標識3、区画線4の変化、あるいは、区画線4の形状である。前方イベントが「工事区間」の場合、アイテムは、工事区間を示すパイロンや看板等である。前方イベントが「事故車両」あるいは「障害物」の場合、アイテムは、事故車両あるいは障害物そのものである。
視認タイミング推定部73は、カメラ30Cによって得られた撮像情報83Cに基づいて、前方イベントを示すアイテムを認識する。視認タイミング推定部73がアイテムを認識したタイミングは、以下「第1タイミング」と呼ばれる。上述の通り、カメラ30Cはドライバの眼に相当するため、第1タイミングはドライバの視認タイミングTBに近い。よって、視認タイミング推定部73は、第1タイミングを視認タイミングTBとして推定する。
4−2−2.第2の例
自動運転システム100は同時に多数の物標を認識することができるが、ドライバは同時に多数の物標を認識することはできない。また、ドライバが前方イベントとは異なる方向を視ている場合もある。これらのことから、視認タイミングTBは第1タイミングよりも遅れる傾向にある。そこで、第2の例では、第1タイミングよりも後のタイミングが視認タイミングTBとして設定(推定)される。
図8は、第2の例に係る視認タイミング推定処理(ステップS20)を示すフローチャートである。まず、視認タイミング推定部73は、撮像情報83Cに基づいて、前方イベントを示すアイテムを認識する(ステップS21)。このステップS21は、上述の第1の例の場合と同じである。
続いて、視認タイミング推定部73は、遅延時間を取得する(ステップS22)。例えば、遅延時間は、一定時間である。この場合、その一定時間を示す設定情報は、制御装置70のメモリにあらかじめ記録される。視認タイミング推定部73は、メモリから設定情報を読み出し、一定時間を取得する。
視認タイミング推定部73は、第1タイミングから遅延時間だけ後のタイミングを、視認タイミングTBとして決定(推定)する(ステップS23)。第2の例によれば、視認タイミングTBの典型的な傾向も考慮されるため、視認タイミング推定処理の精度が向上する。
4−2−3.第3の例
第3の例では、第1タイミングから視認タイミングTBまでの遅延時間は、一定ではなく、可変に設定される。例えば、車両1の周囲に周辺車両が多数存在する場合を考える。この場合、ドライバは、周辺車両に気を取られ、アイテムを発見するタイミングが遅れる可能性がある。つまり、車両1の運転環境が視認タイミングTBに影響を及ぼす。そこで、第3の例では、視認タイミング推定部73は、上記ステップS22における遅延時間を、運転環境に応じて可変に設定する。これにより、視認タイミング推定処理の精度が更に向上する。
図9は、第3の例に係る視認タイミング推定処理(ステップS20)を説明するためのブロック図である。視認タイミング推定部73は、遅延マップ75を用いて遅延時間を算出する(ステップS22)。遅延マップ75は、入力パラメータと遅延時間との対応関係を示すマップであり、制御装置70のメモリに格納されている。入力パラメータは、運転環境情報80から得られる運転環境を示すパラメータである。視認タイミング推定部73は、運転環境情報80と遅延マップ75を用いることによって、遅延時間を取得することができる。
図10は、遅延マップ75の設計例を示している。ドライバがアイテムを発見しにくいほど、遅延時間は長くなる。アイテムの発見しやすさは、入力パラメータ(運転環境)に依存する。図10には、特に外的環境に関連する入力パラメータの例が示されている。
1つの例として、入力パラメータは「周辺車両の数」である。ここで、周辺車両の数は、車両1の周辺の一定範囲内に存在する周辺車両の数である。周辺車両の数は、センサ検出情報83から得られる。周辺車両が多くなると、ドライバはそれぞれの周辺車両の挙動を注視する必要があるため、アイテムを発見するタイミングが遅れる。また、周辺車両が多くなると、死角が増えて、周囲の状況を確認しづらくなる。よって、周辺車両の数が多くなるにつれて遅延時間が大きくなるように、遅延マップ75は設計される。
他の例として、入力パラメータは「交通標識3の数」である。交通標識3の数は、センサ検出情報83(撮像情報83C)から得られる。交通標識3には、前方イベント(例:交通ルールの変化)と関係ないものも含まれる。よって、交通標識3の数が多くなると、前方イベントを示す交通標識3を発見するまでの時間が長くなる。また、交通標識3の数が多くなると、ドライバは交通標識3に気を取られ、交通標識3以外のアイテムを発見するタイミングも遅れる。よって、交通標識3の数が多くなるにつれて遅延時間が大きくなるように、遅延マップ75は設計される。
更に他の例として、入力パラメータは「区画線4の視認性」である。区画線4の視認性は、センサ検出情報83(撮像情報83C)から得られる。例えば、区画線4がかすれているほど、区画線4の視認性は低くなる。区画線4の視認性が低い場合、ドライバは区画線4の変化を視認しにくくなる。よって、視認性が低くなるにつれて遅延時間が大きくなるように、遅延マップ75は設計される。
更に他の例として、入力パラメータは「天候」である。天候は、配信情報84(天気情報)あるいはセンサ検出情報83(輝度センサによって検出される輝度)から得られる。晴れや曇りの場合、視認性は高く、雨や雪の場合、視認性は低い。視認性が低くなると、ドライバはアイテムを視認しにくくなる。よって、視認性が低くなるにつれて遅延時間が大きくなるように、遅延マップ75は設計される。
更に他の例として、入力パラメータは「時間帯」である。時間帯は、時間情報あるいはセンサ検出情報83(輝度センサによって検出される輝度)に基づいて得られる。昼間、視認性は高く、夜間、視認性は低い。視認性が低くなると、ドライバはアイテムを視認しにくくなる。よって、視認性が低くなるにつれて遅延時間が大きくなるように、遅延マップ75は設計される。
更に他の例として、入力パラメータは「異常事象」である。ここで、異常事象とは、普段は存在しない事象である。例えば、異常事象として、工事区間、事故車両、故障車両等が挙げられる。このような異常事象は、配信情報84(工事区間情報、事故情報、交通規制情報)、あるいは、センサ検出情報83から得られる。異常事象が存在しているとき、ドライバは異常事象に気を取られるため、アイテムを発見するタイミングが遅れる。よって、異常事象が存在するときは遅延時間が大きくなるように、遅延マップ75は設計される。
図11は、遅延マップ75の更に他の設計例を示している。図11には、特に内的環境に関連する入力パラメータの例が示されている。
1つの例として、入力パラメータは「正面注視時間」である。ここで、正面注視時間とは、ドライバが正面を向き始めてからの経過時間である。この正面注視時間は、センサ検出情報83(ドライバモニタによって検出されるドライバの状態)から得られる。正面注視時間が短い場合、ドライバは前方の状況を十分に把握しておらず、アイテムを発見するタイミングが遅れる。よって、正面注視時間が短くなるにつれて遅延時間が大きくなるように、遅延マップ75は設計される。
他の例として、入力パラメータは「運転経過時間」である。ここで、運転経過時間とは、運転開始(エンジン始動あるいは車両1の発進)からの経過時間である。この運転経過時間は、車両1の内部情報から得られる。運転経過時間が長くなるほど、ドライバの注意力は散漫になり、アイテムを発見するタイミングが遅れる。よって、運転経過時間が長くなるにつれて遅延時間が大きくなるように、遅延マップ75は設計される。
更に他の例として、入力パラメータは「ドライバの年齢」である。ドライバの年齢は、ドライバ情報85から得られる。高齢者の場合、認識速度が低くなるため、アイテムを発見するタイミングが遅れる。よって、年齢が高いほど遅延時間が大きくなるように、遅延マップ75は設計される。
更に他の例として、入力パラメータは「ドライバの運転歴」である。ドライバの運転歴は、ドライバ情報85から得られる。運転歴が短い場合、周囲の状況を認識する時間が長くなる傾向にある。よって、運転歴が短いほど遅延時間が大きくなるように、遅延マップ75は設計される。
更に他の例として、入力パラメータは「ドライバ設定」である。ドライバ設定は、ドライバ情報85から得られる。ドライバは、HMIユニット50を用いて、「余裕重視」か「素早さ重視」のいずれかを選択する。「余裕重視」の場合に遅延時間が大きくなり、「素早さ重視」の場合に遅延時間が小さくなるように、遅延マップ75は設計される。
遅延マップ75に対する入力パラメータとして、以上に例示された入力パラメータのうち少なくとも1つが用いられる。任意の複数の入力パラメータの組み合わせが用いられてもよい。尚、入力パラメータは、少なくとも第1タイミングにおいて取得することができる。
4−3.走行制御処理(ステップS30)
走行制御部74は、ステップS20において推定された視認タイミングTB以降に、走行制御を提案あるいは実行する。上述の通り、走行制御とは、ステップS10において検出された前方イベントに応じて車両1の走行状態を変化させる制御である。走行制御としては、操舵制御、加速制御、減速制御、ウィンカー点滅が挙げられる。
走行制御部74は、視認タイミングTBにおいて、走行制御を提案あるいは実行してもよい。但し、車両1の周囲の状況によっては、視認タイミングTBにおいて走行制御を実行できない可能性もある。例えば、車両1の横に周辺車両が存在する場合、直ぐに車線変更を実行することはできない。その場合、走行制御部74は、視認タイミングTBよりも後に車線変更を実行する。重要なことは、視認タイミングTBまでは、走行制御の提案あるいは実行を行わないことである。
走行制御をドライバに提案する場合、走行制御部74は、HMIユニット50を用いる。具体的には、走行制御部74は、HMIユニット50の表示装置及びスピーカの少なくとも一方を通して、ドライバに走行制御を提案する。ドライバは、HMIユニット50の入力装置及びマイクの少なくとも一方を用いて、提案を承認あるいは否認する。ドライバが提案を承認した場合、走行制御部74は、走行制御を実行する。
走行制御を実行する際、走行制御部74は、車両1の走行計画(運動計画)を作成する。そして、走行制御部74は、走行計画にそって車両1が走行するように走行装置60を適宜作動させる。
5.まとめ
ドライバ(人間)と自動運転システム100とでは、情報量、認知速度、及び判断速度の全てが異なっている。自動運転システム100は、ドライバと比較して、より多くの情報を把握しており、また、より速く認知及び判断を行うことができる。このような差異を考慮し、本実施の形態に係る自動運転システム100は、前方イベントを事前に検出すると、ドライバがその前方イベントを視認可能な視認タイミングTBを推定する。そして、自動運転システム100は、前方イベントに応じて走行状態を変化させる走行制御を、推定した視認タイミングTB以降に提案あるいは実行する。これにより、ドライバの違和感及び不安感を軽減することが可能となる。このことは、自動運転システム100に対する信頼の向上に寄与する。
1 車両
2 先行車両
3 交通標識
4 区画線
10 GPS受信器
20 地図データベース
30 センサ群
30C カメラ
40 通信装置
50 HMIユニット
60 走行装置
70 制御装置
71 情報取得部
72 イベント検出部
73 視認タイミング推定部
74 走行制御部
75 遅延マップ
80 運転環境情報
81 位置姿勢情報
82 レーン情報
83 センサ検出情報
83C 撮像情報
84 配信情報
85 ドライバ情報
86 交通ルール情報
100 自動運転システム
110 情報取得装置
120 自動運転制御装置

Claims (9)

  1. 車両の運転環境を示す運転環境情報を取得する情報取得装置と、
    前記運転環境情報に基づいて、前記車両の自動運転を制御する自動運転制御装置と
    を備え、
    前記車両の前方に存在し、且つ、前記自動運転制御装置が前記車両の走行状態を変化させる原因となるイベントは、前方イベントであり、
    前記自動運転制御装置は、
    前記運転環境情報に基づいて前記前方イベントを検出するイベント検出処理と、
    前記車両のドライバが前記前方イベントを視認可能な視認タイミングを推定する視認タイミング推定処理と、
    前記前方イベントに応じて前記走行状態を変化させる走行制御を、前記推定した視認タイミングまでは提案あるいは実行せず、前記推定した視認タイミング以降に提案あるいは実行する走行制御処理と
    を行う
    自動運転システム。
  2. 請求項1に記載の自動運転システムであって、
    前記運転環境情報は、交通ルールを位置と関連付けて示す交通ルール情報を含み、
    前記前方イベントは、前記交通ルール情報に基づいて検出される前記交通ルールの変化を含む
    自動運転システム。
  3. 請求項1又は2に記載の自動運転システムであって、
    前記運転環境情報は、地図上のレーンに関するレーン情報を含み、
    前記前方イベントは、前記レーン情報に基づいて検出される車線属性の変化、車線増加、車線減少、合流、分岐のうち少なくとも1つを含む
    自動運転システム。
  4. 請求項1乃至3のいずれか一項に記載の自動運転システムであって、
    前記運転環境情報は、前記車両の外部のシステムから配信される配信情報を含み、
    前記前方イベントは、前記配信情報に基づいて検出される工事区間、事故車両、障害物のうち少なくとも1つを含む
    自動運転システム。
  5. 請求項1乃至4のいずれか一項に記載の自動運転システムであって、
    前記情報取得装置は、前記車両の周辺の状況を撮影するカメラを含み、
    前記運転環境情報は、前記カメラによって得られた撮像情報を含み、
    前記視認タイミング推定処理は、
    前記撮像情報に基づいて、前記前方イベントを示すアイテムを認識する処理と、
    前記アイテムを認識した第1タイミングあるいは前記第1タイミングより後のタイミングを、前記視認タイミングとして推定する処理と
    を含む
    自動運転システム。
  6. 請求項5に記載の自動運転システムであって、
    前記視認タイミングは、前記第1タイミングから一定時間後である
    自動運転システム。
  7. 請求項5に記載の自動運転システムであって、
    前記視認タイミングは、前記第1タイミングから遅延時間だけ後であり、
    前記自動運転制御装置は、前記遅延時間を前記運転環境に応じて可変に設定する
    自動運転システム。
  8. 請求項7に記載の自動運転システムであって、
    前記運転環境は、周辺車両の数を含み、
    前記遅延時間は、前記周辺車両の数が多くなるにつれてより大きくなる
    自動運転システム。
  9. 請求項7に記載の自動運転システムであって、
    前記運転環境は、天候あるいは時間帯に依存する視認性を含み、
    前記遅延時間は、前記視認性が低くなるにつれてより大きくなる
    自動運転システム。
JP2016249578A 2016-12-22 2016-12-22 自動運転システム Active JP6558356B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016249578A JP6558356B2 (ja) 2016-12-22 2016-12-22 自動運転システム
US15/824,674 US10761540B2 (en) 2016-12-22 2017-11-28 Autonomous driving system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016249578A JP6558356B2 (ja) 2016-12-22 2016-12-22 自動運転システム

Publications (2)

Publication Number Publication Date
JP2018103667A JP2018103667A (ja) 2018-07-05
JP6558356B2 true JP6558356B2 (ja) 2019-08-14

Family

ID=62629649

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016249578A Active JP6558356B2 (ja) 2016-12-22 2016-12-22 自動運転システム

Country Status (2)

Country Link
US (1) US10761540B2 (ja)
JP (1) JP6558356B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190062390A (ko) 2016-10-11 2019-06-05 모빌아이 비젼 테크놀로지스 엘티디. 검출된 배리어에 기반한 차량의 항법
US10860022B2 (en) * 2018-04-11 2020-12-08 GM Global Technology Operations LLC Method and apparatus for automatical rule learning for autonomous driving
KR102572784B1 (ko) 2018-10-25 2023-09-01 주식회사 에이치엘클레무브 운전자 보조 시스템 및 그 제어방법
KR20200071293A (ko) 2018-12-11 2020-06-19 삼성전자주식회사 3차원 컬러 맵 기반의 측위 방법 및 장치
JP7310403B2 (ja) 2019-07-23 2023-07-19 トヨタ自動車株式会社 車両制御装置及び自動運転禁止システム
KR102322815B1 (ko) * 2019-09-11 2021-11-10 한국도로공사 카메라 기반의 도로이벤트 점유차로 검출 장치 및 그 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2822962B2 (ja) * 1995-12-14 1998-11-11 住友電気工業株式会社 交差点案内装置
JP3651001B2 (ja) * 2002-08-08 2005-05-25 マツダ株式会社 経路誘導装置、経路誘導方法、及び、経路誘導用プログラム
DE10346511B4 (de) * 2003-10-02 2008-01-31 Daimler Ag Vorrichtung zur Verbesserung der Sichtverhältnisse in einem Kraftfahrzeug
US20090240426A1 (en) * 2006-06-12 2009-09-24 Takashi Akita Navigation device and navigation method
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
JP5810520B2 (ja) 2010-12-08 2015-11-11 日産自動車株式会社 車線変更制御装置および車線変更ストレス評価方法
JP6311429B2 (ja) * 2014-04-18 2018-04-18 株式会社デンソー 自動運転計画表示装置および自動運転計画表示装置用のプログラム
JP6361403B2 (ja) * 2014-09-17 2018-07-25 アイシン・エィ・ダブリュ株式会社 自動運転支援システム、自動運転支援方法及びコンピュータプログラム
JP5970513B2 (ja) 2014-09-29 2016-08-17 富士重工業株式会社 運転支援制御装置
DE102015201369A1 (de) * 2015-01-27 2016-07-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines zumindest teilautomatisch fahrenden oder fahrbaren Kraftfahrzeugs
US10801853B2 (en) * 2016-07-25 2020-10-13 Ford Global Technologies, Llc Method and apparatus for upcoming turn identification and assistance

Also Published As

Publication number Publication date
US20180181138A1 (en) 2018-06-28
JP2018103667A (ja) 2018-07-05
US10761540B2 (en) 2020-09-01

Similar Documents

Publication Publication Date Title
JP6558356B2 (ja) 自動運転システム
JP6575492B2 (ja) 自動運転システム
US20180178801A1 (en) Autonomous driving system
JP6531983B2 (ja) 自動運転装置、自動運転支援方法及び自動運転支援プログラム
JP6468261B2 (ja) 自動運転システム
JP6428928B2 (ja) オクルージョン制御装置
JP6748739B2 (ja) 車両制御装置
JP6592074B2 (ja) 車両制御装置、車両制御方法、プログラム、および情報取得装置
US10392028B1 (en) Autonomous driving system
US10803307B2 (en) Vehicle control apparatus, vehicle, vehicle control method, and storage medium
US9978273B2 (en) Method and system for improving a traffic participant's attention
JP2017027180A (ja) 車両制御装置及び車両制御方法
JPWO2019043847A1 (ja) 走行制御装置、車両および走行制御方法
JP6941178B2 (ja) 自動運転制御装置及び方法
JP2019055622A (ja) 運転支援表示方法及び運転支援表示装置
JP2017087923A (ja) 運転支援装置
US20240043031A1 (en) Presentation control device, autonomous driving control device, and storage mediums
JP2024029051A (ja) 車載表示装置、方法およびプログラム
WO2020105685A1 (ja) 表示制御装置、方法、及びコンピュータ・プログラム
JP2019119269A (ja) 自動運転システム
JP2010039718A (ja) 車両制御装置、車両制御方法および車両制御処理プログラム
CN115349144A (zh) 提示控制装置以及提示控制程序
JP6867257B2 (ja) 車両制御装置、車両、車両制御方法およびプログラム
JP2021160708A (ja) 提示制御装置、提示制御プログラム、自動走行制御システムおよび自動走行制御プログラム
JP2019182169A (ja) 車両走行制御システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190701

R151 Written notification of patent or utility model registration

Ref document number: 6558356

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151