JP6860068B2 - 運転支援装置、運転支援システムおよび運転支援方法 - Google Patents

運転支援装置、運転支援システムおよび運転支援方法 Download PDF

Info

Publication number
JP6860068B2
JP6860068B2 JP2019521624A JP2019521624A JP6860068B2 JP 6860068 B2 JP6860068 B2 JP 6860068B2 JP 2019521624 A JP2019521624 A JP 2019521624A JP 2019521624 A JP2019521624 A JP 2019521624A JP 6860068 B2 JP6860068 B2 JP 6860068B2
Authority
JP
Japan
Prior art keywords
driver
driving support
risk
unit
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019521624A
Other languages
English (en)
Other versions
JPWO2018220774A1 (ja
Inventor
佐野 聡
聡 佐野
泰彦 中野
泰彦 中野
宏次 小栗
宏次 小栗
治樹 河中
治樹 河中
洋佑 藤澤
洋佑 藤澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2018220774A1 publication Critical patent/JPWO2018220774A1/ja
Application granted granted Critical
Publication of JP6860068B2 publication Critical patent/JP6860068B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02Rear-view mirror arrangements
    • B60R1/06Rear-view mirror arrangements mounted on vehicle exterior
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/164Centralised systems, e.g. external to vehicles

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Hospice & Palliative Care (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明の実施形態は、運転支援装置、運転支援システムおよび運転支援方法に関する。
従来、車両等の乗り物において、運転者に対して、危険箇所、障害物等の存在(ハザード対象)を知らせることで、運転者に注意を促す運転支援装置が知られている。
この運転支援装置では、運転者が危険箇所等を見る時の視線方向に危険箇所等を特定する名称、符号等を表示し、運転者が発した音声が表示した名称、符号等の音声パターンと一致するか否かを判定する。そして、危険箇所等を特定する名称、符号等を表示した後の所定の時間内に音声パターンが一致しなかった場合、運転者に警告を発する。
特開2008−40974号公報 特開2003−99899号公報 特開平7−167668号公報 特開2005−4414号公報
しかしながら、上記の従来技術では、運転者の認知活動に対して過度に警告が発せられ、運転支援が過度に行われる場合がある。
例えば、危険箇所等について、運転者が十分に認識しているにも関わらず、運転者に警告を発するような、運転支援が過度に行われる場合には、運転者の運転支援に依存する傾向が強くなる。運転支援に対する依存傾向の強い運転者は、危険箇所に対する認知活動が少なくなり、例えば、危険箇所に対する予測能力の向上が見られなくなる。このように、過度な運転支援は、運転者の認知活動に対する支援には結びつかないことがある。
1つの側面では、運転者に対して適度な運転支援を実現できる運転支援装置、運転支援システムおよび運転支援方法を提供することを目的とする。
第1の案では、運転支援装置は、環境検出部と、リスト生成部と、視線検出部と、リスク評価部と、出力制御部とを有する。環境検出部は、運転者が運転する乗り物の周囲の環境を検出する。リスト生成部は、検出された環境に基づいてハザードとする対象物のハザードリストを生成する。視線検出部は、運転者の視線を検出する。リスク評価部は、検出された視線に基づく運転者の視野内にハザードリストに含まれる対象物が含まれる頻度に基いて、ハザードリストに含まれる対象物ごとの運転者の運転にかかるリスクを評価する。出力制御部は、評価されたリスクが閾値以上の対象物に対応する運転支援情報を出力させる。また、出力制御部は、リスクが閾値以上の対象物の方向に応じて、仮想同乗者を規定し、仮想同乗者の位置が音源となるように運転支援情報を出力させる。
本発明の1実施態様によれば、運転者に対して適度な運転支援を実現できる。
図1は、第1の実施形態にかかる運転支援装置の構成例を示すブロック図である。 図2は、運転者の認知構造モデルを説明する説明図である。 図3は、運転支援用ECUのハードウエア構成の一例を示すブロック図である。 図4は、動作情報格納部の一例を説明する説明図である。 図5は、ハザードリスト格納部およびリスクテーブル格納部の一例を説明する説明図である。 図6は、運転支援処理の一例を示すフローチャートである。 図7は、状況判定処理の一例を示すフローチャートである。 図8は、確認動作判定処理の一例を示すフローチャートである。 図9は、ハザードリスト生成処理の一例を示すフローチャートである。 図10は、リスク評価処理の一例を示すフローチャートである。 図11は、リスク算出を説明する説明図である。 図12は、ハザードマップおよびリスクマップの一例を説明する説明図である。 図13は、確認動作の一例を説明する説明図である。 図14は、対象物に対する運転者の忘却度の一例を説明する説明図である。 図15は、リスク評価処理の変形例を示すフローチャートである。 図16は、乗り物外への報知例を説明する説明図である。 図17は、第2の実施形態にかかる運転支援システムの構成例を示すブロック図である。
以下、図面を参照して、実施形態にかかる運転支援装置、運転支援システムおよび運転支援方法を説明する。実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略する。なお、以下の実施形態で説明する運転支援装置、運転支援システムおよび運転支援方法は、一例を示すに過ぎず、実施形態を限定するものではない。また、以下の各実施形態は、矛盾しない範囲内で適宜組みあわせてもよい。
なお、以下の各実施形態において、「注意喚起メッセージ」とは、車両等の乗り物(以下、車両と呼ぶ)において、運転者に対して、運転操作に関する注意を促すための運転支援情報を指す。
また、「運転者」とは、注意喚起メッセージを音声出力して運転の支援を行う対象者を指し、以下の各実施形態では、対象者が、車両を運転操作するための運転席の位置にいる場合について説明する。ただし、運転席の位置にいない場合であっても、運転操作できる位置にいる者も運転者に含まれるものとする。
また、「仮想出力者」とは、注意喚起メッセージを含む各種音声情報を音声出力する仮想音源を指す。仮想音源は、運転操作中の運転者の周囲に配された複数の音声出力部(スピーカ等の音声出力装置)を介して音声情報を出力する際に、音量(音圧)及び位相を制御することで、運転者の周囲の任意の方向に配置することができる。例えば、仮想音源ごとに声色を変えることで、仮想音源が配置されたそれぞれの方向に、所定の属性を有する人物がいるかのように、運転者に認識させてもよい。
なお、仮想出力者のうち、運転者の周囲の座席の位置に対応する位置に配置された仮想音源を、「仮想同乗者」と称する。
また、「確認動作」とは、運転者が操作する車両の状況(例えば、右左折、追い越し等)に応じて運転者が確認のために行う動作(例えば、目視による外界対象物の把握や、操作パネルやバックミラの確認など、運転環境や状況を把握するための動き等)をいう。
また、「呼称」とは、運転者の確認動作のうち、発声により行う確認動作をいう。なお、確認動作には、呼称のほか、指差し動作や視線の動き等が含まれるものとする。更に「呼称」は、車両センサによる周辺監視機能による「仮想同乗者」からの情報提供を含むものとする。
また、「復唱」とは、呼称の後に、呼称の内容に対応する情報(復唱情報)を、仮想同乗者が一斉に音声出力することをいう(ただし、完全に同時でなくてもよく、仮想同乗者間で音声出力のタイミングに多少のずれがあってもよい)。更に、「連呼」とは、呼称の後に、呼称の内容に対応する情報を、仮想同乗者が順次音声出力することをいう。ここで、仮想同乗者からの先行的な「呼称」に応答する運転者の「復唱」を含み、さらに「仮想同乗者」からの一斉に「復唱」する「連呼」を含むものとする。なお、以下の実施形態では、主に「復唱」する場合について説明するが、「連呼」する場合も同様の処理となる。
(第1の実施形態)
図1は、第1の実施形態にかかる運転支援装置の構成例を示すブロック図である。
図1に示すように、運転支援装置100は、ナビゲーション装置111、車両制御ECU112(ECU:Electronic Control Unit)、ジェスチャ検出部113、音声検出部114、視線検出部115および周辺環境検出部116を有する。また、運転支援装置100は、運転支援用ECU120、音声出力部131、表示出力部132および通信部133を有する。
運転支援装置100は、運転者が運転する車両に設置され、音声出力部131による音声出力や表示出力部132による表示出力で運転支援情報を運転者に提供することで、運転時における運転者の認知活動を支援する装置である。
図2は、運転者の認知構造モデルを説明する説明図である。運転者は、車両の運転時において、例えば図2に例示する認知構造モデルのように周囲の状況を認知し、運転操作を行う。
具体的には、運転者は、車両の周囲環境とその状況下における歩行者、先行車、後続車、対向車などの車両といった危険箇所をハザード対象として認識する(S1)。そして、運転者は、自車両の監視(車線・速度など)、周辺のハザード対象の監視(前後左右の車間など)を行う(S2)。
また、運転者は、視界内における周辺視野の探索(S3)でハザード対象の探索を行い(S4)、ハザード対象の状況変化を確認する(S5)。状況変化がある場合(S5:YES)、運転者は、中心視野でハザード対象を探索し(S6)、ハザード対象を中心視野で補足することで(S7)、ハザード対象の認知を更新する(S8)。状況変化がない場合(S5:NO)、運転者は、中心視野内でハザード対象を補足することがなく、ハザード対象の忘却が進む(S9)。
次いで、運転者は、認知しているハザード対象などをもとに安全判定を行う(S10)。例えば、運転者は、安全判定による車線変更(走行車線から追い越し車線への変更)の想起の有無により(S11)、車線変更を想起しない場合(S11:NO)、車間・速度を維持する操作(アクセル、ハンドル)を行う(S12)。
車線変更を想起した場合(S11:YES)、運転者は、ハザード対象についてリスク予測を行い(S13)、リスク回避の安全確認を行う(S14)。具体的には、運転手順に従って、前方のハザードの安全確認、右後方のハザードの安全確認、右死角のハザードの不在確認を行う。
次いで、運転者は、安全確認判断を行い、車線変更を決定する(S15)。車線変更を決定した運転者は、ウインカを提示し(S16)、右死角のハザードの不在を再確認(S17)した後に、車線変更の操作(アクセル、ハンドル)を行う(S18)。次いで、運転者は、安全確認を行い(S19)、車線変更を完了する(S20)。
このような、運転時における運転者の認知構造モデルに対し、運転支援装置100は、運転者が運転する車両の周囲の環境を検出し、検出された環境に基づいてハザードとする対象物のハザードリストを生成する。そして、運転支援装置100は、運転者の視線を検出し、検出された視線に基づく運転者の視野内にハザードリストに含まれる対象物が含まれる頻度に基いて、ハザードリストに含まれる対象物ごとの運転者の運転にかかるリスク(関心の低さ)を評価する。そして、運転支援装置100は、評価されたリスクが閾値以上の対象物に対応する運転支援情報を音声出力部131による音声出力や表示出力部132による表示出力で出力させる。
したがって、運転支援装置100は、周辺監視センサにより検知したハザードリストに含まれる対象物について、運転者の視野内に含まれる頻度に基いてリスクを評価し、リスクが閾値以上の対象物に対応する運転支援情報を提供することで、過度な運転支援を抑止でき、運転者に対して適度な運転支援を実現できる。例えば、運転支援装置100は、運転者の視野内に含まれる頻度が高く、運転者が十分に関心が高い対象として認知している対象物については運転支援情報を提供することなく、対象物に対する運転者の認知活動を妨げないようにする。また、運転支援装置100は、運転者の視野内に含まれる頻度が低く関心が低下し、運転者の認知が不十分な対象物については運転支援情報を提供し、運転者が対象物を忘却することを抑止する。
図1に戻り、ナビゲーション装置111は、走行中の車両の現在位置をGPS(Global Positioning System)を用いて検出し、位置情報として運転支援用ECU120に送信する。また、ナビゲーション装置111は、車両の現在位置が、交差点や分岐点、合流点等の特定の位置に到達したことを検出し、検出結果(位置検出結果)を位置情報に含めて運転支援用ECU120に送信する。
更に、ナビゲーション装置111は、目的地までの経路検索結果および車両状況(運転操作の履歴や車両の速度など)に基づいて、交差点に到達した際に自車両が直進するのか、右折するのか、左折するのかを検出する。同様に、ナビゲーション装置111は、目的地までの経路検索結果に基づいて、分岐点に到達した際に、左側に分岐するのか、右側に分岐するのかを検出する。更に、ナビゲーション装置111は、目的地までの経路検索結果に基づいて、合流点に到達した際に、右側から合流するのか、左側から合流するのかを検出する。ナビゲーション装置111は、これらの検出結果(進路検出結果)を位置情報に含めて運転支援用ECU120に送信する。
車両制御ECU112は、運転者が車両に対して行った運転操作を示す運転操作情報(例えば、ステアリングの操舵角、アクセルペダルの開度、ブレーキペダルの踏み込み量等)や、車両の状態を示す車両情報(例えば、車速)等を取得する。車両制御ECU112は、取得した運転操作情報及び車両情報を、運転支援用ECU120に送信する。
ジェスチャ検出部113は、車載カメラ(図示しない)などで撮影された車内の画像をもとに、運転者のジェスチャを検出する。また、ジェスチャ検出部113は、運転者が指差し動作を行っていたことを検出すると、指差し方向を判定して、指差し方向情報を運転支援用ECU120に送信する。
音声検出部114は、車載マイク(図示しない)などで集音された車内の音声をもとに、運転者の呼称を検出して、呼称情報を運転支援用ECU120に送信する。
視線検出部115は、車載カメラ(図示しない)などで撮影された運転者の顔画像をもとに、運転者の視線方向を検出して、視線方向情報を運転支援用ECU120に送信する。
周辺環境検出部116は、例えば車載センサ(図示しない)や車載カメラ(図示しない)などによる検知情報をもとに、運転者が運転する車両周りの歩行者や他車両等の障害物を検出して、周辺環境情報を運転支援用ECU120に送信する。具体的には、周辺環境検出部116は、検出した障害物(例えば歩行者、車両など)を識別した識別情報、運転者が運転する車両に対する障害物の位置情報および速度情報などを含む周辺環境情報を運転支援用ECU120に送信する。すなわち、周辺環境検出部116は、環境検出部の一例である。なお、図1の例では、周辺環境検出部116は、歩行者や他車両等の障害物を検出した場合に、検出結果を、直接、運転支援用ECU120に送信するものとしているが、検出結果をナビゲーション装置111や車両制御ECU112に入力するようにしてもよい。この場合、ナビゲーション装置111または車両制御ECU112が検出結果を解析し、周辺環境情報を運転支援用ECU120に送信する。
また、周辺環境情報は、路車間通信や車々通信を介して取得して運転支援用ECU120に送信するようにしてもよい。この場合、周辺環境検出部116は、通信手段として機能することになる。
運転支援用ECU120は、注意喚起メッセージを音声出力または表示出力するための制御を行う。運転支援用ECU120には、各種機能を実現するためのプログラムが格納されている。運転支援用ECU120は、このプログラムを実行することで、状況判定部121、情報特定部122、動作判定部123、ハザードリスト生成部124、リスク評価部125および出力制御部126として機能する。また、運転支援用ECU120は、動作情報、ハザードリスト、リスクテーブルなどの各種情報を格納する動作情報格納部127、ハザードリスト格納部128およびリスクテーブル格納部129を有する。
ここで、運転支援用ECU120のハードウエア構成について説明する。図3は、運転支援用ECU120のハードウエア構成の一例を示すブロック図である。
図3に示すように、運転支援用ECU120は、CPU201(CPU:Central Processing Unit)、ROM202(ROM:Read Only Memory)、RAM203(RAM:Random Access Memory)および接続装置204を有する。なお、運転支援用ECU120の各部は、バス205を介して相互に接続されている。
CPU201は、ROM202に格納された各種プログラムを実行するコンピュータである。
ROM202は不揮発性メモリであり、CPU201により実行される各種プログラムや各種プログラムを実行する際に用いる情報(動作情報、ハザードリスト、リスクテーブル等)を格納する。
RAM203は揮発性メモリであり、ROM202に格納された各種プログラムがCPU201によって実行される際に展開される、作業領域を提供する。
接続装置204は、運転支援用ECU120と外部機器とを接続し、外部機器との間で各種情報を送受信する。この外部機器は、例えば、ナビゲーション装置111、車両制御ECU112、ジェスチャ検出部113、音声検出部114、視線検出部115、周辺環境検出部116、音声出力部131、表示出力部132および通信部133などがある。
図1に戻り、状況判定部121は、ナビゲーション装置111より受信した位置情報と、リスク評価部125に格納された動作情報とに基づいて、現在の車両の状況が、車両の運転者に対して注意喚起メッセージを出力すべき状況にあるか否かを判定する。状況判定部121は、車両の運転者に対して注意喚起メッセージを出力すべき状況にあると判定した場合に、現在の車両の状況に関する情報を情報特定部122に通知する。なお、状況判定部121は、更に、周辺環境検出部116より受信した周辺環境情報に応じて、現在の車両の状況を判定するようにしてもよい。
情報特定部122は、状況判定部121より、現在の車両の状況に関する情報を取得すると、動作情報格納部127の動作情報を参照し、運転者に対して注意喚起メッセージを音声出力する際に用いる情報を特定し、出力制御部126に通知する。すなわち、情報特定部122は、メッセージ特定部の一例である。
具体的には、情報特定部122は、現在の車両の状況に関する情報に基づいて、注意喚起メッセージとそのIDを取得する。また、情報特定部122は、取得した注意喚起メッセージに基づいて、運転者が確認すべき方向を特定し、特定した方向に関連付けて規定された仮想出力者を特定する。また、情報特定部122は、取得した注意喚起メッセージに関連付けて規定された、音声出力するタイミング、順序を特定する。更に、情報特定部122は、これらの情報を注意喚起メッセージを音声出力する際に用いる情報として、出力制御部126に通知する。
また、情報特定部122は、状況判定部121より、現在の車両の状況に関する情報を取得すると、リスク評価部125の動作情報を参照し、運転者の確認動作の適否を判定する際に用いる情報を特定し、動作判定部123に通知する。
具体的には、情報特定部122は、現在の車両の状況に関する情報に基づいて、注意喚起メッセージとそのIDを取得する。また、情報特定部122は、取得した注意喚起メッセージに関連付けて規定された、順序、指差し方向、呼称内容、視線方向を特定する。そして、情報特定部122は、これらの情報を運転者の確認動作の適否を判定する際に用いる情報として、動作判定部123に通知する。
動作判定部123は、情報特定部122より、運転者の確認動作の適否を判定する際に用いる情報を取得すると、ジェスチャ検出部113より指差し方向情報を受信し、音声検出部114より呼称情報を受信し、視線検出部115より視線方向情報を受信する。
また、動作判定部123は、受信した指差し方向情報、呼称情報、視線方向情報のうち、少なくともいずれか1つが、情報特定部122より取得した、運転者の確認動作の適否を判定する際に用いる情報に該当するか否かを判定する。動作判定部123は、該当すると判定した場合に、車両の運転者が適切な確認動作を行ったと判定する。
また、動作判定部123は、車両の運転者が適切な確認動作を行ったか否かの判定結果に基づいて、判定結果に応じた判定結果メッセージと、判定結果メッセージの仮想出力者とを予め設定された設定情報等より取得する。次いで、動作判定部123は、取得した判定結果メッセージおよび仮想出力者を出力制御部126に通知する。
ハザードリスト生成部124は、周辺環境検出部116により検出された周辺環境情報に基いて、車両の周囲においてハザードとする対象物のハザードリストを生成する。具体的には、ハザードリスト生成部124は、周辺環境検出部116が検出した障害物をハザードとする対象物とし、対象物を識別するための対象IDを付与した上で、周辺環境情報に含まれる対象物毎の情報(識別情報、位置情報、速度情報等)を列挙したハザードリストをハザードリスト格納部128に格納する。
リスク評価部125は、ハザードリスト格納部128のハザードリストを参照し、視線検出部115により検出された視線方向情報をもとに、ハザードリストに含まれる対象物ごとの運転者の運転にかかるリスクを評価する。次いで、リスク評価部125は、ハザードリストに含まれる対象物ごとのリスクの評価結果を出力制御部126に出力する。
具体的には、リスク評価部125は、ハザードリストに含まれる対象物ごとに、視線方向情報が示す運転者の視野内に含まれる頻度を求める。そして、リスク評価部125は、求めた頻度に応じて、対象物に対する運転者の忘却度合いを示す忘却度を算出する。例えば、リスク評価部125は、運転者の視野内に含まれる頻度が低い対象物ほど、忘却度を高く算出する。
また、リスク評価部125は、ハザードリストに含まれる対象物ごとの位置情報、速度情報により、車両に対する対象物の危険度合いを客観的に示すハザード情報を求める。このハザード情報には、例えば、対象物ごとの車両までの衝突時間であるTTC(Time-To-Collision)などがある。TTCは、対象物ごとの位置情報、速度情報に基づき、車両と対象物との距離を速度の差(相対速度)で割ることで算出される。
次いで、リスク評価部125は、ハザードリストに含まれる対象物ごとの忘却度にTTCなどのハザード情報を掛け合わせることで、対象物ごとの運転者の運転にかかるリスクの評価値(以下、リスク値と呼ぶ)を求める。例えば、忘却度が高く、リスクのある対象物ほど、高いリスク値となる。次いで、リスク評価部125は、ハザードリストに含まれる対象物ごとのリスク値を出力制御部126に出力する。
出力制御部126は、情報特定部122より通知された、注意喚起メッセージとそのID、仮想出力者、タイミング、順序を取得する。出力制御部126は、取得した注意喚起メッセージを、取得したタイミングで音声出力部131を介して音声出力する。
また、出力制御部126は、リスク評価部125より通知された、ハザードリストに含まれる対象物ごとのリスク値をもとに、リスク値が予め設定された閾値以上の対象物にかかる注意喚起メッセージを音声出力部131を介して音声出力する。
具体的には、出力制御部126は、ハザードリスト格納部128を参照してリスク値が予め設定された閾値以上の対象物の位置情報を取得し、取得した位置情報をもとに、注意喚起メッセージにおける確認すべき方向と、対象物の位置とが一致する注意喚起メッセージを特定する。
次いで、出力制御部126は、特定した注意喚起メッセージを、対象物にかかる注意喚起メッセージとして音声出力部131を介して音声出力する。これにより、運転支援装置100は、例えば、運転者の視野内に含まれる頻度が低く、運転者の認知が不十分な対象物について、注意喚起メッセージを運転者に提供できる。
動作情報格納部127は、例えばデータテーブルなどであり、IDなどの識別情報ごとに、動作情報を格納する。図4は、動作情報格納部127の一例を説明する説明図である。
図4に示すように、動作情報格納部127は、動作情報の項目として、"位置"、"状況"、"ID"、"注意喚起メッセージ"、"確認すべき方向"、"仮想出力者"、"タイミング"、"順序"、"指差し方向"、"呼称内容"、"視線方向"を有する。
"位置"には、運転者に対して注意喚起メッセージを音声出力すべき位置が定義されている。図4の例は、車両が、交差点、分岐点、合流点のいずれかの位置に到達した場合に、注意喚起メッセージが音声出力されることを示している。
"状況"には、車両が、交差点、分岐点、合流点のいずれかの位置に到達した際の状況が定義されている。状況によって、運転者に確認させるべき方向が異なってくるからである。例えば、交差点に到達した際の状況が"直進"であった場合、運転支援装置100は、運転者に対して、左側と右側とを確認させ、交差点に到達した際の状況が"右折"であった場合、運転者に対して、右前方と右折先とを確認させる。また、交差点に到達した際の状況が"左折"であった場合、運転支援装置100は、運転者に対して、左折先と左後方とを確認させる。
"ID"には、"位置"及び"状況"に応じて音声出力される"注意喚起メッセージ"それぞれを識別するための識別子が格納される。
"注意喚起メッセージ"には、"位置"及び"状況"に応じて音声出力すべきメッセージが格納される。例えば、位置="交差点"、状況="直進"の場合、"交差点、注意。一時停止、確認。"、"左、確認。"、"右、確認"が音声出力すべきメッセージとして格納されている。
"確認すべき方向"には、"注意喚起メッセージ"を音声出力することで、運転者が確認すべき方向が規定される。例えば、注意喚起メッセージ="交差点です。一時停止してください。"の場合、運転者が確認すべき方向は前方である。このため、"確認すべき方向"には、"前方"が規定されている。注意喚起メッセージ="左側を確認してください。"の場合、運転者が確認すべき方向は左方向である。このため、"確認すべき方向"には、"左側"が規定されている。更に、注意喚起メッセージ="右側を確認してください。"の場合、運転者が確認すべき方向は右方向である。このため、"確認すべき方向"には、"右側"が規定されている。
"仮想出力者"には、注意喚起メッセージを音声出力することで、運転者が確認すべき方向に対応する位置に配置された仮想出力者が規定される。例えば、確認すべき方向="前方"の場合、"仮想出力者"には、車外前方の位置に配置された仮想出力者が規定されている。また、確認すべき方向="左側"の場合、"仮想出力者"には、助手席の位置に配置された仮想同乗者が規定されている。更に、確認すべき方向="右側"の場合、"仮想出力者"には、車両の車外右側の位置に配置された仮想出力者が規定されている。
"タイミング"には、注意喚起メッセージを音声出力するタイミングが規定され、"順序"には、注意喚起メッセージを音声出力する順序が規定される。
なお、"タイミング"に格納された式のうち、「L」は、車両の現在の位置から"位置"(例えば、交差点)までの距離を表しており、「V」は、車両の現在の車速を示している。
例えば、位置="交差点"、状況="直進"の場合、"交差点注意。一時停止、確認。"との注意喚起メッセージは、交差点に到達する(L/V+10)秒前に音声出力される。また、"右確認。"との注意喚起メッセージは、交差点に到達する(L/V+5)秒前に音声出力される。更に、"左確認の注意喚起メッセージは、交差点に到達する(L/V)秒前に音声出力される。つまり、動作情報格納部127の動作情報の場合、注意喚起メッセージの音声出力のタイミングは、車両の現在の車速に基づいて決定され、それぞれの注意喚起メッセージは、所定の間隔この場合は5秒おきに規定された順序で音声出力される。状況に応じて、句読点の発話休止時間を拡縮してもよい。
"指差し方向"には、注意喚起メッセージが音声出力されたことに応じて、運転者が行うべき指差し動作の方向が格納される。"呼称内容"には、注意喚起メッセージが音声出力されたことに応じて、運転者が行うべき呼称内容が格納される。"視線方向"には、注意喚起メッセージが音声出力されたことに応じて運転者が向けるべき視線の方向が格納される。
図1に戻り、ハザードリスト格納部128は、例えばデータテーブルなどであり、ハザードリスト生成部124により生成されたハザードリストを格納する。リスクテーブル格納部129は、例えばデータテーブルなどであり、ハザードリストに含まれる対象物ごとのリスク評価にかかる情報(例えば、確認頻度、忘却度、リスク値、フラグ情報等)を格納する。
図5は、ハザードリスト格納部128およびリスクテーブル格納部129の一例を説明する説明図である。図5に示すように、ハザードリスト格納部128およびリスクテーブル格納部129では、同一の対象物についての情報が対象IDで関連付けられている。
ハザードリスト格納部128は、対象IDごとに、対象物のラベル情報、位置情報、車間情報、速度情報およびハザード情報を格納する。
ラベル情報は、対象物の識別内容(例えば歩行者、車両など)、位置関係(前、後)、相対速度をもとにラベリングされた情報である。例えば、前方を同じ方向に進む車両には「先行車」、後方を同じ方向に進む車両には「後続車」などのラベル情報が付与される。
位置情報、車間情報および速度情報は、周辺環境検出部116により検出された対象物の位置情報、速度情報に基づく、運転者の車両に対する位置、車間距離、相対速度などである。ハザード情報は、位置情報、車間距離および相対速度に基づき算出された対象物にかかるTTCなどである。
リスクテーブル格納部129は、対象IDごとに、対象物の確認頻度情報、忘却度、リスク値、フラグ情報を格納する。確認頻度情報は、対象物が運転者の視野内に捉えられた頻度を示す情報であり、例えば対象物が視野内にあることが確認された時間(時刻)などである。
忘却度は、リスク評価部125により算出された、対象物に対する運転者の忘却度合いを示す値である。同様に、リスク値は、リスク評価部125により算出された、対象物の運転者の運転にかかるリスクの評価値である。フラグ情報は、対象物に付与されたフラグである。例えば、フラグ情報には、対象物に対する運転操作(アクセル減など)が行われるなどして、対象物に対するリスクを運転者が予測(認知)していることを示すリスク予測フラグなどがある。
図1に戻り、音声出力部131は、出力制御部126の制御のもと、情報の音声出力を行うスピーカ等の音声出力装置である。音声出力部131は、出力制御部126から送信された音声情報(注意喚起メッセージ、判定結果メッセージ等)を音声出力する。
表示出力部132は、出力制御部126の制御のもと、情報の表示出力を行うディスプレイや表示灯などである。例えば、表示出力部132には、ダッシュボードなどに設けられたLCD(Liquid Crystal Display)、フロントガラスなどに投影する投影装置が適用できる。また、表示出力部132には、車両外に表示出力を行うため、車両外のサイドミラー等に設けられた表示灯132a(LED:Light Emitting Diode、図16参照)などを含めてもよい。本実施形態では音声出力を主として説明しているが、注意喚起メッセージ、判定結果メッセージの出力は、上記の表示出力部132による表示出力であってもよいことは言うまでも無いことである。
通信部133は、運転支援用ECU120の制御のもと、無線通信により外部機器と通信を行う通信装置である。具体的には、通信部133は、路車間通信、車々通信、無線LAN(Local Area Network)を介したサーバ装置501(図17参照)との通信などを行う。
次に、運転支援用ECU120により実行される運転支援処理の流れについて説明する。図6は、運転支援処理の一例を示すフローチャートである。
図6に示す運転支援処理は、例えば車両のイグニッションスイッチがONとなり、運転支援用ECU120が起動することで開始される。図6に示すように、処理が開始されると、状況判定部121は、状況判定の処理を実行する(S21)。
ここで、状況判定処理の詳細について説明する。図7は、状況判定処理の一例を示すフローチャートである。図7に示すように、状況判定処理が開始されると、状況判定部121は、ナビゲーション装置111より車両の現在の位置情報を受信する(S30)。
次いで、状況判定部121は、受信した位置情報に含まれる、位置検出結果及び進路検出結果を抽出する。なお、位置検出結果には、交差点、分岐点、合流点のいずれかが含まれ、進路検出結果には、直進、右折、左折、右側へ分岐、左側へ分岐、右側から合流、左側から合流のいずれかが含まれる。
次いで、状況判定部121は、位置検出結果及び進路検出結果に基づいて、現在の車両の状況が、動作情報格納部127の動作情報において定義された状況に該当するか否かを判定する(S31)。
動作情報において定義された状況に該当しないと判定した場合(S31:NO)、状況判定部121は、S30に処理を戻す。一方、動作情報において定義された状況に該当すると判定した場合(S31:YES)、情報特定部122は、状況判定部121が判定した状況に対応するIDを動作情報格納部127の動作情報より取得する(S32)。
例えば、車両が交差点を直進する状況であると判定された場合、情報特定部122は、動作情報より、ID="1"、"2"、"3"を取得する(図4参照)。
次いで、情報特定部122は、取得したIDに対応する注意喚起メッセージを取得する(S33)。例えば、取得したIDが"1"、"2"、"3"であった場合、情報特定部122は、対応する注意喚起メッセージとして"交差点、注意。一時停止、確認。"、"左、確認。"、"右、確認。"を取得する(図4参照)。
次いで、情報特定部122は、動作情報格納部127の動作情報を参照し、取得した注意喚起メッセージに基づいて運転者が確認すべき方向を特定し、特定した方向に関連付けて規定された仮想出力者を特定する。また、情報特定部122は、動作情報を参照し、取得した注意喚起メッセージに関連付けて規定された、タイミング、順序を特定する(S34)。
図4の例を参照し、例えば、取得した注意喚起メッセージが"交差点、注意。一時停止、確認。"であった場合、情報特定部122は、運転者が確認すべき方向として"前方"を特定し、"前方"に関連付けて規定された仮想出力者="車外前方の仮想出力者"を特定する。また、情報特定部122は、注意喚起メッセージ="交差点注意。一時停止、確認。"に関連付けて規定されたタイミング="(L/V+10)前"、順序="1"を特定する。同様に、取得した注意喚起メッセージが"左、確認。"であった場合、情報特定部122は、仮想出力者="助手席の仮想同乗者"、タイミング="(L/V+5)秒前"、順序="2"を特定する。更に、取得した注意喚起メッセージが"右、確認。"であった場合、情報特定部122は、仮想出力者="車外右側の仮想出力者"、タイミング="(L/V)秒前"、順序="3"を特定する。
次いで、情報特定部122は、取得したID及び注意喚起メッセージと、特定した仮想出力者、タイミング、順序とを、注意喚起メッセージを音声出力する際に用いる情報として、出力制御部126に通知する(S35)。
また、S34、S35の処理と並行して、情報特定部122は、動作情報を参照し、取得した注意喚起メッセージと関連付けて規定されている、順序、運転者の指差し方向、呼称内容、視線方向を特定する(S36)。
図4の例を参照し、例えば、取得した注意喚起メッセージが"交差点、注意。一時停止、確認。"であった場合、情報特定部122は、順序="1"、指差し方向="前方"、呼称内容="一時停止よし"、視線方向="前方"を特定する。また、取得した注意喚起メッセージが"左確認。"であった場合、情報特定部122は、順序="2"、指差し方向="左側"、呼称内容="左よし"、視線方向="左側"を特定する。更に、取得した注意喚起メッセージが"右確認。"であった場合、情報特定部122は、順序="3"、指差し方向="右側"、呼称内容="右よし"、視線方向="右側"を特定する。
次いで、情報特定部122は、取得したIDと、特定した順序、指差し方向、呼称内容、視線方向とを、運転者の確認動作の適否を判定する際に用いる情報として、動作判定部123に通知する(S37)。その後、情報特定部122は処理をリターンする。
図6に戻り、S21に次いで、情報特定部122は、確認動作判定の処理を実行する(S22)。
ここで、確認動作判定処理の詳細について説明する。図8は、確認動作判定処理の一例を示すフローチャートである。図8に示すように、確認動作判定処理が開始されると、動作判定部123は、ジェスチャ検出部113より、指差し方向情報を受信する(S40)。
次いで、動作判定部123は、情報特定部122より通知された、運転者の確認動作の適否を判定する際に用いる情報に含まれる各指差し方向のうち、順序="n"に対応する指差し方向を読み出す(S41)。例えば、順序="1"の場合、動作判定部123は、指差し方向="前方"を読み出す。
次いで、動作判定部123は、運転者のジェスチャが適切か否かを判定する(S42)。具体的には、動作判定部123は、S40において取得した指差し方向情報と、S41において読み出した"指差し方向"とが一致するか否かを判定する。一致すると判定した場合(S42:YES)、動作判定部123は、S49に処理を進める。
一致しないと判定した場合(S42:NO)、動作判定部123は、運転者のジェスチャ(指差し動作)が適切でないと判定し、S43へ処理を進める。S43において、動作判定部123は、音声検出部114より、呼称情報を受信する。
次いで、動作判定部123は、情報特定部122より通知された、運転者の確認動作の適否を判定する際に用いる情報に含まれる各呼称内容のうち、順序="n"に対応する呼称内容を読み出す(S44)。例えば、順序="1"の場合、動作判定部123は、呼称内容="一時停止よし"を読み出す。
次いで、動作判定部123は、運転者の呼称が適切か否かを判定する(S45)。具体的には、動作判定部123は、S43において受信した呼称情報と、S44において読み出した"呼称内容"とが一致するか否かを判定する。一致すると判定した場合(S45:YES)、動作判定部123は、運転者の呼称が適切であると判定し、S49に処理を進める。
一致しないと判定した場合(S45:NO)、動作判定部123は、運転者の呼称が適切でないと判定し、S46へ処理を進める。S46において、動作判定部123は、視線検出部115より、視線方向情報を受信する。
次いで、動作判定部123は、情報特定部122より通知された、運転者の確認動作の適否を判定する際に用いる情報に含まれる各視線方向のうち、順序="n"に対応する視線方向を読み出す(S47)。例えば、順序="1"の場合、動作判定部123は、視線方向="前方"を読み出す。
次いで、動作判定部123は、運転者の視線方向が適切か否かを判定する(S48)。具体的には、動作判定部123は、S46において受信した視線方向情報と、S47において読み出した"視線方向"とが一致するか否かを判定する。一致すると判定した場合(S48:YES)、動作判定部123は、運転者の視線方向が適切であると判定し、S49に処理を進める。
一致しないと判定した場合(S48:NO)、動作判定部123は、運転者の視線方向が適切でないと判定し、S52に処理を進める。
S49において、動作判定部123は、運転者によって適切な確認動作が行われたと判定する。次いで、動作判定部123は、適切な確認動作が行われた場合に対応する判定結果メッセージおよび仮想出力者を予め設定された設定情報等から読み出し、出力制御部126に通知する(S50)。例えば、判定結果メッセージとしては、適切な確認動作を褒める「よし」、「確認」などの音声や、クリア音などがある。また、仮想出力者は、"仮想同乗者全員"などであってもよい。また、運転者の連続した呼称を妨げないように最後の呼称「よし」のタイミングに合わせて、仮想同乗者による再度の「復唱」であってもよい(「連呼」)。
次いで、出力制御部126は、動作判定部123より通知された判定結果メッセージを音声出力部131を介して音声出力する(S51)。これにより、「よし」、「確認」などの音声や、クリア音などで適切な確認動作が行われていることを運転者に通知できる。その後、出力制御部126は、処理をリターンする。
S52において、動作判定部123は、運転者によって適切な確認動作が行われなかったと判定する。次いで、動作判定部123は、適切な確認動作が行われなかった場合に対応する判定結果メッセージおよび仮想出力者を予め設定された設定情報等から読み出し、出力制御部126に通知する(S53)。例えば、判定結果メッセージとしては、適切な確認動作が行われていないことを示す「未確認です」などの音声や、ビープ音などがある。また、仮想出力者は、"仮想同乗者全員"などであってもよい。
次いで、出力制御部126は、動作判定部123より通知された判定結果メッセージを音声出力部131を介して音声出力する(S54)。これにより、「未確認です」などの音声や、ビープ音などで適切に確認動作が行われていないことを運転者に通知できる。その後、出力制御部126は、処理をリターンする。
図6に戻り、S22に次いで、ハザードリスト生成部124は、周辺環境検出部116により検出された周辺環境情報に基いて、車両の周囲においてハザードとする対象物のハザードリストを更新(生成)する(S23)。
ここで、ハザードリスト更新(生成)処理の詳細について説明する。図9は、ハザードリスト生成処理の一例を示すフローチャートである。
図9に示すように、処理が開始されると、ハザードリスト生成部124は、周辺環境情報に基いて運転者が運転する車両の周辺にある車両を監視する(S60)。次いで、ハザードリスト生成部124は、監視の結果、周辺の車両における変化(例えば、新たな車両の検出、既に検出されている車両の位置、速度の変化等)が補足されたか否かを判定する(S61)。
変化が補足された場合(S61:YES)、ハザードリスト生成部124は、変化が補足された車両(周辺車)について、周辺環境情報に基いて、「先行車」、「後続車」などのラベルを付与し(S62)、車間・相対速度を計測する(S63)。次いで、ハザードリスト生成部124は、S62で付与されたラベルと、S63で計測された車間・相対速度などをもとに、変化が補足された車両(対象物)にかかる、ハザードリスト格納部128のハザードリストを更新する(S64)。
なお、変化が補足されない場合(S61:NO)、ハザードリスト生成部124は、S62、S63をスキップしてS64へ処理を進める。この場合、変化が補足された車両がないことから、ハザードリスト格納部128のハザードリストの内容は更新されず、そのままとなる。このS64の後、ハザードリスト生成部124は、処理をリターンする。
図6に戻り、S23に次いで、リスク評価部125は、ハザードリスト格納部128のハザードリストを参照し、視線検出部115により検出された視線方向情報をもとに、ハザードリストに含まれる対象物ごとの運転者の運転にかかるリスクを評価する(S24)。
ここで、リスク評価処理の詳細について説明する。図10は、リスク評価処理の一例を示すフローチャートである。
図10に示すように、処理が開始されると、リスク評価部125は、視線検出部115からの視線方向情報に基づいて運転者の視線を検知し、運転者の視野(中心視野および周辺視野)の方向を検知する(S70)。例えば、運転者の視線が前方である場合、中心視野は「前」となり、周辺視野は「右前」、「左前」などとなる。
次いで、リスク評価部125は、中心視野において視線が所定の期間留まる停留があったか否かを確認し(S71)、停留の有無を判定する(S72)。中心視野において停留があった場合(S72:YES)、リスク評価部125は、ハザードリスト格納部128に格納された位置情報をもとに、ハザードリストの対象物の中から中心視野内にある対象物(周辺車)を確認する(S73)。
次いで、リスク評価部125は、中心視野内にあると確認された対象物について、リスクの評価を行う。具体的には、リスク評価部125は、ハザードリスト格納部128のハザードリストに含まれる対象物にかかる位置情報、速度情報により、TTCなどのハザード情報を求める。次いで、リスク評価部125は、中心視野内において直近に確認された対象物として、忘却度をクリア(忘却なしを示す値にリセット)した上で、忘却度にハザード情報を掛け合わせてリスク値を推定する(S74)。
中心視野において停留がなかった場合(S72:NO)、リスク評価部125は、周辺視野において所定の期間留まる停留があったか否かを確認し(S75)、停留の有無を判定する(S76)。
周辺視野において停留がなかった場合(S76:NO)、リスク評価部125は、視野外にある対象物について、リスクの評価を行う。具体的には、リスク評価部125は、ハザードリスト格納部128のハザードリストに含まれる対象物にかかる位置情報、速度情報により、TTCなどのハザード情報を求める。次いで、リスク評価部125は、リスクテーブル格納部129より前回のリスク値を読み出し、視野外にある対象物として、忘却度を前回より増加した上で、忘却度にハザード情報を掛け合わせてリスク値を推定する(S77)。
周辺視野において停留があった場合(S76:YES)、リスク評価部125は、ハザードリスト格納部128に格納された位置情報をもとに、ハザードリストの対象物の中から周辺視野内にある対象物(周辺車)を確認する(S78)。
次いで、リスク評価部125は、周辺視野内にあると確認された対象物について、リスクの評価を行う。具体的には、リスク評価部125は、ハザードリスト格納部128のハザードリストに含まれる対象物にかかる位置情報、速度情報により、TTCなどのハザード情報を求める。次いで、リスク評価部125は、リスクテーブル格納部129より前回のリスク値を読み出し、周辺視野内において直近に確認された対象物として、忘却度を維持(前回と同値)した上で、忘却度にハザード情報を掛け合わせてリスク値を推定する(S79)。
図11は、リスク算出を説明する説明図である。図11に示すように、S74、S77、S79においては、ハザードリストに含まれる対象物ごとに、確認頻度に対応する忘却度と、位置関係、距離、相対速度などで算出されるTTCとを掛け合わせることで、リスク値を算出する。したがって、ハザードリストに含まれる対象物は、運転者の中心視野または周辺視野内にある頻度の高い対象物ほど、リスクがより低く評価される。逆に、運転者の視野外にある頻度の高い対象物ほど、リスクがより高く評価される。
S74、S77、S79に次いで、リスク評価部125は、対象物について推定したリスク値をもとに、リスクテーブル格納部129におけるリスクテーブルを更新し(S80)、処理をリターンする。
図6に戻り、S24に次いで、出力制御部126は、リスク評価部125より通知された、ハザードリストに含まれる対象物ごとのリスク値をもとに、リスク値が予め設定された閾値以上の対象物があるか否かを判定する(S25)。
リスク値が予め設定された閾値以上の対象物がある場合(S25:YES)、出力制御部126は、判定された対象物にかかる注意喚起メッセージを音声出力部131を介して音声出力し、運転者に対して呼称誘導を行う(S26)。リスク値が予め設定された閾値以上の対象物がない場合(S25:NO)、出力制御部126は、処理をリターンする。
具体的には、出力制御部126は、ハザードリスト格納部128を参照してリスク値が予め設定された閾値以上の対象物の位置情報を取得し、取得した位置情報をもとに、注意喚起メッセージにおける”確認すべき方向”と、対象物の位置とが一致する注意喚起メッセージを特定する。
図12は、ハザードマップおよびリスクマップの一例を説明する説明図である。図12におけるハザードマップ301は、ハザードリスト格納部128のハザードリストをマップ形式で例示したものである。同様に、リスクマップ302は、リスクテーブル格納部129の内容(自車310に対する対象物311〜314)をマップ形式で例示したものである。ここで、対象物311〜314のリスク値は、311<312<313<314と評価されており、対象物314のリスク値は、忘却度が高いことから、閾値以上であるものとする。
このように、リスク値が予め設定された閾値以上の対象物314の位置が”右側”である場合、出力制御部126は、情報特定部122より通知された注意喚起メッセージの中で、注意喚起メッセージにおける”確認すべき方向”が”右側”であるメッセージを特定する。
一例として、図4に例示した注意喚起メッセージの中でIDが”1”〜”3”のメッセージが情報特定部122より通知されているものとする。この場合、対象物の位置が”右側”であることから、出力制御部126は、「右、注意」とする注意喚起メッセージを特定する。
次いで、出力制御部126は、特定した注意喚起メッセージを、対象物にかかる注意喚起メッセージとして音声出力部131を介して音声出力する。これにより、運転支援装置100は、例えば、運転者の視野内に含まれる頻度が低く、運転者の認知が不十分な対象物にかかる注意喚起メッセージを運転者に提供できる。例えば、「右、注意」などの注意喚起メッセージを提供し、運転者に対して右側確認の呼称誘導を行うことができる。もちろん、句読点を強調することで単語の意味の強調も可能であることは言うまでもない。
図13は、確認動作の一例を説明する説明図である。リスク値が予め設定された閾値以上の対象物314の位置が”右側”である場合、図13の”♯3”のように、「右、注意!」などの注意喚起メッセージが運転者に提供される。これにより、運転者は、忘却度が高くなっていた対象物314を再認識することができ、”♯4”における「右、よし!」などの呼称確認を誘導できる。
また、出力制御部126は、”♯4”における適切な確認動作については、”5”のように、クリア音などの判定結果メッセージを出力する。これにより、運転支援装置100は、適切な確認動作が行われていることを運転者に通知できる。
図14は、対象物に対する運転者の忘却度の一例を説明する説明図である。図14は、対象物の認知度(高いほど忘却度合いが低く、忘却度とは逆となる値)のグラフ400を示し、縦軸は認知度の値、横軸は時間軸である。図14に示すように、運転者が視野内に対象物を捉える認知活動410が頻繁である場合は、対象物を忘却することなく、一定以上の認知度を保持している。運転支援装置100は、認知活動410に間隔が空いて、グラフ400が閾値401を下回ったところで(忘却度が閾値401を上回る)、報知411により注意喚起メッセージを運転者に提供する。これにより、運転者は、認知度が低くなった対象物を再認識することができる。
(変形例)
リスク評価処理については、運転者の視線だけでなく、対象物に対する運転操作(アクセル減など)が行われ、対象物に対するリスクを運転者が予測(認知)しているか否かをもとに行ってもよい。
図15は、リスク評価処理の変形例を示すフローチャートである。図15に示すように、リスク評価部125は、車両制御ECU112からの運転操作情報をもとに、中心視野内の周辺車に対する運転操作(アクセル減)の有無を判定する(S81)。運転操作があった場合(S81:YES)、リスクテーブル格納部129における周辺車のフラグ情報にリスク予測フラグを格納する(S82)。
次いで、リスク評価部125は、S74、S77、S79において、リスク予測フラグの有無に応じて、リスク値を算出する。具体的には、リスク予測フラグがある場合は、対象物に対するリスクを運転者が予測(認知)していることから、無い場合に較べてリスク値を低く算出する。
また、出力制御部126は、確認動作判定処理(S40〜S54)の結果をもとに、確認動作の有無を車両の外側に設けられた表示装置に表示させてもよい。
図16は、乗り物外への報知例を説明する説明図である。図16に示すように、出力制御部126は、確認前については、サイドミラーに設けられた表示灯132aを注意喚起を示す点灯表示(例えば黄色表示)とする(S90)。次いで、確認動作判定処理において運転者Dにより適切な確認動作が行われたと判定された場合、出力制御部126は、表示灯132aを安全確認を示す点灯表示(例えば青色表示)とする(S91)。
逆に、確認動作判定処理において運転者Dにより適切な確認動作が行われなかったと判定された場合、出力制御部126は、表示灯132aを無確認を示す点灯表示(例えば赤色表示)とする(S92)。このように、車外に設けられた表示灯132aにおいて、運転者Dの確認動作の有無を示す表示出力を行うことで、例えば、車車間で相互の安全確認を行うことができる。
また、リスク評価部125は、運転者Dなどにより設定された運転モード(自動運転モード、高速運転モード、先行車追従モード、手動運転モード等)に応じて、リスク値の評価を行う閾値を設定してもよい。例えば、自動運転モードから手動運転モードに切り替えた直後などは、自動運転モードに慣れた緩慢な認知活動となっている場合がある。よって、自動運転モードから手動運転モードに切り替えた直後などでは、閾値を低く設定し、注意喚起メッセージが出力される頻度を高めてももい。また、自動運転モードでは、手動運転モードほどの認知活動が不要となることから、閾値を高く設定し、注意喚起メッセージが出力される頻度を低くしてもよい。
(第2の実施形態)
上記の第1の実施形態では運転支援装置100単体の構成を例示したが、運転支援装置100とは別に運転支援用ECU120と同様の機能を有するサーバ装置を用意し、通信ネットワークを介して互いに接続する運転支援装置100とサーバ装置とが協働して上記の機能を実現してもよい。
図17は、第2の実施形態にかかる運転支援システムの構成例を示すブロック図である。図17に示すように、運転支援システム500は、運転支援装置100A、100Bと、サーバ装置501とが、無線LANなどの通信ネットワークNを介して互いに通信可能に接続されている。サーバ装置501は、上記の運転支援用ECU120における状況判定部121、情報特定部122、動作判定部123、ハザードリスト生成部124およびリスク評価部125などの機能を通信ネットワークNを介して接続する運転支援装置100A、100B…に提供する。また、サーバ装置501は、動作情報格納部127の他、運転支援装置100A、100B…ごとのハザードリスト、リスクテーブルを格納するハザードリスト格納部128およびリスクテーブル格納部129を有する。
このような運転支援システム500構成とすることで、サーバ装置501では、運転支援装置100A、100B…ごとの情報の一部を互いに補間できるというメリットがある。例えば、位置の近い車両同士のハザードリストにおいて、一方のハザードリストに不足している対象物を他方のハザードリストの内容から補間することができる。
以上のように、運転支援装置100は、周辺環境検出部116と、ハザードリスト生成部124と、視線検出部115と、リスク評価部125と、出力制御部126とを有する。周辺環境検出部116は、運転者が運転する乗り物の周囲の環境を検出する。ハザードリスト生成部124は、検出された環境に基づいてハザードとする対象物のハザードリストを生成する。視線検出部115は、運転者の視線を検出する。リスク評価部125は、検出された視線に基づく運転者の視野内にハザードリストに含まれる対象物が含まれる頻度に基いて、ハザードリストに含まれる対象物ごとの運転者の運転にかかるリスクを評価する。出力制御部126は、評価されたリスクが閾値以上の対象物に対応する運転支援情報を出力させる。
これにより、運転支援装置100は、過度な運転支援を抑止でき、運転者に対して適度な運転支援を実現できる。例えば、運転支援装置100は、運転者の視野内に含まれる頻度が高く、運転者が十分に認知している対象物については運転支援情報を提供することなく、対象物に対する運転者の認知活動を妨げないようにする。また、運転支援装置100は、運転者の視野内に含まれる頻度が低く、運転者の認知が不十分な対象物については運転支援情報を提供し、運転者が対象物を忘却することを抑止する。
また、リスク評価部125は、検出された視線に基づく運転者の視野内にハザードリストに含まれる対象物が含まれるか否かに基いて対象物に対する運転者の忘却度合いを示す忘却度を算出する。そして、リスク評価部125は、算出した忘却度と、ハザードリストに含まれる対象物ごとの乗り物までの衝突時間とに基いてリスクを評価する。このように、対象物に対する運転者の忘却度、すなわち対象物の認知度合いと、対象物が車両に衝突する衝突時間、すなわち対象物の客観的なリスクとでリスク評価を行うことで、ハザードリストに含まれる対象物のリスク評価を適切に行うことができる。
また、リスク評価部125は、運転者の視線に基づく運転者の中心視野内に対象物が含まれる場合、対象物の忘却度の値をリセットする。また、運転者の視線に基づく運転者の周辺視野内に対象物が含まれる場合には、対象物の忘却度の値を維持する。また、運転者の視線に基づく運転者の中心視野および周辺視野内に対象物が含まれない場合には、対象物の忘却度の値を増加する。このように、対象物について、運転者の中心視野、周辺視野、そのどちらにも含まれない場合で対象物に対する運転者の忘却度の評価を変えることで、各対象物のリスク評価を適切に行うことができる。
なお、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
また、運転支援装置100、100A、100B、サーバ装置501で行われる各種処理機能は、CPU(またはMPU、MCU(Micro Controller Unit)等のマイクロ・コンピュータ)上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、CPU(またはMPU、MCU等のマイクロ・コンピュータ)で解析実行されるプログラム上、またはワイヤードロジックによるハードウエア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。また、サーバ装置501で行われる各種処理機能は、クラウドコンピューティングにより、複数のコンピュータが協働して実行してもよい。
上記の実施形態で説明した各種処理機能は、予め用意されたプログラムをコンピュータで実行することで実現できる。このプログラムは、コンピュータのメモリなどに記憶されていなくてもよい。例えば、コンピュータが読み取り可能な記憶媒体に記憶されたプログラムを読み出して実行するようにしてもよい。コンピュータが読み取り可能な記憶媒体は、例えば、CD−ROMやDVDディスク、USB(Universal Serial Bus)メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、LAN等に接続された装置にプログラムを記憶させておき、コンピュータがこれらからプログラムを読み出して実行するようにしてもよい。
100、100A、100B…運転支援装置
111…ナビゲーション装置
112…車両制御ECU
113…ジェスチャ検出部
114…音声検出部
115…視線検出部
116…周辺環境検出部
120…運転支援用ECU
121…状況判定部
122…情報特定部
123…動作判定部
124…ハザードリスト生成部
125…リスク評価部
126…出力制御部
127…動作情報格納部
128…ハザードリスト格納部
129…リスクテーブル格納部
131…音声出力部
132…表示出力部
132a…表示灯
133…通信部
201…CPU
202…ROM
203…RAM
204…接続装置
205…バス
301…ハザードマップ
310…自車
311〜314…対象物
302…リスクマップ
400…グラフ
401…閾値
410…認知活動
411…報知
500…運転支援システム
501…サーバ装置
D…運転者
N…通信ネットワーク

Claims (7)

  1. 運転者が運転する乗り物の周囲の環境を検出する環境検出部と、
    検出された前記環境に基づいてハザードとする対象物のハザードリストを生成するリスト生成部と、
    前記運転者の視線を検出する視線検出部と、
    検出された前記視線に基づく前記運転者の視野内に前記ハザードリストに含まれる対象物が含まれる頻度に基いて、前記ハザードリストに含まれる対象物ごとの前記運転者の運転にかかるリスクを評価するリスク評価部と、
    前記運転者が操作する乗り物の状況を判定する状況判定部と、
    判定された前記状況に基いて、前記運転者に対して注意喚起を行うための、特定の仮想同乗者が対応付けられたメッセージを特定するメッセージ特定部と、
    判定された前記状況に対応する確認動作を運転者が行ったか否かを判定する動作判定部と、
    評価された前記リスクが閾値以上の対象物に対応する運転支援情報を出力させる出力制御部と、
    を有し、
    前記出力制御部は、
    前記リスクが閾値以上の対象物の方向に応じた前記特定の仮想同乗者の位置が音源となるように前記運転支援情報を出力させるとともに、特定された前記メッセージの中で、評価された前記リスクが閾値以上の対象物に対応するメッセージを前記特定の仮想同乗者の位置が音源となるように出力させ、前記確認動作を行ったと判定した場合、当該確認動作に対応するメッセージを前記特定の仮想同乗者の位置が音源となるように出力させる、
    ことを特徴とする運転支援装置。
  2. 前記リスク評価部は、検出された前記視線に基づく前記運転者の視野内に前記ハザードリストに含まれる対象物が含まれるか否かに基いて前記対象物に対する運転者の忘却度合いを示す忘却度を算出し、当該算出した忘却度と、前記ハザードリストに含まれる対象物ごとの前記乗り物までの衝突時間とに基いて前記リスクを評価する、
    ことを特徴とする請求項1に記載の運転支援装置。
  3. 前記リスク評価部は、前記視線に基づく前記運転者の中心視野内に前記対象物が含まれる場合、当該対象物の忘却度の値をリセットし、前記視線に基づく前記運転者の周辺視野内に前記対象物が含まれる場合、当該対象物の忘却度の値を維持し、前記視線に基づく前記運転者の中心視野および周辺視野内に前記対象物が含まれない場合、当該対象物の忘却度の値を増加する、
    ことを特徴とする請求項2に記載の運転支援装置。
  4. 前記出力制御部は、前記確認動作の有無を前記乗り物の外側に設けられた表示装置に表示させる、
    ことを特徴とする請求項に記載の運転支援装置。
  5. 前記出力制御部は、前記乗り物の運転モードに基づく閾値を設定する、
    ことを特徴とする請求項1に記載の運転支援装置。
  6. 運転支援装置と、サーバ装置とが通信ネットワークを介して通信可能に接続される運転支援システムであって、
    前記運転支援装置は、
    運転者が運転する乗り物の周囲の環境を検出する環境検出部と、
    前記運転者の視線を検出する視線検出部と、を有する運転支援装置と、を有し、
    前記サーバ装置は、
    検出された前記環境に基づいてハザードとする対象物のハザードリストを生成するリスト生成部と、
    検出された前記視線に基づく前記運転者の視野内に前記ハザードリストに含まれる対象物が含まれる頻度に基いて、前記ハザードリストに含まれる対象物ごとの前記運転者の運転にかかるリスクを評価するリスク評価部と、
    前記運転者が操作する乗り物の状況を判定する状況判定部と、
    判定された前記状況に基いて、前記運転者に対して注意喚起を行うための、特定の仮想同乗者が対応付けられたメッセージを特定するメッセージ特定部と、
    判定された前記状況に対応する確認動作を運転者が行ったか否かを判定する動作判定部と、
    評価された前記リスクが閾値以上の対象物に対応する運転支援情報を前記運転支援装置より出力させる出力制御部と、
    を有し、
    前記出力制御部は、
    前記リスクが閾値以上の対象物の方向に応じた前記特定の仮想同乗者の位置が音源となるように前記運転支援情報を出力させるとともに、特定された前記メッセージの中で、評価された前記リスクが閾値以上の対象物に対応するメッセージを前記特定の仮想同乗者の位置が音源となるように出力させ、前記確認動作を行ったと判定した場合、当該確認動作に対応するメッセージを前記特定の仮想同乗者の位置が音源となるように出力させることを特徴とする運転支援システム。
  7. 運転者が運転する乗り物の周囲の環境を検出する環境検出部より検出された前記環境に基づいてハザードとする対象物のハザードリストを生成し、
    前記運転者の視線を検出する視線検出部より検出された前記視線に基づく前記運転者の視野内に前記ハザードリストに含まれる対象物が含まれる頻度に基いて、前記ハザードリストに含まれる対象物ごとの前記運転者の運転にかかるリスクを評価し、
    前記運転者が操作する乗り物の状況を判定し、
    判定された前記状況に基いて、前記運転者に対して注意喚起を行うための、特定の仮想同乗者が対応付けられたメッセージを特定し、
    判定された前記状況に対応する確認動作を運転者が行ったか否かを判定し、
    評価された前記リスクが閾値以上の対象物に対応する運転支援情報を出力させる処理をコンピュータが実行し、
    前記出力させる処理は、
    前記リスクが閾値以上の対象物の方向に応じた前記特定の仮想同乗者の位置が音源となるように前記運転支援情報を出力させるとともに、特定された前記メッセージの中で、評価された前記リスクが閾値以上の対象物に対応するメッセージを前記特定の仮想同乗者の位置が音源となるように出力させ、前記確認動作を行ったと判定した場合、当該確認動作に対応するメッセージを前記特定の仮想同乗者の位置が音源となるように出力させることを特徴とする運転支援方法。
JP2019521624A 2017-05-31 2017-05-31 運転支援装置、運転支援システムおよび運転支援方法 Active JP6860068B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/020364 WO2018220774A1 (ja) 2017-05-31 2017-05-31 運転支援装置、運転支援システムおよび運転支援方法

Publications (2)

Publication Number Publication Date
JPWO2018220774A1 JPWO2018220774A1 (ja) 2020-05-21
JP6860068B2 true JP6860068B2 (ja) 2021-04-14

Family

ID=64454571

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019521624A Active JP6860068B2 (ja) 2017-05-31 2017-05-31 運転支援装置、運転支援システムおよび運転支援方法

Country Status (4)

Country Link
US (1) US11276313B2 (ja)
EP (1) EP3633650A4 (ja)
JP (1) JP6860068B2 (ja)
WO (1) WO2018220774A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7155991B2 (ja) * 2018-12-17 2022-10-19 トヨタ自動車株式会社 報知装置
US10971005B1 (en) * 2019-12-26 2021-04-06 Continental Automotive Systems, Inc. Determining I2X traffic-participant criticality
JP2021144505A (ja) * 2020-03-12 2021-09-24 パナソニックIpマネジメント株式会社 推定装置および推定方法
JP7560955B2 (ja) 2020-04-20 2024-10-03 株式会社小松製作所 ショベル、作業機械の障害物報知システムおよびショベルの障害物報知方法
DE102020112270A1 (de) * 2020-05-06 2021-11-11 Audi Aktiengesellschaft Lokalisierung von V2X-fähigen Nachbarfahrzeugen

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2929927B2 (ja) 1993-12-14 1999-08-03 日産自動車株式会社 走行情報提供装置
JP3965538B2 (ja) 1998-02-27 2007-08-29 株式会社エクォス・リサーチ エージェント装置
US6249720B1 (en) 1997-07-22 2001-06-19 Kabushikikaisha Equos Research Device mounted in vehicle
JP5179686B2 (ja) 2001-09-25 2013-04-10 株式会社豊田中央研究所 運転行動危険度演算装置
JP4211501B2 (ja) 2003-06-11 2009-01-21 日産自動車株式会社 車両用運転支援装置
JP2006219077A (ja) 2005-02-14 2006-08-24 Denso Corp 危険個所、障害物等の呼称運転支援装置
JP2007094618A (ja) * 2005-09-28 2007-04-12 Omron Corp 通知制御装置および方法、記録媒体、並びに、プログラム。
JP2008040974A (ja) 2006-08-09 2008-02-21 Denso Corp 運転支援装置
JP4946661B2 (ja) * 2007-06-27 2012-06-06 トヨタ自動車株式会社 車両用警報表示装置
JP5530106B2 (ja) * 2009-02-05 2014-06-25 富士重工業株式会社 運転行動誘導システム
JP2013514592A (ja) * 2009-12-18 2013-04-25 本田技研工業株式会社 視線技術、死角インジケータ及びドライバ経験を用いる予測ヒューマン・マシン・インタフェース
US8384534B2 (en) * 2010-01-14 2013-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Combining driver and environment sensing for vehicular safety systems
JP5664202B2 (ja) * 2010-12-15 2015-02-04 トヨタ自動車株式会社 運転支援装置
JP2013242763A (ja) * 2012-05-22 2013-12-05 Clarion Co Ltd 対話装置、対話システム、および対話制御方法
US8854447B2 (en) * 2012-12-21 2014-10-07 United Video Properties, Inc. Systems and methods for automatically adjusting audio based on gaze point
US9505413B2 (en) * 2015-03-20 2016-11-29 Harman International Industries, Incorporated Systems and methods for prioritized driver alerts
JP2017068641A (ja) * 2015-09-30 2017-04-06 ヤマハ株式会社 障害物報知装置
JP6786807B2 (ja) 2016-02-01 2020-11-18 富士通株式会社 注意喚起プログラム、注意喚起装置、注意喚起方法及び注意喚起システム
US10196058B2 (en) * 2016-11-28 2019-02-05 drive.ai Inc. Method for influencing entities at a roadway intersection

Also Published As

Publication number Publication date
EP3633650A4 (en) 2020-07-08
JPWO2018220774A1 (ja) 2020-05-21
EP3633650A1 (en) 2020-04-08
WO2018220774A1 (ja) 2018-12-06
US11276313B2 (en) 2022-03-15
US20200090518A1 (en) 2020-03-19

Similar Documents

Publication Publication Date Title
JP6860068B2 (ja) 運転支援装置、運転支援システムおよび運転支援方法
US9881503B1 (en) Vehicle-to-pedestrian-communication systems and methods for using the same
US20200398743A1 (en) Method and apparatus for learning how to notify pedestrians
US9884583B2 (en) Method and apparatus for operating a signal system, signal system, vehicle
JP5718942B2 (ja) 輸送手段の安全な運転を補助する装置及び方法
JP4967015B2 (ja) 安全運転支援装置
JP2024063147A (ja) 車載装置
EP2549456A1 (en) Driving assistance device
JP2017174355A (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、運転支援システム、プログラム
JP2017178267A (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム
JP6773488B2 (ja) 交通参加者の注意度を改善する方法及びシステム
JP7079069B2 (ja) 情報提示制御装置、自動運転車、及び自動運転車運転支援システム
JP2019109591A (ja) 自動運転支援装置
CN110383361B (zh) 用于在光信号设备处提醒驾驶员起动的方法和装置
JP7180421B2 (ja) 車両制御装置
JP2023171385A (ja) 情報提供システム
JP2010146459A (ja) 運転支援装置
JP4462895B2 (ja) 車載用物体認識システムおよびこれを用いた運転支援システム
JPWO2019220229A1 (ja) Ecu及び車線逸脱警告システム
JP4581528B2 (ja) 車載制御装置
JP2016224553A (ja) 車両用交通情報表示システム
JP2008310690A (ja) 車両用認知支援装置
JP2002049998A (ja) 運転支援装置
KR101491177B1 (ko) 나이트 뷰 시스템 및 제어방법
CN109416887B (zh) 识别控制对象车辆报知装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190902

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210309

R150 Certificate of patent or registration of utility model

Ref document number: 6860068

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150