JP2024046094A - 通知装置、通知方法、および通知用コンピュータプログラム - Google Patents
通知装置、通知方法、および通知用コンピュータプログラム Download PDFInfo
- Publication number
- JP2024046094A JP2024046094A JP2022151276A JP2022151276A JP2024046094A JP 2024046094 A JP2024046094 A JP 2024046094A JP 2022151276 A JP2022151276 A JP 2022151276A JP 2022151276 A JP2022151276 A JP 2022151276A JP 2024046094 A JP2024046094 A JP 2024046094A
- Authority
- JP
- Japan
- Prior art keywords
- message
- notification
- vehicle
- driver
- notified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 11
- 238000004590 computer program Methods 0.000 title claims description 6
- 230000001419 dependent effect Effects 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 10
- 230000001815 facial effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
【課題】状況に応じたメッセージを車両の運転者に適切に通知することができる通知装置を提供する。【解決手段】通知装置は、メッセージテーブルを参照して、車両の周辺の状況または運転者の状況に該当する第1条件を特定し、特定された第1条件に関連付けられたメッセージを選択し、選択された第1条件に関連付けられたメッセージのうち、運転者の状況に該当する第2条件に関連付けられたメッセージを選択し、選択された第2条件に関連付けられたメッセージのうち、最終通知時が記録されていないメッセージ、または、最終通知時が記録され、かつ、再通知要否において再通知が必要と示されているメッセージを通知対象メッセージとして特定し、通知対象メッセージを、出力機器を介して運転者に通知する。【選択図】図5
Description
本開示は、車両の運転者にメッセージを通知する通知装置、通知方法、および通知用コンピュータプログラムに関する。
車両の運転者の状況に応じてメッセージを通知する通知装置が知られている。特許文献1には、運転者画像および車両の周囲の走行環境に基づいて推定される運転者の運転意識に関する運転構え度を用いて、ディスプレイへの画像表示などによる注意喚起を行う運転意識推定装置が記載されている。
運転支援機能を有する車両の走行制御装置は、線維持走行、車線変更、渋滞走行といったさまざまな状況に応じて、運転者の運転操作の支援を行う。運転支援機能による支援が行われる状況は多岐にわたり、運転者が様々な状況のそれぞれに対応した運転支援機能およびその限界をすべて把握し、適切に振る舞うことは必ずしも容易ではない。そのため、さまざまな状況に応じて、その状況に対応する運転支援機能を説明するメッセージを運転者に適切に通知することが求められている。
本開示は、状況に応じたメッセージを車両の運転者に適切に通知することができる通知装置を提供することを目的とする。
本開示にかかる通知装置は、車両の運転者に通知される複数のメッセージのそれぞれに、当該メッセージを通知すべき車両の周辺の状況を表す第1条件と、当該メッセージの通知に適した運転者の状況を表す第2条件と、当該メッセージの最終通知時と、当該メッセージの再通知が必要か否かを示す再通知要否と、が関連付けられたメッセージテーブルを参照して、複数のメッセージのうち、車両に搭載された測位センサまたは周辺センサの出力信号を用いて特定された車両の周辺の状況に該当する第1条件に関連付けられた少なくとも一つのメッセージを選択する第1選択部と、メッセージテーブルを参照して、選択された少なくとも一つのメッセージのうち、車両に搭載された車内センサの出力信号を用いて特定された運転者の状況に該当する第2条件に関連付けられた少なくとも一つのメッセージを選択する第2選択部と、メッセージテーブルを参照して、選択された第2条件に関連付けられた少なくとも一つのメッセージのうち、最終通知時が記録されていないメッセージ、または、最終通知時が記録され、かつ、再通知要否において再通知が必要と示されているメッセージを通知対象メッセージとして特定する特定部と、通知対象メッセージを、出力機器を介して運転者に通知する通知部と、を備える。
本開示にかかる通知装置において、メッセージテーブルは、複数のメッセージのそれぞれに、当該メッセージを通知すべき状況に対応する自動運転レベルをさらに関連付けており、第1選択部は、特定された第1条件に関連付けられたメッセージのうち、車両の自動運転レベルに対応する自動運転レベルが関連付けられたメッセージを選択することが好ましい。
本開示にかかる通知装置は、車内センサの出力信号を用いて、通知されたメッセージを運転者が認識したことが確認された場合、確認された時刻を最終通知時としてメッセージテーブルを更新する更新部をさらに備えることが好ましい。
本開示にかかる通知装置は、車内センサの出力信号を用いて、複数の前記運転者から車内センサの出力信号に表される運転者を識別する識別部をさらに備え、更新部は、通知されたメッセージを識別された運転者が認識したことが確認された場合、確認された時刻を、識別された運転者についての最終通知時としてメッセージテーブルを更新することが好ましい。
本開示にかかる通知装置において、特定部は、最終通知時が記録され、かつ、再通知要否において再通知が必要であることが示されているメッセージのうち、最終通知時から現在時刻までの時間間隔が所定の間隔閾値を超えるメッセージを通知対象メッセージとして特定することが好ましい。
本開示にかかる通知方法は、車両の運転者に通知される複数のメッセージのそれぞれに、当該メッセージを通知すべき車両の周辺の状況を表す第1条件と、当該メッセージの通知に適した運転者の状況を表す第2条件と、当該メッセージの最終通知時と、当該メッセージの再通知が必要か否かを示す再通知要否と、が関連付けられたメッセージテーブルを参照して、複数のメッセージのうち、車両に搭載された測位センサまたは周辺センサの出力信号を用いて特定された車両の周辺の状況に該当する第1条件に関連付けられた少なくとも一つのメッセージを選択し、メッセージテーブルを参照して、選択された少なくとも一つのメッセージのうち、車両に搭載された車内センサの出力信号を用いて特定された運転者の状況が満足する第2条件に関連付けられた少なくとも一つのメッセージを選択し、メッセージテーブルを参照して、選択された第2条件に関連付けられた少なくとも一つのメッセージのうち、最終通知時が記録されていないメッセージ、または、最終通知時が記録され、かつ、再通知要否において再通知が必要と示されているメッセージを通知対象メッセージとして特定し、通知対象メッセージを、出力機器を介して運転者に通知する、ことを含む。
本開示にかかる通知用コンピュータプログラムは、車両の運転者に通知される複数のメッセージのそれぞれに、当該メッセージを通知すべき車両の周辺の状況を表す第1条件と、当該メッセージの通知に適した運転者の状況を表す第2条件と、当該メッセージの最終通知時と、当該メッセージの再通知が必要か否かを示す再通知要否と、が関連付けられたメッセージテーブルを参照して、複数のメッセージのうち、車両に搭載された測位センサまたは周辺センサの出力信号を用いて特定された車両の周辺の状況に該当する第1条件に関連付けられた少なくとも一つのメッセージを選択し、メッセージテーブルを参照して、選択された少なくとも一つのメッセージのうち、車両に搭載された車内センサの出力信号を用いて特定された運転者の状況に該当する第2条件に関連付けられた少なくとも一つのメッセージを選択し、メッセージテーブルを参照して、選択された第2条件に関連付けられた少なくとも一つのメッセージのうち、最終通知時が記録されていないメッセージ、または、最終通知時が記録され、かつ、再通知要否において再通知が必要と示されているメッセージを通知対象メッセージとして特定し、通知対象メッセージを、出力機器を介して運転者に通知する、ことをコンピュータに実行させる。
本開示にかかる通知装置は、状況に応じたメッセージを車両の運転者に適切に通知することができる。
以下、図面を参照して、状況に応じたメッセージを車両の運転者に適切に通知することができる通知装置について詳細に説明する。通知装置は、メッセージテーブルを参照して、車両の運転者に通知される複数のメッセージのうち、車両の周辺の状況または運転者の状況に該当する第1条件を特定し、特定された第1条件に関連付けられた少なくとも一つのメッセージを選択する。メッセージテーブルには、複数のメッセージのそれぞれに、当該メッセージを通知すべき車両の周辺の状況を表す第1条件と、当該メッセージの通知を受けるのに適した運転者の状況を表す第2条件と、当該メッセージの最終通知時と、当該メッセージの再通知が必要か否かを示す再通知要否とが関連付けられている。車両の周辺の状況は、車両に搭載された測位センサまたは周辺センサの出力信号を用いて特定される。運転者の状況は、車両に搭載された車内センサの出力信号を用いて特定される。通知装置は、メッセージテーブルを参照して、選択された少なくとも一つのメッセージのうち、運転者の状況に該当する第2条件に関連付けられた少なくとも一つのメッセージを選択する。通知装置は、メッセージテーブルを参照して、選択された第2条件に関連付けられた少なくとも一つのメッセージのうち、最終通知時が記録されていないメッセージ、または、最終通知時が記録され、かつ、再通知要否において再通知が必要と示されているメッセージを通知対象メッセージとして特定する。そして、通知装置は、通知対象メッセージを、出力機器を介して運転者に通知する。
図1は、通知装置が実装される車両の概略構成図である。
車両1は、周辺カメラ2と、ドライバモニタカメラ3と、メーターディスプレイ4と、GNSS受信機5と、ストレージ装置6と、通知装置7とを有する。周辺カメラ2、ドライバモニタカメラ3、メーターディスプレイ4、GNSS(Global Navigation Satellite System)受信機5、およびストレージ装置6と、通知装置7とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。
周辺カメラ2は、車両の周辺の状況が表された出力信号を生成するための周辺センサの一例である。周辺カメラ2は、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された2次元検出器と、その2次元検出器上の撮影対象となる領域の像を結像する結像光学系とを有する。周辺カメラ2は、例えば車室内の前方上部に、前方を向けて配置され、所定の撮影周期(例えば1/30秒~1/10秒)ごとにフロントガラスを介して車両1の周辺の状況を撮影し、周辺の状況が表された周辺画像を出力する。
ドライバモニタカメラ3は、車両の運転者の状況が表された出力信号を生成するための車内センサの一例である。ドライバモニタカメラ3は、CCDあるいはC-MOSなど、赤外光に感度を有する光電変換素子のアレイで構成された2次元検出器と、その2次元検出器上の撮影対象となる領域の像を結像する結像光学系とを有する。また、ドライバモニタカメラ3は、赤外光を発する光源を有する。ドライバモニタカメラ3は、例えば車室内の前方に、運転者シートに着座する運転者の顔に向けて取り付けられる。ドライバモニタカメラ3は、所定の撮影周期(例えば1/30秒~1/10秒)ごとに運転者に赤外光を照射し、運転者の顔が表された顔画像を時系列に出力する。
メーターディスプレイ4は、出力機器の一例であり、例えば液晶ディスプレイを有する。メーターディスプレイ4は、車内ネットワークを介して通知装置7から受け取った信号に従って、メッセージを運転者に通知する画面を表示する。メーターディスプレイ4は、液晶ディスプレイに重畳して、運転者の操作を検出するタッチパネルを有していてもよい。この場合、タッチパネルは、車両の運転者の状況が表された出力信号を生成するための車内センサの一例である。
GNSS受信機5は、測位センサの一例であり、所定の周期ごとにGNSS衛星からのGNSS信号を受信し、受信したGNSS信号に基づいて車両1の自己位置を測位する。GNSS受信機5は、所定の周期ごとに、GNSS信号に基づく車両1の自己位置の測位結果を表す測位信号を、車内ネットワークを介して通知装置7へ出力する。
ストレージ装置6は、記憶部の一例であり、例えば、ハードディスク装置、または不揮発性の半導体メモリを有する。ストレージ装置6は、高精度地図を記憶する。高精度地図には、例えば、その高精度地図に表される所定の領域に含まれる各道路の属性(自動車専用道路、高速道路、一般道路等)を表す情報が含まれる。
通知装置7は、通信インタフェースと、メモリと、プロセッサとを備えるECU(Electronic Control Unit)である。通知装置7は、周辺カメラ2およびドライバモニタカメラ3のそれぞれの出力信号を用いて、メモリに保存されたメッセージを選択し、メーターディスプレイ4に選択されたメッセージを表示する。
図3は、通知装置7のハードウェア模式図である。
通信インタフェース71は、通信部の一例であり、通知装置7を車内ネットワークへ接続するための通信インタフェース回路を有する。通信インタフェース71は、受信したデータをプロセッサ73に供給する。また、通信インタフェース71は、プロセッサ73から供給されたデータを外部に出力する。
メモリ72は、記憶部の他の一例であり、揮発性の半導体メモリおよび不揮発性の半導体メモリを有する。メモリ72は、プロセッサ73による処理に用いられる各種データ、例えば、車両1の運転者に通知される複数のメッセージのそれぞれに、第1条件と、第2条件と、最終通知時と、再通知要否とが関連付けられたメッセージテーブルを保存する。また、メモリ72は、各種アプリケーションプログラム、例えば通知処理を実行する通知用コンピュータプログラム等を保存する。
図3は、メッセージテーブルの例を説明する図である。
メモリ72は、メッセージテーブル721を保存する。メッセージテーブル721では、複数のメッセージのそれぞれに、「自動運転レベル」と、「第1条件」と、「第2条件」と、「最終通知時」と、「再通知要否」とが関連付けられている。
メッセージは、車両1の運転者に通知される内容を表す文字列情報である。メッセージは、車両1の運転者に通知される内容を表す画像情報または音声情報であってもよい。
「自動運転レベル」は、複数のメッセージのそれぞれを通知すべき状況に対応する車両1の自動運転レベルを表す情報である。車両1は、車内ネットワークに接続された走行制御装置(不図示)が車両1のエンジンまたはモーター、ブレーキ、ステアリング機構といった走行機構(不図示)に制御信号を出力することにより、所定の自動運転レベルによって走行制御される。自動運転レベルは、走行制御装置により制御される動作の内容、走行監視の主体等に基づいて予め定義されている。例えば、あるメッセージにおいて、「自動運転レベル」が「Lv2」である場合、そのメッセージが、車両1が自動運転レベル2で走行制御されているときに通知すべきメッセージであることを表している。
「第1条件」は、複数のメッセージのそれぞれを通知すべき車両の周辺の状況を表す条件である。例えば、あるメッセージにおいて「第1条件」が「高速道/自専道」である場合、そのメッセージが、車両1の周辺が高速道路または自動車専用道路である(車両1が高速道路または自動車専用道路を走行している)ときに通知すべきメッセージであることを表している。
「第2条件」は、メッセージの通知に適した運転者の状況を表す条件である。例えば、あるメッセージにおいて「第2条件」が「NDRA中」である場合、そのメッセージが、車両1の運転者が非運転行動(Non-Driving Related Activity、例えばスマートフォンの操作)を行っているときに通知すべきメッセージであることを表している。
「最終通知時」は、メッセージが最後に通知された日時を表す情報である。「最終通知時」は、日付および時刻で表されていてもよく、日付のみで表されていてもよい。まだ表示されていないメッセージでは、「最終通知時」として「-」が保存される。まだ表示されていないメッセージの「最終通知時」は、「-」以外の情報(例えば「未通知」、「0」(null)など)により表されてもよい。
「再通知要否」は、メッセージの再通知が必要か否かを表す情報である。通知装置7は、「最終通知時」に所定の日時が保存されているメッセージ(すでに通知されたメッセージ)を原則として通知対象から除外する。あるメッセージにおいて「再通知要否」が「要」である場合、そのメッセージが、「最終通知時」に所定の日時が保存されているか否かにかかわらず、通知対象とすべきメッセージであることを表している。
メッセージテーブル721のうち、「メッセージ」、「自動運転レベル」、「第1条件」、「第2条件」は、所定の管理者により予め設定される。「最終通知時」は、当該メッセージが通知装置7による車両1の運転者への通知に応じて保存される、その通知日時である。「再通知要否」は、通知装置7が提供する所定のユーザインタフェースを介して受け付ける車両1の運転者の操作(例えば要否問合せメッセージを表示するメーターディスプレイ4のタッチパネルへのタッチ)に応じて保存される。なお、管理者は、繰り返し通知すべき所定のメッセージの「再通知要否」を、予め「要」に設定してもよい。
図2に戻り、プロセッサ73は、制御部の一例であり、1以上のプロセッサおよびその周辺回路を有する。プロセッサ73は、論理演算ユニット、数値演算ユニット、またはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。
図4は、通知装置7が有するプロセッサ73の機能ブロック図である。
通知装置7のプロセッサ73は、機能ブロックとして、第1選択部731と、第2選択部732と、特定部733と、通知部734と、識別部735と、更新部736とを有する。プロセッサ73が有するこれらの各部は、プロセッサ73上で実行されるプログラムによって実装される機能モジュールである。プロセッサ73の各部の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。あるいは、プロセッサ73が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、またはファームウェアとして通知装置7に実装されてもよい。
第1選択部731は、GNSS受信機5が出力する測位信号、または、周辺カメラ2が出力する周辺画像を用いて、車両1の周辺の状況を特定する。例えば、第1選択部731は、ストレージ装置6に記憶された高精度地図を参照し、測位信号により表される地点の道路の種類を特定する。そして第1選択部731は、メッセージテーブル721に含まれるメッセージのうち、そのメッセージと関連付けられた第1条件として示された道路の種類と特定された道路の種類とが一致しているメッセージを選択する。
また、第1選択部731は、通信インタフェース71および車内ネットワークに接続されたデータ通信モジュール(不図示)を介してVICS(登録商標、Vehicle Information and Communication System)センタから、測位信号により表される地点の周辺の渋滞情報を取得してもよい。第1選択部731は、車両1の前方に渋滞が発生していることを検出した場合、メッセージテーブル721に含まれるメッセージのうち、そのメッセージと関連付けられた第1条件に、前方における渋滞の存在を含むメッセージを選択する。
また、第1選択部731は、画像から車両が表された領域を検出するよう予め学習された識別器に周辺画像を入力し、車両1の周辺における他車両の有無を検出してもよい。第1選択部731は、メッセージテーブル721に含まれるメッセージのうち、そのメッセージと関連付けられた第1条件として示された他車両の有無と特定された他車両の有無とが一致しているメッセージを選択する。
このように、第1選択部731は、メッセージテーブル721を参照して、特定された車両1の周辺の状況に該当する第1条件に関連付けられた少なくとも一つのメッセージを選択する。
第1選択部731は、さらに、第1条件に関連付けられたメッセージのうち、車両1の自動運転レベルに対応する自動運転レベルが関連付けられたメッセージを選択してもよい。例えば、車両1の走行制御装置が自動運転レベル3により車両1の走行を制御しているとする。この場合、第1選択部731は、メッセージテーブル721を参照して、「自動運転レベル」が「Lv3」であるメッセージを選択する。このように動作することで、通知装置7は通知対象メッセージをより適切に特定することができる。
第2選択部732は、ドライバモニタカメラ3が出力する顔画像を用いて、運転者の状況を特定する。例えば、第2選択部732は、顔画像を、目尻、目頭、口角点といった顔の所定部位の位置を検出するよう学習された識別器に入力することにより、顔画像に含まれる所定部位の位置を特定する。
識別器は、例えば、入力側から出力側に向けて直列に接続された複数の層を有する畳み込みニューラルネットワーク(CNN)とすることができる。予め顔の所定部位を含む顔画像を教師データとして用いてCNNに入力し、学習を行うことにより、CNNは顔の所定部位の位置を特定する識別器として動作する。
第2選択部732は、顔画像から検出された所定部位の位置を、標準的な顔の3次元モデルと照合する。第2選択部732は、各部位の位置が顔画像から検出された部位の位置と最も適合する際の3次元モデルにおける顔向きを、顔画像における顔向きとして検出する。
例えば、顔向きが進行方向である場合、第2選択部は、運転者の状況を「運転監視中」と特定することができる。また、顔向きが進行方向から左右に外れている場合、第2選択部は、運転者の状況を「脇見中」と特定することができる。また、顔向きが下である(手元を見ている)場合、第2選択部は、運転者の状況を「NDRA中」(スマートフォン操作中)と特定することができる。
第2選択部732は、選択された少なくとも一つのメッセージのうち、そのメッセージと関連付けられた第2条件として示された運転者の状況と特定された運転者の状況とが一致しているメッセージを選択する。このように、第2選択部732は、メッセージテーブル721を参照して、選択された少なくとも一つのメッセージのうち、特定された運転者の状況に該当する第2条件に関連付けられた少なくとも一つメッセージを選択する。
特定部733は、メッセージテーブル721を参照して、選択された第2条件に関連付けられた少なくともメッセージの「最終通知時」および「再通知要否」を読み出す。特定部733は、選択された第2条件に関連付けられた少なくともメッセージについて、「最終通知時」が記録されているか否かを判定し、「最終通知時」が記録されていないメッセージを通知対象メッセージとして特定する。
また、特定部733は、「最終通知時」が保存されているメッセージのうち、「再通知要否」が「要」であるメッセージを通知対象メッセージとして特定する。なお、特定され通知対象メッセージの数は1に限られず、0であってもよく、2以上であってもよい。
特定部733は、「最終通知時」が記録され、かつ、「再通知要否」において再通知を運転者が希望していることが示されているメッセージのうち、記録された「最終通知時」から現在時刻までの時間間隔が所定の間隔閾値(例えば6ヶ月)を超えるメッセージを、通知対象メッセージとして特定してもよい。このように動作することで、通知装置7は、適切な間隔でメッセージを繰り返し通知し、メッセージ内容を適切に伝達することができる。
通知部734は、通知対象メッセージをメーターディスプレイ4に表示させることにより、運転者に通知する。通知部734は、通知対象メッセージをスピーカ(不図示)に発話させることにより、運転者に通知してもよい。
識別部735は、ドライバモニタカメラ3の出力する顔画像に含まれる所定部位の位置を用いて、複数の運転者から顔画像に表される運転者を識別する。例えば、識別部735は、顔画像を、目尻、目頭、口角点といった顔の所定部位の位置を検出するよう学習された識別器に入力することにより、顔画像に含まれる所定部位の位置を特定する。
更新部736は、通知対象メッセージを表示するメーターディスプレイ4のタッチパネルに対する運転者の操作に対応する出力信号を用いて、通知されたメッセージを運転者が認識したことを確認する。
更新部736は、通知されたメッセージを運転者が認識したことを確認した場合、確認された時刻を「最終通知時」としてメッセージテーブル721を更新する。このように動作することで、適切に「最終通知時」についてメッセージテーブル721を更新することができるため、同じメッセージが繰り返し通知される事態を回避することができる。
更新部736は、通知対象メッセージを認識したことを確認する運転者の音声に対応するマイク(不図示)の出力信号を用いて、通知されたメッセージを運転者が認識したことを確認してもよい。更新部736は、ドライバモニタカメラ3が出力する顔画像から検出される顔向きが、メッセージを表示するメーターディスプレイ4に向いていることを条件として、確認された時刻を「最終通知時」としてメッセージテーブル721を更新してもよい。
また、更新部736は、「最終通知時」を、複数の運転者のそれぞれについてメッセージテーブル721を更新してもよい。「最終通知時」を複数の運転者のそれぞれについてメッセージテーブル721を更新することにより、複数の運転者が車両1を運転する場合であっても、ある運転者へのメッセージの通知により他の運転者へのメッセージが通知されない事態を回避することができる。
図5は、通知処理のフローチャートである。通知装置7は、車両1が走行する間、図6に示す通知処理を、所定の時間間隔(例えば30秒間隔)で繰り返し実行する。
通知装置7の第1選択部731は、GNSS受信機5が出力する測位信号、または、周辺カメラ2が出力する周辺画像を用いて、車両1の周辺の状況を特定する。そして、第1選択部731は、メッセージテーブル721を参照して、特定された車両1の周辺の状況に該当する第1条件に関連付けられた少なくとも一つのメッセージを選択する(ステップS1)。
次に、通知装置7の第2選択部732は、ドライバモニタカメラ3が出力する顔画像を用いて、運転者の状況を特定する。そして、第2選択部732は、メッセージテーブル721を参照して、選択された少なくとも一つのメッセージのうち、特定された運転者の状況に該当する第2条件に関連付けられた少なくとも一つのメッセージを選択する(ステップS2)。
続いて、通知装置7の特定部733は、選択された第2条件に関連付けられた少なくとも一つのメッセージについて、「最終通知時」が記録されているか否かを判定する(ステップS3)。
「最終通知時」が記録されていると判定された場合(ステップS3:Y)、特定部733は、メッセージについて、「再通知要否」が「要」であるか否かを判定する(ステップS4)。
メッセージについて、「最終通知時」が記録されていないと判定された場合(ステップS3:N)、または、「再通知要否」が「要」であると判定された場合(ステップS4:Y)、特定部733は、判断対象とされたメッセージを通知対象メッセージとして特定し、出力機器を介して運転者に通知し(ステップS5)、通知処理を終了する。なお、ステップS2で選択されたメッセージが複数ある場合、選択されたメッセージの数だけステップS3-ステップS5の処理を繰り返せばよい。
メッセージについて、「再通知要否」が「要」でないと判定された場合(ステップS4:N)、通知装置7は通知処理を終了する。
このように通知処理を実行することにより、通知装置7は、状況に応じたメッセージを車両の運転者に適切に通知することができる。
変形例によると、上述した通知処理のフローチャートにおいて、ステップS1およびステップS2は、順序を入れ替えて実行される。すなわち、まず、第2選択部732が、運転者状況に該当する第2条件に関連付けられた少なくとも一つのメッセージを選択する。そして、第1選択部731が、選択された少なくとも一つのメッセージのうち、車両の周辺の状況に該当する第1条件に関連付けられた少なくとも一つのメッセージを選択する。
当業者は、本開示の精神および範囲から外れることなく、種々の変更、置換および修正をこれに加えることが可能であることを理解されたい。
1 車両
7 通知装置
71 通信インタフェース
72 メモリ
73 プロセッサ
731 第1選択部
732 第2選択部
733 特定部
734 通知部
735 識別部
736 更新部
7 通知装置
71 通信インタフェース
72 メモリ
73 プロセッサ
731 第1選択部
732 第2選択部
733 特定部
734 通知部
735 識別部
736 更新部
Claims (7)
- 車両の運転者に通知される複数のメッセージのそれぞれに、当該メッセージを通知すべき前記車両の周辺の状況を表す第1条件と、当該メッセージの通知に適した前記運転者の状況を表す第2条件と、当該メッセージの最終通知時と、当該メッセージの再通知が必要か否かを示す再通知要否と、が関連付けられたメッセージテーブルを参照して、前記複数のメッセージのうち、前記車両に搭載された測位センサまたは周辺センサの出力信号を用いて特定された前記車両の周辺の状況に該当する前記第1条件に関連付けられた少なくとも一つのメッセージを選択する第1選択部と、
前記メッセージテーブルを参照して、前記選択された少なくとも一つのメッセージのうち、前記車両に搭載された車内センサの出力信号を用いて特定された前記運転者の状況に該当する前記第2条件に関連付けられた少なくとも一つのメッセージを選択する第2選択部と、
前記メッセージテーブルを参照して、前記選択された前記第2条件に関連付けられた少なくとも一つのメッセージのうち、前記最終通知時が記録されていないメッセージ、または、前記最終通知時が記録され、かつ、前記再通知要否において再通知が必要と示されているメッセージを通知対象メッセージとして特定する特定部と、
前記通知対象メッセージを、出力機器を介して前記運転者に通知する通知部と、
を備える通知装置。 - 前記メッセージテーブルは、前記複数のメッセージのそれぞれに、当該メッセージを通知すべき状況に対応する自動運転レベルをさらに関連付けており、
前記第1選択部は、前記特定された第1条件に関連付けられたメッセージのうち、前記車両の自動運転レベルに対応する前記自動運転レベルが関連付けられたメッセージを選択する、請求項1に記載の通知装置。 - 前記車内センサの出力信号を用いて、通知された前記メッセージを前記運転者が認識したことが確認された場合、確認された時刻を前記最終通知時として前記メッセージテーブルを更新する更新部をさらに備える、請求項1または2に記載の通知装置。
- 前記車内センサの出力信号を用いて、複数の前記運転者から前記車内センサの出力信号に表される運転者を識別する識別部をさらに備え、
前記更新部は、通知された前記メッセージを識別された前記運転者が認識したことが確認された場合、前記確認された時刻を、識別された前記運転者についての前記最終通知時として前記メッセージテーブルを更新する、請求項3に記載の通知装置。 - 前記特定部は、前記最終通知時が記録され、かつ、前記再通知要否において再通知が必要であることが示されているメッセージのうち、前記最終通知時から現在時刻までの時間間隔が所定の間隔閾値を超えるメッセージを前記通知対象メッセージとして特定する、請求項1に記載の通知装置。
- 車両の運転者に通知される複数のメッセージのそれぞれに、当該メッセージを通知すべき前記車両の周辺の状況を表す第1条件と、当該メッセージの通知に適した前記運転者の状況を表す第2条件と、当該メッセージの最終通知時と、当該メッセージの再通知が必要か否かを示す再通知要否と、が関連付けられたメッセージテーブルを参照して、前記複数のメッセージのうち、前記車両に搭載された測位センサまたは周辺センサの出力信号を用いて特定された前記車両の周辺の状況に該当る前記第1条件に関連付けられた少なくとも一つのメッセージを選択し、
前記メッセージテーブルを参照して、前記選択された少なくとも一つのメッセージのうち、前記車両に搭載された車内センサの出力信号を用いて特定された前記運転者の状況に該当する前記第2条件に関連付けられた少なくとも一つのメッセージを選択し、
前記メッセージテーブルを参照して、前記選択された前記第2条件に関連付けられた少なくとも一つのメッセージのうち、前記最終通知時が記録されていないメッセージ、または、前記最終通知時が記録され、かつ、前記再通知要否において再通知が必要と示されているメッセージを通知対象メッセージとして特定し、
前記通知対象メッセージを、出力機器を介して前記運転者に通知する、
ことを含む通知方法。 - 車両の運転者に通知される複数のメッセージのそれぞれに、当該メッセージを通知すべき前記車両の周辺の状況を表す第1条件と、当該メッセージの通知に適した前記運転者の状況を表す第2条件と、当該メッセージの最終通知時と、当該メッセージの再通知が必要か否かを示す再通知要否と、が関連付けられたメッセージテーブルを参照して、前記複数のメッセージのうち、前記車両に搭載された測位センサまたは周辺センサの出力信号を用いて特定された前記車両の周辺の状況に該当する前記第1条件に関連付けられた少なくとも一つのメッセージを選択し、
前記メッセージテーブルを参照して、前記選択された少なくとも一つのメッセージのうち、前記車両に搭載された車内センサの出力信号を用いて特定された前記運転者の状況に該当する前記第2条件に関連付けられた少なくとも一つのメッセージを選択し、
前記メッセージテーブルを参照して、前記選択された前記第2条件に関連付けられた少なくとも一つのメッセージのうち、前記最終通知時が記録されていないメッセージ、または、前記最終通知時が記録され、かつ、前記再通知要否において再通知が必要と示されているメッセージを通知対象メッセージとして特定し、
前記通知対象メッセージを、出力機器を介して前記運転者に通知する、
ことをコンピュータに実行させるための通知用コンピュータプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022151276A JP2024046094A (ja) | 2022-09-22 | 2022-09-22 | 通知装置、通知方法、および通知用コンピュータプログラム |
US18/223,643 US20240101133A1 (en) | 2022-09-22 | 2023-07-19 | Notification device and notification method |
CN202311181543.3A CN117734719A (zh) | 2022-09-22 | 2023-09-13 | 通知装置和通知方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022151276A JP2024046094A (ja) | 2022-09-22 | 2022-09-22 | 通知装置、通知方法、および通知用コンピュータプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024046094A true JP2024046094A (ja) | 2024-04-03 |
Family
ID=90256788
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022151276A Pending JP2024046094A (ja) | 2022-09-22 | 2022-09-22 | 通知装置、通知方法、および通知用コンピュータプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240101133A1 (ja) |
JP (1) | JP2024046094A (ja) |
CN (1) | CN117734719A (ja) |
-
2022
- 2022-09-22 JP JP2022151276A patent/JP2024046094A/ja active Pending
-
2023
- 2023-07-19 US US18/223,643 patent/US20240101133A1/en active Pending
- 2023-09-13 CN CN202311181543.3A patent/CN117734719A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240101133A1 (en) | 2024-03-28 |
CN117734719A (zh) | 2024-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11050929B2 (en) | Driver recorder, display control method and program | |
JP6722132B2 (ja) | 推奨運転出力装置、推奨運転出力方法、及び推奨運転出力システム | |
JP2017159881A (ja) | 認識結果提示装置、認識結果提示方法及び自律移動体 | |
JP2024051038A (ja) | 車線情報表示装置、車線情報表示方法、および車線情報表示用コンピュータプログラム | |
CN113753057A (zh) | 状态判定装置及状态判定方法 | |
JP2024046094A (ja) | 通知装置、通知方法、および通知用コンピュータプログラム | |
JP2007121796A (ja) | 表示制御装置 | |
JP7212568B2 (ja) | 音量制御装置 | |
US12012117B2 (en) | Travel controller, method for travel control, and non-transitory computer-readable medium containing computer program for travel control | |
US11685411B2 (en) | Travel controller and method for travel control | |
US20240067201A1 (en) | Notification device and notification method | |
US20220063657A1 (en) | Travel controller and method for travel control | |
US12012145B2 (en) | Travel controller and method for travel control | |
EP4279316A1 (en) | Apparatus and method for message notification | |
US11215472B2 (en) | Information providing device and in-vehicle device | |
JP7119984B2 (ja) | 運転支援装置、車両、情報提供装置、運転支援システム、及び運転支援方法 | |
US20240067231A1 (en) | Travel controller and travel control method | |
US20240257644A1 (en) | Sound control device, sound control system, sound control method, sound control program, and storage medium | |
JP7159851B2 (ja) | 運転支援装置、車両、情報提供装置、運転支援システム、及び運転支援方法 | |
JP2022106381A (ja) | コンテンツ再生装置およびコンテンツ再生方法 | |
JP2024047322A (ja) | 情報通知システム及び情報通知方法 | |
JP2021156909A (ja) | 制御装置、制御方法、およびプログラム | |
CN116494981A (zh) | 设置车辆的驾驶模式的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230130 |