JP7163625B2 - 移動支援情報提示制御装置、方法およびプログラム - Google Patents

移動支援情報提示制御装置、方法およびプログラム Download PDF

Info

Publication number
JP7163625B2
JP7163625B2 JP2018108726A JP2018108726A JP7163625B2 JP 7163625 B2 JP7163625 B2 JP 7163625B2 JP 2018108726 A JP2018108726 A JP 2018108726A JP 2018108726 A JP2018108726 A JP 2018108726A JP 7163625 B2 JP7163625 B2 JP 7163625B2
Authority
JP
Japan
Prior art keywords
user
information
support information
presenting
presentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018108726A
Other languages
English (en)
Other versions
JP2019212108A (ja
Inventor
裕季 矢野
達也 石原
孝雄 倉橋
純史 布引
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2018108726A priority Critical patent/JP7163625B2/ja
Priority to PCT/JP2019/021497 priority patent/WO2019235346A1/ja
Priority to US15/734,840 priority patent/US20210229676A1/en
Publication of JP2019212108A publication Critical patent/JP2019212108A/ja
Application granted granted Critical
Publication of JP7163625B2 publication Critical patent/JP7163625B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Description

この発明の一実施形態は、移動支援情報提示制御装置、方法およびプログラムに関する。
車両を運転中の利用者に対し運転を支援するための情報を提示する装置としては、例えば自動車分野ではカーナビゲーション装置が知られており、その機能として例えば以下のようなものが提案されている。
(1) 支援情報を常に画面に表示する機能。利用者は、ボタンやタッチパネル等の操作手段を操作することで、支援情報の表示位置や種類を変更することが可能である。
(2) 例えば、車両の位置情報に基づいて、車両が目的地等に一定距離内に接近したと判定された時に、自動的にその旨の情報を提示する機能。
(3) 上記機能を拡張し、利用者の画像情報や車両の状態等から提示タイミング及び提示方法を制御する機能。この機能は、例えば非特許文献１、２または３に記載されている。
SeungJun Kim , Jaemin Chun , and Anind K. Dey ，"Sensors Know When to Interrupt You in the Car"， ResearchGate， All content following this page was uploaded by Anind K. Dey on 28 April 2016，＜URL: https://www.researchgate.net/publication/300725639＞ Jung Wook Park , Anind K. Dey ，and SeungJun Kim ,"Integrated Driving Aware System in the Real-World: Sensing, Computing and Feedback"， CHI'16 Extended Abstracts, May 07-12, 2016, San Jose, CA, USA，ACM 978-1-4503-4082-3/16/05，＜URL: http://dx.doi.org/10.1145/2851581.2892309＞ 山岡将綺、原直、阿部匡伸、「車載用音声対話システムにおけるユーザ負荷を考慮した対話戦略の検討」、情報処理学会研究報告、VoL2014-NL-216No.7 ，VoL2014-SLP-101No.7，2014/5/22
ところが、従来提案されている上記各機能には、以下のような改善すべき課題があった。
(1) に記載された、利用者が手動操作により支援情報の提示を指示する機能は、利用者が運転中に支援情報の提示操作を行う必要があるため、その操作が利用者にとって煩わしく、また提示操作する行為が運転の妨げになってしまう。
(2) に記載された、車両位置に応じて支援情報を提示する機能は、利用者の状態を考慮せずに支援情報が提示されてしまうため、例えばカーブに差し掛かっているときや横断歩道を通過しようとしている場合などのように利用者が充分な集中力を必要とする場合に支援情報の提示が行われると、利用者が、提示された情報に気づかなかったり、提示された情報を煩わしく感じたり、運転への集中を妨げる可能性がある。
(3) の機能を開示した各非特許文献には、例えば以下のような課題がある。
すなわち、先ず非特許文献１に記載された技術は、主に車内の情報を用いて情報提示タイミングを推定するものに止まり、推定結果に応じた具体的な情報提示方法までは開示していない。
次に非特許文献２に記載された技術は、支援情報を提示する際に、車両の車体情報や利用者の生体情報、GPS情報を考慮しているが、車外の周囲状況までは考慮していない。このため、例えば移動方向の路上に段差や障害物等が存在する状況下にあっても支援情報が提示される場合があり、このような場合利用者が支援情報に気を取られてしまい、回避操作が遅れて脱輪や衝突等の事故を引き起こすおそれがある。
一方、非特許文献３には、周囲の状況が情報提示に適した場合にのみ情報提示を行う思想が示されている。しかしながら、実際にどのような周囲状況のときが情報提示に適しているかといった、具体的な検討結果までは開示されていない。
この発明は上記事情に着目してなされたもので、その目的とするところは、支援情報を利用者にとってより適切な条件により提示できるようにする技術を提供することにある。
上記目的を達成するためにこの発明の第１の態様は、車両に乗って移動中の利用者に提示するための支援情報を生成する生成部と、前記車両の周囲環境に対応するセンサ情報を取得し、当該取得されたセンサ情報に含まれる特徴量をもとに前記周囲環境を推定する周囲環境推定部と、前記利用者の前記車両に対する運転技能に対応する操作情報を取得し、当該取得された前記運転技能に対応する操作情報から推定される前記利用者の前記運転技能の円滑度合いを評価した値により表される特徴量を、予め設定された閾値により表される第４の判定条件と対比して、前記特徴量が前記第４の判定条件以上であるか否かを判定することにより、前記利用者の前記運転技能が前記支援情報の提示に適するか否かを判定する運転技能推定部と、前記周囲環境の推定結果および前記運転技能推定部の推定結果に基づいて、前記利用者の前記運転技能が前記支援情報の提示に適すると判定された場合には、前記周囲環境の前記推定結果に基づいて前記利用者に対する前記支援情報の提示動作を制御し、前記利用者の前記運転技能が前記支援情報の提示に適さないと判定された場合には、前記利用者に対する前記支援情報の提示動作を見合わせる制御を行う制御部とを具備するものである。
この発明の第１の態様によれば、車両の移動中にその周囲環境および前記利用者の運転技能がそれぞれ推定され、その各推定結果に基づいて、上記車両に乗っている利用者に対する支援情報の提示動作が、前記利用者の運転技能に基づく判定結果が優先されるように制御される。
この発明の第２の態様は、前記周囲環境推定部により、前記車両の周囲の聴覚的な環境に対応する聴覚的センサ情報を取得し、当該取得された聴覚的センサ情報に含まれる特徴量を予め設定された第１の判定条件と対比することにより、前記周囲の聴覚的な環境が前記支援情報の提示に適するか否かを判定する。そして、前記聴覚的な環境が前記支援情報の提示に適さないと判定された場合に、前記制御部が、前記利用者の聴覚を利用した前記支援情報の提示動作を見合わせるようにし、かつ前記聴覚的な環境が前記支援情報の提示に適すると判定された場合でも、前記利用者の前記運転技能が前記支援情報の提示に適さないと判定された場合には、前記利用者の前記聴覚を利用した前記支援情報の提示動作を見合わせるようにしたものである。
この発明の第２の態様によれば、車両周辺の聴覚的環境を表す特徴量をもとに、周囲の聴覚的環境が支援情報の提示に適さないと判定されると、聴覚を利用した支援情報の提示動作は行われずに見合わせとなる。従って、利用者が支援情報の提示に気づかない不具合を防止できると共に、利用者は聞こえ難い聴覚的な情報提示に無理に耳を傾けることがなくなり、これにより運転操作に悪影響が生じないようにすることができる。さらに、聴覚的環境が支援情報の提示に適する場合でも、利用者の運転技能が低く支援情報の提示に適さないと判定された場合には、利用者に対する聴覚を用いた支援情報の提示は行われず見合わせとなる。このため、利用者は聴覚を用いた支援情報の提示の影響を受けることなく運転操作に集中することができる。
この発明の第３の態様は、前記周囲環境推定部により、前記車両の周囲の視覚的な環境に対応する視覚的センサ情報を取得し、当該取得された視覚的センサ情報に含まれる特徴量を予め設定された第２の判定条件と対比することにより、前記周囲の視覚的な環境が前記支援情報の提示に適するか否かを判定する。そして、前記視覚的な環境が前記支援情報の提示に適さないと判定された場合に、前記制御部が、前記利用者の視覚を利用した前記支援情報の提示動作を見合わせるようにし、さらに前記視覚的な環境が前記支援情報の提示に適すると判定された場合でも、前記利用者の前記運転技能が前記支援情報の提示に適さないと判定された場合には、前記利用者の視覚を利用した前記支援情報の提示動作を見合わせるようにしたものである。
この発明の第３の態様によれば、車両周辺の視覚的環境を表す特徴量をもとに、周囲の視覚的環境が支援情報の提示に適さないと判定されると、視覚を利用した支援情報の提示動作は行われずに見合わせとなる。従って、利用者の支援情報の見忘れを防止することができる。また利用者が支援情報を注視することにより運転操作が疎かにならないようにすることができる。さらに、視覚的環境が支援情報の提示に適する場合でも、利用者の運転技能が低く支援情報の提示に適さないと判定された場合には、利用者に対する視覚を用いた支援情報の提示は行われず見合わせとなる。このため、利用者は視覚を用いた支援情報の提示の影響を受けることなく運転操作に集中することができる。
この発明の第４の態様は、前記車両の振動に対応するセンサ情報を取得し、当該取得されたセンサ情報に含まれる特徴量を予め設定された第３の判定条件と対比することにより、前記車両の前記振動が前記支援情報の提示に適するか否かを判定する車両状態推定部をさらに具備する。そして、前記車両の前記振動が前記支援情報の提示に適さないと判定された場合に、前記制御部が、前記利用者の触覚を利用した前記支援情報の提示動作を見合わせる制御を行うようにし、さらに前記車両の振動が前記支援情報の提示に適すると判定された場合でも、前記利用者の前記運転技能が前記支援情報の提示に適さないと判定された場合には、前記利用者の前記触覚を利用した前記支援情報の提示動作を見合わせるようにしたものである。
この発明の第４の態様によれば、例えば路面状態が悪い道路を走行している場合のように車両に大きな振動が発生している場合には、触覚を用いた支援情報の提示に適さないと判定される。このため、利用者が支援情報の提示に気づかない不具合を防止することができる。さらに、車両の振動が支援情報の提示に適する場合でも、利用者の運転技能が低く支援情報の提示に適さないと判定された場合には、利用者に対する振動を用いた支援情報の提示は行われず見合わせとなる。このため、利用者は振動を用いた支援情報の提示の影響を受けることなく運転操作に集中することができる。
この発明の第６の態様は、前記支援情報の提示動作が行われた後に前記運転技能推定部により得られる前記利用者の運転技能の判定結果をもとに、前記支援情報の提示後前記利用者の運転技能が維持されているか低下したかを判定し、前記支援情報の提示後に前記運転技能が低下したと判定された場合に、前記第１の判定条件、前記第２の判定条件、前記第３の判定条件または前記第４の判定条件を、前記運転技能が低下する前の値より厳しい値に変更する判定条件制御部を、さらに具備するものである。
この発明の第６の態様によれば、例えば、支援情報の提示後に利用者の運転技能が低下すると、推定部において支援情報の提示の適否を判定するための判定条件がより厳しい値に可変設定される。このため、予め設定された判定条件が利用者に適さない場合でも、使用中に判定条件が変更されるため、利用者の運転技能に適した支援情報の提示制御を行うことが可能となる。
すなわちこの発明の各態様によれば、支援情報を利用者にとってより適切な条件により提示できるようにする技術を提供することができる。
図１は、この発明の一実施形態に係る移動支援情報提示制御装置の機能構成の一例を示すブロック図である。 図２は、図１に示した各機能のうち運転パフォーマンス推定部による処理手順と処理内容の一例を示すフローチャートである。 図３は、図１に示した各機能のうち装置状態推定部による処理手順と処理内容の一例を示すフローチャートである。 図４は、図１に示した各機能のうち音声環境推定部による処理手順と処理内容の一例を示すフローチャートである。 図５は、図１に示した各機能のうち視覚環境推定部による処理手順と処理内容の一例を示すフローチャートである。 図６は、図１に示した各機能のうちフィードバック判定部およびパラメータ調整部による処理手順と処理内容の一例を示すフローチャートである。
以下、図面を参照してこの発明に係わる実施形態を説明する。
［一実施形態］
図１は、この発明の一実施形態に係る移動支援情報提示制御装置の機能構成の一例を示すブロック図である。
一実施形態に係る移動支援情報提示制御装置１は、例えば一般的な自動車、或いはパーソナルモビリティと呼ばれる高齢者または障害者向けの電動車両に設けられるもので、プロセッサおよびメモリを備える車載コンピュータにより構成される。この場合、車載コンピュータは、移動支援情報提示制御装置１専用であってもよいが、運転制御等の他の制御を実行する装置と共存するものであってもよい。
移動支援情報提示制御装置１は、制御ユニット１０と、入出力インタフェースユニット（入出力Ｉ／Ｆ）２０と、記憶ユニット３０とを備えている。入出力Ｉ／Ｆ２０は、運転装置２を操作する運転操作部３から出力される操作データと、車両に設けられたセンサ群から出力されるセンサデータを取り込むと共に、制御ユニット１０により生成された支援情報を提示装置８へ出力する機能を有する。
運転装置２は、駆動ユニットと、操舵ユニットとを備える。駆動ユニットは、例えば、バッテリおよびモータとその制御回路を有し、その駆動力を駆動機構を介して車輪に伝達する。操舵ユニットは、運転操作部３の操作に従い車両の移動方向を制御する。運転操作部３は、例えばパーソナルモビリティであればジョイスティックが使用される。
センサ群は、例えば、マイクロフォンからなる音響センサ４と、例えばカメラを用いた視覚センサ５と、上記運転装置２の動作状態を検出する動きセンサ６と、ＧＰＳ（Global Positioning System）を利用する位置センサ７とを含む。このうち視覚センサ５としては、デプスカメラやレーザレンジファインダ等を使用することも可能である。また、動きセンサ６としては、例えば加速度センサや角速度センサを使用した車両ジャイロセンサが使用される。
記憶ユニット３０は、記憶媒体として例えばＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の書込および読み出しが可能な不揮発性メモリを使用したもので、プログラム記憶領域に加え、音量データベース３１と、角速度データベース３２と、技能情報データベース３３と、装置状態データベース３４と、支援情報データベース３５と、フィードバックデータベース３６とを備えている。なお、データベースを以後ＤＢと称する。
音量ＤＢ３１は、車両周囲の音量データを記憶するために使用される。角速度ＤＢ３２は、例えば、主として車両の路面と並行する方向（以後単に水平方向と称することもある）の動きを表す角速度データを記憶するために使用される。技能情報ＤＢ３３は、利用者（運転者）の運転パフォーマンスの推定結果を表す情報を記憶するために使用される。装置状態ＤＢ３４は、例えば、主として車両の上下方向（以後単に垂直方向と称することもある）の動きの変化を表す角加速度データを記憶するために使用される。支援情報ＤＢ３５には、支援情報を生成するための基本支援情報が予め記憶されている。フィードバックＤＢ３６は、後述する制御ユニット１０の各推定部が支援情報の提示の可否を判定するために使用する判定条件としての各閾値を記憶するために使用される。
制御ユニット１０は、例えばＣＰＵ（Central Processing Unit）を備え、この実施形態に係る制御機能として、音声環境推定部１１と、視覚環境推定部１２と、運転パフォーマンス推定部１３と、装置状態推定部１４と、支援情報推定部１５と、支援情報生成部１６と、重み決定部１７と、フィードバック判定部１８と、パラメータ調整部１９とを備えている。これらの処理機能は、いずれも上記記憶ユニット３０のプログラム領域に格納されたプログラムを上記ＣＰＵに実行させることにより実現される。
音声環境推定部１１は、上記音響センサ４により検出された車両周囲の雑音および音声を含む音響データを入出力Ｉ／Ｆ２０を介して取り込み、当該音響データから所定の周期で車両周囲の音の特徴量（例えば音量）を検出してそのデータを音量ＤＢ３１に格納する。そして、この音量ＤＢ３１に記憶された過去の音量データ群をもとに現在の音量の偏差値を算出し、この音量偏差値をもとに聴覚による支援情報の提示の可否を判定して、その判定データを重み決定部１７へ出力する。
視覚環境推定部１２は、動きセンサ６により計測された車両の動きを表すジャイロデータを入出力Ｉ／Ｆ２０を介して取り込み、当該ジャイロデータから所定の周期で車両の水平方向の動きの特徴を表す傾き角速度データを抽出して角速度ＤＢ３２に記憶させる。そして、角速度ＤＢ３２に記憶された過去の傾き角速度データ群をもとに現在の傾き角速度の偏差値を算出し、この傾き角速度偏差値をもとに視覚による支援情報の提示の可否を判定して、その判定データを重み決定部１７へ出力する。
また視覚環境推定部１２は、視覚センサ５により撮像された車両前方の画像データを入出力Ｉ／Ｆ２０を介して取り込み、当該画像データをもとに所定の周期で車両前方の障害物の有無を判定する。そして、この判定結果をもとに視覚による支援情報の提示の可否を判定し、その判定データを重み決定部１７へ出力する。
運転パフォーマンス推定部１３は、運転操作部３から出力される操作データを入出力Ｉ／Ｆ２０を介して取り込み、当該操作データをもとに所定の周期で運転者の運転パフォーマンス（運転技能）を評価してその評価データを技能情報ＤＢ３３に記憶させる。そして、技能情報ＤＢ３３に記憶された過去の評価データ群をもとに現在の運転技能の偏差値を算出し、この運転技能の偏差値をもとに支援情報の提示の可否を判定して、その判定データを重み決定部１７へ出力する。
装置状態推定部１４は、動きセンサ６により計測された車両の動きを表すジャイロデータを入出力Ｉ／Ｆ２０を介して取り込み、当該ジャイロデータから所定の周期で車両の垂直方向の動きの特徴を表す傾き角加速度データを抽出して、装置状態ＤＢ３４に記憶させる。そして、装置状態ＤＢ３４に記憶された過去の傾き角加速度データ群をもとに現在の傾き角加速度の偏差値を算出し、この傾き角加速度偏差値をもとに触覚による支援情報の提示の可否を判定して、その判定データを重み決定部１７へ出力する。
重み決定部１７は、上記音声環境推定部１１、視覚環境推定部１２、運転パフォーマンス推定部１３および装置状態推定部１４から出力された各判定データをもとに、予め用意されている論理演算式により重み係数を提示手法別に決定し、支援情報生成部１６へ出力する。提示手法には、聴覚、視覚および触覚の３種類がある。
支援情報推定部１５は、位置センサ７により検出された車両の位置データを入出力Ｉ／Ｆ２０を介して取り込み、この位置データをもとに例えば目的地への案内情報を支援情報ＤＢ３５から支援情報として選択して、支援情報生成部１６へ出力する。
支援情報生成部１６は、上記重み決定部１７から出力された重み係数に従い、上記支援情報推定部１５から出力された支援情報の提示手法を決定する。そして、決定された提示手法に対応する提示部８１～８３へ上記支援情報を出力する。
フィードバック判定部１８は、上記支援情報生成部１６による支援情報の提示後における運転パフォーマンスの推定データを上記運転パフォーマンス推定部１３から取得し、この取得した推定データを技能情報ＤＢ３３に記憶されている過去の推定データ群と比較して、運転パフォーマンスの低下の有無を判定する。
パラメータ調整部１９は、上記フィードバック判定部１８による判定結果に基づいて、運転パフォーマンス推定部１３で使用している閾値を可変設定する。
（動作）
次に、以上のように構成された装置による移動支援情報提示制御動作を説明する。
ここでは、パーソナルモビリティにおいて、利用者（運転者）に移動支援情報を提示する場合を例にとって説明する。
支援情報ＤＢ３５には、提示候補となる複数の支援情報が優先度を示すラベルが付された状態で事前に格納されている。また、技能情報ＤＢ３３には、上記利用者の現在までの運転パフォーマンスの推定データが時系列で記憶され、さらに装置状態ＤＢ３４には上記利用者の現在までの車両の動きの特徴を表す速度や傾きを表すデータが時系列で記憶されている。
この状態で、利用者がパーソナルモビリティの運転席に着座し、例えば目的地を入力設定した後、ジョイスティックを操作してパーソナルモビリティの運転を開始したとする。そうすると、移動支援情報提示制御装置１は、上記運転中に制御ユニット１０の制御の下以下のように移動支援情報の提示制御を行う。
（１）支援情報の推定
制御ユニット１０は、支援情報推定部１５の制御の下、例えば、位置センサ７により測定された現在位置データと事前に設定された目的地の情報とに基づいて、車両が目的地に近づいたか否かを判定し、近づいた場合にはその案内情報を支援情報ＤＢ３５から選択し、支援情報生成部１６へ出力する。また、例えば緊急車両が接近した場合には、その案内情報を支援情報ＤＢ３５から選択し、支援情報生成部１６へ出力する。この時、上記いずれの案内情報にも情報提示の優先度を示す優先度ラベルが付されている。
（２）運転パフォーマンスに基づく重み係数の制御
図２は、運転パフォーマンス推定部１３の処理手順と処理内容を示すフローチャートである。
制御ユニット１０は、運転パフォーマンス推定部１３の制御の下、ステップＳ１３１において運転操作部３から入出力Ｉ／Ｆ２０を介して操作データを取り込み、この操作データをもとに、所定の周期（例えば１秒間隔）で、周囲環境に依存しない利用者の運転パフォーマンス（運転技能）を推定する。例えば、ジョイスティックの単位時間当たりの操作の頻度および操作の変化量等をもとに、操作の円滑度合い等を“０”～“１００”の範囲で評価する。そして、その評価データを技能情報ＤＢ３３に順次記憶させる。
また運転パフォーマンス推定部１３は、技能情報ＤＢ３３に記憶された過去の評価データ群をもとに現在の運転パフォーマンスの偏差値を算出する。そして、算出された運転パフォーマンスの偏差値が、パラメータの１つとして設定されている閾値σs 以上であるか或いは未満であるかを、ステップＳ１３２において判定する。
上記判定の結果、現在の運転パフォーマンスの偏差値が閾値σs以上であれば、現タイミングでは利用者の運転パフォーマンスが高く、移動支援情報の提示が可能であると判断し、ステップＳ１３３において、聴覚提示用の重み係数ｗａ 、視覚提示用の重み係数ｗｖ および触覚提示用の重み係数ｗｈ をいずれも“１”に設定する。
これに対し、上記判定の結果、現在の運転パフォーマンスの偏差値が閾値σs未満であれば、利用者の運転パフォーマンスが低く、現時点で移動支援情報を提示することは適当ではないと判断し、ステップＳ１３４において、聴覚提示用の重み係数ｗａ、視覚提示用の重み係数ｗｖ および触覚提示用の重み係数ｗｈ をいずれも“０”に設定する。
また、上記運転パフォーマンスの偏差値の判定に際し、運転パフォーマンス推定部１３は、いま提示対象となっている移動支援情報に付されている優先度ラベルに基づいて、上記閾値σs を調整する。例えば、重要度が高い移動支援情報を表示しようとしているときには、運転者の運転パフォーマンスが低下している状態でも、支援情報の提示が可能となるように、上記優先度ラベルの優先度に応じて上記閾値σs を標準値より低い値に設定する。一方、重要度が低い移動支援情報を表示しようとしているときには、利用者が支援情報の提示の影響を受けることなく運転操作に集中できるようにするべく、上記閾値σs を標準値より高い値に設定する。
なお、上記支援情報の優先度に応じた閾値σs の制御は、例えば、支援情報に対応付けて、提示手法別、つまり「視覚向け」、「聴覚向け」、「触覚向け」の各々に個別に優先度ラベルを付しておき、運転パフォーマンスを判定するための閾値σs を上記提示手法別の優先度ラベルに従い可変制御するように行われてもよい。
（３）車両の状態に基づく重み係数の制御
図３は、装置状態推定部１４の処理手順と処理内容を示すフローチャートである。
制御ユニット１０は、装置状態推定部１４の制御の下、ステップＳ１４１において、動きセンサ６により検出されたジャイロデータを入出力Ｉ／Ｆ２０を介して取り込み、このジャイロデータから車両の上下方向の動きを表す特徴量である、車両の傾き角加速度のデータを検出する。この検出された車両の傾き角加速度のデータは、装置状態ＤＢ３４に記憶される。
装置状態推定部１４は、続いてステップＳ１４２において、上記装置状態ＤＢ３４に記憶されている過去の傾き角加速度のデータ群をもとに、上記現在の傾き角加速度データの偏差値を算出する。そして、この算出された現在の傾き角加速度の偏差値を閾値σh と比較する。この比較の結果、例えば現在の傾き角加速度データの偏差値が閾値σh 以上であれば、装置状態推定部１４は車両の上下振動が大きく触覚提示は不適切と判断し、ステップＳ１４３において触覚提示用の重み係数ｗh を“０”に設定する。
これに対し、上記比較の結果、例えば現在の傾き角加速度データの偏差値が閾値σh 未満であれば、装置状態推定部１４は車両の上下振動は小さく触覚提示が可能と判断し、ステップＳ１４４において触覚提示用の重み係数ｗh を“１”に設定する。
（４）周囲の音声環境に基づく重み係数の制御
図４は、音声環境推定部１１の処理手順と処理内容を示すフローチャートである。
制御ユニット１０は、音声環境推定部１１の制御の下、先ずステップＳ１１１において、音響センサ４により検出された周囲の音響データを入出力Ｉ／Ｆ２０を介して取り込み、当該音響データから所定の周期で車両周囲の音の特徴量を示す音量を検出する。この検出された音量データは音量ＤＢ３１に記憶される。
音声環境推定部１１は、次にステップＳ１１２において、上記音量ＤＢ３１に記憶された過去の音量データ群をもとに、上記現在の音量データの偏差値を算出し、この音量偏差値を閾値σa と比較する。そして、この比較の結果、現在の音量データの偏差値が閾値σa 以上であれば、音声環境推定部１１は周囲の音声の音量が大きく聴覚による提示は不適切であると判断し、ステップＳ１１３において聴覚提示用の重み係ｗa を“０”に設定する。
これに対し、上記比較の結果、現在の音量データの偏差値が閾値σa 未満であれば、音声環境推定部１１は周囲の音声の音量は小さく聴覚による提示が可能であると判断し、ステップＳ１１４において聴覚提示用の重み係ｗa を“１”に設定する。
（５）視覚環境に基づく重み係数の制御
図５は、音声環境推定部１１の処理手順と処理内容を示すフローチャートである。
制御ユニット１０は、視覚環境推定部１２の制御の下、先ずステップＳ１２１において、動きセンサ６により計測された車両の動きを表すジャイロデータを入出力Ｉ／Ｆ２０を介して取り込み、当該ジャイロデータから所定の周期で車両の水平方向の動きの特徴量を表す傾き角速度データを検出する。この検出された傾き角速度データは角速度ＤＢ３２に記憶される。
視覚環境推定部１２は、次にステップＳ１２２において、角速度ＤＢ３２に記憶された過去の傾き角速度データ群をもとに現在の傾き角速度の偏差値を算出し、この傾き角速度偏差値を閾値σv と比較する。そしてこの比較の結果、現在の傾き角速度の偏差値が閾値σv 以上であれば、視覚環境推定部１２はいま車両がカーブに差し掛かっていて見通しが良くない状況にあるため、視覚による情報提示は不適切であると判断し、ステップＳ１２６において視覚提示用の重み係数ｗv を“０”に設定する。
これに対し、上記比較の結果、現在の傾き角速度の偏差値が閾値σv 未満であれば、視覚環境推定部１２はステップＳ１２３に移行する。そして視覚環境推定部１２は、このステップＳ１２３において、視覚センサ５により撮像された車両前方のセンサデータを入出力Ｉ／Ｆ２０を介して取り込む。次に視覚環境推定部１２は、ステップＳ１２４において、上記取得したセンサデータに基づいて車両の進行方向または側方、つまりパーソナルスペース内に障害物が存在するか否かを判定する。
パーソナルスペースとは、通常では人間が不快に感じる距離の閾値と定義され、一般的に１～２ｍという狭い範囲に設定される。しかしながら、パーソナルスペースは、車両の移動速度等の移動条件や、朝、昼または夜等の時間条件、周囲の混雑条件などに応じて変化させることが望ましい。そこで本実施形態では、上記パーソナルスペースを、上記各種条件に応じて可変設定する。このようにすると、視覚情報の提示の適否を、実際の視覚環境の変化に応じてより適切に判定することが可能となる。
なお、障害物の有無は、例えば、視覚センサ５としてカメラを使用した場合には、障害物として想定される人や電柱、標識、看板、自転車、段差等の種々障害物の基準画像パターンを予め記憶しておき、上記カメラにより取得された画像データに対し上記障害物の基準画像パターンをもとにパターンマッチングを行うことで判定可能である。
また、視覚センサ５としてデプスカメラやレーザレンジファインダを使用する場合には、例えばデプスカメラやレーザレンジファインダにより得られる深度情報を閾値と比較することにより、障害物の有無を判定することができる。
上記比較の結果、上記視覚センサ５から取得したセンサデータから障害物が検出されなかった場合には、視覚環境推定部１２は視覚による支援情報の提示が可能と判断し、ステップＳ１２５において視覚提示用の重み係数ｗv を“１”に設定する。これに対し、上記比較の結果、上記取得されたセンサデータから障害物が検出された場合には、視覚環境推定部１２は視覚による支援情報の提示は不適切と判断し、ステップＳ１２６において視覚提示用の重み係数ｗv を“０”に設定する。
（６）重み係数の決定と支援情報の提示制御
重み決定部１７は、運転パフォーマンス推定部１３、装置状態推定部１４、音声環境推定部１１および視覚環境推定部１２によりそれぞれ設定される各重み係数をもとに、総合的な重み係数を算出するための論理演算式を記憶している。この論理演算式は、
ｗ（運転技能）∩（ｗ（装置状態）∨ｗ（音声環境）∨ｗ（視覚環境））
で表される。より具体的には、
ｗ（ｗa ，ｗv ，ｗh ）∩（ｗ（ｗh ）∨ｗ（ｗa ）∨ｗ（ｗv ）
と表される。
重み決定部１７は、上記運転パフォーマンス推定部１３、装置状態推定部１４、音声環境推定部１１および視覚環境推定部１２によりそれぞれ設定された各重み係数を上記論理演算式に代入し、総合的な重み係数を算出する。
例えば、いま運転パフォーマンス推定部１３により設定された各重み係数ｗa ，ｗv ，ｗh がいずれも“１”であり、かつ装置状態推定部１４により設定された重み係数ｗh が“１”、音声環境推定部１１および視覚環境推定部１２によりそれぞれ設定された各重み係数ｗa ，ｗv がいずれも“０”であったとする。この場合、総合的な重み係数はｗ（０，０，１）となる。このため支援情報生成部１６は、支援情報、例えば目的地に近づいた旨の案内情報を、提示装置８の触覚提示部８３へ出力する。従って、触覚提示部８３が例えばバイブレータからなり、このバイブレータが車両の運転席座面等に配置されていれば、バイブレータが振動して利用者に上記支援情報が報知される。
また、運転パフォーマンス推定部１３により設定された各重み係数ｗa ，ｗv ，ｗh がいずれも“１”であり、かつ装置状態推定部１４により設定された重み係数ｗh および音声環境推定部１１により設定された重み係数ｗa が“０”、視覚環境推定部１２により設定された重み係数ｗv が“１”であったとする。この場合、総合的な重み係数はｗ（０，１，０）となる。このため支援情報生成部１６は、支援情報の表示データを提示装置８の視覚提示部８２へ出力する。従って、視覚提示部８２が例えばディスプレイからなり、このディスプレイが車両のコンソールに設置されていれば、このディスプレイに上記支援情報の表示データが表示され、利用者はこの表示データにより上記支援情報の内容を認識することが可能となる。
さらに、運転パフォーマンス推定部１３により設定された各重み係数ｗa ，ｗv ，ｗh がいずれも“１”であり、かつ装置状態推定部１４により設定された重み係数ｗh および視覚環境推定部１２により設定された重み係数ｗv が“０”、音声環境推定部１１により設定された重み係数ｗa が“１”であったとする。この場合、総合的な重み係数はｗ（１，０，０）となる。このため支援情報生成部１６は、上記支援情報を例えば音声合成により音声メッセージに変換し、この音声メッセージを提示装置８の聴覚提示部８１へ出力する。従って、視覚提示部８２が例えばスピーカからなり、このスピーカが車両のコンソール等に設置されていれば、このスピーカから上記支援情報の音声メッセージが出力され、利用者はこの音声メッセージにより上記支援情報の内容を認識することが可能となる。
なお、総合的な重み係数ｗa ，ｗv が“１”の場合には、上記支援情報の音声メッセージおよび表示データがそれぞれ聴覚提示部８１および視覚提示部８２に出力される。また、総合的な重み係数ｗa ，ｗh が“１”の場合には、上記支援情報の音声メッセージおよびバイブレータ駆動信号がそれぞれ聴覚提示部８１および触覚提示部８３に出力される。同様に、総合的な重み係数ｗv ，ｗh が“１”の場合には、上記支援情報の表示データおよびバイブレータ駆動信号がそれぞれ視覚提示部８２および触覚提示綺８３に出力される。さらに、総合的な重み係数ｗa ，ｗv ，ｗh がすべて“１”であれば、上記支援情報の音声メッセージ、表示データおよびバイブレータ駆動信号がそれぞれ聴覚提示部８１、視覚提示部８２および触覚提示綺８３に出力される。
一方、総合的な重み係数ｗa ，ｗv ，ｗh がいずれも“０”だった場合には、支援情報生成部１６は支援情報の出力を待機する。そして、上記総合的な重み係数ｗa ，ｗv ，ｗh のうちの少なくとも１つが“１”になった時点で、上記支援情報を出力する。
（７）支援情報提示条件のフィードバック制御
移動支援情報提示制御装置１は、上記支援情報の提示を行った後の利用者の運転パフォーマンスを運転パフォーマンス推定部１３により推定する。そして、フィードバック判定部１８およびパラメータ調整部１９の制御の下、支援情報提示条件である各閾値（パラメータ）のフィードバック判定とその値の調整を以下のように行う。
図６は、フィードバック判定部１８およびパラメータ調整部１９による処理手順と処理内容を示すフローチャートである。
すなわち、フィードバック判定部１８は、先ずステップＳ１８１において、上記支援情報の提示を行った後の、利用者の運転パフォーマンスが維持されているかまたは低下したかを判定する。この判定は、上記運転パフォーマンス推定部１３により得られた現在の運転パフォーマンス推定データを、フィードバックＤＢ３６に保存されている前回推定した運転パフォーマンスの推定データと比較することで行われる。
上記比較の結果、現在の運転パフォーマンスの推定データが前回の運転パフォーマンスの推定データから変化していなければ、つまり利用者が運転パフォーマンスを維持していれば、閾値を変更せずにそのまま処理を終了する。
これに対し、上記比較の結果、現在の運転パフォーマンスの推定データが前回の運転パフォーマンスの推定データより低下したとする。この場合、パラメータ調整部１９が、ステップＳ１８２において、運転パフォーマンスを判定するための閾値σs をより厳しい値に変更する。具体的には、フィードバックＤＢ３６から前回の判定で使用した閾値σs を読み込み、この閾値σs に一定値δを加算してこの加算後の閾値σs を新たな閾値とする。この新たな閾値σs は、上記現在の運転パフォーマンスの推定データと関連付けられてフィードバックＤＢ３６に保存される。
次にフィードバック判定部１８は、ステップＳ１８３において、上記重み決定部１７により直近に決定された総合的な重み係数ｗの各要素、つまりｗa ，ｗv ，ｗh の各々について“１”であるか“０”であるかを判定する。そして、その判定の結果、“１”と判定された要素に対応する閾値σx に対し、パラメータ調整部１９がステップＳ１８３により、上記一定値δを加算することで厳しい値に変更する。この変更後の閾値σx は、当該閾値を用いる対応する推定部１１，１２または１４に設定される。
この実施形態では、上記各推定部１１～１５が情報提示の適否を判定するための閾値（パラメータ）として任意の値を設定している。ところが、人間の認知能力には個人差が存在するため、判定条件として設定した閾値が利用者に適さない場合が考えられる。しかしながら、上記したように情報提示条件のフィードバック調整を行うと、各推定データの判定に使用する閾値σs ，σa，σv ，σh を利用者の運転パフォーマンスに適合した値に調整することができる。
但し、図６に示した処理の例では情報提示条件を緩めるステップがなく、際限なく情報提示条件が厳しくなってしまう。そこで、利用者が変わった場合や、運転環境が変化した場合のように、情報提示条件を変更する必要が生じた場合には、上記利用者や運転環境の変更情報を装置１に入力することで、各閾値をリセットするようにしてもよい。
なお、上記フィードバックＤＢ３６に記憶された情報に基づいて、機械学習等の手法により利用者にとって最適な閾値を設定するようにしてもよい
（効果）
以上詳述したように一実施形態では、各種センサを使用して、利用者の運転パフォーマンスおよび運転装置の動作状態に加えて、利用者の周囲の音声環境および視覚環境を推定し、これらの推定結果に基づいて情報提示の適否を提示手段の種類別に判定し、適当ではない場合には当該提示手段による情報提示を待機するようにしている。従って、利用者の運転パフォーマンスおよび運転装置の動作状態だけでなく、周囲の音声環境および視覚環境を考慮して、提示手段の種類別に情報提示を行う上で適切な条件の場合にのみ情報を提示することが可能となる。
例えば、周囲の雑音や音声の音量が閾値より大きい場合には、聴覚提示部８１による情報提示は適切ではないと判定され、音声メッセージ等を用いた聴覚提示を行わずに、提示可能な状態になるまで待機する。すなわち、周囲の騒音が大きい状況や周囲で人が話をしている状況のように音声メッセージが聞き取り難い状況下では、音による情報提示が見合わされる。従って、利用者が情報提示に気づかない不具合を防止できると共に、利用者は聞こえ難い音のメッセージに無理に耳を傾ける必要がなくなり、これにより運転操作に悪影響が及ばないようにすることができる。
また、カーブに差し掛かっていて見通しが良くない場合や、進行方向に人や障害物、段差等が存在する場合には、視覚提示部８２による情報提示は適切ではないと判定され、表示メッセージ等を用いた視覚提示を行わずに、提示可能な状態になるまで待機する。すなわち、進行方向に注意を集中しなければならない状況下では、視覚による情報提示が見合わされる。このため、ユーザが情報提示に気づかない不具合を防止できると共に、運転者が表示メッセージに注意が削がれて運転操作が不確かにならないようにすることができる。
さらに一実施形態では、運転装置２の上下振動の変化が閾値より大きい場合には、触覚提示部８３による情報提示は適切ではないと判定され、バイブレータ等を用いた触覚提示を行わずに、運転装置２の上下振動の変化が収まるまで待機する。すなわち、車体の上下振動が大きくバイブレータによる情報提示に利用者が気づきにくい状況下では、触覚を用いた情報提示は行われない。このようにすると、利用者が情報提示に気づかない不具合を防止することができる。
さらに一実施形態では、利用者の運転パフォーマンスが低下している状態では、情報提示自体が適切ではないと判定され、提示部８１～８３の種類を問わず情報提示を見合わせる。このようにすることで、利用者は情報提示の影響を受けることなく運転操作に集中することができる。
［他の実施形態］
（１）前記一実施形態では、重み決定部１７が、運転パフォーマンスの推定結果、装置状態の推定結果、音声環境の推定結果および視覚環境の推定結果に基づいて、ｗ（運転技能）∩（ｗ（装置状態）∨ｗ（音声環境）∨ｗ（視覚環境））なる論理式により重み係数を決定するようにした。しかし、それに限るものではなく、音声環境の推定結果または視覚環境の推定結果のみに基づいて、ｗ（音声環境）∨ｗ（視覚環境）なる論理式により重み係数を決定するようにしてもよい。また、音声環境の推定結果または視覚環境の推定結果に、運転パフォーマンスの推定結果と装置状態の推定結果のいずれか一方を加味し、ｗ（運転技能）Ｖｗ（装置状態）∨ｗ（音声環境）∨ｗ（視覚環境）なる論理式により重み係数を決定するようにして重み係数を決定するようにしてもよい。
（２）前記一実施形態では、運転パフォーマンスの推定結果、装置状態の推定結果、音声環境の推定結果および視覚環境の推定結果に基づいて、聴覚用の重みｗａ、視覚用の重みｗｖおよび触覚用の重みｗｈをそれぞれ決定し、その結果に基づいて聴覚提示部８１、視覚提示部８２および触覚提示部８３を選択的に使用して支援情報を提示するようにした。しかし、必ずしも上記３種類の提示部８１～８３の全てを使い分ける必要はなく、これらの提示部のうちの少なくとも１つを用いて支援情報を提示するようにしてもよい。
（３）前記一実施形態では、音声環境を推定する際に、周囲の雑音および音声が合成された音の音量を計測し、この音量の計測値の偏差値に基づいて聴覚提示の可否を判定するようにした。しかし、それに限らず、例えば合成された音を言語的情報と非言語的情報とに分類してそれぞれの音量を計測し、その計測結果に基づいて聴覚的な情報提示の可否を判定するようにしてもよい。例えば、非言語的情報の音量が閾値より高くても言語的情報の音量が閾値より低ければ、音声による支援情報の提示を行う。反対に、非言語的情報の音量が閾値より低くても言語的情報の音量が閾値より高い場合には、音声による支援情報の提示を行わないようにする。
（４）運転パフォーマンス推定部による運転パフォーマンスの推定結果に基づいて重み係数を決定する際に、時間帯ごとに異なる閾値を設定するようにしてもよい。例えば、朝や夕方の時間帯では交通が混雑することが多いので、運転パフォーマンスを判定する閾値を厳しい値に設定し、反対に昼間のように道路が比較的空いている時間帯では運転パフォーマンスを判定する閾値を緩い値に設定する。このようにすると、運転技能が高い利用者でも混雑する時間帯では支援情報の提示を行わないようにすることができ、一方運転技能がそれほど高くない利用者でも道路が空いている時間帯では支援情報の提示が行割れるようにすることができる。
（５）視覚環境を推定する際に、車両の水平方向の傾き角速度の計測結果に基づいて、視覚提示の可否を判定するための閾値を可変するようにしてもよい。例えば、車両の水平方向の傾き角速度の偏差値がある値以上であれば閾値を厳しい値に設定し、反対に車両の水平方向の傾き角速度の偏差値がある値未満であれば閾値を緩い値に変更する。このようにすると、例えば移動方向のカーブの曲率が大きい場合または高速度でカーブを曲がろうとしているときには視覚による支援情報の提示が行われないようにし、これに対しカーブの曲率が小さい場合または低速度でカーブを曲がろうとしているときには視覚による支援情報の提示が行われるようにすることができる。
（６）前記一実施形態では、支援情報の提示対象を運転者とした場合を例にとって説明したが、助手席または車両周囲に運転支援者がいる場合には、この運転支援者にも支援情報を提示するようにしてもよい。また、その際運転支援者に対する支援情報の提示の可否を判定する条件は、運転者に対するそれより緩く設定するとよい。
その他、移動支援情報提示制御装置の構成やその制御手順および制御内容、移動支援情報の種類、車両の種類などについても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
１…移動支援情報提示制御装置、２…運転装置、３…運転操作部、
４…音響センサ、５…視覚センサ、６…動きセンサ、７…位置センサ、
８…提示装置、１０…制御ユニット、１１…音声環境推定部、
１２…視覚環境推定部、１３…運転パフォーマンス推定部、
１４…装置状態推定部、１５…支援情報推定部、１６…支援情報生成部、
１７…重み決定部、１８…フィードバック判定部、１９…パラメータ調整部、
２０…入出力Ｉ／Ｆ、３０…記憶ユニット、３１…音量データベース、
３２…角速度データベース、３３…技能情報データベース、
３４…装置状態データベース、３５…支援情報データベース、
３６…フィードバックデータベース。

Claims (7)

  1. 車両に乗って移動中の利用者に提示するための支援情報を生成する生成部と、
    前記車両の周囲環境に対応するセンサ情報を取得し、当該取得されたセンサ情報に含まれる特徴量をもとに前記周囲環境を推定する周囲環境推定部と、
    前記利用者の前記車両に対する運転技能に対応する操作情報を取得し、当該取得された前記運転技能に対応する操作情報から推定される前記利用者の前記運転技能の円滑度合いを評価した値により表される特徴量を、予め設定された閾値により表される第４の判定条件と対比して、前記特徴量が前記第４の判定条件以上であるか否かを判定することにより、前記利用者の前記運転技能が前記支援情報の提示に適するか否かを判定する運転技能推定部と、
    前記周囲環境の推定結果および前記運転技能推定部の推定結果に基づいて、前記利用者の前記運転技能が前記支援情報の提示に適すると判定された場合には、前記周囲環境の推定結果に基づいて前記利用者に対する前記支援情報の提示動作を制御し、前記利用者の前記運転技能が前記支援情報の提示に適さないと判定された場合には、前記利用者に対する前記支援情報の提示動作を見合わせる制御を行う制御部と
    を具備する移動支援情報提示制御装置。
  2. 前記周囲環境推定部は、前記車両の周囲の聴覚的な環境に対応する聴覚的センサ情報を取得し、当該取得された聴覚的センサ情報に含まれる特徴量を予め設定された第１の判定条件と対比することにより、前記周囲の聴覚的な環境が前記支援情報の提示に適するか否かを判定し、
    前記制御部は、
    前記聴覚的な環境が前記支援情報の提示に適さないと判定された場合に、前記利用者の聴覚を利用した前記支援情報の提示動作を見合わせる処理と、
    前記聴覚的な環境が前記支援情報の提示に適すると判定された場合でも、前記利用者の前記運転技能が前記支援情報の提示に適さないと判定された場合には、前記利用者の前記聴覚を利用した前記支援情報の提示動作を見合わせる処理と
    を行う
    請求項１に記載の移動支援情報提示制御装置。
  3. 前記周囲環境推定部は、前記車両の周囲の視覚的な環境に対応する視覚的センサ情報を取得し、当該取得された視覚的センサ情報に含まれる特徴量を予め設定された第２の判定条件と対比することにより、前記周囲の視覚的な環境が前記支援情報の提示に適するか否かを判定し、
    前記制御部は、
    前記視覚的な環境が前記支援情報の提示に適さないと判定された場合に、前記利用者の視覚を利用した前記支援情報の提示動作を見合わせる処理と、
    前記視覚的な環境が前記支援情報の提示に適すると判定された場合でも、前記利用者の前記運転技能が前記支援情報の提示に適さないと判定された場合には、前記利用者の前記視覚を利用した前記支援情報の提示動作を見合わせる処理と
    を行う
    請求項１に記載の移動支援情報提示制御装置。
  4. 前記車両の振動に対応するセンサ情報を取得し、当該取得されたセンサ情報に含まれる特徴量を予め設定された第３の判定条件と対比することにより、前記車両の前記振動が前記支援情報の提示に適するか否かを判定する車両状態推定部を、さらに具備し、
    前記制御部は、
    前記車両の前記振動が前記支援情報の提示に適さないと判定された場合に、前記利用者の触覚を利用した前記支援情報の提示動作を見合わせる処理と、
    前記車両の前記振動が前記支援情報の提示に適すると判定された場合でも、前記利用者の前記運転技能が前記支援情報の提示に適さないと判定された場合には、前記利用者の前記触覚を利用した前記支援情報の提示動作を見合わせる処理と
    をさらに行う、
    請求項１乃至３ のいずれかに記載の移動支援情報提示制御装置。
  5. 前記支援情報の提示動作が行われた後に前記運転技能推定部により得られる前記利用者の前記運転技能の判定結果をもとに、前記支援情報の提示後に前記利用者の前記運転技能が維持されているか低下したかを判定し、前記支援情報の提示後に前記運転技能が低下したと判定された場合に、前記第１の判定条件、前記第２の判定条件、前記第３の判定条件または前記第４の判定条件を、前記運転技能が低下する前の値より厳しい値に変更する判定条件制御部を
    さらに具備する請求項１乃至４のいずれかに記載の移動支援情報提示制御装置。
  6. 車両の移動を支援する装置が実行する移動支援情報提示制御方法であって、
    車両に乗って移動中の利用者に提示するための支援情報を生成する過程と、
    前記車両の周囲環境に対応するセンサ情報を取得し、当該取得されたセンサ情報に含まれる特徴量をもとに前記周囲環境を推定する過程と、
    前記利用者の前記車両に対する運転技能に対応する操作情報を取得し、当該取得された前記運転技能に対応する操作情報から推定される前記利用者の前記運転技能の円滑度合いを評価した値により表される特徴量を、予め設定された閾値により表される第４の判定条件と対比して、前記特徴量が前記第４の判定条件以上であるか否かを判定することにより、前記利用者の前記運転技能が前記支援情報の提示に適するか否かを判定する過程と、
    前記周囲環境の推定結果および前記運転技能の判定結果に基づいて、前記利用者の前記運転技能が前記支援情報の提示に適すると判定された場合には、前記周囲環境の推定結果に基づいて前記利用者に対する前記支援情報の提示動作を制御し、前記利用者の前記運転技能が前記支援情報の提示に適さないと判定された場合には、前記利用者に対する前記支援情報の提示動作を見合わせる制御を行う過程と
    を具備する移動支援情報提示制御方法。
  7. 請求項１に記載の移動支援情報提示制御装置が具備する、前記生成部、前記周囲環境推定部、前記運転技能推定部および前記制御部によるすべての処理と、請求項２に記載の移動支援情報提示制御装置が具備する、前記周囲環境推定部および前記制御部によるすべての処理と、請求項３に記載の移動支援情報提示制御装置が具備する、前記周囲環境推定部および前記制御部によるすべての処理と、請求項４に記載の移動支援情報提示制御装置が具備する、前記車両状態推定部および前記制御部によるすべての処理と、請求項５に記載の移動支援情報提示制御装置が具備する前記判定条件制御部による処理とのうちのいずれかを、前記 移動支援情報提示制御装置が備えるプロセッサに実行させるプログラム。
JP2018108726A 2018-06-06 2018-06-06 移動支援情報提示制御装置、方法およびプログラム Active JP7163625B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018108726A JP7163625B2 (ja) 2018-06-06 2018-06-06 移動支援情報提示制御装置、方法およびプログラム
PCT/JP2019/021497 WO2019235346A1 (ja) 2018-06-06 2019-05-30 移動支援情報提示制御装置、方法およびプログラム
US15/734,840 US20210229676A1 (en) 2018-06-06 2019-05-30 Movement-assistance-information presentation control device, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018108726A JP7163625B2 (ja) 2018-06-06 2018-06-06 移動支援情報提示制御装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2019212108A JP2019212108A (ja) 2019-12-12
JP7163625B2 true JP7163625B2 (ja) 2022-11-01

Family

ID=68770276

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018108726A Active JP7163625B2 (ja) 2018-06-06 2018-06-06 移動支援情報提示制御装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US20210229676A1 (ja)
JP (1) JP7163625B2 (ja)
WO (1) WO2019235346A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007090956A (ja) 2005-09-27 2007-04-12 Toyota Motor Corp 車載報知装置
JP2011118831A (ja) 2009-12-07 2011-06-16 Denso Corp 覚醒支援装置
WO2018055753A1 (ja) 2016-09-26 2018-03-29 三菱電機株式会社 ナビゲーション装置

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3518113B2 (ja) * 1995-12-06 2004-04-12 日産自動車株式会社 表示装置
JPH11278173A (ja) * 1998-03-30 1999-10-12 Nissan Motor Co Ltd 自動車操作装置
US7565230B2 (en) * 2000-10-14 2009-07-21 Temic Automotive Of North America, Inc. Method and apparatus for improving vehicle operator performance
US20020151297A1 (en) * 2000-10-14 2002-10-17 Donald Remboski Context aware wireless communication device and method
US6925425B2 (en) * 2000-10-14 2005-08-02 Motorola, Inc. Method and apparatus for vehicle operator performance assessment and improvement
US6591168B2 (en) * 2001-08-31 2003-07-08 Intellisist, Inc. System and method for adaptable mobile user interface
US8301108B2 (en) * 2002-11-04 2012-10-30 Naboulsi Mouhamad A Safety control system for vehicles
DE10322458A1 (de) * 2003-05-16 2004-12-02 Daimlerchrysler Ag Verfahren und Vorrichtung zur Beeinflussung der Beanspruchung eines Fahrers in einem Kraftfahrzeug
US7292152B2 (en) * 2003-06-12 2007-11-06 Temic Automotive Of North America, Inc. Method and apparatus for classifying vehicle operator activity state
JP2006081061A (ja) * 2004-09-13 2006-03-23 Alpine Electronics Inc 音声出力装置及び音声／映像出力装置
US8170725B2 (en) * 2009-02-18 2012-05-01 GM Global Technology Operations LLC Vehicle stability enhancement control adaptation to driving skill based on highway on/off ramp maneuver
US20120095643A1 (en) * 2010-10-19 2012-04-19 Nokia Corporation Method, Apparatus, and Computer Program Product for Modifying a User Interface Format
US8731736B2 (en) * 2011-02-22 2014-05-20 Honda Motor Co., Ltd. System and method for reducing driving skill atrophy
US20120306637A1 (en) * 2011-06-01 2012-12-06 Johnson Controls Technology Company System and method for selectively altering content of a vehicle interface
US8897905B2 (en) * 2011-10-07 2014-11-25 Toyota Jidosha Kabushiki Kaisha Media volume control system
US9418674B2 (en) * 2012-01-17 2016-08-16 GM Global Technology Operations LLC Method and system for using vehicle sound information to enhance audio prompting
GB2500581B (en) * 2012-03-23 2014-08-20 Jaguar Land Rover Ltd Method and system for controlling the output of information to a driver based on an estimated driver workload
WO2014002128A1 (ja) * 2012-06-25 2014-01-03 三菱電機株式会社 車載情報装置
US8898014B2 (en) * 2012-07-30 2014-11-25 Telenav, Inc. Navigation system with range based notification enhancement delivery mechanism and method of operation thereof
US8914012B2 (en) * 2012-10-16 2014-12-16 Excelfore Corporation System and method for monitoring apps in a vehicle to reduce driver distraction
US20160189444A1 (en) * 2012-12-29 2016-06-30 Cloudcar, Inc. System and method to orchestrate in-vehicle experiences to enhance safety
WO2014129197A1 (ja) * 2013-02-22 2014-08-28 パナソニック株式会社 表示制御装置および表示制御プログラム
US9809169B1 (en) * 2013-03-15 2017-11-07 Mouhamad A. Naboulsi Safety control system for vehicles
US9075435B1 (en) * 2013-04-22 2015-07-07 Amazon Technologies, Inc. Context-aware notifications
US9575620B2 (en) * 2013-05-29 2017-02-21 Here Global B.V. Method, apparatus and computer program product for graphically enhancing the user interface of a device
US9226115B2 (en) * 2013-06-20 2015-12-29 Wipro Limited Context-aware in-vehicle dashboard
WO2014209405A1 (en) * 2013-06-29 2014-12-31 Intel Corporation System and method for adaptive haptic effects
US9505412B2 (en) * 2013-08-02 2016-11-29 Honda Motor Co., Ltd. System and method for detection and utilization of driver distraction level
CN106132778B (zh) * 2014-03-28 2018-07-10 三菱电机株式会社 车辆信息通知装置
GB2525656B (en) * 2014-05-01 2018-01-31 Jaguar Land Rover Ltd Control apparatus and related methods for addressing driver distraction
US9248842B1 (en) * 2014-07-14 2016-02-02 Toyota Motor Engineering & Manufacturing North America, Inc. Environment-based function lock system for a vehicle
US20160084661A1 (en) * 2014-09-23 2016-03-24 GM Global Technology Operations LLC Performance driving system and method
EP3240715B1 (en) * 2014-12-30 2018-12-19 Robert Bosch GmbH Adaptive user interface for an autonomous vehicle
US9487139B1 (en) * 2015-05-15 2016-11-08 Honda Motor Co., Ltd. Determining a driver alert level for a vehicle alert system and method of use
US9975429B2 (en) * 2015-09-15 2018-05-22 Thunder Power New Energy Vehicle Development Company Limited Contextual notification presentation in a transportation apparatus
US9875734B2 (en) * 2016-01-05 2018-01-23 Motorola Mobility, Llc Method and apparatus for managing audio readouts
US9936480B2 (en) * 2016-06-20 2018-04-03 Futurewei Technologies, Inc. Adaptive call notification
US20180012197A1 (en) * 2016-07-07 2018-01-11 NextEv USA, Inc. Battery exchange licensing program based on state of charge of battery pack
US20180022290A1 (en) * 2016-07-25 2018-01-25 Ford Global Technologies, Llc Systems, Methods, And Devices For Rendering In-Vehicle Media Content Based On Vehicle Sensor Data
WO2018031673A1 (en) * 2016-08-10 2018-02-15 Surround.IO Corporation Method and system for providing information via collected and stored metadata using inferred attentional model
US9979813B2 (en) * 2016-10-04 2018-05-22 Allstate Solutions Private Limited Mobile device communication access and hands-free device activation
US20180176885A1 (en) * 2016-12-19 2018-06-21 Lenovo (Singapore) Pte. Ltd. Delaying notification delivery based on user activity
US10024711B1 (en) * 2017-07-25 2018-07-17 BlueOwl, LLC Systems and methods for assessing audio levels in user environments
US10235122B1 (en) * 2017-09-21 2019-03-19 Qualcomm Incorporated Transitioning displays in autonomous vehicles to increase driver attentiveness

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007090956A (ja) 2005-09-27 2007-04-12 Toyota Motor Corp 車載報知装置
JP2011118831A (ja) 2009-12-07 2011-06-16 Denso Corp 覚醒支援装置
WO2018055753A1 (ja) 2016-09-26 2018-03-29 三菱電機株式会社 ナビゲーション装置

Also Published As

Publication number Publication date
US20210229676A1 (en) 2021-07-29
WO2019235346A1 (ja) 2019-12-12
JP2019212108A (ja) 2019-12-12

Similar Documents

Publication Publication Date Title
JP6342856B2 (ja) 車両制御装置
US9539944B2 (en) Systems and methods of improving driver experience
US11608085B2 (en) Automatic driving control device
EP2687407B1 (en) Apparatus and method for localizing sound image for vehicle's driver
JP6555647B2 (ja) 車両運転支援システム及び車両運転支援方法
JP6564128B2 (ja) 報知制御装置および報知制御方法
JP2020091790A (ja) 自動運転システム
JP2019159711A (ja) 覚醒度維持装置
CN108706012B (zh) 车辆驾驶支援系统
JP2018180983A (ja) 情報処理装置、情報処理方法、及び、プログラム
CN110895738A (zh) 驾驶评价装置、驾驶评价系统、驾驶评价方法及存储介质
WO2019044427A1 (ja) 支援方法およびそれを利用した支援システム、支援装置
JP2010204637A (ja) 音声認識装置、音声認識方法、及びナビゲーション装置
WO2019131116A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP6988075B2 (ja) 違和感判別方法及び違和感判別装置
JP2020024551A (ja) 運転意識推定装置
JP2008068665A (ja) 車両制御装置および車両制御方法
JP2024041746A (ja) 情報処理装置
JP7107157B2 (ja) 操作支援方法及び操作支援装置
JP2018151907A (ja) 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
JP7163625B2 (ja) 移動支援情報提示制御装置、方法およびプログラム
JP2019036018A (ja) 運転者支援装置及び運転者支援方法
JP5211747B2 (ja) 音響制御装置及び音響制御プログラム
JP2014218124A (ja) 操作支援装置及び操作支援方法
Kashevnik et al. Dangerous situation prediction and driving statistics accumulation using smartphone

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211015

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221003

R150 Certificate of patent or registration of utility model

Ref document number: 7163625

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150