JPWO2018180523A1 - 情報処理装置、情報処理方法、プログラム、及び、移動体 - Google Patents

情報処理装置、情報処理方法、プログラム、及び、移動体 Download PDF

Info

Publication number
JPWO2018180523A1
JPWO2018180523A1 JP2019509238A JP2019509238A JPWO2018180523A1 JP WO2018180523 A1 JPWO2018180523 A1 JP WO2018180523A1 JP 2019509238 A JP2019509238 A JP 2019509238A JP 2019509238 A JP2019509238 A JP 2019509238A JP WO2018180523 A1 JPWO2018180523 A1 JP WO2018180523A1
Authority
JP
Japan
Prior art keywords
moving object
sound
notification sound
moving
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019509238A
Other languages
English (en)
Other versions
JP7091311B2 (ja
Inventor
弘和 橋本
弘和 橋本
亮輔 田中
亮輔 田中
優樹 山本
優樹 山本
徹 知念
徹 知念
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Semiconductor Solutions Corp
Original Assignee
Sony Corp
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Semiconductor Solutions Corp filed Critical Sony Corp
Publication of JPWO2018180523A1 publication Critical patent/JPWO2018180523A1/ja
Application granted granted Critical
Publication of JP7091311B2 publication Critical patent/JP7091311B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/12Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R99/00Subject matter not provided for in other groups of this subclass
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/02Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/025Arrangements for fixing loudspeaker transducers, e.g. in a box, furniture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01Aspects of volume control, not necessarily automatic, in sound systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/13Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Otolaryngology (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本技術は、移動体の周辺の動体の位置を正確に伝えることができるようにする情報処理装置、情報処理方法、プログラム、及び、移動体に関する。情報処理装置は、センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出部と、前記動体の検出位置の移動に伴い、前記動体の位置を知らせる通知音の音像の位置を移動させる音声出力制御部とを備える。本技術は、例えば、動体への衝突又は接触を防止するための運転支援を行う装置、システム又は車両に適用できる。

Description

本技術は、情報処理装置、情報処理方法、プログラム、及び、移動体に関し、特に、移動体の周辺の動体の位置を正確に伝えるようにした情報処理装置、情報処理方法、プログラム、及び、移動体に関する。
従来、自車両の交差点の通過形態及び交差点への進入タイミング、並びに、他車両の交差点の通過形態及び交差点への進入タイミングに基づいて、他車両を案内する案内音声を出力するスピーカを選択することが提案されている(例えば、特許文献1参照)。
また、従来、自車両又は運転者に対する障害物の方向に警報情報の音像を定位させることが提案されている(例えば、特許文献2参照)。
特開2009−245340号公報 国際公開第2008/075407号
ところで、車両の周辺の動体との衝突又は接触を回避するために、より正確に動体の位置を伝えることが望まれている。
本技術は、このような状況に鑑みてなされたものであり、車両等の移動体の周辺の動体の位置を正確に伝えることができるようにするものである。
本技術の第1の側面の情報処理装置は、センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出部と、前記動体の検出位置の移動に伴い、前記動体の位置を知らせる通知音の音像の位置を移動させる音声出力制御部とを備える。
前記動体の動きを予測する動き予測部をさらに設け、前記音声出力制御部には、さらに前記動体の予測位置に基づいて、前記通知音の音像の位置を移動させることができる。
前記音声出力制御部には、前記動体の第1の検出位置に基づいて前記通知音の音像の位置を設定してから、次の前記動体の第2の検出位置に基づいて前記通知音の音像の位置を設定するまでの間に、前記動体の予測位置に基づいて、前記通知音の音像の位置を設定させることができる。
前記動き予測部には、前記移動体の動きをさらに予測させ、前記音声出力制御部には、前記移動体の予測位置に対する前記動体の予測位置に基づいて、前記通知音の音像の位置を移動させることができる。
前記音声出力制御部には、前記移動体と前記動体との間の距離に基づいて、前記通知音の音量を制御させることができる。
前記音声出力制御部には、前記動体の種類により前記通知音の種類を変更させることができる。
前記音声出力制御部には、前記移動体周辺に同じ種類の動体が複数存在する場合、動体毎に前記通知音の種類を変更させることができる。
前記動体に対する優先度を設定する優先度設定部をさらに設け、前記音声出力制御部には、前記優先度に基づいて、複数の前記動体に対する通知音の出力を制御させることができる。
前記音声出力制御部には、前記優先度が高い前記動体に対する通知音を優先的に出力するように制御させることができる。
前記音声出力制御部には、前記優先度に基づいて前記通知音の音量を制御させることができる。
前記優先度設定部には、前記動体が前記移動体に衝突又は接触する危険度に基づいて、前記優先度を設定させることができる。
前記音声出力制御部には、前記移動体の周囲の所定の範囲内の前記動体に対する前記通知音を出力するように制御させることができる。
前記音声出力制御部には、前記移動体が存在する平面を基準とする前記動体の上下方向の位置に基づいて、前記通知音の音像の上下方向の位置を制御させることができる。
前記音声出力制御部には、前記移動体において異なる高さに配置されている複数のスピーカからの音声の出力を制御することにより、前記通知音の音像の上下方向の位置を制御させることができる。
前記音声出力制御部には、前記移動体において前記移動体の運転者の周囲を囲むように配置されている複数のスピーカからの音声の出力を制御させることができる。
前記音声出力制御部には、前記移動体に対する前記動体の検出位置の移動に伴い、前記通知音の音像の位置を移動させることができる。
本技術の第1の側面の情報処理方法は、センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出ステップと、前記動体の検出位置の移動に伴い、前記動体の位置を知らせる通知音の音像の位置を移動させる音声出力制御ステップとを含む。
本技術の第1の側面のプログラムは、センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出ステップと、前記動体の検出位置の移動に伴い、前記動体の位置を知らせる通知音の音像の位置を移動させる音声出力制御ステップとを含む処理をコンピュータに実行させる。
本技術の第2の側面の移動体は、本体に配置され周辺の状況の検出に用いるセンサと、前記センサから入力される情報に基づいて周辺の動体を検出する動体検出部と、前記動体の検出位置の移動に伴い、前記動体の位置を知らせる通知音の音像の位置を移動させる音声出力制御部とを備える。
本技術の第1の側面又は第2の側面においては、センサから入力される情報に基づいて移動体周辺の動体が検出され、前記動体の検出位置の移動に伴い、前記動体の位置を知らせる通知音の音像の位置が移動する。
本技術の第1の側面又は第2の側面によれば、移動体の周辺の動体の位置を正確に伝えることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
本技術を適用した車載システムの一実施の形態を示すブロック図である。 スピーカの設置位置の第1の例を示す図である。 通知制御処理の第1の実施形態を説明するためのフローチャートである。 通知音の音量の制御方法を示すグラフである。 通知音の第1の出力例を示す図である。 通知音の第2の出力例を示す図である。 通知音の第3の出力例を示す図である。 通知対象となる自転車の動きの第1の例を示す図である。 自転車の予測位置を用いない場合の通知音の音像の方向及び音量の変化を模式的に示す図である。 自転車の予測位置を用いた場合の通知音の音像の方向及び音量の変化を模式的に示す図である。 図8の自転車に対する通知音を出力するために各スピーカから出力される出力音の波形の例を示すグラフである。 通知対象となる自転車の動きの第2の例を示す図である。 図12の自転車に対する通知音を出力するために各スピーカから出力される出力音の波形の例を示すグラフである。 通知制御処理の第2の実施形態を説明するためのフローチャートである。 スピーカの設置位置の第2の例を示す図である。 スピーカの設置位置の第3の例を示す図である。 コンピュータの構成例を示す図である。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
1.実施の形態
2.変形例
3.その他
<<1.実施の形態>>
<1−1.車載システムの構成例>
図1は、本技術を適用した車載システムの一実施の形態を示すブロック図である。
車載システム10は、車両に搭載され、運転支援を行うシステムである。例えば、車載システム10は、車両の周辺を監視し、周辺の動体(例えば、車両、自転車、人等)との衝突又は接触を防止するための処理を行う。より具体的には、車載システム10は、車両の周辺の動体の位置の通知、及び、動体との衝突又は接触を回避するためのブレーキシステム等の制動装置の制御等を行う。
なお、車載システム10が搭載される車両は、特に限定されるものではなく、例えば、三輪トラック、小型トラック、小型乗用車、大型乗用車、大型バス、大型トラック、大型特殊車、小型特殊車等を含む。また、以下、車載システム10が搭載されている車両を自車両とも称し、自車両以外の車両を他車両とも称する。
車載システム10は、周辺センサ11、車両情報取得部12、情報処理部13、表示部14、音声出力部15、制動制御部16、及び、制動装置17を備える。
周辺センサ11は、自車両の周辺の状況の検出に用いる各種のセンサを備える。例えば、周辺センサ11は、自車両の周辺を撮影するカメラ(画像センサ)、自車両に近い物体の検出に用いる近距離センサ、並びに、自車両から遠い物体の検出に用いる遠距離センサ等を備える。近距離センサとしては、例えば、超音波センサ等が挙げられる。遠距離センサとしては、例えば、レーダ、ライダ、TOF(Time of Flight)センサ等が挙げられる。周辺センサ11の各センサは、それぞれ検出結果を含む情報を示すデータ(以下、周辺センサデータと称する)を情報処理部13の周辺状況検出部31に供給する。
なお、以下、周辺センサ11の各カメラにより撮影された画像を周辺画像と称し、周辺画像を示すデータを周辺画像データと称する。周辺画像データは、周辺センサデータの一種である。
車両情報取得部12は、自車両の動きの予測に用いる各種のセンサ等を備える。例えば、車両情報取得部12は、速度センサ、操舵角センサ、GNSS(Global Navigation Satellite System)受信機等を備える。また、車両情報取得部12は、自車両の方向指示器の操作情報、自車両のギアの位置を示す情報、ナビゲーションシステムに設定されたルート情報等を取得する。車両情報取得部12は、取得したセンサデータ及び情報(以下、車両情報と総称する)を動き予測部32に供給する。
なお、自車両に予め備えられているセンサを、周辺センサ11及び車両情報取得部12に用いるようにしてもよい。
情報処理部13は、例えば、ECU(Electronic Control Unit)等により構成される。情報処理部13は、周辺状況検出部31、動き予測部32、衝突予測部33、優先度設定部34、及び、HMI(Human Machine Interface)制御部35を備える。
周辺状況検出部31は、周辺センサデータに基づいて、自車両の周辺の状況の検出を行う。周辺状況検出部31は、空間生成部41及び動体検出部42を備える。
空間生成部41は、周辺センサデータに基づいて、自車両の周辺の物体の形状や位置等を示す3次元空間マップを生成する。空間生成部41は、3次元空間マップを動き予測部32及びHMI制御部35に供給する。また、空間生成部41は、周辺センサデータのうち周辺画像データをHMI制御部35に供給する。
動体検出部42は、周辺センサデータ及び3次元空間マップに基づいて、自車両の周辺の動体の検出を行う。動体検出部42は、動体の検出結果を動き予測部32及びHMI制御部35に供給する。
動き予測部32は、車両情報に基づいて、自車両の動き予測を行う。また、動き予測部32は、3次元空間マップ及び動体の検出結果に基づいて、自車両の周辺の動体の動き予測を行う。動き予測部32は、自車両及び自車両の周辺の動体の動き予測の結果を、衝突予測部33、優先度設定部34、及び、HMI制御部35に供給する。
衝突予測部33は、自車両及び自車両の周辺の動体の動きの予測結果に基づいて、自車両の周辺の動体の衝突予測を行う。衝突予測部33は、衝突予測の結果を優先度設定部34、HMI制御部35、及び、制動制御部16に供給する。
優先度設定部34は、自車両及び自車両の周辺の動体の動き予測の結果、並びに、衝突予測の結果に基づいて、各動体の位置を通知する際の優先度(以下、通知優先度と称する)を設定する。優先度設定部34は、通知優先度の設定情報をHMI制御部35に供給する。
HMI制御部35は、自車両のHMIの制御を行う。HMI制御部35は、表示制御部51及び音声出力制御部52を備える。
表示制御部51は、表示部14による画像(動画及び静止画)の表示を制御する。例えば、表示制御部51は、3次元空間マップ、自車両の周辺の動体の検出結果、並びに、自車両の周辺の動体の動き予測及び衝突予測の結果に基づいて、自車両の周辺の状況を示す周辺監視画像を表示するための周辺監視画像データを生成する。表示制御部51は、周辺監視画像データを表示部14に供給し、周辺監視画像を表示させる。
音声出力制御部52は、音声出力部15からの音声の出力を制御する。例えば、音声出力制御部52は、自車両の周辺の動体の検出結果、自車両及び自車両の周辺の動体の動き予測の結果、衝突予測の結果、及び、通知優先度に基づいて、自車両の周辺の動体の位置を通知する通知音用の音声データを生成する。音声出力制御部52は、生成した音声データを音声出力部15に供給し、音声データに基づく通知音を出力させる。
また、音声出力制御部52は、後述するように、音像定位技術を用いて、通知音の音像を対応する動体の位置付近に定位させるともに、動体の移動に応じて、通知音の音像の位置を移動させる。
ここで、人間は、左右の耳に届く音の時間差により、音源の方向や距離を知覚する能力(音像定位能)を有している。音像定位技術とは、この音像定位能を利用して、複数のスピーカから出力される音の時間差や音量の違い等により、人間が知覚する仮想の音源(音像)の位置を制御する技術である。
表示部14は、例えば、各種のディスプレイ等により構成される。表示部14は、HMI制御部35の制御の下に、周辺監視画像等の各種の画像を表示する。
音声出力部15は、例えば、自車両に設けられている複数のスピーカにより構成される。音声出力部15は、音声出力制御部52から供給される音声データに基づいて、通知音等の音声を出力する。
制動制御部16は、例えば、ECU(Electronic Control Unit)等により構成される。制動制御部16は、衝突予測部33による衝突予測結果に基づいて、制動装置17を制御して、自車両の緊急停止等を行う。
制動装置17は、例えば、自車両のブレーキシステム等により構成される。
<1−2.スピーカの配置例>
図2は、音声出力部15が備えるスピーカの配置例を示している。
例えば、音声出力部15は、スピーカ111FL乃至スピーカ111BRの4つのスピーカを備えている。なお、図2には、点線の円により、スピーカ111FL乃至スピーカ111BRの位置が模式的に示されている。
スピーカ111FL乃至スピーカ111BRは、車両101の室内において、運転席に座っている運転者102を囲むように配置されている。具体的には、スピーカ111FLは、運転者102の左前方であって、車両101の助手席のドアの前端付近に配置されている。スピーカ111FRは、運転者102の右前方であって、車両101の運転席のドアの前端付近に配置されている。スピーカ111BLは、運転者102の左後方であって、車両101の左側の後部座席のドアの中央よりやや前よりに配置されている。スピーカ111BRは、運転者102の右後方であって、車両101の右側の後部座席のドアの中央よりやや前よりに配置されている。スピーカ111FL乃至スピーカ111BRは、いずれも車両101の室内を向くように設置されている。そして、スピーカ111FL乃至スピーカ111BRを頂点とする四角形の空間内に運転者102が存在する。
なお、以下、スピーカ111FL乃至スピーカ111BRを個々に区別する必要がない場合、単にスピーカ111と称する。
<1−3.通知制御処理の第1の実施形態>
次に、図3のフローチャートを参照して、車載システム10により実行される通知制御処理について説明する。なお、ここでは、音声により車両101の周辺の動体の位置を通知する処理を中心に説明し、音声以外の画像等により通知する処理の説明は省略する。
この処理は、例えば、車両101を起動し、運転を開始するための操作が行われたとき、例えば、車両101のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオンされたとき開始される。また、この処理は、例えば、運転を終了するための操作が行われたとき、例えば、車両101のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオフされたとき終了する。
ステップS1において、情報処理部13は、センサ情報を取得する。具体的には、周辺状況検出部31は、周辺センサ11の各センサから周辺センサデータを取得する。
ステップS2において、空間生成部41は、空間生成処理を行う。すなわち、空間生成部41は、周辺センサデータに基づいて、車両101の周辺の物体の形状や位置等を示す3次元空間マップを生成する(或いは、更新する)。なお、車両101の周辺の物体には、動体だけでなく、静止物(例えば、建物、路面等)も含まれる。空間生成部41は、生成した3次元空間マップを動き予測部32及びHMI制御部35に供給する。
なお、3次元空間マップの生成方法には、任意の方法を用いることが可能である。例えば、SLAM(Simultaneous Localization and Mapping)等の技術が用いられる。
ステップS3において、動体検出部42は、動体検出を行う。具体的には、動体検出部42は、周辺センサデータ及び3次元空間マップに基づいて、車両101の周辺の動体の検出を行う。例えば、動体検出部42は、車両101の周辺の動体の有無、動体の種類、大きさ、形状、位置等の検出を行う。動体検出部42は、動体の検出結果を動き予測部32及びHMI制御部35に供給する。
なお、動体の検出方法には、任意の方法を用いることが可能である。また、検出対象となる動体には、実際に動いている動体だけでなく、停車中の車両や自転車、停止中の歩行者等の一時的に静止している動体も含まれる。
さらに、動体検出部42は、例えば、3次元空間マップを用いずに、周辺センサデータのみに基づいて、車両101の周辺の動体の検出を行うことも可能である。この場合、ステップS2とステップS3の処理を入れ替えることが可能である。
ステップS4において、動体検出部42は、ステップS3の処理の結果に基づいて、周辺に動体が存在するか否かを判定する。例えば、動体検出部42は、車両101を中心とする半径が所定の距離(以下、通知対象距離と称する)の範囲(以下、通知対象範囲と称する)内において動体が検出されなかった場合、周辺に動体が存在しないと判定し、処理はステップS1に戻る。
その後、周辺に動体が存在すると判定されるまで、ステップS1乃至ステップS4の処理が繰り返し実行される。
一方、ステップS4において、動体検出部42は、通知対象範囲内において動体が検出された場合、周辺に動体が存在する判定し、処理はステップS5に進む。
ステップS5において、動き予測部32は、動体の動きを予測する。具体的には、動き予測部32は、3次元空間マップ、及び、車両101の周辺の動体の検出結果に基づいて、車両101の周辺の動体の移動速度及び移動方向等の予測を行う。動き予測部32は、予測結果を、衝突予測部33、優先度設定部34、及び、HMI制御部35に供給する。
なお、動き予測の方法には、任意の方法を用いることが可能である。
ステップS6において、衝突予測部33は、衝突予測を行う。具体的には、衝突予測部33は、車両101の周辺の動体の動きの予測結果に基づいて、車両101の周辺の動体が車両101に衝突又は接触する可能性があるか否か、並びに、衝突又は接触する可能性のある動体の衝突又は接触するまでの所要時間(以下、衝突予測時間と称する)を予測する。
ステップS7において、衝突予測部33は、動体の危険度を設定する。例えば、衝突予測部33、静止中の動体、及び、車両101から離れる方向に移動中の動体を危険度1に設定する。一方、衝突予測部33、車両101に接近する方向に移動中の動体のうち、衝突予測時間がT1秒(例えば、5秒)を超える動体を危険度2に設定し、衝突予測時間がT1秒以内、かつ、T2秒(例えば1秒)を超える動体を危険度3に設定し、衝突予測時間がT2秒以内である動体を危険度4に設定する。衝突予測部33は、各動体の危険度を含む衝突予測の結果を優先度設定部34、HMI制御部35、及び、制動制御部16に供給する。
なお、静止中の動体、及び、車両101から離れる方向に移動中の動体についても、衝突予測時間に基づいて、危険度2乃至4のいずれかに設定するようにしてもよい。
また、例えば、衝突予測時間の代わりに、車両101との間の距離に基づいて、各動体の危険度を設定するようにしてもよい。この場合、例えば、車両101に近い動体ほど危険度が高く設定される。
ステップS8において、優先度設定部34は、通知優先度を設定する。具体的には、優先度設定部34は、通知対象範囲内において複数の動体が検出された場合、まずその中から通知対象とする動体を選択する。
例えば、優先度設定部34は、最も危険度が高い動体を通知対象に設定する。なお、最も危険度が高い動体が複数存在する場合、例えば、最も車両101から近い動体が通知対象に選択される。
或いは、例えば、優先度設定部34は、危険度が所定の値以上の動体を通知対象に選択する。
或いは、例えば、優先度設定部34は、危険度が上位の所定の数の動体を通知対象に選択する。
或いは、例えば、優先度設定部34は、通知対象の選択を行わずに、通知対象範囲内の動体を全て通知対象とする。
次に、優先度設定部34は、通知対象とした動体(以下、通知対象動体と称する)の優先順位を設定する。
例えば、優先度設定部34は、危険度が高い順に通知対象動体の優先順位を設定する。なお、危険度が同じ動体が存在する場合、それらを同じ優先順位に設定してもよいし、例えば、車両101に近い動体ほど、優先順位を高く設定するようにしてもよい。
或いは、例えば、優先度設定部34は、優先順位の設定を行わずに、全ての通知対象動体を同じ優先順位とする。
なお、優先度設定部34は、通知対象範囲内において1つの動体が検出された場合、例えば、その動体を無条件に通知対象に選択する。
優先度設定部34は、通知優先度の設定情報をHMI制御部35に供給する。この設定情報は、通知対象動体を示す情報を含み、各通知対象動体の優先順位を設定した場合には、その情報も含む。
ステップS9において、音声出力制御部52は、動体の現在位置に基づいて、通知音用の音声データを生成する。
例えば、音声出力制御部52は、各通知対象動体の種類に基づいて、各通知対象動体の通知音の種類を設定する。このとき、各通知対象動体の種類が容易に識別できるように、通知音が設定される。例えば、自動車に対する通知音は、自動車のカーホーンを連想させる”ブーブー”という音に設定される。モータバイクに対する通知音は、モータバイクのエンジン音を連想させる”ブォンブォン”という音に設定される。自転車に対する通知音は、自転車のベルの音を連想させる”チャリンチャリン”という音に設定される。人に対する通知音は、人が歩いている音を連想させる”テクテク”という音に設定される。
なお、同じ種類の通知対象動体が複数存在する場合、それぞれを識別できるように通知音の種類が変更される。例えば、通知対象動体毎に通知音のパターン、音色、テンポ等が変更される。
また、音声出力制御部52は、各通知対象動体の現在位置に基づいて、各通知対象動体の通知音の音像の定位位置を設定する。例えば、音声出力制御部52は、各通知対象動体の通知音の音像の方向を、所定の基準位置を基準にして各動体が存在する方向に設定する。なお、基準位置は、例えば、車両101の平面方向の中心、或いは、運転者102の位置に設定される。従って、各通知対象動体の通知音の音像の方向が、車両101(又は運転者102)に対する各通知対象動体の現在の方向(相対方向)に設定される。
また、音声出力制御部52は、通知音の音量により、各通知対象動体の通知音の音像の距離方向の位置を調整する。例えば、図4に示されるように、音声出力制御部52は、車両101までの距離が0mのとき最大、かつ、通知対象距離Dthのとき最小となり、車両101(自車両)までの距離に従って線形に減少するように、各通知対象動体の通知音の音量を設定する。なお、最大音量は、全ての通知対象動体で一定にしてもよいし、例えば、通知対象動体の優先順位や種類により変化させるようにしてもよい。
そして、音声出力制御部52は、各通知対象動体の通知音が、設定した種類の音となり、各通知対象動体の通知音の音像が、設定した位置に定位するように、各スピーカ111に供給する音声データを生成する。このとき、例えば、同じ方向に複数の通知対象動体が存在する場合等に、1つのスピーカ111の出力音に、複数の通知対象動体の通知音が含まれるように、音声データが生成される。
ステップS10において、音声出力部15は、通知音を出力する。すなわち、音声出力制御部52は、ステップS9の処理で生成した音声データを音声出力部15の各スピーカ111に供給する。各スピーカ111は、音声データに基づく音声を出力する。その結果、各通知対象動体に対する通知音が、各通知対象動体の種類に対応する音で出力されるとともに、各通知音の音像が、車両101(又は運転者102)に対する各通知対象動体の現在位置の方向及び距離に対応する位置に定位する。
これにより、例えば、図5に示されるように、通知対象範囲R1内において車両101の左前方に存在する自動車151に対して、自動車151の方向から”ブーブー”という音が聞こえるように通知音が出力される。通知対象範囲R1内において車両101の右前方に存在する自転車152に対して、自転車152の方向から”チャリンチャリン”という音が聞こえるように通知音が出力される。通知対象範囲R1内において車両101の左後方に存在するモータバイク153に対して、モータバイク153の方向から”ブォンブォン”という音が聞こえるように通知音が出力される。通知対象範囲R1内において車両101の右後方に存在する人154に対して、人154の方向から”ブォンブォン”という音が聞こえるように通知音が出力される。
これにより、運転者102は、車両101の周辺の動体の種類及び位置を容易に把握することができる。
なお、音声出力制御部52は、各通知対象物体の優先順位に従って通知音の出力を制御するようにしてもよい。
例えば、優先順位が高い通知対象物体の通知音が優先的に出力されるようにしてもよい。例えば、図6に示されるように、最も優先順位が高い自転車152に対する通知音のみが出力されるようにしてもよい。
或いは、例えば、図7に示されるように、優先順位に従って、各通知対象物体に対する通知音の音量を調整してもよい。例えば、最も優先順位が高い自転車152に対する通知音の音量が最も大きくされ、優先順位が2番目に高い自動車151に対する通知音の音量が2番目に大きくされ、優先順位が3番目に高いモータバイク153に対する通知音の音量が3番目に大きくされ、優先順位が最も低い人154に対する通知音の音量が最も小さくされる。
なお、ステップS10の処理において出力が開始された通知音は、後述するステップS13において、新たに通知音の出力が行われるか、通知制御処理が終了するまで、同じ種類かつ同じ定位位置で継続して出力される。
ステップS11において、制動制御部16は、緊急停止が必要であるか否かを判定する。例えば、制動制御部16は、車両101の周辺の動体の中に危険度4の動体が存在しない場合、緊急停止の必要がないと判定し、処理はステップS12に進む。
ステップS12において、音声出力制御部52は、動体の予測位置に基づいて、通知音用の音声データを生成する。具体的には、音声出力制御部52は、動き予測部32の予測結果に基づいて、次に通知音を出力するタイミングにおける各通知対象動体の予測位置を求める。そして、音声出力制御部52は、各通知対象動体の現在位置の代わりに予測位置に基づいて、ステップS9の処理と同様に、各通知対象動体に対する通知音用の音声データを生成する。
なお、予測位置が通知対象範囲の外に出た通知対象動体の通知音については、出力を停止するようにしてもよいし、継続するようにしてもよい。
ステップS13において、音声出力部15は、通知音を出力する。すなわち、音声出力制御部52は、ステップS12の処理で生成した音声データを音声出力部15の各スピーカ111に供給する。各スピーカ111は、音声データに基づく音声を出力する。
なお、ステップS13の処理において出力が開始された通知音は、ステップS10又は次にステップS13において、新たに通知音の出力が行われるか、通知制御処理が終了するまで、同じ種類かつ同じ定位位置で継続して出力される。
ステップS14において、動体検出部42は、動体検出を行うタイミングであるか否かを判定する。動体検出を行うタイミングでないと判定された場合、処理はステップS12に戻り、ステップS14において、動体検出を行うタイミングであると判定されるまで、ステップS12乃至ステップS14の処理が繰り返し実行される。
例えば、動体検出部42が、周辺画像データに基づいて動体検出を行う場合、動体検出を行う間隔は、周辺画像データのフレームレート以下となる。ここで、周辺画像データのフレームレート以下としたのは、例えば、複数フレーム毎に動体検出が実行される場合も想定されるからである。
従って、ステップS12及びステップS13の処理が実行されなければ、通知音の音像の定位位置の更新間隔は、動体検出の実行間隔と等しくなり、周辺画像データのフレームレート以下となる。そして、動体検出の実行結果に基づいて通知音が出力されてから、次の動体検出の実行結果に基づいて通知音が出力されるまでの間に通知対象動体が移動しても、通知音の音像の方向及び音量は変化しない。従って、通知対象動体の移動に伴い、通知音の音像の方向や音量が急激に変化し、運転者102が違和感を覚えたり、混乱したりするおそれがある。また、通知音の音像の定位位置と、実際の通知対象動体の位置との間のズレが大きくなるおそれがある。
一方、ステップS12及びステップS13の処理が実行されることにより、動体検出の実行結果に基づいて通知音が出力されてから、次の動体検出の実行結果に基づいて通知音が出力されるまでの間に、通知対象動体の予測位置に基づいて、通知音の音像の定位位置が更新される。すなわち、動体の検出位置に基づいて通知音の音像の位置が設定されてから、次の動体の検出位置に基づいて通知音の音像の位置が設定されるまでの間に、動体の予測位置に基づいて通知音の音像の位置が設定される。これにより、通知音の音像の方向及び音量の更新間隔が、動体検出の実行間隔より短くなる。その結果、通知対象動体の移動に伴い、通知音の音像の方向及び音量がより滑らかに変化するようになり、運転者102が違和感を覚えたり、混乱したりすることが防止される。また、通知音の音像の定位位置と、実際の通知対象動体の位置との間のズレが小さくなる。
例えば、図8に示されるように、自転車171が、車両101の前方を右から左へ移動する場合について検討する。
なお、通知対象範囲R1は、車両101の中心C1を中心とし、半径が通信対象距離と等しい円形の領域である。なお、以下、中心C1からスピーカ111FLの方向に延びる線L1、スピーカ111FRの方向に延びる線L2、スピーカL111BLの方向に延びる線L3、及び、スピーカ111BRの方向に延びる線L4により通知対象範囲R1を4分割した領域を、それぞれ領域R1F、領域R1L、領域R1R、及び、領域R1Bとする。領域R1Fは車両101の前方の領域であり、領域R1Lは車両101の左方向の領域であり、領域R1Rは車両101の右方向の領域であり、領域R1Bは車両101の後方の領域である。
なお、領域R1F内の通知対象動体に対する通知音は、スピーカ111FL及びスピーカ111FRから出力される。領域R1L内の通知対象動体に対する通知音は、スピーカ111FL及びスピーカ111BLから出力される。領域R1R内の通知対象動体に対する通知音は、スピーカ111FR及びスピーカ111BRから出力される。領域R1B内の通知対象動体に対する通知音は、スピーカ111BL及びスピーカ111BRから出力される。
図8の例では、自転車171は、時刻t0において、車両101の右前方から通知対象範囲R1の領域R1Rに進入し、車両101の前方を右から左方向に移動し、時刻t4において、通知対象範囲R1から出ている。また、自転車171は、時刻t1において、領域R1Rと領域R1Fの境界付近に到達し、時刻t2において、車両101の正面付近に到達し、時刻t3において、領域R1Fと領域R1Lの境界付近に到達している。
図9は、自転車171の検出位置のみに基づいて、自転車171に対する通知音の音像の定位位置を更新した場合の通知音の音像の方向及び音量の変化を模式的に示している。図内の横軸方向が、通知音の音像の方向を示し、縦軸方向が、通知音の音量を示している。
時刻t0において、通知音の出力が開始され、その後、時刻が進み、自転車171が左方向に移動するのに伴い、通知音の音像の方向が右から左に移動している。また、通知音の音量は、時刻t0から時刻t2まで段階的に上昇し、時刻t2から時刻t3までの期間に最大となり、時刻t3乃至時刻t5まで段階的に下降し、時刻t5において0になっている。
図10は、自転車171の検出位置及び予測位置の両方に基づいて、自転車171に対する通知音の音像の定位位置を更新した場合の通知音の音像の方向及び音量の変化を模式的に示している。図9と同様に、図内の横軸方向が、通知音の音像の方向を示し、縦軸方向が、通知音の音量を示している。
この例では、各時刻の間に、自転車171の予測位置に基づいて、2回通知音の定位位置が更新されている。時刻t0において、通知音の出力が開始され、その後、時刻が進み、自転車171が左方向に移動するのに伴い、通知音の音像の方向が右から左に移動している。また、通知音の音量は、時刻t0から時刻t2まで段階的に上昇し、時刻t2から次の通知音の定位位置の更新タイミングまでの期間に最大となり、その後時刻t4まで段階的に下降し、時刻t4の次の通知音の定位位置の更新タイミングにおいて0になっている。
図10の例を図9の例と比較すると、通知音の音像の方向及び音量がより滑らかに変化している。従って、運転者102が違和感を覚えたり、混乱したりすることが防止される。
図11は、図8に示されるように自転車171が移動した場合に、各スピーカ111から出力される出力音の波形の詳細な例を示している。図11の横軸は時刻を示し、いちばん上の波形は左前方のスピーカ111FLの出力音の波形を示し、2番目の波形は右前方のスピーカ111FRの出力音の波形を示し、3番目の波形は左後方のスピーカ111BLの出力音の波形を示し、4番目の波形は右後方のスピーカ111BRの出力音の波形を示している。なお、図11の横軸は時刻を示し、波形の振幅は各スピーカ111の出力音の音量を示している。
時刻t0から時刻t1までの間、自転車171は領域R1R内にいるため、自転車171に対する通知音は、スピーカ111FRの出力音及びスピーカ111BRの出力音が合成されることにより実現される。すなわち、スピーカ111FRの出力音及びスピーカ111BRの出力音により、自転車171に対する通知音の音像が、基準位置(例えば、車両101の中心又は運転者102)から見て自転車171の方向に定位するように移動する。また、自転車171が基準位置に近づくにつれて通知音の音量が大きくなるように、スピーカ111FRの出力音及びスピーカ111BRの出力音の音量が調整される。
時刻t1から時刻t3までの間、自転車171は領域R1F内にいるため、自転車171に対する通知音は、スピーカ111FLの出力音及びスピーカ111FRの出力音が合成されることにより実現される。すなわち、スピーカ111FLの出力音及びスピーカ111FRの出力音により、自転車171に対する通知音の音像が、基準位置から見て自転車171の方向に定位するように移動する。また、自転車171が基準位置に近づくにつれて通知音の音量が大きくなり、基準位置から遠ざかるにつれて通知音の音量が小さくなるように、スピーカ111FLの出力音及びスピーカ111FRの出力音の音量が調整される。
時刻t3から時刻t4までの間、自転車171は領域R1L内にいるため、自転車171に対する通知音は、スピーカ111FLの出力音及びスピーカ111BLの出力音が合成されることにより実現される。すなわち、スピーカ111FLの出力音及びスピーカ111BLの出力音により、自転車171に対する通知音の音像が、基準位置から見て自転車171の方向に定位するように移動する。また、自転車171が基準位置から遠ざかるにつれて通知音の音量が小さくなるように、スピーカ111FLの出力音及びスピーカ111BLの出力音の音量が調整される。
時刻t4以降は、自転車171が通知対象範囲R1の外にいるため、自転車171に対する通知音は停止される。
図13は、図12に示されるように自転車172が移動した場合に、各スピーカ111から出力される出力音の波形の詳細な例を示している。
図12の例では、自転車172は、時刻t0において、車両101の左後方から通知対象範囲R1の領域R1Bに進入し、車両101の左側を後ろから前方向に移動し、時刻t4において、通知対象範囲R1から出ている。また、自転車172は、時刻t1において、領域R1Bと領域R1Lの境界付近に到達し、時刻t2において、車両101の左隣りに到達し、時刻t3において、領域R1Lと領域R1Fの境界付近に到達している。
時刻t0から時刻t1までの間、自転車172は領域R1B内にいるため、自転車172に対する通知音は、スピーカ111BLの出力音及びスピーカ111BRの出力音が合成されることにより実現される。すなわち、スピーカ111BLの出力音及びスピーカ111BRの出力音により、自転車172に対する通知音の音像が、基準位置から見て自転車172の方向に定位するように移動する。また、自転車172が基準位置に近づくにつれて通知音の音量が大きくなるように、スピーカ111BLの出力音及びスピーカ111BRの出力音の音量が調整される。
時刻t1から時刻t3までの間、自転車172は領域R1L内にいるため、自転車172に対する通知音は、スピーカ111FLの出力音及びスピーカ111BLの出力音が合成されることにより実現される。すなわち、スピーカ111FLの出力音及びスピーカ111BLの出力音により、自転車172に対する通知音の音像が、基準位置から見て自転車172の方向に定位するように移動する。また、自転車172が基準位置に近づくにつれて通知音の音量が大きくなり、基準位置から遠ざかるにつれて通知音の音量が小さくなるように、スピーカ111FLの出力音及びスピーカ111BLの出力音の音量が調整される。
時刻t3から時刻t4までの間、自転車172は領域R1F内にいるため、自転車172に対する通知音は、スピーカ111FLの出力音及びスピーカ111FRの出力音が合成されることにより実現される。すなわち、スピーカ111FLの出力音及びスピーカ111FRの出力音により、自転車172に対する通知音の音像が、基準位置から見て自転車172の方向に定位するように移動する。また、自転車172が基準位置から遠ざかるにつれて通知音の音量が小さくなるように、スピーカ111FLの出力音及びスピーカ111FRの出力音の音量が調整される。
時刻t4以降は、自転車172が通知対象範囲R1の外にいるため、自転車172に対する通知音は停止される。
図3に戻り、一方、ステップS14において、動体検出を行うタイミングであると判定された場合、処理はステップS1に戻る。
その後、ステップS11において、緊急停止が必要であると判定されるまで、ステップS1乃至ステップS14の処理が繰り返し実行される。
一方、ステップS11において、例えば、制動制御部16は、車両101の周辺の動体の中に危険度4の動体が存在する場合、緊急停止の必要があると判定し、処理はステップS15に進む。
ステップS15において、制動制御部16は、制動装置17を制御して、車両101を緊急停止させる。これにより、車両101の周辺の動体との衝突又は接触が防止される。
その後、通知制御処理は終了する。
以上のようにして、車両101の周辺の動体の移動に合わせて、通知音が継続して出力されながら音像の位置が移動する。また、動体毎に異なる種類の通知音が出力される。これにより、車両101の周辺の動体の位置や種類を正確に運転者102に伝えることができる。その結果、例えば、運転者102は、確実かつ迅速に危険を察知することができ、動体への衝突又は接触を回避することができる。
<1−5.通知制御処理の第2の実施形態>
次に、図14のフローチャートを参照して、通知制御処理の第2の実施形態について説明する。
通知制御処理の第2の実施の形態では、第1の実施の形態と比較して、自車両の周辺の動体の動きに加えて、自車両の動きが予測され、自車両及び周辺の動体の動きの予測結果に基づいて、衝突予測が行われる点が異なる。
ステップS101乃至ステップS105において、図3のステップS1乃至ステップS5と同様の処理が実行される。
ステップS106において、動き予測部32は、車両情報取得部12から自車両(車両101)の車両情報を取得する。
ステップS107において、動き予測部32は、自車両の動きを予測する。具体的には、動き予測部32は、車両情報に基づいて、車両101の移動速度及び移動方向等の予測を行う。動き予測部32は、予測結果を、衝突予測部33、優先度設定部34、及び、HMI制御部35に供給する。
ステップS108において、衝突予測部33は、衝突予測を行う。具体的には、衝突予測部33は、車両101及び車両101の周辺の動体の動きの予測結果に基づいて、車両101の周辺の動体が車両101に衝突又は接触する可能性があるか否か、並びに、衝突又は接触する可能性のある動体の衝突予測時間を予測する。
ステップS109において、図3のステップS7の処理と同様に、動体の危険度が設定される。
ステップS110において、図3のステップS7の処理と同様に、通知優先度が設定される。このとき、例えば、車両101の動き予測の結果を考慮して、通知優先度を設定するようにしてもよい。例えば、車両101の進行方向に存在する動体の優先順位が高く設定されるようにしてもよい。
その後、ステップS111乃至ステップS113において、図3のステップS9乃至ステップS11と同様の処理が実行される。
ステップS114において、音声出力制御部52は、自車両及び動体の予測位置に基づいて、通知音用の音声データを生成する。具体的には、音声出力制御部52は、動き予測部32の予測結果に基づいて、次に通知音を出力するタイミングにおける車両101及び各通知対象動体の予測位置を求める。そして、音声出力制御部52は、各通知対象動体の現在位置の代わりに、車両101に対する各通知対象物体の予測される相対位置に基づいて、ステップS111の処理と同様に、各通知対象動体に対する通知音用の音声データを生成する。
その後、ステップS115乃至ステップS117において、図3のステップS13乃至ステップS15と同様の処理が実行される。
このように、動体の動きだけでなく車両101の動きに基づいて、衝突予測や通知優先度の設定が行われるので、例えば、より衝突又は接触の可能性が高い動体に対する通知が優先的に行われるようになる。また、車両101に対する各通知対象物体の相対位置が予測され、その予測結果に基づいて、通知音の音像の定位位置が設定されることにより、より各通知対象物体に近い位置に通知音の音像を定位させることが可能になる。
<<2.変形例>>
以下、上述した本開示に係る技術の実施の形態の変形例について説明する。
<2−1.スピーカの数及び配置に関する変形例>
スピーカ111の数及び配置は、図2の例に限定されるものではなく、変更することが可能である。
例えば、自車両の周辺の水平方向の全ての方向の動体について通知を行う場合、運転者の周囲を囲み、各スピーカを頂点とする空間内に運転者が存在するようにスピーカを配置すればよい。従って、少なくとも3つのスピーカがあればよい。
また、例えば、自車両の正面方向等の特定の方向の動体のみを通知対象とする場合、スピーカの数を2つにすることも可能である。
一方、より多くの方向にスピーカを配置した方が、通知音の音像の定位感が増し、運転者がより確実に動体の位置を把握することができる。例えば、図15に示されるように、運転者102の周囲に8つのスピーカ111を配置することが考えられる。なお、図中、図2と対応する部分には、同じ符号を付している。
この例では、図2の例と比較して、スピーカ111F、スピーカ111L、スピーカ111R、及び、スピーカ111Bが追加されている。スピーカ111Fは、スピーカ111FLとスピーカ111FRの中間付近であって、車両101のダッシュボードの中央付近に配置されている。スピーカ111Lは、スピーカ111FLとスピーカ111BLの中間付近であって、車両101の助手席のドアの後端付近に配置されている。スピーカ111Rは、スピーカ111FRとスピーカ111BRの中間付近であって、車両101の運転席のドアの後端付近に配置されている。スピーカ111Bは、スピーカ111BLとスピーカ111BRの中間付近であって、後部座席の中央付近に配置されている。スピーカ111Fとスピーカ111B、及び、スピーカ111Lとスピーカ11Rは、それぞれ互いに対向するように配置されている。
また、例えば、音声出力制御部52が、自車両(又は運転者)に対する通知音の音像の水平方向の位置だけでなく、垂直方向(上下方向)の位置を制御することにより、自車両(又は運転者)が存在する平面(例えば、路面)を基準とする動体の上下方向の位置を通知するようにしてもよい。
ここで、自車両が存在する平面を基準とする動体の上下方向の位置とは、例えば、自車両が存在する路面に対して垂直な方向の動体の位置のことである。例えば、自車両が上り坂を走行中の場合、同じ上り坂を走行中の先行車は、自車両より高度が高い位置に存在するものの、自車両が存在する平面を基準とする上下方向の位置は、自車両とほぼ同じとなる。一方、例えば、自車両が平坦な道を走行中に前方の上り坂に動体が存在する場合、その動体の自車両が存在する平面を基準とする上下方向の位置は、自車両より高くなる。
そして、例えば、自車両が平坦な道を走行中に前方の上り坂に動体が存在する場合、その動体に対する通知音の音像が上方向に定位される。また、例えば、自車両が平坦な道を走行中に前方の下り坂に動体が存在する場合、その動体に対する通知音の音像が下方向に定位される。
この場合、例えば、図16に示されるように、複数のスピーカ111が、異なる高さに配置される。なお、図16は、左方向から見た車両101の内部を模式的に示す透視図である。また、図中、図2と対応する部分には、同じ符号を付している。
この例では、図2の例と比較して、スピーカ111FLU(不図示)、スピーカ111FRU、スピーカ111FLD(不図示)、スピーカ111FRD、スピーカ111BLD(不図示)、及び、スピーカ111BRDが追加されている。
スピーカ111FRUは、スピーカ111FRより高い位置であって、車両101のウインドシールドの右上端付近に配置されている。スピーカ111FRDは、スピーカ111FRの下方であって、運転席のドアの下端付近に配置されている。スピーカ111BRDは、スピーカ111BRの下方であって、右側の後部座席のドアの下端付近に配置されている。なお、図示は省略するが、スピーカ111FLU、スピーカ111FLD、及び、スピーカ111BLDは、車両101の室内の左側において、スピーカ111FRU、スピーカFRD、及び、スピーカ111BRDとほぼ対向する位置に配置されている。スピーカ111FLU、スピーカ111FRU、スピーカ111FLD、スピーカ111FRD、スピーカ111BLD、及び、スピーカ111BRDは、いずれも車両101の室内を向くように設置されている。
例えば、スピーカ111FRUの出力音及びスピーカ111FRの出力音により、車両101(又は運転者102)より高い位置に通知音の音像を定位させることができる。また、例えば、スピーカ111FRUの出力音及びスピーカ111FRの出力音により、車両101(又は運転者102)より低い位置に通知音の音像を定位させることができる。
また、以上の説明では、1つの通知音につき、2つのスピーカからの出力音により音像の位置を制御する例を示したが、3以上のスピーカからの出力音により音像の位置を制御するようにしてもよい。
<2−2.システムの構成に関する変形例>
図1の車載システム10の構成例は、その一例であり、必要に応じて変更することが可能である。
例えば、情報処理部13を複数に分割したり、情報処理部13の一部と制動制御部16とを組み合わせたり、制動制御部16を情報処理部13に含めたりすることが可能である。
また、例えば、周辺センサデータの一部を、自車両の外部(例えば、車道沿い)に設けられたセンサから取得するようにすることが可能である。
<2−3.その他の変形例>
以上の説明では、通知対象範囲を車両101からの距離に基づいて設定する例を示したが、例えば、衝突予測時刻に基づいて設定するようにしてもよい。すなわち、車両101の周辺の動体のうち、衝突予測時刻が所定の時間内の動体を通知対象とするようにしてもよい。
また、例えば、動体の種類以外にも、優先度や危険度に基づいて、通知音の種類を変更するようにしてもよい。
さらに、例えば、ユーザ設定により通知音の種類を設定できるようにしてもよい。
<2−4.適用例>
本技術は、先に例示した車両以外の移動体にも適用することが可能である。例えば、本技術は、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)等の移動体に適用することが可能である。
<<3.その他>>
<3−1 コンピュータの構成例>
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図17は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)401,ROM(Read Only Memory)402,RAM(Random Access Memory)403は、バス404により相互に接続されている。
バス404には、さらに、入出力インターフェース405が接続されている。入出力インターフェース405には、入力部406、出力部407、記録部408、通信部409、及びドライブ410が接続されている。
入力部406は、入力スイッチ、ボタン、マイクロホン、撮像素子などよりなる。出力部407は、ディスプレイ、スピーカなどよりなる。記録部408は、ハードディスクや不揮発性のメモリなどよりなる。通信部409は、ネットワークインターフェースなどよりなる。ドライブ410は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体411を駆動する。
以上のように構成されるコンピュータでは、CPU401が、例えば、記録部408に記録されているプログラムを、入出力インターフェース405及びバス404を介して、RAM403にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU401)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体411に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブル記録媒体411をドライブ410に装着することにより、入出力インターフェース405を介して、記録部408にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部409で受信し、記録部408にインストールすることができる。その他、プログラムは、ROM402や記録部408に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
<3−2.構成の組み合わせ例>
本技術は、以下のような構成をとることもできる。
(1)
センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出部と、
前記動体の検出位置の移動に伴い、前記動体の位置を知らせる通知音の音像の位置を移動させる音声出力制御部と
を備える情報処理装置。
(2)
前記動体の動きを予測する動き予測部を
さらに備え、
前記音声出力制御部は、さらに前記動体の予測位置に基づいて、前記通知音の音像の位置を移動させる
前記(1)に記載の情報処理装置。
(3)
前記音声出力制御部は、前記動体の第1の検出位置に基づいて前記通知音の音像の位置を設定してから、次の前記動体の第2の検出位置に基づいて前記通知音の音像の位置を設定するまでの間に、前記動体の予測位置に基づいて、前記通知音の音像の位置を設定する
前記(2)に記載の情報処理装置。
(4)
前記動き予測部は、前記移動体の動きをさらに予測し、
前記音声出力制御部は、前記移動体の予測位置に対する前記動体の予測位置に基づいて、前記通知音の音像の位置を移動させる
前記(2)又は(3)に記載の情報処理装置。
(5)
前記音声出力制御部は、前記移動体と前記動体との間の距離に基づいて、前記通知音の音量を制御する
前記(1)乃至(4)のいずれかに記載の情報処理装置。
(6)
前記音声出力制御部は、前記動体の種類により前記通知音の種類を変更する
前記(1)乃至(5)のいずれかに記載の情報処理装置。
(7)
前記音声出力制御部は、前記移動体周辺に同じ種類の動体が複数存在する場合、動体毎に前記通知音の種類を変更する
前記(6)に記載の情報処理装置。
(8)
前記動体に対する優先度を設定する優先度設定部を
さらに備え、
前記音声出力制御部は、前記優先度に基づいて、複数の前記動体に対する通知音の出力を制御する
前記(1)乃至(7)のいずれかに記載の情報処理装置。
(9)
前記音声出力制御部は、前記優先度が高い前記動体に対する通知音を優先的に出力するように制御する
前記(8)に記載の情報処理装置。
(10)
前記音声出力制御部は、前記優先度に基づいて前記通知音の音量を制御する
前記(8)又は(9)に記載の情報処理装置。
(11)
前記優先度設定部は、前記動体が前記移動体に衝突又は接触する危険度に基づいて、前記優先度を設定する
前記(8)乃至(10)のいずれかに記載の情報処理装置。
(12)
前記音声出力制御部は、前記移動体の周囲の所定の範囲内の前記動体に対する前記通知音を出力するように制御する
前記(1)乃至(11)のいずれかに記載の情報処理装置。
(13)
前記音声出力制御部は、前記移動体が存在する平面を基準とする前記動体の上下方向の位置に基づいて、前記通知音の音像の上下方向の位置を制御する
前記(1)乃至(12)のいずれかに記載の情報処理装置。
(14)
前記音声出力制御部は、前記移動体において異なる高さに配置されている複数のスピーカからの音声の出力を制御することにより、前記通知音の音像の上下方向の位置を制御する
前記(13)に記載の情報処理装置。
(15)
前記音声出力制御部は、前記移動体において前記移動体の運転者の周囲を囲むように配置されている複数のスピーカからの音声の出力を制御する
前記(1)乃至(14)のいずれかに記載の情報処理装置。
(16)
前記音声出力制御部は、前記移動体に対する前記動体の検出位置の移動に伴い、前記通知音の音像の位置を移動させる
前記(1)乃至(15)のいずれかに記載の情報処理装置。
(17)
センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出ステップと、
前記動体の検出位置の移動に伴い、前記動体の位置を知らせる通知音の音像の位置を移動させる音声出力制御ステップと
を含む情報処理方法。
(18)
センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出ステップと、
前記動体の検出位置の移動に伴い、前記動体の位置を知らせる通知音の音像の位置を移動させる音声出力制御ステップと
を含む処理をコンピュータに実行させるためのプログラム。
(19)
本体に配置され周辺の状況の検出に用いるセンサと、
前記センサから入力される情報に基づいて周辺の動体を検出する動体検出部と、
前記動体の検出位置の移動に伴い、前記動体の位置を知らせる通知音の音像の位置を移動させる音声出力制御部と
を備える移動体。
10 車載システム, 11 周辺センサ, 12 車両情報取得部, 13 情報処理部, 15 音声出力部, 31 周辺状況検出部, 32 動き予測部, 33 衝突予測部, 34 優先度設定部, 35 HMI制御部, 42 動体検出部, 52 音声出力制御部, 101 車両, 102 運転者, 111F乃至111BRD スピーカ

Claims (19)

  1. センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出部と、
    前記動体の検出位置の移動に伴い、前記動体の位置を知らせる通知音の音像の位置を移動させる音声出力制御部と
    を備える情報処理装置。
  2. 前記動体の動きを予測する動き予測部を
    さらに備え、
    前記音声出力制御部は、さらに前記動体の予測位置に基づいて、前記通知音の音像の位置を移動させる
    請求項1に記載の情報処理装置。
  3. 前記音声出力制御部は、前記動体の第1の検出位置に基づいて前記通知音の音像の位置を設定してから、次の前記動体の第2の検出位置に基づいて前記通知音の音像の位置を設定するまでの間に、前記動体の予測位置に基づいて、前記通知音の音像の位置を設定する
    請求項2に記載の情報処理装置。
  4. 前記動き予測部は、前記移動体の動きをさらに予測し、
    前記音声出力制御部は、前記移動体の予測位置に対する前記動体の予測位置に基づいて、前記通知音の音像の位置を移動させる
    請求項2に記載の情報処理装置。
  5. 前記音声出力制御部は、前記移動体と前記動体との間の距離に基づいて、前記通知音の音量を制御する
    請求項1に記載の情報処理装置。
  6. 前記音声出力制御部は、前記動体の種類により前記通知音の種類を変更する
    請求項1に記載の情報処理装置。
  7. 前記音声出力制御部は、前記移動体周辺に同じ種類の動体が複数存在する場合、動体毎に前記通知音の種類を変更する
    請求項6に記載の情報処理装置。
  8. 前記動体に対する優先度を設定する優先度設定部を
    さらに備え、
    前記音声出力制御部は、前記優先度に基づいて、複数の前記動体に対する通知音の出力を制御する
    請求項1に記載の情報処理装置。
  9. 前記音声出力制御部は、前記優先度が高い前記動体に対する通知音を優先的に出力するように制御する
    請求項8に記載の情報処理装置。
  10. 前記音声出力制御部は、前記優先度に基づいて前記通知音の音量を制御する
    請求項8に記載の情報処理装置。
  11. 前記優先度設定部は、前記動体が前記移動体に衝突又は接触する危険度に基づいて、前記優先度を設定する
    請求項8に記載の情報処理装置。
  12. 前記音声出力制御部は、前記移動体の周囲の所定の範囲内の前記動体に対する前記通知音を出力するように制御する
    請求項1に記載の情報処理装置。
  13. 前記音声出力制御部は、前記移動体が存在する平面を基準とする前記動体の上下方向の位置に基づいて、前記通知音の音像の上下方向の位置を制御する
    請求項1に記載の情報処理装置。
  14. 前記音声出力制御部は、前記移動体において異なる高さに配置されている複数のスピーカからの音声の出力を制御することにより、前記通知音の音像の上下方向の位置を制御する
    請求項13に記載の情報処理装置。
  15. 前記音声出力制御部は、前記移動体において前記移動体の運転者の周囲を囲むように配置されている複数のスピーカからの音声の出力を制御する
    請求項1に記載の情報処理装置。
  16. 前記音声出力制御部は、前記移動体に対する前記動体の検出位置の移動に伴い、前記通知音の音像の位置を移動させる
    請求項1に記載の情報処理装置。
  17. センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出ステップと、
    前記動体の検出位置の移動に伴い、前記動体の位置を知らせる通知音の音像の位置を移動させる音声出力制御ステップと
    を含む情報処理方法。
  18. センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出ステップと、
    前記動体の検出位置の移動に伴い、前記動体の位置を知らせる通知音の音像の位置を移動させる音声出力制御ステップと
    を含む処理をコンピュータに実行させるためのプログラム。
  19. 本体に配置され周辺の状況の検出に用いるセンサと、
    前記センサから入力される情報に基づいて周辺の動体を検出する動体検出部と、
    前記動体の検出位置の移動に伴い、前記動体の位置を知らせる通知音の音像の位置を移動させる音声出力制御部と
    を備える移動体。
JP2019509238A 2017-03-29 2018-03-15 情報処理装置、情報処理方法、プログラム、及び、移動体 Active JP7091311B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017064276 2017-03-29
JP2017064276 2017-03-29
PCT/JP2018/010125 WO2018180523A1 (ja) 2017-03-29 2018-03-15 情報処理装置、情報処理方法、プログラム、及び、移動体

Publications (2)

Publication Number Publication Date
JPWO2018180523A1 true JPWO2018180523A1 (ja) 2020-02-06
JP7091311B2 JP7091311B2 (ja) 2022-06-27

Family

ID=63677253

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019509238A Active JP7091311B2 (ja) 2017-03-29 2018-03-15 情報処理装置、情報処理方法、プログラム、及び、移動体

Country Status (5)

Country Link
US (1) US11317205B2 (ja)
EP (1) EP3605499B1 (ja)
JP (1) JP7091311B2 (ja)
CN (1) CN110431613B (ja)
WO (1) WO2018180523A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3693943B1 (en) * 2019-02-05 2024-05-29 Honda Research Institute Europe GmbH Method for assisting a person in acting in a dynamic environment and corresponding system
WO2021048893A1 (ja) * 2019-09-09 2021-03-18 日本電信電話株式会社 集音放音装置、集音放音方法、およびプログラム
JP7279623B2 (ja) * 2019-11-26 2023-05-23 トヨタ自動車株式会社 情報処理装置、情報処理システム、およびプログラム
CN111783628A (zh) * 2020-06-29 2020-10-16 珠海格力电器股份有限公司 一种位置跟踪方法、装置、电子设备及存储介质
US11488472B2 (en) * 2020-10-15 2022-11-01 Ford Global Technologies, Llc Vehicle sound emission control
WO2023189084A1 (ja) * 2022-03-30 2023-10-05 パナソニックIpマネジメント株式会社 情報提示方法、情報提示装置、車両制御方法及び車両制御装置
DE102022116023A1 (de) 2022-06-28 2023-12-28 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zum Erzeugen eines Sounds eines Fahrzeugs, sowie ein Verfahren zum Erkennen eines Sounds mit einer Medienwiedergabeeinheit
WO2024087216A1 (zh) * 2022-10-28 2024-05-02 华为技术有限公司 一种控制方法、装置和运载工具

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001157300A (ja) * 1999-11-24 2001-06-08 Keio Gijuku 移動体仮想音響空間形成装置
JP2005329754A (ja) * 2004-05-18 2005-12-02 Nissan Motor Co Ltd 運転者知覚制御装置
WO2006109390A1 (ja) * 2005-03-31 2006-10-19 Pioneer Corporation 覚醒度低下防止装置、覚醒度低下防止方法、覚醒度低下防止用プログラム、および記録媒体
WO2008075407A1 (ja) * 2006-12-19 2008-06-26 Pioneer Corporation 情報処理装置並びにその制御方法、制御プログラム及び記録媒体
JP2009042843A (ja) * 2007-08-06 2009-02-26 Nissan Motor Co Ltd 警報装置およびその方法
JP2015057686A (ja) * 2012-12-21 2015-03-26 株式会社デンソー 注意喚起装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2689792B2 (ja) * 1991-10-30 1997-12-10 日産自動車株式会社 立体音場警報装置
EP1548683B1 (en) * 2003-12-24 2010-03-17 Pioneer Corporation Notification control device, system and method
JP2009245340A (ja) 2008-03-31 2009-10-22 Aisin Aw Co Ltd 運転支援装置、運転支援方法及びコンピュータプログラム
US8212659B2 (en) * 2008-09-05 2012-07-03 Mazda Motor Corporation Driving assist device for vehicle
JP2015507572A (ja) * 2011-12-29 2015-03-12 インテル コーポレイション 車両内の音を指向させるシステム、方法、及び装置
WO2014024247A1 (ja) 2012-08-06 2014-02-13 三菱電機株式会社 車両接近報知装置
JP5668765B2 (ja) * 2013-01-11 2015-02-12 株式会社デンソー 車載音響装置
JP6188471B2 (ja) * 2013-07-26 2017-08-30 アルパイン株式会社 車両後側方警報装置、車両後側方警報方法および立体物検出装置
US9663031B2 (en) * 2013-10-21 2017-05-30 Harman International Industries, Inc. Modifying an audio panorama to indicate the presence of danger or other events of interest
JP5975579B2 (ja) 2014-03-19 2016-08-23 富士重工業株式会社 車両接近通報装置
US20150365743A1 (en) * 2014-06-14 2015-12-17 GM Global Technology Operations LLC Method and apparatus for including sound from an external environment into a vehicle audio system
GB2534163B (en) 2015-01-14 2017-11-22 Jaguar Land Rover Ltd Vehicle interface device
US20180096601A1 (en) * 2016-10-04 2018-04-05 Toyota Motor Engineering & Manufacturing North America, Inc. Collision alert system
US9896031B1 (en) * 2017-01-03 2018-02-20 Ford Global Technologies, Llc Spatial auditory alerts for a vehicle

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001157300A (ja) * 1999-11-24 2001-06-08 Keio Gijuku 移動体仮想音響空間形成装置
JP2005329754A (ja) * 2004-05-18 2005-12-02 Nissan Motor Co Ltd 運転者知覚制御装置
WO2006109390A1 (ja) * 2005-03-31 2006-10-19 Pioneer Corporation 覚醒度低下防止装置、覚醒度低下防止方法、覚醒度低下防止用プログラム、および記録媒体
WO2008075407A1 (ja) * 2006-12-19 2008-06-26 Pioneer Corporation 情報処理装置並びにその制御方法、制御プログラム及び記録媒体
JP2009042843A (ja) * 2007-08-06 2009-02-26 Nissan Motor Co Ltd 警報装置およびその方法
JP2015057686A (ja) * 2012-12-21 2015-03-26 株式会社デンソー 注意喚起装置

Also Published As

Publication number Publication date
US11317205B2 (en) 2022-04-26
US20200100028A1 (en) 2020-03-26
JP7091311B2 (ja) 2022-06-27
WO2018180523A1 (ja) 2018-10-04
CN110431613B (zh) 2023-02-28
CN110431613A (zh) 2019-11-08
EP3605499A1 (en) 2020-02-05
EP3605499B1 (en) 2024-05-29
EP3605499A4 (en) 2020-04-22

Similar Documents

Publication Publication Date Title
JP7091311B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
EP3663155B1 (en) Autonomous driving system
JP7067067B2 (ja) 信号機認識装置、及び自動運転システム
US9415775B2 (en) Drive assist apparatus, and drive assist method
JP7047763B2 (ja) 運転支援装置および方法、移動体、並びにプログラム
US11492001B2 (en) Notification device
WO2018088224A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
JP2016124479A (ja) 車両走行制御装置
JP7139902B2 (ja) 報知装置
US11873007B2 (en) Information processing apparatus, information processing method, and program
US11377101B2 (en) Information processing apparatus, information processing method, and vehicle
JP7382327B2 (ja) 情報処理装置、移動体、情報処理方法及びプログラム
US11694408B2 (en) Information processing device, information processing method, program, and movable object
JP5846106B2 (ja) 運転支援装置及び運転支援方法
JP2019003278A (ja) 車外報知装置
CN113799785A (zh) 用于驾驶员和乘客的车载声学监控系统
JP7129254B2 (ja) 運転支援方法及び運転支援装置
JP2020154795A (ja) 出力制御装置、出力制御方法、および出力制御プログラム
CN113492848B (zh) 用于自主驾驶车辆安全操作员的前方碰撞告警警报系统
JP2018090006A (ja) 運転支援装置
US11645038B1 (en) Augmented reality head-up display for audio event awareness
WO2024038759A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
US20230419836A1 (en) System and method for a vehicle proximity alert

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220615

R150 Certificate of patent or registration of utility model

Ref document number: 7091311

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150