JP2023548675A - ナビゲーションセッション中の運転イベント音の検出と処理 - Google Patents

ナビゲーションセッション中の運転イベント音の検出と処理 Download PDF

Info

Publication number
JP2023548675A
JP2023548675A JP2023522874A JP2023522874A JP2023548675A JP 2023548675 A JP2023548675 A JP 2023548675A JP 2023522874 A JP2023522874 A JP 2023522874A JP 2023522874 A JP2023522874 A JP 2023522874A JP 2023548675 A JP2023548675 A JP 2023548675A
Authority
JP
Japan
Prior art keywords
driving event
audio
event sound
sound
client device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023522874A
Other languages
English (en)
Inventor
マシュー・シャリフィ
ヴィクター・カルブネ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2023548675A publication Critical patent/JP2023548675A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0965—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Emergency Management (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

ナビゲーション中の運転イベント音を識別するために、車両内のクライアントデバイスは、ルートに沿って出発地から目的地まで移動するためのナビゲーション指示のセットを提供する。目的地へのナビゲーション中、クライアントデバイスは、車両内または車両の周囲の領域からの運転イベント音を含むオーディオを識別する。オーディオが運転イベント音を含むとの決定に応答して、クライアントデバイスは、運転イベント音が人工的なものであるかどうかを決定する。運転イベント音が人工的なものであるとの決定に応答して、クライアントデバイスは、運転イベント音が人工的なものであることを示す通知を運転者に提示すること、または、運転イベント音が運転者に聞こえないように運転イベント音をマスキングすることを行う。

Description

本開示は、運転イベント音を検出することに関し、より詳細には、電子デバイスによって生成される人工的な運転イベント音の影響をマスキングすることによって、運転者の気が散ることを防止することに関する。
本明細書で提供される背景説明は、本開示の文脈を一般的に提示することを目的としている。現在名前が挙げられている発明者の研究は、この背景セクションに記載されている限り、出願時に先行技術として認められない可能性のある明細書の態様と同様に、本開示に対する先行技術として明示的にも黙示的にも認められない。
今日、コンピュータ、スマートフォンなど、または組込みデバイスにおいて実行されるソフトウェアアプリケーションは、段階的なナビゲーション指示を生成する。典型的には、ユーザは出発点と目的地を指定し、ソフトウェアアプリケーションは、即座に、および/またはユーザが出発点から目的地まで移動する際に、オーディオ形式で方向を表示および/または提示する。
ナビゲーション中、運転者の気を散らすものはたくさんあり得る。気を散らすもののタイプの1つは、運転に関連する騒音(たとえば、緊急車両のサイレン、車のクラクション、車両の衝突など)が車内で再生される場合であり得る。これらの運転関連の騒音は、運転者を欺いて、車両内のデバイスによって生成される人工的な音ではなく、外部ソースからの実際の騒音であると考えるようにさせる可能性がある。その結果、運転者は、たとえば、不必要に速度を落としたり車を停めたりするなど、運転に関連する騒音に反応する場合がある。
いくつかの実装形態では、車両内で動作するマッピングアプリケーションは、車両内または車両の周囲の領域からの運転イベント音を識別し得る。たとえば、マッピングアプリケーションは、運転者が出発地から目的地まで移動するのを支援するためのナビゲーション指示を提示しながら、運転イベント音を識別し得る。運転イベント音には、緊急車両のサイレン、車のクラクション、車両の衝突音などがある。
マッピングアプリケーションは、たとえばアプリケーションプログラミングインターフェース(API)を介して、クライアントデバイス上で実行中の他のアプリケーションと通信することによって、運転イベント音を識別し得る。クライアントデバイス上で実行される他のアプリケーションは、現在または今後のオーディオコンテンツのオーディオストリーム、またはオーディオコンテンツ(たとえば、オーディオコンテンツのタイトル、オーディオコンテンツの説明、オーディオコンテンツに含まれる用語、フレーズ、または音、オーディオコンテンツの長さ、オーディオコンテンツの言語など)を記述するメタデータなど、他のアプリケーションによって再生されるオーディオコンテンツの特性を提供し得る。さらに、マッピングアプリケーションは、短距離通信リンクなどを介して、車両内の他のデバイス(たとえば、車両のヘッドユニット)と通信し得る。他のデバイスはまた、オーディオコンテンツの特性をマッピングアプリケーションに提供し得る。さらに、マッピングアプリケーションは、あらかじめ定められた運転イベント音のオーディオフィンガプリントを周辺領域の周囲のオーディオと比較することによって、運転イベント音を識別し得る。
いずれにせよ、運転イベント音が識別されると、マッピングアプリケーションは、運転イベント音が実際のものであるか(すなわち、運転イベント音は、車両から、あるいは別の車両または緊急車両などの車両外の外部ソースから提供され、運転者の注意を必要とする)人工的なものであるか(すなわち、運転イベント音は車内の電子デバイスから発生し、運転者の注意を必要としない)を決定し得る。マッピングアプリケーションは、クライアントデバイスまたは別のデバイス上で実行される別のアプリケーションなど、車両内の電子ソースから運転イベント音が識別された場合、運転イベント音が人工的なものであると決定し得る。他の実装形態では、マッピングアプリケーションは、実際の運転イベント音と人工的な運転イベント音を区別するようにトレーニングされた機械学習モデルに運転イベント音の特性を適用することによって、運転イベント音が実際のものであるか人工的なものであるかを決定し得る。運転イベント音の特性は、運転イベント音のオーディオ特性だけでなく、車両ドアアラームが発生する場合がある車両のドアが開いているかどうかなど、運転イベント音の時の車両の環境特性も含み得る。
マッピングアプリケーションが人工的な運転イベント音を識別すると、マッピングアプリケーションは、運転者が運転イベント音によって気が散るのを実質的に防止するために、運転者に対する運転イベント音の影響をマスキングしようとする。たとえば、マッピングアプリケーションは、運転イベント音が人工的なものであることを示し、運転者にそれを無視するように指示する通知をクライアントデバイスに表示し得る。マッピングアプリケーションはまた、同様の指示でオーディオ通知を再生し得る。追加または代替として、マッピングアプリケーションは、運転イベント音の少なくとも一部が再生されるのを防止し得る。たとえば、マッピングアプリケーションは、運転イベント音中にオーディオをミュートしたり、オーディオの音量を下げたりし得る。他の実装形態では、マッピングアプリケーションは、たとえば、バンドパスフィルタを介して運転イベント音の間にオーディオを除去し得る。
マッピングアプリケーションが実際の運転イベント音を識別すると、マッピングアプリケーションは、運転者が運転イベント音を無視しないように、その音が実際のものであることを運転者に警告し得る。たとえば、マッピングアプリケーションは、運転イベント音が実際のものであることを示す通知をクライアントデバイスに表示し、運転者に適切に応答するように指示することができる。マッピングアプリケーションはまた、同様の指示でオーディオ通知を再生し得る。
このようにして、マッピングアプリケーションは、運転者の気を散らすものの量を減らし、それによって運転者の安全性を改善し得る。そのような気を散らすものの量の削減は、運転イベントに関連する人工的な音をフィルタリングまたはマスキングすることによって実現される。本明細書で開示されるように、このフィルタリングは、そのような人工的な音の音量を下げたり、そのような人工的な音の一部またはすべてを除去したり、あるいは人工的な音が実際のものではないことを運転者に知らせるために1つまたは複数の通知を提供したりすることができる。このようにして、運転者は、人工的な音が聞こえないことによって、または人工音が実際のものではないことを知らされることによって、反応して車両の制御を変更する(すなわち、音に反応する)ことはない。したがって、本明細書で開示されるマッピングアプリケーションは、ナビゲーション命令に対する人工的な運転音の影響が積極的に低減されるため、安全性が大幅に向上する。マッピングアプリケーションはまた、運転者が緊急車両、車両の衝突、または車両の誤動作を識別する際に支援し、運転者が適切に対応するのを助ける。
本開示の技法の1つの例示的な実施形態は、ナビゲーションセッション中に運転イベント音を識別するための方法である。本方法は、ルートに沿って出発地から目的地まで移動するためのナビゲーション指示のセットを提供するステップを含む。目的地へのナビゲーション中、本方法は、車両内または車両の周囲の領域からの運転イベント音を含むオーディオを識別するステップを含む。オーディオが運転イベント音を含むとの決定に応答して、本方法は、運転イベント音が人工的なものであるかどうかを決定するステップを含む。運転イベント音が人工的なものであるとの決定に応答して、本方法は、運転イベント音が人工的なものであることを示す通知を運転者に提示するステップ、または運転イベント音が運転者に聞こえないように運転イベント音をマスキングするステップを含む。
本開示の技法の別の例示的な実施形態は、運転イベント音を識別するためのクライアントデバイスである。クライアントデバイスは、1つまたは複数のプロセッサと、1つまたは複数のプロセッサに結合され、命令を記憶する非一時的コンピュータ可読メモリとを含む。命令は、1つまたは複数のプロセッサによって実行されると、クライアントデバイスに、車両内または車両の周囲の領域からの運転イベント音を含むオーディオを識別させる。オーディオが運転イベント音を含むとの決定に応答して、命令は、クライアントデバイスに、運転イベント音が人工的なものであるかどうかを決定させる。運転イベント音が人工的なものであるとの決定に応答して、命令は、クライアントデバイスに、運転イベント音が人工的なものであることを示す通知を運転者に提示すること、または、運転イベント音が運転者に聞こえないように運転イベント音をマスキングすることを行わせる。
本開示の技法のさらに別の例示的な実施形態は、命令を記憶する非一時的コンピュータ可読メモリである。命令は、1つまたは複数のプロセッサによって実行されると、1つまたは複数のプロセッサに、車両内または車両の周囲の領域からの運転イベント音を含むオーディオを識別させる。オーディオが運転イベント音を含むとの決定に応答して、命令は、1つまたは複数のプロセッサに、運転イベント音が人工的なものであるかどうかを決定させる。運転イベント音が人工的なものであるとの決定に応答して、命令は、1つまたは複数のプロセッサに、運転イベント音が人工的なものであることを示す通知を運転者に提示すること、または、運転イベント音が運転者に聞こえないように運転イベント音をマスキングすることを行わせる。
運転イベント音を検出するために本開示の技法を使用することができる、例示的な車両を示す図である。 運転イベント音を検出するための技法を実装することができる例示的なシステムのブロック図である。 第1の機械学習モデルを使用して、オーディオストリームの特性に基づいて運転イベント音を識別するためのプロセスを示す、ブロックと論理の組合せ図である。 第2の機械学習モデルを使用して、運転イベント音の特性に基づいて、運転イベント音が実際のものであるか人工的なものであるかを識別するためのプロセスを示す、ブロックと論理の組合せ図である。 運転イベント音の検出に応じた運転者への通知を含む、例示的なナビゲーション表示を示す図である。 運転イベント音の検出に応じた運転者への通知を含む、例示的なナビゲーション表示を示す図である。 運転イベント音の検出に応じた運転者への通知を含む、例示的なナビゲーション表示を示す図である。 クライアントデバイスに実装することができる、ナビゲーションセッション中に運転イベント音を識別するための例示的な方法の流れ図である。
概要
一般的に言えば、運転イベント音を識別するための技法は、1つまたはいくつかのクライアントデバイス、車両ヘッドユニット、1つまたはいくつかのネットワークサーバ、あるいはこれらのデバイスの組合せを含むシステムにおいて実装することができる。しかしながら、明確にするために、以下の例は主に、マッピングアプリケーションを実行するクライアントデバイスが、クライアントデバイス上で実行されている別のアプリケーションから、またはクライアントデバイスに通信可能に接続されたデバイスからオーディオ再生データを取得する実施形態に焦点を当てている。クライアントデバイスは、クライアントデバイス上で実行されている他のアプリケーションと(たとえば、APIを介して)、あるいは車両ヘッドユニットまたは他のクライアントデバイスなどの、クライアントデバイスの近傍内の他のデバイス(たとえば、短距離通信リンク)と通信し得る。クライアントデバイスはまた、エリア内のオーディオの周囲のオーディオ(ambient audio)フィンガプリントを取得または計算し得る。いずれにせよ、クライアントデバイスは、オーディオ再生データまたは周囲のオーディオフィンガプリントからのオーディオが運転イベント音を含むかどうかを決定する。より具体的には、クライアントデバイスは、オーディオ再生データに含まれるオーディオストリームからの周囲のオーディオフィンガプリントまたはオーディオフィンガプリントを、あらかじめ定められた運転イベント音のオーディオフィンガプリントと比較し得る。一致する場合、クライアントデバイスは、オーディオが運転イベント音を含むと決定し得る。
他の実装形態では、クライアントデバイスは、運転イベント音を識別するためのトレーニングされた機械学習モデルへの入力として、周囲のオーディオまたはオーディオフィンガプリントなどの他のオーディオストリームから派生した特徴を含む、オーディオ再生データからの周囲のオーディオまたはオーディオストリームを適用し得る。より具体的には、サーバデバイスは、オーディオストリームのセットのオーディオ特徴と、運転イベント音が各オーディオストリームに対応するかどうかの表示を使用して機械学習モデルをトレーニングすることによって、トレーニングされた機械学習モデルを生成した可能性がある。オーディオストリームは、運転イベント音を含むか、または運転イベント音を含まないように分類され得る。いくつかの実装形態では、オーディオストリームは、緊急車両のサイレン、車両の衝突音、車両の故障警報、または車両のクラクションなどの、特定のタイプの運転イベント音に従って分類され得る。いずれにせよ、サーバデバイスは、トレーニングされた機械学習モデルをクライアントデバイスに提供し得る。次いで、クライアントデバイスは、運転イベント音を識別するために、周囲のオーディオ特徴またはオーディオ再生データに含まれるオーディオストリームからのオーディオ特徴をトレーニングされた機械学習モデルに連続的または定期的に適用し得る。
運転イベント音が識別されると、クライアントデバイスは、運転イベント音が実際のものであるか人工的なものであるかを決定し得る。クライアントデバイスは、クライアントデバイスまたは別のデバイス上で実行される別のアプリケーションなど、車両内のソースから運転イベント音が識別された場合、運転イベント音が人工的なものであると決定し得る。他の実装形態では、クライアントデバイスは、オーディオ再生データに含まれるオーディオストリームからの周囲のオーディオフィンガプリントまたはオーディオフィンガプリントを、あらかじめ定められた人工的な運転イベント音のオーディオフィンガプリントと比較することによって、運転イベント音が人工的なものであると決定し得る。一致する場合、クライアントデバイスは、オーディオが人工的な運転イベント音を含むと決定し得る。クライアントデバイスはまた、オーディオ再生データに含まれるオーディオストリームからの周囲のオーディオフィンガプリントまたはオーディオフィンガプリントを、あらかじめ定められた実際の運転イベント音のオーディオフィンガプリントと比較し得る。一致する場合、クライアントデバイスは、オーディオが実際の運転イベント音を含むと決定し得る。さらに他の実装形態では、クライアントデバイスは、実際の運転イベント音と人工的な運転イベント音を区別するようにトレーニングされた機械学習モデルに、運転イベント音の特性を適用することによって、運転イベント音が実際のものであるか人工的なものであるかを決定し得る。サーバデバイスは、運転イベント音の特性、および各運転イベント音が実際のものであるか人工的なものであるかの表示を使用して機械学習モデルをトレーニングすることによって、運転イベント音が実際のものであるか人工的なものであるかを分類するためのトレーニングされた機械学習モデルを生成した可能性がある。各運転イベント音の特性は、運転イベント音のオーディオ特性だけでなく、運転イベント音の時の車両の環境特性も含み得る。いずれにせよ、サーバデバイスは、トレーニングされた機械学習モデルをクライアントデバイスに提供し得る。次いで、クライアントデバイスは、運転イベント音が実際のものであるか人工的なものであるかを決定するために、検出された運転イベント音の特性をトレーニングされた機械学習モデルへの入力として適用し得る。
クライアントデバイスが人工的な運転イベント音を識別した場合、クライアントデバイスは、運転者に運転イベント音が人工的なものであることを通知し得、運転者にそれを無視するように指示し得る。クライアントデバイスはまた、オーディオをミュートしたり、オーディオの音量を下げたり、オーディオから運転イベント音をフィルタリングしたりし得る。クライアントデバイスが実際の運転イベント音を識別すると、クライアントデバイスは、運転者が適切に応答できるように、音が実際のものであることを運転者に警告し得る。
いくつかの実装形態では、クライアントデバイスは、マッピングアプリケーションによって提供されるナビゲーションセッション中に運転イベント音を識別する。たとえば、運転者などのユーザが出発地から目的地までのナビゲーション指示を要求すると、マッピングアプリケーションはその要求をナビゲーションデータサーバに提供し得る。次いで、ナビゲーションデータサーバは、マッピングアプリケーションによって提示され得るナビゲーション指示のセットをクライアントデバイスに提供し得る。マッピングアプリケーションがナビゲーション指示のセットをユーザに提示する一方で、クライアントデバイスは、運転イベント音を識別し、運転者に対する人工的な運転イベント音の影響をマスキングし得る。他の実装形態では、クライアントデバイスは、アクティブなナビゲーションセッションがあるかどうかに関係なく、クライアントデバイスが車両内にあるときはいつでも運転イベント音を識別する。クライアントデバイスのユーザは、ナビゲーションセッション中またはユーザが車両内にいるときはいつでも、マッピングアプリケーションが運転イベント音を識別するように要求し得る。したがって、有益なことに、本明細書で開示されるマッピングアプリケーションは、ナビゲーションが使用されているかどうかに関係なく、運転の安全性を向上させることができる。
例示的なハードウェアおよびソフトウェア構成要素
図1を参照すると、上で概説した技法を実装することができる例示的な環境1は、ポータブルデバイス10と、ヘッドユニット14を備えた車両12とを含む。ポータブルデバイス10は、たとえば、スマートフォン、タブレットコンピュータ、または車載ナビゲーションシステムである。ポータブルデバイス10は、ワイヤード(たとえば、ユニバーサルシリアルバス(USB))またはワイヤレス(たとえば、Bluetooth、Wi-Fi Direct)であり得る通信リンク16を介して、車両12のヘッドユニット14と通信する。ポータブルデバイス10はまた、第4世代または第3世代のセルラーネットワーク(それぞれ4Gまたは3G)などのワイヤレス通信ネットワークを介して、様々なコンテンツプロバイダ、サーバなどと通信することができる。
ヘッドユニット14は、デジタルマップなどのナビゲーション情報を提示するためのディスプレイ18を含むことができる。いくつかの実装形態におけるディスプレイ18は、タッチスクリーンであり、テキスト入力を入力するためのソフトウェアキーボードを含み、テキスト入力は、目的地、出発点などの名前または住所を含み得る。英数字を入力するために、またはナビゲーション指示を要求する他の機能を実施するために、ヘッドユニット14のハードウェア入力コントロール20と、ステアリングホイールのハードウェア入力コントロールと22をそれぞれ使用することができる。ヘッドユニット14はまた、たとえば、マイクロフォン24およびスピーカ26などのオーディオ入力および出力構成要素を含むことができる。スピーカ26は、ポータブルデバイス10から送信されたオーディオ命令またはオーディオ通知を再生するために使用することができる。
運転イベント音検出システムを実装することができる例示的な通信システム100が図2に示されている。通信システム100は、「マッピングアプリケーション122」とも呼ばれる地理アプリケーション122を実行するように構成されたクライアントデバイス10を含む。実装形態に応じて、アプリケーション122は、インタラクティブなデジタルマップを表示すること、運転、徒歩、またはオーディオナビゲーション指示を含む他のナビゲーション指示を提供するためにルーティングデータを要求および受信すること、様々な位置情報コンテンツを提供することなどを行うことができる。クライアントデバイス10は、様々な場所にナビゲートしながらデジタルマップを表示するユーザ(本明細書では「運転者」とも呼ばれる)によって動作され得る。通信システム100はまた、Bluetooth、Wi-Fi Directなどの短距離通信リンクを介して、クライアントデバイス10と通信し得る車両ヘッドユニット14を含む。さらに、通信システム100は、クライアントデバイス10の近傍内に他のコンピューティングデバイス92を含み得る。たとえば、クライアントデバイス10が運転者のスマートフォンである場合、他のコンピューティングデバイス92は、車両12内の乗客のスマートフォン、あるいは運転者のタブレットまたはウェアラブルデバイスを含み得る。
クライアントデバイス10に加えて、通信システム100は、トレーニングされた機械学習モデルをクライアントデバイス10に提供するように構成されたサーバデバイス60を含む。サーバデバイス60は、例示的な実装形態では、運転イベント音を識別するための第1の機械学習モデルを記憶するデータベース80に通信可能に結合することができる。第1の機械学習モデルのトレーニング入力として使用されるトレーニングデータは、オーディオストリームのセットのオーディオ特徴(つまり、周波数、ピッチ、トーン、振幅などの各オーディオストリームの特性)、および運転イベント音が各オーディオストリームに含まれるかどうかの表示を含み得る。オーディオストリームは、運転イベント音を含むか、または運転イベント音を含まないように分類され得る。いくつかの実装形態では、オーディオストリームは、緊急車両のサイレン、車両の衝突音、車両の故障警報、または車両のクラクションなどの、特定のタイプの運転イベント音に従って分類され得る。トレーニングデータについては、図3を参照して以下でさらに詳細に説明される。さらに、データベース80は、運転イベント音が実際のものであるか人工的なものであるかを決定するための第2の機械学習モデルを記憶し得る。第2の機械学習モデルのトレーニング入力として使用されるトレーニングデータは、運転イベント音の特性、および各運転イベント音が実際のものであるか人工的なものであるかの表示を含み得る。トレーニングデータは、図4を参照して以下でさらに詳細に説明される。
より一般的には、サーバデバイス60は、任意のタイプの適切な地理空間情報または地理的コンテキストにリンクできる情報を記憶する1つまたはいくつかのデータベースと通信することができる。通信システム100はまた、たとえば、運転、徒歩、自転車、または公共交通機関の指示などのナビゲーション指示を提供するナビゲーションデータサーバ34を含むことができる。さらに、通信システム100は、マップ表示を生成するためにマップデータをサーバデバイス60に提供するマップデータサーバ50を含むことができる。通信システム100において動作するデバイスは、通信ネットワーク30を介して相互接続することができる。
様々な実装形態では、クライアントデバイス10は、スマートフォンまたはタブレットコンピュータであり得る。クライアントデバイス10は、メモリ120、1つまたは複数のプロセッサ(CPU)116、グラフィック処理ユニット(GPU)112、マイクロフォンおよびスピーカを含むI/Oモジュール114、ユーザインターフェース(UI)32、および全地球測位サービス(GPS)モジュールを含む1つまたはいくつかのセンサ19を含み得る。メモリ120は、非一時的メモリとすることができ、ランダムアクセスメモリ(RAM)、読出し専用メモリ(ROM)、フラッシュメモリ、他のタイプの永続メモリなどの、1つまたはいくつかの適切なメモリモジュールを含むことができる。I/Oモジュール114は、たとえば、タッチスクリーンであってもよい。様々な実装形態では、クライアントデバイス10は、図2に示されるよりも少ない構成要素を含むか、逆に、追加の構成要素を含むことができる。他の実施形態では、クライアントデバイス10は、任意の適切なポータブルまたは非ポータブルコンピューティングデバイスであり得る。たとえば、クライアントデバイス10は、ラップトップコンピュータ、デスクトップコンピュータ、スマートウォッチまたはスマートグラスなどのウェアラブルデバイスなどであり得る。
メモリ120は、オペレーティングシステム(OS)126を記憶し、これは、任意のタイプの適切なモバイルまたは汎用オペレーティングシステムであり得る。OS126は、アプリケーションがセンサ読取り値を取得できるようにするアプリケーションプログラミングインターフェース(API)機能を含むことができる。たとえば、コンピューティングデバイス10上で実行するように構成されたソフトウェアアプリケーションは、その瞬間にクライアントデバイス10の現在位置を取得するためにOS126 APIを呼び出す命令を含むことができる。APIはまた、APIが見積もりをどの程度確実に行っているかを示す定量的な表示(たとえば、パーセンテージ)を返すことができる。
メモリ120はまた、マッピングアプリケーション122を記憶し、マッピングアプリケーション122は、上で示したように、インタラクティブデジタルマップを生成する、および/または他の地理的機能を実施するように構成されている。マッピングアプリケーション122は、オーディオナビゲーション命令を含むナビゲーション命令を受信し、ナビゲーション命令を提示することができる。マッピングアプリケーション122はまた、運転、徒歩、またはトランジットの方向を表示することができ、一般に、地理、ジオロケーション、ナビゲーションなどに関連する機能を提供することができる。さらに、マッピングアプリケーション122は、運転イベント音検出器134を介して運転イベント音を検出することができる。運転イベント音検出器134はまた、検出された運転イベント音が実際のものであるか人工的なものであるかを決定し得る。検出された運転イベント音が人工的なものである場合、運転イベント音検出器134は、その音が人工的なものであることを示す、および/または運転者にそれを無視するように指示する通知を運転者に提示し得る。運転イベント音検出器134はまた、またはその代わりに、運転イベント音が再生されているときに、クライアントデバイスまたは運転イベント音を再生する他のデバイスの音量をミュートまたは下げることができる。さらに、運転イベント音検出器134は、オーディオストリームが運転イベント音を再生するのを防止するために、オーディオストリームをフィルタリングし得る。検出された運転イベント音が実際のものである場合、運転イベント音検出器134は、音が実際のものであることを示す通知を運転者に提示し得、および/または運転者に適切に応答する(たとえば、停車する、助けを呼ぶ、車両を修理に出すなど)ように指示し得る。
図2は、マッピングアプリケーション122をスタンドアロンアプリケーションとして示しているが、マッピングアプリケーション122の機能は、クライアントデバイス10上で実行される別のソフトウェアアプリケーションのためのプラグインまたは拡張機能などとして、クライアントデバイス10上で実行するウェブブラウザを介してアクセス可能なオンラインサービスの形で提供することもできることに留意されたい。マッピングアプリケーション122は、一般に、異なるそれぞれのオペレーティングシステムに対して異なるバージョンにおいて提供することができる。たとえば、クライアントデバイス10のメーカーは、Android(商標)プラットフォーム用のマッピングアプリケーション122、iOS(商標)プラットフォーム用の別のSDKなどを含むソフトウェア開発キット(SDK)を提供することができる。
マッピングアプリケーション122に加えて、メモリ120は、オーディオコンテンツを再生する音楽アプリケーション、ビデオアプリケーション、ゲームアプリケーション、ストリーミングアプリケーション、ラジオアプリケーション、ソーシャルメディアアプリケーションなどの他のクライアントアプリケーション132を記憶する。これらのアプリケーション132は、マッピングアプリケーション122と通信するためのAPIを公開し得る。
いくつかの実装形態では、サーバデバイス60は、1つまたは複数のプロセッサ62およびメモリ64を含む。メモリ64は、有形の非一時的メモリであってもよく、ランダムアクセスメモリ(RAM)、読出し専用メモリ(ROM)、フラッシュメモリ、他のタイプの永続メモリなどを含む、任意のタイプの適切なメモリモジュールを含んでもよい。メモリ64は、運転イベント音機械学習(ML)モデル生成器68を構成するプロセッサ62上で実行な命令を記憶し、これは、運転イベント音を識別するための第1の機械学習モデルと、識別された運転イベント音が実際のものであるか人工的なものであるかを決定するための第2の機械学習モデルを生成することができる。
運転イベント音MLモデル生成器68および運転イベント音検出器134は、運転イベント音検出システムの構成要素として動作することができる。あるいは、運転イベント音検出システムは、サーバ側の構成要素のみを含み、運転イベント音検出器134に、通知を提示するかオーディオを調整する命令を単に提供することができる。言い換えれば、これらの実施形態における運転イベント音検出技法は、運転イベント音検出器134に対して透過的に実装することができる。別の代替として、運転イベント音MLモデル生成器68の機能全体を、運転イベント音検出器134に実装することができる。
簡単にするために、図2は、サーバデバイス60をサーバのただ1つのインスタンスとして示している。しかしながら、いくつかの実装形態によるサーバデバイス60は、それぞれが1つまたは複数のプロセッサを備え、他のサーバデバイスとは独立して動作できる、1つまたは複数のサーバデバイスのグループを含む。そのようなグループにおいて動作するサーバデバイスは、クライアントデバイス10からの要求を個別に(たとえば、可用性に基づいて)、要求の処理に関連付けられる1つの動作が1つのサーバデバイスにおいて実施され、同じ要求の処理に関連付けられる別の動作が別のサーバデバイスにおいて実施される分散方式で、または任意の他の適切な技法に従って処理することができる。この議論の目的のために、「サーバデバイス」という用語は、個々のサーバデバイスまたは2つ以上のサーバデバイスのグループを指す場合がある。
動作中、クライアントデバイス10において動作する運転イベント音検出器134は、データを受信し、サーバデバイス60および/またはナビゲーションデータサーバ34に送信する。したがって、一例では、クライアントデバイス10は、出発地から目的地までのナビゲーション指示を要求する通信をナビゲーションデータサーバ34に送信し得る。したがって、ナビゲーションデータサーバ34は、ナビゲーション命令のセットを生成し、ナビゲーション命令のセットをクライアントデバイス10に提供し得る。クライアントデバイス10はまた、運転イベント音を識別するための第1の機械学習モデルと、識別された運転イベント音が実際のものであるか人工的なものであるかを決定するための第2の機械学習モデルについて、運転イベント音MLモデル生成器68(サーバデバイス60に実装される)に通信を送信し得る。
次いで、クライアントデバイス10は、運転イベント音を検出するために、オーディオ特徴を第1の機械学習モデルに適用し得、運転イベント音が実際のものであるか人工的なものであるかを決定するために、検出された運転イベント音の特性を第2の機械学習モデルに適用し得る。
いくつかの実施形態では、運転イベント音MLモデル生成器68は、運転イベント音のタイプごとに別個の機械学習モデルを生成し得る。たとえば、運転イベント音MLモデル生成器68は、警察のサイレンを識別するための1つの機械学習モデル、消防車のサイレンを識別するための別の機械学習モデル、救急車のサイレンを識別するためのさらに別の機械学習モデル、車両のクラクションを識別するための別の機械学習モデル、車両の衝突音を識別するための別の機械学習モデル、車両の故障警報を識別するためのさらに別の機械学習モデルなどを生成し得る。他の実装形態では、運転イベント音MLモデル生成器68は、運転イベント音のタイプごとに異なる出力クラスを有する単一の機械学習モデルを生成し得る。
図3は、運転イベント音を検出するために第1の機械学習モデル310をトレーニングすることと、オーディオストリーム内の運転イベント音を検出するためにオーディオストリームのオーディオ特徴を第1の機械学習モデル310に適用することとを行うための例示的なプロセスを概略的に示している。上述したように、サーバデバイス60における運転イベント音MLモデル生成器68は、第1の機械学習モデル310を生成し得る。第1の機械学習モデル310は、回帰分析(たとえば、ロジスティック回帰、線形回帰、または多項式回帰)、k最近傍、決定木、ランダムフォレスト、ブースティング(たとえば、極端な勾配ブースティング)、ニューラルネットワーク(たとえば、畳み込みニューラルネットワーク)、サポートベクタマシン、深層学習、強化学習、ベイジアンネットワークなどの様々な機械学習技法を使用して生成し得る。第1の機械学習モデル310を生成するために、運転イベント音MLモデル生成器68は、オーディオ特性(たとえば、オーディオ特徴)の第1のセット304aを有する第1のオーディオストリーム302aと、第1のオーディオストリーム302aが運転イベント音306aを含むかどうかの第1の表示とを含むトレーニングデータを受信する。第1の表示306aはまた、運転イベント音のタイプ(たとえば、緊急車両のサイレン、車両の衝突音、車両の故障警報、または車両のクラクション)を含み得る。トレーニングデータはまた、オーディオ特性の第2のセット304bを有する第2のオーディオストリーム302bと、第2のオーディオストリーム302bが運転イベント音306bを含むかどうかの第2の表示とを含む。さらに、トレーニングデータは、オーディオ特性の第3のセット304cを有する第3のオーディオストリーム302cと、第3のオーディオストリーム302cが運転イベント音306cを含むかどうかの第3の表示とを含む。さらに、トレーニングデータは、オーディオ特性の第nのセット304nを有する第nのオーディオストリーム302nと、第nのオーディオストリーム302nが運転イベント音306nを含むかどうかの第nの表示とを含む。
例示的なトレーニングデータは4つのオーディオストリーム302a～302nを含むが、これは説明を簡単にするための例にすぎない。トレーニングデータは、任意の数のオーディオストリームと、対応するオーディオ特性、およびオーディオストリームが運転イベント音を含むかどうかの表示を含み得る。
次いで、運転イベント音MLモデル生成器68は、運転イベント音を検出するための第1の機械学習モデル310を生成するために、トレーニングデータを分析する。いくつかの実装形態では、運転イベント音MLモデル生成器68は、運転イベント音のタイプごとに別個の機械学習モデルを生成する。第1の機械学習モデル310は線形回帰モデルとして示されているが、第1の機械学習モデル310は、ロジスティック回帰モデル、決定木、ニューラルネットワーク、超平面、または任意の他の適切な機械学習モデルなどの別のタイプの回帰モデルであってもよい。
たとえば、機械学習技法がニューラルネットワークである場合、運転イベント音MLモデル生成器68は、入力ノード、中間または「隠し」ノード、エッジ、および出力ノードを有するグラフを生成し得る。ノードは、オーディオ特性に対して実施されるテストまたは関数を表し得、エッジはノード間の接続を表し得る。いくつかの実施形態では、出力ノードは、オーディオストリームが運転イベント音および/または運転イベント音のタイプを含むかどうかの表示を含み得る。表示は、オーディオストリームが運転イベント音を含む可能性、および/またはオーディオストリームが特定のタイプの運転イベント音を含む可能性であり得る。
たとえば、ニューラルネットワークは、それぞれがいくつかの隠れノードに接続されているオーディオ特性を表す4つの入力ノードを含み得る。次いで、隠れノードは、オーディオストリームが運転イベント音を含むかどうかを示す出力ノードに接続される。接続には重みが割り当てられている場合があり、隠れノードは、オーディオ特性に対して実施されるテストまたは関数を含んでいる場合がある。
いくつかの実施形態では、隠れノードは、それぞれが運転イベント音のタイプを示すいくつかの出力ノードに接続され得る。この例では、4つの入力ノードは、オーディオストリームの周波数、振幅、ピッチ、およびトーンを含み得る。隠れノードの入力値にテストまたは関数が適用され得る。次いで、オーディオストリームが運転イベント音を含む可能性を決定するために、テストまたは関数の結果が重み付けおよび/または集約され得る。可能性がしきい値可能性を上回る場合、ニューラルネットワークは、オーディオストリームが運転イベント音を含むと決定し得る。
しかしながら、これは、運転イベント音を検出するためのニューラルネットワークの入力とその結果の出力の一例にすぎない。他の例では、任意の数の入力ノードは、オーディオストリームの任意の適切なオーディオ特性を含み得る。さらに、任意の数の出力ノードは、運転イベント音を含むオーディオストリームの可能性、または特定のタイプの運転イベント音を含むオーディオストリームの可能性を決定し得る。
追加のトレーニングデータが収集されると、重み、ノード、および/または接続が調整され得る。このようにして、機械学習モデルは常にまたは定期的に更新される。
いずれにせよ、運転イベント音MLモデル生成器68は、第1の機械学習モデル310をクライアントデバイス10に提供し得る。次いで、運転イベント音検出器134が、ナビゲーションセッション中などにオーディオストリーム314を取得するとき、運転イベント音検出器134は、オーディオストリーム314が運転イベント音318を含むかどうかを決定するために、オーディオストリーム314の特性を第1の機械学習モデル310への入力として適用し得る。そのような決定は、第1の機械学習モデル310の出力として提供することができる。運転イベント音検出器134はまた、第1の機械学習モデル310を使用して運転イベント音318のタイプを決定し得、これはそのような決定を出力として提供し得る。たとえば、クライアントデバイス10上で実行中の別のアプリケーションにおいてオーディオ再生データから取得された第1のオーディオストリームについて、第1の機械学習モデル310は、第1のオーディオストリームが運転イベント音を含むと決定する。クライアントデバイス10に通信可能に接続されたデバイス14、92においてオーディオ再生データから取得された第2のオーディオストリームについて、第1の機械学習モデル310は、第2のオーディオストリームが警察のサイレンを含むと決定する。車両12の領域内の周囲のオーディオから取得された第3のオーディオストリームについて、機械学習モデル310は、第3のオーディオストリームが運転イベント音を含まないと決定する。
上述したように、機械学習は、運転イベント音を検出するための技法の一例にすぎない。他の実装形態では、運転イベント音検出器134は、あらかじめ定められた運転イベント音のオーディオフィンガプリントを、車両12の領域内の周囲のオーディオ、あるいはクライアントデバイス10上で実行されている別のアプリケーションからのオーディオ再生データから、またはクライアントデバイス10に通信可能に接続されたデバイス14、92からのオーディオストリームと比較することによって、運転イベント音を検出し得る。一致する場合、運転イベント音検出器134は、オーディオが運転イベント音を含むと決定し得る。より具体的には、運転イベント音検出器134は、周囲のオーディオまたはオーディオストリームからフィンガプリントを抽出することと、周囲のオーディオまたはオーディオストリームフィンガプリントの特徴を識別することと、周囲のオーディオまたはオーディオストリームフィンガプリントの特徴をあらかじめ定められた運転イベント音からのオーディオフィンガプリントの特徴と比較することとを行うことができる。たとえば、周波数、ピッチ、トーン、振幅などは、オーディオフィンガプリントの特徴として記憶され得る。次いで、あらかじめ定められた運転イベント音に対するこれらのオーディオフィンガプリントの特徴の各々を、周囲のオーディオまたはオーディオストリームフィンガプリントの特徴と比較し得る。
いくつかの実施形態では、最近傍アルゴリズムを使用して、あらかじめ定められた運転イベント音のオーディオフィンガプリントの特徴を周囲のオーディオまたはオーディオストリームフィンガプリントの特徴と比較し得る。最近傍アルゴリズムは、周囲のオーディオまたはオーディオストリームフィンガプリントの特徴に最も近い、あらかじめ定められた運転イベント音のオーディオフィンガプリントの特徴を識別し得る。次いで、運転イベント音検出器134は、周囲のオーディオまたはオーディオストリームフィンガプリントの特徴が、あらかじめ定められた運転イベント音のうちの1つに対するオーディオフィンガプリントの特徴と一致するか、しきい値以上の類似性を有する場合、周囲のオーディオまたはオーディオストリームが運転イベント音を含むと決定し得る。運転イベント音検出器134はまた、周囲のオーディオまたはオーディオストリームが、あらかじめ定められた運転イベント音に、周囲のオーディオまたはオーディオストリームフィンガプリントと一致するか、しきい値以上の類似性を有する特定のタイプの運転イベント音を含むことを決定し得る。
さらに他の実装形態では、運転イベント音検出器134は、クライアントデバイス10上で実行されている別のアプリケーションから、またはクライアントデバイス10に通信可能に接続されたデバイス14、92からのオーディオコンテンツを記述するメタデータに基づいて、運転イベント音を検出し得る。メタデータは、オーディオコンテンツが運転イベント音、運転イベント音のタイプ、および/または運転イベント音がいつ再生されるかを含むことを示し得る。
運転イベント音が検出されると、運転イベント音検出器134は、運転イベント音が実際のものであるか人工的なものであるかを決定し得る。図4は、運転イベント音が実際のものであるか人工的なものであるかを識別するために第2の機械学習モデル410をトレーニングすることと、検出された運転イベント音が実際のものであるか人工的なものであるかを決定するために、検出された運転イベント音の特性を第2の機械学習モデル410に適用することとを行うための例示的なプロセスを概略的に示している。上述したように、サーバデバイス60における運転イベント音MLモデル生成器68は、第2の機械学習モデル410を生成し得る。第2の機械学習モデル410は、回帰分析(たとえば、ロジスティック回帰、線形回帰、または多項式回帰)、k最近傍、決定木、ランダムフォレスト、ブースティング(たとえば、極端な勾配ブースティング)、ニューラルネットワーク(たとえば、畳み込みニューラルネットワーク)、サポートベクタマシン、深層学習、強化学習、ベイジアンネットワークなどの様々な機械学習技法を使用して生成され得る。第2の機械学習モデル410を生成するために、運転イベント音MLモデル生成器68は、運転イベント音特性の第1のセット404aを有する第1の運転イベント音402aと、第1の運転イベント音402aが実際のものであるか人工的なものであるかの第1の表示406aとを含むトレーニングデータを受信する。
運転イベント音の特性は、運転イベント音のオーディオ特性と、運転イベント音時の車両12における環境特性とを含み得る。運転イベント音のオーディオ特性は、周波数、ピッチ、トーン、振幅、波長などを含み得る。いくつかの実施形態では運転イベント音のオーディオ特性は、ドップラ効果を示す可能性のある経時的な周波数における変化または波長における変化を含み得る。ドップラ効果は、運転イベント音が実際のものであり、車両12に対して動いていた外部ソースから来たことを示し得る。環境特性は、車両12内のカメラからのセンサデータ、タイヤ圧力センサ、車両ドアセンサ、シートベルトセンサ、加速度計、ジャイロスコープ、位置センサなどのような、車両12からのセンサデータを含み得る。さらに、運転イベント音の特性は、警察のサイレン、消防車のサイレン、救急車のサイレン、車両のクラクション、車両の衝突音、車両故障警報などの、運転イベント音のタイプの表示を含み得る。さらに、運転イベント音の特性は、乗客が車両12内で電子ゲームをプレイしているかどうか、プレイされている電子ゲームのタイプ、電子ゲームの名前、車両12内でラジオが再生されているかどうか、現在再生されている曲またはコンテンツの名前などの、メディアコンテンツの特性を含み得る。メディアコンテンツの特性は、APIを介してクライアントデバイス10上で実行される別のアプリケーション132によって、または短距離通信リンクを介して別のデバイス92によって提供されるメタデータから決定され得る。
トレーニングデータはまた、運転イベント音特性の第2のセット404bを有する第2の運転イベント音402bと、第2の運転イベント音402bが実際のものであるか人工的なものであるかの第2の表示406bとを含む。さらに、トレーニングデータは、運転イベント音特性の第3のセット404cを有する第3の運転イベント音402cと、第3の運転イベント音402cが実際のものであるか人工的なものであるかの第3の表示406cとを含む。さらに、トレーニングデータは、運転イベント音特性の第nのセット404nを有する第nの運転イベント音402nと、第nの運転イベント音402nが実際のものであるか人工的なものであるかの第nの表示406nとを含む。
例示的なトレーニングデータは4つの運転イベント音402a～402nを含むが、これは説明を簡単にするための例にすぎない。トレーニングデータは、任意の数の運転イベント音と、対応する運転イベント音の特性、および運転イベント音が実際のものであるか人工的なものであるかの表示を含み得る。
次いで、運転イベント音MLモデル生成器68は、運転イベント音が実際のものであるか人工的なものであるかを決定するための第2の機械学習モデル410を生成するために、トレーニングデータを分析する。いくつかの実装形態では、運転イベント音MLモデル生成器68は、運転イベント音のタイプごとに別個の機械学習モデルを生成する。第2の機械学習モデル410は線形回帰モデルとして示されているが、第2の機械学習モデル410は、ロジスティック回帰モデル、決定木、ニューラルネットワーク、超平面、または任意の他の適切な機械学習モデルなどの別のタイプの回帰モデルであってもよい。
いずれにせよ、運転イベント音MLモデル生成器68は、第2の機械学習モデル410をクライアントデバイス10に提供し得る。次いで、運転イベント音検出器134が、ナビゲーションセッション中などに運転イベント音414を検出するとき、運転イベント音検出器134は、運転イベント音414が実際のものであるか人工的なものであるか418を決定するために、運転イベント音414の特性を第2の機械学習モデル410への入力として適用し得る。そのような決定は、第2の機械学習モデル410の出力として提供することができる。
上述したように、機械学習は、運転イベント音が実際のものであるか人工的なものであるかを決定するための技法の一例にすぎない。他の実装形態では、運転イベント音検出器134は、運転イベント音のソースがクライアントデバイス10または別のデバイス14、92上で実行されているアプリケーションである場合、運転イベント音が人工的なものであると決定し得る。さらに他の実装形態では、運転イベント音検出器134は、運転イベント音の地理的ソースを決定し、地理的ソースを車両12の現在位置と比較することによって、運転イベント音が人工的なものであると決定し得る。たとえば、異なる国における緊急車両のサイレンは、異なるオーディオ特性を有する場合がある。運転イベント音検出器134は、運転イベント音の発生地域を決定するために、運転イベント音のオーディオ特性を異なる国における緊急車両のサイレンのオーディオ特性と比較し得る。運転イベント音の発生地域が車両12の現在位置と異なる場合、運転イベント音検出器134は、運転イベント音が人工的なものであると決定し得る。他の実装形態では、運転イベント音検出器134は、経時的な運転イベント音の周波数における変化に基づいて、運転イベント音が人工的なものであると決定し得る。運転イベント音の周波数が、ドップラシフトを示すしきい値量を超えて経時的に変化しない場合、運転イベント音検出器134は、運転イベント音のソースが車両12に対して動いていないと決定し得、したがって、運転イベント音は人工的なものである。他の実装形態では、運転イベント音検出器134は、オーディオ再生データに含まれるオーディオストリームからの周囲のオーディオフィンガプリントまたはオーディオフィンガプリントを、あらかじめ定められた人工的な運転イベント音のオーディオフィンガプリントと比較することによって、運転イベント音が人工的なものであると決定し得る。一致する場合、運転イベント音検出器134は、オーディオが人工的な運転イベント音を含むと決定し得る。運転イベント音検出器134はまた、オーディオ再生データに含まれるオーディオストリームからの周囲のオーディオフィンガプリントまたはオーディオフィンガプリントを、あらかじめ定められた実際の運転イベント音のオーディオフィンガプリントと比較し得る。一致する場合、運転イベント音検出器134は、オーディオが実際の運転イベント音を含むと決定し得る。
運転イベント音が検出され、実際のものまたは人工的なものであると決定された場合、運転イベント音検出器134は、運転イベント音が実際のものであるか人工的なものであるかを示す通知を運転者に提供し得る。通知は、クライアントデバイス10のディスプレイ上に提示されてもよく、クライアントデバイス10または車両ヘッドユニット14のスピーカを介して提示されたオーディオ通知であってもよい。図5A～図5Cは、運転イベント音の検出に応答して運転者への通知を含む例示的なナビゲーションディスプレイ500～560を示している。図5Aの例示的なナビゲーションディスプレイ500に示されるように、ビジュアル通知510は、ナビゲーションディスプレイ500内のバナーとして提示され得る。ビジュアル通知510は、「その車のクラクション音はメディアストリームの一部です」と述べることによって、運転イベント音が人工的なものであることを示す。いくつかの実装形態では、ビジュアル通知510は、運転イベント音を無視するように指示をさらに提供し得る。ビジュアル通知510に加えて、またはその代替として、クライアントデバイス10は、スピーカを介して、車のクラクション音がメディアストリームの一部であることを示すオーディオ通知512を提示し得る。
他の実装形態では、運転イベント音検出器134は、イアコン(earcon)を使用して、運転イベント音が人工的なものであることを運転者に通知し得る。イアコンは、電子メールメッセージの到着など、特定のイベントを表す短い独特の音である。図5Bは、イアコンの形のオーディオ通知532を含む例示的なナビゲーションディスプレイ530を示す。イアコンは、運転イベント音が人工的なものであることを運転者に知らせるビープ音、長いビープ音、またはビープ音のセットなどの特定の音であり得る。イアコンは、運転者がイアコンを運転イベント音の継続と間違えないように、運転イベント音と区別されるように生成され得る。
図5Cは、運転イベント音が実際のものである場合に提示される別の例示的なナビゲーションディスプレイ560を示している。このシナリオでは、運転イベント音検出器134は、運転イベント音が実際のものであることを示し、運転イベント音によって示される緊急車両に注意するよう運転者に指示するビジュアル通知570を運転者に提供し得る。ビジュアル通知570は、ナビゲーションディスプレイ560内のバナーとして提示されてもよい。いくつかの実装形態では、ビジュアル通知570は、停車するなど、実際の運転イベント音にどのように応答するかについての指示をさらに提供してもよい。ビジュアル通知570に加えて、またはその代替として、クライアントデバイス10は、スピーカを介してオーディオ通知572を提示し、運転者が緊急車両に注意すべきであることを示し得る。理解されるように、運転イベント音が実際のものであることの確認として、任意のタイプのビジュアル通知570が提供され得る。
運転イベント音を識別するための例示的な方法
図6は、ナビゲーションセッション中に運転イベント音を識別するための例示的な方法600の流れ図を示している。本方法は、コンピュータ可読メモリに記憶され、車両12内のクライアントデバイス10の1つまたは複数のプロセッサにおいて実行可能な命令のセットにおいて実装することができる。たとえば、本方法は、運転イベント音検出器134および/またはマッピングアプリケーション122によって実装することができる。
ブロック602において、出発地から目的地までのナビゲーション命令のセットが提供される。たとえば、運転者などのユーザが出発地から目的地までのナビゲーション指示を要求すると、マッピングアプリケーション122はその要求をナビゲーションデータサーバ34に提供し得る。次いで、ナビゲーションデータサーバ34は、マッピングアプリケーション122によって提示され得るナビゲーション指示のセットをクライアントデバイス10に提供し得る。
次いで、ブロック604において、運転イベント音検出器134は、運転イベント音を含む、車両12内または車両12の周囲のオーディオを識別し得る。より具体的には、運転イベント音検出器134は、クライアントデバイス10上で実行されている他のアプリケーション132と(たとえば、APIを介して)、あるいは車両ヘッドユニット14または他のクライアントデバイス92などの、クライアントデバイス10の近傍内の他のデバイス(たとえば、短距離通信リンク)と通信することによって、オーディオ再生データを取得し得る。運転イベント音検出器134は、オーディオ再生データからオーディオストリームを取得し得る。運転イベント音検出器134はまた、たとえばマイクロフォンを介して、エリア内のオーディオの周囲のオーディオフィンガプリントをキャプチャし得る。次いで、運転イベント音検出器134は、オーディオ再生データに含まれるオーディオストリームからの周囲のオーディオフィンガプリントまたはオーディオフィンガプリントを、あらかじめ定められた運転イベント音のオーディオフィンガプリントと比較し得る。一致する場合、運転イベント音検出器134は、オーディオが運転イベント音を含むと決定し得る。他の実装形態では、運転イベント音検出器134は、オーディオストリームからの周囲のオーディオ特徴またはオーディオ特徴を、図3に示されるような第1の機械学習モデル310などの運転イベント音を識別するためのトレーニングされた機械学習モデルに適用し得る。
運転イベント音を含む車両12内またはその周りのオーディオの識別に応答して、運転イベント音検出器134は、運転イベント音が実際のものであるか人工的なものであるかを決定し得る(ブロック606)。より具体的には、運転イベント音検出器134は、オーディオ特性、運転イベント音時の車両12における環境特性、運転イベント音のタイプなどの運転イベント音の特性を識別し得る。運転イベント音検出器134は、運転イベント音が実際のものであるか人工的なものであるかを決定するために、運転イベント音の特性を、図4に示される第2の機械学習モデル410などのトレーニングされた機械学習モデルに適用し得る。
他の実装形態では、運転イベント音検出器134は、運転イベント音のソースがクライアントデバイス10または別のデバイス14、92上で実行されているアプリケーションである場合、運転イベント音が人工的なものであると決定し得る。さらに他の実装形態では、運転イベント音検出器134は、運転イベント音の地理的ソースを決定し、地理的ソースを車両12の現在位置と比較することによって、運転イベント音が人工的なものであると決定し得る。運転イベント音の発生地域が車両12の現在位置と異なる場合、運転イベント音検出器134は、運転イベント音が人工的なものであると決定し得る。他の実装形態では、運転イベント音検出器134は、経時的な運転イベント音の周波数における変化に基づいて、運転イベント音が人工的なものであると決定し得る。運転イベント音の周波数が、ドップラシフトを示すしきい値量を超えて経時的に変化しない場合、運転イベント音検出器134は、運転イベント音のソースが車両12に対して動いていないと決定し得、したがって、運転イベント音は人工的なものである。
さらに他の実装形態では、運転イベント音検出器134は、オーディオ再生データに含まれるオーディオストリームからの周囲のオーディオフィンガプリントまたはオーディオフィンガプリントを、あらかじめ定められた人工的な運転イベント音のオーディオフィンガプリントと比較することによって、運転イベント音が人工的なものであると決定し得る。一致する場合、運転イベント音検出器134は、オーディオが人工的な運転イベント音を含むと決定し得る。運転イベント音検出器134はまた、オーディオ再生データに含まれるオーディオストリームからの周囲のオーディオフィンガプリントまたはオーディオフィンガプリントを、あらかじめ定められた実際の運転イベント音のオーディオフィンガプリントと比較し得る。一致する場合、運転イベント音検出器134は、オーディオが実際の運転イベント音を含むと決定し得る。
運転イベント音が実際のものである場合、運転イベント音検出器134は、運転イベント音に応答するように運転者に警告してもよく(ブロック610)、そうでなければ運転イベント音が実際のものであることを確認してもよい。たとえば、運転イベント音検出器134は、運転イベント音が実際のものであることを示す、図5Cに示される通知570、572などのビジュアル通知またはオーディオ通知を運転者に提供し得る。通知はまた、運転イベント音に適切に応答するように運転者に指示してもよく、停車する、減速する、助けを呼ぶ、車両を修理に出すなどの運転イベント音に応答する方法について明示的な指示を提供してもよい。
一方、運転イベント音が人工的なものである場合、運転イベント音検出器134は、運転者が運転イベント音を聞いて不必要に気を散らすことを実質的に防止するために、運転者に通知を提示するか、運転イベント音をマスキングする(ブロック612)。運転イベント音検出器134は、運転イベント音が人工的なものであることを示す、図5Aに示される通知510、512などのビジュアル通知またはオーディオ通知を運転者に提供し得る。通知はまた、運転者に運転イベント音を無視するように指示し得る。
運転イベント音検出器134は、運転イベント音の間、オーディオの音量をミュートする、または下げることによって、運転イベント音をマスキングし得る。たとえば、クライアントデバイス10上で実行のアプリケーション132によって運転イベント音が提供される場合、運転イベント音検出器134は、運転イベント音の間、オーディオの音量を下げるかミュートするようにアプリケーション132に指示するために、APIを介してアプリケーション132と通信し得る。運転イベント音が、クライアントデバイス10に通信可能に結合された別のデバイス14、92によって提供される場合、運転イベント音検出器134は、運転イベント音の間、オーディオの音量を下げるかミュートする要求を他のデバイス14、92に送信するために、短距離通信リンクを介して他のデバイス14、92と通信し得る。
いくつかの実装形態では、運転イベント音検出器134は、運転イベント音が再生される前に、事前に音量をミュートする、または下げることを決定する。たとえば、運転イベント音検出器134は、人工的な運転イベント音が再生される前にオーディオコンテンツを記述するメタデータを通じて識別された場合、人工的な運転イベント音の音量をミュートする、または下げることを事前に決定することができる場合がある。有益なことに、これは、運転者が人工的な運転イベント音のいかなる部分も聞くことを防止する。他の実装形態では、運転イベント音検出器134は、運転イベント音の少なくとも一部が運転者に聞こえないようにするために、運転イベント音が再生されるときに、運転イベント音の音量をミュートする、または下げることを決定する。
他の実装形態では、運転イベント音検出器134は、オーディオストリームから運転イベント音をフィルタリングすることによって、運転イベント音をマスキングし得る。より具体的には、運転イベント音検出器134は、運転イベント音をフィルタリングするためのバンドパスフィルタまたは機械学習モデルなどのフィルタを、オーディオストリームに提供させることができる。運転イベント音検出器134は、オーディオストリームから運転イベント音をフィルタリングするために、クライアントデバイス10、またはクライアントデバイス10に通信可能に結合された他のデバイス14、92上で実行される他のアプリケーション132にフィルタを提供し得る。
いくつかの実装形態では、運転イベント音声検出器134は、運転イベント音が再生される前に、事前にフィルタリングを実施する。たとえば、運転イベント音検出器134は、再生前にオーディオコンテンツを記述するメタデータを通じて人工的な運転イベント音が識別される場合、人工的な運転イベント音を事前にフィルタリングすることができる場合がある。他の実装形態では、運転イベント音検出器134は、運転イベント音の少なくとも一部をフィルタリングするために、運転イベント音が再生されるときにフィルタリングを実施する。
さらに他の実装形態では、運転イベント音検出器134は、クライアントデバイス10のスピーカを介してノイズキャンセリング音を発するか、あるいは運転イベント音に破壊的に干渉して運転イベント音を消音または除去するために車両12内のスピーカにノイズキャンセリング音を発させることによって、運転イベント音をマスキングし得る。ノイズキャンセリング音は、運転イベント音と同じまたは類似の振幅/周波数、および運転イベント音の位相から反転した位相を有し得る。
運転イベント音検出器134は、運転イベント音を含むオーディオストリームの特性に基づいて、運転イベント音の振幅および位相を決定し得る。他の実装形態では、運転イベント音検出器134は、特定のタイプの運転イベント音(たとえば、救急車のサイレン)に対するあらかじめ定められた特性のセットに基づいて、運転イベント音の振幅および位相を決定し得る。
次いで、運転イベント音検出器134は、運転イベント音と同一または類似の振幅を有するオーディオ信号と、運転イベント音の位相から反転した位相とを生成することによって、ノイズキャンセリング音を生成し得る。次いで、運転イベント音検出器134は、クライアントデバイス10のスピーカを介してノイズキャンセリング音を再生してもよく、車両12内のスピーカ26を介してノイズキャンセリング音を再生するためにノイズキャンセリング音の表示を車両ヘッドユニット14に送信してもよい。
追加の考慮事項
以下の追加の考慮事項は、前述の説明に適用される。本明細書を通じて、複数のインスタンスは、単一のインスタンスとして記述された構成要素、動作、または構造を実装する場合がある。1つまたは複数の方法の個々の動作が別個の動作として示され、説明されているが、個々の動作のうちの1つまたは複数は同時に実施されてもよく、動作が図示された順序で実施される必要はない。例示的な構成において別個の構成要素として提示された構造および機能は、組み合わされた構造または構成要素として実装されてもよい。同様に、単一の構成要素として提示された構造と機能は、別個の構成要素として実装される場合がある。これらおよび他の変形、修正、追加、および改良は、本開示の主題の範囲内に入る。
さらに、特定の実施形態は、論理または多数の構成要素、モジュール、あるいは機構を含むものとして本明細書に記載されている。モジュールは、ソフトウェアモジュール(たとえば、機械可読媒体に記憶されたコード)またはハードウェアモジュールのいずれかで構成され得る。ハードウェアモジュールは、特定の動作を実施できる有形のユニットであり、特定の方法で構成または配置され得る。例示的な実施形態では、1つまたは複数のコンピュータシステム(たとえば、スタンドアロン、クライアントまたはサーバコンピュータシステム)またはコンピュータシステムの1つまたは複数のハードウェアモジュール(たとえば、プロセッサまたはプロセッサのグループ)は、ソフトウェア(たとえば、アプリケーションまたはアプリケーション部分)によって、本明細書で説明する特定の動作を実施するように動作するハードウェアモジュールとして構成され得る。
様々な実施形態において、ハードウェアモジュールは、機械的または電子的に実装され得る。たとえば、ハードウェアモジュールは、特定の動作を実施するように永続的に構成された専用回路または論理(たとえば、フィールドプログラマブルゲートアレイ(FPGA)または特定用途向け集積回路(ASIC)などの専用プロセッサとして)を備え得る。ハードウェアモジュールはまた、特定の動作を実施するためにソフトウェアによって一時的に構成されたプログラマブルロジックまたは回路(たとえば、汎用プロセッサまたは他のプログラマブルプロセッサ内に包含される)を備え得る。ハードウェアモジュールを機械的に実装するか、専用の永続的に構成された回路において実装するか、または一時的に構成された回路(たとえば、ソフトウェアによって構成された)において実装するかの決定は、コストおよび時間の考慮事項によって行われる場合があることを理解されたい。
したがって、ハードウェアという用語は、特定の方法で動作するか、または本明細書に記載の特定の動作を実施するために、物理的に構築された、永続的に構成された(たとえば、配線された)、または一時的に構成された(たとえば、プログラムされた)エンティティである有形のエンティティを包含すると理解されるべきである。本明細書で使用される「ハードウェア実装モジュール」は、ハードウェアモジュールを指す。ハードウェアモジュールが一時的に構成される(たとえば、プログラムされる)実施形態を考慮すると、ハードウェアモジュールの各々は、任意の時点で構成またはインスタンス化される必要はない。たとえば、ハードウェアモジュールがソフトウェアを使用して構成された汎用プロセッサを備える場合、汎用プロセッサは、異なる時点でそれぞれ異なるハードウェアモジュールとして構成され得る。したがって、ソフトウェアは、たとえば、ある時点で特定のハードウェアモジュールを構成し、異なる時点で異なるハードウェアモジュールを構成するようにプロセッサを構成し得る。
ハードウェアモジュールは、他のハードウェアに情報を提供したり、他のハードウェアから情報を受信したりすることができる。したがって、説明されたハードウェアモジュールは、通信可能に結合されていると見なされ得る。複数のそのようなハードウェアモジュールが同時に存在する場合、通信は、ハードウェアモジュールを接続する信号伝送を通じて(たとえば、適切な回路およびバスを介して)達成され得る。複数のハードウェアモジュールが異なる時間に構成またはインスタンス化される実施形態では、そのようなハードウェアモジュール間の通信は、たとえば、複数のハードウェアモジュールがアクセスできるメモリ構造内の情報の記憶および検索を通じて達成され得る。たとえば、1つのハードウェアモジュールが動作を実施し、その動作の出力を通信可能に接続されたメモリデバイスに記憶することができる。次いで、記憶された出力を取り出して処理するために、別のハードウェアモジュールが後でメモリデバイスにアクセスし得る。ハードウェアモジュールはまた、入力デバイスまたは出力デバイスとの通信を開始し得、リソース(たとえば、情報のコレクション)において動作することもできる。
方法600は、非一時的コンピュータ可読ストレージ媒体に記憶され、コンピューティングデバイス(たとえば、本明細書に記載のサーバデバイス、パーソナルコンピュータ、スマートフォン、タブレットコンピュータ、スマートウォッチ、モバイルコンピューティングデバイス、または他のクライアントデバイス)のプロセッサを使用して実行される有形のコンピュータ実行可能命令の形で、1つまたは複数の機能ブロック、モジュール、個々の機能またはルーチンを含み得る。方法600は、たとえば、バックエンドサーバ(たとえば、マップデータサーバ、ナビゲーションサーバ、または本明細書に記載の任意の他のタイプのサーバコンピューティングデバイス)、例示的な環境のクライアントデバイスモジュールの一部として、またはそのような環境の外部にあるモジュールの一部として含まれてもよい。図面は、説明を容易にするために他の図面を参照して説明され得るが、方法600は、他のオブジェクトおよびユーザインターフェースとともに利用することができる。さらに、上記の説明は、特定のデバイス(サーバデバイス60またはクライアントデバイス10など)によって実施される方法600のステップを記述しているが、これは、例示のみを目的として行われている。方法600のブロックは、1つまたは複数のデバイス、あるいは環境の他の部分によって実施され得る。
本明細書で説明される例示的な方法の様々な動作は、少なくとも部分的に、関連する動作を実施するように一時的に構成された(たとえば、ソフトウェアによって)または永続的に構成された1つまたは複数のプロセッサによって実施され得る。一時的または永続的に構成されているかどうかにかかわらず、そのようなプロセッサは、1つまたは複数の動作あるいは機能を実施するように動作するプロセッサ実装モジュールを構成する場合がある。本明細書で言及されるモジュールは、いくつかの例示的な実施形態では、プロセッサ実装モジュールを備え得る。
同様に、本明細書で説明する方法またはルーチンは、少なくとも部分的にプロセッサで実装され得る。たとえば、方法の動作のうちの少なくともいくつかは、1つまたは複数のプロセッサまたはプロセッサ実装ハードウェアモジュールによって実施され得る。特定の動作のパフォーマンスは、単一のマシン内に存在するだけでなく、複数のマシンに展開される1つまたは複数のプロセッサ間で分散され得る。いくつかの例示的な実施形態では、1つまたは複数のプロセッサは単一の場所(たとえば、家庭環境内、オフィス環境内、またはサーバファームとして)に配置され得るが、他の実施形態では、プロセッサはいくつかの場所に分散され得る。
1つまたは複数のプロセッサはまた、「クラウドコンピューティング」環境において、またはSaaSとして、関連する動作のパフォーマンスをサポートするように動作し得る。たとえば、上で示したように、動作のうちの少なくとも一部は、(プロセッサを含むマシンの例として)コンピュータのグループによって実施される場合があり、これらの動作は、ネットワーク(たとえば、インターネット)および1つまたは複数の適切なインターフェース(たとえば、API)を介してアクセスすることができる。
さらに、図面は、説明のみを目的として、例示的な環境のいくつかの実施形態を示している。当業者は、以下の説明から、本明細書に記載された原理から逸脱することなく、本明細書に例示された構造および方法の代替実施形態が使用され得ることを容易に認識するであろう。
本開示を読むと、当業者は、本明細書に開示された原理を通じて運転イベント音を識別するためのさらに追加の代替の構造的および機能的設計を理解するであろう。したがって、特定の実施形態および用途が図示および説明されたが、開示された実施形態は、本明細書に開示された正確な構造および構成要素に限定されないことを理解されたい。当業者には明らかな様々な修正、変更、および変形が、添付の特許請求の範囲に定義された趣旨および範囲から逸脱することなく、本明細書に開示された方法および装置の構成、動作、および詳細においてなされ得る。
10 ポータブルデバイス
10 クライアントデバイス
12 車両
14 車両ヘッドユニット
16 通信リンク
18 ディスプレイ
19 センサ
20 ハードウェア入力コントロール
22 ハードウェア入力コントロール
24 マイクロフォン
26 スピーカ
30 通信ネットワーク
32 ユーザインターフェース(UI)
34 ナビゲーションデータサーバ
50 マップデータサーバ
60 サーバデバイス
62 プロセッサ
64 メモリ
68 運転イベント音機械学習(ML)モデル生成器
80 データベース
92 他のコンピューティングデバイス
100 通信システム
112 グラフィック処理ユニット(GPU)
114 I/Oモジュール
116 プロセッサ(CPU)
120 メモリ
122 マッピングアプリケーション
122 地理アプリケーション
126 オペレーティングシステム(OS)
132 他のクライアントアプリケーション
134 運転イベント音検出器
302a 第1のオーディオストリーム
302b 第2のオーディオストリーム
302c 第3のオーディオストリーム
302n 第nのオーディオストリーム
304a オーディオ特性の第1のセット
304b オーディオ特性の第2のセット
304c オーディオ特性の第3のセット
304n オーディオ特性の第nのセット
306a 運転イベント音
306b 運転イベント音
306c 運転イベント音
306n 運転イベント音
310 第1の機械学習モデル
314 オーディオストリーム
318 運転イベント音
402a 第1の運転イベント音
402b 第2の運転イベント音
402c 第3の運転イベント音
402n 第nの運転イベント音
404a 運転イベント音特性の第1のセット
404b 運転イベント音特性の第2のセット
404c 運転イベント音特性の第3のセット
404n 運転イベント音特性の第nのセット
406a 実際のものであるか人工的なものであるかの第1の表示
406b 実際のものであるか人工的なものであるかの第2の表示
406c 実際のものであるか人工的なものであるかの第3の表示
406n 実際のものであるか人工的なものであるかの第nの表示
410 第2の機械学習モデル
414 運転イベント音
418 実際のものであるか人工的なものであるか
500～560 ナビゲーションディスプレイ
500 ナビゲーションディスプレイ
510 ビジュアル通知
512 オーディオ通知
532 オーディオ通知
530 ナビゲーションディスプレイ
560 ナビゲーションディスプレイ
570 ビジュアル通知
572 オーディオ通知
600 方法

Claims (20)

  1. ナビゲーションセッション中に運転イベント音を識別するための方法であって、
    車両内の1つまたは複数のプロセッサによって、ルートに沿って出発地から目的地まで移動するためのナビゲーション指示のセットを提供するステップと、
    前記目的地へのナビゲーション中、
    前記1つまたは複数のプロセッサによって、前記車両内または前記車両の周囲の領域からの運転イベント音を含むオーディオを識別するステップと、
    前記オーディオが前記運転イベント音を含むとの決定に応答して、前記1つまたは複数のプロセッサによって、前記運転イベント音が人工的なものであるかどうかを決定するステップと、
    前記運転イベント音が人工的なものであるとの決定に応答して、
    前記1つまたは複数のプロセッサによって、前記運転イベント音が人工的なものであることを示す通知を運転者に提示するステップ、または、前記運転イベント音が前記運転者に聞こえないように前記運転イベント音をマスキングするステップと
    を備える、方法。
  2. 運転イベント音を含むオーディオを識別するステップが、
    前記1つまたは複数のプロセッサによって、クライアントデバイス上で実行されているアプリケーションからオーディオ再生データを取得するステップ、
    前記1つまたは複数のプロセッサによって、前記クライアントデバイスに通信可能に結合されたデバイスからオーディオ再生データを取得するステップ、または
    前記1つまたは複数のプロセッサによって、周囲のオーディオを取得するステップ
    を含む、請求項1に記載の方法。
  3. 前記1つまたは複数のプロセッサによって、前記アプリケーションもしくは前記デバイスからの前記オーディオ再生データ、または前記周囲のオーディオに含まれるオーディオフィンガプリントを、あらかじめ定められた運転イベント音の1つまたは複数のオーディオフィンガプリントと比較するステップをさらに備える、請求項2に記載の方法。
  4. (i)オーディオストリームのセットと、(ii)オーディオストリームの前記セット内の前記オーディオストリームの少なくとも一部に対応する運転イベント音の表示とを使用して、機械学習モデルをトレーニングするステップと、
    前記1つまたは複数のプロセッサによって、前記オーディオが運転イベント音を含むかどうかを決定するために、前記アプリケーションもしくは前記デバイスからの前記オーディオ再生データ、または前記周囲のオーディオを前記機械学習モデルに適用するステップと
    をさらに備える、請求項2に記載の方法。
  5. 前記運転イベント音が人工的なものであるかどうかを決定するステップが、
    前記1つまたは複数のプロセッサによって、前記アプリケーションまたは前記デバイスからの前記オーディオ再生データに前記運転イベント音が含まれているとの決定に応答して、前記運転イベント音が人工的であると決定するステップを含む、請求項2から4のいずれか一項に記載の方法。
  6. 前記運転イベント音が人工的なものであるかどうかを決定するステップが、
    (i)運転イベント音に対応するオーディオストリームのセットと、オーディオストリームの前記セット内のオーディオストリームごとに、(ii)前記運転イベント音が実際のソースからのものか人工的なソースからのものかの表示とを使用して機械学習モデルをトレーニングするステップと、
    前記1つまたは複数のプロセッサによって、前記オーディオ内の運転イベント音が人工的なものであるかどうかを決定するために、前記アプリケーションもしくは前記デバイスからの前記オーディオ再生データ、または前記周囲のオーディオを前記機械学習モデルに適用するステップと
    を含む、請求項2から4のいずれか一項に記載の方法。
  7. 前記運転イベント音が人工的なものであるかどうかを決定するステップが、
    前記1つまたは複数のプロセッサによって、前記運転イベント音の地理的ソースを決定するステップと、
    前記1つまたは複数のプロセッサによって、前記運転イベント音の前記地理的ソースを前記車両の現在位置と比較するステップと、
    前記1つまたは複数のプロセッサによって、前記運転イベント音の前記地理的ソースが前記車両の前記現在位置と異なる場合、前記運転イベント音が人工的なものであると決定するステップと
    を含む、請求項2から4のいずれか一項に記載の方法。
  8. 前記運転イベント音をマスキングするステップが、
    前記1つまたは複数のプロセッサによって、前記アプリケーションまたは前記デバイスからの前記オーディオ再生データからの前記運転イベント音をフィルタリングするステップを含む、請求項1から7のいずれか一項に記載の方法。
  9. 前記運転イベント音が、緊急車両のサイレン、車両の衝突音、車両の故障警報、または車両のクラクションのうちの少なくとも1つを含む、請求項1から8のいずれか一項に記載の方法。
  10. 運転イベント音を識別するためのクライアントデバイスであって、
    1つまたは複数のプロセッサと、
    前記1つまたは複数のプロセッサに結合され、命令を記憶する非一時的コンピュータ可読メモリであって、前記命令が、前記1つまたは複数のプロセッサによって実行されると、前記クライアントデバイスに、
    車両内または前記車両の周囲の領域からの運転イベント音を含むオーディオを識別することと、
    前記オーディオが前記運転イベント音を含むとの決定に応答して、前記運転イベント音が人工的なものであるかどうかを決定することと、
    前記運転イベント音が人工的なものであるとの決定に応答して、
    前記運転イベント音が人工的なものであることを示す通知を運転者に提示すること、または、前記運転イベント音が前記運転者に聞こえないように前記運転イベント音をマスキングすることと
    を行わせる、非一時的コンピュータ可読メモリと
    を備える、クライアントデバイス。
  11. 運転イベント音を含むオーディオを識別するために、前記命令が前記クライアントデバイスに、
    前記クライアントデバイス上で実行されているアプリケーションからオーディオ再生データを取得すること、
    前記クライアントデバイスに通信可能に結合されたデバイスからオーディオ再生データを取得すること、または
    周囲のオーディオを取得すること
    を行わせる、請求項10に記載のクライアントデバイス。
  12. 前記命令が前記クライアントデバイスに、
    前記アプリケーションもしくは前記デバイスからの前記オーディオ再生データ、または前記周囲のオーディオに含まれるオーディオフィンガプリントを、あらかじめ定められた運転イベント音の1つまたは複数のオーディオフィンガプリントとさらに比較させる、請求項11に記載のクライアントデバイス。
  13. 前記命令が前記クライアントデバイスに、
    前記アプリケーションもしくは前記デバイスからの前記オーディオ再生データ、または前記周囲のオーディオをトレーニングされた機械学習モデルにさらに適用させ、前記トレーニングされた機械学習モデルが、オーディオが運転イベント音を含むかどうかを決定するためにトレーニングされており、前記トレーニングされた機械学習が、(i)オーディオストリームのセットと、(ii)オーディオストリームの前記セット内の前記オーディオストリームの少なくとも一部に対応する運転イベント音の表示とを含むトレーニングデータを使用してトレーニングされている、請求項11に記載のクライアントデバイス。
  14. 前記運転イベント音が人工的なものであるかどうかを決定するために、前記命令が前記クライアントデバイスに、
    前記アプリケーションまたは前記デバイスからの前記オーディオ再生データに前記運転イベント音が含まれているとの決定に応答して、前記運転イベント音が人工的であると決定させる、請求項11から13のいずれか一項に記載のクライアントデバイス。
  15. 前記運転イベント音が人工的なものであるかどうかを決定するために、前記命令が前記クライアントデバイスに、
    前記アプリケーションもしくは前記デバイスからの前記オーディオ再生データ、または前記周囲のオーディオをトレーニングされた機械学習モデルに適用させ、前記トレーニングされた機械学習モデルが、オーディオ内の運転イベント音が実際のソースからのものか人工的なソースからのものかを決定するためにトレーニングされており、前記トレーニングされた機械学習が、(i)運転イベント音に対応するオーディオストリームのセットと、オーディオストリームの前記セット内のオーディオストリームごとに、(ii)前記運転イベント音が実際のソースからのものか人工的なソースからのものかの表示とを含むトレーニングデータを使用してトレーニングされている、請求項11から13のいずれか一項に記載のクライアントデバイス。
  16. 前記運転イベント音が人工的なものであるかどうかを決定するために、前記命令が前記クライアントデバイスに、
    前記運転イベント音の地理的ソースを決定することと、
    前記運転イベント音の前記地理的ソースを前記車両の現在位置と比較することと、
    前記運転イベント音の前記地理的ソースが前記車両の前記現在位置と異なる場合、前記運転イベント音が人工的なものであると決定することと
    を行わせる、請求項11から13のいずれか一項に記載のクライアントデバイス。
  17. 1つまたは複数のプロセッサに結合され、命令を記憶する非一時的コンピュータ可読メモリであって、前記命令が、前記1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサに、
    車両内または前記車両の周囲の領域からの運転イベント音を含むオーディオを識別することと、
    前記オーディオが前記運転イベント音を含むとの決定に応答して、前記運転イベント音が人工的なものであるかどうかを決定することと、
    前記運転イベント音が人工的なものであるとの決定に応答して、
    前記運転イベント音が人工的なものであることを示す通知を運転者に提示すること、または、前記運転イベント音が前記運転者に聞こえないように前記運転イベント音をマスキングすることと
    を行わせる、非一時的コンピュータ可読メモリ。
  18. 運転イベント音を含むオーディオを識別するために、前記命令が前記1つまたは複数のプロセッサに、
    前記クライアントデバイス上で実行されているアプリケーションからオーディオ再生データを取得すること、
    前記クライアントデバイスに通信可能に結合されたデバイスからオーディオ再生データを取得すること、または
    周囲のオーディオを取得すること
    を行わせる、請求項17に記載の非一時的コンピュータ可読メモリ。
  19. 前記命令が前記1つまたは複数のプロセッサに、
    前記アプリケーションもしくは前記デバイスからの前記オーディオ再生データ、または前記周囲のオーディオに含まれるオーディオフィンガプリントを、あらかじめ定められた運転イベント音の1つまたは複数のオーディオフィンガプリントとさらに比較させる、請求項18に記載の非一時的コンピュータ可読メモリ。
  20. 前記命令が前記1つまたは複数のプロセッサに、
    前記アプリケーションもしくは前記デバイスからの前記オーディオ再生データ、または前記周囲のオーディオをトレーニングされた機械学習モデルにさらに適用させ、前記トレーニングされた機械学習モデルが、オーディオが運転イベント音を含むかどうかを決定するためにトレーニングされており、前記トレーニングされた機械学習が、(i)オーディオストリームのセットと、(ii)オーディオストリームの前記セット内の前記オーディオストリームの少なくとも一部に対応する運転イベント音の表示とを含むトレーニングデータを使用してトレーニングされている、請求項18に記載の非一時的コンピュータ可読メモリ。
JP2023522874A 2020-11-18 2020-11-18 ナビゲーションセッション中の運転イベント音の検出と処理 Pending JP2023548675A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2020/060984 WO2022108580A1 (en) 2020-11-18 2020-11-18 Detecting and handling driving event sounds during a navigation session

Publications (1)

Publication Number Publication Date
JP2023548675A true JP2023548675A (ja) 2023-11-20

Family

ID=73790300

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023522874A Pending JP2023548675A (ja) 2020-11-18 2020-11-18 ナビゲーションセッション中の運転イベント音の検出と処理

Country Status (6)

Country Link
US (2) US11814062B2 (ja)
EP (1) EP4204767A1 (ja)
JP (1) JP2023548675A (ja)
KR (1) KR20230107306A (ja)
CN (1) CN116391216A (ja)
WO (1) WO2022108580A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220219736A1 (en) * 2021-01-14 2022-07-14 Baidu Usa Llc Emergency vehicle audio and visual detection post fusion

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6778073B2 (en) 2001-06-26 2004-08-17 Medius, Inc. Method and apparatus for managing audio devices
US7937118B2 (en) 2001-10-30 2011-05-03 Unwired Technology Llc Wireless audio distribution system with range based slow muting
US7437290B2 (en) 2004-10-28 2008-10-14 Microsoft Corporation Automatic censorship of audio data for broadcast
WO2009090702A1 (ja) 2008-01-17 2009-07-23 Mitsubishi Electric Corporation 車載用ガイダンス装置
US8893169B2 (en) 2009-12-30 2014-11-18 United Video Properties, Inc. Systems and methods for selectively obscuring portions of media content using a widget
US8863165B2 (en) 2010-11-01 2014-10-14 Gracenote, Inc. Method and system for presenting additional content at a media system
ES2383538B1 (es) 2010-11-25 2013-04-26 Advantaria, S.L Sistema de reconocimiento de señales sonoras relevantes para la practica de la conduccion de vehiculos de automocion
US9305559B2 (en) 2012-10-15 2016-04-05 Digimarc Corporation Audio watermark encoding with reversing polarity and pairwise embedding
US9401153B2 (en) 2012-10-15 2016-07-26 Digimarc Corporation Multi-mode audio recognition and auxiliary data encoding and decoding
US9413322B2 (en) 2012-11-19 2016-08-09 Harman International Industries, Incorporated Audio loudness control system
US20150070516A1 (en) 2012-12-14 2015-03-12 Biscotti Inc. Automatic Content Filtering
US9227566B2 (en) * 2013-06-27 2016-01-05 GM Global Technology Operations LLC Pseudo-tach signal system for a motor vehicle
US9663031B2 (en) * 2013-10-21 2017-05-30 Harman International Industries, Inc. Modifying an audio panorama to indicate the presence of danger or other events of interest
US9469247B2 (en) * 2013-11-21 2016-10-18 Harman International Industries, Incorporated Using external sounds to alert vehicle occupants of external events and mask in-car conversations
US9836062B1 (en) * 2015-01-20 2017-12-05 State Farm Mutual Automobile Insurance Company Analyzing telematics data to determine travel events and corrective actions
DE102015106400B4 (de) 2015-04-27 2023-11-02 Valeo Schalter Und Sensoren Gmbh Sensoranordnung zum Erkennen eines Zustands einer Fahrbahn mit zumindest zwei Ultraschallsensoren, Fahrerassistenzsystem, Kraftfahrzeug sowie dazugehöriges Verfahren
DE102017200961A1 (de) 2017-01-20 2018-07-26 Ford Global Technologies, Llc Akustische Warnsignaldetektion für Kraftfahrzeuge
US11244564B2 (en) * 2017-01-26 2022-02-08 Magna Electronics Inc. Vehicle acoustic-based emergency vehicle detection
US10755691B1 (en) * 2019-05-21 2020-08-25 Ford Global Technologies, Llc Systems and methods for acoustic control of a vehicle's interior
JP7264122B2 (ja) * 2020-07-01 2023-04-25 トヨタ自動車株式会社 音声出力制御システム
US11816987B2 (en) * 2020-11-18 2023-11-14 Nvidia Corporation Emergency response vehicle detection for autonomous driving applications

Also Published As

Publication number Publication date
US20220355814A1 (en) 2022-11-10
WO2022108580A1 (en) 2022-05-27
US20240034344A1 (en) 2024-02-01
KR20230107306A (ko) 2023-07-14
CN116391216A (zh) 2023-07-04
EP4204767A1 (en) 2023-07-05
US11814062B2 (en) 2023-11-14

Similar Documents

Publication Publication Date Title
US10431215B2 (en) System and method of conversational adjustment based on user's cognitive state and/or situational state
US11003414B2 (en) Acoustic control system, apparatus and method
US9651395B2 (en) Navigation systems and associated methods
US10929652B2 (en) Information providing device and information providing method
US10462281B2 (en) Technologies for user notification suppression
EP2942012A1 (en) Driver assistance system
US10054921B2 (en) Apparatus and method for adaptively controlling a target system according to operating environment
US20240034344A1 (en) Detecting and handling driving event sounds during a navigation session
JP2019139354A (ja) 情報提供装置及び情報提供方法
US20230332913A1 (en) Context aware navigation voice assistant
JP2017194948A (ja) 情報提示制御装置、自動運転車、及び自動運転車運転支援システム
US11477622B1 (en) Monitoring of data to predict driving events
CN111051171A (zh) 对自主车辆的内部的异常的检测
Kirushanth et al. Telematics and road safety
JP2018200192A (ja) 地点提案装置及び地点提案方法
JP6596771B2 (ja) 情報提供装置および情報提供方法
US20240025416A1 (en) In-vehicle soundscape and melody generation system and method using continuously interpreted spatial contextualized information
US20220207081A1 (en) In-vehicle music system and method
JP2020091647A (ja) 情報処理装置及び情報処理プログラム
US20220051493A1 (en) Systems and methods for an automobile status recorder
US20230394966A1 (en) Adaptive sound generation
JP6332866B2 (ja) 車両用ナビゲーション装置及びその方法、並びにナビゲーションするためのコンピュータプログラム及びこのプログラムを記憶した記憶媒体。
CN115631550A (zh) 一种用户反馈的方法和系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230519

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240521