JP7317157B2 - 緊急車両のオーディオ及びビジュアル検出のポスト融合 - Google Patents

Description

本開示の実施形態は一般に、自律運転車両の運転に関する。より具体的には、本開示の実施形態は、源からの情報を使用して緊急車両を検出するためのシステム及び方法に関する。

自律モード（例えば、ドライバなし）で走行する車両は、乗る人、特にドライバから運転に関わる幾つかの責任を取り除くことができる。車両は、自律モードで走行しているとき、搭載されたセンサを使用して様々な場所に進むことができるため、人の介入を最小限に抑えて、又は場合によっては乗客なしで車両は走行することができる。

緊急車両（例えば、パトカー、消防車、救急車）が道路で検出された場合、ＡＤＶは、地域の交通規則を遵守すべく適切な措置を講じる必要がある。従って、ＡＤＶの周囲環境で緊急車両を正確に検出することは、ＡＤＶが不必要に停止する必要がないように、走行中のＡＤＶにとって重要である。検出の精度を高めるための１つの手法は、複数の源からの情報（例えば、ＡＤＶのセンサからの画像及び音声）を使用して、単一の源の場合の不安定性を排除することである。このような手法では、複数の源からの情報の融合が必要である。

本開示の一態様は、自律運転車両（ＡＤＶ）を運転するためにコンピュータが実行する方法であって、前記ＡＤＶの自律運転システム（ＡＤＳ）で、１つ以上のオーディオ取込デバイスを使用して取り込まれたオーディオ信号のストリームと、前記ＡＤＶの周囲環境から前記ＡＤＶに取り付けられた１つ以上の画像取込デバイスを使用して取り込まれた一連の画像フレームとを受信し、前記ＡＤＳによって第１のニューラルネットワークモデルを使用して、取り込まれたオーディオ信号のストリームの少なくとも一部がサイレン音からであるという第１の確率を決定し、前記ＡＤＳによって第２のニューラルネットワークモデルを使用して、前記一連の画像フレームの少なくとも１つの画像フレームが緊急車両からであるという第２の確率を決定し、前記ＡＤＳによって前記第１の確率及び前記第２の確率に基づいて、緊急車両が前記周囲環境に存在すると決定する、方法である。

本開示の実施形態は、同様の参照符号が同様の要素を示す添付図面に限定されることなく、例として図示されている。

一実施形態によるネットワーク化されたシステムを示すブロック図である。 一実施形態による自律車両の例を示すブロック図である。 一実施形態による自律車両と共に使用される認知・計画システムの例を示すブロック図である。 一実施形態による自律車両と共に使用される認知・計画システムの例を示すブロック図である。 一実施形態による緊急車両検出システムの例を示す図である。 一実施形態による緊急車両検出システムを更に示す図である。 一実施形態における緊急車両検出システムの性能上の利点を示す図である。 一実施形態における緊急車両検出システムの性能上の利点を示す図である。 一実施形態による緊急車両を検出する処理を示すフローチャートである。

本開示の様々な実施形態及び態様を、以下の詳細な記述を参照して説明し、添付図面は様々な実施形態を示す。以下の記述及び図面は本開示の例示であり、本開示を限定していると解釈されるべきではない。本開示の様々な実施形態の完全な理解を提供すべく、多くの特定の詳細な記述を説明する。しかしながら、場合によっては、本開示の実施形態の簡潔な記述を提供すべく、周知又は従来の詳細な記述を説明しない。

本明細書における「一実施形態」又は「実施形態」の言及は、実施形態と併せて記載されている特定の特徴、構造又は特性が本開示の少なくとも１つの実施形態に含まれ得ることを意味する。本明細書の様々な箇所における「一実施形態」という表現は全て、必ずしも同一の実施形態について言及しているわけではない。

様々な実施形態によれば、自律運転車両（ＡＤＶ）を運転するためのシステム、方法、及び媒体が説明されている。実施形態は、ＡＤＶに取り付けられたセンサによって取り込まれたオーディオデータ及びビジュアルデータの決定レベル融合（ポスト融合）を使用する。オーディオデータ及びビジュアルデータの特徴レベル融合と比較して、本開示の実施形態は、オーディオデータ及びビジュアルデータの厳密なタイミング同期を必要とせず、異なるデータ源の異なる特徴信頼性の問題を克服することができる。

一実施形態では、オーディオデータ及びビジュアルデータの両方を使用してＡＤＶの周囲環境における緊急車両の存在を検出するために、緊急車両検出システムが、道路を走行するＡＤＶに設けられ得る。緊急車両検出システムは、訓練されたニューラルネットワークを使用してオーディオデータから検出結果を個別に生成し、別の訓練されたニューラルネットワークを使用してビジュアルデータから別の検出結果を個別に生成することができる。緊急車両検出システムは、２つの検出結果を融合して、緊急車両の位置及び移動方向を決定することができる。ＡＤＶは、緊急車両の位置及び移動方向に応答して適切な措置を講じることができる。

一実施形態では、緊急車両検出システムは、オーディオサブモジュール及びビジュアルサブモジュールを含み、オーディオサブモジュール及びビジュアルサブモジュールは夫々、訓練されたニューラルネットワークである。オーディオサブモジュールは、ＡＤＶに取り付けられたマイクロフォンによって取り込まれたオーディオデータを入力として受け、走行中のＡＤＶの周囲環境にサイレン音が存在する可能性を表す確率とサイレン音の音源の方向とを生成することができる。ビジュアルサブモジュールは、ＡＤＶに取り付けられたカメラによって取り込まれたビジュアルデータを入力として受け、緊急車両が周囲環境に存在する可能性を表す確率と緊急車両までの距離とを生成する。

緊急車両検出システムのポスト融合部品は、オーディオサブモジュール及びビジュアルサブモジュールからの検出結果を融合して、緊急車両が周囲環境に存在するか否かを決定することができる。緊急車両が周囲環境に存在する場合、ポスト融合部品は、緊急車両の位置及び移動方向を決定することができる。一実施形態では、２つの確率のうちの少なくとも１つが閾値を超える場合、緊急車両検出システムは、緊急車両が周囲環境に存在すると決定することができる。

緊急車両検出システムは、オーディオデータ及びビジュアルデータの両方を使用して、２つのタイプのデータからの検出結果を融合し、従って、緊急車両検出システムの性能を高める。緊急車両検出システムは、ビジュアルデータのみに基づく場合、視界の悪い環境で緊急車両を正確に検出できない場合がある。緊急車両検出システムは、オーディオデータのみに基づく場合、騒々しい環境で緊急車両を正確に検出できない場合がある。両方のタイプのデータのポスト融合組み合わせにより、緊急車両検出システムは様々な環境で適切に機能することができる。

本明細書に記載の実施形態は、実行可能なコンピュータプログラム命令を記憶する非一時的な機械可読媒体を含むことができ、コンピュータプログラム命令は、１つ以上のデータ処理システムによって実行されると、１つ以上のデータ処理システムに本明細書に記載の１つ以上の方法を実行させることができる。コンピュータプログラム命令は、フラッシュメモリ又は他の形態のメモリなどの不揮発性メモリに記憶され得る。実施形態は、方法の請求項として更に実施され得る。

上記の概要は、本開示における全ての実施形態の網羅的なリストを含まない。全てのシステム及び方法は、本開示に記載されている様々な態様及び実施形態の全ての適切な組み合わせから実施され得る。

自律運転車両
図１は、本開示の一実施形態による自律運転ネットワーク構成を示すブロック図である。図１を参照すると、ネットワーク構成１００は、ネットワーク１０２を介して１つ以上のサーバ１０３～１０４に通信可能に結合され得る自律運転車両（ＡＤＶ）１０１を含む。示されているＡＤＶは１つであるが、複数のＡＤＶがネットワーク１０２を介して互いに及び／又はサーバ１０３～１０４に結合され得る。ネットワーク１０２は、有線又は無線の、ローカルエリアネットワーク（ＬＡＮ）、インターネットなどのワイドエリアネットワーク（ＷＡＮ）、セルラーネットワーク、衛星ネットワーク又はそれらの組み合わせなどの任意のタイプのネットワークであり得る。サーバ（複数可）１０３～１０４は、ウェブサーバ又はクラウドサーバ、アプリケーションサーバ、バックエンドサーバ、又はそれらの組み合わせなどの、任意の種類のサーバ又は一群のサーバであり得る。サーバ１０３～１０４は、データ分析サーバ、コンテンツサーバ、交通情報サーバ、地図・特定地点（ＭＰＯＩ）サーバ、又は位置サーバなどであり得る。

ＡＤＶは、ドライバからの入力がほとんど又は全くない状態で車両が環境を進む自律モードで構成され得る車両を指す。そのようなＡＤＶは、車両が走行する環境に関する情報を検出するように構成された１つ以上のセンサを有するセンサシステムを備えることができる。車両及び車両の関連する制御部（複数可）は、環境を進むために、検出された情報を使用する。ＡＤＶ１０１は、手動モード、完全な自律モード、又は部分的な自律モードで走行することができる。

一実施形態では、ＡＤＶ１０１は、自律運転システム（ＡＤＳ）１１０、車両制御システム１１１、無線通信システム１１２、ユーザインタフェースシステム１１３、及びセンサシステム１１５を含むが、これらに限定されない。ＡＤＶ１０１は、エンジン、車輪、ステアリングホイール、トランスミッションなどの通常の車両に含まれるある共通の部品を更に含み得、共通の部品は、例えば加速信号又は加速コマンド、減速信号又は減速コマンド、ステアリング信号又はステアリングコマンド、制動信号又は制動コマンドなどの様々な通信信号及び／又は通信コマンドを使用して、車両制御システム１１１及び／又はＡＤＳ１１０によって制御され得る。

部品１１０～１１５は、相互接続、バス、ネットワーク、又はそれらの組み合わせを介して互いに通信可能に結合され得る。例えば、部品１１０～１１５は、コントローラエリアネットワーク（ＣＡＮ）バスを介して互いに通信可能に結合され得る。ＣＡＮバスは、ホストコンピュータがなくてもマイクロコントローラとデバイスとがアプリケーションで相互に通信できるように設計された車両バス規格である。ＣＡＮバスは、自動車内の多重電気配線のために本来設計されたメッセージベースのプロトコルであるが、多くの他の状況でも使用される。

ここで図２を参照すると、一実施形態では、センサシステム１１５は、１つ以上のカメラ２１１、全地球測位システム（ＧＰＳ）ユニット２１２、慣性測定ユニット（ＩＭＵ）２１３、レーダユニット２１４、及び光検出・測距（ＬＩＤＡＲ）ユニット２１５を含むが、これらに限定されない。ＧＰＳユニット２１２は、ＡＤＶの位置に関する情報を提供するように作動可能な送受信機を含み得る。ＩＭＵユニット２１３は、慣性加速度に基づいて、ＡＤＶの位置及び向きの変化を検知し得る。レーダユニット２１４は、無線信号を使用してＡＤＶのローカル環境内の物体を検知するシステムを表し得る。ある実施形態では、レーダユニット２１４は、物体を検知することに加えて、物体の速度及び／又は進路を更に検知し得る。ＬＩＤＡＲユニット２１５は、レーザを使用して、ＡＤＶが配置されている環境内の物体を検知し得る。ＬＩＤＡＲユニット２１５は、他のシステム部品の中でもとりわけ、１つ以上のレーザ源、レーザスキャナ、及び１つ以上の検出器を含むことができる。カメラ２１１は、ＡＤＶを取り巻く環境の画像を取り込むための１つ以上のデバイスを含み得る。カメラ２１１は、スチルカメラ及び／又はビデオカメラであり得る。カメラは、例えば、回転及び／又は傾斜するプラットフォームにカメラを取り付けることによって、機械的に移動可能であり得る。

センサシステム１１５は、ソナーセンサ、赤外線センサ、ステアリングセンサ、スロットルセンサ、制動センサ、及びオーディオセンサ（例えば、マイクロフォン）などの他のセンサを更に含み得る。オーディオセンサは、ＡＤＶを取り巻く環境からの音を取り込むように構成され得る。ステアリングセンサは、車両のステアリングホイール、車輪のステアリング角又はそれらの組み合わせを検知するように構成され得る。スロットルセンサ及び制動センサは、車両のスロットル位置及び制動位置を夫々検知する。ある状況では、スロットルセンサ及び制動センサは、一体化されたスロットル／制動センサとして一体化され得る。

一実施形態では、車両制御システム１１１は、ステアリングユニット２０１、スロットルユニット２０２（加速ユニットとも称される）、及び制動ユニット２０３を含むが、これらに限定されない。ステアリングユニット２０１は、車両の方向又は進路を調整するためのユニットである。スロットルユニット２０２は、モータ又はエンジンの速度を制御することにより、車両の速度及び加速度を制御するためのユニットである。制動ユニット２０３は、摩擦を与えて車両の車輪又はタイヤを減速させることによって車両を減速させるためのユニットである。図２に示す部品は、ハードウェア、ソフトウェア、又はそれらの組み合わせで実装され得ることに留意されたい。

図１に戻って参照すると、無線通信システム１１２は、ＡＤＶ１０１と、デバイス、センサ、他の車両などの外部システムとの通信を可能にするためのシステムである。例えば、無線通信システム１１２は、１つ以上のデバイスと直接、又はネットワーク１０２上のサーバ１０３～１０４などの通信ネットワークを介して無線通信することができる。無線通信システム１１２は、任意のセルラー通信ネットワーク又は無線ローカルエリアネットワーク（ＷＬＡＮ）を使用して、例えばＷｉＦｉを使用して別の部品又はシステムと通信することができる。無線通信システム１１２は、例えば、赤外線リンク、Ｂｌｕｅｔｏｏｔｈ（登録商標）などを使用して、デバイス（例えば、乗客のモバイルデバイス、ディスプレイデバイス、車両１０１内のスピーカ）と直接、通信することができる。ユーザインタフェースシステム１１３は、例えば、キーボード、タッチスクリーンディスプレイデバイス、マイクロフォン、及びスピーカなどを含む、車両１０１内に実装された周辺機器の一部であり得る。

ＡＤＶ１０１の機能の一部又は全ては、特に自律運転モードで走行しているとき、ＡＤＳ１１０によって制御又は管理され得る。ＡＤＳ１１０は、センサシステム１１５、車両制御システム１１１、無線通信システム１１２及び／又はユーザインタフェースシステム１１３から情報を受信し、受信した情報を処理し、出発地点から目的地点までのルート又は経路を計画し、その後、計画・制御情報に基づいて車両１０１を運転するために必要なハードウェア（例えば、プロセッサ（複数可）、メモリ、記憶部）及びソフトウェア（例えば、オペレーティングシステム、計画・ルーティングプログラム）を含む。或いは、ＡＤＳ１１０は、車両制御システム１１１と一体化され得る。

例えば、乗客としてのユーザは、例えばユーザインタフェースを介して、旅行の出発位置及び目的地を指定し得る。ＡＤＳ１１０は、旅行関連のデータを取得する。例えば、ＡＤＳ１１０は、サーバ１０３～１０４の一部であり得るＭＰＯＩサーバから位置及びルートのデータを取得し得る。位置サーバは位置サービスを提供し、ＭＰＯＩサーバは、特定の位置の地図サービス及びＰＯＩを提供する。或いは、そのような位置及びＭＰＯＩの情報は、ＡＤＳ１１０の永続記憶装置にローカルにキャッシュされ得る。

ＡＤＶ１０１がルートに沿って移動している間、ＡＤＳ１１０は、交通情報システム又は交通情報サーバ（ＴＩＳ）からリアルタイムの交通情報を更に取得し得る。サーバ１０３～１０４は、第三者のエンティティによって作動してもよいことに留意されたい。或いは、サーバ１０３～１０４の機能は、ＡＤＳ１１０と一体化され得る。リアルタイムの交通情報、ＭＰＯＩ情報、及び位置情報、並びにセンサシステム１１５によって検出又は検知されたリアルタイムのローカル環境データ（例えば、障害物、物体、近くの車両）に基づいて、ＡＤＳ１１０は、最適なルートを計画し、指定された目的地に安全且つ効率的に到着すべく、計画されたルートに従って、例えば制御システム１１１を介して車両１０１を運転することができる。

サーバ１０３は、様々なクライアントのためにデータ分析サービスを行うためのデータ分析システムであり得る。一実施形態では、データ分析システム１０３は、データコレクタ１２１及び機械学習エンジン１２２を含む。データコレクタ１２１は、様々な車両、つまりＡＤＶ又は人間のドライバが運転する通常の車両から運転統計データ１２３を収集する。運転統計データ１２３は、発せられる運転コマンド（例えば、スロットルコマンド、制動コマンド、ステアリングコマンド）及び様々な時点で車両のセンサによって取り込まれる車両の応答（例えば、速度、加速、減速、方向）を示す情報を含む。運転統計データ１２３は、例えば、ルート（出発位置及び目的地位置を含む）、ＭＰＯＩ、道路状況、気象状況など、様々な時点の運転環境について記述する情報を更に含み得る。

運転統計データ１２３に基づいて、機械学習エンジン１２２は、様々な目的のために、一連の規則、アルゴリズム、及び／又は予測モデル１２４を生成又は訓練する。そのため、アルゴリズム１２４は、ＡＤＶにアップロードされて、自律運転中にリアルタイムで利用され得る。

図３Ａ及び図３Ｂは、一実施形態によるＡＤＶと共に使用される自律運転システムの例を示すブロック図である。自律運転システム３００は、ＡＤＳ１１０、制御システム１１１、及びセンサシステム１１５を含むがこれらに限定されない、図１のＡＤＶ１０１の一部として実装され得る。図３Ａ及び図３Ｂを参照すると、ＡＤＳ１１０は、位置特定モジュール３０１、認知モジュール３０２、予測モジュール３０３、決定モジュール３０４、計画モジュール３０５、制御モジュール３０６、及びルーティングモジュール３０７を含むが、これらに限定されない。

モジュール３０１～３０７の一部又は全ては、ソフトウェア、ハードウェア、又はそれらの組み合わせで実装され得る。例えば、これらのモジュールは、永続記憶装置３５２にインストールされ、メモリ３５１にロードされ、１つ以上のプロセッサ（図示せず）によって実行され得る。これらのモジュールの一部又は全ては、図２の車両制御システム１１１の一部又は全てのモジュールに通信可能に結合又は一体化され得ることに留意されたい。モジュール３０１～３０７の一部は、一体化されたモジュールとして共に一体化され得る。

位置特定モジュール３０１は、（例えば、ＧＰＳユニット２１２を使用して）ＡＤＶ３００の現在の位置を決定し、ユーザの旅行又はルートに関連するあらゆるデータを管理する。位置特定モジュール３０１（地図・ルートモジュールとも称される）は、ユーザの旅行又はルートに関連するあらゆるデータを管理する。ユーザは、例えばユーザインタフェースを介してログインし、旅行の出発位置及び目的地を指定し得る。位置特定モジュール３０１は、地図・ルートデータ３１１のように、ＡＤＶ３００の他の部品と通信して旅行関連データを取得する。例えば、位置特定モジュール３０１は、位置サーバ及び地図・ＰＯＩ（ＭＰＯＩ）サーバから位置及びルートのデータを取得し得る。位置サーバは位置サービスを提供し、ＭＰＯＩサーバは、地図・ルートデータ３１１の一部としてキャッシュされ得る地図サービス及び特定の位置のＰＯＩを提供する。ＡＤＶ３００がルートに沿って移動している間、位置特定モジュール３０１は、交通情報システム又は交通情報サーバからリアルタイムの交通情報を更に取得し得る。

センサシステム１１５によって提供されるセンサデータ及び位置特定モジュール３０１によって得られる位置特定情報に基づいて、認知モジュール３０２によって周囲環境の認知情報を決定する。認知情報は、一般のドライバが運転している車両の周囲でドライバが何を認知しているかを表し得る。認知情報には、例えば物体の形態で車線構成、信号機、別の車両の相対位置、歩行者、建物、横断歩道、又は他の交通関連標識（例えば、一時停止標識、道を譲れ標識）などが含まれ得る。車線構成には、例えば、車線の形状（例えば、直線又は湾曲）、車線の幅、道路内の車線数、一方通行又は対面通行の車線、合流又は分離する車線、出口車線など、１つ以上の車線について記述する情報が含まれる。

認知モジュール３０２は、ＡＤＶの環境内の物体及び／又は特徴を識別するために、１つ以上のカメラによって取り込まれた画像を処理して分析するためのコンピュータビジョンシステム又はコンピュータビジョンシステムの機能を含み得る。物体は、信号機、道路境界、他の車両、歩行者、及び／又は障害物などを含むことができる。コンピュータビジョンシステムは、物体認識アルゴリズム、ビデオ追跡、及び他のコンピュータビジョン技術を使用し得る。ある実施形態では、コンピュータビジョンシステムは、環境をマッピングし、物体を追跡し、物体の速度などを推定することができる。認知モジュール３０２は、レーダ及び／又はＬＩＤＡＲなどの他のセンサによって提供される他のセンサデータに基づいて物体を検出することもできる。

認知モジュール３０２は、オーディオデータ及びビジュアルデータの両方を使用して、ＡＤＶの周囲環境における緊急車両の存在を検出することができる緊急車両検出モジュール３０８を含み得る。

物体毎に、予測モジュール３０３は、その状況下で物体がどう振る舞うかを予測する。一連の地図・ルート情報３１１及び交通規則３１２を考慮して、ある時点での運転環境を認知する認知データに基づいて予測する。例えば、物体が反対方向の車両であり、現在の運転環境が交差点を含む場合、予測モジュール３０３は、車両が直進するか又は曲がる可能性があると予測する。認知データが交差点に信号機がないことを示す場合、予測モジュール３０３は、車両が交差点に入る前に完全に停止しなければならない可能性があると予測し得る。認知データが、車両が現在、左折専用車線又は右折専用車線にいることを示す場合、予測モジュール３０３は、車両が左折又は右折する可能性が高いと予測し得る。

物体毎に、決定モジュール３０４は、物体にどのように対応するかに関する決定を行う。例えば、特定の物体（例えば、交差するルート内の別の車両）、及び物体について記述するメタデータ（例えば、速度、方向、回転角度）について、決定モジュール３０４は、物体に対処する方法（例えば、追い越す、道を譲る、停止する、通過する）を決定する。決定モジュール３０４は、永続記憶装置３５２に記憶され得る交通規則又は運転規則３１２などの一連の規則に従ってそのような決定を行い得る。

ルーティングモジュール３０７は、出発地点から目的地点までの１つ以上のルート又は経路を提供するように構成される。例えば、ユーザから受けた出発位置から目的地位置への所与の旅行について、ルーティングモジュール３０７は、地図・ルート情報３１１を取得し、出発位置から目的地位置に到着するための全ての可能なルート又は経路を決定する。ルーティングモジュール３０７は、出発位置から目的地位置に到着するためにルーティングモジュール３０７が決定するルート毎に、地形図の形態で基準線を生成し得る。基準線とは、他の車両、障害物、又は交通状況などの、他からの干渉がない理想的なルート又は経路を指す。つまり、道路に他の車両、歩行者、又は障害物がない場合、ＡＤＶは、基準線に正確又は厳密に従うべきである。その後、地形図は、決定モジュール３０４及び／又は計画モジュール３０５に提供される。決定モジュール３０４及び／又は計画モジュール３０５は可能な全てのルートを調べて、位置特定モジュール３０１からの交通状況、認知モジュール３０２によって認知される運転環境、及び予測モジュール３０３によって予測される交通状況などの、他のモジュールによって提供される他のデータを考慮して最適なルートの１つを選択して修正する。ＡＤＶを制御するための実際の経路又はルートは、ある時点での特定の運転環境に応じて、ルーティングモジュール３０７によって提供される基準線に近いか又はこの基準線と異なり得る。

認知された物体毎の決定結果に基づいて、計画モジュール３０５は、ルーティングモジュール３０７によって提供された基準線を基準として使用して、ＡＤＶの経路又はルート又は軌跡、並びに運転パラメータ（例えば、距離、速度、及び／又は回転角度）を計画する。すなわち、所与の物体について、決定モジュール３０４は、物体に対処するためになすべきことを決定する一方、計画モジュール３０５は、その方法を決定する。例えば、所与の物体について、決定モジュール３０４は、物体を通過すると決定し得る一方、計画モジュール３０５は、物体の左側又は右側のどちらを通過するかを決定し得る。車両３００が次の移動サイクル（例えば、次のルート／経路セグメント）でどのように移動するかについて記述する情報を含む計画・制御データを、計画モジュール３０５によって生成する。例えば、計画・制御データは、時速３０マイル（ｍｐｈ）の速度で１０メートル移動し、次に２５ｍｐｈの速度で右車線に変わるように車両３００に指示し得る。

計画・制御データに基づいて、制御モジュール３０６は、計画・制御データによって定められた軌跡（ルート又は経路とも称される）に従って、適切なコマンド又は信号を車両制御システム１１１にＣＡＮバスモジュール３２１を介して送信することによって、ＡＤＶを制御して運転する。計画・制御データには、経路又はルートに沿って様々な時点で適切な車両設定又は運転パラメータ（例えば、スロットルコマンド、制動コマンド、ステアリングコマンド）を使用してルート又は経路の第１の地点から第２の地点まで車両を運転するのに十分な情報が含まれる。

一実施形態では、計画段階は、運転サイクルとも称される複数の計画サイクルで、例えば１００ミリ秒（ｍｓ）の時間間隔毎に実行される。計画サイクル又は運転サイクル毎に、計画・制御データに基づいて１つ以上の制御コマンドが発せられる。すなわち、１００ｍｓ毎に、計画モジュール３０５は、例えば目標位置及びＡＤＶが目標位置に到着するのに必要な時間を含む次のルートセグメント又は経路セグメントを計画する。或いは、計画モジュール３０５は、特定の速度、方向及び／又はステアリング角などを更に指定し得る。一実施形態では、計画モジュール３０５は、５秒間などの次の所定の時間、ルートセグメント又は経路セグメントを計画する。計画サイクル毎に、計画モジュール３０５は、前のサイクルで計画された目標位置に基づいて、現在のサイクル（例えば、次の５秒間）の目標位置を計画する。その後、制御モジュール３０６は、現在のサイクルの計画・制御データに基づいて、１つ以上の制御コマンド（例えば、スロットル制御コマンド、制動制御コマンド、ステアリング制御コマンド）を生成する。

決定モジュール３０４及び計画モジュール３０５は、一体化されたモジュールとして一体化され得ることに留意されたい。決定モジュール３０４／計画モジュール３０５は、ＡＤＶの運転経路を決定するためのナビゲーションシステム又はナビゲーションシステムの機能を含み得る。例えば、ナビゲーションシステムは、最終目的地に至る車道に基づく経路に沿ってＡＤＶを一般に前進させながら、認知された障害物を実質的に避ける経路に沿ってＡＤＶを移動させるための一連の速度及び方向進路を決定し得る。目的地は、ユーザインタフェースシステム１１３を介したユーザ入力に従って設定され得る。ナビゲーションシステムは、ＡＤＶが走行している間に運転経路を動的に更新し得る。ナビゲーションシステムは、ＡＤＶの運転経路を決定するために、ＧＰＳシステムからのデータ及び１つ以上の地図を組み込むことができる。

緊急車両検出
図４は、一実施形態による緊急車両検出システム４００の例を示す。

図４に示されるように、緊急車両検出モジュール３０８は、オーディオサブモジュール４０７及びビジュアルサブモジュール４０９を含むことができる。オーディオサブモジュール４０７は、所定のアルゴリズム又はニューラルネットワークを実装するソフトウェアモジュールとすることができる。ニューラルネットワークは、多数の緊急車両から収集された（例えば、ＡＤＶの配置前の）オーディオ訓練データを使用して訓練された畳み込みニューラルネットワーク（ＣＮＮ）とすることができる。訓練データは、ａ）緊急車両のサイレンを有すると分類されたオーディオデータ、及びｂ）緊急車両のサイレンを有しないと分類されたオーディオデータを含むことができる。

例えば、訓練データは、多数のオーディオサンプルを含むことができ、オーディオサンプルの一部は、緊急車両のサイレンを有すると分類される、様々な警察車両のサイレン、消防車のサイレン及び救急車のサイレンを含み、オーディオサンプルの一部は、緊急車両のサイレンを有しないと分類される、犬の吠え声、鳥のさえずり、車の警笛、音楽などの他のノイズを含むが、これらに限定されない。

一実施形態では、ＡＤＶ１０１が道路セグメントを走行しているとき、訓練されたニューラルネットワークは、ＡＤＶ１０１に取り付けられたオーディオセンサ４０３によって取り込まれたオーディオデータ（例えば、オーディオ信号）を受信し４０４、オーディオデータに基づいて、ＡＤＶ１０１の周囲環境における緊急車両のサイレンのオーディオシグネチャの存在を検出することができる。オーディオセンサ４０３（オーディオ取込デバイスとも称される）は、ＡＤＶ１０１の様々な位置に取り付けられた複数のマイクロフォンを含むことができる。マイクロフォンは、ＡＤＶ１０１の周りの様々な方向の音を検知するように配置された、ＡＤＶ上の固定された既知の位置を有するマイクロフォンアレイを形成することができる。オーディオサブモジュール４０７は、緊急車両からのサイレン音の存在の確率４１１、及びサイレン音の方向４１３を出力することができる。

一実施形態では、サイレン音の方向４１３は、数値及び移動方向インジケータによって表され得る。数値は、ＡＤＶ１０１を表す線とサイレン音の音源からＡＤＶ１０１までの線との間の角度である。ＡＤＶ１０１を表す線は、ＡＤＶ１０１の走行方向に沿ってＡＤＶ１０１を通過する線とすることができる。移動方向インジケータは、サイレン音の音源がＡＤＶ１０１に向かって移動しているか、又はＡＤＶ１０１から離れる方向に移動しているかを示すことができる。サイレン音の音源の移動方向は、（例えば、ドップラー効果による）サイレンの振幅又は周波数の変化に基づいて決定され得る。

一実施形態では、ビジュアルサブモジュール４０９は、所定のアルゴリズム又はニューラルネットワークを実装するソフトウェアモジュールとすることができる。ニューラルネットワークは、多数の緊急車両から収集されたビジュアルデータを使用して訓練されたＣＮＮとすることもできる。一実装では、ＣＣＮは、You Only Look Once（ＹＯＬＯ）ベースのニューラルネットワークモデルとすることができる。

ＡＤＶ１０１が道路を走行しているとき、ビジュアルサブモジュール４０９は、ビジュアルセンサ４０５によって取り込まれたビジュアルデータを受信し４０６、緊急車両がＡＤＶ１０１の周囲環境に存在するか否かを決定することができる。ビジュアルセンサ４０５からのビジュアルデータ及びオーディオセンサ４０３からのオーディオデータは、ＡＤＶ１０１の同じ周囲環境から同時的に取り込まれる。オーディオデータは、オーディオ信号のストリームとすることができ、ビジュアルデータは、一連の画像フレームとすることができる。

ビジュアルサブモジュール４０９は、ＡＤＶ１０１の周囲環境における緊急車両の存在の確率４１５、及び緊急車両までの距離４１７を出力することができる。

ビジュアルサブモジュール４０９内のニューラルネットワークを訓練するとき、各訓練画像フレームのバウンディングボックスのサイズ、及び画像フレームを撮影するために使用されるカメラの外因性パラメータを、画像フレームのラベル付けデータの一部として使用することができる。従って、訓練されたニューラルネットワークに緊急車両の画像フレームが提供されると、ニューラルネットワークモデルは、画像フレームのサイズ、及び画像フレームの取り込みに使用されるカメラの外因性パラメータに基づいて、緊急車両からＡＤＶ１０１までの距離を出力することができる。

各画像フレームは、一組の内因性パラメータ及び一組の外因性パラメータと関連付けられ得る。カメラの内因性パラメータはカメラに固有である。内因性パラメータの例は、カメラの焦点距離とすることができる。他方で、カメラの外因性パラメータは、任意の所与のカメラに固有ではない。外因性パラメータには、複数のカメラ配置におけるカメラ間の相対的な回転及び並進が含まれる。

一実施形態では、緊急車両検出モジュール３０８は、オーディオサブモジュール４０７及びビジュアルサブモジュール４０９からの検出結果を融合するために使用されるポスト融合部品４２０を更に含むことができる。上に示したように、検出結果は、周囲環境におけるサイレン音の存在の確率４１１、サイレン音の方向４１３、周囲環境における緊急車両の存在の確率４１５、及び緊急車両からＡＤＶ１０１までの距離４１７によって表される。検出結果は、ビジュアルサブモジュール４０９からの他の出力（図示せず）、例えば、緊急車両がＡＤＶ１０１から離れる方向に運転しているか、又はＡＤＶ１０１に向かって運転しているかを更に含むことができる。

ポスト融合部品４２０は検出結果を融合して、緊急車両がＡＤＶ１０１の周囲環境に存在することを示す情報、緊急車両の位置及び／又は緊急車両の移動方向を出力することができる。

緊急車両検出モジュール３０８からの出力情報は、自律運転システム１１０によって使用されて、ＣＡＮバスモジュール３２１を介して車両制御システム１１１に送信されるコマンド又は信号を生成することができる。コマンド又は信号に基づいて、車両制御システム１１１は、適切な措置を講じるためにＡＤＶ１０１を制御することができる。

一実施形態では、緊急車両がＡＤＶ１０１に向かって移動しているとの決定に応答して、ＡＤＶ１０１は、現在の走行車線から出るか、又は制動して減速するか、又は道路の側方に進むことができる。緊急車両がＡＤＶ１０１から離れる方向に移動している場合、ＡＤＶ１０１は妨害されることなく現在の経路に沿って走行し続けることができる。

図５は、一実施形態による緊急車両検出システム４００を更に示す。より具体的には、図５は、ポスト融合部品４２０における融合論理回路の１つの実装を示す。

一実施形態では、ポスト融合部品４２０は、２つの異なる情報源、すなわち、オーディオセンサ４０３及びビジュアルセンサ４０５からの検出結果を融合することができる。各情報源からの検出結果は、緊急車両がＡＤＶ１０１の周囲環境に存在するか否かを個別に示すことができる。例えば、サイレン音の存在の確率４１１は、サイレン音の存在が緊急車両の存在と強く相関しているために緊急車両が存在する確率を示している。ポスト融合の処理により、オーディオサブモジュール４０７及びビジュアルサブモジュール４０９からの検出結果を単一の検出結果に組み合わせることができる。オーディオビジュアル融合は、特にオーディオ分類器の性能が低下する傾向にあってビジュアルデータが音響ノイズの影響を受けない騒々しい周囲環境で緊急車両検出モジュール３０８の検出性能を高めることができる。

一実施形態では、ポスト融合処理の例がポスト融合部品４２０に示され、ポスト融合部品４２０は、所定の閾値に夫々関連付けられる確率４１１及び確率４１５をチェックすること、及び、ステップ５０３に示されるように確率４１１又は確率４１５の少なくとも１つが関連する閾値を超えるか否かを決定することを含む複数のステップを実行することができる。確率４１１及び確率４１５のいずれも関連する閾値を超えない場合、ポスト融合部品４２０は、ステップ５０５に示されるように、緊急車両が周囲環境に存在しないと決定する。しかしながら、確率４１１又は確率４１５の少なくとも１つが夫々の閾値を超える場合、ポスト融合部品４２０は、ステップ５０７に示されるように緊急車両が周囲環境に存在すると決定する。

更に示されるように、緊急車両が存在する場合、ポスト融合部品４２０は、ステップ５０９で緊急車両からＡＤＶ１０１までの距離４１７及びサイレン音の音源の方向４１３を融合して、ステップ５１１に示されるように緊急車両の位置を取得することができる。

図６Ａ～図６Ｂは、一実施形態における緊急車両検出システム４００の性能上の利点を示す。緊急車両検出システム４００は、緊急車両の存在を検出するために複数の情報源からの情報を使用する。この複数情報源の手法は、緊急車両検出システム４００が様々なタイプの環境で緊急車両の存在を正確に検出することを保証する。

図６Ａは、視界が悪い周囲環境の例を示す。雨が降っている環境が示されているが、緊急車両検出システム４００の特徴及び利点は、夜間などの他の視界が悪い環境に適用可能である。

図６Ａに示されるように、マイクロフォンアレイ６０３及びカメラアレイ６０７が、ＡＤＶ６０５に取り付けられている。マイクロフォンアレイ６０３は、ＡＤＶ６０５が道路を走行しているとき、ＡＤＶ６０５の周囲環境からオーディオ信号を取り込むために使用され得る。ＡＤＶ６０５に取り付けられたマイクロフォン及びカメラは、他の方式で、例えば非アレイ方式で配置され得る。緊急車両６０９が周囲環境に存在し、別の車線でＡＤＶ６０５に向かって運転している。

ＡＤＶ６０５に取り付けられた緊急車両検出システム４００は、マイクロフォンアレイ６０３によって取り込まれたオーディオデータ、及びカメラアレイ７０７によって取り込まれたビジュアルデータを受信し、オーディオデータ及びビジュアルデータの夫々から別個の検出結果を生成することができる。

視界が悪い環境は、ビジュアルデータに基づく検出精度に悪影響を及ぼすが、オーディオデータに基づく検出結果には影響を及ぼさない。例えば、緊急車両検出システム４００は、サイレン音が周囲環境に存在する確率が９８％であり、緊急車両が周囲環境に存在する確率が遥かに低い（６７％）と決定することができる。緊急車両検出システム４００のビジュアルサブモジュールは、雨の日の緊急車両６０９の形状を正確に検出することができないが、緊急車両検出システム４００のオーディオサブモジュールは、サイレン音及び方向を依然として正確に検出することができる。結果として、ポスト融合後の全体的な検出精度は損なわれず、緊急車両検出システム４００は、依然として緊急車両６０９を正確に検出することができる。

図６Ｂは、騒々しい環境を含む晴天の周囲環境の例を示す。このような騒々しい環境では、緊急車両検出システム４００のオーディオサブモジュールの検出結果は悪影響を受けるが（６６％）、緊急車両検出システム４００のビジュアルサブモジュールの検出結果は悪影響を受けない（９７％）。従って、ポスト融合の後、緊急車両検出システム４００の全体的な検出精度は依然として高い。

図７は、一実施形態による緊急車両を検出する処理７００を示す。処理７００は、ソフトウェア、ハードウェア、又はそれらの組み合わせを含み得る処理論理回路によって実行され得る。例えば、処理７００は、図４に記載されている自律運転システムによって実行され得る。

図７に示されるように、ステップ７０１で、処理論理回路は、オーディオ信号のストリーム及び一連の画像フレームを受信する。オーディオ信号のストリームは、ＡＤＶに取り付けられた１つ以上のオーディオ取込デバイスを使用してＡＤＶの周囲環境から取り込まれ、一連の画像フレームは、ＡＤＶに取り付けられた１つ以上の画像取込デバイスを使用して周囲環境から取り込まれる。ステップ７０２で、処理論理回路は、第１のニューラルネットワークモデルを使用して、取り込まれたオーディオ信号のストリームの少なくとも一部がサイレン音からであるという第１の確率を決定する。ステップ７０３で、処理論理回路は、第２のニューラルネットワークモデルを使用して、取り込まれた一連の画像フレームの少なくとも１つの画像フレームが緊急車両からであるという第２の確率を決定する。ステップ７０４で、処理論理回路は、第１の確率及び第２の確率に基づいて、緊急車両が周囲環境に存在すると決定する。

上記に示されて説明された部品の一部又は全ては、ソフトウェア、ハードウェア又はそれらの組み合わせで実装され得ることに留意されたい。例えば、そのような部品は、永続記憶装置にインストールされて記憶されたソフトウェアとして実装されることができ、そのソフトウェアは、プロセッサ（図示せず）によってメモリにロードされて実行され、本願全体で説明される処理又は演算を実行することができる。或いは、そのような部品は、集積回路（例えば、特定用途向けＩＣ、すなわちＡＳＩＣ）、デジタルシグナルプロセッサ（ＤＳＰ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの専用ハードウェアにプログラムされた又は埋め込まれた実行可能コードとして実装されることができ、その実行可能コードは、アプリケーションから対応するドライバ及び／又はオペレーティングシステムを介してアクセスされ得る。更に、そのような部品は、１つ以上の特定の命令を介してソフトウェア部品によってアクセス可能な命令セットの一部としての、プロセッサ又はプロセッサコア内の特定のハードウェア論理回路として実装され得る。

前述の詳細な説明の一部は、コンピュータメモリ内のデータビットに対する演算のアルゴリズム及び記号表現に関して示されている。これらのアルゴリズムの記述及び表現は、データ処理の技術分野における当業者が自身の仕事内容を他の当業者に最も効率的に伝えるために使用する方法である。アルゴリズムは、本明細書では一般に、所望の結果につながるセルフコンシステントシーケンスの演算であると考えられている。演算は、物理量の物理的操作を必要とする演算である。

しかしながら、これらの用語及び同様の用語の全ては、適切な物理量に関連付けられるべきであり、これらの量に適用される単なる便利なラベルであることに留意されたい。上記の記述から明らかなように、特に別段の記載がない限り、本明細書全体を通して、以下の特許請求の範囲に記載されるような用語を使用した記述は、コンピュータシステムのレジスタ及びメモリ内の物理（電子）量として表されるデータを操作して、コンピュータシステムのメモリ又はレジスタ又は他のそのような情報記憶装置、送信装置若しくは表示装置内の物理量として同様に表される他のデータに変換するコンピュータシステム又は同様の電子コンピューティングデバイスの動作及び処理を指すことを理解されたい。

本開示の実施形態は、本明細書における演算を実行するための装置に更に関する。このようなコンピュータプログラムは、非一時的なコンピュータ可読媒体に記憶されている。機械可読媒体は、機械（例えば、コンピュータ）によって可読な形態で情報を記憶するためのあらゆるメカニズムを含む。例えば、機械可読（例えば、コンピュータ可読）媒体は、機械（例えば、コンピュータ）可読記憶媒体（例えば、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス）を含む。

前述の図面に示されている処理又は方法を、ハードウェア（例えば回路、専用論理回路など）、（例えば、非一時的なコンピュータ可読媒体に埋め込まれた）ソフトウェア又はこれら両方の組み合わせを備えた処理論理回路によって行ってもよい。処理又は方法が複数の連続的な演算の点から上述されているが、記載されている演算の一部を異なる順に行ってもよいと認識されるべきである。更に、一部の演算を連続的ではなく並行して行ってもよい。

本開示の実施形態は、コンピュータ上で動作しているときに、前述の図面に示されている処理又は方法を前記コンピュータに実行させるためのコンピュータプログラムに更に関する。

本開示の実施形態は、特定のプログラミング言語を参照して記載されていない。様々なプログラミング言語を使用して、本明細書に記載されているような本開示の実施形態の教示を実施してもよいことが認識される。

前述の明細書では、本開示の実施形態は、本開示の特定の例示的な実施形態を参照して記載されている。以下の特許請求の範囲に記載されているような本開示のより広い趣旨及び範囲から逸脱することなく、様々な変更がなされ得ることは明らかである。従って、明細書及び図面は限定的な意味ではなく例示の意味で考慮されるべきである。

（関連出願への相互参照）
本願は、2021年１月14日に出願された「緊急車両のオーディオ及びビジュアル検出を融合するための機械学習モデル」と題された米国特許出願第17／149638号に関連する。本願は、その全体が参照により本明細書に組み込まれる。

Claims (18)

1. 自律運転車両（ＡＤＶ）を運転するためにコンピュータが実行する方法であって、
   前記ＡＤＶの自律運転システム（ＡＤＳ）で、１つ以上のオーディオ取込デバイスを使用して取り込まれたオーディオ信号のストリームと、前記ＡＤＶの周囲環境から前記ＡＤＶに取り付けられた１つ以上の画像取込デバイスを使用して取り込まれた一連の画像フレームとを受信し、
   前記ＡＤＳによって第１のニューラルネットワークモデルを使用して、取り込まれたオーディオ信号のストリームの少なくとも一部がサイレン音からであるという第１の確率を決定し、
   前記ＡＤＳによって第２のニューラルネットワークモデルを使用して、前記一連の画像フレームの少なくとも１つの画像フレームが緊急車両からであるという第２の確率を決定し、
   前記ＡＤＳによって前記第１の確率及び前記第２の確率に基づいて、緊急車両が前記周囲環境に存在すると決定し、
   前記第１のニューラルネットワークモデルを使用して、前記ＡＤＶと前記サイレン音の音源との間の角度、及び前記音源の移動方向を決定し、
   前記第２のニューラルネットワークモデルを使用して、前記少なくとも１つの画像フレームを囲むバウンディングボックスのサイズ、及び、前記少なくとも１つの画像フレームを取り込むために使用される画像取込デバイスの１つ以上の外因性パラメータに基づいて、前記ＡＤＶと前記緊急車両との距離を決定し、前記外因性パラメータには、複数のカメラ配置におけるカメラ間の相対的な回転及び並進が含まれる、方法。
2. 前記第１の確率が第１の閾値を超えている場合、
   前記第２の確率が第２の閾値を超えている場合、又は、
   前記第１の確率が前記第１の閾値を超え、前記第２の確率が前記第２の閾値を超えている場合、
   緊急車両が前記周囲環境に存在すると決定する、請求項１に記載の方法。
3. 緊急車両が前記周囲環境に存在するとの決定に応答して、前記サイレン音の音源と前記ＡＤＶとの間の前記角度、前記音源の前記移動方向、及び、前記緊急車両から前記ＡＤＶまでの前記距離を融合して、前記緊急車両の位置及び前記緊急車両の移動方向を決定する、請求項２に記載の方法。
4. 前記緊急車両の前記位置及び前記移動方向に基づいて、前記ＡＤＶの位置の決定に応答して、前記ＡＤＶを制御して、前記ＡＤＶを操舵して現在の運転車線から出すこと、又は前記ＡＤＶを制動して減速することのうちの少なくとも１つを行う、請求項３に記載の方法。
5. 前記第１のニューラルネットワークモデルを、複数の緊急車両から収集された緊急車両サイレンを表すオーディオデータで訓練し、前記第２のニューラルネットワークモデルを、前記オーディオデータの収集と同時的に収集されたビジュアルデータで訓練する、請求項１に記載の方法。
6. 前記第１のニューラルネットワークモデル及び前記第２のニューラルネットワークモデルは夫々、畳み込みニューラルネットワークである、請求項１に記載の方法。
7. 前記１つ以上のオーディオ取込デバイスは１つ以上のマイクロフォンを含み、前記１つ以上の画像取込デバイスは１つ以上のカメラを含む、請求項１に記載の方法。
8. 命令が記憶されている非一時的な機械可読媒体であって、
   前記命令は、プロセッサによって実行されると、前記プロセッサに自律運転車両（ＡＤＶ）を運転する処理を行わせ、前記処理を行わせる際に、
   前記ＡＤＶの自律運転システム（ＡＤＳ）で、１つ以上のオーディオ取込デバイスを使用して取り込まれたオーディオ信号のストリームと、前記ＡＤＶの周囲環境から前記ＡＤＶに取り付けられた１つ以上の画像取込デバイスを使用して取り込まれた一連の画像フレームとを受信させ、
   前記ＡＤＳによって第１のニューラルネットワークモデルを使用して、取り込まれたオーディオ信号のストリームの少なくとも一部がサイレン音からであるという第１の確率を決定させ、
   前記ＡＤＳによって第２のニューラルネットワークモデルを使用して、前記一連の画像フレームの少なくとも１つの画像フレームが緊急車両からであるという第２の確率を決定させ、
   前記ＡＤＳによって前記第１の確率及び前記第２の確率に基づいて、緊急車両が前記周囲環境に存在すると決定させ、
   前記処理を行わせる際に、
   前記第１のニューラルネットワークモデルを使用して、前記ＡＤＶと前記サイレン音の音源との間の角度、及び前記音源の移動方向を決定させ、
   前記第２のニューラルネットワークモデルを使用して、前記少なくとも１つの画像フレームを囲むバウンディングボックスのサイズ、及び、前記少なくとも１つの画像フレームを取り込むために使用される画像取込デバイスの１つ以上の外因性パラメータに基づいて、前記ＡＤＶと前記緊急車両との距離を決定させ、前記外因性パラメータには、複数のカメラ配置におけるカメラ間の相対的な回転及び並進が含まれる、機械可読媒体。
9. 前記処理を行わせる際に、
   前記第１の確率が第１の閾値を超えている場合、
   前記第２の確率が第２の閾値を超えている場合、又は、
   前記第１の確率が前記第１の閾値を超え、前記第２の確率が前記第２の閾値を超えている場合、
   緊急車両が前記周囲環境に存在すると決定させる、請求項８に記載の機械可読媒体。
10. 前記処理を行わせる際に、
    緊急車両が前記周囲環境に存在するとの決定に応答して、前記サイレン音の前記音源と前記ＡＤＶとの間の前記角度、前記音源の前記移動方向、及び、前記緊急車両から前記ＡＤＶまでの前記距離を融合して、前記緊急車両の位置及び前記緊急車両の移動方向を決定させる、請求項９に記載の機械可読媒体。
11. 前記処理を行わせる際に、
    前記緊急車両の前記位置及び前記移動方向に基づいて、前記ＡＤＶの位置の決定に応答して、前記ＡＤＶを制御させ、前記ＡＤＶを操舵して現在の運転車線から出すこと、又は前記ＡＤＶを制動して減速することのうちの少なくとも１つを行わせる、請求項１０に記載の機械可読媒体。
12. 前記第１のニューラルネットワークモデルは、複数の緊急車両から収集された緊急車両サイレンを表すオーディオデータで訓練されており、前記第２のニューラルネットワークモデルは、前記オーディオデータの収集と同時的に収集されたビジュアルデータで訓練されている、請求項８に記載の機械可読媒体。
13. 前記第１のニューラルネットワークモデル及び前記第２のニューラルネットワークモデルは夫々、畳み込みニューラルネットワークである、請求項８に記載の機械可読媒体。
14. 前記１つ以上のオーディオ取込デバイスは１つ以上のマイクロフォンを含み、前記１つ以上の画像取込デバイスは１つ以上のカメラを含む、請求項８に記載の機械可読媒体。
15. プロセッサと、
    前記プロセッサに結合されて命令を記憶するメモリと
    備えており、
    前記命令は、前記プロセッサによって実行されると、前記プロセッサに自律運転車両（ＡＤＶ）を運転する処理を行わせ、前記処理を行わせる際に、
    前記ＡＤＶの自律運転システム（ＡＤＳ）で、１つ以上のオーディオ取込デバイスを使用して取り込まれたオーディオ信号のストリームと、前記ＡＤＶの周囲環境から前記ＡＤＶに取り付けられた１つ以上の画像取込デバイスを使用して取り込まれた一連の画像フレームとを受信させ、
    前記ＡＤＳによって第１のニューラルネットワークモデルを使用して、オーディオ信号の前記ストリームの少なくとも一部がサイレン音からであるという第１の確率を決定させ、
    前記ＡＤＳによって第２のニューラルネットワークモデルを使用して、前記一連の取り込まれた画像フレームの少なくとも１つの画像フレームが緊急車両からであるという第２の確率を決定させ、
    前記ＡＤＳによって前記第１の確率及び前記第２の確率に基づいて、緊急車両が前記周囲環境に存在すると決定させ、
    前記処理を行わせる際に、
    前記第１のニューラルネットワークモデルを使用して、前記ＡＤＶと前記サイレン音の音源との間の角度、及び前記音源の移動方向を決定させ、
    前記第２のニューラルネットワークモデルを使用して、前記少なくとも１つの画像フレームを囲むバウンディングボックスのサイズ、及び、前記少なくとも１つの画像フレームを取り込むために使用される画像取込デバイスの１つ以上の外因性パラメータに基づいて、前記ＡＤＶと前記緊急車両との距離を決定させ、前記外因性パラメータには、複数のカメラ配置におけるカメラ間の相対的な回転及び並進が含まれる、データ処理システム。
16. 前記処理を行わせる際に、
    前記第１の確率が第１の閾値を超えている場合、
    前記第２の確率が第２の閾値を超えている場合、又は、
    前記第１の確率が前記第１の閾値を超え、前記第２の確率が前記第２の閾値を超えている場合、
    緊急車両が前記周囲環境に存在すると決定させる、請求項１５に記載のデータ処理システム。
17. 前記処理を行わせる際に、
    緊急車両が前記周囲環境に存在するとの決定に応答して、前記サイレン音の前記音源と前記ＡＤＶとの間の前記角度、前記音源の前記移動方向、及び、前記緊急車両から前記ＡＤＶまでの前記距離を融合させて、前記緊急車両の位置及び前記緊急車両の移動方向を決定させる、請求項１６に記載のデータ処理システム。
18. コンピュータ上で動作しているときに、請求項１～７のいずれか１つに記載の方法を前記コンピュータに実行させるためのコンピュータプログラム。

Images