JP7162017B2 - サイレンの検出およびサイレンに対する対応 - Google Patents

Description

関連出願の相互参照
［0001］ 本願は、２０１７年６月２７日に出願された米国仮出願特許第６２／５２５，４２３号の出願日利益を主張する、２０１７年８月２９日に出願された米国特許出願第１５／６８９，３３６号の継続出願であり、この開示内容全体が参照によって本願明細書に組み込まれる。

［0002］ 人間の運転手を必要としない車両のような自律走行車両は、ある場所から別の場所への乗客または物品の輸送を支援するのに使用され得る。該車両は、乗客がピックアップ位置または目的位置のような何らかの初期入力を行うことができ、車両がその位置まで自身を誘導する完全自律モードで動作し得る。

［0003］ これらの車両は、安全にそのように動作するために、環境内の物体を検出して識別し、さらに物体に迅速に対応することができなければならない。これは、特に、緊急車両を伴う状況において言える。特に、これらの車両は大きく異なり得るが、多くの状況においては、実際に非緊急車両に似ている場合があるので、視覚的な手掛かりによってこのような車両を検出することは非常に難しい場合がある。さらに、緊急車両が遮蔽されている、または自律走行車両の知覚システムの範囲外にある場合のように、点滅灯が自律走行車両の知覚システムによって容易に認識できない場合、検出はほとんど不可能であり得る。緊急車両の１つの一般的な特徴は、緊急事態または緊急車両が車の往来の中を迅速に通り抜ける必要性を知らせるためにサイレンを使用することである。しかしながら、場合によっては、緊急車両の存在がそのサイレンによって識別される場合でも、緊急車両を直接見るまたは識別することができない場合がある。このような場合、サイレンの検出および追跡によって緊急車両の位置、方位、速度、および意図を推測する自律走行車両の反応が重要になる。

［0004］ 本開示の一態様は、緊急車両を検出し、緊急車両に対応する方法を提供する。該方法は、１つまたは複数のプロセッサによって、車両上の異なる位置に配置された複数のマイクロホンを使用して緊急車両に相当するサイレン雑音を検出するステップと、１つまたは複数のプロセッサによって、複数のマイクロホンからの出力を使用して緊急車両の方位を推定するステップと、１つまたは複数のプロセッサによって、推定された方位を道路区分に分割された車道の位置を識別する地図情報と比較して緊急車両が走行している１つまたは複数の道路区分を識別するステップと、１つまたは複数のプロセッサによって、推定された方位および識別された１つまたは複数の道路区分に基づいて、緊急車両にどのように対応すべきかを決定するステップと、１つまたは複数のプロセッサによって、緊急車両にどのように対応すべきかの決定に基づいて、自律運転モードで車両を制御するステップとを含む。

［0005］ 一実施例では、該方法は、複数のマイクロホンからの出力を使用して緊急車両の範囲を推定するステップをさらに含み、緊急車両にどのように対応すべきかを決定するステップはさらに、推定された範囲に基づく。この実施例では、該方法は、経時的に複数のマイクロホンからの出力を使用して緊急車両の速度を推定するステップをさらに含み、緊急車両にどのように対応すべきかを決定するステップはさらに、推定された相対速度に基づく。別の実施例では、該方法は、経時的に複数のマイクロホンからの出力を使用して緊急車両の速度を推定するステップをさらに含み、緊急車両にどのように対応すべきかを決定するステップはさらに、推定された相対速度に基づく。別の実施例では、車両を制御するステップは、第１の車線から第２の車線へ変更するステップを含む。別の実施例では、車両を制御するステップは、車両を路肩領域に寄せるステップを含む。別の実施例では、車両を制御するステップは、車両の現在の軌道上を継続して進むステップを含む。別の実施例では、車両を制御するステップは、車両の速度を減速するステップをさらに含む。

［0006］ 本開示の別の態様は、緊急車両を検出し、緊急車両に対応する方法を提供する。該方法は、１つまたは複数のプロセッサによって、車両上の異なる位置に配置された複数のマイクロホンを使用して緊急車両に相当するサイレン雑音を検出するステップと、１つまたは複数のプロセッサによって、複数のマイクロホンからの出力を使用して緊急車両の方位を推定するステップと、車両の知覚システムから、車両の環境内の物体群を識別する情報および物体群の特性を受信するステップと、１つまたは複数のプロセッサによって、物体群の特性に基づいて物体群のうちの１つが緊急車両に相当するかどうかを決定するステップと、１つまたは複数のプロセッサによって、推定された方位および物体群のうちの１つが緊急車両に相当するかどうかの決定に基づいて、緊急車両にどのように対応すべきかを決定するステップと、１つまたは複数のプロセッサによって、緊急車両にどのように対応すべきかの決定に基づいて、自律運転モードで車両を制御するステップとを含む。

［0007］ 一実施例では、特性は、推定された物体位置を含み、物体群のうちの１つが緊急車両に相当するかどうかを決定するステップはさらに、物体群の特性と推定された方位との比較に基づく。別の実施例では、該方法はさらに、経時的に複数のマイクロホンからの出力を使用して、緊急車両の範囲を推定するステップをさらに含み、特性は推定された物体位置を含み、物体群のうちの１つが緊急車両に相当するかどうかを決定するステップはさらに、物体群の特性と推定された範囲との比較に基づく。別の実施例では、該方法はさらに、経時的に複数のマイクロホンからの出力を使用して、緊急車両の速度を推定するステップを含み、特性は推定された物体の速度を含み、物体群のうちの１つが緊急車両に相当するかどうかを決定するステップはさらに、物体群の特性と推定された相対速度との比較に基づく。別の実施例では、該方法はさらに、１つまたは複数のプロセッサによって、推定された方位を道路区分に分割された車道の位置を識別する地図情報と比較して緊急車両が走行している１つまたは複数の道路区分を識別するステップを含み、緊急車両にどのように対応すべきかを決定するステップはさらに、推定された方位および識別された１つまたは複数の道路区分に基づく。別の実施例では、該方法はさらに、物体群の各々の所与の物体の特性に基づいてその所与の物体が緊急車両である第１の尤度を識別するステップを含み、物体群のうちの１つが緊急車両に相当するかどうかを決定するステップはさらに、第１の尤度に基づく。別の実施例では、該方法はさらに、物体群の各々の所与の物体の特性に基づいてその所与の物体が緊急車両でない第２の尤度を識別するステップを含み、物体群のうちの１つが緊急車両に相当するかどうかを決定するステップはさらに、第２の尤度に基づく。別の実施例では、該方法はさらに、車両を制御するステップを含み、車両を制御するステップは、車両がそれ以外では交差点を通過する優先権を有する場合に交差点で停止するステップを含む。

［0008］ 本開示の別の態様は、緊急車両を検出し、緊急車両に対応するためのシステムを提供する。該システムは、車両上の異なる位置に配置された複数のマイクロホンを使用して緊急車両に相当するサイレン雑音を検出し、経時的に複数のマイクロホンからの出力を使用して緊急車両の方位を推定し、推定された方位を道路区分に分割された車道の位置を識別する地図情報と比較して緊急車両が走行している１つまたは複数の道路区分を識別し、車両の知覚システムから、車両の環境内の物体群を識別する情報および物体群の特性を受信し、物体群の特性に基づいて物体群のうちの１つが緊急車両に相当するかどうかを決定し、推定された方位および識別された１つまたは複数の道路区分および物体群のうちの１つが緊急車両に相当するかどうかの決定に基づいて、緊急車両にどのように対応すべきかを決定し、緊急車両にどのように対応すべきかの決定に基づいて、自律運転モードで車両を制御するように構成された１つまたは複数のプロセッサを含む。

［0009］ 一実施例では、１つまたは複数のプロセッサはさらに、複数のマイクロホンからの出力を使用して緊急車両の範囲を推定するように構成され、緊急車両にどのように対応すべきかの決定はさらに、推定された範囲に基づく。別の実施例では、１つまたは複数のプロセッサはさらに、複数のマイクロホンからの出力を使用して緊急車両の速度を推定するように構成され、緊急車両にどのように対応すべきかの決定はさらに、推定された相対速度に基づく。別の実施例では、該システムはさらに、車両を含む。

［0010］本開示の態様に係る車両の一例の機能図である。 ［0011］本開示の態様に係る地図情報の例示的表現を示す図である。 ［0012］本開示の態様に係る車両の外観図の例である。 ［0012］本開示の態様に係る車両の外観図の例である。 ［0012］本開示の態様に係る車両の外観図の例である。 ［0012］本開示の態様に係る車両の外観図の例である。 ［0013］本開示の態様に係る図２の地図情報に対応する車道の一部の例を示す図である。 ［0014］本開示の態様に係る方位データの例示的表現を示す図である。 ［0015］本開示の態様に係る範囲データの例示的表現を示す図である。 ［0016］本開示の態様に係る相対速度データの例示的表現を示す図である。 ［0017］本開示の態様に係るフロー図である。

概要
［0018］ 本発明の技術は、人および／または貨物を場所間で輸送するための自律走行車両に関する。上記の状況に対処するために、自律走行車両には、レーザ、レーダ、ソナー、カメラまたは他のセンサを使用して環境内の物体を検出する知覚システムの他に、車両上の異なる位置に配置された一連のマイクロホンまたはマイクロホンアレイが装備され得る。以下で説明するように、これらのマイクロホンを使用して、緊急車両を検出して識別することができ、緊急車両が遮蔽されている、または緊急車両が車両の知覚システムでは確認できない場合に、緊急車両に気づき、緊急車両に反応する方法を提供すると同時に、緊急車両が車両の知覚システムによって確認できる、または検出できる場合に、緊急車両を検出する独立したおよび／または冗長な方法を提供する。

［0019］ これらのマイクロホンの出力は、潜在的な緊急車両のサイレンを検出するためにモデルに入力され得る。サイレン雑音がモデルによって検出されると、サイレンの発生源の予想される方位または相対方向に関する測定値、もっと正確に言えば、予測される方位に関する確率分布を提供するために、サイレン雑音がマイクロホンの各々に到達するタイミングが第２のモデルへの入力として使用され得る。さらに、サイレンの発生源の予測される範囲に関する確率分布を提供するために、サイレン雑音、振幅、およびタイミングが第３のモデルに入力され得る。第４のモデルは、サイレン雑音の発生源の予測される速度を推定するために使用され得る。

［0020］ モデルからの情報は、車両の１つまたは複数のコンピューティングデバイスに提供され得る。これらのコンピューティングデバイスは、推定された方位、推定された範囲、および推定された相対速度を使用して、車両が緊急車両にどのように反応すべきかを決定し得る。しかしながら、対応の有効性を高めるために、モデルによって提供される情報は、これらの物体のいずれかがサイレン雑音の発生源であるかどうかを決定するために、車両の環境内で検出された物体と比較され得る。特定の車両がサイレン雑音の発生源として識別されると、車両は緊急車両として識別され得る。この時点で、緊急車両にどのように最適に対応すべきかを決定するときに、この緊急車両の観察された移動も考慮され得、そのことにより、対応の有効性がさらに向上する。

［0021］ モデル出力を知覚システムからの情報と比較することに加えて、推定された方位、推定された範囲、および推定された相対速度が、車両の環境内の車道特徴を記述する地図情報と比較され得る。これを使用して、繰り返すが、サイレンの発生源が車両の知覚システムの範囲外にある、または別の形で遮蔽されている場合でも、緊急車両が走行している予想される車道、道路区分、または場合によっては、特定の車線をも識別することができる。緊急車両に対する車両の位置（およびその逆）は、どのタイプの対応が適切であるかを決定する際に重要な要因となり得る。

［0022］ 本明細書に記載される特徴は、緊急車両が自律走行車両の知覚システムによって容易に検出されない場合でも、自律走行車両がこれらの緊急車両を検出し、識別し、これらの緊急車両に対応することを可能にし得る。サイレン音が検出されると、マイクロホンの複数の位置を使用することにより、車両のコンピュータはサイレンを検出するだけでなく、サイレンの発生源の相対方向、進行方向および速度を推定することもできる。このことは、サイレン雑音にどのように反応すべきかを決定するための重要な情報を車両のコンピューティングデバイスに提供し得る。さらに、サイレンの発生源の方向、進行方向、および速度を識別された車両および地図情報と比較することにより、コンピューティングデバイスは車両の対応をさらに改善することができる。
システム例

［0023］ 図１に示されているように、本開示の一態様の車両１００は、様々なコンポーネントを含む。本開示の特定の態様は、車両の特定のタイプに関して特に有用であるが、車両は、これらに限定されないが、自動車、トラック、オートバイ、バス、ＲＶ車などを含む車両いずれかのタイプであり得る。車両は、１つまたは複数のプロセッサ１２０、メモリ１３０、および典型的に汎用コンピューティングデバイスに存在する他のコンポーネントを含むコンピューティングデバイス１１０のような１つまたは複数のコンピューティングデバイスを有し得る。

［0024］ メモリ１３０は、１つまたは複数のプロセッサ１２０によって実行され得る、またはそれ以外の形で使用され得る命令１３２およびデータ１３４を含む、１つまたは複数のプロセッサ１２０によってアクセス可能な情報を記憶する。メモリ１３０は、コンピューティングデバイス可読媒体、または電子デバイスを用いて読み取られ得るデータを記憶する他の媒体を含む、プロセッサによってアクセス可能な情報を記憶することができる任意のタイプのメモリ、例えば、ハードドライブ、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤもしくは他の光学ディスク、および他の書き込み可能かつ読み込み可能なメモリであり得る。システムおよび方法は、上述の様々な組み合わせを含み得るので、命令およびデータの様々な部分が様々なタイプの媒体上に記憶される。

［0025］ 命令１３２は、プロセッサによって直接実行される命令セット（例えば、機械コード）または間接的に実行される命令セット（例えば、スクリプト）の任意の命令セットであり得る。例えば、命令は、コンピューティングデバイス可読媒体上にコンピューティング・デバイス・コードとして記憶され得る。この点に関して、用語「命令」および「プログラム」は、本明細書において区別なく使用され得る。命令は、プロセッサによって直接処理するためにオブジェクトコード形式で記憶され得るか、要求に応じて解釈されるもしくは予めコンパイルされた独立したソース・コード・モジュールのスクリプトもしくは集合を含む任意の他のコンピューティングデバイス言語で記憶され得る。命令の機能、方法、およびルーチンについて、以下でさらに詳細に説明する。

［0026］ データ１３４は、命令１３２に従ってプロセッサ１２０によって検索され、記憶され、または修正されてもよい。一例として、メモリ１３０のデータ１３４は、予め定義されたシナリオを記憶し得る。所与のシナリオは、物体の種類、車両に対する物体の位置の範囲、および自律走行車両が物体を回避することができるかどうか、物体が方向指示器を使用しているかどうか、物体の現在位置に関連する信号機の状態、物体が一時停止の標識に近づいているかどうかなどのような他の要因を含むシナリオ要件のセットを識別し得る。要件は、「右折方向指示器が点灯している」または「右折専用車線にいる」のような離散値、または「車両１００の現在の経路から３０°から６０°ずれた角度で方向付けられた進行方向を有する」のような値の範囲を含み得る。いくつかの実施例では、所定のシナリオは、複数の物体についての類似情報を含み得る。

［0027］ １つまたは複数のプロセッサ１２０は、市販されているＣＰＵのような任意の従来のプロセッサであり得る。あるいは、１つまたは複数のプロセッサは、ＡＳＩＣもしくは他のハードウェアベースのプロセッサのような専用のデバイスであり得る。図１は、コンピューティングデバイス１１０のプロセッサ、メモリおよび他の要素を同一ブロック内にあるとして機能的に示しているが、プロセッサ、コンピューティングデバイス、またはメモリは、実際には、同じ物理ハウジング内に記憶されていても記憶されていなくてもよい複数のプロセッサ、コンピューティングデバイス、またはメモリを含んでいてもよいことは、当業者には理解されるであろう。同様に、メモリは、コンピューティングデバイス１１０とは異なるハウジング内に配置されたハードドライブまたは他の記憶媒体であり得る。したがって、プロセッサまたはコンピューティングデバイスへの言及は、並列に動作してもよいし、または動作しなくてもよいプロセッサまたはコンピューティングデバイスまたはメモリの集合に対する参照を含むことが理解される。

［0028］ コンピューティングデバイス１１０は、上述したプロセッサおよびメモリ、ならびにユーザ入力１５０（例えば、マウス、キーボード、タッチスクリーンおよび／またはマイクロホン）とともに、コンピューティングデバイスと関連して通常使用されるすべてのコンポーネント、および様々な電子ディスプレイ（例えば、スクリーンまたは情報を表示するように動作可能な任意の他の電気デバイスを有するモニタ）を含み得る。この実施例では、車両は、車両上の異なる位置に配置された一連のマイクロホン１５２またはマイクロホンアレイを含む。図示されているように、マイクロホンアレイは、知覚システム１７２とは別個のものとして示されており、コンピューティングシステム１１０内に組み込まれる。しかしながら、マイクロホン１５２の全てまたは一部は、知覚システム１７２に組み込まれ得る、または別個のシステムとして構成され得る。この点に関して、マイクロホンは、コンピューティングデバイス１１０に信号を送信するマイクロコントローラを介して操作される独立したコンピューティングデバイスと見なされ得る。

［0029］ 一実施例では、コンピューティングデバイス１１０は、車両１００内に組み込まれた自律駆動コンピューティングシステムであり得る。自律駆動コンピューティングシステムは、車両の様々なコンポーネントと通信可能であり得る。例えば、図１に戻ると、コンピューティングデバイス１１０は、メモリ１３０の命令１３２に従って、車両の乗客からの連続的または周期的な入力を必要としない、または必要でない自律運転モードで、車両１００の移動、速度などを制御するために、減速システム１６０（車両の制動を制御するため）、加速システム１６２（車両の加速を制御するため）、操舵システム１６４（車輪の向きまたは車両の方向を制御するため）、シグナリングシステム１６６（方向指示器を制御するため）、ナビゲーションシステム１６８（位置または周囲の物体に対して車両をナビゲートするため）、測位システム１７０（車両の位置を決定するため）、知覚システム１７２（車両の環境内の物体を検出するため）、および動力系１７４（例えば、バッテリおよび／またはガソリンもしくはディーゼルエンジン）と通信状態であり得る。さらに、これらのシステムはコンピューティングデバイス１１０の外部のシステムとして図示されているが、車両１００を制御するための自律駆動コンピューティングシステムのように、コンピューティングデバイス１１０に組み込まれてもよい。

［0030］ コンピューティングデバイス１１０は、様々なコンポーネントを制御することによって車両の方向および速度を制御し得る。例として、コンピューティングデバイス１１０は、地図情報およびナビゲーションシステム１６８からのデータを使用して、完全に自律的に車両を目的位置までナビゲートし得る。コンピューティングデバイス１１０は、車両の位置を決定するための測位システム１７０、およびその位置に安全に到達するのに必要となったときに物体を検出して物体に対応するための知覚システム１７２を使用し得る。そのようにするために、コンピューティングデバイス１１０は、車両に、（例えば、加速システム１６２によってエンジンに供給される燃料または他のエネルギーを増加させることによって）加速させ、（例えば、減速システム１６０によって、エンジンに供給される燃料を減少させることによって、ギアチェンジすることによって、および／またはブレーキをかけることによって）減速させ、（例えば、操舵システム１６４によって車両１００の前輪または後輪の方向を変えることによって）方向転換させ、（例えば、シグナリングシステム１６６の方向指示器を点灯させることによって）この方向転換を伝達させ得る。したがって、加速システム１６２および減速システム１６０は、車両のエンジンと車両の車輪との間の様々なコンポーネントを含むドライブトレインの一部であり得る。同様に、これらのシステムを制御することによって、コンピューティングデバイス１１０はさらに、車両を自律的に操縦するために、車両のドライブトレインを制御し得る。

［0031］ 一実施例として、コンピューティングデバイス１１０は、車両の速度を制御するために、減速システム１６０および加速システム１６２と相互作用し得る。同様に、操舵システム１６４は、車両１００の方向を制御するために、コンピューティングデバイス１１０によって使用され得る。例えば、車両１００が自動車またはトラックのように路上で使用するように構成されている場合、操舵システムは、車両の方向を変えるために車輪の角度を制御するためのコンポーネントを含み得る。シグナリングシステム１６６は、例えば、必要に応じて方向指示器またはブレーキライトを点灯させることによって、車両の意図を他の運転手または車両に知らせるために、コンピューティングデバイス１１０によって使用され得る。

［0032］ ナビゲーションシステム１６８は、ある位置までのルートを決定して、そのルートをたどるために、コンピューティングデバイス１１０によって使用され得る。この点に関して、ナビゲーションシステム１６８および／またはデータ１３４は、地図情報（例えば、コンピューティングデバイス１１０が車両をナビゲートする、または制御するために使用し得る非常に詳細な地図）を記憶し得る。一実施例として、これらの地図は、車道の形状および高度、車線区分線、交差点、横断歩道、制限速度、信号機、建物、標識、リアルタイムの交通情報、植生、または他のこのような物体および情報を識別し得る。車線区分線は、実線または破線の二重線または単線の車線境界線、実線または破線の車線境界線、反射体などの特徴を含み得る。所与の車線は、車線の境界を画定する左右の車線境界線または他の車線区分線に関連し得る。したがって、ほとんどの車線は、１つの車線境界線の左側端と、別の車線境界線の右側端とによって境界され得る。

［0033］ 知覚システム１７２はさらに、他の車両、車道内の障害物、信号機、標識、樹木などのような車両の外側にある物体を検出するための１つまたは複数のコンポーネントを含み得る。例えば、知覚システム１７２は、１つまたは複数のＬＩＤＡＲセンサ、ソナー装置、レーダユニット、カメラおよび／またはコンピューティングデバイス１１０によって処理され得るデータを記録する他の検出装置を含み得る。知覚システムのセンサは、位置、姿勢、サイズ、形状、種類（例えば、車両、歩行者、自転車運転者など）、進行方向、および移動速度などのような物体およびそれらの特性を検出し得る。センサからの生データおよび／または上記の特性は、知覚システム１７２によって生成されたときに、周期的にまたは継続的に、記述関数、ベクトル、または境界ボックスに定量化され、または配列され、さらに処理するためにコンピューティングデバイス１１０に送信され得る。以下でさらに詳細に説明するように、コンピューティングデバイス１１０は、車両の位置を決定するための測位システム１７０、およびその位置に安全に到達するのに必要となったときに物体を検出して物体に対応するための知覚システム１７２を使用し得る。

［0034］ 図２は、車道の一部の地図情報２００の一例である。地図情報２００は、交差点２０２の近くの様々な道路特徴の形状、位置、および他の特性を識別する情報を含む。この例では、地図情報２００の情報は、車線２１０～２１９および路肩領域２２０、２２２の形状および位置を画定する。この実施例では、地図情報２００は、車線２１０～２１２を画定する車線境界線２３０～２３４および路肩領域２２０を識別する情報を含む。車線２１１、２１２、２１５、２１６は、（東方向に）同じ方向の交通流を有するが、車線２１０、２１７は、（西方向に）異なる交通流を有する。車線２１９、２１３は、南方向の交通流を有し、車線２１４、２１８は、北方向の交通流を有する。さらに、車両が車線２１１、２１２内を走行している場合、実線（白色バー）２４０は、交差点２０２の境界および／または車線２１１または車線２１２から交差点を通過することができる優先権を現在有していない車両が進む前に停止しなければならない位置を画定するために使用され得る。この情報の全ては、交差点２０２の近くの領域の地図情報２００に含まれ得る。

［0035］ 地図情報は、グリッドまたは道路グラフ内で互いに接続する個々の道路区分として車線または車線の一部を識別し得る。この点に関して、車線２１１～２１９の各々の単純な性質を考えると、この例では、図２に図示されているようなこれらの「車線」の各々は道路区分と見なされ得る。当然のことながら、地図情報の道路区分は、実際には、例えば、数メートルまたはおよそ数メートルのオーダーで、はるかに小さくすることができる。

［0036］ 地図情報２００の例は、例えば、車線境界線、路肩領域、交差点、および車線ならびに方位の少しの道路特徴を含むが、地図情報２００はさらに、信号機、横断歩道、歩道、一時停止の標識、譲れの標識、速度制限標識、道路標識などのような様々な他の道路特徴を識別し得る。図示されていないが、地図情報は、速度制限および他の法的交通要件を識別する情報、例えば、一時停止の標識の位置または信号機の状態などを考えてどの車両が優先権を有するかの情報を含み得る。

［0037］ 詳細な地図情報は、ここでは、画像ベースの地図として描かれているが、地図情報は、完全に画像ベースである必要はない（例えば、ラスター）。例えば、詳細な地図情報は、１つまたは複数の道路グラフまたは情報の（例えば、道路、車線、交差点、およびこれらの特徴間の接続）のグラフネットワークを含み得る。各々の特徴は、グラフデータとして記憶され、地理的位置および各々の特徴が他の関連特徴に関係しているかどうかのような情報に関連付けられ得、例えば、一時停止の標識は、道路および交差点などに関係し得る。いくつかの実施例では、関連データは、特定の道路グラフの特徴の効率的な参照を可能にするために、道路グラフのグリッドベースの指標を含み得る。

［0038］ 図３Ａ～図３Ｄは、車両１００の外観図の例である。図示されているように、車両１００は、ヘッドライト３０２、フロントガラス３０３、テールランプ／方向指示器３０４、リヤウィンドウ３０５、ドア３０６、サイドミラー３０８、タイヤ・ホイール３１０、方向指示器／駐車灯３１２のような典型的な車両の多くの特徴を含む。ヘッドライト３０２、テールランプ／方向指示器３０４、および方向指示器／駐車灯３１２は、シグナリングシステム１６６に関連付けられ得る。さらに、ライトバー３０７もシグナリングシステム１６６に関連付けられ得る。ハウジング３１４は、知覚システム１７２のＬＩＤＡＲセンサ、ソナー装置、レーダユニット、カメラなどの１つまたは複数のセンサを収容することができるが、このようなセンサは、車両の他の領域にも組み込まれ得る。

［0039］ 図３Ａ～図３Ｄはさらに、車両上の異なる位置に配置されたマイクロホン１５２（または１５２ａ～１５２ｄ）を含む。これらのマイクロホンは、マイクロホンが（ソナー装置で使用されるような）エミッタを含む必要がないという点で、「パッシブ型マイクロホン」と見なされ得る。使用する際に、マイクロホンの実際の間隔は、空間エイリアシングまたは曖昧さを回避するために、領域のサイレン雑音（例えば、異なる州および国が異なるサイレン雑音を使用する場合がある）の予想される波長に合理的に近い間隔にすべきである。この点に関して、このような波長では、マイクロホンは、マイクロホンの各々に到達する音波の相対位相からの方向、もっと正確に言えば、到達時間差を計算することができるように、例えば、互いに１／２波長のオーダーで離間して配置され得る。例えば、カリフォルニア州における緊急車両では、６ｃｍの距離が適切であり得る。この比較的狭い間隔は、車両１００の前端に配置されたマイクロホン１５２ａのような１組のマイクロホンまたはマイクロホンアレイ内で実現され得る。この点に関して、上述したように、マイクロホン１５２（１５２ａ～１５２ｄを含む）は、実際には、マイクロホンまたはマイクロホンアレイの組を含み得る。しかしながら、マイクロホンは指向性であるので、言い換えれば、車両の前端上のアレイは、車両の背後の音を聞く音を十分に拾わないので、２組以上のマイクロホンまたはアレイが使用され得る。この点に関して、第２の組のマイクロホン１５２ｂは、車両１００の後方に配置され得る。また、車両の側方（左側および右側）から離れる方向に向けられたマイクロホン１５２ｃ、１５２ｄのような追加のマイクロホンアレイがさらに使用され得る。

［0040］ 図示されていないが、追加的にまたは代替的に、ハウジング３１４（ここでは、ドームで描かれている）の周囲のような車両のルーフパネルの周囲にマイクロホンアレイが配置されてもよい。これは、両方の目的（車両に対して異なる方向に向けられた近接したマイクロホンのアレイ）を同時に達成することができるが、マイクロホンアレイは、ドーム内のセンサの遮蔽を制限するために配置される必要がある。

［0041］ 命令１３２は、サイレン雑音の特性を推定するための複数のモデルを含み得る。第１のモデルは、マイクロホンで受信された音からサイレン雑音を検出するように構成され得る。例えば、マイクロホンの出力は、マイクロホンの出力がサイレン雑音を含むかどうかを識別するために、第１のモデルに入力され得る。この点に関して、第１のモデルは、異なるタイプの雑音のサイレン雑音を含むマイクロホンの出力の尤度を提供するモデルを含み得る。

［0042］ 命令１３２はさらに、サイレン雑音の方位を推定するために使用され得る第２のモデルを含み得る。例えば、サイレン雑音がマイクロホンの各々に到達するタイミングを測定して、サイレンの発生源の予想される方位または相対方向に関する測定値、もっと正確に言えば、予測される方位に関する確率分布を提供し得る。

［0043］ 命令１３２はさらに、第３のモデルを含み得る。この第３のモデルは、第１のモデルによってサイレン雑音を含むように予め決定されたマイクロホン出力、さらにサイレン雑音のタイミングおよび振幅を入力として使用し得る。振幅に関して、周波数は異なる割合で低下するので、サイレンの高周波高調波の存在および強度は、範囲の何らかの指標ともなり得る。いくつかの実施例では、モデルはさらに、推定された方位および推定された範囲を入力として使用し得る。この点に関して、第３のモデルは、サイレンの発生源の予測される範囲（距離）に関する確率分布を提供するために、前述の入力の全てまたは一部を使用するモデルを含み得る。

［0044］ 命令１３２はさらに、第４のモデルを含み得る。この第４のモデルは、サイレン雑音の発生源の予測される相対速度に関する確率分布を推定するために、経時的に収集されたサイレン雑音およびタイミングを使用し得る。例えば、経時的な方位の変化を使用することで、相対速度を推定することができる。追加的にまたは代替的に、第４のモデルは、サイレン音のスニペットから相対速度に関する尤度を予測するように訓練されたニューラルネットを含み得る。このスニペットは、例えば、０．５秒、１．０秒、２．０秒、３．０秒、４．０秒またはおおよそこれらの秒数であり得る。ニューラルネットは、振幅の変化および高調波の変化から、場合によっては、サイレン周波数のドップラーシフトから相対速度を抽出することができる。

［0045］ 上述したモデルの１つまたは複数は、学習モデル、例えば、分類器のような機械学習を利用するモデルを含み得る。例えば、サイレン雑音を検出するために、方位を推定するために、範囲を推定するために、そして相対速度を推定するために、１つまたは複数の分類器が使用され得る。他の実施例では、全てまたはいくつかの分類器を使用するのではなく、モデルは、相対速度を推定するために上述したような１つまたは複数のニューラルネット、またはカルマンフィルタのようなトラッカもしくは推定方位および推定範囲、および／または対応する確率分布を経時的に取り込んで、推定相対速度のような他の状態の推定を出力するトラッカを含み得る。さらに他の実施例では、推定方位は、一般化された相互相関位相変換のような種々のアルゴリズムを使用して決定され得る。別の実施例では、知識を使用すれば一定距離におけるサイレン音量の範囲およびその圧力は１／範囲のように減少するので、推定範囲は、マイクロホンによって感知される圧力の振幅から分析的に計算され得る。

［0046］ さらに、本明細書に記載されている実施例は、４つの別個のモデルを利用しているが、これらのモデルは、サイレン雑音を検出し、方位を推定し、範囲を推定し、相対速度を推定するための単一の分類器として、または複数のモデルとして実装され得る。例えば、第１のモデルは、サイレンを検出し得、第２のモデルは、方位を推定し、範囲を推定し、相対速度を推定するために使用され得る。別の例では、第１のモデルは、サイレンを検出し得、第２のモデルは、方位を推定し、範囲を推定するために使用され得、第３のモデルは、相対速度を推定するために使用され得る。

［0047］ モデルのいくつかを設定する必要がある場合、グラウンドトゥルースデータの何らかの測定値が対数の大きな集合から抽出され得る。これは、例えば、実際のサイレン雑音およびサイレン無しの状態の手動でラベル付けされたインスタンス、および車両がサイレンを発している状態の手動でラベル付けされたまたは検証された例を含み得る。 このラベリングの少なくともいくつかの態様は、例えば、カメラ画像またはレーザ点群から特定のタイプの物体を識別するためにテンプレートまたは画像マッチングを利用するシステムによる、視覚的検出を使用して自動化され得る。例えば、時間Ｔにおいてサイレンが存在するラベルが存在し、それと同時に視覚的検出が点滅灯を有する緊急車両であるとして１台の車両のみを識別する場合、車両がサイレンの発生源であると仮定すると、経時的なサイレンの相対および／または絶対位置、速度などをラベル付けするために、経時的な車両の詳細、位置、速度などが使用され得る。
方法例

［0048］ 図面に示されている上述の動作に加えて、様々な動作について説明する。以下の動作は以下で説明する正確な順序で実行される必要はないことを理解されたい。むしろ、様々なステップが、異なる順序で、もしくは同時に処理され得、さらにステップが追加され得る、または省略され得る。

［0049］ 上述したように、コンピューティングデバイス１１０は、その環境の中を通る車両１００の移動を制御し得る。図４は、地図情報２００の領域に対応する車道４００の一部において操縦している車両１００の一例である。この点に関して、交差点４０２は交差点２０２に対応し、車線４１０～４１９は車線２１０～２１９に対応し、路肩領域４２０、４２２は路肩領域２２０、２２２に対応し、車線境界線４３０～４３４は車線境界線２３０～２３４に対応し、実線４４０は実線２４０に対応する。したがって、この実施例では、車両１００は、車線４１５に向かって進むか、あるいは車線４１３へ右折するように車両１００を交差点４０４へと導く軌道で、車線４１２から交差点４０２に接近している。

［0050］ この実施例では、車両の知覚システム１７２は、コンピューティングデバイス１１０に、車両の環境に関する情報を提供し得る。これは、地図情報２００内の対応する特徴を有する車線境界線４３０～４３４および実線４４０のような物体の位置、および車両４５１～４５４のような物体を含み得る。これらの異なる物体の特性、例えば、それらの形状、位置、進行方向、速度などは、知覚システム１７２によってコンピューティングデバイス１１０に提供され得る。

［0051］ 車両があちこち移動するときに、マイクロホン１５２の出力は、潜在的な緊急車両サイレンを検出するために第１のモデルに取り込まれ得る。これは、コンピューティングデバイス１１０または知覚システム１７２の１つまたは複数のコンピューティングデバイスによって行われ得る。サイレン雑音が第１のモデルによって検出されると、サイレン雑音の発生源の追加の特性を決定するために、さらなる処理が実行され得る。

［0052］ 例えば、サイレン雑音がマイクロホン１５２の各々に到達するタイミングを測定し、第２のモデルに入力して、サイレンの発生源の予想される方位または相対方向に関する測定値、もっと正確に言えば、予測される方位に関する確率分布を提供し得る。例えば、マイクロホン１５２は、サイレン雑音の発生源の推定方位、またはサイレンが車両に対してどの方向から鳴っているかを提供するために、時間同期され得る。これは、サイレン雑音が車両の周囲の複数の異なる方向（すなわち、車両の周囲０°～３６０°）から発せられる確率を含み得る。最も高い確率を有する方向または方向の範囲、例えば、５°またはおおよそ５°の範囲が、サイレン雑音の発生源の推定方位であると見なされ得る。追加的にまたは代替的に、サイレン雑音の相対振幅は、サイレン雑音の発生源の方位の指標として使用され得る。例えば、車両の前方のサイレンは、車両の前方に配置されたマイクロホン１５２ａの方が車両の後方に配置されたマイクロホン１５２ｂよりも大きな音で鳴る。

［0053］ 図５は、上述したようにタイミングを使用して決定されたサイレン雑音の方位データの例示的な表現５００を示す。車両の周囲の３６０°の半径内の異なる方位について、方位データは、確率値または尤度値を含み得る。この実施例では、方位は、方位範囲５１０、５２０、５３０、５４０で表される９０°の範囲で示されている。これらの方位範囲の各々は、車両の周囲の異なる相対方向、すなわち、前方（方位範囲５１０）、左側（方位範囲５４０）、後方（方位範囲５３０）、および右側（方位範囲５２０）を示している。当然、１８０°、４５°、３０°、１５°、１０°、１°、０．５°などのように、９０°より大きい、または９０°より小さい範囲が使用されてもよい。尤度値は、０～１の数値の範囲であり得、０はサイレン雑音の発生源の方位を表す可能性が低く、１はサイレン雑音の発生源の方位を表す可能性が高い。この実施例では、方位範囲５１０は０．１０の尤度値を有し、方位範囲５２０は０．１の尤度値を有し、方位範囲５３０は０．７の尤度値を有し、方位範囲５４０は０．１の尤度値を有する。したがって、この実施例では、最も高い尤度値を有する方位範囲５３０が、サイレン雑音の発生源の推定方位として選択され得る、または識別され得る。この点に関して、サイレン雑音の発生源は、少なくとも例示的な表現５００においては、車両１００の背後に位置する可能性が高い。

［0054］ さらに、サイレンの発生源の可能な範囲（または車両からの距離）に関する確率分布を提供するために、サイレン雑音およびタイミングが第３のモデルに入力され得る。この場合も同様に、これは、コンピューティングデバイス１１０または知覚システム１７２の１つまたは複数のコンピューティングデバイスによって行われ得る。例えば、複数の異なる範囲の車両に対するサイレン雑音の発生源の範囲を推定するために、０．１秒、１．０秒、２．０秒、３．０秒、４．０秒またはおおよそこれらの秒数のようなマイクロホンからの出力の数秒のタイミングが使用され得る。経時的にこの情報をフィルタリングすることにより、推定範囲を改善することができる。複数の異なる範囲にわたる、０．２５マイルまたはおおよそ０．２５マイルの範囲または距離範囲が、サイレン雑音の発生源の推定範囲として識別され得る。

［0055］ 図６は、上述したように第２のモデルを使用して決定されたサイレン雑音の範囲（距離）データの例示的な表現６００を示す。車両からの様々な範囲、または実際の距離範囲に関して、範囲データは、尤度値を含み得る。この例では、距離は、０～０．２５マイル、０．２５～０．５０マイル、０．５０～０．７５マイル、０．７５～１．００マイル、１．００マイル以上の範囲で表された０．２５マイルの間隔で示されている。上述したように、これらの範囲のサイズは、それよりも大きいまたは小さいサイズ（０．０１マイルまたは０．５マイル）、他の尺度（例えば、メートル）で定義されたサイズなどの場合がある。さらに、図６の実施例における範囲は、マイクロホンの感度および第３のモデルによって実現可能な精度に応じて、１マイル以上にまで広がり、距離範囲の「上端」は、例えば、０．２～０．２５マイルのように幾分小さくすることができる。さらに他の実施例では、この範囲は、１マイルを十分に超えて、例えば、車両から２マイル、５マイル、１０マイル、またはそれ以上にまで広がる場合がある。

［0056］ 図６では、車両の前方からの距離として示されているが、距離は、例えば、推定方位の方向（または方向範囲）を含む任意の方向であり得る。この場合も、尤度値は、０～１の数値の範囲であり、０はサイレン雑音の発生源の距離を表す可能性が低く、１はサイレン雑音の発生源の距離を表す可能性が高い。この実施例では、範囲０～０．２５マイルは０．５の尤度値を有し、範囲０．２５～０．５０マイルは０．２の尤度値を有し、範囲０．５０～０．７５マイルは０．１の尤度値を有し、範囲０．７５～１．００マイルは０．１の尤度値を有し、範囲１．００マイル以上は０．１の尤度値を有する。したがって、この実施例では、最も高い尤度値を有する範囲０～０．２５マイルが、サイレン雑音の発生源の推定範囲として選択され得る、または識別され得る。この点に関して、サイレン雑音の発生源は、少なくとも例示的な表現６００においては、車両１００の０．２５マイルの範囲に位置する可能性が高い。

［0057］ 他の実施例では、距離範囲に対する尤度値を提供するのではなく、第３のモデルは、閾値尤度値または信頼値を満たす距離範囲として推定範囲を出力し得る。例えば、第３のモデルは、サイレン雑音の発生源が当該距離範囲内に存在する尤度が少なくとも０．９５（または９５％）またはおおよそ０．９５（または９５％）である距離範囲を提供し得る。例えば、車両の非常に近くのサイレン雑音の発生源については、距離範囲は、車両から０～５０メートル、またはおおよそ０～５０メートルのオーダーであり得る。車両からかなり離れているサイレン雑音の発生源については、距離範囲は、例えば、車両から１００～４００メートルまたはおおよそ１００～４００メートルであり得る。マイクロホン１５２に衝突するサイレン雑音の音波からの圧力は、およそマイクロホン１５２からサイレン雑音の発生源までの距離の逆数（または１／範囲）の割合で低下するので、閾値尤度値（または信頼値）を満たす距離範囲は、サイレン雑音の発生源が車両に近いほど小さく、サイレン雑音の発生源が車両から遠いほど大きくなる可能性が高い。

［0058］ これらの範囲の推定は、かなり不正確であり得、例えば、１．５Ｘ～２Ｘのオーダーで（ここでは、Ｘは推定範囲または距離を表す）、比較的大きな誤差があり得る。しかしながら、これらの大きな誤差があっても、推定範囲は、サイレン雑音の発生源が離れすぎて（１／４マイルまたはそれ以上のオーダーで）反応することができないのかどうかをコンピューティングデバイスが判断するのを支援し得る。同時に、第２のモデルはさらに、範囲割合の推定、またはサイレン雑音が大きくなる、または小さくなる速度を提供し得る。これは、緊急車両にどのように対応すべきかを決定するために使用され得る、サイレン雑音の発生源が接近しているか遠くなっているか（向かっているまたは離れていくとの推定）を決定する際に、コンピューティングデバイス１１０を支援し得る。図６の実施例では、向かっているまたは離れていくとの推定は、緊急車両が車両１００に向かって移動している状態を示し得る。

［0059］ 第４のモデルはさらに、経時的に収集されたサイレン雑音およびタイミングを用いてサイレン雑音の発生源の予測される相対速度に関する確率分布を推定するために使用され得る。いくつかの実施例では、例えば、地図の制約（速度制限など）に基づいて、推定を精緻化するために、初期の推定値が地図情報と比較され得る。この場合も同様に、コンピューティングデバイス１１０または知覚システム１７２の１つまたは複数のコンピューティングデバイスによって行われ得る。経時的にこの情報をフィルタリングすることにより、推定されるサイレン雑音の相対および／または絶対速度を提供することができる。

［0060］ 図７は、上述したように第３のモデルを使用して決定されたサイレン雑音の相対速度データの例示的な表現７００を示す。車両に対する様々な速度、または実際の速度範囲に関して、相対速度データは、尤度値を含み得る。この実施例では、速度は、－２０ｍｐｈ未満、－２０～－１０ｍｐｈ、－１０～０ｍｐｈ、０～１０ｍｐｈ、１０～２０ｍｐｈ、および２０ｍｐｈ超の範囲で表された、車両に対する１０マイル／時の間隔で示されている。当然、追加の範囲（２０～３０、－２０～－３０、６など）、さらに大きい（２０ｍｐｈ）または小さい（１ｍｐｈ）間隔も使用され得る。さらに、図７の実施例に示されているように、範囲はさらに、サイレン雑音の発生源が車両から離れていることを示す負の値と、サイレン雑音の発生源が車両に向かって移動していることを示す正の値とを含み得る。

［0061］ この場合も、尤度値は、０～１の数値の範囲であり、０はサイレン雑音の発生源の速度を表す可能性が低く、１はサイレン雑音の発生源の速度を表す可能性が高い。この実施例では、範囲－２０以下は０．１の尤度値を有し、範囲－２０～－１０ｍｐｈは０．１の尤度値を有し、範囲０～１０ｍｐｈは０．５の尤度値を有し、範囲１０～２０ｍｐｈは０．１の尤度値を有し、２０ｍｐｈ超の範囲は０．１の尤度値を有する。したがって、この実施例では、最も高い尤度値を有する相対速度が、サイレン雑音の発生源の推定相対速度として選択され得る、または識別され得る。この点に関して、サイレン雑音の発生源は、少なくとも例示的な表現７００においては、車両１００に対して０～１０ｍｐｈの速度で、または車両１００と同じ速度に非常に近い速度で車両１００に向かって（離れるまたは負の方向に対向するように）走行している可能性が高い。

［0062］ いくつかの実施例では、第１のモデルは、マイクロホンで受信された音のどの部分がサイレン雑音に相当するかを正確に識別するために使用され得る。言い換えると、第１のモデルは、どの小さい周波数範囲対時間がサイレン雑音に対応するかを識別するために使用され得る。これは、サイレン雑音とは無関係な第２のモデル、第３のモデル、および第４のモデルに取り込まれる情報の量（すなわち、風雑音または近くの車両からの雑音のような音からの干渉）を低減することができる。

［0063］ モデルからの情報および推定特性のいずれかは、１つまたは複数のコンピューティングデバイス１１０に提供され得る。これらのコンピューティングデバイスは、方位データ、範囲データ、相対速度データ、推定方位、推定範囲、向かっているまたは離れていくとの推定、および推定相対速度を使用して、車両が緊急車両にどのように反応すべきかを決定し得る。図５～図７の実施例を組み合わせて、コンピューティングデバイスは、サイレン雑音の発生源が車両１００の後方に向かって（方位範囲５３０内に）位置し、車両１００から０～０．２５マイル離れた範囲に位置し、車両１００に対して０～１０ｍｐｈの速度で車両１００に「向かって」走行している（接近している）ことを判断し得る。しかしながら、対応の有効性を高めるために、モデルによって提供される情報が車両の環境内で検出された物体と比較されて、これらの物体のいずれかがサイレン雑音の発生源であるかどうかが決定され得る。

［0064］ 例えば、上述したように、知覚システムは、知覚システムのセンサの範囲内の物体を検出し、識別することができる。経時的に、知覚システムはさらに、これらの物体の特性、例えば、物体のどれが車両であるか、さらに各々の物体の進行方向、位置、および相対速度を決定し得る。この情報は、検出された車両がサイレン雑音の発生源であり得るかどうかを識別するために、サイレン雑音の発生源の推定方位、推定範囲、および推定相対速度と比較され得る。これは、サイレン雑音の発生源である尤度を生成するために、識別されたどの車両に対しても反復して行われ得る。同時に、コンピューティングデバイスは、識別されたどの車両もサイレンを鳴らしていないという尤度を生成し得る。これは、緊急車両が範囲外にあるか、そうでなければ遮蔽されている場合の重要な値であり得る。

［0065］ 図４の実施例に戻ると、コンピューティングデバイス１１０は、サイレン雑音の発生源の推定特性を知覚システム１７２によって検出され決定された車両として識別された物体と比較することで、検出された車両の各々がサイレン雑音の発生源である尤度を推定し得る。例えば、コンピューティングデバイス１１０は、識別車両４５０～４５４の全てに対して順に処理をして、サイレン雑音の発生源が車両１００の後方に向かって（方位範囲５３０内に）位置し、車両１００から０～０．２５マイル離れた範囲に位置し、車両１００に対して０～１０ｍｐｈの速度で走行しているとの推定に基づいて、尤度値を決定し得る。サイレン雑音の発生源は車両１００の後方に向かって位置するので、車両１００の前方の他の車両または車両４５２～４５４の尤度値は、比較的小さく、例えば、０．１またはおおよそ０．１である。同時に、車両１００の後方に向かう車両または車両４５０、４５１の尤度値は、推定方位を考慮すると、比較的大きく、例えば、０．５またはおおよそ０．５である。車両４５０、４５１の尤度値はさらに、推定範囲および推定相対速度に応じて異なり得る。例えば、車両４５０は車両１００の１０ｍｐｈの速度の範囲内の速度で移動しているが、車両４５１はそれよりずっと速い相対速度、例えば、車両１００の速度より速い２０ｍｐｈの速度で走行している場合があるので、車両４５０の尤度値は車両４５１の尤度値より高い場合がある。

［0066］ 上記の実施例は、推定方位、推定範囲、または推定相対速度に選択されたデータに依存しているが、車両の環境内の物体の尤度値は、代替例では、推定方位、推定範囲、または推定相対速度に選択されたデータではなく、方位データ、範囲データ、および相対速度データの全てによって決定され得る。

［0067］ いくつかの実施例では、サイレン雑音は、サイレン雑音の発生源が実際に車両の検出システムによって検出される前に、（例えば、上述したような第１のモデルを使用して）検出され得る。そのような場合、知覚システムによって検出された物体がサイレン雑音の発生源として識別されると、例えば、地図情報および以前に遮蔽された可能性がある知覚システムの範囲内の領域に関する情報を使用して、緊急車両がどこから来ているかを仮定するために、以前のモデル出力（推定方位、推定範囲、推定相対速度など）が使用され得る。これは、どの物体または車両がサイレン雑音の発生源であるか（または発生源でないか）の推定を改善するために使用され得る。

［0068］ 特定の車両がサイレン雑音の発生源として識別されると、車両は緊急車両として識別され得る。この時点で、緊急車両にどのように最適に対応すべきかを決定するときに、この緊急車両の観察された移動も考慮され得、そのことにより、対応の有効性がさらに向上する。再び、上述の実施例に戻ると、尤度値を前提として、コンピューティングデバイス１１０は、サイレン雑音の発生源として車両４５０を識別し得る。この点に関して、コンピューティングデバイス１１０は、緊急車両４５０の移動を観察し、この情報を使用して、どのように最適に対応すべきかを決定し得る。当然、いくつかの実施例では、知覚システム１７２により検出される他の車両は存在しない場合がある、または、他の全ての車両は、非常に小さい、もしくは緊急車両として識別される最小尤度値閾値を満たさない尤度値を有する場合がある。このような場合、コンピューティングデバイス１１０は、緊急車両のサイレン雑音の発生源が、単純に知覚システム１７２の範囲内にない、または別の形で遮蔽されている、例えば、別の車両、構造物などの物体の背後に位置していると判断し得る。

［0069］ 図４の実施例では、車両１００は、単に路肩領域４２０に入って、停止または減速し得る。あるいは、車両１００が速く走行しすぎて路肩領域４２０に安全に入ることができない場合、または車両が交差点４０４で右折しようとしている場合、車両は、緊急車両４５０の移動を妨げない場合には（例えば、路肩領域が非常に狭い、占有されている、またはすぐに終わるので、車両が路肩領域に寄せるよりも速く、安全に右折することができる場合）、続けて車線４１３へと右折することができる。別の代替例では、路肩領域４２０が既に占有されている場合、車両１００が車線４１２から車線４１１へと変更して、緊急車両４５０が車両１００を通り越して交差点４０４へと進むことができるようにする方が安全であり得る。

［0070］ 推定特性を知覚システムからの情報と比較することに加えて、これらの特性は、車両の環境内の車道特徴を記述する地図情報と比較され得る。これを使用して、繰り返すが、サイレン雑音の発生源が範囲外にある、または別の形で遮蔽されている場合でも、緊急車両が走行している予想される車道、道路区分、または場合によっては、特定の車線を識別することができる。例えば、車両のコンピューティングデバイスは、同じ道路上の車両の前方の１つまたは複数の道路区分、同じ道路上の車両の背後の１つまたは複数の道路区分、交差道路上の１つまたは複数の道路区分、および車両の現在の軌道と交差しない（または少なくともすぐ近くで交差しない）道路上の１つまたは複数のイベント道路区分を識別することができる場合がある。道路区分を識別することは、例えば、１つの最も可能性の高い道路区分を識別するだけではなく、複数の車道または道路区分に関する確率をモデル化することを含み得る。

［0071］ 例えば、コンピューティングデバイス１１０は、推定方位、推定範囲、および推定相対速度を図２の実施例と比較して、緊急車両のサイレン雑音の発生源が車線２１０、２１１、２１２に対応する道路区分上に位置する可能性が最も高いと判断し得る。

［0072］ したがって、地図情報を使用することにより、車両がどのように対応すべきかについてより最適な推定を行うことができる。当然、そのような地図情報が利用できない場合には、緊急車両が車両の前方にあるか背後にあるか、左側にあるか右側にあるか、または車両に接近しているか車両から遠ざかっているかについての手掛かりを使用することも有益であり得る。

［0073］ いくつかの例では、緊急車両に最も関連する位置で音を拾うようにマイクロホンの焦点を合わせるために、ビーム成形が使用され得る。これは、サイレンが識別される前または後に行われ得る。例えば、緊急車両に最も関連する位置で音を拾うように焦点を合わせるためにマイクロホンをビーム成形するのに、さらに地図情報および知覚システムからの情報が使用され得る。これは、例えば、車道または近くの潜在的な点滅灯検出（知覚システムによって、または知覚システムからの情報を使用して識別される）を含み得る。同時に、ビーム成形は、木の葉の擦れる音、風雑音、車両自体の振動、近くの建設などのような他の位置からの干渉音を無視するために使用され得る。一実施例として、マイクロホンの各アレイに対して、１つのビームは真っ直ぐに成形され、１つのビームは６０°左にずれて成形され、１つのビームは６０°右にずれて成形され得る。第１のモデルは、各々の成形されたビームから生成された音で使用され得る。ビーム成形は、信号対雑音比をかなり大幅に増加させることができ、これは、例えば、マイクロホンの検出範囲を増加させるはずである。さらに、モデルがサイレンを含む最も高い尤度を与えるビームが、近似方位の指標として使用され得る。

［0074］ さらに、第２のモデルの出力は、発せられるサイレン雑音の確率のピークが存在する各方向に焦点を合わせるためにマイクロホンをビーム成形するのに使用され得る。そうすることにより、増加した信号対雑音比は、サイレン雑音の方位をより正確に推定することができる。このことは、ひいては、範囲および速度のより正確な推定につながり得る。

［0075］ 上述したように、この追加の処理は、様々な状況において有益であり得る。緊急車両に対する車両の位置（およびその逆）は、どのタイプの対応が適切であるかを決定する際に重要な要因となり得る。そのため、緊急車両が車両の背後に存在する場合には、片側に寄るのが最適であり得る。緊急車両が接近している、または車両の前方にあって車両に向かってくる状態では、車両が片側に寄るべきか否かは、例えば、中央分離帯があるかどうかのような物理的な環境に応じて決まる。同様に、車両が交差点に接近するときにサイレン雑音の発生源が車両の側方（左側または右側）から来ている場合、最適な対応は、車両がそれ以外では自由に交差点を通過できる場合でも、例えば、信号が青である場合、または交差する交通が一時停止または譲れの標識の対象である場合であっても、交差点の前で大幅に減速する、さらには停止することであり得る。同時に、音が隣接する車道、または例えば平行な車道から鳴っている場合、車両の挙動を変更することによる対応は、実際には適切でない場合がある。

［0076］ この場合も、コンピューティングデバイス１１０は、サイレン雑音の発生源の推定特性を有することにより、車両１００の反応挙動をより適切に制御し得る。例えば、図４に戻ると、車両４５０が緊急車両として識別された場合、コンピューティングデバイス１１０は、上述の実施例で説明したように、路肩領域４２０に直ちに寄せる、車線４１１へ変更する、または右折するように、車両１００を制御し得る。車両４５１が緊急車両として識別された場合、コンピューティングデバイス１１０は、同じまたはより遅い速度で現在の軌道上を継続して進むように、または路肩領域４２０に寄せるように、車両１００を制御し得る。車両４５２が緊急車両として識別された場合、コンピューティングデバイス１１０は、車両１００がそれ以外では交差点を通る優先権を有している場合でも、実線４４０でおよび／または交差点４０４の前で停止するように、車両１００を制御し得る。例として、車両１００は、車両４５２が一時停止の標識の対象であり、車両１００が対象でない場合、または車両１００が現在交差点４０４に対して青信号（進め）の対象であり、車両４５２が交差点４０４に対して赤線（止まれ）の対象である場合に優先権を有し得る。 車両４５３が緊急車両として識別された場合、コンピューティングデバイス１１０は、同じまたはより遅い速度で現在の軌道上を継続して進むように車両１００を制御し得る。この実施例では、車両１００は、車両４５３が車両１００の軌道を既に越えてしまっているので、現在の軌道上を継続して進むべきである。車両４５４が緊急車両として識別された場合、コンピューティングデバイス１１０は、同じまたはより遅い速度で現在の軌道上を継続して進むように車両１００を制御し得る。この場合、車両４５４による急停止（緊急事態が予想されるため）の尤度が比較的高い場合があるので、車両４５４が車両１００から離れていく途中であっても、減速して注意しながら進むことは、車両１００の軌道が車両４５４に追従する場合の適切な対応であり得る。当然、車両１００の現在の状況に応じて、任意の数の追加の操縦が適切である場合がある。

［0077］ 車両４５０～４５４のいずれもサイレン雑音の発生源である可能性がない場合、または他の車両のいずれも最小尤度値閾値を満たさない場合、コンピューティングデバイス１１０は、緊急車両のサイレン雑音の発生源が、単純に知覚システム１７２の範囲内にないか、または別の形で遮蔽されている、例えば、別の車両、構造物などの物体の背後に位置すると判断し得る。この場合も同様に、推定特性を有することにより、サイレン雑音の発生源として特定の検出車両を識別しなくても、その場合でもどのように最適にサイレン雑音に対応すべきかを決定するために有益な情報をコンピューティングデバイスに提供することができる。例えば、緊急車両と車両との間に他の車両が存在する場合のように、緊急車両が遮蔽されている場合でも、コンピューティングデバイスは、サイレンを認識して、必要に応じて対応して片側に寄せることができる。

［0078］ 場合によっては、別の大きな音または干渉（例えば、列車、ジャックハンマー、または他の大きな音の車両）がある場合、サイレン雑音の方位を決定することは困難であり得る。干渉がサイレンと同じ方位でなく、同時にサイレンと同じ周波数の高エネルギーを有さない場合、サイレン雑音の検出に焦点を当てるために様々な技術が使用され得る。１つの技術は、上述のビーム成形の使用を含み得る。サイレン雑音および干渉が異なる方位である場合、サイレンに向けられたビームでは、サイレン雑音は、ビーム成形なしのデータと比較して、干渉源よりもはるかに大きくなる。追加的にまたは代替的に、方位情報は、周波数と時間の関数として計算され得る。この方位情報は、振幅情報とともに第２のモデルに取り込まれることにより、第２のモデルは同様の周波数成分を有するが、異なる方位を有する音を区別することができるようになる。繰り返すが、追加的にまたは代替的に、第１のモデルを用いて、大きな音の方位が識別され、分類され得る。大きな音がサイレンではない（むしろ、干渉である）場合、干渉の方位を除いて、音を通過させるビームが成形され、使用され得る。

［0079］ 図８は、緊急車両を検出して緊急車両に対応するために、コンピューティングデバイス１１０の１つまたは複数のプロセッサ１２０のような１つまたは複数のプロセッサによって実行され得るフロー図８００である。この実施例では、ブロック８１０において、車両１００のような車両上の異なる位置に配置されたマイクロホン１５２のような複数のマイクロホンが、緊急車両に相当するサイレン雑音を検出するために使用される。ブロック８２０において、複数のマイクロホンからの出力は、緊急車両の方位および緊急車両の範囲を推定するために使用される。ブロック８３０において、緊急車両が走行している可能性がある１つまたは複数の道路区分を識別するために、推定された方位および推定された範囲が道路区分に分割された車道の位置を識別する地図情報と比較される。ブロック８４０において、緊急車両にどのように対応すべきかを決定するために、推定された方位および潜在的な１つまたは複数の道路区分が使用される。ブロック８５０において、車両は、緊急車両にどのように対応すべきかの決定に基づいて自律運転モードで制御される。

［0080］ 上述したように、本明細書に記載されている動作は、異なる順序で実行されてもよい。例えば、時間と周波数の関数としてマイクロホン１５２で受信された音の推定方位および推定範囲は、モデル（または上述した他の方法）を使用して計算され得る。これらは、その後、サイレン雑音を実際に検出し、識別するモデルに取り込まれ得る。

［0081］ 特に明記しない限り、上述の代替の実施例は互いに排他的でなく、固有の利点を達成するために様々な組み合わせで実施され得る。上述した特徴の上記および他の変形形態および組み合わせは、請求項によって定義された対象から逸脱せずに利用され得、実施形態の上記説明は、請求項によって定義された対象を限定するものではなく、単なる例であると解釈すべきである。さらに、本明細書に記載されている実施例および「～のような」、「～を含む」などのような表現の節の提示は、請求項に係る対象を特定の実施例に限定するものであると解釈すべきでなく、むしろ、実施例は、多くの可能な実施形態のうちの単なる１つの実施形態を例示するものである。また、異なる図面内の同一の参照番号は、同一または同様の要素を特定し得る。

Claims (20)

1. 緊急車両を検出し、緊急車両に対応する方法であって、
   １つまたは複数のプロセッサによって、自律走行車両上の異なる位置に配置された複数のマイクロホンを、前記自律走行車両の知覚システムからの前記自律走行車両の環境内の物体群を識別する情報、及び地図情報に基づいて、ビーム成形することと、
   前記１つまたは複数のプロセッサによって、前記複数のマイクロホンを使用して緊急車両に相当するサイレン雑音を検出することと、
   前記１つまたは複数のプロセッサによって、前記複数のマイクロホンからの出力を使用して前記緊急車両の方位を推定することと、
   前記１つまたは複数のプロセッサによって、前記推定された方位を前記地図情報と比較して前記緊急車両が走行している車道の一部を識別することと、
   前記１つまたは複数のプロセッサによって、前記推定された方位および前記識別された一部に基づいて、前記緊急車両にどのように対応すべきかを決定することと、
   前記１つまたは複数のプロセッサによって、前記緊急車両にどのように対応すべきかの決定に基づいて前記自律走行車両を自律運転モードで制御することと
   を含む、方法。
2. 前記複数のマイクロホンからの出力を使用して前記緊急車両の範囲を推定することをさらに含み、前記緊急車両にどのように対応すべきかを決定することはさらに、前記推定された範囲に基づく、請求項１に記載の方法。
3. 経時的に前記複数のマイクロホンからの出力を使用して前記緊急車両の速度を推定することをさらに含み、前記緊急車両にどのように対応すべきかを決定することはさらに、前記推定された速度に基づく、請求項２に記載の方法。
4. 経時的に前記複数のマイクロホンからの出力を使用して前記緊急車両の速度を推定することをさらに含み、前記緊急車両にどのように対応すべきかを決定することはさらに、前記推定された速度に基づく、請求項１に記載の方法。
5. 前記自律走行車両を制御することは、第１の車線から第２の車線へ変更することを含む、請求項１に記載の方法。
6. 前記自律走行車両を制御することは、前記自律走行車両を路肩領域に寄せることを含む、請求項１に記載の方法。
7. 前記自律走行車両を制御することは、前記自律走行車両の現在の軌道上を継続して進むことを含む、請求項１に記載の方法。
8. 前記自律走行車両を制御することは、前記自律走行車両の速度を減速することをさらに含む、請求項１に記載の方法。
9. 緊急車両を検出し、緊急車両に対応する方法であって、
   １つまたは複数のプロセッサによって、自律走行車両上の異なる位置に配置された複数のマイクロホンを、前記自律走行車両の知覚システムからの前記自律走行車両の環境内の物体群を識別する情報、及び地図情報に基づいて、ビーム成形することと、
   前記１つまたは複数のプロセッサによって、前記複数のマイクロホンを使用して緊急車両に相当するサイレン雑音を検出することと、
   前記１つまたは複数のプロセッサによって、前記複数のマイクロホンからの出力を使用して前記緊急車両の方位を推定することと、
   前記知覚システムから、前記情報および前記物体群の特性を受信することと、
   前記１つまたは複数のプロセッサによって、前記物体群の前記特性に基づいて前記物体群のうちの１つが前記緊急車両に相当するかどうかを決定することと、
   前記１つまたは複数のプロセッサによって、前記推定された方位および前記物体群のうちの１つが前記緊急車両に相当するかどうかの決定に基づいて前記緊急車両にどのように対応すべきかを決定することと、
   前記１つまたは複数のプロセッサによって、前記緊急車両にどのように対応すべきかの決定に基づいて前記自律走行車両を自律運転モードで制御することと
   を含む、方法。
10. 前記特性は、推定された物体位置を含み、前記物体群のうちの１つが前記緊急車両に相当するかどうかを決定することはさらに、前記物体群の前記特性と前記推定された方位との比較に基づく、請求項９に記載の方法。
11. 経時的に前記複数のマイクロホンからの出力を使用して前記緊急車両の範囲を推定することをさらに含み、前記特性は推定された物体位置を含み、前記物体群のうちの１つが前記緊急車両に相当するかどうかを決定することはさらに、前記物体群の前記特性と前記推定された範囲との比較に基づく、請求項９に記載の方法。
12. 経時的に前記複数のマイクロホンからの出力を使用して前記緊急車両の速度を推定することをさらに含み、前記特性は推定された物体速度を含み、前記物体群のうちの１つが前記緊急車両に相当するかどうかを決定することはさらに、前記物体群の前記特性と前記推定された速度との比較に基づく、請求項９に記載の方法。
13. 前記１つまたは複数のプロセッサによって、前記推定された方位を前記地図情報と比較して前記緊急車両が走行している車道の一部を識別することをさらに含み、前記緊急車両にどのように対応すべきかを決定することはさらに、前記推定された方位および前記車道の一部に基づく、請求項９に記載の方法。
14. 前記物体群の各々の所与の物体の特性に基づいてその所与の物体が前記緊急車両である第１の尤度を識別することをさらに含み、前記物体群のうちの１つが前記緊急車両に相当するかどうかを決定することはさらに、第１の尤度に基づく、請求項９に記載の方法。
15. 前記物体群の各々の所与の物体の特性に基づいてその所与の物体が前記緊急車両ではない第２の尤度を識別することをさらに含み、前記物体群のうちの１つが前記緊急車両に相当するかどうかを決定することはさらに、第２の尤度に基づく、請求項９に記載の方法。
16. 前記自律走行車両を制御することは、前記自律走行車両がそれ以外では交差点を通過する優先権を有する場合に前記交差点で停止することを含む、請求項９に記載の方法。
17. 緊急車両を検出し、緊急車両に対応するためのシステムであって、
    自律走行車両上の異なる位置に配置された複数のマイクロホンを、前記自律走行車両の知覚システムからの前記自律走行車両の環境内の物体群を識別する情報、及び地図情報に基づいて、ビーム成形し、
    前記複数のマイクロホンを使用して緊急車両に相当するサイレン雑音を検出し、
    経時的に前記複数のマイクロホンからの出力を使用して前記緊急車両の方位を推定し、
    前記推定された方位を前記地図情報と比較して前記緊急車両が走行している車道の一部を識別し、
    前記自律走行車両の知覚システムから、前記情報および前記物体群の特性を受信し、
    前記物体群の前記特性に基づいて前記物体群のうちの１つが前記緊急車両に相当するかどうかを決定し、
    前記推定された方位および前記車道の一部および前記物体群のうちの１つが前記緊急車両に相当するかどうかの決定に基づいて前記緊急車両にどのように対応すべきかを決定し、
    前記緊急車両にどのように対応すべきかの決定に基づいて前記自律走行車両を自律運転モードで制御する
    ように構成された１つまたは複数のプロセッサを備える、システム。
18. 前記１つまたは複数のプロセッサはさらに、前記複数のマイクロホンからの出力を使用して前記緊急車両の範囲を推定するように構成され、前記緊急車両にどのように対応すべきかの決定はさらに、前記推定された範囲に基づく、請求項１７に記載のシステム。
19. 前記１つまたは複数のプロセッサはさらに、前記複数のマイクロホンからの出力を使用して前記緊急車両の速度を推定するように構成され、前記緊急車両にどのように対応すべきかの決定はさらに、前記推定された速度に基づく、請求項１８に記載のシステム。
20. 前記自律走行車両をさらに備える、請求項１７に記載のシステム。

Images