JP7311648B2 - 運転者及び乗客用の車載音響監視システム - Google Patents

Description

本開示の実施形態は概して自律走行車（ＡＤＶ）の操作に関する。より具体的には、本開示の実施形態はＡＤＶ用の感知システムに関する。

自律走行車の操作において、アクティブドライバーの有無に関係なく、運転者及び／又は乗客に対してリアルタイムの行動感知及び監視を行うことが非常に重要である。携帯電話の使用、食事、居眠り運転及び攻撃的な行動などの不適切な行動は、特に自律走行モードがオフ（又は部分的にオフ）になっている場合、運転の安全性を著しく損なう可能性がある。手ジェスチャなどの他の動作は車両の制御及び車両との相互作用に利用可能である。しかし、車載カメラ及び視覚解決策はプライバシーの問題を引き起こす恐れがある。特に自律走行車（ＡＤＶ）では、車両の運転者又は乗客を監視するための効果的な方法が欠けている状態である。

本出願の一つの態様は、車両を操作するためのコンピュータ実装方法を提供し、当該方法は、前記車両内に配置された１つ又は複数のスピーカを使用して、非可聴音声信号である音声信号を生成するステップと、前記車両内に配置された１つ又は複数のマイクロフォンによって、前記車両の運転者又は乗客から反射された音声信号を受信するステップと、前記１つ又は複数のマイクロフォンによって受信された、反射された音声信号に基づいて、行動誘導音響パターンを検出するステップと、前記行動誘導音響パターンを分析して前記車両の運転者又は乗客の行動を決定するステップと、１つ又は複数の規則のセットに基づいて、前記車両の運転者又は乗客の行動によって警報を生成するステップと、を含む。

本出願のもう一つの態様は、命令が格納されている非一時的な機械可読媒体を提供し、前記命令がプロセッサによって実行されると、前記プロセッサに操作を実行させ、前記操作は、車両内に配置された１つ又は複数のスピーカを使用して、非可聴音声信号である音声信号を生成することと、前記車両内に配置された１つ又は複数のマイクロフォンによって、前記車両の運転者又は乗客から反射された音声信号を受信することと、前記１つ又は複数のマイクロフォンによって受信された、反射された音声信号に基づいて、行動誘導音響パターンを検出することと、前記行動誘導音響パターンを分析して前記車両の運転者又は乗客の行動を決定することと、１つ又は複数の規則のセットに基づいて、前記車両の運転者又は乗客の行動によって警報を生成することと、を含む。

本出願のもう一つの態様は、プロセッサと、命令を格納するために前記プロセッサに接続され、前記プロセッサによって前記命令が実行されると、前記プロセッサに操作を実行させるメモリと、を備えるデータ処理システムを提供し、前記操作は、車両内に配置された１つ又は複数のスピーカを使用して、非可聴音声信号である音声信号を生成することと、前記車両内に配置された１つ又は複数のマイクロフォンによって、前記車両の運転者又は乗客から反射された音声信号を受信することと、前記１つ又は複数のマイクロフォンによって受信された、反射された音声信号に基づいて、行動誘導音響パターンを検出することと、前記行動誘導音響パターンを分析して前記車両の運転者又は乗客の行動を決定することと、１つ又は複数の規則のセットに基づいて、前記車両の運転者又は乗客の行動によって警報を生成することと、を含む

本開示の実施形態は添付された各図において制限ではなく例示の形態で提示され、図面における同じ符号は類似の構成要素を示す。
一実施形態によるネットワーク化システムを示すブロック図である。 一実施形態による自律走行車の一例を示すブロック図である。 ～ 一実施形態による自律走行車とともに使用される自律走行システムの一例を示すブロック図である。 一実施形態による監視システムの一例を示すブロック図である。 一実施形態による、１つ又は複数のスピーカを有するＡＤＶの上面図を示すブロック図である。 一実施形態による、１つ又は複数のスピーカを有するＡＤＶの側面図を示すブロック図である。 及び 一実施形態による、ＡＤＶに配置された１つ又は複数のマイクロフォンを示すブロック図である。 一実施形態による自律走行車における運転者又は乗客の行動を音響的に監視する例を示すフローチャートである。 一実施形態による音響モニタリングから受信したデータの例を示す。 一実施形態による音響モニタリングから検出されたイベントの例を示している。 一実施形態による音響モニタリングからのパワースペクトログラムの例を示す。 一実施形態による音響モニタリングからの強化されたパワースペクトログラムの例を示す。 強化されたパワースペクトログラムで検出された行動誘導音響パターンの例を示す。 認識された、図７Ｅで検出された行動誘導音響パターンに対応する行動の例を示す。 一実施形態による、音響モニタリングから検出されたＡＤＶの動作及び応答の例を示すブロック図である。 ＡＤＶにおける運転者又は乗客の行動を音響的に監視するプロセスを示すフローチャートである。

以下、詳細を参照して本開示の様々な実施形態及び態様を説明し、図面は様々な実施形態を例示する。以下の説明及び図面は本開示を説明するためのものであり、本開示を限定するものとして解釈されるべきではない。本開示の様々な実施形態に対し完全な理解を提供するために、多くの特定の詳細が説明されている。ただし、場合によっては、本開示の実施形態に対する説明の簡潔性を提供するために、周知又は通常の詳細の説明は省略されている。

本明細書において、「一実施形態」又は「実施形態」に対する言及は、当該実施形態に組み合わせて説明される特定の特徴、構造又は特性が本開示の少なくとも一つの実施形態に含まれ得ることを意味する。本明細書の様々なところに記載されている「一実施形態において」は、必ずしもすべてが同じ実施形態を指していることではない。

いくつかの実施形態によれば、音響感知及びドップラー効果を使用して、自律走行車（ＡＤＶ）の運転者及び乗客の行動を検出している。例えば、車載オーディオシステムは、運転者／乗客の行動検出を実行するために使用される。音声発生器又は音声捕捉装置（例えば、車両内のスピーカ及びマイクロフォン）は、音声信号（例えば、超音波信号）の送信機及び受信機として使用される。行動誘導音響パターンは、例えば、機械学習及び深層学習の方法を使用して、又は行動誘導音響パターンを事前に分類された行動リストを表す所定の音響パターンリストとマッチングすることで、抽出及び分析する。実行者の行動及び身元に基づいて、ＡＤＶは行動のリスクレベルを推定することができる。ＡＤＶは、相応して運転戦略の変更及び／又は応答を選択することができ、それにより、運転の安全性が向上し、スマートでスムーズな乗客－車両との相互作用が可能になる。

いくつかの実施形態によれば、非可聴音声信号は１つ又は複数の音声生成装置（例えば、車両に配置されたスピーカ）によって生成される。車両の運転者又は乗客から反射又は返送された反射音声信号は、車両に配置された１つ又は複数の音声捕捉装置（例えば、マイクロフォン）によって捕捉される。反射された超音波信号に基づいて行動誘導音響パターンが検出される。例えば、人工知能（ＡＩ）モデルを使用して、又は行動誘導音響パターンを所定の行動リストに対応する所定の音響パターンリストと比較及びマッチングすることにより、行動誘導音響パターンを分析して、車両の運転者又は乗客の行動を認識する。認識された、車両の運転者又は乗客の行動によって応答又は警報が生成される。

図１は、本開示の一実施形態による自律走行ネットワーク構成を示すブロック図である。図１を参照すると、ネットワーク構成１００は、ネットワーク１０２を介して１つ又は複数のサーバ１０３～１０４に通信可能に接続される自律走行車（ＡＤＶ）１０１を含む。１台のＡＤＶが例示されているが、複数のＡＤＶがネットワーク１０２を介して互いに接続されてもよく、及び／又はサーバ１０３～１０４に接続されてもよい。ネットワーク１０２は、有線又は無線のローカルエリアネットワーク（ＬＡＮ）、インターネットなどのようなワイドエリアネットワーク（ＷＡＮ）、セルラーネットワーク、衛星ネットワーク、又はそれらの組み合わせなど任意のタイプのネットワークであり得る。サーバ１０３～１０４は、例えば、ネットワーク又はクラウドサーバ、アプリケーションサーバ、バックエンドサーバ、又はそれらの組み合わせなど任意のタイプのサーバ又はサーバクラスタであり得る。サーバ１０３～１０４は、データ分析サーバ、コンテンツサーバ、交通情報サーバ、マップ及び関心点（ＭＰＯＩ）サーバ、又はロケーションサーバなどであり得る。

ＡＤＶとは、車両が運転者からの入力が非常に少ない又はまったくない環境をナビゲートして通過する自律走行モードに構成することができる車両のことである。このようなＡＤＶは、車両走行環境に関連する情報を検出するように構成された１つ又は複数のセンサを有するセンサシステムを備えることができる。該車両及びそれに関連するコントローラは、検出された情報を用いて該環境をナビゲートして通過する。ＡＤＶ１０１は、手動モード、完全自律運転モード、又は部分自律運転モードで走行することができる。

一実施形態において、ＡＤＶ１０１は、自律走行システム（ＡＤＳ）１１０、車両制御システム１１１、無線通信システム１１２、ユーザインターフェースシステム１１３、及びセンサシステム１１５を含むが、これらに限定されない。ＡＤＶ１０１には、エンジン、車輪、ステアリングホイール、変速機など通常の車両に備えられている特定の一般的な構成要素がさらに備えられてもよく、該構成要素は、車両制御システム１１１及び／又はＡＤＳ１１０により、様々な通信信号及び／又はコマンド、例えば、加速信号又はコマンド、減速信号又はコマンド、ステアリング信号又はコマンド、ブレーキ信号又はコマンドなどを使用して制御することができる。一実施形態において、ＡＤＶ１０１は、音声信号に基づいて運転者又は乗客の行動を監視するための監視システム１１６を含み得る。これについては、以下で詳しく説明する。

構成要素１１０～１１６は、インターコネクタ、バス、ネットワーク又はこれらの組み合わせを介して互いに通信可能に接続することができる。例えば、構成要素１１０～１１６は、コントローラローカルエリアネットワーク（ＣＡＮ）バスを介して互いに通信可能に接続することができる。ＣＡＮバスは、ホストコンピュータがないアプリケーションにおいて、マイクロコントローラとデバイスが互いに通信できるように設計された車両バス規格である。それは、もともとは自動車内の電気配線を多重化するために設計された、メッセージに基づくプロトコルであるが、他の多くの環境にも用いられている。

ここで図２を参照すると、一実施形態において、センサシステム１１５は、一つ又は複数のカメラ２１１、全地球測位システム（ＧＰＳ）ユニット２１２、慣性測定ユニット（ＩＭＵ）２１３、レーダユニット２１４並びに光検出及び測距（ＬＩＤＡＲ）ユニット２１５を含むが、これらに限定されない。ＧＰＳユニット２１２は、ＡＤＶの位置に関する情報を提供するように操作可能な送受信機を含むことができる。ＩＭＵユニット２１３は、慣性加速度に基づいてＡＤＶの位置及び方位変化を感知することができる。レーダユニット２１４は、無線信号を用いてＡＤＶのローカル環境におけるオブジェクトを感知するシステムを表すことができる。いくつかの実施形態において、オブジェクトを感知することに加えて、レーダユニット２１４は、さらにオブジェクトの速度及び／又は進行方向を感知することもできる。ＬＩＤＡＲユニット２１５は、ＡＤＶが位置する環境におけるオブジェクトをレーザで感知することができる。他のシステム構成要素に加えて、ＬＩＤＡＲユニット２１５は、さらに、一つ又は複数のレーザ光源、レーザスキャナ及び一つ又は複数の検出器を備えることができる。カメラ２１１は、ＡＤＶの周囲環境の画像を収集するための一つ又は複数の装置を備えることができる。カメラ２１１は、スチルカメラ及び／又はビデオカメラであってもよい。カメラは、例えば、回転及び／又は傾斜するプラットフォームにカメラを取り付けることによって、機械的に移動可能なものであってもよい。

センサシステム１１５はさらに、例えば、ソナーセンサ、赤外線センサ、ステアリングセンサ、スロットルセンサ、ブレーキセンサ及びオーディオセンサ（例えば、マイクロフォン）などの他のセンサを備えることができる。オーディオセンサは、ＡＤＶの周囲の環境から音声を収集するように構成されてもよい。ステアリングセンサは、ステアリングホイール、車両の車輪又はこれらの組み合わせの操舵角を感知するように構成されてもよい。スロットルセンサ及びブレーキセンサはそれぞれ車両のスロットル位置及びブレーキ位置を感知する。いくつかの情況によっては、スロットルセンサ及びブレーキセンサは集積型スロットル／ブレーキセンサとして統合されてもよい。

一実施形態において、車両制御システム１１１は、ステアリングユニット２０１、スロットルユニット２０２（加速ユニットとも呼ばれる）及びブレーキユニット２０３を含むが、これらに限定されない。ステアリングユニット２０１は、車両の方向又は進行方向を調整するために用いられる。スロットルユニット２０２は、モータ又はエンジンの速度を制御するために用いられ、モータ又はエンジンの速度によってさらに車両の速度及び加速度を制御する。ブレーキユニット２０３は、摩擦を提供することによって車両の車輪又はタイヤを減速させることで、車両を減速させる。留意されたいことは、図２に示す構成要素は、ハードウェア、ソフトウェア又はこれらの組み合わせで実装することができることである。

再び図１を参照し、無線通信システム１１２は、ＡＤＶ１０１と、装置、センサ、他の車両などの外部システムとの通信を可能にすることである。例えば、無線通信システム１１２は、１つ又は複数のデバイスと直接無線通信することができ、又は、ネットワーク１０２を介してサーバ１０３から１０４と通信するなど、通信ネットワークを介して無線通信することができる。無線通信システム１１２は、任意のセルラー通信ネットワーク又は無線ローカルエリアネットワーク（ＷＬＡＮ）を使用することができ、例えば、ＷｉＦｉ（登録商標）を使用して他の構成要素又はシステムと通信することができる。無線通信システム１１２は、例えば、赤外線リンク、ブルートゥース（登録商標）などを使用して、装置（例えば、乗客のモバイルデバイス、表示装置、車両１０１内のスピーカ）と直接通信することができる。ユーザインターフェースシステム１１３は、車両１０１内で実装された周辺デバイスの部分、例えば、キーボード、タッチスクリーン表示装置、マイクロフォン及びスピーカなどを含むことができる。

ＡＤＶ１０１の機能の一部又は全部は、特に自律走行モードで操作する場合に、ＡＤＳ１１０により制御又は管理することができる。ＡＤＳ１１０は、センサシステム１１５、制御システム１１１、無線通信システム１１２及び／又はユーザインターフェースシステム１１３から情報を受信し、受信した情報を処理し、出発地から目的地までの路線又は経路を計画した後に、計画及び制御情報に基づいて車両１０１を運転するために必要なハードウェア（例えば、プロセッサ、メモリ、記憶装置）、並びにソフトウェア（例えば、オペレーティングシステム、計画及びルーティングプログラム）を含む。場合に応じて、ＡＤＳ１１０は車両制御システム１１１と一緒に統合されてもよい。

例えば、乗客としてのユーザは、例えば、ユーザインターフェースを介して路程の出発地及び目的地を指定することができる。ＡＤＳ１１０は路程関連のデータを取得する。例えば、ＡＤＳ１１０は、ＭＰＯＩサーバから位置及び路線データを取得することができ、ＭＰＯＩサーバは、サーバ１０３～１０４の一部であってもよい。ロケーションサーバはロケーションサービスを提供し、ＭＰＯＩサーバはマップサービス及び特定のロケーションのＰＯＩを提供する。場合に応じて、このような位置及びＭＰＯＩ情報は、ＡＤＳ１１０の持続的記憶装置にローカルにキャッシュされてもよい。

ＡＤＶ１０１がルートに沿って移動するとき、ＡＤＳ１１０も交通情報システム又はサーバ（ＴＩＳ）からリアルタイム交通情報を取得することができる。留意されたいことは、サーバ１０３～１０４は第三者エンティティにより操作可能であることである。場合に応じて、サーバ１０３～１０４の機能は、ＡＤＳ１１０と一緒に統合されてもよい。リアルタイム交通情報、ＭＰＯＩ情報及び位置情報、並びにセンサシステム１１５によって検出又は感知されたリアルタイムローカル環境データ（例えば、障害物、オブジェクト、周辺車両）に基づいて、ＡＤＳ１１０は、最適なルートを計画し、計画されたルートに従って、例えば、制御システム１１１を介して車両１０１を運転して、指定された目的地に安全かつ効率的に到着することができる。

サーバ１０３は、様々なクライアントに対してデータ解析サービスを実行するためのデータ解析システムであってもよい。一実施形態において、データ解析システム１０３は、データコレクタ１２１と、機械学習エンジン１２２とを含む。データコレクタ１２１は、いろんな車両（ＡＤＶ又は人間の運転者によって運転される一般車両）から走行統計データ１２３を収集する。走行統計データ１２３は、発信された運転命令（例えば、スロットル、ブレーキ、ステアリングの命令）及び車両のセンサによって異なる時点で捕捉された車両の応答（例えば、速度、加速、減速、方向）を指示する情報を含む。走行統計データ１２３はさらに、異なる時点における運転環境を説明する情報、例えば、ルート（出発地位置及び目的地位置を含む）、ＭＰＯＩ、道路状況、天気状況などを含んでもよい。

走行統計データ１２３に基づいて、機械学習エンジン１２２は、様々な目的に応じて一組のルール、アルゴリズム及び／又は予測モデル１２４を生成又は訓練する。一実施形態において、アルゴリズム１２４は、１つ又は複数のスピーカによって非可聴音声信号を生成するためのアルゴリズム又はモデル、１つ又は複数のマイクロフォンによって非可聴の反射音声信号を受信するためのアルゴリズム又はモデル、反射された超音波信号に基づいて行動誘導音響パターンを検出するためのアルゴリズム又はモデル、行動誘導音響パターンを分析して運転者又は乗客の行動を認識するためのアルゴリズム又はモデル、運転者又は乗客の行動のリスクレベルを決定するためのアルゴリズム又はモデル、及び／又は決定された、運転者又は乗客の行動のリスクレベルに基づいて応答を生成するためのアルゴリズム又はモデルを含むことができる。次に、アルゴリズム１２４をＡＤＶにアップロードして、自律走行中にリアルタイムで使用することができる。

図３Ａ～図３Ｂは、一実施形態によるＡＤＶとともに使用される自律走行システムの一例を示すブロック図である。システム３００は、図１のＡＤＶ１０１の一部として実装されてもよく、ＡＤＳ１１０、制御システム１１１及びセンサシステム１１５を含むが、これらに限定されない。図３Ａ～図３Ｂを参照すると、ＡＤＳ１１０は、測位モジュール３０１、感知モジュール３０２、予測モジュール３０３、決定モジュール３０４、計画モジュール３０５、制御モジュール３０６及びルーティングモジュール３０７を含むが、これらに限定されない。

モジュール３０１～３０７は、ソフトウェア、ハードウェア又はこれらの組み合わせで実装されてもよい。例えば、これらのモジュールは、持続的記憶装置３５２にインストールされ、メモリ３５１にロードされ、一つ又は複数のプロセッサ（図示せず）によって実行され得る。留意されたいことは、これらのモジュールの一部又は全部は、図２の車両制御システム１１１の一部又は全部のモジュールに通信可能に接続されるか、又はそれらと一緒に統合されてもよい。モジュール３０１～３０７の一部は統合モジュールとして一緒に統合されてもよい。

測位モジュール３０１は、（例えば、ＧＰＳユニット２１２を使用して）ＡＤＶ３００の現在の位置を確定するとともに、ユーザの路程又はルートに関連する如何なるデータを管理する。測位モジュール３０１（マップ及びルートモジュールとも呼ばれる）は、ユーザの路程又はルートに関連する如何なるデータを管理する。ユーザは、例えば、ユーザインターフェースを介してログインし、路程の出発地及び目的地を指定することができる。測位モジュール３０１は、ＡＤＶ３００におけるマップ及びルートデータ３１１などの他のコンポーネントと通信して、路程関連データを取得する。例えば、測位モジュール３０１は、ロケーションサーバ並びにマップ及びＰＯＩ（ＭＰＯＩ）サーバから位置及びルートデータを取得することができる。ロケーションサーバはロケーションサービスを提供し、ＭＰＯＩサーバはマップサービス及び特定の位置のＰＯＩを提供し、マップ及びルートデータ３１１の一部としてキャッシュされ得る。ＡＤＶ３００がルートに沿って移動するとき、測位モジュール３０１は交通情報システム又はサーバからリアルタイム交通情報を取得することもできる。

感知モジュール３０２は、センサシステム１１５により提供されたセンサデータと、測位モジュール３０１により取得された測位情報とに基づいて、周囲環境に対する感知を決定する。感知情報は、一般の運転者が、運転者が今現在運転している車両の周囲で感知したものを表すことができる。感知には、例えば、オブジェクト形式を採用した車線構成、信号機信号、別の車両の相対位置、歩行者、建物、横断歩道又はその他の交通関連標識（例えば、停止標識、譲れ標識）などを含むことができる。車線構成には、例えば、車線の形状（例えば、直線又は曲線）、車線の幅、道路内の車線数、一方向又は双方向車線、合流又は分岐車線、退出車線などのような、１つ又は複数の車線を説明する情報が含まれる。

感知モジュール３０２は、一つ又は複数のカメラにより収集された画像を処理、分析して、ＡＤＶの環境におけるオブジェクト及び／又は特徴を認識するために、コンピュータビジョンシステム又はコンピュータビジョンシステムの機能を含むことができる。該オブジェクトには、交通信号、道路の境界、他の車両、歩行者及び／又は障害物などを含まれ得る。コンピュータビジョンシステムは、オブジェクト認識アルゴリズム、ビデオトラッキング及び他のコンピュータビジョン技術を使用することができる。いくつかの実施形態では、コンピュータビジョンシステムは、環境をマッピングし、オブジェクトを追跡し、及びオブジェクトの速度などを推定することができる。感知モジュール３０２は、レーダー及び／又はＬＩＤＡＲなどの他のセンサによって提供される他のセンサデータに基づいてオブジェクトを検出することもできる。

各々のオブジェクトについて、予測モジュール３０３は、オブジェクトがその場合にどのように挙動するかを予測する。予測は、一連のマップ／ルートデータ３１１及び交通規則３１２を考慮しその時点での運転環境を感知する感知データに基づいて実行される。例えば、オブジェクトが反対方向の車両であり、且つ現在の運転環境に交差点が含まれていると、予測モジュール３０３は、車両が直進するか又は曲がるかを予測する。感知データが、交差点に信号機がないことを示す場合、予測モジュール３０３は、車両が交差点に入る前に完全に停止する必要があることを予測することができる。感知データが、車両が現在左折専用車線又は右折専用車線にあることを示す場合、予測モジュール３０３は、車両がそれぞれ左折又は右折されることを予測することができる。

各々のオブジェクトについて、決定モジュール３０４は、オブジェクトをどのように処理するかを決定する。例えば、特定のオブジェクト（例えば、交差路線における別の車両）及びオブジェクトを説明するメタデータ（例えば、速度、方向、操舵角）について、決定モジュール３０４は、該オブジェクトと向かい合う方法（例えば、追い越し、道譲り、停止、追い抜き）を決定する。決定モジュール３０４は、交通規則又は運転規則３１２などの一連の規則に従って決定することができ、該一連の規則は持続的記憶装置３５２に格納され得る。

ルーティングモジュール３０７は、出発地点から目的地点までの一つ又は複数のルート又は経路を提供するように構成される。例えば、ユーザから受け取った出発地から目的地までの所定の路程に対して、ルーティングモジュール３０７は、ルート及びマップデータ３１１を取得し、出発地から目的地に到着するための全ての可能なルート又は経路を決定する。ルーティングモジュール３０７は、出発地から目的地に到着するための各々のルートが決定された、地形図形態の参考線を生成することができる。参考線とは、別の車両、障害物又は交通状況など何の干渉のない理想的なルート又は経路を指す。つまり、道路上に他の車両、歩行者又は障害物がない場合、ＡＤＶは参考線を正確に又は厳密に守るはずである。そして、地形図が決定モジュール３０４及び／又は計画モジュール３０５に提供される。決定モジュール３０４及び／又は計画モジュール３０５は、全ての可能なルートを調べて、他のモジュールによって提供されたその他データ、例えば、測位モジュール３０１からの交通状況、感知モジュール３０２によって感知された運転環境及び予測モジュール３０３によって予測された交通状況などに基づいて、最適なルートのうちの一つを選択して修正する。ＡＤＶを制御するための実際の経路又はルートは、その時点における特定の運転環境によって、ルーティングモジュール３０７から提供された参考線に近いか又は異なっている。

計画モジュール３０５は、感知されたオブジェクトのそれぞれに対する決定に基づいて、ルーティングモジュール３０７により提供された参考線を基準にして、ＡＤＶのために経路又はルート並びに運転パラメータ（例えば、距離、速度及び／又は操舵角）を計画する。言い換えれば、所定のオブジェクトについて、決定モジュール３０４は、該オブジェクトに対して何をするかを決定し、一方、計画モジュール３０５は、それをどのように実行するかを決定する。例えば、所定のオブジェクトについて、決定モジュール３０４は、該オブジェクトを追い抜くことを決定することができ、一方、計画モジュール３０５は、該オブジェクトの左側又は右側から追い抜くことを決定することができる。計画及び制御データは計画モジュール３０５により生成され、車両３００が次の移動サイクル（例えば、次のルート／経路セグメント）においてどのように移動するかを説明する情報を含む。例えば、計画及び制御データは、車両３００に３０マイル／時間（ｍｐｈ）の速度で１０メートル移動し、その後、２５ｍｐｈの速度で右側車線に変更するように指示することができる。

制御モジュール３０６は、計画及び制御データに基づいて、計画及び制御データによって限定されたルート又は経路に従って適当な命令又は信号を車両制御システム１１１に送信することによって、ＡＤＶを制御及び運転する。計画及び制御データは、経路又はルートに沿って、異なる時点で適切な車両設定又は運転パラメータ（例えば、スロットル、ブレーキ、ステアリングコマンド）を使用して、車両をルート又は経路の第１のポイントから第２のポイントまで運転するのに十分な情報を含む。

一実施形態において、計画段階は、例えば、１００ミリ秒（ｍｓ）の時間間隔ごとなど、運転サイクルとも呼ばれるいくつかの計画サイクルで実行される。計画サイクル又は運転サイクルごとに、計画及び制御データに基づいて一つ又は複数の制御命令が発信される。すなわち、１００ｍｓごとに、計画モジュール３０５は、例えば、目標位置及びＡＤＶが目標位置に到着するのに必要な時間を含む次のルートセグメント又は経路セグメントを計画する。或いは、計画モジュール３０５は、特定の速度、方向及び／又は操舵角などをさらに指定することができる。一実施形態において、計画モジュール３０５は、次の所定の期間（例えば、５秒の間）のルートセグメント又は経路セグメントを計画する。各計画サイクルについて、計画モジュール３０５は、前のサイクルで計画された目標位置に基づいて、現在のサイクル（例えば、次の５秒）の目標位置を計画する。次に、制御モジュール３０６は、現在のサイクルの計画及び制御データに基づいて、一つ又は複数の制御命令（例えば、スロットル、ブレーキ、ステアリング制御命令）を生成する。

留意されたいことは、決定モジュール３０４及び計画モジュール３０５は、統合モジュールとして統合されてもよいことである。決定モジュール３０４／計画モジュール３０５は、ＡＤＶの運転経路を決定するためのナビゲーションシステム又はナビゲーションシステムの機能を含み得る。例えば、ナビゲーションシステムは、次の経路に沿ったＡＤＶの動きに影響を与えるための一連の速度及び進行方向を決定することができ、ここで、経路は、最終目的地に至る道路ベースの経路に沿ってＡＤＶを前進させるとともに、感知された障害物を実質的に回避することができる。目的地は、ユーザインターフェースシステム１１３を介したユーザ入力に従って設定することができる。ナビゲーションシステムは、ＡＤＶが走行している間に、運転経路を動的に更新することができる。ナビゲーションシステムは、ＡＤＶの運転経路を決定するために、ＧＰＳシステム及び一つ又は複数のマップからのデータを組み込むことができる。

図４は、一実施形態による監視システム１１６の例を示すブロック図である。監視システム１１６は、運転者又は乗客の行動を監視し、応答を生成するために実装され得る。図４を参照すると、監視システム１１６は、スピーカユニット４０１、マイクロフォンユニット４０２、検出器ユニット４０３、認識ユニット４０４、リスクレベルユニット４０５、及び応答ユニット４０６を含むが、これらに限定されない。監視システム１１６は、運転の安全性を高めるとともにスマートでスムーズな乗客と車両との相互作用を可能にするために、移動中の車両の行動を認識及び監視するように構成される。監視システム１１６は、タスク認識と車両の操作モードの調整との間のギャップを埋め、閉ループシステムを形成する。

一実施形態において、スピーカユニット４０１は、スピーカなどの１つ又は複数の音声発生器を含み、車両内の各位置に配置された１つ又は複数の音声発生器を使用して非可聴音声信号を生成するように構成される。音声信号は、車両の運転者又は乗客から反射又は返送されることができる。マイクロフォンユニット４０２は、マイクロフォンなどの１つ又は複数の音声捕捉装置を含み、車両内の異なる位置に配置された１つ又は複数のマイクロフォンを使用して、車両の運転者又は乗客から反射又は返送された、聞こえない反射音声信号を捕捉するように構成される。検出器ユニット４０３は、反射された超音波信号に基づいて行動誘導音響パターンを検出するように構成される。認識ユニット４０４は、行動誘導音響パターンを分析して、車両の運転者又は乗客の行動を決定又は認識するように構成される。

音声信号は、１つ又は複数のスピーカから空気によって伝播され、１つ又は複数のマイクロフォンによって受信される。例えば、ドップラー効果に基づいて、音波は途中でユーザの動きによって偏向又は中断される可能性があるが、それでも、マイクロフォンに到達できる。例えば、音声信号は、車両の運転者又は乗客に当たって、運転者又は乗客から反射して戻る可能性がある。運転者又は乗客から反射された音声信号は、ドップラー効果により音声信号に急激な変化を引き起こす可能性がある。

一実施形態において、運転者又は乗客の行動は、反射音声信号から抽出された特徴のセットにＡＩモデル又は機械学習モデルを適用することによって決定することができる。一実施形態において、行動は、音響パターンを、所定の行動リストを表す所定の音響パターンリストと比較又はマッチングすることによって決定することができる。音響パターンを分析することにより、人の行動を決定することができる。例えば、ＡＤＶの運転者又は乗客が移動している場合、ドップラー効果に基づいて、反射信号（運転者又は乗客から反射された非可聴音声信号）は、音声信号に急激な変化を引き起こす可能性がある。ドップラー効果（又はドップラーシフト）は、波源に対して移動している観測者に対する波の周波数の変化である。音声信号の急激な変化は、運転者又は乗客から検出された行動イベントを示すことができる。一実施形態において、反射音声信号にバンドパスフィルタを適用した後、バンドストップフィルタを適用して、プローブ信号の正確な周波数を有するオーディオ成分を除去することができ、プローブ信号は１つ又は複数のスピーカによって発生する非可聴音声信号であり得る。従って、ドップラー効果に基づく人体の動きに起因又は発生された反射音声信号のみが保留される。

リスクレベルユニット４０５は、リスクレベル閾値のセットによって、運転者又は乗客の行動に基づいて、運転者又は乗客の行動のリスクレベルを決定するように構成される。例えば、乗客の特定の行動は危険ではないかもしれないが、運転者の同じ行動は危険であると見なされるかもしれない。応答ユニット４０６は、決定された、運転者又は乗客の行動のリスクレベルに基づいて応答又は警報を生成するように構成される。

図５Ａは、ＡＤＶ５０１に配置された１つ又は複数のスピーカ５１０の上面図を示すブロック図５００ａである。図５Ｂは、ＡＤＶ５０１に配置された１つ又は複数のスピーカ５１０の側面図を示すブロック図５００ｂである。図５Ａ及び図５Ｂを参照すると、監視システム１１６は、１つ又は複数のスピーカ５１０を含むスピーカユニット４０１を含む。１つ又は複数のスピーカ５１０は、人間には非可聴音声信号を生成するように構成される。音声信号は、固定周波数又は変調された変化周波数で生成することができる。例えば、１つ又は複数のスピーカ５１０は、超音波信号を生成するように構成される。通常の人間が聞くことができる周波数範囲は約２０Ｈｚから２０ｋＨｚである。従って、一般に、この範囲（＞２０ｋＨｚ又は＜２０Ｈｚ）から外れる音声信号は、人間には聞こえない。一般に、周波数が２０ｋＨｚを超える音は超音波と見なされる。人間の耳では検出できない低周波音を超低周波音と呼ぶ。一実施形態において、非可聴音声信号は、超音波信号を含み得る。一実施形態において、非可聴音声信号は、超低周波音声信号を含み得る。

１つ又は複数のスピーカ５１０は、ＡＤＶの四隅に配置することができる。１つ又は複数のスピーカ５１０は、ＡＤＶの左前側、左後側、右前側、右後側に配置することができる。一実施形態において、１つ又は複数のスピーカ５１０は、ＡＤＶの車載オーディオシステムを利用することができる。一実施形態において、１つ又は複数のスピーカ５１０は、超音波信号を生成するように構成され得る。１つ又は複数のスピーカ５１０は、人間には非可聴音声信号を生成することができれば、任意のタイプ又は任意の種類のスピーカであってもよい。

図５Ｃ及び図５Ｄは、ＡＤＶ５０１に配置された１つ又は複数のマイクロフォン（例えば、５２１～５２７）を示すブロック図５００ｃ、５００ｄである。１つ又は複数のマイクロフォンは、左上前（例えば、５２１）、右上前（例、５２２）、又は運転席と助手席との間（例、５２３）に配置され得る。１つ又は複数のマイクロフォンは、運転席の後部（例えば、５２４）、又は助手席の後部（例えば、５２５）、又は２つの後部座席の間（例えば、５２６）、又は前部の中央位置（例えば、５２７）に配置され得る。１つ又は複数のマイクロフォンは、ＡＤＶ５０１内の他の位置に配置することができ、運転者又は乗客からの反射音声信号は、ＡＤＶにおける障害物（例えば、車両における座席、ドア、コンソールボックス、後部コーナーなど）によって遮られることがない。１つ又は複数のマイクロフォン（例えば、５２１～５２７）は、運転者又は乗客からの反射音声信号を受信するように構成されている。１つ又は複数のスピーカ（例えば、５１０）によって生成された、非可聴音声信号、例えば、超音波信号）は、運転者又は乗客に入射される可能性があり、音声信号が運転者又は乗客から反射される可能性がある。運転者又は乗客からの反射音声信号は、１つ又は複数のマイクロフォン（例えば、５２１～５２７）によって受信され得る。

図６は、一実施形態による自律走行車における運転者又は乗客の行動を音響的に監視する例を示すフローチャートである。監視システム１１６は、音響的監視に基づいて、ＡＤＶにおける運転者又は乗客の行動を監視するように構成される。このようにして、プライバシーを懸念し過ぎる必要がない。運転者からの危険な行動に介入することで、運転の安全性を高めることができる。さらに、乗客の快適さが向上され、乗客と車両とのスムーズな相互作用を可能にすることができる。

ブロック６０１ａにおいて、ＡＤＶ内の１つ又は複数のスピーカ又は他の音声発生器は、非可聴音声信号（例えば、超音波信号）を生成することができる。

ブロック６０１に示されるように、１つ又は複数のマイクロフォン又は他の音声受信器は、非可聴音声信号（例えば、超音波信号）を受信することができる。１つ又は複数のマイクロフォン又は他の音声受信器から取得されたデータは、（図４に合わせて説明されるように）監視システム１１８内の検出器ユニット４０３に入力され得る。図７Ａの図７００ａに、１つ又は複数のマイクロフォン又は他の音声受信器から受信されたデータの例が示されている。

ブロック６０２において、運転者又は乗客からの行動イベントが検出され得る。行動イベントは、ＡＤＶの運転者又は乗客に起因する行動又は動きからのイベントである。例えば、ＡＤＶの運転者又は乗客が移動している場合、ドップラー効果に基づいて、反射信号（運転者又は乗客から反射された非可聴音声信号）は、音声信号に急激な変化を引き起こす可能性がある。ドップラー効果（又はドップラーシフト）は、波源に対して移動している観測者に対する波の周波数の変化である。音声信号の急激な変化は、運転者又は乗客から検出された行動イベントを示すことができる。図７Ｂの図７００ｂに、音声信号において検出された行動イベントの例が示されている。

ブロック６０３において、音声信号のフレームは、特徴抽出及び行動認識のために分割される。

ブロック６０４において、音声信号から行動誘導音響パターンを含む行動特徴が抽出される。ブロック６０５において、音声信号はフィルタリングされ、ノイズ除去され得る。音声信号は、関心を持つ周波数範囲以外のノイズを低減するためにフィルタリングすることができる。例えば、フィルタは、バンドパスフィルタ又はバンドストップフィルタであってもよい。例えば、非可聴音声信号は超音波信号であり、フィルタは、所定の範囲以外の音声信号をフィルタリングするように構成され得る。例えば、所定の範囲は１９ｋＨｚ～２１ｋＨｚであってもよい。所定の範囲以外の音声信号は、ノイズ又は外れ値である可能性がある。

ブロック６０６において、フィルタリングされた音声信号のパワースペクトログラムを取得することができる。スペクトログラムは、時間とともに変化する信号の周波数スペクトルを視覚的に表したものである。パワースペクトログラムは、時間の経過に伴う各周波数帯域における信号のパワーレベルを表す。一実施形態において、音声信号にバンドパスフィルタを適用した後、バンドストップフィルタを適用して、プローブ信号の正確な周波数を有するオーディオ成分を除去することができ、プローブ信号は１つ又は複数のスピーカによって発生する非可聴音声信号であり得る。従って、ドップラー効果に基づく人体の動きに起因又は発生された音声信号のみが保留される。例えば、バンドストップフィルタは、第１の所定の閾値を超え、第２の所定の閾値を下回る望ましくない周波数範囲の音声信号を遮断することができる。第１の所定の閾値を超え、第２の所定の閾値を下回る音声信号は、プローブ信号によって支配され得る。一実施形態において、プローブ信号は２０ｋＨｚの周波数を有し得る。一例として、第１の所定の閾値は２０．２ｋＨｚであり得、第２の所定の閾値は１９．８ｋＨｚであり得る。

次に、短時間フーリエ変換（ＳＴＦＴ）を適用して、音声信号のパワースペクトログラムを取得することができる。図７Ｃは、音声信号のパワースペクトログラム７００ｃの例を示す。図７Ｃに示すように、ｘ軸は時間を表し、ｙ軸は周波数を表し、各座標点の値は音声信号のパワーの振幅を表す。パワースペクトログラムにおいて、異なる色又は異なる色陰影は異なるパワーレベルを表し、異なる行動を表すことができる。図７Ｃにおいて、明るい色（黄色）は高いパワーレベルを表し、暗い色（濃い青）は低いパワーレベルを表す。

ブロック６０７において、パワースペクトログラムに基づいて、さらに処理され改善されたパワースペクトログラムを取得することができる。図７Ｄは、改善されたパワースペクトログラム７００ｄの例を示している。パワースペクトログラム７００ｃに基づいて、パワー値の閾値を決定することができる。パワー値の閾値は、音声信号及び関わる動きに応じて決定することができる。改善されたパワースペクトログラム７００ｄは、パワースペクトログラム７００ｃの各ポイントについて、対応ポイントのパワー値がパワー値の閾値よりも小さい場合、対応ポイントのパワー値の振幅をゼロに設定することによって取得することができる。改善されたパワースペクトログラム７００ｄを得るためのより良い効果を得るために、さらなる画像ノイズ除去又は平滑化フィルタを適用することができる。

ブロック６０８において、運転者又は乗客の行動は、例えば、パワースペクトログラムを、所定の行動リストに対応する所定のパワースペクトログラムリストと比較又はマッチングすることによって、改善されたパワースペクトログラムに基づいて検出され得る行動誘導音響パターンに基づいて認識され得る。図７Ｅは、改善されたパワースペクトログラム７００ｅで検出された行動誘導音響パターン７１０の例を示す。図７Ｆは、検出された行動誘導音響パターン７１０に対応する、認識された行動７２０の例を示す。運転者又は乗客からの異なる行動又は動きは、ドップラー効果により異なる行動誘導音響パターンに対応する。一例として、図７Ｆに示されるような拍手行動は、図７Ｅに示されるような行動誘導音響パターン７１０に対応する。運転者又は乗客が動き又は行動をする（手ジェスチャをする、電話を使用する、食事をする、うとうとするなど）のとき、行動誘導音響パターンが検出され得る。機械学習及び深層学習の方法を使用して行動誘導音響パターン（例えば、７１０）を分析して、対応する行動（例えば、７２０）を認識することができる。

一実施形態において、行動が車両の運転者からのものなのか乗客からのものなのかをさらに決定する。行動が運転者からの行動である場合、安全上の懸念に対する潜在的なリスクが存在する可能性がある。従って、行動が車両の運転者からのものなのか、乗客からのものなのかを決定することが重要である。検出された音声信号（例えば、非可聴音声信号）の発生源に基づいて、行動が車両の運転者からのものなのか、又は乗客からのものなのかを決定することができる。

図８は、ＡＤＶの検出された行動及び応答の例を示すブロック図である。検出された行動８０１は、運転者からの行動８０２又は乗客からの行動８０３を含み得る。例えば、運転者からの行動８０２は、手ジェスチャ、電話の使用、食事、居眠り運転、又は不注意運転などを含み得る。乗客からの行動８０３は、手ジェスチャ、電話の使用、食事、居眠り／睡眠などを含み得る。運転者又は乗客からの他の行動が検出される可能性がある。図８に示すように、認識された、運転者又は乗客の行動のリスクレベルは決定することができる。

一例として、認識された行動のリスクレベルは、リスクなし、潜在的リスク、又は高リスクとして分類され得る。例えば、運転者の手ジェスチャはリスクなしと決定され、運転者の電話の使用及び食事は潜在的リスクとして決定され、居眠り運転又は不注意運転は高リスクとして決定され得る。乗客の行動はリスクなしと決定され得る。ほかにも異なるタイプの行動を分類する他の方法がある。

ＡＤＶの応答は、運転者又は乗客の決定されたリスクレベルに従って生成され得る。一実施形態において、決定されたリスクレベルが潜在的なリスクである場合、ブロック８０４に示されるように、ＡＤＶは警報を生成し、自律走行モードを作動させて一時的に運転を引き継ぐことができる。

一実施形態において、決定されたリスクレベルが高リスクである場合、ブロック８０５に示されるように、ＡＤＶは警報を生成し、自律走行モードを作動させて一時的に運転を引き継いで路傍に減速して停止することができる。しかし、決定されたリスクレベルが潜在的なリスクである場合が、警報が生成された後、運転者からの応答がなく、ＡＤＶは運転を引き継いで路傍に減速して停止することができる。

決定されたリスクレベルがリスクなしであり且つ該行動が運転者からの行動である（例えば、運転者が手ジェスチャをしている）場合、ブロック８０６に示されるように、ＡＤＶは、ラジオ／音楽を付けたり、１つ又は複数のスピーカの可聴音の音量を変えたり、続けて監視したりするなどの応答を行うことができる。

検出された行動が乗客からの行動であり且つ車両が自律走行モードにある場合、ブロック８０８に示されているように、ＡＤＶは、ＡＤＶの速度を低下させるか、又は自律走行モードの快適モードに切り替えることができ、又は、ブロック８０７に示されているように、ＡＤＶは、１つ又は複数のスピーカの可聴音の音量を下げることができる。

図９は、ＡＤＶにおける運転者又は乗客の行動を音響的に監視するプロセスを示すフローチャートである。このプロセスにより、ＡＤＶの運転者又は乗客の行動が監視され得るが過度なプライバシーを懸念しなくてもよい。運転者又は乗客の行動のリスクレベルが決定され、運転の安全性及び快適性を高めるための応答が生成され得る。プロセス９００は、ソフトウェア、ハードウェア、又はそれらの組合せを含み得る処理ロジックによって実行され得る。例えば、プロセス９００は、監視システム１１６によって実行され得る。

図９を参照すると、操作９０１において、処理ロジックは、車両内に配置された１つ又は複数のスピーカによって、非可聴音声信号を生成する。一実施形態において、非可聴音声信号は、車両に配置された１つ又は複数のスピーカによって連続的に生成され、非可聴音声信号は超音波信号である。

操作９０２において、処理ロジックは、車両内に配置された１つ又は複数のマイクロフォンによって、聞こえない反射音声信号を受信する。一実施形態において、１つ又は複数のマイクロフォンは、車両において、左前上角、右前上角、運転席と助手席との間、運転席又は助手席の後部、又は２つの後部座席の間に配置される。

操作９０３において、処理ロジックは、反射された音声信号に基づいて、行動誘導音響パターンを検出する。一実施形態において、処理ロジックは、反射された音声信号に基づいて行動イベントを検出することができる。一実施形態において、処理ロジックは、反射された音声信号をフィルタリングすることができる。

一実施形態において、処理ロジックは、反射された音声信号に基づいてパワースペクトログラムをさらに抽出することができる。一実施形態において、処理ロジックは、パワースペクトログラムに基づいて強化されたパワースペクトログラムを取得することができる。一実施形態において、処理ロジックは、強化されたパワースペクトログラムに基づいて、行動誘導音響パターンを取得することができる。

操作９０４において、処理ロジックは、行動誘導音響パターンを分析して、車両の運転者又は乗客の行動を認識する。一実施形態において、処理ロジックは、行動が車両の運転者からのものであるか、それとも車両の乗客からのものであるかを決定することができる。

操作９０５において、処理ロジックは、認識された、車両の運転者又は乗客の行動によって応答を生成する。

一実施形態において、処理ロジックは、認識された、運転者又は乗客の行動のリスクレベルを決定することができ、さらに、決定及び認識された、運転者又は乗客の行動のリスクレベルに基づいて応答を生成することができる。

一実施形態において、行動が運転者からのものである場合、処理ロジックは、決定されたリスクレベルが高リスクであることに応じて警報を生成し、自律走行モードを作動させて、路傍に減速して停止するか、又は決定されたリスクレベルが潜在的なリスクであることに応じて警報を生成し、自律走行モードを作動させる。

一実施形態において、行動が乗客からのものであり且つ車両が自律走行モードにある場合、処理ロジックは、車両の速度を低下させるか、又は自律走行モードの快適モードに切り替えることができる。

留意されたいことは、上記に示され、説明された構成要素の一部又は全部は、ソフトウェア、ハードウェア又はそれらの組合せに実装され得ることである。例えば、このような構成要素は、永久記憶装置にインストール及び格納されるソフトウェアとして実装することができ、該ソフトウェアは、プロセッサ（図示せず）によってメモリにロードされて実行されることで、本出願の全体にわたって説明されるプロセス又は操作を実行することができる。或いは、このような構成要素は、例えば、集積回路（例えば、特定用途向け集積回路又はＡＳＩＣ）、デジタルシグナルプロセッサ（ＤＳＰ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ））などの専用ハードウェアにプログラミング又は埋め込まれた実行可能なコードとして実装されてもよく、この実行可能なコードは、アプリケーションからの対応するドライバー及び／又はオペレーティングシステムを介してアクセスできる。また、このような構成要素は、プロセッサ又はプロセッサコアにおける特定ハードウェアロジックとして実装されてもよく、ソフトウェア構成要素によって１つ又は複数の特定命令を介してアクセス可能な命令セットの一部として用いられる。

前述の詳細な説明の一部は、コンピュータメモリ内のデータビットに対する演算のアルゴリズム及び記号表現によって提示されている。これらのアルゴリズムの説明及び表現は、データ処理の分野における当業者が、自分達の仕事の内容を当該分野の他の当業者に最も効果的に伝えるために使用する方法である。本明細書において、アルゴリズムは、一般的に、望ましい結果を導く一貫した操作のシーケンスであると考えられる。これらの操作は、物理量を物理的に操作するための操作を指す。

しかし、これらの用語及び類似の用語はいずれも適切な物理量に関連するものであり、これらの量に適用される単なる便利なラベルであることに留意されたい。上記の説明において別段の明確な記載がない限り、明細書の全体において、用語（例えば、添付の特許請求の範囲に記載されている用語）を利用する説明は、コンピュータシステム又は同様の電子コンピューティングデバイスのアクション及びプロセスを指し、前記コンピュータシステム又は電子コンピューティングデバイスは、コンピュータシステムのレジスタ及びメモリ内の物理（電子）量として表されるデータを制御し、前記データをコンピュータシステムのメモリ又はレジスタ又は他のこのような情報ストレージに変換し、デバイス内の物理量として類似的に表される他のデータを伝送又は表示することを理解されたい。

本開示の実施形態は、さらに、本明細書の操作を実行するための装置に関する。このようなコンピュータプログラムは、非一時的コンピュータ可読媒体に格納される。機械可読媒体は、機械（例えば、コンピュータ）によって可読な形態で情報を記憶するための任意のメカニズムを含む。例えば、機械可読（例えば、コンピュータ可読）媒体は、機械（例えば、コンピュータ）可読記憶媒体（例えば、読み取り専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス）を含む。

前述の図面に示されているプロセス又は方法は、ハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア（例えば、非一時的コンピュータ可読媒体で実装化される）、又は両方の組み合せを含む処理ロジックにより実行され得る。前記プロセス又は方法は、いくつかのシーケンシャル操作に従って説明されているが、前記操作の一部は異なる順序で実行され得ることを理解すべきである。また、一部の操作は順序ではなく並行して実行されてもよい。

本開示の実施形態は特定のプログラミング言語を参照して説明したものではない。本明細書で説明する本開示の実施形態の教示を実装するために、様々なプログラミング言語を使用できることを理解すべきである。

以上の明細書では、本開示の実施形態を、具体的な例示的実施形態を参照して説明した。添付した特許請求の範囲に記載されている、本開示のより広い精神及び範囲から逸脱することなく、本開示に様々な修正を行うことができることは明らかである。従って、本明細書及び図面は、制限的な意味ではなく例示的な意味として見なされるべきである。

Claims (20)

1. コンピュータが実行する車両を操作するための方法であって、
   前記車両内に配置された１つ又は複数のスピーカを使用して、非可聴音声信号である音声信号を生成するステップと、
   前記車両内に配置された１つ又は複数のマイクロフォンによって、前記車両の運転者又は乗客から反射された音声信号を受信するステップと、
   前記１つ又は複数のマイクロフォンによって受信された、反射された音声信号と、当該音声信号の発生源と、に基づいて、運転者行動誘導音響パターンと乗客行動誘導音響パターンとを検出するステップと、
   前記運転者行動誘導音響パターンを分析して前記車両の運転者の行動を決定し、前記乗客行動誘導音響パターンを分析して前記車両の乗客の行動を決定するステップと、
   前記運転者の行動のリスクが運転者リスクレベル閾値よりも大きいと判定された場合に前記車両を停止させ、前記乗客の行動のリスクが乗客リスクレベル閾値よりも大きいと判定された場合に前記車両の速度を低下させるステップと、
   含む車両を操作するための方法。
2. 前記音声信号が超音波信号を含む、請求項１に記載の方法。
3. 前記１つ又は複数のマイクロフォンが、前記車両の左上前、右上前、運転席と助手席との間、前記運転席又は前記助手席の後部、又は２つの後部座席の間に配置されている、請求項１に記載の方法。
4. 前記行動を決定するステップは、前記運転者行動誘導音響パターン及び前記乗客行動誘導音響パターンを、所定の行動リストを表す所定の音響パターンリストとマッチングするステップを含む、請求項１に記載の方法。
5. 前記検出するステップは、反射された音声信号に基づいてパワースペクトログラムを抽出するステップを含む、請求項１に記載の方法。
6. 前記行動を決定するステップは、前記パワースペクトログラムを、特定の行動に関連する所定のパワースペクトログラムと比較するステップを含む、請求項５に記載の方法。
7. 前記運転者又は前記乗客の行動のリスクレベルを決定するステップと、前記運転者又は前記乗客の行動のリスクレベルに基づいて警報を生成するステップと、をさらに含む、請求項１に記載の方法。
8. 前記運転者又は前記乗客の行動のリスクレベルに基づいて前記警報を生成するステップは、前記行動が前記運転者からの行動である場合、決定されたリスクレベルが前記運転者リスクレベル閾値よりも高いことに応じて、警報を生成するとともに自律走行モードを作動させて、減速して路傍に停止させるステップを含む、請求項７に記載の方法。
9. 前記運転者又は前記乗客の行動のリスクレベルに基づいて前記警報を生成するステップは、前記行動が前記乗客からの行動であり、且つ前記車両が自律走行モードにある場合、前記車両の速度を低下させるか、又は前記自律走行モードの快適運転モードに切り替えるステップを含む、請求項７に記載の方法。
10. 命令が格納されている非一時的な機械可読媒体であって、
    前記命令がプロセッサによって実行されると、前記プロセッサに操作を実行させ、前記操作は、
    車両内に配置された１つ又は複数のスピーカを使用して、非可聴音声信号である音声信号を生成することと、
    前記車両内に配置された１つ又は複数のマイクロフォンによって、前記車両の運転者又は乗客から反射された音声信号を受信することと、
    前記１つ又は複数のマイクロフォンによって受信された、反射された音声信号と、当該音声信号の発生源と、に基づいて、運転者行動誘導音響パターンと乗客行動誘導音響パターンとを検出することと、
    前記運転者行動誘導音響パターンを分析して前記車両の運転者の行動を決定し、前記乗客行動誘導音響パターンを分析して前記車両の乗客の行動を決定することと、
    前記運転者の行動のリスクが運転者リスクレベル閾値よりも大きいと判定された場合に前記車両を停止させ、前記乗客の行動のリスクが乗客リスクレベル閾値よりも大きいと判定された場合に前記車両の速度を低下させることと、を含む、非一時的な機械可読媒体。
11. 前記音声信号が超音波信号を含む、請求項１０に記載の機械可読媒体。
12. 前記１つ又は複数のマイクロフォンが、前記車両の左上前、右上前、運転席と助手席との間、前記運転席又は前記助手席の後部、又は２つの後部座席の間に配置されている、請求項１０に記載の機械可読媒体。
13. 前記行動を決定することは、前記運転者行動誘導音響パターン及び前記乗客行動誘導音響パターンを、所定の行動リストを表す所定の音響パターンリストとマッチングすることを含む、請求項１０に記載の機械可読媒体。
14. 前記検出することは、前記音声信号に基づいてパワースペクトログラムを抽出することを含む、請求項１０に記載の機械可読媒体。
15. 前記行動を決定することは、前記パワースペクトログラムを、特定の行動に関連する所定のパワースペクトログラムと比較することを含む、請求項１４に記載の機械可読媒体。
16. 前記操作は、前記運転者又は前記乗客の行動のリスクレベルを決定することと、前記運転者又は前記乗客の行動のリスクレベルに基づいて警報を生成することと、をさらに含む、請求項１０に記載の機械可読媒体。
17. 前記運転者又は前記乗客の行動のリスクレベルに基づいて前記警報を生成することは、前記行動が前記運転者からの行動である場合、前記リスクレベルが前記運転者リスクレベル閾値よりも高いことに応じて、警報を生成するとともに自律走行モードを作動させて、減速して路傍に停止させることを含む、請求項１６に記載の機械可読媒体。
18. 前記運転者又は前記乗客の行動のリスクレベルに基づいて前記警報を生成することは、前記行動が前記乗客からの行動であり、且つ前記車両が自律走行モードにある場合、前記車両の速度を低下させるか、又は前記自律走行モードの快適モードに切り替えることを含む、請求項１６に記載の機械可読媒体。
19. プロセッサと、
    命令を格納するために前記プロセッサに接続され、前記プロセッサによって前記命令が実行されると、前記プロセッサに操作を実行させるメモリと、を備えるデータ処理システムであって、
    前記操作は、
    車両内に配置された１つ又は複数のスピーカを使用して、非可聴音声信号である音声信号を生成することと、
    前記車両内に配置された１つ又は複数のマイクロフォンによって、前記車両の運転者又は乗客から反射された音声信号を受信することと、
    前記１つ又は複数のマイクロフォンによって受信された、反射された音声信号と、当該音声信号の発生源と、に基づいて、運転者行動誘導音響パターンと乗客行動誘導音響パターンとを検出することと、
    前記運転者行動誘導音響パターンを分析して前記車両の運転者の行動を決定し、前記乗客行動誘導音響パターンを分析して前記車両の乗客の行動を決定することと、
    前記運転者の行動のリスクが運転者リスクレベル閾値よりも大きいと判定された場合に前記車両を停止させ、前記乗客の行動のリスクが乗客リスクレベル閾値よりも大きいと判定された場合に前記車両の速度を低下させることと、を含む、データ処理システム。
20. 前記音声信号が超音波信号を含む、請求項１９に記載のシステム。