JP6389179B2 - 音響／視覚キューを用いる車両安全システム - Google Patents

Description

本発明は、音響／視覚キューを用いるオートバイ安全システムを含む車両安全システムに関する。

米国では、毎年、数百万の車両事故があり得る。これらの事故のうちの数万は命にかかわる。これらの死亡事故の多くがオートバイ事故であり、これらは、オートバイに関わらない事故よりも死亡率が高い。

システムは、ユーザの周囲からの１つ以上の音響キューおよび／または視覚キューと関連付けられたデータを受信、処理、および送信するように動作可能な１つ以上のデータモジュールを含み得る。当該システムはまた、この１つ以上のデータモジュールに通信可能に連結された１つ以上のカメラおよび１つ以上のマイクロホンを含み得る。これらの１つ以上のカメラおよび１つ以上のマイクロホンは、音響キューおよび／または視覚キューをそれぞれ記録し、これらの音響キューおよび／または視覚キューと関連付けられたデータをそれぞれ１つ以上のデータモジュールに送信するように動作可能である。また、当該システムは、１つ以上の音響キューおよび／または視覚キューと関連付けられた処理済みのデータを、１つ以上のデータモジュールから受信するように動作可能な１つ以上のスピーカを含み得る。さらに、当該システムは、当該システムの態様をユーザの車両またはヘルメットなどのギアに取り付けて、記録されている音響キューおよび／または視覚キューについてユーザに警告するように動作可能な取り付け部品を含み得る。
本明細書は、例えば、以下の項目も提供する。
（項目１）
ユーザの周囲からの１つ以上の音響キューまたは視覚キューと関連付けられたデータを受信、処理、および送信するように動作可能な１つ以上のデータモジュールと、
前記１つ以上のデータモジュールに通信可能に連結された１つ以上のカメラおよび１つ以上のマイクロホンであって、
それぞれ、前記１つ以上の音響キューまたは視覚キューを記録し、かつ
それぞれ、前記１つ以上の音響キューまたは視覚キューと関連付けられた前記データを前記１つ以上のデータモジュールに送信するように動作可能な１つ以上のカメラおよび１つ以上のマイクロホンと、
前記１つ以上のデータモジュールから、前記１つ以上の音響キューまたは視覚キューと関連付けられた処理済みのデータを受信するように動作可能な１つ以上のスピーカと、
を備える、システム。
（項目２）
前記１つ以上のカメラが、少なくとも１つの低解像度のビデオカメラを含む、項目１に記載のシステム。
（項目３）
前記１つ以上のカメラが、前記ユーザの側方視野および後方視野を記録するように動作可能である、項目１または２に記載のシステム。
（項目４）
前記１つ以上のカメラの１つ以上の眺めが重なる、項目１〜３のいずれか一項に記載のシステム。
（項目５）
前記１つ以上のマイクロホンの１つ以上の音声受信フィールドが重なる、項目１〜４のいずれか一項に記載のシステム。
（項目６）
前記１つ以上のスピーカ、前記１つ以上のマイクロホン、および前記１つ以上のカメラが、前記ユーザの車両、ヘルメット、または他の種類のギアの１つ以上の前方、側方、もしくは後方領域に取り付けられるか、固定されるか、または埋め込まれる、項目１〜５のいずれか一項に記載のシステム。
（項目７）
前記１つ以上のデータモジュールが、音声処理モジュール、画像処理モジュール、地理的位置処理モジュール、および１つ以上の制御モジュールを含む、項目１〜６のいずれか一項に記載のシステム。
（項目８）
前記１つ以上の制御モジュールが、メディア制御モジュールを含む、項目７に記載のシステム。
（項目９）
前記音声処理モジュールおよび前記画像処理モジュールが、１つ以上の音響キューまたは視覚キューと関連付けられた前記データから、安全スコアを含む安全情報を生成するように動作可能なそれぞれのサブモジュールを含む、項目７または８に記載のシステム。
（項目１０）
前記音声処理モジュールが、前記１つ以上の音響キューと関連付けられた前記データから、背景騒音または環境騒音を含む騒音を選択的に除去するように動作可能なサブモジュールを含む、項目７〜９のいずれか一項に記載のシステム。
（項目１１）
前記音声処理モジュールが、前記１つ以上の音響キューと関連付けられた前記データから、車両のサイレンまたはクラクションを含む警告データを選択的に除去するように動作可能なサブモジュールを含む、項目７〜１０のいずれか一項に記載のシステム。
（項目１２）
前記音声処理モジュールおよび前記画像処理モジュールが、前記１つ以上の音響キューまたは視覚キューのソースまたは前記ソースの位置のうちの１つ以上を決定するように動作可能なそれぞれのサブモジュールを含む、項目７〜１１のいずれか一項に記載のシステム。
（項目１３）
前記音声処理モジュールおよび前記画像処理モジュールが、前記１つ以上の音響キューまたは視覚キューと関連付けられた前記処理済みのデータのそれぞれの態様を分類するように動作可能なそれぞれのパターン分類器を含む、項目７〜１２のいずれか一項に記載のシステム。
（項目１４）
帽子であって、
前記帽子の周囲からの音響キューおよび視覚キューと関連付けられたデータを受信、処理、および送信するように動作可能な１つ以上のデータモジュールと、
前記１つ以上のデータモジュールに通信可能に連結された１つ以上のカメラおよび１つ以上のマイクロホンであって、
それぞれ、前記音響キューおよび視覚キューを記録し、かつ
前記音響キューおよび視覚キューと関連付けられた前記データを前記１つ以上のデータモジュールに送信するように動作可能な１つ以上のカメラおよび１つ以上のマイクロホンと、
前記１つ以上のデータモジュールから、前記音響キューまたは視覚キューと関連付けられた処理済みのデータを受信するように動作可能な１つ以上のスピーカと、
を備える、帽子。
（項目１５）
オートバイのユーザに警告するための装置であって、
前記ユーザの前記オートバイまたはギアに対して前記装置を取り付けるように動作可能な取り付け部品と、
プロセッサおよび記憶デバイスを備える１つ以上の回路であって、前記記憶デバイスが、前記装置の側方または後方の周囲の音響キューまたは視覚キューと関連付けられたデータを受信、処理、および送信するように動作可能なプロセッサ実行可能命令を含む、１つ以上の回路と、
前記１つ以上の回路に通信可能に連結された１つ以上のカメラおよび１つ以上のマイクロホンであって、
前記音響キューまたは視覚キューをそれぞれ記録し、
前記音響キューまたは視覚キューと関連付けられた前記データを前記１つ以上の回路に送信する、ように動作可能な１つ以上のカメラおよび１つ以上のマイクロホンと、
前記音響キューまたは視覚キューと関連付けられた処理済みのデータを、前記１つ以上の回路から受信するように動作可能な１つ以上のスピーカと、
を備える装置。

他のシステム、装置、特徴、および利点は、以下の図および詳細な説明を考察することにより当業者には明らかであり得るか、または明らかになり得る。全てのそのような追加のシステム、方法、特徴、および利点がこの説明に包含され、本発明の範囲内であり、かつ以下の特許請求の範囲によって保護されることが意図される。

車両安全システム（ＶＳＳとも呼ばれる）は、以下の図面および説明を参照することにより、より良好に理解され得る。図面内の構成要素は必ずしも縮尺通りでなく、むしろ本発明の原理を図解するために強調されている。さらに、図面では、同様の参照番号は、異なる図全体を通して対応する部品を指定する。
後方視野および側方視野を記録するためのカメラを含む例示のオートバイのヘルメットの上部斜視図を含む、例示のＶＳＳの例示の態様を示す。 例示のＶＳＳの例示の態様のブロック図を示す。 図２のＶＳＳなどのＶＳＳの例示の音響処理モジュールおよび例示のマイクロホン（複数可）のブロック図を示す。 図２のＶＳＳなどのＶＳＳの例示の映像／画像処理モジュールおよび例示のカメラ（複数可）のブロック図を示す。

実装の例の以下の説明は、解説目的でのみ与えられており、限定する意味はないことを理解すべきである。図面に示す機能ブロック、モジュール、またはユニットでの例の区分化は、これらの機能ブロック、モジュール、またはユニットが必ず物理的に分離したユニットとして実装されることを示すものと解釈されるべきではない。図示するまたは説明される機能ブロック、モジュール、またはユニットは、個別のユニット、回路、チップ、機能、モジュール、または回路要素として実装され得る。１つ以上の機能ブロックまたはユニットはまた、共通の回路、チップ、回路要素、またはユニットとして実装され得る。

（車両のユーザなどの）ユーザに、ユーザおよび／または車両の周囲に関する（車両の側方または後方の運転もしくは乗車条件などの）知覚情報を提供する車両安全システム（ＶＳＳとも呼ばれる）を、本明細書に説明する。例えば、（マイクロホンおよび／またはカメラなどの）音響センサーおよび／または視覚センサーによって、ＶＳＳは、接近する車両または（車両および／またはユーザに対して危険な物体などの）他の物体についてユーザに警告する。１つの態様では、ユーザは、それぞれ接近する高速進行乗用車または接近する緊急車両などの、接近する危険なもしくは緊急運転条件を、ＶＳＳが検出してそれについてユーザに警告するまでは、ユーザは、ＶＳＳのスピーカを介して音声エンターテインメントを受信し得る。さらに、警告は、安全性を高める以外にも、ある位置もしくは位置の種類、約束、時間もしくは日付、天候条件、および／または類似物の通知を提供するなどの他の目的を果たし得る。ユーザは、触覚または音声の入力を介してＶＳＳと相互作用して、知覚情報を選択、管理、または制御し得る。本明細書中で用いられる「知覚情報」という用語は、音声、映像、警告などを含む。

ＶＳＳは、車両と一緒にまたは車両のユーザのアパレルおよび／またはギアと一緒に用いられるものなどの情報システムを含み得る。例えば、ＶＳＳは、車両または車両と関連付けられた車両情報システムに取り付けられるまたはこれと一体化され得る。また、ＶＳＳは、ユーザのアパレルおよび／またはギアに埋め込まれるまたは固定され得る。例えば、ＶＳＳは、自転車ヘルメット、（図１のオートバイヘルメット１００などの）オートバイヘルメット、または他の任意の種類の車両ヘルメットなどのヘルメットと組み合わされ得る。ＶＳＳはまた、本明細書中では一般に「ヘルメット」と呼ばれるスポーツまたは工事用のハット、バンド、またはヘルメットなどの他の種類の帽子とも組み合わされ得る。

ＶＳＳは、（図１のカメラ１０４および１０６などの）１つ以上のカメラ、
（図３のマイクロホン３０２などの）１つ以上のマイクロホン、１つ以上のスピーカ、ユーザの周囲および／または車両の周囲からの音響キューおよび／または視覚キューと関連付けられたデータを受信し、処理し、およびそれをＶＳＳのユーザに送出するための１つ以上の制御モジュールおよびデータモジュールを含み得る。ＶＳＳは、音響／視覚出力システムの一部として含まれ得る、スタンドアロンシステムであり得る、または音響／視覚出力システムと通信し得る。

１つ以上のカメラは、低解像度ビデオカメラなどの任意の種類の画像センサーであり得る。例えば、画像センサーの解像度は、共通の中間形式（ＣＩＦ）３５２×２８８〜ダブルＣＩＦ（ＤＣＩＦ）５２８×３８４であり得る。１つ以上のカメラは、車両または車両のユーザの側方視野および後方視野を記録する任意の様式で配列され得る。例えば、１つ以上のカメラは、それぞれ、車両、ヘルメット、および／または他の種類のユーザアパレルおよび／またはギアから外側に面する車両、ヘルメット、および／または他の任意の種類のユーザアパレルおよび／またはギアの１つ以上の側方または後方の領域上に配列され得る。また、１つ以上のカメラは、それらの視野が重なるように配列され得る。このような場合、１つ以上のカメラは、実質的に完全な後方および側方視野を記録するように動作可能であり得る。

１つ以上のマイクロホンは、ＶＳＳを囲む音声を最適に受信する任意の様式で配列され得る。例えば、マイクロホンは、それぞれ、車両、ヘルメット、および／または他の種類のユーザアパレルおよび／またはギアから外側に面する車両、ヘルメット、および／または任意の他の種類のユーザアパレルおよび／またはギアの１つ以上の側方または後方の領域上に配列され得る。また、１つ以上のマイクロホンは、それらの音声受信または方向性パターンのフィールドが重なるように配列され得る。マイクロホンは、全方向性または単一方向性であり得るし、また、騒音除去、ビーム形成、および／または可聴音声の検出を向上させる任意の他の機能性を提供するように配列され得る。このような例示の配列は、周囲環境からの１つ以上の音声信号の１つ以上のマイクロホンによる受信を向上させ得る。

音響／視覚出力システムは、ヘッドユニット、増幅器、表示デバイス、ユーザインターフェース、およびユーザに音響出力または視覚出力を提供する任意の他の構成要素を含み得る。音響／視覚出力デバイスの機能性は、システムのユーザインターフェース制御、ナビゲーション、音響均等化、無線通信、車両ステータスおよび診断法、ならびに車両に関連する任意の他の動作機能を含み得る。音響／視覚出力システムはまた、可聴音声を出力するために音響信号で１つ以上のラウドスピーカを駆動する機能を含み得る。

ＶＳＳによって駆動される１つ以上のスピーカは、車両上に含まれる音響／視覚システムの一部として含まれ得るまたは含まれ得ない。したがって、ＶＳＳは、１つ以上のスピーカを駆動し得るもしくは駆動し得ないまたは、１つ以上のスピーカを駆動するために音響／視覚システムに信号を提供し得る。スピーカは、ＶＳＳを用いる車両のユーザに対して可聴の音響信号を提供する任意の様式で配列され得る。例えば、１つ以上のスピーカは、車両および／またはヘルメットの１つ以上の前方、側方、後方の領域上に配列され得るし、ユーザに向かって面し得る。１つ以上のスピーカは、車両および／もしくはヘルメットの前述の領域に取り付けられ得る、固定され得る（ポケット中に固定されるなど）、または埋め込まれ得る。

１つ以上の制御モジュールおよびデータモジュールは、（図２の音声処理モジュール２０２などの）音声処理モジュール、（図２の映像／画像処理モジュール２０４などの）映像／画像処理モジュール、（図２の地理的位置処理モジュール２０６などの）地理的位置処理モジュール、および（図２の優先度アサイナー／検出モジュール２０８および媒体制御モジュール２１０などの）１つ以上の制御モジュールを含み得る。

音声処理モジュールは、安全スコアまたは安全格付けを含む安全性に関連する情報を生成し得るサブモジュールを含み得る。音声処理モジュールはまた、背景騒音または環境騒音などの騒音を１つ以上の音声信号から選択的に除去し得る、少なくとも１つのフィルタ（例えば、図３のフィルタ３０４）のサブモジュールを含み得る。音声処理モジュールはまた、車両のサイレンまたはクラクションなどの１つ以上の音声信号中の警告音声の検出のために可聴音声を選択的にフィルタリングし得る、１つ以上のフィルタ（例えば、図３のフィルタ３０６および３０８）などの１つ以上のサブモジュールを含み得る。また、音声処理モジュールは、１つ以上の音声信号が発信している方向または位置を決定することが可能な（図３の方向処理モジュール３１０などの）サブモジュールを含み得る。ＶＳＳ中に２つ以上のマイクロホンがある１つの例では、方向性音響キューが利用可能である。

安全性に関連する情報を生成することが可能な音声処理モジュールのサブモジュールは、少なくとも部分的に１つ以上のフィルタリングされた音声信号に基づいて安全スコアを生成することが可能である。１つの例では、１つ以上のフィルタリングされた音声信号は、警告音声用にフィルタリングされているおよび／またはそれぞれの上述のフィルタおよび／またはサブモジュールのうちの１つ以上によって騒音が除去されている可能性がある。

音声処理モジュールはまた、音声をそれぞれ決定し得るおよび／または分類し得る（図３のパターンおよび／または音声分類器３１２などの）パターンおよび／または音声分類器を含み得る。パターンおよび／または音声分類器は、１つ以上のフィルタリングされたまたはフィルタリングされていない音声信号を、（図３の音声ベクトルデータベース管理システム（ＤＢＭＳ）３１４などの）データベースに記憶されている所定の音声として決定し得るおよび／または分類し得る。音声の特定は、整合周波数特徴、インパルス応答特徴、または任意の他の音声関連特徴などの、検出された音声波および音声ベクトルデータベース中の音声ベクトル中の類似した特徴を特定することに基づき得る。例示の分類は、車両のエンジン、クラクション、および／またはサイレンの音声を含み得る。

音声処理モジュールに類似して、映像／画像処理モジュールは、安全スコアまたは安全格付けを含む、安全性に関連する情報を生成し得るサブモジュールを含み得る。また、映像／画像処理モジュールはまた、１つ以上の映像／画像信号をフィルタリングする類似のサブモジュールを含み得る。

また、映像／画像処理モジュールは、映像記録で記録された物体を決定することが可能な画像認識機能を含むサブモジュールを含み得る。例えば、人工知能、画像マッピング技法、または何らかの他の形態の画像認識は、車両および／または（自転車、オートバイ、乗用車、およびトラックなどの）車両種類を特定し得る。１つの例では、これらの決定はまた、音声処理モジュールによってまたはこれと組み合わされてなされ得る。例えば、図３の車両分類モジュール３１６は、受信した音声信号、受信した画像、または受信した音声信号および画像信号の組み合わせから車両の種類を決定し得る。

画像認識はまた、物体が運動しているか無生物であるか、物体のサイズ、ＶＳＳのユーザに対するその位置、およびその動作などの物体の属性を決定し得る（例えば、図４のモジュール４０４〜４０８を参照）。例えば、画像認識は、（ユーザの背後からの高速進行車両などの）ユーザに接近する高速進行車両、および往来で急カーブおよび／またはジグザグ運転する車両などの無謀運転車両を決定し得る。１つの例では、接近する車両の速度ならびに急カーブおよび／またはジグザグ運転などの接近車両の速度および水平運動は、接近する物体を道路障壁および／または車線マークなどの道路上の無生物物体と比較することによって決定され得る。また、仮想の物体または投影された線などの投影物体は、このような決定を支援し得る。

さらに、映像／画像処理モジュールは、音声処理モジュール用の誤認警告検出器として動作し得るし、この逆も成立する。例えば、音声処理モジュールは、接近する緊急車両を（例えば、徐々に大きくなるサイレンを検出することによって）特定し得る。しかしながら、一部のシナリオでは、接近する緊急車両に見え得るものは、接近車両のエンジンまたはマフラーの音声、または、建物もしくはトンネルの平坦な表面によって反射／投影された可聴音声であり得る。映像／画像処理モジュールは、この誤算を検出し得る。例えば、映像／画像処理モジュールは、（警察車両、消防車両、レッカー車両、または医療車両などの）緊急車両を非緊急車両から区別することが可能であり得る。映像／画像処理モジュールは、例えば、緊急車両の緊急灯を検出することによってこのことを実行し得る。

加えて、ある状況では、（緊急車両または無謀運転車両などの）検出されるように選択された接近車両は、音声処理モジュールによって検出可能となる前に映像／画像処理モジュールによって検出可能となり得るし、この逆も成り立つ。ＶＳＳを用いるユーザの位置は、地理的位置処理モジュールによって追跡および／または特定され得るため、ＶＳＳは、ユーザの状況に気が付いている。ユーザのこの特定によって、ＶＳＳは、事情により、それぞれ、音声処理モジュールおよび／または映像／画像処理モジュールを状況に基づいて、起動する（出力を上げる、または電源を投入する）および／または起動解除する（出力を下げる、または電源を切る）ことが可能である。例えば、周囲の周辺騒音状態が、低騒音水準を持つ地方道路上などの所定のしきい値未満であるとき、ＶＳＳは、映像／画像処理モジュールの電源を下げる、または電源を切り得るが、周囲の周辺騒音状態が、より高い騒音水準を持つ高速道路またはフリーウエイ上などの所定のしきい値を超えるとき、映像／画像処理モジュールの出力が上げられるか、または電源が投入される。ユーザの位置の決定を向上させるために、地理的位置処理モジュールは、グローバルポジショニングシステム（ＧＰＳ）を含むか、またはこれと一緒に動作し得る。

加えて、優先度アサイナー／検出モジュールなどの制御モジュールは、音声処理モジュールおよび／または映像／画像処理モジュールの１つ以上の安全スコアまたは格付けに優先値を割り当て得る。例えば、それぞれの優先値（それぞれＰ_１およびＰ_２）は、音声処理モジュールおよび映像／画像処理モジュールの安全スコア（それぞれＳ（ｔ）およびＶ（ｔ））に割り当てられ得る。また、これらそれぞれの優先値は、地理的位置処理モジュールからの安全スコア（Ｇ（ｔ））などの別のスコアに依存し得る。それぞれのスコアと優先値との積の和は、全体的な安全格付け（Ｔ）に等しくなり得る。要するに、Ｐ_１Ｓ（ｔ）＋Ｐ_２Ｖ（ｔ）＝Ｔとなる。

Ｔが最小総合安全スコア（道路状態に応じて調節され得る）未満である場合、安全性危険フラグが、優先度アサイナー／検出モジュールによってトリガーされ得る。この安全性危険フラグは、次に、直接にまたはＶＳＳの媒体制御ユニットを介してスピーカに渡され得る。

Ｓ（ｔ）およびＶ（ｔ）は、時間の関数であり得るし、リアルタイムスコアであり得る。例えば、スコアは、高速の音声記録時間および映像／画像記録時間に対して決定され得る。このような例では、スコアは、ナノ秒以内で決定されるおよび／または更新され得る。

フラグを媒体制御ユニットに渡す場合、ユーザによって知覚された音響媒体は、ミュートされ得るまたはミュートに減衰され得る。１つの例では、音響媒体の音量は、潜在的に危険な車両または緊急の車両とユーザとの間の距離に対して下げられ得る。危険な車両または緊急の車両が危険地帯（ユーザに対する所定の危険距離）に接近するにつれて、媒体は減衰され得る。いったん車両が危険地帯にあると、媒体は完全にミュートにすることが可能である。

図１に関連して、ＶＳＳのユーザに対して後方視野および側方視野を記録するためのＶＳＳのカメラ１０４および１０６を含む例示のオートバイヘルメット１００の上部斜視図を含む例示のＶＳＳの例示の態様を示す。また、カメラ１０４および１０６の視界のそれぞれの中心線１０４ａおよび１０６ａ、それぞれの境界１０４ｂ、１０４ｃ、１０６ｂ、および１０６ｃならびにそれぞれの視野角１０４ｄおよび１０６ｄを示す。図１では、視野が重なっている１０８、そのため、ＶＳＳは連続的な後方および側方視野を記録することが可能である。同様に、マイクロホンは、類似の様式で、または周囲の可聴音声を記録する任意の他の構成で配置し得る。

図２に関連して、例示のＶＳＳ２００の例示の態様を示す。図示するように、ＶＳＳ２００は、音声処理モジュールおよび１つ以上のマイクロホン２０２、映像／画像処理モジュールおよび（図１のカメラ１０４および１０６などの）１つ以上のカメラ２０４、地理的位置処理モジュールおよびＧＰＳ２０６、優先度アサイナー／検出モジュール２０８、媒体制御モジュール２１０、（ヘッドホンまたは１つ以上のラウドスピーカなどのトランスジューサを駆動し得る）ヘッドユニット２１２、ならびにＶＳＳ２００の上述の図示の態様を通信可能に連結する制御バス２１４を含む。また、ネットワーク２１６と無線通信可能に連結された地理的位置処理モジュールおよびＧＰＳ２０６を示す。ネットワーク２１６は、ＧＰＳ衛星ネットワーク、電気通信ネットワーク、および／または類似物であり得る。

また、音声処理モジュールおよび映像／画像処理モジュールは、Ｓ（ｔ）およびＶ（ｔ）をそれぞれＶＳＳ２００の（優先度アサイナー／検出モジュール２０８などの）他の要素と通信させ得る。さらにその上、図２は、Ｓ’（ｔ）およびＶ’（ｔ）を音声処理モジュールおよび映像／画像処理モジュールに戻って通信させる優先度アサイナー／検出モジュール２０８などのＶＳＳ（２００）の他の要素を示すが、ここで、Ｓ’（ｔ）およびＶ’（ｔ）は、Ｓ（ｔ）およびＶ（ｔ）によって開始される制御ループのそれぞれの帰還信号を表す。Ｓ’（ｔ）およびＶ’（ｔ）を受信すると、それに従って、Ｓ（ｔ）およびＶ（ｔ）は、少なくとも部分的にＳ’（ｔ）およびＶ’（ｔ）に基づいて調節され得る。Ｓ’（ｔ）は、例えば周囲騒音の表示を表す。Ｖ’（ｔ）は、例えば、自動焦点合わせ、自動コントラストなどで用いられる信号を提供する。

さらに、帰還信号は、マイクロホンの感度またはカメラの解像度を制御するために用いることが可能な情報を提供し得る。例えば、警告が継続的に発生している場合、優先度アサイナーは、解像度をより高い検証水準に変更し得る。このような場合および他の場合、帰還信号は、自動焦点合わせ、自動コントラストなどの、マイクロホンまたはカメラのパラメータの自動再構成用のフラグであり得る。

図３は、音声処理モジュール２０２および１つ以上の例示のマイクロホン３０２のブロック図を示す。また、音声処理モジュール２０２の内部または外部の１つ以上の関連信号の流れを示す。

図示するように、音声信号（複数可）は、マイクロホン（複数可）３０２によって記録され得る。すると、音声信号（複数可）の無関係の背景騒音または環境騒音が、騒音フィルタ３０４によってフィルタリングされる。次に、フィルタリングされた信号（複数可）は、帯域通過フィルタ３０６および／または方向処理モジュール３１０に通信される。方向処理モジュール３１０は、音声信号（複数可）の要素を生成する物体の位置を決定し得る、代替的にまたは加えて、音声が到達する方向が決定され得る。さらに、帯域通過フィルタ３０６を通過した後で、フィルタリングされた音声信号（複数可）は、帯域分解能フィルタ３０８を通過し得る。１つの例では、フィルタ３０６および３０８は、音声信号（複数可）の所望の成分の定義を向上および／またはこれを増幅し得る。

帯域分解能フィルタ３０８および方向処理モジュール３１０から、音声信号（複数可）および／または音声信号（複数可）の成分は、音声ベクトルデータベース管理システム３１４に通信可能に連結されたパターンおよび／または音声分類器３１２によって特定されて、分類され得る。この分類プロセスに続いて、成分は、車両分類器３１６で、車両種類によってさらに分類される。

図示するように、音声処理モジュール２０２の外部のＶＳＳの部品に対して、方向処理モジュール３１０は、方向情報を優先度アサイナー／検出モジュール２０８に通信し得る。また、車両分類器３１６および／またはパターンおよび／または音声分類器３１２は、音声信号分類情報を優先度アサイナー／検出モジュール２０８に通信し得る。さらに、車両分類器３１６は、映像／画像処理モジュール２０４から車両分類情報を受信し得る。

図４は、映像／画像処理モジュール２０４および（図１のカメラ１０４および１０６などの）１つ以上の例示のカメラ４０２のブロック図を示す。また、映像／画像処理モジュール２０４の内部および外部の１つ以上の関連信号の流れを示す。

図示するように、映像／画像信号（複数可）は、カメラ（複数可）４０２によって記録され得る。これらの映像／画像信号（複数可）から、路線／車線検出および場面検出モジュール４０４は、接近物体（複数可）の速度および水平運動と関連付けられたデータを検出し得る。次に、計算モジュール４０６は、路線／車線検出および場面検出モジュール４０４で検出されたデータから接近物体（複数可）の速度および水平運動を決定し得る。次に、相互関連付けモジュール４０８は、このような情報を、音声処理モジュール２０２からの対応する（車両分類などの）物体分類および／または音声信号（複数可）と相互関連付け得る。

図示するように、映像／画像処理モジュールの外部のＶＳＳの部品に対して、路線／車線検出および場面検出モジュール４０４は、速度および水平運動データを、ヘッドユニット２１２および／または媒体制御モジュール２１０に通信し得る。また、計算モジュール４０６は、ユーザ位置情報および接近物体の位置情報を、ネットワーク２１６、地理的位置処理モジュール２０６、および／またはＧＰＳ２０６から受信し得る。さらに、相互関連付けモジュール４０８は、相互関連付けられたデータを優先度アサイナー／検出モジュール２０８に通信し得る。

優先度アサイナー／検出モジュール（または単に優先度アサイナー）に関して、このようなモジュールは、優先度を信号Ｖ（ｔ）およびＳ（ｔ）に割り当てて、出力信号およびこれらの信号が有効であるかどうかを決定し得る。例えば、運転者が高速道路上で運転している場合、Ｖ（ｔ）は、Ｓ（ｔ）の３０％優先度に対して７０％優先度などのより大きい優先度を与えられる。高速道路上では、運転者自身のエンジン騒音が、他の車両からの音声信号と干渉すると期待し得る。より低い速度では、Ｓ（ｔ）は、反対の理由によって、Ｖ（ｔ）に勝る優先度を取り得る。また、アサイナー／検出モジュールは、地理的位置モジュールなどの他のモジュールから情報を受信して、その優先度決定を強化し得る。

一般に、ＶＳＳ、任意のモジュール、インターフェース、もしくは他のＶＳＳの態様、またはＶＳＳと一緒に動作する任意の他のデバイスもしくはシステムは、様々な種類の計算デバイスの部品、部分、または全てもしくは１つ以上を含み得る。計算デバイスの部品、部分、または全ては、計算デバイスの部品、部分、または全てに開示される任意の１つ以上の過程またはコンピュータベースの機能を実施させるために実行されることが可能な命令の集合を含み得る。計算デバイスの部品、部分、または全ては、スタンドアロンデバイスとして動作し得るまたは、ネットワークなどを用いるなどして他のコンピュータシステムまたは周辺デバイスに接続され得る。計算デバイスの部品、部分、または全ては、音、音響、映像、またはデータの通信を提供する電子デバイスを用いて実装され得る。

計算デバイスの部品、部分、または全てはまた、中央処理ユニット（ＣＰＵ）、１つ以上のデジタル信号プロセッサ、または異なるもしくは同一のプロセッサのなんらかの組み合わせなどのプロセッサを含み得る。プロセッサは、様々なシステム中の構成要素であり得る。プロセッサは、１つ以上の汎用プロセッサ、デジタル信号プロセッサ、特定用途向け集積回路、フィールドプログラム可能ゲートウエイ、サーバ、ネットワーク、デジタル回路、アナログ回路、これらの組み合わせ、または他の現在周知のもしくは以降に開発されるデータを分析して処理するデバイスであり得る。プロセッサは、手動で生成されたまたはプログラムされたコードなどのソフトウェアプログラムを実装し得る。

「モジュール」という用語は、複数の実行可能モジュールを含むものと定義され得る。モジュールは、ソフトウェア、ハードウェア、ファームウエア、またはプロセッサによって実行可能なそれらのなんらかの組み合わせを含み得る。ソフトウェアモジュールは、メモリまたはプロセッサで実行可能であり得る別のメモリデバイスに記憶された命令を含み得る。ハードウェアモジュールは、プロセッサによる実施目的で実行可能である、指示される、または制御される様々なデバイス、構成要素、回路、ゲート、回路基板などを含み得る。

計算デバイスの部品、部分、または全てはまた、バスを介して通信することが可能なメモリを含み得る。メモリは、主メモリ、スタティックメモリ、またはダイナミックメモリであり得る。メモリは、ランダムアクセスメモリ、リードオンリーメモリ、プログラム可能リードオンリーメモリ、電気的にプログラム可能なリードオンリーメモリ、電気的に消去可能なリードオンリーメモリ、フラッシュメモリ、磁気テープもしくはディスク、光媒体などを含む、様々な種類の揮発性および不揮発性記憶媒体などのコンピュータ読み取り可能記憶媒体を含み得る。また、メモリは、プロセッサ用のキャッシュメモリまたはランダムアクセスメモリを含み得る。代替的には、プロセッサのキャッシュメモリ、システムメモリ、または他のメモリなどのメモリは、プロセッサから分離し得る。メモリは、データを記憶する外部記憶デバイスまたはデータベースであり得る。例は、ハードドライブ、コンパクトディスクスク（「ＣＤ」）、デジタルビデオディスク（「ＤＶＤ」）、メモリカード、メモリスティック、フロッピディスク、ユニバーサルシリアルバス（「ＵＳＢ」）メモリデバイス、またはデータを記憶するように動作する任意の他のデバイスを含む。メモリは、プロセッサによって実行可能な命令を記憶するように動作可能である。

図面に示すまたは説明するモジュール、機能、動作、またはタスクは、メモリに記憶されている命令を実行するようプログラムされたプロセッサによって実施され得る。モジュール、機能、動作、またはタスクは、特定の種類の命令集合、記憶媒体、プロセッサ、または処理戦略とは独立であり得るし、ソフトウェア、ハードウェア、集積回路、ファームウエア、マイクロコードなどによって実施され、単独でまたは組み合わされて動作し得る。処理戦略は、マルチ処理、マルチタスク、並列処理などを含み得る。

コンピュータ読み取り可能媒体または機械読み取り可能媒体は、命令実行可能システム、装置、またはデバイスによってまたはこれらと組み合わされて用いられるソフトウェアを含むまたは記憶する任意の非一時メモリデバイスを含み得る。機械読み取り可能媒体は、電子式、電磁式、光学式、電磁気式、赤外線式、または半導体式システム、装置、またはデバイスであり得る。例は、携帯式磁気もしくは光ディスク、ランダムアクセスメモリ「ＲＡＭ」、リードオンリーメモリ「ＲＯＭ」、または消去可能なプログラム可能リードオンリーメモリ「ＥＰＲＯＭ」、またはフラッシュメモリなどの揮発性メモリを含み得る。機械読み取り可能メモリはまた、ソフトウェアが記憶される非一時的な有形の媒体を含む。ソフトウェアは、画像としてまたは（光走査などによって）他の形式で電子的に記憶され、次に、編集、または解釈もしくは別様に処理され得る。

計算デバイスの部品、部分、または全てはまた、ユーザがＶＳＳの構成要素のうちの任意のものと相互作用することを許容するように構成された入力デバイスを含み得る。入力デバイスは、（キーパッド上のキーを押圧するなど）音入力または触覚入力を受信するためのハードウェアおよび／またはソフトウェアを含み得る。

計算デバイスの部品、部分、または全てはまた、音、映像、音響、画像、または任意の他のデータをネットワーク上で通信するための通信インターフェースまたはポートを含み得る。このインターフェースまたはポートは、計算デバイスの部品または部分の任意のまたは全ての部品を接続し得るバスに接続され得る。

「コンピュータ読み取り可能媒体」という用語は、集中データベースまたは分散データベースなどの単一の記憶媒体もしくは複数の記憶媒体または、１つ以上の命令集合を記憶する関連付けられたキャッシュおよびサーバを含み得る。「コンピュータ読み取り可能媒体」という用語はまた、プロセッサによる実行のためのまたはコンピュータシステムに開示する方法または動作のうちの任意の１つ以上を実施させる命令の集合を記憶する、符号化する、または担持することが可能な任意の媒体を含み得る。「コンピュータ読み取り可能媒体」は、非一時的であり得るし、また有形であり得る。

代替例では、特定用途向け集積回路、プログラム可能ロジックアレイ、および他のハードウェアデバイスなどの専用のハードウェア実装物は、ＶＳＳの様々な態様を実装するように構築され得る。説明する１つ以上の例は、モジュール間でおよびこれらを通じて通信されることが可能な関連の制御信号およびデータ信号で２つ以上の特定の相互接続されたハードウェアモジュールまたはデバイスを用いて、または、特定用途向け集積回路の部分として、機能を実装し得る。ＶＳＳは、ソフトウェア、ファームウエア、およびハードウェアの実装物を網羅し得る。

説明するＶＳＳは、コンピュータシステムによって実行可能なソフトウェアプログラムによって実装され得る。実装物は、分散処理、構成要素／物体分散処理、および並列処理を含むことが可能である。代替的には、仮想コンピュータシステム処理は、ＶＳＳの様々な態様を実装するように構築することが可能である。

未決請求項での用法を明確化し、それにより公衆に通知を提供するために、「＜Ａ＞、＜Ｂ＞、・・・および＜Ｎ＞のうちの少なくとも１つ」または「＜Ａ＞、＜Ｂ＞、・・・＜Ｎ＞、またはこれらの組み合わせのうちの少なくとも１つ」という句は、出願者によってもっとも広い意味で定義され、出願者が反対の意味で明示的に主張しない限り、以前または以降の暗示された他のいずれの定義にも優先して、Ａ、Ｂ、・・・およびＮから成る群から選択された１つ以上の要素、すなわち、任意の１つの要素を単独でまたは、リストアップされていないさらなる要素を組み合わせてこれまた含み得る他の要素のうちの１つ以上と組み合わせて含む要素Ａ、Ｂ、・・・またはＮのうちの１つ以上の任意の組み合わせを意味する。

本発明の様々な実施形態を説明したが、さらに多くの実施形態および実装物が、本発明の範囲内で可能であることが当業者には明らかであり得る。例えば、上記の説明の多くは、車両周囲観察システムによって利用される本発明の態様を提示するが、しかしながら、他の種類の周囲観察システムが、同様に本発明のこれらの態様および他の態様を利用し得る。したがって、本発明は、添付の特許請求の範囲およびそれらの同等物による以外、制限されるものではない。

Claims (13)

1. システムであって、前記システムが、
   ユーザの周囲からの１つ以上の音響キューまたは視覚キューと関連付けられたデータを受信、処理、および送信するように動作可能な１つ以上のデータモジュールと、
   前記１つ以上のデータモジュールに通信可能に連結された１つ以上のカメラおよび１つ以上のマイクロホンであって、前記１つ以上のカメラおよび前記１つ以上のマイクロホンが、
   それぞれ、前記１つ以上の音響キューまたは視覚キューを記録することと、
   それぞれ、前記１つ以上の音響キューまたは視覚キューと関連付けられた前記データを前記１つ以上のデータモジュールに送信することと
   を実行するように動作可能である、１つ以上のカメラおよび１つ以上のマイクロホンと、
   可聴音声として音響媒体を出力することと、前記１つ以上のデータモジュールから、前記１つ以上の音響キューまたは視覚キューと関連付けられた処理済みのデータを受信することとを実行するように動作可能な１つ以上のスピーカと
   を備え、
   前記１つ以上のデータモジュールが、音声処理モジュール、画像処理モジュール、地理的位置処理モジュール、および１つ以上の制御モジュールを含み、
   前記音声処理モジュール、前記画像処理モジュール、および前記地理的位置処理モジュールが、前記１つ以上の音響キューまたは視覚キューと関連付けられた前記データから、安全スコアを含む安全情報を各々生成するように動作可能なそれぞれのサブモジュールを含み、
   前記１つ以上の制御モジュールが、前記音声処理モジュール、前記画像処理モジュール、および前記地理的位置処理モジュールの前記安全スコアの各々に優先値を割り当てる優先度アサイナーモジュールを含み、
   全体的な安全格付けが、少なくとも前記音声処理モジュール、前記画像処理モジュール、および前記地理的位置処理モジュールの前記安全スコアならびにそれらのそれぞれの優先値に基づいて計算され、
   前記全体的な安全格付けがしきい値未満である場合に、前記優先度アサイナーモジュールは、前記１つ以上の制御モジュールに安全性危険フラグを提供し、
   前記１つ以上の制御モジュールが前記安全性危険フラグを受信する場合に、前記１つ以上の制御モジュールは、前記１つ以上の音響キューまたは視覚キューの位置と前記ユーザとの間の距離に対して前記出力される音響媒体の音量を下げる、システム。
2. 前記１つ以上のカメラが、少なくとも１つの低解像度のビデオカメラを含む、請求項１に記載のシステム。
3. 前記１つ以上のカメラが、前記ユーザの側方視野および後方視野を記録するように動作可能である、請求項１または２に記載のシステム。
4. 前記１つ以上のカメラの１つ以上の眺めが重なる、請求項１〜３のいずれか一項に記載のシステム。
5. 前記１つ以上のマイクロホンの１つ以上の音声受信フィールドが重なる、請求項１〜４のいずれか一項に記載のシステム。
6. 前記１つ以上のスピーカ、前記１つ以上のマイクロホン、および前記１つ以上のカメラが、前記ユーザの車両、ヘルメット、または他の種類のギアの１つ以上の前方、側方、もしくは後方領域に取り付けられるか、固定されるか、または埋め込まれる、請求項１〜５のいずれか一項に記載のシステム。
7. 前記１つ以上の制御モジュールが、メディア制御モジュールを含む、請求項１〜６のいずれか一項に記載のシステム。
8. 前記音声処理モジュールが、前記１つ以上の音響キューと関連付けられた前記データから、背景騒音または環境騒音を含む騒音を選択的に除去するように動作可能なサブモジュールを含む、請求項１〜７のいずれか一項に記載のシステム。
9. 前記音声処理モジュールが、前記１つ以上の音響キューと関連付けられた前記データから、車両のサイレンまたはクラクションを含む警告データを選択的に除去するように動作可能なサブモジュールを含む、請求項１〜８のいずれか一項に記載のシステム。
10. 前記音声処理モジュールおよび前記画像処理モジュールが、前記１つ以上の音響キューまたは視覚キューのソースまたは前記ソースの位置のうちの１つ以上を決定するように動作可能なそれぞれのサブモジュールを含む、請求項１〜９のいずれか一項に記載のシステム。
11. 前記音声処理モジュールおよび前記画像処理モジュールが、前記１つ以上の音響キューまたは視覚キューと関連付けられた前記処理済みのデータのそれぞれの態様を分類するように動作可能なそれぞれのパターン分類器を含む、請求項１〜１０のいずれか一項に記載のシステム。
12. 帽子であって、前記帽子が、
    前記帽子の周囲からの音響キューおよび視覚キューと関連付けられたデータを受信、処理、および送信するように動作可能な１つ以上のデータモジュールと、
    前記１つ以上のデータモジュールに通信可能に連結された１つ以上のカメラおよび１つ以上のマイクロホンであって、前記１つ以上のカメラおよび前記１つ以上のマイクロホンが、
    それぞれ、前記音響キューおよび視覚キューを記録することと、
    前記音響キューおよび視覚キューと関連付けられた前記データを前記１つ以上のデータモジュールに送信することと
    を実行するように動作可能である、１つ以上のカメラおよび１つ以上のマイクロホンと、
    可聴音声として音響媒体を出力することと、前記１つ以上のデータモジュールから、前記音響キューおよび視覚キューと関連付けられた処理済みのデータを受信することとを実行するように動作可能な１つ以上のスピーカと
    を備え、
    前記１つ以上のデータモジュールが、音声処理モジュール、画像処理モジュール、地理的位置処理モジュール、および１つ以上の制御モジュールを含み、
    前記音声処理モジュール、前記画像処理モジュール、および前記地理的位置処理モジュールが、前記音響キューおよび視覚キューと関連付けられた前記データから、安全スコアを含む安全情報を各々生成するように動作可能なそれぞれのサブモジュールを含み、
    前記１つ以上の制御モジュールが、前記音声処理モジュール、前記画像処理モジュール、および前記地理的位置処理モジュールの前記安全スコアの各々に優先値を割り当てる優先度アサイナーモジュールを含み、
    全体的な安全格付けが、少なくとも前記音声処理モジュール、前記画像処理モジュール、および前記地理的位置処理モジュールの前記安全スコアならびにそれらのそれぞれの優先値に基づいて計算され、
    前記全体的な安全格付けがしきい値未満である場合に、前記優先度アサイナーモジュールは、前記１つ以上の制御モジュールに安全性危険フラグを提供し、
    前記１つ以上の制御モジュールが前記安全性危険フラグを受信する場合に、前記１つ以上の制御モジュールは、前記音響キューおよび視覚キューの位置とユーザとの間の距離に対して前記出力される音響媒体の音量を下げる、帽子。
13. オートバイのユーザに警告するための装置であって、前記装置が、
    前記ユーザの前記オートバイまたはギアに対して前記装置を取り付けるように動作可能な取り付け部品と、
    プロセッサおよび記憶デバイスを備える１つ以上の回路であって、前記記憶デバイスが、前記装置の側方または後方の周囲の音響キューまたは視覚キューと関連付けられたデータを受信、処理、および送信するように動作可能なプロセッサ実行可能命令を含む、１つ以上の回路と、
    前記１つ以上の回路に通信可能に連結された１つ以上のカメラおよび１つ以上のマイクロホンであって、前記１つ以上のカメラおよび前記１つ以上のマイクロホンが、
    それぞれ、前記音響キューまたは視覚キューを記録することと、
    前記音響キューまたは視覚キューと関連付けられた前記データを前記１つ以上の回路に送信することと
    を実行するように動作可能である、１つ以上のカメラおよび１つ以上のマイクロホンと、
    可聴音声として音響媒体を出力することと、前記音響キューまたは視覚キューと関連付けられた処理済みのデータを、前記１つ以上の回路から受信することとを実行するように動作可能な１つ以上のスピーカと
    を備え、
    前記１つ以上の回路が、音声処理モジュール、画像処理モジュール、地理的位置処理モジュール、および１つ以上の制御モジュールをさらに含み、
    前記音声処理モジュール、前記画像処理モジュール、および前記地理的位置処理モジュールが、前記音響キューまたは視覚キューと関連付けられた前記データから、安全スコアを含む安全情報を各々生成するように動作可能なそれぞれのサブモジュールを含み、
    前記１つ以上の制御モジュールが、前記音声処理モジュール、前記画像処理モジュール、および前記地理的位置処理モジュールの前記安全スコアの各々に優先値を割り当てる優先度アサイナーモジュールを含み、
    全体的な安全格付けが、少なくとも前記音声処理モジュール、前記画像処理モジュール、および前記地理的位置処理モジュールの前記安全スコアならびにそれらのそれぞれの優先値に基づいて計算され、
    前記全体的な安全格付けがしきい値未満である場合に、前記優先度アサイナーモジュールは、前記１つ以上の制御モジュールに安全性危険フラグを提供し、
    前記１つ以上の制御モジュールが前記安全性危険フラグを受信する場合に、前記１つ以上の制御モジュールは、前記音響キューまたは視覚キューの位置と前記ユーザとの間の距離に対して前記出力される音響媒体の音量を下げる、装置。