JP7419435B2 - 自律車両用カメラリング構造 - Google Patents

Description

関連出願の相互参照
本出願は、２０１８年６月１４日に提出された米国特許出願第１６／００８，４６２号の出願日の利益を主張し、その開示は参照により本明細書に組み込まれる。

自律車両、特に人間の運転手を必要としない車両は、乗客、貨物、または他のアイテムをある場所から別の場所に輸送するために使用することができる。そのような車両は、乗客からのいかなる運転入力もない完全自律モードで、または車両内の人が何らかの運転入力を提供することができる部分自律モードで動作し得る。自律モードでの運転を支援するために、センサを使用して、車両の周りの環境における特徴および対象物を検出する。センサは、周囲の環境に関する情報を収集するために、車両の周りの異なる場所に１つ以上のカメラを含み得る。しかしながら、使用されるカメラの種類、配置、および検知能力は、車両が部分または完全自律モードで効果的に動作できるかどうかに影響を与える場合がある。

本開示の態様は、自律運転モードで動作するように構成された車両にとって特に有益なカメラリング構造を提供する。カメラリング構造は、車両の周りのシームレスで妨げのない視野を提供するように設計されたカメラアセンブリ内の様々な画像センサを同一場所に設置する。この構造は、定義された許容誤差内で画像センサの動作を保証するために、機械的剛性および減衰も提供する。他のタイプのセンサが、包括的なセンサシステムの一部としてカメラ画像センサと同一場所に設置されてもよい。この構造は、例えば、光検出および測距（ＬＩＤＡＲ）センサやレーダーセンサなど、他のセンサからの電磁干渉（ＥＭＩ）に対する保護を提供することができる。さらに、構造は、熱ヒートシンクを含むか、または他の方法で、カメラおよびセンサシステムの他の構成要素にある程度の温度調節を提供することができる。

一態様によれば、自律運転モードで動作するように構成された車両で使用するために、カメラアセンブリが提供される。カメラアセンブリは、第１の面および第２の面を有するシャーシと、シャーシの第２の面に固定されたトッププレートとを含む。シャーシは、それに沿って分散され、かつ第２の面から離れる方向に延在する一連のカメラマウントを含む。カメラモジュールのセットは、一連のカメラマウントのうちの１つに各々固定されている。カメラモジュールのセットは、第１のサブセットと第２のサブセットとを含む。カメラモジュールの第１のサブセットは各々、一対の画像センサを含み、カメラモジュールの第２のサブセットは各々、１つの画像センサを含む。カメラモジュールの第１のサブセットは、車両の周りの３６０°の視野を提供するように配列されている。カメラアセンブリはまた、カメラモジュールのセットに固定されたベースプレートと、トッププレートとベースプレートとの間に配設された外側カバーとを含む。外側カバーは、第１および第２のサブセットの画像センサの視野に対応する一連の開口部を含む。カメラモジュールの第２のサブセットは、車両の前部に沿って６０～１３５°の視野を提供するように配列され得る。

一例では、第１のサブセットの各それぞれのカメラモジュールの一対の画像センサは、同一場所に設置され、共通の垂直軸に沿って整列されている。ここで、一対の画像センサの画像センサの両方は、実質的に同等の視野を有し得る。この場合、実質的に同等の視野は、４５°程度であり得る。

別の例では、第１のサブセットの各カメラモジュールの画像センサは、第１のサブセットの隣接する各カメラモジュールからの画像センサと重複する視野を有し、第２のサブセットの各カメラモジュールの画像センサは、第２のサブセットの隣接する各カメラモジュールからの画像センサと重複する視野を有する。この場合、カメラモジュールの第１のサブセットの画像センサの重複する視野は、０．５～４°であり得、カメラモジュールの第２のサブセットの画像センサの重複する視野は、３～４°であり得る。

トッププレート、ベースプレート、および外側カバーは、他のセンサによる放射からのカメラモジュールの電磁干渉保護、およびカメラモジュールによる放射からの他のセンサの電磁干渉保護のうちの少なくとも１つを提供するように構成され得る。カメラアセンブリはまた、トッププレートとベースプレートとの間に配設された少なくとも１つのファンを含み得る。

別の態様によれば、自律運転モードで動作するように構成された車両で使用するために、センサアセンブリが提供される。センサアセンブリは、車両の表面に取り付けるように構成されたベース領域、ベース領域に対向する上部領域、およびベース領域と上部領域との間に延在する側壁を有するハウジングを含む。第１のセンサは、ハウジング内に配設されている。カメラアセンブリは、ハウジング内に配設され、側壁に結合されている。カメラアセンブリは、第１の面および第２の面を有するシャーシを備える。シャーシは、それに沿って分散され、かつ第２の面から離れる方向に延在する一連のカメラマウントを含む。トッププレートは、シャーシの第２の面に固定されている。カメラモジュールのセットは、一連のカメラマウントのうちの１つに各々固定されており、カメラモジュールのセットは、第１のサブセットと第２のサブセットとを含む。カメラモジュールの第１のサブセットは各々、一対の画像センサを含み、カメラモジュールの第２のサブセットは各々、１つの画像センサを含む。カメラモジュールの第１のサブセットは、車両の周りの３６０°の視野を提供するように配列されている。ベースプレートは、カメラモジュールのセットに固定されている。また、トッププレートとベースプレートとの間に外側カバーが配設されている。外側カバーは、第１および第２のサブセットの画像センサの視野に対応する一連の開口部を含む。

一代替形態では、センサアセンブリは、ハウジング内に配設された第２のセンサをさらに含む。第１のセンサは、カメラアセンブリのトッププレートとハウジングの上部領域との間に配列され、第２のセンサは、カメラアセンブリのベースプレートとハウジングのベース領域との間に配列されている。第１および第２のセンサのうちの少なくとも１つは、光検出および測距（ＬＩＤＡＲ）センサであり得る。

一例では、カメラモジュールのセットに隣接する側壁の少なくとも一部は、光学的に透明である。別の例では、センサアセンブリは、ハウジング内に配設された１つ以上のプロセッサをさらに含む。１つ以上のプロセッサは、第１のセンサならびにカメラモジュールの第１および第２のサブセットに動作可能に結合されている。

さらなる態様によれば、自律モードで動作するように構成された車両が提供される。車両は、運転操作を実行するように構成された運転システムと、車両の周囲の環境内の対象物を検出するように構成された知覚システムと、運転システムおよび知覚システムに動作可能に結合された制御システムとを含む。制御システムは、知覚システムからデータを受信し、かつ自律モードで動作するときに運転システムに指示するように構成された１つ以上のコンピュータプロセッサを有する。知覚システムは、カメラアセンブリを含み、カメラアセンブリは、第１の面および第２の面を有するシャーシと、シャーシの第２の面に固定されたトッププレートとを含む。シャーシは、それに沿って分散され、かつ第２の面から離れる方向に延在する一連のカメラマウントを含む。カメラアセンブリは、一連のカメラマウントのうちの１つに各々固定されているカメラモジュールのセットも含む。カメラモジュールのセットは、第１のサブセットと第２のサブセットとを含む。カメラモジュールの第１のサブセットは各々、一対の画像センサを含み、カメラモジュールの第２のサブセットは各々、１つの画像センサを含む。カメラモジュールの第１のサブセットは、車両の周りの３６０°の視野を提供するように配列されている。加えて、カメラモジュールのセットにはベースプレートが固定されており、トッププレートとベースプレートとの間に外側カバーが配設されている。外側カバーは、第１および第２のサブセットの画像センサの視野に対応する一連の開口部を含む。

一例では、カメラモジュールの第２のサブセットは、車両の前部に沿って６０～１３５°の視野を提供するように配列されている。別の例では、第１のサブセットの各それぞれのカメラモジュールの一対の画像センサは、同一場所に設置され、共通の垂直軸に沿って整列されている。

さらなる例では、第１のサブセットの各カメラモジュールの画像センサは、第１のサブセットの隣接する各カメラモジュールからの画像センサと重複する視野を有し、第２のサブセットの各カメラモジュールの画像センサは、第２のサブセットの隣接する各カメラモジュールからの画像センサと重複する視野を有する。

また別の例では、知覚システムは、車両の屋根に取り付けるように構成されたベース領域、ベース領域に対向する上部領域、およびベース領域と上部領域との間に延在する側壁を有するハウジングをさらに含む。それはまた、ハウジング内に配設された第１のセンサを含む。カメラアセンブリは、ハウジング内に配設され、側壁に結合されている。この場合、知覚システムは、ハウジング内に配設された第２のセンサをさらに含み得る。ここで、第１のセンサは、カメラアセンブリのトッププレートとハウジングの上部領域との間に配列され、第２のセンサは、カメラアセンブリのベースプレートとハウジングのベース領域との間に配列されている。

本開示の態様による、カメラリング構造を使用する例示的な自律車両を示す。 本開示の態様による自律車両のシステム図を示す。 本開示の態様による例示的なセンサアセンブリを示す。 本開示の態様による、カメラリング構造で使用する画像センサの配列を示す。 本開示の態様による、様々なタイプの画像センサの視野を示す。 本開示の態様による、様々なタイプの画像センサの視野を示す。 本開示の態様による、重複する視野を示す。 本開示の態様による、重複する視野を示す。 本開示の態様による、重複する視野を示す。 本開示の態様によるカメラアセンブリの図を示す。 本開示の態様によるカメラアセンブリの図を示す。 本開示の態様によるカメラモジュールを示す。 本開示の態様によるカメラモジュールを示す。 カメラモジュールのピッチおよびロールを示す。 カメラモジュールのピッチおよびロールを示す。 本開示の態様によるカメラアセンブリの一部を示す。 本開示の態様によるカメラアセンブリの一部を示す。 本開示の態様によるカメラアセンブリの一部を示す。 本開示の態様による図１０Ａ～Ｃのカメラアセンブリのさらなる要素を示す。 本開示の態様による図１０Ａ～Ｃのカメラアセンブリのさらなる要素を示す。 本開示の態様による図１０Ａ～Ｃのカメラアセンブリのさらなる要素を示す。 本開示の態様による、カメラアセンブリのシャーシおよびトッププレートを示す。 本開示の態様による、カメラアセンブリのシャーシおよびトッププレートを示す。 本開示の態様によるベースプレートを示す。 本開示の態様によるベースプレートを示す。 本開示の態様によるベースプレートを示す。 本開示の態様による、カメラアセンブリの要素を備えたセンサハウジングを示す。 本開示の態様による、カメラアセンブリの要素を備えたセンサハウジングを示す。 本開示の態様による、カメラアセンブリの要素を備えたセンサハウジングを示す。

概要
この技術は、完全自律モードまたは半自律モードで運転しながら、人、貨物、または他のアイテムを場所間で輸送することができる車両に関する。本開示のいくつかの態様は、特定のタイプの車両に関して特に有用であるが、この技術は、これらに限定されないが、自動車、トラック、オートバイ、バス、ボート、芝刈り機、レクリエーション用車両、農機具、建設機械、路面電車、ゴルフカート、トロリーなどを含む、様々なタイプの車両に採用され得る。

部分的または完全に自律的な運転システムを有する車両によって様々な自律度が採用され得る。Ｕ．Ｓ．Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ ａｎｄ ｔｈｅ Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓは、どれだけ多く、またはどれだけ少なく、車両が運転を制御するかを示すために、様々なレベルを特定した。例えば、レベル０は自動化されておらず、運転手は、運転に関連するすべての決定を行う。最も低い半自律モードであるレベル１は、クルーズコントロールなど、何らかのドライブ支援を含む。ここで、先進運転支援システム（ＡＤＡＳ）は、ステアリングまたはブレーキ／加速のいずれかで人間の運転手を支援することはできるが、両方を同時に支援することはできない。レベル２は、特定の運転操作が部分的に自動化されている。特に、ＡＤＡＳは、特定の状況下で、ステアリングとブレーキ／加速の両方を同時に制御することができる。それにもかかわらず、運転手は、そのような状況での運転環境を監視し、残りの運転タスク（複数可）を実行する必要がある。レベル３は、運転席にいる人が必要に応じて制御できるようにする条件付き自動化を伴う。ここで、車両の自動運転システム（ＡＤＳ）は、特定の状況下で運転のすべての側面を実行するように構成されている。この場合、運転手は、制御するようにＡＤＳによって要求されたときはいつでも制御できる必要がある。他のすべての状況では、運転手が運転を行う。対照的に、レベル４は、車両が選んだ条件で支援なしで運転することができる高度な自動化レベルである。ここで、ＡＤＳは、特定の状況で、すべての運転操作を実行し、運転環境を監視する。そして、レベル５は、完全自律モードであり、車両は、乗客の支援なしで、あらゆる状況ですべての運転操作を実行することができる。本明細書に記載のアーキテクチャ、構成要素、システム、および方法は、本明細書で「自律」運転モードと呼ばれる、例えば、レベル１～５の半自律モードまたは完全自律モードのいずれかで機能することができる。したがって、自律運転モードへの言及は、部分自律型と完全自律型の両方を含み、自律車両は、自律運転モードで動作するように構成された車両である。

セダン、ＳＵＶ、ミニバン、クーペ、およびクロスオーバーなどの特定の車両では、単一の見晴らしの良い地点から３６０度の視界を達成することができる。例えば、図１は、屋根上に位置するセンサアセンブリ１０２、ならびに側面センサ１０４および前面センサ１０６を有する例示的な自動車１００を示している。また、背面センサ（図示せず）など他のセンサを用いてもよい。一例として、センサアセンブリ１０２は、車両の周りの３６０°の視界を提供し得、一方、他のセンサは、環境に関する補足情報を提供し得る。カメラリング構造および関連する構成要素は本明細書に記載し、センサアセンブリ１０２の一部として用いられ得る。

例示的なシステム
図２は、自律運転モードで動作することができる、自動車などの車両の様々な構成要素およびシステムを備えたブロック図２００を示している。ブロック図に示されるように、車両は、１つ以上のプロセッサ２０４、メモリ２０６、および汎用コンピューティングデバイスに典型的に存在する他の構成要素を含むコンピューティングデバイス２０２など１つ以上のコンピューティングデバイスの制御システムを有し得る。

メモリ２０６は、プロセッサ２０４によって実行または別様に使用され得る命令２０８およびデータ２１０を含む、１つ以上のプロセッサ２０４によってアクセス可能な情報を記憶する。メモリ２０６は、コンピューティングデバイス可読媒体を含む、プロセッサによってアクセス可能な情報を記憶することができる任意のタイプのものであり得る。メモリは、ハードドライブ、メモリカード、光ディスク、ソリッドステート、テープメモリなどの非一時的媒体である。システムは、上記の様々な組み合わせを含んでもよく、それによって、命令およびデータの様々な部分が、様々なタイプの媒体に記憶される。

命令２０８は、プロセッサによって直接的に（マシンコードなど）または間接的に（スクリプトなど）実行される任意の命令のセットであってもよい。例えば、命令は、コンピューティングデバイス可読媒体上のコンピューティングデバイスコードとして記憶されてもよい。その点において、「命令」および「プログラム」という用語は、本明細書では、区別なく使用され得る。命令は、プロセッサによる直接処理のためのオブジェクトコード形式で、または要求に応じて解釈されるか、もしくは予めコンパイルされているスクリプトもしくは独立したソースコードモジュールの集合を含む、任意の他のコンピューティングデバイス言語で記憶され得る。データ２１０は、命令２０８に従って、１つ以上のプロセッサ２０４によって検索、記憶、または修正され得る。一例として、メモリ２０６のデータ２１０は、異なるタイプのセンサを較正するときに使用される較正情報などの情報を記憶することができる。

１つ以上のプロセッサ２０４は、市販されているＣＰＵなど任意の従来のプロセッサであってもよい。あるいは、１つ以上のプロセッサは、ＡＳＩＣまたは他のハードウェアベースプロセッサなどの専用デバイスであってもよい。図２は、プロセッサ（複数可）、メモリ、およびコンピューティングデバイス２０２の他の要素を同じブロック内にあるものとして機能的に示しているが、そのようなデバイスは、実際には、同じ物理的ハウジング内に収容されてもされなくてもよい複数のプロセッサ、コンピューティングデバイス、またはメモリを含み得る。同様に、メモリ２０６は、プロセッサ（複数可）２０４のものとは異なるハウジング内に位置するハードドライブまたは他の記憶媒体であり得る。したがって、プロセッサまたはコンピューティングデバイスへの言及は、並列に動作してもしなくてもよいプロセッサまたはコンピューティングデバイスまたはメモリの集合体への言及を含むことが理解される。

一例では、コンピューティングデバイス２０２は、車両１００または他の車両に組み込まれた自律運転コンピューティングシステムを実装し得る。自律運転コンピューティングシステムは、車両の様々な構成要素と通信可能であり得る。例えば、コンピューティングデバイス２０２は、（車両のブレーキを制御するための）減速システム２１２、（車両の加速を制御するための）加速システム２１４、（車輪の向きおよび車両の方向を制御するための）ステアリングシステム２１６、（方向指示器を制御するための）シグナリングシステム２１８、（車両をある場所または対象物の辺りにナビゲートするための）ナビゲーションシステム２２０、および（車両の位置を判断するための）測位システム２２２を含む運転システムを含む、車両の様々なシステムと通信することができる。

コンピューティングデバイス２０２はまた、（車両の環境内の対象物を検出するための）知覚システム２２４、電力システム２２６（例えば、バッテリおよび／またはガソリンもしくはディーゼル動力エンジン）、およびトランスミッションシステム２３０に動作可能に結合されて、車両の乗客からの連続的または定期的な入力を要求または必要としない自律運転モードで、メモリ２０６の命令２０８に従って、車両１００の動き、速度などを制御する。車輪／タイヤ２２８は、トランスミッションシステム２３０に結合され、コンピューティングデバイス２０２は、自律モードでの運転に影響を与え得るタイヤ空気圧、バランス、および他の要因に関する情報を受信することができる。

コンピューティングデバイス２０２は、様々な構成要素を制御することによって車両の方向および速度を制御してもよい。例として、コンピューティングデバイス２０２は、地図情報およびナビゲーションシステム２２０からのデータを使用して、車両を目的地に完全に自律的にナビゲートし得る。コンピューティングデバイス２０２は、測位システム２２２を使用して車両の場所を判断し、その場所に安全に到着する必要があるとき、知覚システム２２４を使用して、対象物を検出し、対象物に応答することができる。そうするために、コンピューティングデバイス２０２は、車両を（例えば、加速システム２１４によってエンジンに提供される燃料または他のエネルギーを増加させることによって）加速し、（例えば、エンジンに供給される燃料を低減し、ギヤを切り替え、および／または減速システム２１２によってブレーキをかけることによって）減速し、（例えば、ステアリングシステム２１６によって、車両１１０または１２０の前輪または後輪の向きを変えることによって）方向を変更し、（例えば、シグナリングシステム２１８の方向指示器を点灯することによって）そのような変更を合図し得る。したがって、加速システム２１４および減速システム２１２は、車両のエンジンと車両の車輪との間に様々な構成要素を含む、動力伝達装置または他のトランスミッションシステム２３０の一部であり得る。この場合も、これらのシステムを制御することによって、コンピューティングデバイス２０２はまた、車両を自律的に操縦するために、車両のトランスミッションシステム２３０を制御することができる。

一例として、コンピューティングデバイス２０２は、車両の速度を制御するために、減速システム２１２および加速システム２１４と相互作用し得る。同様に、ステアリングシステム２１６は、車両の方向を制御するために、コンピューティングデバイス２０２によって使用され得る。例えば、車両が、セダン、ミニバン、またはＳＵＶなど、道路で使用するように構成されている場合、ステアリングシステム２１６は、車両を回転させるために車輪の角度を制御するための構成要素を含んでもよい。シグナリングシステム２１８は、例えば、必要に応じて方向指示器またはブレーキライトを点灯させることによって、車両の意図を他の運転手または車両に合図するために、コンピューティングデバイス２０２によって使用され得る。

ナビゲーションシステム２２０は、ある場所までのルートを決定し、たどるために、コンピューティングデバイス２０２によって使用され得る。この点について、ナビゲーションシステム２２０および／またはデータ２１０は、地図情報、例えば、コンピューティングデバイス２０２が車両をナビゲートまたは制御するために使用することができる非常に詳細な地図を記憶してもよい。一例として、これらの地図は、車道、車線マーカ、交差点、横断歩道、交通信号、建物、標識、植生、または他のそのような対象物の形状および高さを識別し得る。地図は、速度制限およびリアルタイムの交通情報を含む、他の情報も提供し得る。

知覚システム２２４はまた、他の車両、車道内の障害物、交通信号、標識、樹木など、車両の外部の対象物を検出するための１つ以上の構成要素を含む。例えば、知覚システム２２４は、画像センサを含む１つ以上のカメラのセット、１つ以上のＬＩＤＡＲセンサ、レーダユニット、ソナーデバイス、カメラ、慣性（例えば、ジャイロスコープ）センサ、および／またはコンピューティングデバイス２０２によって処理され得るデータを記録する任意の他の検出デバイスを含んでもよい。知覚システムのセンサは、対象物およびその特性、例えば、場所、向き、サイズ、形状、タイプ（例えば、車両、歩行者、自転車に乗っている人など）、進行方向、および移動速度などを検出し得る。センサおよび／または前述の特性からの生データは、知覚システム２２４によって生成されると、さらなる処理のために定期的かつ継続的にコンピューティングデバイス２０２に送信され得る。コンピューティングデバイス２０２は、測位システム２２２を使用して車両の場所を判断し、その場所に安全に到着する必要があるとき、知覚システム２２４を使用して、対象物を検出し、対象物に応答することができる。加えて、コンピューティングデバイス２０２は、個々のセンサ、特定のセンサアセンブリ内のすべてのセンサ、または異なるセンサアセンブリ内のセンサ間の較正を実行することができる。

図２に示されるように、知覚システム２２４は、１つ以上のセンサアセンブリ２３２を含む。一例では、センサアセンブリは、車両の周囲の３６０°の視界を提供することができる車両上の位置にある中央ハウジングであり得る。別の例では、複数のセンサアセンブリが、車両に沿った選択されたポイントに分散され得る。接続（図示せず）は、センサアセンブリと車両の１つ以上の他のシステムとの間の電力、通信、および／または他の接続を提供し得る。例えば、データ通信バスは、カメラと、センサアセンブリの他のセンサと、コンピューティングデバイス２０２との間の双方向通信を提供し得る。電力線は、電力システム２２６、またはコンピューティングデバイス２０２によって制御されるバッテリなどの別個の電源に直接または間接的に接続され得る。

図３は、本開示の態様によるセンサアセンブリの例３００を提示している。示されるように、センサアセンブリは、破線によって示されるように、車両の屋根の部分３０４に取り付けられるハウジング３０２を含む。ハウジング３０２は、示されるようなドーム型、円筒形、半球形であってもよく、または異なる幾何学的形状を有していてもよい。ハウジング３０２内には、屋根から遠隔にまたは離れて配列された第１のセンサ３０６と、屋根の近くに配列された第２のセンサ３０８とがある。センサ３０６および３０８の一方または両方は、ＬＩＤＡＲまたは他のタイプのセンサであり得る。第１のセンサ３０６と第２のセンサ３０８との間に配設されているのは、カメラリング構造などのカメラアセンブリ３１０である。カメラアセンブリ３１０は、それに沿って配列された１つ以上のカメラのセットを含む。ハウジング３０２は、少なくともカメラが配列される場所に沿って光学的に透明であり得る。図３には示されていないが、図２のプロセッサ２０４などの１つ以上のプロセッサが、センサアセンブリの一部として含まれ得る。プロセッサは、カメラアセンブリの様々な画像センサから受信した生の画像、ならびにセンサアセンブリ全体の他のセンサから受信した情報を処理するように構成され得る。

例示的な実装形態
上述し、図に示された構造および構成に加えて、ここで、様々な実装形態について説明する。

カメラアセンブリ３１０は、車両の周りの全体的な３６０°の視野を提供するように位置付けられた複数の対の画像センサを有する第１のサブシステムを含み得る。カメラアセンブリ３１０はまた、例えば、前方の道路上の対象物をよりよく識別するために、例えば、約９０°の視野を提供するために、概して、車両の前方を向いている画像センサの第２のサブシステムを含み得る。このサブシステムの視野はまた、９０°より大きくても小さくてもよく、例えば、約６０～１３５°であり得る。図４は、第１および第２のサブシステムの様々な画像センサの向きの例４００を提供する。ＣＣＤまたは他のタイプの撮像要素が用いられ得るが、画像センサは、ＣＭＯＳセンサであり得る。

カメラサブシステムの高さは、車両上のカメラアセンブリの配置および車両のタイプによって異なる。例えば、カメラアセンブリが大型ＳＵＶの屋根上またはその上に取り付けられている場合、典型的に、カメラアセンブリがセダンまたはスポーツカーの屋根上に取り付けられているときよりも高さがより高い。また、配置および構造上の制限により、車両のすべてのエリアの周りで視界が等しくない場合がある。カメラリング構造の直径および車両上の配置を変えることによって、適切な３６０°の視野を取得することができる。例えば、カメラリング構造の直径は、例えば、おおよそ０．２５～１．０メートルで変化し得る。直径は、カメラアセンブリを配置する車両のタイプ、および車両上に位置する特定の場所に応じて、より大きく、またはより小さくなるように選択され得る。

図４に示されるように、第１のサブシステムの一対の各画像センサは、第１の画像センサ４０２および第２の画像センサ４０４を含む。第１および第２の画像センサは、別個のカメラ要素の一部であり得るか、または１つのカメラモジュールに一緒に含まれ得る。このシナリオでは、第１の画像センサ４０２は、自動露出に設定され、第２の画像センサ４０４は、例えば、暗色または中性密度（ＮＤ）フィルタを使用して、固定露出に設定される。ここでは、８対の画像センサが示されているが、より多くのまたはより少ない対が使用されてもよい。第２の画像サブシステムは、第１および第２の画像センサの解像度よりも高い解像度を有し得る画像センサ４０６を含む。この強化された解像度は、知覚システムに車両の前のシーンを可能な限り詳細に提供するために、車両の前方を向いているカメラにとって特に有益であり得る。図４は、第２のサブシステムの３つの画像センサを示しているが、より多くのまたはより少ない画像センサが使用されてもよい。この例では、第２のサブシステムからの３つおよび第１のサブシステムからの８対を含む、合計１９の画像センサがカメラアセンブリに用いられている。この場合も、カメラアセンブリには、より多くのまたはより少ない画像センサが用いられ得る。

自動露出画像センサ４０２、固定露出画像センサ４０４、および高解像度画像センサ５０６は、拡張ダイナミックレンジを提供するように選択され、これは、知覚システムが車両の周囲の環境内の対象物および環境の特徴を識別するのに役立つ。特に、自動露出画像センサ４０２は、１０～５，０００ｃｄ／ｍ^２（ニット）の範囲などの低光レベルの状況を処理するように構成され、一方、固定露出画像センサ４０４は、１，０００～２００，０００ニット以上の範囲など高光レベルを処理するように構成される。そして、高解像度画像センサ４０６は、０．０１～２５ニットの範囲などの非常に弱光の状況を処理することができる場合がある。全体として、画像センサの３タイプのダイナミックレンジは、１０^－２ニット～１０^５ニットであり得る。各タイプの画像センサの正確なダイナミックレンジは、特定のシステム要件および使用されるセンサ要素に応じて異なり得る。

図５Ａおよび図５Ｂは、画像センサ４０２、４０４、および４０６の視野を示している。特に、図５Ａは、画像センサ４０２および４０４の例示的なＦＯＶを示し、図５Ｂは、画像センサ４０６の例示的なＦＯＶを示す。図５Ａによれば、画像センサ４０２および４０４の８対は各々、約４５°ＦＯＶをカバーする。これは、中心がそれぞれ０°と１８０°の前方と後方のＦＯＶ、および中心が９０°と２７０°の右側と左側のＦＯＶを含む。図に示されるように、他のＦＯＶは、これらの間に均等に離間している。一対の画像センサは同一場所に設置され、例えば、同じ垂直（またはＺ）軸に沿って整列される。特に、画像センサ４０４は、画像センサ４０２の真上に位置付けられていてもよい。これによって、各それぞれの対のセンサによって取得された画像の一貫性を比較することができ、画像処理の複雑さを軽減することができる。そして、図５Ｂによれば、３つの画像センサ４０６は一緒に９０°ＦＯＶをカバーし、中央画像センサは、０°に整列されたＦＯＶを有し、左右の画像センサは、中心がそれぞれ３０°および３３０°のＦＯＶを有する。

各画像センサの正確な視野は、例えば、センサ要素の特徴に応じて異なり得る。例として、画像センサ４０２および４０４は、約５０°のＦＯＶ、例えば、４９°～５１°を有し、一方、画像センサ４０６は、例えば、５～１０％以上など、３０°程度またはそれよりわずかに多いＦＯＶを有し得る。これは、隣接する画像センサのＦＯＶにおける重複を可能にする。重複は、カメラアセンブリのリングの中心から選択された距離にあるポイントに対する尺度とすることができる。例えば、ポイントは、アセンブリの中心から約４メートルでもよい。

様々な画像センサによって生成された画像の継ぎ目は望ましくないため、選択された重複の量は有益である。加えて、選択された重複によって、処理システムは、画像のスティッチングを回避することができる。画像スティッチングは、従来のパノラマ画像処理で実行され得るが、車両が自動運転モードで動作しているリアルタイムの状況で実行するのは計算が難しい可能性がある。必要な時間量および処理リソースを低減することによって、車両の運転時の知覚システムの応答性が大幅に向上する。

図６Ａ～Ｃは、画像センサの重複の例を示す。特に、画像センサ４０２の場合、０．５～２°の重複６０２（図６Ａ）、あるいは１°以下の重複があり得る。画像センサ４０４の場合、２～４°の重複６０４（図６Ｂ）、あるいは３．５°以下の重複があり得る。そして、画像センサ４０６の場合、３～４°の重複６０６（図６Ｃ）、あるいは５°以下の重複があり得る。

図７Ａは、リング構造７００として配列されたカメラアセンブリの斜視図を示している。図７Ｂは、カメラ構成要素のみが示されているトップダウン図を示している。カメラ７０２、７０４、および７０６は、図４の画像センサ４０２、４０４、および４０６に対応し得る。破線の投影７０８は、様々なカメラの例示的な視野を示している。リング構造の別の構成要素はケーブル７１０であり、これは、データおよび／または電力ケーブルであり得る。例えば、ケーブルは、カメラから生画像データを受信し、ボード７１２を介してそれを画像プロセッサに提供することができる。ファン７１４は、センサハウジング内の様々な構成要素を冷却し、バッフル７１６は、冷却された空気を選択された構成要素に向けるか、またはそれらから加熱された空気を除去し得る。リング構造の他の部分について、以下で詳細に説明する。

カメラ７０２および７０４は、同一場所に設置され、同じ垂直軸に沿って整列され得る。図７Ａに示されるように、カメラ７０４は、下側のカメラ、例えば、カメラ７０２に対して後退または凹ませてもよい。一例では、カメラ７０４は、１～５ｃｍ凹んでいてもよい。カメラの各対は、カメラモジュールのハウジング内に封入されてもよい。図８Ａは、カメラバッフル８０２によって受容される画像センサ４０２および４０４に対応するカメラ７０２および７０４を含むカメラハウジング８００を示している。示されるように、対のネジまたは他の留め具８０４および８０６が、取り付け穴に挿入されている。これらの留め具は、カメラをリング構造内の所定の位置に保持するのに役立つ。しかしながら、カメラモジュールの一方または両方のカメラがピッチおよびロールの影響を受ける場合がある。そのため、重複する視野に加えて、カメラアセンブリは、カメラモジュールの撮像要素のピッチおよびロールも考慮する。そして、図８Ｂは、カメラバッフル８１２によって受容されたカメラ７０６を示している。

図９Ａ～Ｂは、それぞれピッチおよびロールの例を示している。図９Ａの側面図に示されるピッチ関連の動きに関して、これは、カメラモジュール表面の不規則性、カメラポインティングの不規則性、または他の要因によって発生する場合がある。例えば、カメラモジュールは、リング構造の支持プレートに取り付けられ得る。しかしながら、支持プレートまたはカメラモジュールを支持プレートに接続するブラケットの表面が凹凸である場合がある。そして、図９Ｂの正面図に示されるようなロール関連の動きに関して、そのような動きは、取り付け穴９００に対する留め具の回転および「揺れ（ｓｌｏｐ）」のために起こり得る。また、カメラモジュールの内部の不規則性が原因である場合もある。様々なカメラモジュールを支持するリング構造は、ピッチ、ロール、および／またはヨーの合計変動が公称位置から＋／－２度になるように構成されている。

図８に戻ると、カメラモジュールは、各カメラ７０２および７０４のバッフルを含み得る。バッフルは、望ましくない迷光を遮断するように機能する。また、カメラをハウジング内に保持するのにも役立ち得る。さらに、バッフルは、大型カメラ用の補正光学系を保持することもできる。

図１０Ａは、カメラアセンブリの選択された構成要素の斜視図１０００を示している。図１０Ｂは、これらの構成要素の分解図であり、図１０Ｃは上面図である。示されるように、カメラアセンブリは、ほぼ円形であり、かつトッププレート１００４と、それに固定されたカメラモジュール１００６および１００８とを有するシャーシ１００２を含む。ファン１０１０もまた、例えば、トッププレート１００４への接続によって取り付けられる。ケーブリング１０１２は、カメラモジュールおよびファンへのデータ線および電力線のための配線を含み得る。そして、図１０Ｂに最もよく見られるように、シャーシ１００２は、カメラモジュール１００６および１００８を受け入れるように適合されたカメラマウント１０１４を含む。

ファンは、カメラアセンブリの構成要素を換気および／または冷却する。デュアルファンを使用すると、カメラアセンブリを含むセンサアセンブリ（図３を参照）のハウジング内に２つの気流経路を提供することができる。気流経路はまた、空気が光学面、例えば、カメラレンズに吹き付けられるように向けることができ、ほこり、粒子、または破片がない清潔な状態に保つ。

図１１Ａ～Ｂは、追加の構成要素を備えた図１０Ａ～Ｃのカメラアセンブリの側面図および底面図を示す。ここに示されるように、カメラアセンブリはまた、カメラのリングの周りの外側カバー１１００、ならびにベースプレート１１０２を含む。外側カバー１１００は、トッププレート１００４とベースプレート１１０２との間に配設されてそれらに接続され、開口部は、カメラモジュールのカメラに視界を提供する。一例では、外側カバー１１００は、ドームエンクロージャの内部にスナップするように構成される。トッププレート、外側カバー、および／またはベースプレートは、ヒートシンクとして機能し、ファンと連携してセンサを冷却することができる。上部カバー１１０４は、トッププレートに固定されている。図３に戻ると、センサ３０６は、上部カバー１１０４に取り付けられるか、または別様に結合され得る。センサ３０８は、ベースプレート１１０２の下に配設され得る。図１１Ｃは、システムの分解図を示しているが、組み立てられたカメラモジュール、シャーシ、およびトッププレートを含むカメラアセンブリ１１０６を備えている。カメラアセンブリ１１０６は、外側カバー１１００にボルトで留めるか、または他の方法で固定することができる。次いで、ベースプレート１１０２は、ボルトで留めるか、または他の方法で外側カバー１１００に固定することができる。上記の例では、ベースプレート１１０２は、外側カバー１１００がドームエンクロージャから外れるのを防ぐように構成され、構成要素を剛性に保つためのクランプ荷重を提供する。上部カバー１１０４は、外側カバー１１００に固定される前に、ＬＩＤＡＲなどのセンサを受容するように構成される。示されるように、１つ以上のフランジ１１０８が、例えば、構成要素の組み立て中にガイドまたは補助として機能するように、ベースプレート１１０２上に提供され得る。

図１２Ａ～Ｂは、カメラモジュールまたは他の構成要素を含まないシャーシ１００２およびトッププレート１００４を示している。示されるように、シャーシは、カメラマウント１０１４を補強するための支持ブレース１２００を含む。トッププレート１００４は、ファンからの気流を可能にするための開口部１２０２を含む。スロット要素１２０４も提供される。スロット要素は、ケーブリングが他のセンサのうちの１つ、例えば、図３のセンサ３０８から、システムの進行モジュールおよび／または電源モジュールまで延びることを可能にするために使用され得る。

図１３Ａ～Ｃは、図１１のベースプレート１１０２を示している。図１３Ａは、他の構成要素を含まないベースプレートを示している。トッププレートと同様に、ベースプレートは、ケーブリング１０１２（図１０Ａ）用の通路を提供するスロット１３００を含む。ベースプレートはまた、縁の外周の周りに一連の取り付け点１３０２を含む。これらの取り付け点は、ベースプレートをカメラアセンブリのカメラモジュール、他のセンサ、またはセンサアセンブリの支持構造に固定するために使用され得る。構造的剛性のために、１つ以上の支柱１３０４も提供される。

示されるように、カバーリング１３０６は、ベースプレートを横切って延在する。固体またはメッシュタイプの構成であり得るカバーリング１３０６は、例えば、ＬＩＤＡＲもしくはレーダーなど他のセンサからの、または車両のＧＰＳ受信機などの他の構成要素からの干渉を低減することによって、ＥＭＩ保護を提供するように構成される。トッププレート１００４（図１０Ａ）および外側カバー１１００はまた、カメラモジュールおよびセンサアセンブリの他の構成要素にＥＭＩ保護を提供し得る。加えて、これらの構成要素は、カメラモジュールによる放射から他のセンサを保護することもできる。そのようなＥＭＩ構成要素は、金属または電気メッキされたプラスチック構造でできており、集合的に、ファラデーケージとして機能し得る。加えて、ＥＭＩ絶縁フォームパッド１３０８は、さらなるＥＭＩ保護を提供するために、ベースプレートの縁の周りに配列され得る。同様のパッドが、トッププレート１００４および／または上部カバー１１０４に設けられ得る。図１３Ｂは、ベースプレート、ならびに、センサアセンブリのファンの相対位置を示している。そして、図１３Ｃは、ケーブリングがスロットをどのように通過するかを示す拡大図を提供する。

図１０～図１３に示されるこの配列は、カメラアセンブリの相対的な剛性を提供する。好ましくは、それは、カメラモジュールの画像センサの１～１．５ピクセル未満の動きを許容する剛性を提供する。これによって、カメラによって取得された画像の撮像アーチファクト、ギャップ、および他の欠陥を最小限に抑えるのを助ける。

図１４Ａは、図３のハウジング３０２などのハウジング内のカメラアセンブリの一部を示している。上述のように、ハウジングは、示されるようなドーム型、円筒形、半球形であってもよく、または異なる幾何学的形状を有していてもよい。特定の形状は、ハウジング内のカメラアセンブリおよび他のセンサの特定の構成に依存し得る。わかりやすくするために、カメラモジュール、トッププレート、およびカバーは省略されている。ハウジングは、単一の一体構成要素であってもよく、複数の構成要素で形成されていてもよい。どちらの構成でも、カメラアセンブリは、ハウジング内に取り付けられ、好ましくは、ハウジングに直接固定される。例えば、図１４Ｂおよび図１４Ｃの断面図に示されるように、カメラアセンブリは、ハウジングに沿った様々な取り付け点に固定され得る。ガセット、フォームテープ、およびその他の要素を使用して、カメラハウジング上の振動を減衰させ得る。

本明細書で論じられるカメラアセンブリは、車両の知覚システムに３６０°の視界を与えるように配列された複数のカメラセットを提供する。中心軸の周りにリング状に配列された複数のカメラモジュールを含むことができるカメラアセンブリは、ＬＩＤＡＲおよびレーダーセンサなど他のセンサとともにハウジング内に位置し得る。カメラアセンブリは、単一のユニットとして構成されているため、センサハウジングに簡単に挿入したり、そこから取り外したりすることができる。これによって、個々のカメラモジュールを迅速かつ効率的に修理または交換することができる。１つのカメラモジュールに対の画像センサを同一場所に設置することによって、これらの画像センサは、同じ有効視野を有することができる。コロケーションは、カメラの画像処理およびクリーニングにも役立ち、これは、自律モードで運転する車両にとっても重要である。

別段の記載がない限り、前述の代替例は、相互に排他的ではないが、独自の利点を達成するために様々な組み合わせで実装されてもよい。上述した特徴のこれらおよび他の変形および組み合わせは、特許請求の範囲によって定義される主題から逸脱することなく利用することができるので、実施形態の前述の説明は、特許請求の範囲によって定義される主題を限定するのではなく、例示としてみなされるべきである。さらに、本明細書に記載された実施例、ならびに「など」、「含む」などと表現された語句の提供は、特許請求の範囲の主題を特定の実施例に限定するものと解釈されるべきではなく、むしろ、実施例は、多くの可能な実施形態のうちの１つだけを例示することが意図されている。さらに、異なる図面中の同じ参照番号は、同じまたは類似の要素を特定することができる。

Claims (20)

1. 自律運転モードで動作するように構成された車両で使用するためのカメラアセンブリであって、
   一連のカメラマウントを含むシャーシであって、前記一連のカメラマウントは、前記シャーシの外周に沿って分散され、中心軸の周りにリング状に配列されている、シャーシと、
   前記一連のカメラマウントのうちのそれぞれの１つに各々固定されたカメラモジュールのセットであって、前記カメラモジュールのセットは、第１のサブセットと第２のサブセットとを含み、前記第１のサブセットは、一対の画像センサを含み、前記第２のサブセットは、１つの画像センサを含む、カメラモジュールのセットと、
   前記カメラモジュールのセットに固定されたプレートと、
   前記プレートに接続された外側カバーであって、前記第１および第２のサブセットの前記画像センサの視野に対応する一連の開口部を含む、外側カバーと、を含む、カメラアセンブリ。
2. 前記第１のサブセットの前記一対の画像センサは、同一場所に設置され、共通の垂直軸に沿って整列されている、請求項１に記載のカメラアセンブリ。
3. 前記第１のサブセットの前記一対の画像センサのうちの第１の画像センサは、前記第１のサブセットの前記一対の画像センサのうちの第２の画像センサに対して凹んでいる、請求項２に記載のカメラアセンブリ。
4. 前記第１のサブセットの前記一対の画像センサのうちの第１の画像センサは、自動露出に設定され、前記一対の画像センサのうちの第２の画像センサは、固定露出に設定される、請求項１に記載のカメラアセンブリ。
5. 前記第１のサブセットの前記一対の画像センサは、前記第２のサブセットの前記画像センサと重複する視野を有する、請求項１に記載のカメラアセンブリ。
6. 前記カメラモジュールのセットは、一対の画像センサを有する第３のサブセットをさらに含み、
   前記第２のサブセットは、前記第１のサブセットが前記第２のサブセットの第１の側に隣接して配列され、かつ前記第３のサブセットが前記第２のサブセットの第２の側に隣接して配列されるように配設される、請求項１に記載のカメラアセンブリ。
7. 前記カメラモジュールのセットは、前記車両の周りの３６０°の視野を提供する、請求項１に記載のカメラアセンブリ。
8. 前記シャーシは、前記車両の周りの３６０°の視野を提供するような大きさの直径を有する、請求項１に記載のカメラアセンブリ。
9. 前記第２のサブセットの前記画像センサは、前記第１のサブセットの前記一対の画像センサのいずれかより高い解像度を有する、請求項１に記載のカメラアセンブリ。
10. 前記第１のサブセットの前記一対の画像センサのうちの第１の画像センサは、１０～５，０００ｃｄ／ｍ２の範囲で動作するように構成され、前記第１のサブセットの前記一対の画像センサのうちの第２の画像センサは、１，０００～２００，０００ｃｄ／ｍ２の範囲で動作するように構成される、請求項１に記載のカメラアセンブリ。
11. 前記第２のサブセットの前記画像センサは、０．０１～２５ｃｄ／ｍ２の範囲で動作するように構成される、請求項１０に記載のカメラアセンブリ。
12. 前記第１のサブセットまたは前記第２のサブセットのいずれかを受容するように構成された少なくとも１つのバッフルをさらに含み、前記少なくとも１つのバッフルは、該バッフルに固定された補正光学要素を有する、請求項１に記載のカメラアセンブリ。
13. 前記カメラアセンブリ内に配設された少なくとも１つのファンをさらに含み、前記少なくとも１つのファンは、気流経路を有し、前記気流経路は、カメラモジュールの前記第１及び第２のサブセットの少なくとも一方の光学面を清潔に保つために、前記光学面上に向けられている、請求項１に記載のカメラアセンブリ。
14. 前記カメラアセンブリは、センサアセンブリを含み、前記センサアセンブリは、少なくとも１つのセンサをさらに含み、前記少なくとも１つのセンサは、前記外側カバー内に配設され、前記プレートによって前記カメラモジュールのセットから分離されている、請求項１に記載のカメラアセンブリ。
15. 前記少なくとも１つのセンサは、ライダセンサであり、
    前記プレートは、前記ライダセンサによる放射からの前記カメラモジュールのセットの電磁干渉保護、または前記カメラモジュールのセットによる放射からの前記ライダセンサの電磁干渉保護の少なくとも一方を提供するように構成される、請求項１４に記載のカメラアセンブリ。
16. 自律モードで動作するように構成された車両であって、
    前記自律モードで運転操作を実行するように構成された運転システムと、
    前記自律モードでの前記運転操作の間、前記車両の周囲の環境内の対象物を検出するように構成された知覚システムと、
    前記運転システムおよび前記知覚システムに動作可能に結合された制御システムであって、前記知覚システムからデータを受信し、前記自律モードで動作しているときに前記運転システムに指示するように構成された１つ以上のコンピュータプロセッサを有する、制御システムと、を含み、
    前記知覚システムは、センサアセンブリを含み、前記センサアセンブリは、
    一連のカメラマウントを含むシャーシであって、前記一連のカメラマウントは、前記シャーシの外周に沿って分散され、中心軸の周りにリング状に配列されている、シャーシと、
    前記一連のカメラマウントのうちのそれぞれの１つに各々固定されたカメラモジュールのセットであって、前記カメラモジュールのセットは、第１のサブセットと第２のサブセットとを含み、前記第１のサブセットは、一対の画像センサを含み、前記第２のサブセットは、１つの画像センサを含む、カメラモジュールのセットと、
    前記カメラモジュールのセットに固定されたプレートと、
    前記プレートに接続された外側カバーであって、前記第１および第２のサブセットの前記画像センサの視野に対応する一連の開口部を含む、外側カバーと、を含む、車両。
17. 前記第２のサブセットの前記画像センサは、前記車両の前部に沿って６０～１３５°の視野を提供するように配列されている、請求項１６に記載の車両。
18. 前記第１のサブセットの前記一対の画像センサは、同一場所に設置され、共通の垂直軸に沿って整列されている、請求項１６に記載の車両。
19. 前記第１のサブセットの前記一対の画像センサのうちの第１の画像センサは、前記第１のサブセットの前記一対の画像センサのうちの第２の画像センサに対して凹んでいる、請求項１６に記載の車両。
20. 前記カメラモジュールのセットは、一対の画像センサを有する第３のサブセットをさらに含み、
    前記第２のサブセットは、前記第１のサブセットが前記第２のサブセットの第１の側に隣接して配列され、かつ前記第３のサブセットが前記第２のサブセットの第２の側に隣接して配列されるように配設され、それにより、前記第１のサブセットが前記第１の側に沿って前記第２のサブセットと重複する視野を有し、かつ前記第３のサブセットが前記第２の側に沿って前記第２のサブセットと重複する視野を有する、請求項１６に記載の車両。