JP6762439B2 - 明滅する照明された物体を検出するのにフィルタおよび露出時間を使用するカメラ・システム - Google Patents

Description

関連出願の相互参照
［0001］ 本願は、その開示が参照によって本明細書に組み込まれている、２０１７年５月１９日に出願した米国特許仮出願第６２／５０８４６７号の出願日の利益を主張する、２０１７年６月５日に出願した米国特許出願第１５／６１３５４６号の継続出願である。

［0002］ 人間の運転者を必要としない車両などの自律車両は、ある位置から別の位置への乗客または品物の輸送を助けるのに使用され得る。そのような車両は、乗客が目的地などのいくつかの初期入力を提供し、車両がその目的地までそれ自体を操縦する完全自律運転モードで動作することができる。したがって、そのような車両は、任意の所与の時に自律車両の位置を判定できると同時に、他の車両、停止信号、歩行者、その他など車両の外部の物体を検出し、識別できるシステムに大きく依存する可能性がある。

［0003］ そのようなセンサは、多数の異なる構成で供給されるが、一例として、そのようなセンサは、（「ｌｉｇｈｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ」）ライダ・センサ、レーダー・ユニット、カメラなどを含む可能性がある。カメラの例では、構成に加えて、カメラは、有用な画像を入手するために特定の値にセットされなければならない、ゲイン、露出時間、その他などの様々な特徴を有する。通常、露出時間は、周囲照明条件および検出される光の明るさに基づいて、アルゴリズムによって決定される。したがって、これらの露出時間は、しばしば非常に短く、たとえば、マイクロ秒のオーダーである。しかし、照明された物体の場合に、人間の目は、途切れのない連続光を見ることができるが、実際には、多くの照明された物体が、送電網の周波数（たとえば、６０Ｈｚ）またはライト（発光ダイオード（ＬＥＤ）など）が「パルス幅変調された光」（ＰＷＭ）を使用するかどうかに依存して、実際には明滅する。これらのカメラが、短い光パルスを有するものをサンプリングする場合に、２〜３マイクロ秒のタイムスパン内にその光パルスをイメージングする可能性は低い。

［0004］ 本開示の諸態様は、システムを提供する。このシステムは、車両の環境の画像を取り込むために車両に取り付けられた第１のカメラであって、第１のカメラは、第１の露出時間を有し、ＮＤフィルタなしである、第１のカメラと、車両の環境の画像を取り込むために車両に取り付けられた第２のカメラであって、第２のカメラは、第１の露出時間以上である第２の露出時間を有し、ＮＤフィルタを有する、第２のカメラと、１つまたは複数のプロセッサとを含む。１つまたは複数のプロセッサは、第１のカメラおよび第１の露出時間を使用して画像を取り込み、第２のカメラおよび第２の露出時間を使用して画像を取り込み、照明された物体を識別するのに第２のカメラを使用して取り込まれた画像を使用し、物体の位置を識別するのに第１のカメラを使用して取り込まれた画像を使用し、自律運転モードで車両を制御するために識別された照明された物体および物体の識別された位置を使用するように構成される。

［0005］ 一例では、第１のカメラおよび第２のカメラは、それぞれ、近赤外線フィルタを含む。別の例では、第２の露出時間は、ミリ秒のオーダーである。この例では、第２の露出時間は、少なくとも５ミリ秒であり、第１の露出時間は、５ミリ秒を超えない。別の例では、ＮＤフィルタは、第２の露出時間に従って選択される。別の例では、ＮＤフィルタは、第２のカメラに関して画素レベルで実施される。別の例では、このシステムは、車両をも含む。別の例では、１つまたは複数のプロセッサは、ＰＷＭ光源からの光を識別することによって、照明された画像を識別するのに第２のカメラの画像を使用するように構成される。別の例では、１つまたは複数のプロセッサは、ＬＥＤを含む複数のＰＷＭ光源によって生成されたテキストを識別することによって、照明された画像を識別するのに第２のカメラの画像を使用するように構成される。この例では、１つまたは複数のプロセッサは、ＰＷＭ光源の周波数に基づいて第２の露出時間を選択するようにさらに構成される。別の例では、１つまたは複数のプロセッサは、電力を光源に供給する送電網によって定義される速度で明滅する光源からの光を識別することによって、照明された画像を識別するのに第２のカメラの画像を使用するように構成される。この例では、１つまたは複数のプロセッサは、送電網によって定義される速度に基づいて第２の露出時間を選択するようにさらに構成される。別の例では、第２の露出時間は、固定された露出時間である。別の例では、第１の露出時間は、周囲照明条件に従って調整される可変露出時間である。この例では、第２の露出時間は、必ず第１の露出時間より長い。それに加えてまたはその代わりに、第２の露出時間は、可変露出時間である。

［0006］ 本開示の別の態様は、車両上での使用のためのカメラを提供する。このカメラは、フォトダイオードのセットと、光がフォトダイオードのセットに達する前に光をフィルタリングするように配置されたＮＤフィルタと、画像を取り込むために少なくとも５ミリ秒の固定された露出時間を使用してフォトダイオードのセットを露光するように構成されたコントローラであって、露出時間は、カメラが露出時間の間にＰＷＭ光源からの光を取り込むことを可能にし、ＰＷＭ光は、車両の環境内に配置される、コントローラとを含む。一例では、このカメラは、光がフォトダイオードのセットに達する前に光をフィルタリングするように配置された近赤外線フィルタをも含む。

［0007］ 本開示のさらなる態様は、車両上での使用のためのカメラを提供する。このカメラは、フォトダイオードのセットと、光がフォトダイオードのセットに達する前に光をフィルタリングするように配置されたＮＤフィルタと、画像を取り込むために少なくとも５ミリ秒の固定された露出時間を使用してフォトダイオードのセットを露光するように構成されたコントローラであって、露出時間は、カメラが、光源に電力を供給する送電網によって定義される速度で明滅する光源からの光を取り込むことを可能にし、光源は、車両の環境内に配置される、コントローラとを含む。一例では、このカメラは、光がフォトダイオードのセットに達する前に光をフィルタリングするように配置された近赤外線フィルタをも含む。

［0008］本開示の諸態様による、本開示の諸態様による例の車両を示す機能図である。 ［0009］本開示の諸態様による、図１の例の車両を示す例の外観図である。 ［0010］本開示の諸態様による、第１のカメラを示す例の機能図である。 ［0011］本開示の諸態様による、第２のカメラを示す例の機能図である。 ［0012］本開示の諸態様による、代表的な露出時間および光パルスを示す例のチャートである。 ［0013］本開示の諸態様による、代表的な露出時間および光パルスを示す別の例のチャートである。 ［0014］本開示の諸態様による、第１のカメラによって取り込まれた例の一連の画像を示す図である。 ［0015］本開示の諸態様による、第１のカメラによって取り込まれた標識の画像および第２のカメラによって取り込まれた標識の画像の例を示す図である。 ［0016］本開示の諸態様による、交通信号灯器の例の画像を示す図である。 ［0016］本開示の諸態様による、交通信号灯器の例の画像を示す図である。 ［0017］本開示の諸態様による流れ図を示す図である。

［0018］ 本技術は、車両の周囲で検出された情報に基づく、たとえば自律運転モードでの、車両の制御に関する。一例として、そのような情報は、車両に取り付けられた１つまたは複数のカメラを使用して検出され得る。上で注記したように、一般に、そのようなカメラは、シーンが露出過度（一部またはすべての色が飽和し、色を歪ませるか画像の諸部分を白くする）にならないようにするために、シーン内の光が強い時に非常に短い露出時間を使用し、周囲照明条件を最もよく取り込むためにカメラ構成を素早く調整することもする。しかし、照明された物体の場合に、人間の目は、途切れのない連続光を見ることができるが、実際には、多くの照明された物体が、送電網の周波数またはライトがＰＷＭを使用するかどうかに依存して、実際には明滅する。これらのカメラが、短い光パルスを有するものまたは、下で議論するように非常に短い時間の間に、オンである短い期間とオフである、より長い期間との両方を有するパルスを有するものをサンプリングする場合に、２〜３マイクロ秒のタイムスパン内にその光パルスをイメージングする可能性は低い。

［0019］ この問題に対処するために、カメラのうちの１つまたは複数の露出時間は、送電網と、ブレーキ・ライト、方向指示器、後退灯、一部のヘッドライトおよび日中走行用ライト、ならびにＬＥＤ情報道路標識（たとえば、工事情報標識、可変制限速度標識、可変進行方向標識（ｖａｒｉａｂｌｅ ｄｉｒｅｃｔｉｏｎ−ｏｆ−ｔｒａｆｆｉｃ ｓｉｇｎ）、その他）に使用されるものなどのＰＷＭ灯との両方の周期をカバーするのに十分な周期に調整され得る。

［0020］ 一例として、ブレーキ・ライトは、しばしば２つの輝度セッティングすなわち、尾灯（長い期間にわたってオン）の輝度セッティングと、ブレーキ・ライト（車両がブレーキをかけている間にオン）のより明るい輝度セッティングとを有するので、ＰＷＭになる可能性が特に高い。強度の変化は、異なるＰＷＭデューティ・サイクルを使用することによって実施され得る。さらに、カメラは、ニュートラル・デンシティ（ＮＤ）光学フィルタまたは、色合いを追加し、したがって必ずしも「ニュートラル」ではないものなどの光を大きくカットする他の減光フィルタなど、レンズに達する光の量を大幅に減らすフィルタを装着される場合がある。したがって、ＮＤフィルタを使用する下の例のいずれもが、そのような減光フィルタに置換され得る。

［0021］ 使用されるフィルタは、特定の露出時間に関するバランスの取れた光の量に達するために選択され得る。そのようなフィルタは、このタイムスパンをはるかにより長くし、したがって前述の短いパルスをイメージングする可能性を劇的に高めるのを助けることができる。

［0022］ 特徴のこの組合せは、ＮＤフィルタおよびより長い露出時間を有する１つまたは複数のカメラが、人間の目が見るはずのものにより近い画像を取り込むことを可能にする。したがって、ＮＤフィルタおよびその露出時間を有するカメラによって取り込まれる画像は、これらの特徴を有しない他のカメラを用いて取り込まれた画像より、人間の目には見えない速度で明滅する交通信号灯器、ブレーキ・ライト、または方向指示器の識別に関して信頼できる可能性がある。これは、照明された物体の識別をはるかにより単純な作業にし、明滅するライトが照明されていないものとして誤って識別される状況を回避する。さらに、画像画像の一部は、同時に２つの異なるカメラによって撮影され、画像の整列、画像の間での物体の照合、その他を行うのを大幅により単純にすることができる。もちろん、この情報は、その後、車両を制御するのに使用され得る。
例のシステム

［0023］ 図１に示されているように、本開示の一態様による車両１００は、様々な構成要素を含む。本開示のある種の態様は、特定のタイプの車両に関連して特に有用であるが、車両は、乗用車、トラック、モーターサイクル、バス、レクリエーショナル・ビークル、その他を含むがこれに限定されない任意のタイプの車両とすることができる。車両は、１つまたは複数のプロセッサ１２０、メモリ１３０、および汎用コンピューティング・デバイス内に通常存在する他の構成要素を含むコンピューティング・デバイス１１０などの１つまたは複数のコンピューティング・デバイスを有することができる。

［0024］ メモリ１３０は、プロセッサ１２０によって実行されまたは他の形で使用され得る命令１３２およびデータ１３４を含む、１つまたは複数のプロセッサ１２０によってアクセス可能な情報を記憶する。メモリ１３０は、ハードドライブ、メモリ・カード、ＲＯＭ、ＲＡＭ、ＤＶＤまたは他の光ディスク、ならびに他の書込可能メモリおよび読取専用メモリなど、コンピューティング・デバイス可読媒体または電子デバイスの助けを得て読み取られ得るデータを記憶する他の媒体を含む、プロセッサによってアクセス可能な情報を記憶することのできる任意のタイプのメモリとすることができる。システムおよび方法は、前述の異なる組み合わせを含むことができ、これによって、命令およびデータの異なる部分が、異なるタイプの媒体上に記憶される。

［0025］ 命令１３２は、プロセッサによって直接に（機械コードなど）または間接に（スクリプトなど）実行される命令の任意のセットとすることができる。たとえば、命令は、コンピューティング・デバイス可読媒体上にコンピューティング・デバイス・コードとして記憶され得る。それに関して、用語「命令」および「プログラム」は、本明細書では交換可能に使用され得る。命令は、プロセッサによる直接処理のためのオブジェクト・コード・フォーマットで、あるいは、スクリプトまたはオン・デマンドで解釈されもしくは前もってコンパイルされる独立のソース・コード・モジュールのコレクションを含む任意の他のコンピューティング・デバイス言語で、記憶され得る。命令の関数、メソッド、およびルーチンが、下でより詳細に説明される。

［0026］ データ１３４は、命令１３２に従ってプロセッサ１２０によって取り出され、記憶され、または変更され得る。たとえば、特許請求される主題は、どの特定のデータ構造にも限定されないが、データは、コンピューティング・デバイス・レジスタ内に、複数の異なるフィールドおよびレコードを有するテーブルとしてリレーショナル・データベース内に、ＸＬ文書内に、またはフラット・ファイル内に記憶され得る。また、データは、任意のコンピューティング・デバイス可読フォーマットでフォーマットされ得る。

［0027］ １つまたは複数のプロセッサ１２０は、市販ＣＰＵなど、任意の従来のプロセッサとすることができる。代替案では、１つまたは複数のプロセッサは、ＡＳＩＣまたは他のハードウェアベースのプロセッサなどの専用デバイスとすることができる。図１は、同一のブロック内にあるものとしてコンピューティング・デバイス１１０のプロセッサ、メモリ、および他の要素を機能的に示すが、当業者は、プロセッサ、コンピューティング・デバイス、またはメモリが、同一の物理ハウジング内に格納されてもされなくてもよい、複数のプロセッサ、コンピューティング・デバイス、またはメモリを実際に含むことができることを理解しよう。たとえば、メモリは、コンピューティング・デバイス１１０のハウジングとは異なるハウジング内に配置されたハードドライブまたは他の記憶媒体とすることができる。したがって、プロセッサまたはコンピューティング・デバイスへの言及は、並列に動作してもしなくてもよいプロセッサ、コンピューティング・デバイス、またはメモリのコレクションへの言及を含むと理解される。

［0028］ コンピューティング・デバイス１１０は、上で説明したプロセッサおよびメモリ、ならびに、ユーザ入力１５０（たとえば、マウス、キーボード、タッチ・スクリーン、および／またはマイクロホン）および様々な電子ディスプレイ（たとえば、スクリーンを有するモニタまたは情報を表示できる任意の他の電気デバイス）など、コンピューティング・デバイスに関連して普通に使用される構成要素のすべてを含むことができる。この例では、車両は、情報またはオーディオ・ビジュアル経験を提供するために内蔵電子ディスプレイ１５２ならびに１つまたは複数のスピーカ１５４を含む。これに関して、内蔵電子ディスプレイ１５２は、車両１００のキャビン内に配置され得、車両１００内の乗客に情報を提供するためにコンピューティング・デバイス１１０によって使用され得る。

［0029］ コンピューティング・デバイス１１０は、下で詳細に説明されるクライアント・コンピューティング・デバイスおよびサーバ・コンピューティング・デバイスなど、他のコンピューティング・デバイスとの通信を容易にするために１つまたは複数の無線ネットワーク接続１５６を含むこともできる。無線ネットワーク接続は、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈ ｌｏｗ ｅｎｅｒｇｙ（ＬＥ）、セルラ接続などの短距離通信プロトコル、ならびに、インターネット、ワールド・ワイド・ウェブ、イントラネット、仮想プライベート・ネットワーク、広域ネットワーク、ローカル・ネットワーク、１つまたは複数の会社の独占的な通信プロトコルを使用するプライベート・ネットワーク、イーサネット、ＷｉＦｉ、およびＨＴＴＰを含む様々な構成およびプロトコル、ならびに前述の様々な組合せを含むことができる。

［0030］ 一例では、コンピューティング・デバイス１１０は、車両１００に組み込まれた自律運転コンピューティング・システムとすることができる。自律運転コンピューティング・システムは、完全自律運転モードおよび／または半自律運転モードで車両１００を操縦するために、車両の様々な構成要素と通信できるものとすることができる。たとえば、図１に戻ると、コンピューティング・デバイス１１０は、メモリ１３０の命令１３２に従って車両１００の移動、速度、その他を制御するために、減速システム１６０、加速システム１６２、ステアリング・システム１６４、シグナリング・システム１６６、ナビゲーション・システム１６８、測位システム１７０、知覚システム１７２、および動力システム１７４（たとえば、ガソリンまたはディーゼルによって動力を与えられるモーターまたは電気エンジン）などの車両１００の様々なシステムと通信しているものとすることができる。やはり、これらのシステムは、コンピューティング・デバイス１１０の外部として図示されているが、実際には、これらのシステムが、やはり車両１００を制御する自律運転コンピューティング・システムとして、コンピューティング・デバイス１１０に組み込まれることも可能である。

［0031］ 一例として、コンピューティング・デバイス１１０は、車両の速度を制御するために、減速システム１６０および加速システム１６２と相互作用することができる。同様に、ステアリング・システム１６４は、車両１００の方向を制御するためにコンピューティング・デバイス１１０によって使用され得る。たとえば、車両１００が、乗用車またはトラックなど、道路上での使用のために構成される場合に、ステアリング・システムは、車両を旋回させるために車輪の角度を制御する構成要素を含むことができる。シグナリング・システム１６６は、たとえば必要な時に方向指示器またはブレーキ・ライトを照明することによって、他の運転者または車両に車両の意図を知らせるためにコンピューティング・デバイス１１０によって使用され得る。

［0032］ ナビゲーション・システム１６８は、位置へのルートを判定し、これに従うためにコンピューティング・デバイス１１０によって使用され得る。これに関して、ナビゲーション・システム１６８および／またはデータ１３４は、詳細な地図情報、たとえば、車道の形状および高度、車線境界線、交差点、横断歩道、制限速度、交通信号、建物、標識、リアル・タイム交通情報、植生、または他のそのような物体および情報を識別する非常に詳細な地図を記憶することができる。言い換えると、この詳細な地図情報は、車道を含む車両の期待される環境の幾何形状ならびにそれらの車道の速度規制（法定最高速度）を定義することができる。さらに、この地図情報は、知覚システム１７２から受信されたリアル・タイム情報に関連して、交通のどの方向が所与の位置で通行権を有するのかを判定するためにコンピューティング・デバイス１１０によって使用され得る、交通信号灯器、一時停止標識、譲れの標識、その他など、交通規制に関する情報を含むことができる。

［0033］ 知覚システム１７２は、他の車両、車道内の障害物、交通信号、標識、樹木、その他など、車両の外部の物体を検出する１つまたは複数の構成要素をも含む。たとえば、知覚システム１７２は、１つまたは複数のライダ・センサ、ソナー・デバイス、マイクロホン、レーダー・ユニット、カメラ、および／またはコンピューティング・デバイス１１０によって処理され得るデータを記録する任意の他の検出デバイスを含むことができる。知覚システムのセンサは、物体と、位置、方位、サイズ、形状、タイプ、移動の方向および速度、その他などのその特性とを検出することができる。センサからの生データおよび／または前述の特性は、記述的機能またはベクトルに定量化されまたは配置され、さらなる処理のためにコンピューティング・デバイス１１０に送られ得る。下でさらに詳細に議論するように、コンピューティング・デバイス１１０は、車両の位置を判定するのに測位システム１７０を使用し、位置に安全に到達するのに必要な時に物体を検出し、反応するのに知覚システム１７２を使用することができる。

［0034］ 図２は、車両１００の例の外観図である。上で示したように、知覚システム１７２は、様々な位置で車両に取り付けられ得る、１つまたは複数のカメラなどの１つまたは複数のセンサを含むことができる。この例では、カメラ２００（複数のカメラを表すことができる）は、車両の前面ガラス２０４の直後に取り付けられる。この配置は、カメラが車両の前の環境のかなりの部分を取り込むことを可能にする。さらに、車両１００のルーフ・パネル２１２上に配置されたハウジング２１０は、ハウジング内に取り付けられた１つまたは複数の追加のカメラを収容することができる。ハウジング内のカメラは、車両の前、車両の後、ならびに／または車両の「運転者」側および「乗客」側の画像を取り込むために、異なる方向に向けられ得る。

［0035］ 図３Ａおよび図３Ｂは。知覚システム１７２のカメラ３００および３５０の例の機能図である。カメラ３００および３５０の一方または両方は、カメラ２００の位置またはハウジング２１０内のいずれかに配置され得る。図示されているように、カメラ３００は、フォトダイオード３０４のセットと通信し、その動作を制御することのできる、プロセッサ１２０と同様に構成された１つまたは複数のプロセッサを含むことのできるコントローラ３０２を含む。この構成では、カメラに入る光は、フォトダイオード３０４に入る前に１つまたは複数のフィルタを通過する。この例では、フィルタ３０６は、赤外光の波長またはこれに近い波長を阻止しまたはフィルタリングするために、近赤外線フィルタとすることができる。他の追加のフィルタを使用することもできる。

［0036］ カメラ３００の動作は、知覚システム１７２が、車両の周囲の画像を取り込むと同時に、非発光物体ならびに発光物体を処理し、識別することを可能にすることができる。上で注記したように、知覚システム１７２にそのような物体の最も有用な画像を提供するために、カメラ３００の露出時間は、非常に短くなるように選択され得る。たとえば、通常の日照時間中に、カメラ３００を使用して画像を取り込む時の周囲照明は、一般に非常に明るく、したがって、選択される露出時間は、通常は非常に短い、すなわち、マイクロ秒のオーダーで、たとえば１マイクロ秒から５０マイクロ秒である。

［0037］ いくつかの例で、カメラ３００は、知覚システム１７２および／またはコンピューティング・デバイス１１０が非放射物体（明るい露出の画像を使用して）と放射物体 暗い露出の画像 との両方を識別することを可能にするために、「明るい」露出の画像と「暗い」露出の画像との両方を取り込むのに使用され得る。それを行うために、第１の画像は、たとえばシャッタ時間の対数制御およびゲイン値の線形制御を使用して、環境内の光の平均量（所定の範囲内の）を取り込むための露出値を判定するために、コントローラ３０２によって処理される。その後、この露出値が、明るい露出の画像を取り込むのに使用される。その後、固定されたオフセット値が、同一のカメラを使用して暗い露出の画像を取り込むためにシャッタ時間およびゲインなどの１つまたは複数のカメラ・セッティングに加算され（またはカメラ・セッティングを乗算するのに使用され）得る。このプロセスは、カメラが、下でさらに議論する図４の例に示されているように、一連の明るい露出の画像および暗い露出の画像を取り込むのに使用されるように、継続することができる。したがって、カメラ３００の露出時間は、周囲照明条件に従って可変であり、たとえば、数マイクロ秒もの短さから数ミリ秒、たとえば１０ミリ秒までの範囲にわたることができる。この上限制限は、移動する車両上で使用されるカメラによって引き起こされるモーション・ブラーを制限するために有用である可能性がある。

［0038］ 上で注記したように、カメラ３００が、非常に短い光パルスを有する物体の画像をサンプリングすることを試みている場合に、２〜３マイクロ秒のタイムスパン内にその光パルスをイメージングする可能性は低い。たとえば、米国内の送電網によって電力を供給される交通信号灯または任意のライトの例を使用すると、送電網周波数は、６０Ｈｚ（１６．６６ｍｓ）になり、８．３３ｍｓの２つの半周期を有し、この半周期に、交通信号灯は、サイクルの中央でその最大値になる。言い換えると、図４の例のプロットに示されているように、８．３３ミリ秒おきに最大光事象がある。さらに、光の８５％超が、サイクルの２５％中に作られる（たとえば、破線４１０の上の光パルスの部分）。したがって、１マイクロ秒のオーダーの露出を用いると、最大値またはサイクルのうちで十分な光を提供する部分中に交通信号灯の画像を取り込む可能性は、非常に低く、たとえば時間のうちの約２５％であり、これは、自律運転モードで車両を安全に制御するためには不十分であり、非効率的であるはずである。したがって、下でさらに議論するカメラ３５０が、そのような脈動して照明されるライトを取り込むのにも使用され得る。

［0039］ 送電網周波数に従って明滅するライトと同様に、ＰＭＷ光も、短い露出時間を用いて区別することが困難である。上で注記したように、ＰＷＭであるＬＥＤは、一般にブレーキ・ライト、方向指示器、後退灯、一部のヘッドライトおよび日中走行用ライト、ならびにＬＥＤ情報道路標識（たとえば、工事情報標識、可変制限速度標識、可変進行方向標識、その他）、ならびに知覚システムが出会う可能性がある様々な他のタイプのライトに使用される。たとえば、ＰＷＭライトも、非常に短い光パルスを有し、通常は、約１００〜１１０Ｈｚの周波数で、約１０％のオン分数で動作する（そのような周波数は、１０％未満から８０％までのデューティ・サイクルを伴って８０から４００Ｈｚまで幅広く変化する可能性があるが）。一例として、ブレーキ・ライトが図５の例のプロットに示されているように、１０％のオン分数と共に１００Ｈｚの周波数を使用する場合に、光の１ミリ秒のパルスが放たれ、これに９ミリ秒の光なしが続き、その後、別の１ミリ秒の光、９ミリ秒の光なしと続く。したがって、カメラ３００が、露出を取り込む時に依存して、１ミリ秒の間に光が画像内に現れ、次の９ミリ秒にはブレーキ・ライトからの光はない。やはり、これは、単一の画像または画像の小さいセットからのブレーキ・ライトの状態の判定を難しくし、いくつかの場合には不可能にする。したがって、カメラ３５０も、そのような脈動して照明されるライトを取り込むのに使用され得る。

［0040］ これは、カメラ３００が、ＬＥＤから形成されたテキストを含むライト・アップされた道路標識の画像を取り込んでいる場合に、特に問題になる可能性がある。カメラ３００によって取り込まれた画像内のテキストは、露出中に部分的にのみ可視になり、単一の画像から、または経時的に取り込まれた一連の画像を組み合わせることによって、テキストを識別することを極端に困難にする。これは、テキストにＬＥＤを使用する多くの標識が、ＰＷＭサイクルの異なる部分の間にテキストの異なる部分を明るくするからである。言い換えると、ＬＥＤの１つのサブセットは、サイクルの第１の１０％に明るくされ、別のサブセットがサイクルの第２の１０％に明るくされ、以下同様である場合がある。したがって、任意の所与の時に、テキストの１／１０だけが照明される。

［0041］ たとえば、図６Ａは、かなり明るい昼光周囲照明条件に使用されるマイクロ秒のオーダーの短い露出時間が、どのようにして、ＰＷＭライトを使用するテキストを有するライティングされた標識を支離滅裂なものにし、車両の知覚システム１７２および／またはコンピューティング・デバイス１１０による解読を不可能にすることができるのかを示す。この例では、カメラ３００（短い露出時間を有し、ＮＤフィルタを有しない）と同様に構成されたカメラによって取り込まれた一連の１２枚の画像が、照明されたＰＷＭライト、ここではＬＥＤから形成されたテキストを有する交通標識を示す。上の例で議論したように、上の６枚の画像は、非放射物体を識別するために明るい露出の画像６０２として取り込まれ、下側の６枚の画像は、放射物体を識別するために暗い露出の画像６０４として取り込まれる。しかし、図からわかるように、標識が照明されていることは明瞭であるが、テキストは支離滅裂である。したがって、カメラ３５０も、そのような脈動して照明されるライトを取り込むのに使用され得る。

［0042］ 図３Ｂに示されているように、カメラ３５０は、フォトダイオード３５４のセットと通信し、その動作を制御することのできる、コントローラ３０２と同等のコントローラ３５２を含む。この構成では、カメラに入る光は、フォトダイオード３０４に達する前に１つまたは複数のフィルタを通過する。この例では、第１のフィルタ３５６は、赤外光の波長またはそれに近い波長を阻止しまたはフィルタリングするために、近赤外線フィルタとすることができ、第２のフィルタ３５８は、ＮＤフィルタとすることができる。ＮＤフィルタは、カメラの露出時間を特定の時間枠に調整するために選択され得る。たとえば、カメラ３５０の１０ミリ秒の露出時間を達成するために、〜１％のＮＤフィルタが使用され得る。これは、カメラ３５０が、車両の環境の有用な画像をそれでも提供しながら、その露出時間をカメラ３００から約１００倍またはそれ以上もしくはそれ以下に効果的に増やすことを可能にする。これに関して、所望の露出時間が、ＮＤフィルタのタイプを決定するのに使用され得る。

［0043］ ＮＤフィルタの使用は、追加の光をフィルタによって除去することによって、より長い露出時間を可能にする。言い換えると、カメラ３５０の露出時間は、物体の有用な画像をそれでも取り込みながら、カメラ３００よりはるかに長いものとすることができる。一例として、露出時間は、たとえば１ミリ秒から２０ミリ秒など、ミリ秒のオーダーとするか、少なくとも５ミリ秒または１０ミリ秒など、その間の時間とすることができる。図７Ａおよび図７Ｂは、たとえばミリ秒のオーダーの、より長い露出時間を使用して、両方とも緑色で照明される交通信号灯器の対７３０および７３２の同一の画像を示す。図７Ａの画像７１０は、ＮＤフィルタなしで取り込まれ、図７Ｂの画像７２０は、ＮＤフィルタを用いて、たとえば、カメラ３５０と同様に構成されたカメラを使用して取り込まれる。交通信号灯器７３０および７３２のそれぞれは、理解のしやすさのために白の円によって識別されるが、これらの円は、画像自体の一部ではない。図からわかるように、画像７１０および７２０は、ＮＤフィルタの使用が、他の情報（または他のライト）のほとんどをどのようにして除去し、見る人および車両の知覚システム１７２が照明された交通信号灯をよりたやすく選び出すことを可能にするのかを示す。白黒画像から可視ではないが、ＮＤフィルタは、光の色をも保存する。たとえば、画像７１０では、交通信号灯器は、緑のハローを伴って白く見えるが、画像７２０では、交通信号灯器は、緑の円に見える。

［0044］ ８．３３ミリ秒おきに最大光事象があり、カメラ３５０の露出時間が１０ミリ秒である送電網交通信号灯の例に戻ると、１０ミリ秒の露出時間を使用するカメラ３５０は、図４、図７Ａ、および図７Ｂに示されているように、照明された交通信号灯を非常によく取り込む可能性が高い。１０ｍｓ露出時間がどこで始まるのか（異なる１０ミリ秒の例の露出時間によって示される）にかかわりなく、カメラ３５０は、かなりの量の光を取り込むことができ、ＮＤフィルタは、交通信号灯器の識別に必要ではない他の情報（または追加の光）を除去する。同様に、ブレーキ・ライトが１０％オン分数で１００ＨＺで脈動する、ＰＷＭブレーキ・ライトの例では、１０ミリ秒の露出時間を使用するカメラ３５０は、図５に示されているように、照明されたブレーキ・ライトを取り込む可能性が高い。したがって、前述のタイプの照明されたライトをイメージングする可能性は、大幅に高まる。

［0045］ 図６Ｂは、ＮＤフィルタを用いず、マイクロ秒のオーダーの短い露出時間を使用して取り込まれたＰＷＭライトを使用するテキストを伴う照明された標識の画像と、ＮＤフィルタを用い、ミリ秒のオーダーのより長い露出時間を使用して取り込まれた同一の標識の画像との間の比較を示す。画像６１０〜６１８および６２０のそれぞれは、照明されたＰＷＭライト、ここではＬＥＤによって形成されるテキストを有する同一の交通標識を示す。図６Ａの例と同様に、ＮＤフィルタを用いず、短い露出時間を用いて、かなり明るい昼光周囲照明条件の下で取り込まれた交通標識の画像６１０〜６１８は、そのような交通標識を支離滅裂なものにし、車両の知覚システム１７２および／またはコンピューティング・デバイス１１０による解読を不可能にする。やはり、画像６１０〜６１８は、マイクロ秒のオーダーのより短い露出時間を用い、ＮＤフィルタを用いない、カメラ３００と同様に構成されたカメラによって取り込まれたものとすることができる。標識のライトが少なくとも部分的に照明されていることは明瞭であるが、テキストは支離滅裂である。画像６２０は、ＮＤフィルタとやはりミリ秒のオーダーのより長い露出時間とを用いる、カメラ３５０と同様に構成されたカメラによって取り込まれたものとすることができる。画像６２０の例では、標識のテキストが、明瞭に判読可能であり、したがって、たとえばＯＣＲまたは下で議論する他の技法を使用して、車両の知覚システムによって解読される可能性がより高い。

［0046］ ＮＤフィルタは、可変ＮＤフィルタとして実施され得る。たとえば、ＮＤフィルタは、電気的に制御可能な半透明ＬＣＤとすることができる。

［0047］ ＮＤフィルタを用いるカメラ３５０の構成に対する代替案として、カメラ３５０の口径および／またはレンズを縮小することができる。たとえば、カメラ３００は、ｆ／２口径を有し、ＮＤフィルタを有しないものとすることができる（ｆは、焦点距離を指す）。しかし、ｆ／２口径およびＮＤ６４フィルタなどのＮＤフィルタを有するカメラ３５０の代わりに、カメラ３５０が、ｆ／１６口径を有することができる。ｆ／１６口径は、８倍小さい直径（または１６／２）を有し、これは、６４倍（または８＾２）小さい面積であり、したがって、６４倍少ない光透過を可能にする。したがって、これは、ＮＤ６４フィルタと同様に働く。

［0048］ それに加えてまたはその代わりに、開口絞りが使用され得る。より小さい口径、レンズ、および／または開口絞りは、よりよい被写界深度を提供することができ、その結果、遠くのものと近くのものとに同時に焦点が合うようになる。小口径カメラは、ＮＤフィルタなどの減光フィルタと共にまたはこれなしでも使用され得る。

［0049］ 上で説明されたフィルタは、フォトダイオードのすべての光を１つでフィルタリングするレンズとして説明されるが、他のフィルタ構成も使用され得る。たとえば、フィルタは、画素レベルで実施され得る。これに関して、同一のカメラ内のフォトダイオードの異なるグループが、異なるフィルタ構成を用いて構成され得、単一のカメラが、カメラ３００と３５０との両方の構成を同時に可能にするフィルタ構成を含むようになる。

例の方法
［0050］ 上で説明し、図面に示した動作に加えて、様々な動作をこれから説明する。以下の動作が、下で説明される正確な順序で実行される必要がないことを理解されたい。そうではなく、様々なステップは、異なる順序でまたは同時に処理され得、ステップが、追加されまたは省略されることも可能である。

［0051］ 車両が移動する時に、知覚システム１７２のセンサは、車両の環境をサンプリングすることができる。カメラ３００および３５０を参照すると、コンピューティング・デバイス１１０によって処理されるセンサ・データを作るために、コントローラ３０２および３５２は、それぞれのカメラの機能を制御することができる。これに関して、コントローラは、カメラのそれぞれに、可変のまたは固定された露出時間を使用して、車両の環境の画像を取り込ませることができる。

［0052］ カメラ３００の場合に、この露出時間は、上で議論したように周囲照明条件に基づいて決定され得る。たとえば、第１のカメラの露出時間は、上で議論したように、周囲照明条件に依存して、マイクロ秒のオーダー（１、４５、８０、１００、５００、もしくは１ミリ秒のわずかに下、またはその間の時間など）および１０ミリ秒もの長さまでとすることができる。したがって、カメラ３００は、連続して、いくつかの場合に暗い露出と明るい露出との間で切り替えることによって、周囲照明条件に結び付けられた可変露出時間を使用して、車両の環境の画像を取り込むことができる。

［0053］ カメラ３５０の場合に、この露出時間は、使用されるＮＤフィルタのタイプに基づいて事前に決定され得る。上の例と同様に、〜１％のＮＤフィルタに関して、カメラ３５０の露出時間は、１０ミリ秒にセットされ得る。したがって、カメラ３５０は、１０ミリ秒の露出時間を使用して車両の環境の画像を連続して取り込むことができる。しかし、カメラ３００の可変露出時間とは異なって、カメラ３５０の露出時間は、固定された値とすることができる。他の例では、カメラ３５０の露出時間は、変更され得るが、それでも、たとえば近くに太陽のまぶしい光がある時に、明滅しない交通信号灯を取り込む可能性を高めるために、カメラ３００の露出時間より長くすることができる。

［0054］ その後、カメラによって取り込まれた画像は、たとえば、ディープ・ネット・クラシファイヤのトレーニングまたはカスケード・クラシファイヤもしくはサポート・ベクトル・マシン（ＳＶＭ）などの異なる機械学習技法の使用、既知のパターンのマッチング、局所特徴の抽出およびモデルに対するマッチング、物体を見つけるための画像のセグメント化、ある種の色のマッチング、ブロブ検出、グラデーション画像もしくはヒストグラムの比較、その他などの様々な既知の技法を使用して、車両の環境内の物体を識別するために処理され得る。たとえば、カメラ３００からの画像は、路面標識（たとえば、車線境界線または他のマーカー）、他の道路ユーザ（たとえば、車両、自転車、歩行者など）、標識（たとえば、一時停止標識、速度標識、工事標識など）、コーン、工事用バリケード、車道上の異物（たとえば、破片、動物など）、およびいくつかの場合に照明された物体などの物体の位置を識別するのに使用され得る。もちろん、マイクロ秒のオーダーの露出時間は、送電網またはＰＷＭ（ＬＥＤなど）に従って明滅する物体など、一部の照明された物体を取り込むには短すぎ、したがって、一部の物体は、画像６０２および６０４ならびに画像６１０〜６１８などの画像では見逃される可能性がある。

［0055］ やはり、この問題に対処するために、カメラ３５０によって取り込まれた画像が、照明された物体、具体的には上で議論したように送電網またはＰＷＭの周波数に起因して明滅する物体を識別するために処理され得る。それと同時に、カメラ３００として構成されたカメラによって取り込まれた、数万ではないとしても数千枚の画像の処理と比較して、そのような明滅するライトの照明された状態が、図６Ｂの画像６２０によって示されるようにカメラ３５０として構成されたカメラによって取り込まれた単一のまたは非常に少数の画像から識別され得るので、これは、かなりの処理能力を節約することができる。さらに、カメラ３００が、１０ミリ秒に近いなど、露出時間がより長い時にそのような明滅するライトを取り込める時であっても、照明条件が変化するので、およびカメラ３００の露出時間が可変なので、そのような明滅するライトを一貫して取り込む可能性は、非常に低い。さらに、コンピューティング・デバイス１１０が、リアル・タイムで運転判断を行わなければならないことを考慮する時に、これは、カメラ３５０に関するＮＤフィルタおよびより長い固定された（または、いくつかの例では可変の）露出時間の使用を、コンピューティング・デバイス１１０が人間により近い形で車両の環境を「知覚する」ことを可能にする、信じられないほど有用なツールにする。

［0056］ カメラによって取り込まれた画像自体および／またはこれらの画像から識別された情報は、コンピューティング・デバイスが車両の運転判断を行うのを支援するために、コンピューティング・デバイス１１０に供給され得る。たとえば、交通信号の状況、たとえば連続して照明されるのか点滅するのか（点滅する黄色いライトを用いるなど）は、カメラ３５０からの画像からたやすく判定され、車両が交通信号灯にどのように反応するのかを制御するのに使用され得る。別の例で、ＬＥＤブレーキ・ライト、ＬＥＤヘッドランプ、緊急車両のＬＥＤライト、または別の車両のＬＥＤ方向指示器ライトの状況は、カメラ３５０からの画像からたやすく判定され、他の車両が旋回を行うのを待つ、他の車両の回りで移動する（追い越しが可能である場合）、その他など、車両１００が、他の車両とどのように相互作用するのかを制御するのに使用され得る。同様に、赤信号時右折禁止標識、工事情報板、一部の制限速度標識、その他など、テキスト情報を提供するのにＬＥＤライトを利用する標識からのテキストは、たとえば光学文字認識技法（ＯＣＲ）を使用して、たやすく認識され得る。多くの状況で、コンピューティング・デバイス１１０がそのようなテキストを「理解する」ことを可能にすることは、コンピューティング・デバイスを、工事によって引き起こされる変化する環境、公共安全通知、またはそのようなＬＥＤ照明される標識で提供される他の情報に応答しやすいものにすることができる。さらに、一部の画像 画像 は、２つの異なるカメラによって同時に撮影され、画像の整列、画像の間での物体の照合、その他を行うのを大幅により単純にすることができる。

［0057］ 図８は、本明細書で説明される諸態様のいくつかによる例の流れ図８００である。例の流れ図は、それぞれカメラ３００および３５０など、第１および第２のカメラを含むシステムを参照する。これに関して、第１のカメラは、車両の環境の画像を取り込むために、車両１００などの車両に取り付けられ得る。第１のカメラは、第１の露出時間を有し、ＮＤフィルタなしであり、第１の露出時間は、周囲照明条件に従って調整される可変露出時間である。第２のカメラも、車両の環境の画像を取り込むために、車両に取り付けられ得る。第２のカメラは、第１の露出時間以上である第２の露出時間を有し、ＮＤフィルタをも有する。第２の露出時間は、固定された（あるいは、いくつかの例では可変の）露出時間である。このシステムは、コントローラ３０２、３５２のプロセッサおよびコンピューティング・デバイス１１０のプロセッサなど、流れ図８００の動作を実行するように構成され得る、１つまたは複数のプロセッサをも含む。たとえば、ブロック８１０では、１つまたは複数のプロセッサが、第１のカメラおよび第１の露出時間を使用して画像を取り込む。ブロック５２０では、１つまたは複数のプロセッサが、第２のカメラおよび第２の露出時間を使用して画像を取り込む。ブロック８３０では、１つまたは複数のプロセッサが、照明された物体を識別するのに第２のカメラを使用して取り込まれた画像を使用する。ブロック８４０では、１つまたは複数のプロセッサが、物体の位置を識別するのに第１のカメラを使用して取り込まれた画像を使用する。ブロック８８０では、１つまたは複数のプロセッサが、自律運転モードで車両を制御するために識別された照明された物体および物体の識別された位置を使用する。

［0058］ 上の例は、自律運転モードを有する車両の制御に関するが、上で説明した照明された物体の識別は、他の運転システムにも有用である可能性がある。たとえば、情報が、自律運転モードを有するそのような車両内の乗客への表示のために提供されて、車両の知覚システムが車両の環境をどのように知覚しているのかに関する文脈を提供することができる。別の例では、情報は、運転者が赤信号を通過しようとしていることまたは別の車両がブレーキをかけもしくは旋回していることの警告を提供するためなど、手動または半自律（完全自律未満の運転モード）で動作している可能性がある車両の運転者に通知または警告を提供するのに使用され得る。

［0059］ そうではないと述べられない限り、前述の代替の例は、相互に排他的ではなく、独自の利点を達成するために様々な組合せで実施され得る。上で議論した特徴のこれらおよび他の変形形態および組合せが、特許請求の範囲によって定義される主題から逸脱せずに利用され得るので、諸実施形態の前述の説明は、特許請求の範囲によって定義される主題の限定ではなく例示として解釈されなければならない。さらに、本明細書で説明される例ならびに「〜など」、「含む」、および類似物などと表現される句の提供は、特許請求の範囲の主題を特定の例に限定するものと解釈されてはならず、むしろ、例は、多数の可能な実施形態のうちのただ１つを示すことが意図されている。さらに、異なる図面の同一の符号は、同一のまたは同様の要素を識別することができる。

産業上の利用可能性
［0060］ 本明細書で説明される技術は、たとえば車両のカメラ・システムを含む、幅広い産業上の利用可能性を享受する。

Claims (20)

1. 環境の画像を取り込むために取り付けられた第１のカメラであって、前記第１のカメラは、第１の露出時間を有し、ＮＤフィルタなしである、第１のカメラと、
   前記環境の画像を取り込むために取り付けられた第２のカメラであって、前記第２のカメラは、前記第１の露出時間以上である第２の露出時間を有し、ＮＤフィルタを有する、第２のカメラと、
   前記第１のカメラおよび前記第１の露出時間を使用して画像を取り込み、
   前記第２のカメラおよび前記第２の露出時間を使用して画像を取り込み、
   照明された物体を識別するのに前記第２のカメラを使用して取り込まれた前記画像を使用し、
   物体の位置を識別するのに前記第１のカメラを使用して取り込まれた前記画像を使用し、
   自律運転モードで車両を制御するために前記識別された照明された物体および物体の識別された位置を使用する
   ように構成された１つまたは複数のプロセッサと
   を含むシステム。
2. 前記第１のカメラおよび前記第２のカメラは、それぞれ、近赤外線フィルタを含む、請求項１に記載のシステム。
3. 前記第２の露出時間は、ミリ秒のオーダーである、請求項１に記載のシステム。
4. 前記第２の露出時間は、少なくとも５ミリ秒であり、前記第１の露出時間は、５ミリ秒を超えない、請求項３に記載のシステム。
5. 前記ＮＤフィルタは、前記第２の露出時間に従って選択される、請求項１に記載のシステム。
6. 前記ＮＤフィルタは、前記第２のカメラに関して画素レベルで実施される、請求項１に記載のシステム。
7. 前記車両をさらに含む、請求項１に記載のシステム。
8. 前記１つまたは複数のプロセッサは、ＰＷＭ光源からの光を識別することによって、前記照明された物体を識別するのに前記第２のカメラの前記画像を使用するようにさらに構成される、請求項１に記載のシステム。
9. 前記１つまたは複数のプロセッサは、ＬＥＤを含む複数のＰＷＭ光源によって生成されたテキストを識別することによって、前記照明された物体を識別するのに前記第２のカメラの前記画像を使用するようにさらに構成される、請求項１に記載のシステム。
10. 前記１つまたは複数のプロセッサは、前記ＰＷＭ光源の周波数に基づいて前記第２の露出時間を選択するようにさらに構成される、請求項９に記載のシステム。
11. 前記１つまたは複数のプロセッサは、電力を光源に供給する送電網によって定義される速度で明滅する前記光源からの光を識別することによって、前記照明された物体を識別するのに前記第２のカメラの前記画像を使用するようにさらに構成される、請求項１に記載のシステム。
12. 前記１つまたは複数のプロセッサは、前記送電網によって定義される速度に基づいて前記第２の露出時間を選択するようにさらに構成される、請求項１１に記載のシステム。
13. 前記第２の露出時間は、固定された露出時間である、請求項１に記載のシステム。
14. 前記第１の露出時間は、周囲照明条件に従って調整される可変露出時間である、請求項１に記載のシステム。
15. 前記第２の露出時間は、必ず前記第１の露出時間より長い、請求項１４に記載のシステム。
16. 前記第２の露出時間は、可変露出時間である、請求項１４に記載のシステム。
17. 前記第２のカメラは、
    フォトダイオードのセットと、
    光がフォトダイオードの前記セットに達する前に前記光をフィルタリングするように配置されたＮＤフィルタと、
    画像を取り込むために少なくとも５ミリ秒の固定された露出時間を使用してフォトダイオードの前記セットを露光するように構成されたコントローラであって、前記露出時間は、前記第２のカメラが前記露出時間の間にＰＷＭ光源からの光を取り込むことを可能にし、前記ＰＷＭ光源は、前記車両の環境内に配置される、コントローラと
    をさらに含む、請求項１に記載のシステム。
18. 光がフォトダイオードの前記セットに達する前に前記光をフィルタリングするように配置された近赤外線フィルタをさらに含む、請求項１７に記載のシステム。
19. 前記第２のカメラは、
    フォトダイオードのセットと、
    光がフォトダイオードの前記セットに達する前に前記光をフィルタリングするように配置されたＮＤフィルタと、
    画像を取り込むために少なくとも５ミリ秒の固定された露出時間を使用してフォトダイオードの前記セットを露光するように構成されたコントローラであって、前記露出時間は、前記第２のカメラが、光源に電力を供給する送電網によって定義される速度で明滅する前記光源からの光を取り込むことを可能にし、前記光源は、前記車両の環境内に配置される、コントローラと
    をさらに含む、請求項１に記載のシステム。
20. 光がフォトダイオードの前記セットに達する前に前記光をフィルタリングするように配置された近赤外線フィルタをさらに含む、請求項１９に記載のシステム。
    

Images