[027] 本開示に組み込まれてその一部を構成する添付図面は、開示される様々な実施形態を示している。
[028] 開示される実施形態に従った例示的なLIDARシステムを示す図である。
[029] 開示される実施形態に従った、車両上に搭載されたLIDARシステムの単一スキャンサイクルの例示的な出力を示す画像である。
[030] 開示される実施形態に従ったLIDARシステムの出力から決定されたポイントクラウドモデルの表現を示す別の画像である。
[031] 本開示の実施形態に従った投影ユニットの構成を示す図である。
[031] 本開示の実施形態に従った投影ユニットの構成を示す図である。
[031] 本開示の実施形態に従った投影ユニットの構成を示す図である。
[031] 本開示の実施形態に従った投影ユニットの構成を示す図である。
[032] 本開示の実施形態に従ったスキャンユニットの構成を示す図である。
[032] 本開示の実施形態に従ったスキャンユニットの構成を示す図である。
[032] 本開示の実施形態に従ったスキャンユニットの構成を示す図である。
[032] 本開示の実施形態に従ったスキャンユニットの構成を示す図である。
[033] 本開示の実施形態に従った検知ユニットの構成を示す図である。
[033] 本開示の実施形態に従った検知ユニットの構成を示す図である。
[033] 本開示の実施形態に従った検知ユニットの構成を示す図である。
[033] 本開示の実施形態に従った検知ユニットの構成を示す図である。
[033] 本開示の実施形態に従った検知ユニットの構成を示す図である。
[034] 視野の単一部分の単一フレーム時間における放出パターンを示す4つの例示的な図を含む。
[035] 視野全体の単一フレーム時間における放出スキームを示す3つの例示的な図を含む。
[036] 視野全体の単一フレーム時間中に投影された実際の光放出及び受光された反射を示す図である。
[037] 本開示の実施形態に従った第1の例示的な実施を示す図である。
[037] 本開示の実施形態に従った第1の例示的な実施を示す図である。
[037] 本開示の実施形態に従った第1の例示的な実施を示す図である。
[038] 本開示の実施形態に従った第2の例示的な実施を示す図である。
[039] 本開示の実施形態に従った、LIDARシステムを用いて物体を検出するための例示的な方法を示すフローチャートである。
[040] 本開示のいくつかの実施形態に従った2次元センサの一例を示す図である。
[041] 本開示のいくつかの実施形態に従った1次元センサの一例を示す図である。
[042] 本開示のいくつかの実施形態に従った、送信及び受信の位置合わせを有する例示的なLIDARデバイスを示すブロック図である。
[043] 本開示のいくつかの実施形態に従った、送信及び受信の位置合わせを有する別の例示的なLIDARデバイスを示すブロック図である。
[044] 本開示のいくつかの実施形態に従った、例示的な第1の視野(FOV)及び第2のFOVのいくつかの例を示す図である。
[045] 本開示のいくつかの実施形態に従った、第1のFOVの全域における第2のFOVの例示的なスキャンパターンを示す図である。
[046] 本開示のいくつかの実施形態に従った、第1のFOVの全域における第2のFOVの別の例示的なスキャンパターンを示す図である。
[047] ここに開示される実施形態に従った、LIDARシステムの視野の概略図及びこれに関連する深さマップシーン表現を提供する。
[048] ここに開示される実施形態に従った、動的に変動可能な光束機能を備えたLIDARシステムを用いて生成された視野の概略図及びこれに関連する深さマップシーン表現を提供する。
[049] ここに開示される実施形態に従った、LIDARシステムのスキャン視野において光束を動的に変動させるための方法のフローチャート図を提供する。
[050] ここに開示される実施形態に従った、LIDARシステムの視野の概略図及びこれに関連する深度マップ(depth map)シーン表現を提供する。
[051] ここに開示される実施形態に従った、動的に変動可変な光束機能を備えたLIDARシステムを用いて生成された視野の概略図及びこれに関連する深度マップシーン表現を提供する。
[052] ここに開示される実施形態に従った、LIDARシステムのスキャン視野において光束を動的に変動させるための方法のフローチャート図を提供する。
[053] 本開示のいくつかの実施形態に従った、LIDARシステムにおいてセンサ感度を変更するための例示的な方法を示すフローチャートである。
[054] 本開示のいくつかの実施形態に従った、受信信号の一例を、予想信号を推定するための関数と共に示す図である。
[055] 本開示のいくつかの実施形態に従った、受信信号の一例を、雑音を推定するための関数と共に示す図である。
[056] LIDARシステムを用いて関心領域内の物体を検出するための方法の第1の例を示すフローチャートである。
[057] LIDARシステムを用いて関心領域内の物体を検出するための方法の第2の例を示すフローチャートである。
[058] 開示される実施形態に従った例示的なLIDARシステムを示す別の図である。
[059] 本開示の実施形態に従ったLIDARシステムの概略図である。
[060] 本開示の実施形態に従った、光放出を制御するための例示的なプロセスのフローチャートである。
[061] 本開示の実施形態に従った、図24に示されているプロセスの例示的な実施のフローチャートである。
[062] 本開示のいくつかの実施形態に従った、物体を検出するための例示的な方法を示すフローチャートである。
[063] 本開示のいくつかの実施形態に従った、LIDARを用いて物体を検出するための例示的な方法を示すフローチャートである。
[064] 本開示のいくつかの実施形態に従った、LIDARを用いて物体を検出するための別の例示的な方法を示すフローチャートである。
[065] 本開示のいくつかの実施形態に従った、LIDARを用いて物体を検出するための更に別の例示的な方法を示すフローチャートである。
[066] 本開示のいくつかの実施形態に従った、複数の光源及び共通の偏向器を有するLIDARシステムの図である。
[067] 本開示のいくつかの実施形態に従った、複数の光源及び共通の偏向器を有する別のLIDARシステムの図である。
[068] LIDARシステム100が利用可能な光学予算及び/又は計算予算を配分する際に利用できる様々な情報ソースと共に、LIDARシステム100のブロック図を与えている。
[069] 開示される実施形態に従った、配分した予算に基づいてLIDARシステムを制御するための方法3000の一例を与えるフローチャートを示している。
[070] ここに開示される実施形態に従ってLIDARシステムを制御するための例示的な方法のフローチャート図を示している。
[071] ここに開示される実施形態に従った、光学予算の均等でない配分が妥当である状況の概略図である。
[072] 開示される例示的な実施形態に従った車両、及びいくつかの実施形態に従った振動補償システムを示す図である。
[072] いくつかの実施形態に従った振動補償システムを示す図である。
[072] いくつかの実施形態に従ったステアリングデバイス、中央処理装置(CPU)、アクチュエータ−ミラーを示す図である。
[072] いくつかの実施形態に従ったアクチュエータ−ミラーを示す図である。
[072] いくつかの実施形態に従った2軸MEMSミラーを示す図である。
[072] いくつかの実施形態に従った単一軸MEMSミラーを示す図である。
[072] いくつかの実施形態に従った丸いMEMSミラーを示す図である。
[073] 例示的な開示される実施形態に従った、道路に沿って検知された動きを補償することができるLIDARシステム設置の概略図である。
[074] 車両振動補償システムを利用する方法を示すフロー図である。
[075] ここに開示される実施形態に従った、異なるセクタにおける異なる検出範囲の概略図である。
[075] ここに開示される実施形態に従った、異なるセクタにおける異なる検出範囲の概略図である。
[075] ここに開示される実施形態に従った、異なるセクタにおける異なる検出範囲の概略図である。
[075] ここに開示される実施形態に従った、異なるセクタにおける異なる検出範囲の概略図である。
[076] ここに開示される実施形態に従った、視野内の異なるセクタを示す概略図である。
[077] ここに開示される実施形態に従った、LIDARシステムを用いて関心領域内の物体を検出するための方法の一例を示すフローチャートである。
[078] 本開示の実施形態に従ったLIDARシステムの視野の概略図である。
[079] 本開示の実施形態に従ったLIDARシステムの例示的な視野の概略図である。
[080] 本開示の実施形態に従ったスキャンプロセスの例示的な実施のフローチャートである。
[080] 本開示の実施形態に従ったスキャンプロセスの例示的な実施のフローチャートである。
[081] 本開示のいくつかの実施形態に従った、LIDARを用いて車両の経路内の物体を検出するための例示的な方法を示すフローチャートである。
[082] 本開示のいくつかの実施形態に従った、LIDARを用いて車両の経路内の物体を検出するための別の例示的な方法を示すフローチャートである。
[083] 本開示のいくつかの実施形態に従った、都市環境における車両の一例を示す図である。
[084] 本開示のいくつかの実施形態に従った、農村環境における車両の一例を示す図である。
[085] 本開示のいくつかの実施形態に従った、交通渋滞における車両の一例を示す図である。
[086] 本開示のいくつかの実施形態に従った、トンネルにおける車両の一例を示す図である。
[087] 本開示のいくつかの実施形態に従った、トンネルから出た車両の一例を示す図である。
[088] 本開示のいくつかの実施形態に従った、図42A、図42B、及び図42Cの例示的な車両を異なる角度から示す図である。
[089] 少なくとも1つの光偏向器の共通エリアに照準を合わせた複数の光源を有する例示的なLIDARシステムを示す図である。
[090] 本開示のいくつかの実施形態に従った、車線横断方向転換のためのLIDAR検出スキームの例示的な方法を示すフローチャートである。
[091] 本開示のいくつかの実施形態に従ったLIDAR検出スキャンスキームの一例を示す図である。
[092] 本開示のいくつかの実施形態に従った、車線横断方向転換及びその他の状況のためのLIDAR検出スキームの一例を示す図である。
[092] 本開示のいくつかの実施形態に従った、車線横断方向転換及びその他の状況のためのLIDAR検出スキームの一例を示す図である。
[093] 例示的な開示される実施形態に従ったLIDARシステムの支援のもとで幹線道路環境において走行している車両の概略図である。
[094] 例示的な開示される実施形態に従った、幹線道路環境でのLIDARシステムによる動的な光割り当ての概略図である。
[094] 例示的な開示される実施形態に従った、幹線道路環境でのLIDARシステムによる動的な光割り当ての概略図である。
[094] 例示的な開示される実施形態に従った、幹線道路環境でのLIDARシステムによる動的な光割り当ての概略図である。
[094] 例示的な開示される実施形態に従った、幹線道路環境でのLIDARシステムによる動的な光割り当ての概略図である。
[095] 例示的な開示される実施形態に従った、LIDARシステムを用いて車両の経路内の物体を検出するための方法を示す。
[096] 例示的な開示される実施形態に従ったLIDARシステムの検知構成の一例を示す図である。
[097] LIDAR視野の様々な部分を表す概略図である。
[098] LIDARシステムを用いて関心領域内の物体を検出するための方法の一例を示すフローチャートである。
[099] 本開示の実施形態に従ったLIDARシステムの概略図である。
[0100] 本開示の実施形態に従った温度低下プロセスの例示的な実施のフローチャートである。
[0101] 本開示の実施形態に従った温度低下プロセスの例示的な実施のフローチャートである。
[0102] 本開示のいくつかの実施形態に従った、LIDARシステムのスキャンユニットに組み込まれたMEMSミラー及び関連するコンポーネントの例を示す図である。
[0102] 本開示のいくつかの実施形態に従った、LIDARシステムのスキャンユニットに組み込まれたMEMSミラー及び関連するコンポーネントの例を示す図である。
[0102] 本開示のいくつかの実施形態に従った、LIDARシステムのスキャンユニットに組み込まれたMEMSミラー及び関連するコンポーネントの例を示す図である。
[0102] 本開示のいくつかの実施形態に従った、LIDARシステムのスキャンユニットに組み込まれたMEMSミラー及び関連するコンポーネントの例を示す図である。
[0102] 本開示のいくつかの実施形態に従った、LIDARシステムのスキャンユニットに組み込まれたMEMSミラー及び関連するコンポーネントの例を示す図である。
[0102] 本開示のいくつかの実施形態に従った、LIDARシステムのスキャンユニットに組み込まれたMEMSミラー及び関連するコンポーネントの例を示す図である。
[0102] 本開示のいくつかの実施形態に従った、LIDARシステムのスキャンユニットに組み込まれたMEMSミラー及び関連するコンポーネントの例を示す図である。
[0102] 本開示のいくつかの実施形態に従った、LIDARシステムのスキャンユニットに組み込まれたMEMSミラー及び関連するコンポーネントの例を示す図である。
[0102] 本開示のいくつかの実施形態に従った、LIDARシステムのスキャンユニットに組み込まれたMEMSミラー及び関連するコンポーネントの例を示す図である。
[0102] 本開示のいくつかの実施形態に従った、LIDARシステムのスキャンユニットに組み込まれたMEMSミラー及び関連するコンポーネントの例を示す図である。
[0102] 本開示のいくつかの実施形態に従った、LIDARシステムのスキャンユニットに組み込まれたMEMSミラー及び関連するコンポーネントの例を示す図である。
[0102] 本開示のいくつかの実施形態に従った、LIDARシステムのスキャンユニットに組み込まれたMEMSミラー及び関連するコンポーネントの例を示す図である。
[0102] 本開示のいくつかの実施形態に従った、LIDARシステムのスキャンユニットに組み込まれたMEMSミラー及び関連するコンポーネントの例を示す図である。
[0102] 本開示のいくつかの実施形態に従った、LIDARシステムのスキャンユニットに組み込まれたMEMSミラー及び関連するコンポーネントの例を示す図である。
[0102] 本開示のいくつかの実施形態に従った、LIDARシステムのスキャンユニットに組み込まれたMEMSミラー及び関連するコンポーネントの例を示す図である。
[0102] 本開示のいくつかの実施形態に従った、LIDARシステムのスキャンユニットに組み込まれたMEMSミラー及び関連するコンポーネントの例を示す図である。
[0102] 本開示のいくつかの実施形態に従った、LIDARシステムのスキャンユニットに組み込まれたMEMSミラー及び関連するコンポーネントの例を示す図である。
[0102] 本開示のいくつかの実施形態に従った、LIDARシステムのスキャンユニットに組み込まれたMEMSミラー及び関連するコンポーネントの例を示す図である。
[0102] 本開示のいくつかの実施形態に従った、LIDARシステムのスキャンユニットに組み込まれたMEMSミラー及び関連するコンポーネントの例を示す図である。
[0102] 本開示のいくつかの実施形態に従った、LIDARシステムのスキャンユニットに組み込まれたMEMSミラー及び関連するコンポーネントの例を示す図である。
[0102] 本開示のいくつかの実施形態に従った、LIDARシステムのスキャンユニットに組み込まれたMEMSミラー及び関連するコンポーネントの例を示す図である。
[0102] 本開示のいくつかの実施形態に従った、LIDARシステムのスキャンユニットに組み込まれたMEMSミラー及び関連するコンポーネントの例を示す図である。
[0102] 本開示のいくつかの実施形態に従った、LIDARシステムのスキャンユニットに組み込まれたMEMSミラー及び関連するコンポーネントの例を示す図である。
[0102] 本開示のいくつかの実施形態に従った、LIDARシステムのスキャンユニットに組み込まれたMEMSミラー及び関連するコンポーネントの例を示す図である。
[0102] 本開示のいくつかの実施形態に従った、LIDARシステムのスキャンユニットに組み込まれたMEMSミラー及び関連するコンポーネントの例を示す図である。
[0102] 本開示のいくつかの実施形態に従った、LIDARシステムのスキャンユニットに組み込まれたMEMSミラー及び関連するコンポーネントの例を示す図である。
[0102] 本開示のいくつかの実施形態に従った、LIDARシステムのスキャンユニットに組み込まれたMEMSミラー及び関連するコンポーネントの例を示す図である。
[0102] 本開示のいくつかの実施形態に従った、LIDARシステムのスキャンユニットに組み込まれたMEMSミラー及び関連するコンポーネントの例を示す図である。
[0102] 本開示のいくつかの実施形態に従った、LIDARシステムのスキャンユニットに組み込まれたMEMSミラー及び関連するコンポーネントの例を示す図である。
[0103] 以下の詳細な説明は添付図面を参照する。可能な限り、図面及び以下の記載では同一の参照番号を用いて同一又は同様の部分を指し示す。本明細書ではいくつかの例示的な実施形態を記載するが、変更、適合、及びその他の実施も可能である。例えば、図面に示されたコンポーネントに対する置換、追加、又は変更を行うことができ、開示される方法に対するステップの置換、並べ替え、除去、又は追加によって本明細書に記載される例示的な方法を変更することができる。従って、以下の詳細な説明は開示される実施形態及び例に限定されない。適正な範囲は添付の特許請求の範囲によって規定される。
用語の定義
[0104] 開示される実施形態は光学システムを含み得る。本明細書で用いる場合、「光学システム」という用語は、光の発生、検出、及び/又は操作のために使用される任意のシステムを広く含む。単に一例として、光学システムは、光を発生、検出、及び/又は操作するための1つ以上の光学コンポーネントを含み得る。例えば、光源、レンズ、ミラー、プリズム、ビームスプリッタ、コリメータ、偏光光学系、光学変調器、光学スイッチ、光学増幅器、光学検出器、光学センサ、光ファイバ、半導体光学コンポーネントは、それぞれ必ずしも必須ではないが、光学システムの一部となり得る。1つ以上の光学コンポーネントに加えて、光学システムは、電気的コンポーネント、機械的コンポーネント、化学反応コンポーネント、及び半導体コンポーネントのような、他の非光学コンポーネントも含み得る。非光学コンポーネントは、光学システムの光学コンポーネントと協働することができる。例えば光学システムは、検出された光を分析するための少なくとも1つのプロセッサを含み得る。
[0105] 本開示に従って、光学システムはLIDARシステムとすることができる。本明細書で用いる場合、「LIDARシステム」という用語は、反射光に基づいて1対の有形物体(tangible object)間の距離を示すパラメータの値を決定することができる任意のシステムを広く含む。一実施形態において、LIDARシステムは、LIDARシステムが放出した光の反射に基づいて1対の有形物体間の距離を決定できる。本明細書で用いる場合、「距離を決定する」という用語は、1対の有形物体間の距離を示す出力を発生することを広く含む。決定された距離は、1対の有形物体間の物理的寸法を表すことができる。単に一例として、決定された距離は、LIDARシステムとLIDARシステムの視野内の別の有形物体との間の飛行距離線を含み得る。別の実施形態において、LIDARシステムは、LIDARシステムが放出した光の反射に基づいて1対の有形物体間の相対速度を決定することができる。1対の有形物体間の距離を示す出力の例には、有形物体間の標準的な長さ単位の数(例えばメートル数、インチ数、キロメートル数、ミリメートル数)、任意の長さ単位の数(例えばLIDARシステム長の数)、距離と別の長さとの比(例えばLIDARシステムの視野内で検出された物体の長さに対する比)、時間量(例えば標準的な単位、任意の単位又は比、例えば有形物体間を光が移動するのに要する時間として与えられる)、1つ以上のロケーション(例えば承認された座標を用いて規定される、既知のロケーションに対して規定される)、及びその他のものが含まれる。
[0106] LIDARシステムは、反射光に基づいて1対の有形物体間の距離を決定することができる。一実施形態において、LIDARシステムは、光信号の放出とセンサによるその検出の時点との間の時間期間を示す時間情報を生成するセンサの検出結果を処理することができる。この時間期間は時として光信号の「飛行時間(time of flight)」と称される。一例において、光信号は短いパルスであり、受信の際にその立ち上がり時間及び/又は立ち下がり時間を検出することができる。関連する媒体(通常は空気)中における光の速度に関する既知の情報を用いて、光信号の飛行時間に関する情報を処理することで、放出と検出との間で光信号が移動する距離を提供できる。別の実施形態において、LIDARシステムは、周波数位相シフト(又は多周波数位相シフト)に基づいて距離を決定することができる。具体的には、LIDARシステムは、光信号の(例えば最終的な測度を与えるためいくつかの連立方程式を解くことによって)1つ以上の変調位相シフトを示す情報を処理することができる。例えば、放出された光学信号を1つ以上の一定周波数によって変調できる。放出された信号と検出された反射との間の変調の少なくとも1つの位相シフトは、放出と検出との間で光が移動した距離を示すことができる。変調は、連続波光信号、準連続波光信号、又は別のタイプの放出される光信号に適用され得る。距離を決定するため、LIDARシステムによって追加情報を使用できることに留意するべきである。追加情報は例えば、信号の投影ロケーションと検出ロケーションとの間のロケーション情報(例えば相対位置)(特に、相互に距離が離れている場合)、及びその他のものである。
[0107] いくつかの実施形態において、LIDARシステムは、LIDARシステムの環境内の複数の物体を検出するために使用できる。「LIDARシステムの環境内の物体を検出する」という用語は、LIDARシステムに関連付けられた検出器の方へ光を反射した物体を示す情報を発生することを広く含む。2つ以上の物体がLIDARシステムによって検出された場合、異なる物体に関して発生された情報、例えば、自動車が道路を走行している、鳥が木にとまっている、人が自転車に触れる、ライトバン(van)が建物の方へ移動するといった情報は、相互に連絡することができる。LIDARシステムが物体を検出する環境の寸法は、実施に伴って変動し得る。例えばLIDARシステムは、LIDARシステムが搭載されている車両の環境内で、最大で100m(又は200m、300m等)の水平方向距離まで、及び最大で10m(又は25m、50m等)の垂直方向距離まで、複数の物体を検出するために使用できる。別の例においてLIDARシステムは、車両の環境内で、又は既定の水平方向範囲内(例えば25°、50°、100°、180°等)で、及び既定の垂直方向高さ(例えば±10°、±20°、+40°〜20°、±90°、又は0°〜90°)まで、複数の物体を検出するため使用できる。
[0108] 本明細書で用いる場合、「物体を検出する」という用語は、物体の存在を決定することを広く指すことができる(例えば、物体はLIDARシステムに対して及び/又は別の基準ロケーションに対して特定の方向に存在し得る、又は、物体は特定の空間体積内に存在し得る)。これに加えて又はこの代わりに、「物体を検出する」という用語は、物体と別のロケーション(例えばLIDARシステムのロケーション、地球上のロケーション、又は別の物体のロケーション)との間の距離を決定することを指す可能性がある。これに加えて又はこの代わりに、「物体を検出する」という用語は、物体を識別すること(例えば自動車、木、道路のような物体の種類を分類すること、特定の物体(例えばワシントン記念塔)を認識すること、自動車登録番号を判定すること、物体の組成(例えば固体、液体、透明、半透明)を明らかにすること、物体の運動パラメータ(例えば移動中であるか、その速度、移動方向、物体の膨張)を決定することを指す可能性がある。これに加えて又はこの代わりに、「物体を検出する」という用語は、ポイントクラウドマップを発生することを指す可能性がある。ポイントクラウドマップの1つ以上のポイントの各々は、物体内のロケーション又は物体面上のロケーションに対応する。一実施形態において、視野のポイントクラウドマップ表現に関するデータ解像度は、視野の0.1°×0.1°又は0.3°×0.3°に関連付けることができる。
[0109] 本開示に従って、「物体」という用語は、その少なくとも一部から光を反射することができる有限の組成物を広く含む。例えば物体は、少なくとも部分的に固体である(例えば自動車、木)、少なくとも部分的に液体である(例えば道路の水たまり、雨)、少なくとも部分的に気体である(例えば煙、雲)、多数の別個の粒子から成る(例えば砂あらし、霧、スプレー)、例えば〜1ミリメートル(mm)、〜5mm、〜10mm、〜50mm、〜100mm、〜500mm、〜1メートル(m)、〜5m、〜10m、〜50m、〜100mのような1つ以上の大きさであり得る。また、より小さいか又は大きい物体、及びこれらの例の間の任意の大きさも検出できる。様々な理由から、LIDARシステムは物体の一部のみを検出する場合があることに留意するべきである。例えば、場合によっては、光は物体のいくつかの側面のみから反射される(例えば、LIDARシステムに対向する側面のみが検出される)。他の場合、光は物体の一部のみに投影される(例えば、レーザビームが道路又は建物に投影される)。また他の場合、物体は、LIDARシステムと検出された物体との間の別の物体によって部分的に遮られる。また他の場合、LIDARのセンサは物体の一部から反射された光のみを検出し得る。これは例えば、周囲光又は他の干渉が物体のいくつかの部分の検出を妨害するからである。
[0110] 本開示に従って、LIDARシステムは、LIDARシステムの環境をスキャンすることで物体を検出するように構成できる。「LIDARシステムの環境をスキャンする」という用語は、LIDARシステムの視野又は視野の一部を照射することを広く含む。一例において、LIDARシステムの環境をスキャンすることは、光偏向器を移動又は枢動させて、視野の様々な部分へ向かう様々な方向に光を偏向させることによって達成できる。別の例において、LIDARシステムの環境をスキャンすることは、視野に対するセンサの位置決め(すなわちロケーション及び/又は向き)を変えることによって達成できる。別の例において、LIDARシステムの環境をスキャンすることは、視野に対する光源の位置決め(すなわちロケーション及び/又は向き)を変えることによって達成できる。更に別の例において、LIDARシステムの環境をスキャンすることは、少なくとも1つの光源及び少なくとも1つのセンサが視野に対して固定して(rigidly)移動するようにそれらの位置を変えることによって達成できる(すなわち、少なくとも1つのセンサ及び少なくとも1つの光源の相対的な距離及び向きは維持される)。
[0111] 本明細書で用いる場合、「LIDARシステムの視野」という用語は、物体を検出することができるLIDARシステムの観察可能な環境の範囲を広く含み得る。LIDARシステムの視野(FOV)は様々な条件によって影響を受け得ることに留意するべきである。様々な条件は、限定ではないが、LIDARシステムの向き(例えばLIDARシステムの光軸の方向)、環境に対するLIDARシステムの位置(例えば地面、及び隣接地形、及び障害物からの距離)、LIDARシステムの動作パラメータ(例えば放出パワー、計算設定、規定の動作角度)等である。LIDARシステムの視野は、例えば立体角を用いて規定することができる(例えばφ、θ角を用いて規定される。φ及びθは、例えばLIDARシステム及び/又はそのFOVの対称軸に対する垂直面において規定される)。一例において、視野は、特定の範囲内(例えば最大で200m)で規定することができる。
[0112] 同様に、「瞬時視野(instantaneous field of view)」という用語は、任意の所与の瞬間にLIDARシステムによって物体を検出することができる観察可能な環境の範囲を広く含み得る。例えばスキャンLIDARシステムでは、瞬時視野はLIDARシステムの全FOVよりも狭く、LIDARシステムのFOVの他の部分における検出を可能とするためLIDARシステムのFOV内で移動させることができる。LIDARシステムのFOV内での瞬時視野の移動は、LIDARシステムへの光ビーム及び/又はLIDARシステムからの光ビームを異なる方向に偏向させるようにLIDARシステムの(又はLIDARシステム外部の)光偏向器を移動させることによって達成できる。一実施形態において、LIDARシステムは、LIDARシステムが動作している環境内のシーン(scene)をスキャンするように構成できる。本明細書で用いる場合、「シーン」という用語は、LIDARシステムの視野内の物体のいくつか又は全てを、LIDARシステムの動作期間中の相対位置で及び現在の状態で広く含み得る。例えばシーンは、地上の要素(例えば土、道路、草、歩道、路面標識)、空、人工物体(例えば車両、建物、標識)、植物、人物、動物、光投影要素(例えば懐中電灯、太陽、他のLIDARシステム)等を含み得る。
[0113] 開示される実施形態は、再構築3次元モデルの生成に使用される情報を取得することを含み得る。使用できるタイプの再構築3次元モデルの例には、ポイントクラウドモデル及びポリゴンメッシュ(Polygon Mesh)(例えば三角形メッシュ)が含まれる。「ポイントクラウド」及び「ポイントクラウドモデル」という用語は、当技術分野において周知であり、ある特定の座標系に空間的に位置付けられるデータポイントセットを含むものと解釈するべきである(すなわち、各座標系によって記述される空間内に識別可能ロケーションを有する)。「ポイントクラウドポイント」という用語は、空間(無次元であるか、又は例えば1cm3のような微小セル空間である場合がある)内のポイントを指し、そのロケーションは座標セットを用いたポイントクラウドモデルによって記述できる(例えば(X、Y、Z)、(r、φ、θ))。単に一例として、ポイントクラウドモデルは、そのポイントのいくつか又は全てのための追加情報を記憶することができる(例えば、カメラ画像から生成されたポイントのための色情報)。同様に、他のいずれのタイプの再構築3次元モデルも、その物体のいくつか又は全てのための追加情報を記憶することができる。同様に、「ポリゴンメッシュ」及び「三角形メッシュ」という用語は当技術分野において周知であり、とりわけ、1つ以上の3D物体(多面体等)の形状を画定する頂点(vertex)、稜線(edge)、及び面(face)のセットを含むように解釈するべきである。面は、レンダリングを簡略化できるという理由から、三角形(三角形メッシュ)、四角形、又は他の単純な凸多角形のうち1つ以上を含み得る。また、面は、より一般的な凹多角形、又はくぼみ(hole)を有する多角形を含み得る。ポリゴンメッシュは、頂点−頂点メッシュ、面−頂点メッシュ、ウイングドエッジメッシュ(Winged-edge mesh)、及びレンダーダイナミックメッシュ(Render dynamic mesh)のような様々な技法を用いて表現できる。ポリゴンメッシュの様々な部分(例えば頂点、面、稜線)は、直接的に及び/又は相対的に、ある特定の座標系に空間的に位置付けられる(すなわち、各座標系によって記述される空間内に識別可能ロケーションを有する)。再構築3次元モデルの生成は、任意の標準的な、専用の、及び/又は新規の写真測量技法を用いて実施することができ、それらの多くは当技術分野において既知である。LIDARシステムによって他のタイプの環境モデルも生成できることに留意するべきである。
[0114] 開示される実施形態に従って、LIDARシステムは、光を投影するように構成された光源を用いる少なくとも1つの投影ユニットを含み得る。本明細書で用いる場合、「光源」という用語は、光を放出するように構成された任意のデバイスを広く指す。一実施形態において、光源は、固体レーザ、レーザダイオード、高出力レーザのようなレーザ、又は発光ダイオード(LED)ベースの光源のような代替的な光源とすればよい。更に、図面全体を通して示されている光源112は、光パルス、連続波(CW)、準CW等、異なるフォーマットの光を放出することができる。例えば、使用できる光源の1つのタイプは、垂直キャビティ面発光レーザ(VCSEL:vertical-cavity surface-emitting laser)である。使用できる別のタイプの光源は、外部キャビティダイオードレーザ(ECDL:external cavity diode laser)である。いくつかの例では、光源は約650nmから1150nmの間の波長の光を放出するように構成されたレーザダイオードを含み得る。あるいは、光源は、約800nmから約1000nm、約850nmから約950nm、又は約1300nmから約1600nmの波長の光を放出するように構成されたレーザダイオードを含み得る。別段の指示がない限り、数値に関する「約」という用語は、言及された値に対して最大5%の分散として規定される。投影ユニット及び少なくとも1つの光源についての更なる詳細は、図2Aから図2Cを参照して以下で説明する。
[0115] 開示される実施形態に従って、LIDARシステムは、視野をスキャンするため光源からの光を偏向させるように構成された少なくとも1つの光偏向器を用いる少なくとも1つのスキャンユニットを含み得る。「光偏向器」という用語は、光を最初の経路から逸脱させるように構成されている任意の機構又はモジュールを広く含み、例えば、ミラー、プリズム、制御可能レンズ、機械的ミラー、機械的スキャンポリゴン(scanning polygon)、アクティブ回折(例えば制御可能LCD)、リスレープリズム(Risley prism)、非機械電子光学ビームステアリング(Vscentにより作製されるもの等)、偏光格子(Boulder Non-Linear Systemsにより提供されるもの等)、光学フェーズドアレイ(OPA:optical phased array)、及びその他のものである。一実施形態において、光偏向器は、少なくとも1つの反射要素(例えばミラー)、少なくとも1つの屈折要素(例えばプリズム、レンズ)等、複数の光学コンポーネントを含み得る。一例において、光偏向器は、光を様々な角度数に(例えば別々の角度数に、又は連続的な角度数範囲に)逸脱させるように、可動性であり得る。光偏向器は、任意選択的に、様々なやり方で制御可能であり得る(例えば、α度に偏向させる、偏向角をΔαだけ変える、光偏向器のコンポーネントをMミリメートル移動させる、偏向角が変わる速度を変化させる)。更に光偏向器は、任意選択的に、単一の面(例えばθ座標)内で偏向の角度を変えるように動作可能であり得る。光偏向器は、任意選択的に、2つの非平行の面(例えばθ及びφ座標)内で偏向の角度を変えるように動作可能であり得る。この代わりに又はこれに加えて、光偏向器は任意選択的に、所定の設定間で(例えば所定のスキャンルートに沿って)又はその他で偏向の角度を変えるように動作可能であり得る。LIDARシステムにおける光偏向器の使用に関して、光偏向器をアウトバウンド方向(送信方向すなわちTXとも称される)で用いて、光源からの光を視野の少なくとも一部へ偏向できることに留意するべきである。しかしながら、光偏向器をインバウンド方向(受信方向すなわちRXとも称される)で用いて、視野の少なくとも一部からの光を1つ以上の光センサへ偏向させることも可能である。スキャンユニット及び少なくとも1つの光偏向器についての更なる詳細は、図3Aから図3Cを参照して以下で説明する。
[0116] 開示される実施形態は、視野をスキャンするために光偏向器を枢動することを含み得る。本明細書で用いる場合、「枢動する(pivot)」という用語は、物体(特に固体の物体)を、回転中心を実質的に固定したままに維持しながら、1つ以上の回転軸を中心として回転させることを広く含む。一実施形態において、光偏向器の枢動は、固定軸(例えばシャフト)を中心として光偏向器を回転させることを含み得るが、必ずしもそうとは限らない。例えばいくつかのMEMSミラー実施では、MEMSミラーは、ミラーに接続された複数の曲げ部(bender)の作動によって動くことができ、ミラーは回転に加えてある程度の空間並進を生じ得る。それにもかかわらず、このようなミラーは実質的に固定された軸を中心として回転するように設計できるので、本開示に従って、枢動すると見なされる。他の実施形態において、あるタイプの光偏向器(例えば非機械電子光学ビームステアリング、OPA)は、偏向光の偏向角を変えるために移動コンポーネントも内部移動も必要としない。光偏向器の移動又は枢動に関する検討は、必要な変更を加えて、光偏向器の偏向挙動を変化させるように光偏向器を制御することにも適用できることに留意するべきである。例えば光偏向器を制御することで、少なくとも1つの方向から到達する光ビームの偏向角を変化させることが可能となる。
[0117] 開示される実施形態は、光偏向器の単一の瞬時位置に対応する視野の部分に関連した反射を受信することを含み得る。本明細書で用いる場合、「光偏向器の瞬時位置」(「光偏向器の状態」とも称される)という用語は、ある瞬間的な時点に又は短い時間期間にわたって光偏向器の少なくとも1つの制御されたコンポーネントが位置している空間内のロケーション又は位置を広く指す。一実施形態において、光偏向器の瞬時位置は基準系(frame of reference)に対して測定することができる。基準系はLIDARシステム内の少なくとも1つの固定点に関連し得る。又は、例えば基準系はシーン内の少なくとも1つの固定点に関連し得る。いくつかの実施形態において、光偏向器の瞬時位置は、光偏向器(例えばミラー、プリズム)の1つ以上のコンポーネントのある程度の移動を含み得るが、この移動は通常、視野のスキャン中の最大変化度に対して限られた程度のものである。例えばLIDARシステムの視野全体のスキャンは、光の偏向を30°の範囲にわたって変化させることを含み得る。また、少なくとも1つの光偏向器の瞬時位置は、光偏向器の0.05°内の角度シフトを含み得る。他の実施形態において、「光偏向器の瞬時位置」という用語は、LIDARシステムによって生成されるポイントクラウド(又は別のタイプの3Dモデル)の単一ポイントのデータを与えるために処理される光の取得中の光偏向器の位置を指し得る。いくつかの実施形態において、光偏向器の瞬時位置は、偏向器がLIDAR視野の特定の小領域(sub-region)の照射中に短時間停止する固定の位置又は向きに一致し得る。他の場合、光偏向器の瞬時位置は、光偏向器がLIDAR視野の連続的又は半連続的なスキャンの一部として通過する、光偏向器の位置/向きのスキャン範囲に沿った特定の位置/向きと一致し得る。いくつかの実施形態では、LIDAR FOVのスキャンサイクル中に光偏向器が複数の異なる瞬時位置に位置付けられるように光偏向器を移動させることができる。言い換えると、スキャンサイクルが発生する時間期間中、偏向器を一連の異なる瞬時位置/向きに移動させることができ、偏向器は、スキャンサイクル中の異なる時点でそれぞれ異なる瞬時位置/向きに到達できる。
[0118] 開示される実施形態に従って、LIDARシステムは、視野内の物体からの反射を検出するように構成された少なくとも1つのセンサを用いる少なくとも1つの検知ユニットを含み得る。「センサ」という用語は、電磁波の特性(例えば電力、周波数、位相、パルスタイミング、パルス持続時間)を測定することができ、測定された特性に関する出力を生成するための任意のデバイス、要素、又はシステムを広く含む。いくつかの実施形態において、少なくとも1つのセンサは、複数の検出要素から構築された複数の検出器を含み得る。少なくとも1つのセンサは、1つ以上のタイプの光センサを含み得る。少なくとも1つのセンサは、他の特性(例えば感度、大きさ)が異なる同じタイプの複数のセンサを含み得ることに留意するべきである。他のタイプのセンサを用いてもよい。例えば、ある距離範囲(特に近距離)における検出の向上、センサのダイナミックレンジの向上、センサの時間的応答の向上、及び、様々な環境条件(例えば大気温度、雨等)における検出の向上のような様々な理由から、いくつかのタイプのセンサを組み合わせて使用することも可能である。
[0119] 一実施形態において、少なくとも1つのセンサは、一般的なシリコン基板上で検出要素として機能する、アバランシェフォトダイオード(APD:avalanche photodiode)、単一光子アバランシェダイオード(SPAD:single photon avalanche diode)から構築された固体単一光子検知デバイスであるSiPM(Silicon photomultiplier、シリコン光電子増倍管)を含む。一例において、SPAD間の典型的な距離は約10μmから約50μの間であり、各SPADは約20nsから約100nsの間の回復時間を有し得る。他の非シリコン材料による同様の光電子増倍管も使用できる。SiPMデバイスはデジタル/スイッチングモードで動作するが、全ての微小セルが並列に読み出されて、異なるSPADによって検出される単一の光子から数百及び数千の光子までのダイナミックレンジ内で信号を発生することを可能とするので、SiPMはアナログデバイスである。異なるタイプのセンサ(例えばSPAD、APD、SiPM、PINダイオード、光検出器)からの出力が組み合わされて単一の出力になり、これをLIDARシステムのプロセッサによって処理できることに留意するべきである。検知ユニット及び少なくとも1つのセンサについての更なる詳細は、図4Aから図4Cを参照して以下で説明する。
[0120] 開示される実施形態に従って、LIDARシステムは、様々な機能を実行するように構成された少なくとも1つのプロセッサを含むか又は少なくとも1つのプロセッサと通信することができる。少なくとも1つのプロセッサは、1つ又は複数の入力に対して論理動作を実行する電気回路を有する任意の物理デバイスを構成し得る。例えば少なくとも1つのプロセッサは、特定用途向け集積回路(ASIC)、マイクロチップ、マイクロコントローラ、マイクロプロセッサ、中央処理装置(CPU)の全体又は一部、グラフィック処理ユニット(GPU)、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、又は命令の実行もしくは論理動作の実行に適した他の回路を含む、1つ以上の集積回路(IC)を含み得る。少なくとも1つのプロセッサによって実行される命令は、例えば、コントローラに一体化されているか又は埋め込まれたメモリに予めロードするか、又は別個のメモリに記憶することができる。メモリは、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、ハードディスク、光学ディスク、磁気媒体、フラッシュメモリ、他の永久メモリ、固定メモリ、もしくは揮発性メモリ、又は命令を記憶することができる他の任意の機構を含み得る。いくつかの実施形態において、メモリは、LIDARシステムの環境内の物体に関するデータを表す情報を記憶するように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは2つ以上のプロセッサを含み得る。各プロセッサは同様の構成を有するか、又は、それらのプロセッサは相互に電気的に接続されるかもしくは切断された異なる構成とすることができる。例えばプロセッサは、別々の回路とするか、又は単一の回路に一体化することができる。2つ以上のプロセッサを用いる場合、これらのプロセッサは、独立して又は協働して動作するように構成できる。これらのプロセッサは、電気的に、磁気的に、光学的に、音響的に、機械的に、又はそれらの相互作用を可能とする他の手段によって、結合することができる。処理ユニット及び少なくとも1つのプロセッサについての更なる詳細は、図5Aから図5Cを参照して以下で説明する。
システムの概要
[0121] 図1Aは、投影ユニット102、スキャンユニット104、検知ユニット106、及び処理ユニット108を含むLIDARシステム100を示す。LIDARシステム100は車両110上に搭載可能である。本開示の実施形態に従って、投影ユニット102は少なくとも1つの光源112を含み、スキャンユニット104は少なくとも1つの光偏向器114を含み、検知ユニット106は少なくとも1つのセンサ116を含み、処理ユニット108は少なくとも1つのプロセッサ118を含み得る。一実施形態において、少なくとも1つのプロセッサ118は、視野120をスキャンするため、少なくとも1つの光源112の動作と少なくとも1つの光偏向器114の移動を連携させるように構成できる。スキャンサイクル中、少なくとも1つの光偏向器114の各瞬時位置を視野120の特定の部分122に関連付けることができる。更に、LIDARシステム100は、視野120の方へ投影される光を誘導する及び/又は視野120内の物体から反射された光を受光するための少なくとも1つの任意選択的な光学ウィンドウ124を含み得る。任意選択的な光学ウィンドウ124は、投影光のコリメーション及び反射光の集束のような異なる目的に供することができる。一実施形態において、任意選択的な光学ウィンドウ124は、開口、平坦なウィンドウ、レンズ、又は他の任意のタイプの光学ウィンドウとすればよい。
[0122] 本開示に従って、LIDARシステム100は、自律走行又は半自律走行の道路車両(例えば自動車、バス、ライトバン、トラック、及び他の任意の地上車)において使用することができる。LIDARシステム100を備えた自律走行道路車両は、環境をスキャンし、人の入力なしで目的地車両まで運転することができる。同様に、LIDARシステム100は、自律型/半自律型航空機(例えばUAV、ドローン、クワッドコプター、及び他の任意の航空機もしくは飛行デバイス)、又は自律型もしくは半自律型の水上船(例えばボート、船、潜水艦、及び他の任意の船舶)においても使用され得る。LIDARシステム100を備えた自律型航空機及び水上船は、環境をスキャンし、自律的に又は遠隔の人のオペレータを用いて目的地までナビゲートすることができる。一実施形態に従って、車両110(道路車両、航空機、又は水上船)は、車両110が動作している環境の検出及びスキャンに役立てるためLIDARシステム100を使用することができる。
[0123] いくつかの実施形態において、LIDARシステム100は、車両110の周りの環境をスキャンするための1つ以上のスキャンユニット104を含み得る。LIDARシステム100は、車両110の任意の部分に取り付けるか又は搭載することができる。検知ユニット106は、車両110の周囲からの反射を受信し、視野120内の物体から反射した光を示す反射信号を処理ユニット108に転送することができる。本開示に従って、スキャンユニット104は、車両110のバンパー、フェンダー、サイドパネル、スポイラ、屋根、ヘッドライトアセンブリ、テールライトアセンブリ、バックミラーアセンブリ、フード、トランク、又はLIDARシステムの少なくとも一部を収容できる他の任意の適切な部分に搭載するか又は組み込むことができる。場合によっては、LIDARシステム100は車両110の環境の完全な周囲ビューをキャプチャする。このため、LIDARシステム100は360°の水平方向視野を有し得る。一例において、図1Aに示されているように、LIDARシステム100は車両110の屋根に搭載された単一のスキャンユニット104を含み得る。あるいはLIDARシステム100は、それぞれ視野を有する複数のスキャンユニット(例えば2、3、4、又はそれ以上のスキャンユニット104)を含み、これらの視野を合わせると車両110の周りの360度のスキャンによって水平方向視野をカバーすることができる。LIDARシステム100は任意のやり方で配置された任意の数のスキャンユニット104を含み、使用されるユニット数に応じて各ユニットが80°から120°又はそれ未満の視野を有し得ることは、当業者に認められよう。更に、各々が単一のスキャンユニット104を備えた複数のLIDARシステム100を車両110上に搭載することによって、360°の水平方向視野を得ることも可能である。それにもかかわらず、1つ以上のLIDARシステム100が完全な360°の視野を与える必要はないこと、及び、いくつかの状況ではより狭い視野が有用であり得ることに留意するべきである。例えば車両110は、車両の前方に75°の視野を有する第1のLIDARシステム100と、場合によっては後方に同様のFOVを有する(任意選択的に、より小さい検出範囲を有する)第2のLIDARシステム100と、を必要とする可能性がある。また、様々な垂直方向視野角も実施され得ることに留意するべきである。
[0124] 図1Bは、開示される実施形態に従った、車両110上に搭載されたLIDARシステム100の単一のスキャンサイクルからの例示的な出力を示す画像である。この例において、スキャンユニット104は車両110の右ヘッドライトアセンブリに組み込まれている。画像における全ての灰色ドットは、検知ユニット106によって検出された反射から決定された車両110の周りの環境内のロケーションに対応する。ロケーションに加えて、各灰色ドットは、例えば強度(例えばそのロケーションからどのくらいの量の光が戻るか)、反射率、他のドットに対する近接、及びその他のもの等、様々なタイプの情報に関連付けることも可能である。一実施形態において、LIDARシステム100は、視野の複数のスキャンサイクルで検出された反射から複数のポイントクラウドデータエントリを生成して、例えば車両110の周りの環境のポイントクラウドモデルの決定を可能とすることができる。
[0125] 図1Cは、LIDARシステム100の出力から決定されたポイントクラウドモデルの表現を示す画像である。開示される実施形態に従って、車両110の周りの環境の生成されたポイントクラウドデータエントリを処理することにより、ポイントクラウドモデルから周囲ビュー画像を生成できる。一実施形態において、ポイントクラウドモデルは、ポイントクラウド情報を処理して複数のフィーチャを識別するフィーチャ抽出モジュールに提供することができる。各フィーチャは、ポイントクラウド及び/又は車両110の周りの環境内の物体(例えば自動車、木、人物、及び道路)の様々な様相(aspect)に関するデータを含み得る。フィーチャは、同一の解像度のポイントクラウドモデルを有する(すなわち、任意選択的に同様の大きさの2Dアレイに配置された同数のデータポイントを有する)、又は異なる解像度を有し得る。フィーチャは、任意の種類のデータ構造内に記憶することができる(例えばラスタ、ベクトル、2Dアレイ、1Dアレイ)。更に、車両110の表現、境界線、又は(例えば図1Bに示されているような)画像内の領域もしくは物体を分離する境界ボックス、及び1つ以上の識別された物体を表すアイコンのような仮想フィーチャを、ポイントクラウドモデルの表現の上に重ねて、最終的な周囲ビュー画像を形成できる。例えば、周囲ビュー画像の中央に車両110の記号を重ねることができる。
投影ユニット
[0126] 図2Aから図2Dは、LIDARシステム100における投影ユニット102の様々な構成及びその役割を示す。具体的には、図2Aは単一の光源を備えた投影ユニット102を示す図であり、図2Bは共通の光偏向器114に照準を合わせた複数の光源を備えた複数の投影ユニット102を示す図であり、図2Cは一次及び二次光源112を備えた投影ユニット102を示す図であり、図2Dは投影ユニット102のいくつかの構成で使用される非対称偏向器を示す図である。投影ユニット102の図示される構成は多くの変形及び変更を有し得ることは当業者に認められよう。
[0127] 図2Aは、投影ユニット102が単一の光源112を含むLIDARシステム100のバイスタティック構成の一例を示す。「バイスタティック構成(bi-static configuration)」という用語は、LIDARシステムから出射する投影光及びLIDARシステムに入射する反射光が異なる光学チャネルを通るLIDARシステム構成を広く指す。具体的には、アウトバウンド光放出は第1の光学ウィンドウ(図示せず)を通過し、インバウンド光放出は別の光学ウィンドウ(図示せず)を通過することができる。図2Aに示される例において、バイスタティック構成は、スキャンユニット104が2つの光偏向器を含む構成を含んでいる。第1の光偏向器114Aはアウトバウンド光用であり、第2の光偏向器114Bはインバウンド光用のものである(LIDARシステムのインバウンド光は、シーン内の物体から反射した放出光を含み、更に、他のソースから到達する周囲光も含み得る)。そのような構成において、インバウンド経路及びアウトバウンド経路は異なる。
[0128] この実施形態において、LIDARシステム100の全てのコンポーネントは、単一の筐体200内に収容するか、又は複数の筐体間に分割することができる。図示のように、投影ユニット102は、光(投影光204)を放出するように構成されたレーザダイオード202A(又は共に結合された1つ以上のレーザダイオード)を含む単一の光源112に関連付けられている。1つの非限定的な例では、光源112によって投影される光は、約800nmから約950nmの間の波長であり、約50mWから約500mWの間の平均パワーを有し、約50Wから約200Wの間のピークパワーを有し、約2nsから約100nsの間のパルス幅を有し得る。更に、光源112は任意選択的に、レーザダイオード202Aによって放出された光の操作のため(例えばコリメーションや集束等のため)に使用される光学アセンブリ202Bに関連付けることができる。他のタイプの光源112も使用可能であり、本開示はレーザダイオードに限定されないことに留意するべきである。更に、光源112は、光パルス、変調周波数、連続波(CW)、準CW、又は使用される特定の光源に対応した他の任意の形態のように、様々なフォーマットで光を放出することができる。投影フォーマット及び他のパラメータは、処理ユニット108からの命令のような異なるファクタに基づいて、時々光源によって変更されることがある。投影光は、視野120に投影光を誘導するためのステアリング要素として機能するアウトバウンド偏向器114Aの方へ投影される。この例において、スキャンユニット104は、視野120内の物体208から反射して戻った光子(反射光206)をセンサ116の方へ誘導する枢動可能帰還偏向器114Bも含む。反射光はセンサ116によって検出され、物体に関する情報(例えば物体212までの距離)は処理ユニット118によって決定される。
[0129] この図において、LIDARシステム100はホスト210に接続されている。本開示に従って、「ホスト」という用語は、LIDARシステム100とインタフェースで接続する任意のコンピューティング環境を指し、車両システム(例えば車両110の一部)、試験システム、セキュリティシステム、調査システム、交通制御システム、都会モデリングシステム、又はその周囲を監視する任意のシステムであり得る。そのようなコンピューティング環境は、少なくとも1つのプロセッサを含む、及び/又はクラウドを介してLIDARシステム100に接続され得る。いくつかの実施形態において、ホスト210は、カメラや、ホスト210の様々な特徴(例えば加速度、ハンドルの偏向、車の後退等)を測定するように構成されたセンサのような外部デバイスに対するインタフェースも含み得る。本開示に従って、LIDARシステム100は、ホスト210に関連付けられた静止物体(例えば建物、三脚)、又はホスト210に関連付けられた携帯型システム(例えば携帯型コンピュータ、ムービーカメラ)に固定することができる。本開示に従って、LIDARシステム100をホスト210に接続することで、LIDARシステム100の出力(例えば3Dモデル、反射率画像)をホスト210に提供できる。具体的には、ホスト210はLIDARシステム100を用いて、ホスト210の環境又は他の任意の環境の検出及びスキャンに役立てることができる。更に、ホスト210は、LIDARシステム100の出力を、他の検知システム(例えばカメラ、マイクロフォン、レーダシステム)の出力と一体化するか、同期するか、又は他の方法で共に使用することができる。一例において、LIDARシステム100はセキュリティシステムによって使用され得る。この実施形態については図7を参照して以下で詳細に記載する。
[0130] また、LIDARシステム100は、LIDARシステム100内で情報を転送するためサブシステム及びコンポーネントを相互接続するバス212(又は他の通信機構)も含み得る。任意選択的に、バス212(又は別の通信機構)は、LIDARシステム100をホスト210と相互接続するため使用することができる。図2Aの例において、処理ユニット108は、少なくとも部分的にLIDARシステム100の内部フィードバックから受信した情報に基づいて、投影ユニット102、スキャンユニット104、及び検知ユニット106の動作を連携させて規制するための2つのプロセッサ118を含む。言い換えると、処理ユニット108は、LIDARシステム100を閉ループ内で動的に動作させるように構成できる。閉ループシステムは、要素のうち少なくとも1つからのフィードバックを有し、受信したフィードバックに基づいて1つ以上のパラメータを更新することによって特徴付けられる。更に、閉ループシステムは、フィードバックを受信し、少なくとも部分的にそのフィードバックに基づいてそれ自体の動作を更新することができる。動的システム又は要素は、動作中に更新できるものである。
[0131] いくつかの実施形態によれば、LIDARシステム100の周りの環境をスキャンすることは、視野120を光パルスで照射することを含み得る。光パルスは、パルス持続時間、パルス角分散、波長、瞬時パワー、光源112からの異なる距離における光子密度、平均パワー、パルスパワー強度、パルス幅、パルス繰り返し率、パルスシーケンス、パルスデューティサイクル、波長、位相、偏光、及びその他のもののようなパラメータを有し得る。また、LIDARシステム100の周りの環境をスキャンすることは、反射光の様々な様相を検出し特徴付けることを含み得る。反射光の特徴は、例えば飛行時間(すなわち放出から検出までの時間)、瞬時パワー(例えばパワーシグネチャ(power signature))、帰還パルス全体の平均パワー、及び帰還パルス期間における光子分布/信号を含み得る。光パルスの特徴を対応する反射の特徴と比較することによって、距離を推定し、場合によっては物体212の反射強度のような物理特性も推定することができる。このプロセスを、所定のパターン(例えばラスタ、リサジュー、又は他のパターン)で複数の隣接部分122に繰り返すことによって、視野120の全体的なスキャンを達成できる。以下で更に詳しく検討するように、いくつかの状況においてLIDARシステム100は、各スキャンサイクルにおいて視野120の部分122の一部にのみ光を誘導することができる。これらの部分は相互に隣接している場合があるが、必ずしもそうとは限らない。
[0132] 別の実施形態において、LIDARシステム100は、ホスト210(例えば車両コントローラ)と通信を行うためのネットワークインタフェース214を含み得る。LIDARシステム100とホスト210との間の通信は破線の矢印によって表されている。一実施形態においてネットワークインタフェース214は、総合デジタル通信網(ISDN:integrated services digital network)カード、ケーブルモデム、衛星モデム、又は対応するタイプの電話線にデータ通信接続を与えるモデムを含み得る。別の例として、ネットワークインタフェース214は、コンパチブルなローカルエリアネットワーク(LAN)にデータ通信接続を与えるLANカードを含み得る。別の実施形態において、ネットワークインタフェース214は、無線周波数受信器及び送信器及び/又は光学(例えば赤外線)受信器及び送信器に接続されたイーサネットポートを含み得る。ネットワークインタフェース214の具体的な設計及び実施は、LIDARシステム100及びホスト210が動作するように意図された1又は複数の通信ネットワークに依存する。例えば、ネットワークインタフェース214を用いて、3DモデルやLIDARシステム100の動作パラメータのようなLIDARシステム100の出力を外部システムに提供することができる。他の実施形態では、通信ユニットを用いて、例えば外部システムから命令を受信し、検査された環境に関する情報を受信し、別のセンサからの情報を受信することができる。
[0133] 図2Bは、複数の投影ユニット102を含むLIDARシステム100のモノスタティック構成の一例を示す。「モノスタティック構成(monostatic configuration)」という用語は、LIDARシステムから出射する投影光及びLIDARシステムに入射する反射光が少なくとも部分的に共有される光路を通るLIDARシステム構成を広く指す。一例において、アウトバウンド光ビーム及びインバウンド光ビームは、双方の光ビームが通る少なくとも1つの光学アセンブリを共有する。別の例では、アウトバウンド光放射は光学ウィンドウ(図示せず)を通過し、インバウンド光放射は同一の光学ウィンドウ(図示せず)を通過し得る。モノスタティック構成は、スキャンユニット104が単一の光偏向器114を含み、これが投影光を視野120の方へ誘導すると共に反射光をセンサ116の方へ誘導する構成を含み得る。図示のように、投影光204及び反射光206は双方とも非対称偏向器216に入射する。「非対称偏向器」という用語は、2つの側を有する任意の光学デバイスであって、一方の側から入射する光ビームを第2の側から入射する光ビームを偏向させるのとは異なる方向に偏向させ得るものを指す。一例において、非対称偏向器は投影光204を偏向させず、反射光206をセンサ116の方へ偏向させる。非対称偏向器の一例は偏光ビームスプリッタを含み得る。別の例において、非対称216は、光を一方向にのみ通過させることができる光アイソレータを含み得る。本開示に従って、LIDARシステム100のモノスタティック構成は、反射光が光源112に入射するのを防止すると共に全ての反射光をセンサ116の方へ誘導することで検出感度を増大させる非対称偏向器を含み得る。
[0134] 図2Bの実施形態において、LIDARシステム100は、共通の光偏向器114に照準を合わせた単一の光源112をそれぞれ備える3つの投影ユニット102を含む。一実施形態において、複数の光源112(2つ以上の光源を含む)は実質的に同じ波長で光を投影することができ、各光源112は概ね、視野の異なるエリア(120A、120B、120Cとして図に示されている)に関連付けられている。これによって、1つの光源112で達成され得るよりも広い視野のスキャンが可能となる。別の実施形態では、複数の光源102は異なる波長で光を投影することができ、全ての光源112を視野120の同じ部分(又は重複部分)に誘導することができる。
[0135] 図2Cは、投影ユニット102が一次光源112A及び二次光源112Bを含むLIDARシステム100の例を示す。一次光源112Aは、SNR及び検出範囲を最適化するため、人の目に感知されるよりも長い波長の光を投影することができる。例えば一次光源112Aは、約750nmから1100nmの間の波長の光を投影できる。これに対して二次光源112Bは、人の目に見える波長の光を投影することができる。例えば二次光源112Bは、約400nmから700nmの間の波長の光を投影できる。一実施形態において、二次光源112Bは、一次光源112Aによって投影される光と実質的に同じ光路に沿って光を投影できる。双方の光源は時間同期することができ、同時に又は交互のパターンで光放出を投影できる。交互のパターンは、光源が同時にアクティブにならないことを意味し、相互干渉を軽減することができる。波長範囲及び活性化スケジュールの他の組み合わせも実施され得ることは当業者に認められよう。
[0136] いくつかの実施形態に従って、二次光源112BがLIDAR光学出力ポートに近すぎる場合、人はまばたきする可能性がある。これによって、近赤外スペクトルを利用する典型的なレーザ源では実現できない目に安全な機構を保証し得る。別の実施形態において、二次光源112Bは、POS(point of service:サービス提供時点管理)における較正及び信頼性のため使用することができる。これは、車両110に対して地面から特定の高さの特別なリフレクタ/パターンを用いて行われるヘッドライトの較正と多少類似した方法で行われる。POSのオペレータは、LIDARシステム100から指定距離にある試験パターンボード等の特徴的なターゲット上のスキャンパターンを単に目視検査することで、LIDARの較正を調べることができる。更に、二次光源112Bは、LIDARがエンドユーザのため動作しているという動作信頼性のための手段を提供できる。例えばシステムは、光偏向器114の前に人が手を置いてその動作を試すことができるように構成され得る。
[0137] また、二次光源112Bは、一次光源112Aが故障した場合にバックアップシステムとして兼用できる非可視要素も有し得る。この特徴は、高い機能的安全性ランクを有するフェイルセーフデバイスに有用であり得る。二次光源112Bが可視であることを踏まえ、更にコスト及び複雑さの理由から、二次光源112Bは一次光源112Aよりも小さいパワーを伴い得る。従って、もし一次光源112Aが故障した場合、システムの機能性は二次光源112Bの機能及び能力セットへ低下することになる。二次光源112Bの能力は一次光源112Aの能力よりも劣る場合があるが、LIDARシステム100のシステムは、車両110が目的地に安全に到着できるように設計され得る。
[0138] 図2Dは、LIDARシステム100の一部となり得る非対称偏向器216を示す。図示されている例において、非対称偏向器216は、反射面218(ミラー等)及び一方向偏向器220を含む。必ず当てはまるわけではないが、非対称偏向器216は任意選択的に静電型偏向器(static deflector)とすることができる。非対称偏向器216は、例えば図2B及び図2Cに示すように、少なくとも1つの偏向器114を介した光の送信及び受信に共通の光路を可能とするため、LIDARシステム100のモノスタティック構成において使用できる。しかしながら、ビームスプリッタのような典型的な非対称偏向器は、特に送信路よりもパワー損失に敏感である可能性のある受信路において、エネルギ損失によって特徴付けられる。
[0139] 図2Dに示されているように、LIDARシステム100は送信路に位置決めされた非対称偏向器216を含むことができる。非対称偏向器216は、送信光信号と受信光信号とを分離するための一方向偏向器220を含む。任意選択的に、一方向偏向器220は送信光に対して実質的に透明であり、受信光に対して実質的に反射性であり得る。送信光は投影ユニット102によって生成され、一方向偏向器220を通ってスキャンユニット104へ進むことができる。スキャンユニット104は送信光を光アウトレットの方へ偏向させる。受信光は光インレットを通って少なくとも1つの偏向要素114に到達し、偏向要素114は反射信号を光源から離れて検知ユニット106へ向かう別の経路に偏向させる。任意選択的に、非対称偏向器216は、一方向偏向器220と同一の偏光軸で直線偏光される偏光光源112と組み合わせてもよい。特に、アウトバウンド光ビームの断面は反射信号の断面よりも著しく小さい。従って、LIDARシステム100は、放出された偏光ビームを非対称偏向器216の寸法まで集束させるか又は他の方法で操作するための1つ以上の光学コンポーネント(例えばレンズ、コリメータ)を含み得る。一実施形態において、一方向偏向器220は、偏光ビームに対して事実上透明である偏光ビームスプリッタとすることができる。
[0140] いくつかの実施形態に従って、LIDARシステム100は、放出光の偏光を変えるための光学系222(例えば4分の1波長位相差板)を更に含み得る。例えば、光学系222は放出光ビームの直線偏光を円偏光に変えることができる。視野から反射してシステム100に戻った光は、偏向器114を通って光学系222に到達し、送信光とは逆回りの円偏光である。次いで光学系222は、受信した反対回りの偏光を、偏光ビームスプリッタ216と同一の軸でない直線偏光に変換する。上記のように、ターゲットまでの距離を伝達するビームの光学分散のため、受信光部分は送信光部分よりも大きい。
[0141] 受信光の一部は一方向偏向器220に入射し、一方向偏向器220は、いくらかのパワー損失を伴って光をセンサ106の方へ反射する。しかしながら、受信光の別の部分は、一方向偏向器220を取り囲む反射面218(例えば偏光ビームスプリッタのスリット)に入射する。反射面218は、実質的にパワー損失なしで光を検知ユニット106の方へ反射する。一方向偏向器220は、様々な偏光軸及び方向から構成された光を反射し、これは最終的には検出器に到達する。任意選択的に、検知ユニット106は、レーザ偏光に依存せず、主に特定波長範囲の入射光子量に対する感度が高いセンサ116を含むことができる。
[0142] 提案される非対称偏向器216は、貫通孔を備えた単純なミラーに比べてはるかに優れた性能を提供することに留意するべきである。孔を備えたミラーでは、孔に到達した反射光は全て検出器から失われる。しかしながら偏向器216では、一方向偏向器220がその光のかなりの部分(例えば約50%)を各センサ116の方へ偏向させる。LIDARシステムにおいて、遠隔距離からLIDARに到達する光子数は極めて限られるので、光子捕獲率の向上は重要である。
[0143] いくつかの実施形態に従って、ビーム分割及びステアリングのためのデバイスが記載される。第1の偏光を有する光源から偏光ビームを放出することができる。放出されたビームは偏光ビームスプリッタアセンブリを通過するように誘導できる。偏光ビームスプリッタアセンブリは、第1の側の一方向スリット及び反対側のミラーを含む。一方向スリットによって、放出された偏光ビームを4分の1波長位相差板の方へ伝達することができる。4分の1波長位相差板は、放出された信号を偏光信号から線形信号へ(又はその逆に)変化させることで、後に反射ビームが一方向スリットを通過できないようにする。
スキャンユニット
[0144] 図3Aから図3Dは、LIDARシステム100におけるスキャンユニット104の様々な構成及びその役割を示す。具体的には、図3AはMEMSミラー(例えば方形)を備えたスキャンユニット104を示す図であり、図3BはMEMSミラー(例えば円形)を備えたスキャンユニット104を示す図であり、図3CはモノスタティックスキャンLIDARシステムで使用されるリフレクタのアレイを備えたスキャンユニット104を示す図であり、図3DはLIDARシステム100の周りの環境を機械的にスキャンする例示的なLIDARシステム100を示す図である。スキャンユニット104の図示されている構成は単なる例示であり、本開示の範囲内で多くの変形及び変更を有し得ることは、当業者に認められよう。
[0145] 図3Aは、単一軸の方形MEMSミラー300を備えた例示的なスキャンユニット104を示す。この例において、MEMSミラー300は少なくとも1つの偏向器114として機能する。図示のように、スキャンユニット104は1つ以上のアクチュエータ302(具体的には302A及び302B)を含み得る。一実施形態において、アクチュエータ302は、半導体(例えばシリコン)で作製することができ、作動コントローラによって印加された電気信号に応答して寸法を変える圧電層(例えばPZT、チタン酸ジルコン酸塩、窒化アルミニウム)と、半導体層と、ベース層と、を含む。一実施形態において、アクチュエータ302の物理特性は、電流が流れた場合にアクチュエータ302に加わる機械的応力を決定し得る。圧電材料が活性化されると、これがアクチュエータ302に力を加えてアクチュエータ302を曲げる。一実施形態において、ミラー300が特定の角度位置に偏向した場合のアクティブ状態の1つ以上のアクチュエータ302の抵抗率(Ractive)を測定し、休止状態の抵抗率(Rrest)と比較することができる。Ractiveを含むフィードバックは、予想角と比べられる実際のミラー偏向角を決定するための情報を与え、必要に応じてミラー300の偏向を補正することができる。RrestとRactiveとの差を、ループを閉じるように機能し得る角度偏向値へのミラー駆動に相関付けることができる。この実施形態は、実際のミラー位置の動的追跡のために使用され、線形モード及び共振モードの双方のMEMSミラースキームにおいて応答、振幅、偏向効率、及び周波数を最適化することができる。この実施形態については図32から図34を参照して以下で更に詳しく説明する。
[0146] スキャン中、接点304Aから接点304Bまで(アクチュエータ302A、ばね306A、ミラー300、ばね306B、及びアクチュエータ302Bを介して)電流が流れ得る(図では破線で表されている)。絶縁ギャップ310のような半導体フレーム308の絶縁ギャップによって、アクチュエータ302A及び302Bは、ばね306及びフレーム308を介して電気的に接続された2つの別個のアイランドとなり得る。電流、又は任意の関連付けられた電気的パラメータ(電圧、電流周波数、容量、比誘電率等)を、関連した位置フィードバックによって監視することができる。コンポーネントのうち1つが損傷する機械的故障の場合、構造を流れる電流が変わり、機能的な較正値から変化する。極端な状況では(例えば、ばねが破損した場合)、故障した要素による電気チェーンの回路遮断のため、電流は完全に中断する。
[0147] 図3Bは、二軸円形MEMSミラー300を備えた別の例示的なスキャンユニット104を示す。この例において、MEMSミラー300は少なくとも1つの偏向器114として機能する。一実施形態において、MEMSミラー300は約1mmから約5mmの間の直径を有し得る。図示のように、スキャンユニット104は、それぞれ異なる長さである可能性がある4つのアクチュエータ302(302A、302B、302C、及び302D)を含み得る。図示する例において、電流(図では破線で表されている)は接点304Aから接点304Dへ流れるが、他の場合、電流は接点304Aから接点304Bへ、接点304Aから接点304Cへ、接点304Bから接点304Cへ、接点304Bから接点304Dへ、又は接点304Cから接点304Dへ流れ得る。いくつかの実施形態に従って、二軸MEMSミラーは、水平方向及び垂直方向に光を偏向させるように構成できる。例えば二軸MEMSミラーの偏向角は、垂直方向に約0°から30°の間であり、水平方向に約0°から50°の間とすることができる。ミラー300の図示されている構成は多くの変形及び変更を有し得ることは当業者に認められよう。一例において、少なくとも偏向器114は、二軸方形ミラー又は単一軸円形ミラーを有することも可能である。円形ミラー及び方形ミラーの例は、単に一例として図3A及び図3Bに示されている。システム仕様に応じて任意の形状を採用できる。一実施形態においては、アクチュエータ302を少なくとも偏向器114の一体的な部分として組み込んで、MEMSミラー300を移動させるためのパワーを直接与えられるようになっている。更に、MEMSミラー300は1つ以上の剛性支持要素によってフレーム308に接続することができる。別の実施形態では、少なくとも偏向器114は静電又は電磁MEMSミラーを含み得る。
[0148] 上述のように、モノスタティックスキャンLIDARシステムは、投影光204の放出及び反射光206の受光のために同じ光路の少なくとも一部を利用する。アウトバウンド経路の光ビームはコリメートされて細いビームに集束され得るが、帰還経路の反射は分散のためより大きい光部分に広がる。一実施形態において、スキャンユニット104は帰還経路において大きい反射エリアを有し、反射(すなわち反射光206)をセンサ116へ方向転換する非対称偏向器216を有し得る。一実施形態において、スキャンユニット104は、大きい反射エリアを備えたMEMSミラーを含むことができ、視野及びフレームレート性能に対する影響は無視できる程度である。非対称偏向器216についての更なる詳細は図2Dを参照して以下に与えられる。
[0149] いくつかの実施形態において(例えば図3Cに例示されているように)、スキャンユニット104は、小型の光偏向器(例えばミラー)を備えた偏向器アレイ(例えばリフレクタアレイ)を含み得る。一実施形態においては、同期して動作する個別の小型の光偏向器のグループとして光偏向器114を実施することで、光偏向器114は、より大きな偏向角及び高いスキャンレートで実行可能となる。偏向器アレイは事実上、有効エリアに関して大型の光偏向器(例えば大型のミラー)として機能できる。偏向器アレイは、共有ステアリングアセンブリ構成を用いて動作させることができる。この構成によって、センサ116は、光源112によって同時に照射される視野120の実質的に同じ部分からの反射光子を収集できる。「同時に」という用語は、2つの選択された機能が、一致するか又は重複する時間期間中に発生することを意味する。この場合、一方が他方の持続期間中に開始及び終了するか、又は後のものが他方の完了前に開始する。
[0150] 図3Cは、小型のミラーを有するリフレクタアレイ312を備えたスキャンユニット104の一例を示す。この実施形態において、リフレクタアレイ312は少なくとも1つの偏向器114として機能する。リフレクタアレイ312は、(個別に又は一緒に)枢動し、光パルスを視野120の方へ向かわせるように構成された複数のリフレクタユニット314を含み得る。例えばリフレクタアレイ312は、光源112から投影された光のアウトバウンド経路の一部であり得る。具体的には、リフレクタアレイ312は、投影光204を視野120の一部へ誘導することができる。また、リフレクタアレイ312は、視野120の照射部分内に位置する物体の表面から反射した光の帰還経路の一部であり得る。具体的には、リフレクタアレイ312は、反射光206をセンサ116の方へ又は非対称偏向器216の方へ誘導することができる。一例において、リフレクタアレイ312の面積は約75から約150mm2の間であり得る。ここで、各リフレクタユニット314は約10μmの幅を有し、支持構造は100μmよりも低くすることができる。
[0151] いくつかの実施形態によれば、リフレクタアレイ312は、操縦可能(steerable)偏向器の1つ以上のサブグループを含み得る。電気的に操縦可能な偏向器の各サブグループは、リフレクタユニット314のような1つ以上の偏向器ユニットを含み得る。例えば、各操縦可能偏向器ユニット314は、MEMSミラー、反射面アセンブリ、及び電気機械アクチュエータのうち少なくとも1つを含むことができる。一実施形態において、各リフレクタユニット314は、1つ以上の別個の軸の各々に沿って特定の角度に傾斜するように個々のプロセッサ(図示せず)によって個別に制御することができる。あるいは、リフレクタアレイ312は、リフレクタユニット314の少なくとも一部が同時に枢動してほぼ同じ方向を指し示すようにリフレクタユニット314の移動を同期して管理するよう構成された共通コントローラ(例えばプロセッサ118)に関連付けることができる。
[0152] 更に、少なくとも1つのプロセッサ118は、アウトバウンド経路用の少なくとも1つのリフレクタユニット314(以降、「送信用ミラー」と称する)、及び、帰還経路用のリフレクタユニット314のグループ(以降、「受信用ミラー」と称する)を選択することができる。本開示に従って、送信用ミラーの数を増やすと、反射光子ビームの広がりが増大する可能性がある。更に、受信用ミラーの数を減らすと、受信フィールドが狭くなり、周囲光条件(雲、雨、霧、極端な熱、及び他の環境条件)が補償され、信号対雑音比が改善する可能性がある。また、上記のように、放出光ビームは典型的に反射光部分よりも細いので、偏向アレイの小さい部分によって充分に検出できる。更に、送信に使用される偏向アレイの部分(例えば送信用ミラー)から反射した光がセンサ116に到達するのを阻止し、これによって、システム動作に対するLIDARシステム100の内部反射の効果を低減できる。また、少なくとも1つのプロセッサ118は、1つ以上のリフレクタユニット314を枢動させて、例えば熱的効果及び利得効果による機械的障害及びドリフトを克服することができる。一例において、1つ以上のリフレクタユニット314は、意図されるもの(周波数、レート、速度等)とは異なるように移動する可能性があるが、それらの移動は偏向器を適切に電気的に制御することによって補償され得る。
[0153] 図3Dは、LIDARシステム100の環境を機械的にスキャンする例示的なLIDARシステム100を示す。この例において、LIDARシステム100は、LIDARシステム100の軸を中心として筐体200を回転させるためのモータ又は他の機構を含み得る。あるいは、モータ(又は他の機構)は、1つ以上の光源112及び1つ以上のセンサ116が搭載されているLIDARシステム100の剛性構造を機械的に回転させ、これによって環境をスキャンすることができる。上述のように、投影ユニット102は、光放出を投影するように構成された少なくとも1つの光源112を含み得る。投影された光放出はアウトバウンド経路に沿って視野120の方へ進むことができる。具体的には、投影光204が任意選択的な光学ウィンドウ124の方へ進む場合、投影された光放出は偏向器114Aによって反射されて出射アパーチャ314を通ることができる。反射された光放出は、物体208から帰還経路に沿って検知ユニット106の方へ進むことができる。例えば、反射光206が検知ユニット106の方へ進む場合、反射光206は偏向器114Bによって反射される。1つ以上の光源又は1つ以上のセンサを同期して回転させるための回転機構を備えたLIDARシステムは、内部光偏向器を操縦する代わりに(又はそれに加えて)この同期させた回転を用い得ることは、当業者によって認められよう。
[0154] 視野120のスキャンが機械的である実施形態において、投影された光放出は、投影ユニット102をLIDARシステム100の他の部分から分離する壁316の一部である出射アパーチャ314へ誘導できる。いくつかの例において、壁316は、偏向器114Bを形成するため反射性材料で覆われた透明な材料(例えばガラス)で形成することができる。この例において、出射アパーチャ314は、反射性材料で覆われていない壁316の部分に相当し得る。これに加えて又はこの代わりに、出射アパーチャ314は壁316の孔又は切断部を含み得る。反射光206は、偏向器114Bによって反射され、検知ユニット106の入射アパーチャ318の方へ誘導され得る。いくつかの例において、入射アパーチャ318は、特定の波長範囲内の波長を検知ユニット106に入射させると共に他の波長を減衰させるように構成されたフィルタウィンドウを含み得る。視野120からの物体208の反射は、偏向器114Bによって反射されてセンサ116に入射することができる。反射光206のいくつかの特性を投影光204と比較することによって、物体208の少なくとも1つの様相を決定できる。例えば、投影光204が光源112によって放出された時点とセンサ116が反射光206を受光した時点とを比較することによって、物体208とLIDARシステム100との間の距離を決定できる。いくつかの例では、物体208の形状、色、材料のような他の様相も決定され得る。
[0155] いくつかの例において、LIDARシステム100(又は、少なくとも1つの光源112及び少なくとも1つのセンサ116を含むその一部)を、少なくとも1つの軸を中心として回転させて、LIDARシステム100の周囲の3次元マップを決定することができる。例えば、視野120をスキャンするため、矢印320で示されているように実質的な垂直軸を中心としてLIDARシステム100を回転させることができる。図3Dは、矢印320で示されているように軸を中心として時計回りにLIDARシステム100を回転させることを示すが、これに加えて又はこの代わりに、LIDARシステム100を反時計回りに回転させてもよい。いくつかの例において、LIDARシステム100は垂直軸を中心として360度回転させることができる。他の例において、LIDARシステム100は、LIDARシステム100の360度よりも小さいセクタに沿って前後に回転させ得る。例えば、LIDARシステム100を、完全な回転を行うことなく軸を中心として前後に揺れるプラットフォーム上に搭載することができる。
検知ユニット
[0156] 図4Aから図4Eは、LIDARシステム100における検知ユニット106の様々な構成及びその役割を示す。具体的には、図4Aは、検出器アレイを備えた例示的な検知ユニット106を示す図であり、図4Bは、2次元センサを用いたモノスタティックスキャンを示す図であり、図4Cは、2次元センサ116の一例を示す図であり、図4Dは、センサ116に関連付けられたレンズアレイを示す図であり、図4Eは、レンズ構造を示す3つの図を含む。図示されている検知ユニット106の構成は単なる例示であり、本開示の原理と一致する多くの代替的な変形及び変更を有し得ることは、当業者に認められよう。
[0157] 図4Aは、検出器アレイ400を備えた検知ユニット106の一例を示す。この例において、少なくとも1つのセンサ116は検出器アレイ400を含む。LIDARシステム100は、LIDARシステム100から異なる距離に位置する(数メートル又はそれ以上であり得る)視野120内の物体(例えば自転車208A及び雲208B)を検出するように構成されている。物体208は、固体の物体(例えば道路、木、自動車、人物)、流体の物体(例えば霧、水、大気中の粒子)、又は別のタイプの物体(例えばほこり又は照射された粉末状物体)であり得る。光源112から放出された光子が物体208に当たると、光子は反射、屈折、又は吸収される。典型的には、図に示されているように、物体208Aから反射した光子のうち一部分のみが任意選択的な光学ウィンドウ124に入射する。距離の15cmまでの変化によって1nsの移動時間差が生じるので(光子は物体208との間で光の速度で移動するので)、異なる物体に当たった異なる光子の移動時間の時間差は、充分に迅速な応答で光時間センサによって検出可能であり得る。
[0158] センサ116は、視野120から反射して戻ってきた光子パルスの光子を検出するための複数の検出要素402を含む。検出要素は全て、(例えば図示されているような)矩形配列又は他の任意の配列を有し得る検出器アレイ400に含まれ得る。検出要素402は同時に又は部分的に同時に動作することができる。具体的には、各検出要素402はサンプリング期間ごとに(例えば1ナノ秒ごとに)検出情報を提供し得る。一例において、検出器アレイ400は、共通のシリコン基板上の単一光子アバランシェダイオード(SPAD、検出要素402として機能する)のアレイから構築された固体単一光子検知デバイスであるSiPM(シリコン光電子増倍管)とすることができる。他の非シリコン材料による同様の光電子増倍管も使用できる。SiPMデバイスはデジタル/スイッチングモードで動作するが、全ての微小セルが並列に読み出されて、異なるSPADによって検出される単一の光子から数百及び数千の光子までのダイナミックレンジ内で信号を発生することを可能とするので、SiPMはアナログデバイスである。上述のように、2つ以上のタイプのセンサが実施され得る(例えばSiPM及びAPD)。場合によっては、検知ユニット106は、別個の又は共通のシリコン基板上に、SiPMアレイに一体化された少なくとも1つのAPD及び/又はSiPMに隣接して配置された少なくとも1つのAPD検出器を含む。
[0159] 一実施形態において、検出要素402を複数の領域404にグループ化することができる。これらの領域は、センサ116内の(例えば検出器アレイ400内の)幾何学的ロケーション又は環境であり、様々な形状に形成できる(例えば図示のような矩形、方形、環状等、又は他の任意の形状)。ある領域404の幾何学的エリア内に含まれる個々の検出器の全てがその領域に属するわけではないが、ほとんどの場合、領域間の境界にある程度の重複が望ましい場合を除いて、それらの検出器は、センサ310の他のエリアをカバーする他の領域404には属さない。図4Aに示されているように、これらの領域は非重複領域404であり得るが、重複する場合もある。全ての領域に、その領域に関連した領域出力回路406を関連付けることができる。領域出力回路406は、対応する検出要素402のグループの領域出力信号を提供できる。例えば、出力回路406の領域は加算回路であり得るが、他の形態の各検出器の出力の単一出力への組み合わせも採用され得る(スカラー、ベクトル、又は他の任意のフォーマットにかかわらず)。任意選択的に、各領域404は単一のSiPMであるが、必ずしもそうとは限らず、1つの領域は、単一のSiPMの小部分、いくつかのSiPMのグループ、又は異なるタイプの検出器の組み合わせとしてもよい。
[0160] 図示されている例において、処理ユニット108は、(例えば車両110内の)ホスト210(の内部又は外部の)分離された筐体200Bに配置され、検知ユニット106は、反射光を分析するための専用プロセッサ408を含み得る。あるいは、反射光206を分析するために処理ユニット108を使用してもよい。LIDARシステム100は、図示されている例とは異なるやり方で複数の筐体に実装できることに留意するべきである。例えば、光偏向器114を、投影ユニット102及び/又は検知モジュール106とは異なる筐体に配置してもよい。一実施形態において、LIDARシステム100は、電気ワイヤ接続、無線接続(例えばRF接続)、光ファイバケーブル、及び上記のものの任意の組み合わせのような異なるやり方で相互に接続された複数の筐体を含むことができる。
[0161] 一実施形態において、反射光206の分析は、異なる領域の個々の検出器の出力に基づいて反射光206の飛行時間を決定することを含み得る。任意選択的に、プロセッサ408は、複数の領域の出力信号に基づいて反射光206の飛行時間を決定するように構成できる。飛行時間に加えて、処理ユニット108は反射光206を分析して帰還パルス全体の平均パワーを決定することができ、帰還パルス期間における光子分布/信号(「パルス形状」)を決定できる。図示されている例において、任意の検出要素402の出力は直接プロセッサ408に送信されず、領域404の他の検出器の信号と組み合わされ(例えば加算され)た後にプロセッサ408に渡すことができる。しかしながら、これは単なる例示であり、センサ116の回路は検出要素402からの情報を他のルートで(領域出力回路406を介することなく)プロセッサ408に送信することも可能である。
[0162] 図4Bは、2次元センサ116を用いてLIDARシステム100の環境をスキャンするように構成されたLIDARシステム100を示す図である。図4Bの例において、センサ116は、4×6の検出器410(「画素」とも称される)の行列である。一実施形態において、画素サイズは約1×1mmとすることができる。センサ116は、2つの非平行な軸(例えば、図示の例に示されているような直交軸)において検出器410の2つ以上のセット(例えば行、列)を有するという意味で2次元である。センサ116内の検出器410の数は、例えば所望の分解能、信号対雑音比(SNR)、所望の検出距離等に応じて、様々な実施において変動し得る。例えば、センサ116は5から5,000までのいずれかの数の画素を有し得る。別の例(図には示していない)では、センサ116を1次元行列としてもよい(例えば1×8画素)。
[0163] 各検出器410は複数の検出要素402を含み得る。検出要素402は、例えばアバランシェフォトダイオード(APD)、単一光子アバランシェダイオード(SPAD)、アバランシェフォトダイオード(APD)と単一光子アバランシェダイオード(SPAD)の組み合わせ、又は、レーザパルス送信イベントから受信イベントまでの飛行時間及び受信光子の強度の双方を測定する検出要素である。例えば各検出器410は、20から5,000までのいずれかの数のSPADを含み得る。各検出器410内の検出要素402の出力を、加算、平均化、又は他の方法で組み合わせて、一体的な画素出力を与えることができる。
[0164] 図示されている例において、検知ユニット106は、LIDARシステム100の視野120よりも小さい視野を有する2次元センサ116(又は複数の2次元センサ116)を含み得る。この考察において、視野120(いずれの方向にも移動、回転、又は横揺れすることなくLIDARシステム100によってスキャンできる全視野)を「第1のFOV412」と表記し、より小さいセンサ116の視野を「第2のFOV412」(「瞬時FOV」と言い換え可能である)と表記する。第1のFOV412に対する第2のFOV414の対象範囲は、LIDARシステム100の具体的な用途に応じて異なり、例えば0.5%から50%の間とすることができる。一例において、第2のFOV412は垂直方向に細長い0.05°から1°の間とすればよい。LIDARシステム100が2つ以上の2次元センサ116を含む場合であっても、それらのセンサアレイの視野の組み合わせは依然として第1のFOV412よりも小さく、例えば少なくとも5分の1、少なくとも10分の1、少なくとも20分の1、少なくとも50分の1であり得る。
[0165] 第1のFOV412をカバーするため、スキャンユニット106は、異なる時点で環境の異なる部分から到達する光子をセンサ116へ誘導することができる。図示されているモノスタティック構成では、投影光204を視野120の方へ誘導すると共に、少なくとも1つの偏向器114が瞬時位置に配置された場合、スキャンユニット106は反射光206をセンサ116へ誘導することができる。典型的に、第1のFOV412のスキャン中の各時点で、LIDARシステム100によって放出される光ビームは、(角度開口で)第2のFOV414よりも大きい環境の部分をカバーし、スキャンユニット104及びセンサ116によって集光される環境の部分を含む。
[0166] 図4Cは2次元センサ116の一例を示す図である。この実施形態において、センサ116は8×5の検出器410の行列であり、各検出器410は複数の検出要素402を含む。一例において、検出器410Aはセンサ116の第2の行(「R2」と表記されている)及び第3の列(「C3」と表記されている)に位置し、4×3の検出要素402の行列を含む。別の例において、検出器410Bはセンサ116の第4の行(「R4」と表記されている)及び第6の列(「C6」と表記されている)に位置し、3×3の検出要素402の行列を含む。従って、各検出器410内の検出要素402の数は一定であるか又は異なる場合があり、共通アレイ内の異なる検出器410は異なる数の検出要素402を有し得る。各検出器410内の全ての検出要素402の出力を、加算、平均化、又は他の方法で組み合わせて、単一の画素出力値を提供することができる。図4Cの例における検出器410は矩形の行列(直線の行及び直線の列)に配列されているが、例えば円形の配列又はハニカム配列のような他の配列を用いてもよい。
[0167] いくつかの実施形態によれば、各検出器410からの測定によって、光パルス放出イベントから受信イベントまでの飛行時間及び受信光子の強度を決定することが可能となる。受信イベントは、光パルスが物体208から反射された結果であり得る。飛行時間は、反射物体から任意選択的な光学ウィンドウ124までの距離を表すタイムスタンプ値であり得る。飛行時間値は、時間相関単一光子計数(TCSPC:Time Correlated Single Photon Counter)のような光子検出及び計数方法、信号積分及び検定(signal integration and qualification)のようなアナログの光子検出方法(アナログ−デジタル変換又は簡素な比較器による)、又は他の方法によって認識することができる。
[0168] いくつかの実施形態において、また図4Bを参照すると、スキャンサイクル中、少なくとも1つの光偏向器114の各瞬時位置を視野120の特定の部分122に関連付けることができる。センサ116の設計によって、視野120の単一部分からの反射光と複数の検出器410との関連付けが可能となる。従って、LIDARシステムのスキャン解像度は、(1スキャンサイクル当たりの)瞬時位置の数にセンサ116内の検出器410の数を乗算することによって表され得る。各検出器410(すなわち各画素)からの情報は、3次元空間においてキャプチャされた視野が構築される基本データ要素を表す。これは例えば、ポイントクラウド表現の基本要素を含み、空間位置及び関連付けられた反射強度値を有する。一実施形態において、複数の検出器410によって検出された視野120の単一部分からの反射は、視野120のその単一部分内に位置する様々な物体から戻ってきた可能性がある。例えば、視野120の単一部分は遠視野で50×50cmよりも大きい場合があり、相互に部分的に重なった2つ、3つ、又はそれ以上の物体を容易に含み得る。
[0169] 図4Dは、ここに開示される主題の例に従ったセンサ116の一部の横断面図である。センサ116の図示されている部分は、4つの検出要素402(例えば4つのSPAD、4つのAPD)を含む検出器アレイ400の一部を含む。検出器アレイ400は、相補型金属酸化膜半導体(CMOS)で実現された光検出器センサとすればよい。検出要素402の各々は、基板周囲内に位置決めされた検知エリアを有する。必ずしもそうとは限らないが、センサ116は、狭い視野を有するモノスタティックLiDARシステムにおいて使用することができる(例えば、スキャンユニット104が異なる時点で異なる視野部分をスキャンするので)。入射光ビームのための狭い視野は、実施された場合、焦点外の撮像の問題を解消する。図4Dに例示されているように、センサ116は複数のレンズ422(例えばマイクロレンズ)を含むことができ、各レンズ422は入射光を異なる検出要素402の方へ(例えば検出要素402のアクティブエリアの方へ)誘導することができ、これは焦点外の撮像が問題でない場合に使用可能であり得る。センサ116に到達する光のほとんどを検出要素402のアクティブエリアの方へ偏向させ得るので、レンズ422を用いて検出器アレイ400の開口率(optical fill factor)及び感度を増大することができる。
[0170] 図4Dに例示されているような検出器アレイ400は、様々な方法(例えばインプラント)によってシリコン基板内に埋め込まれたいくつかの層を含むことができ、この結果、検知エリア、金属層に対する接点要素、及び絶縁要素(例えばシャロートレンチインプラント(STI)、ガードリング、光学トレンチ等)が得られる。検知エリアは、CMOS検出器における体積測定要素(volumetric element)であり、デバイスに適正な電圧バイアスが印加された場合に、入射する光子の電流への光学的変換を可能とする。APD/SPADの場合、検知エリアは、電界の組み合わせによって、光子吸収により生じた電子を増倍エリアの方へ引っ張り、このエリアで光子誘起電子が増幅されて、増倍された電子のアバランシェ破壊を引き起こす。
[0171] 前側の照射された検出器(例えば図4Dに示されているような)は、半導体(シリコン)の上にある金属層と同じ側に入力光ポートを有する。金属層は、個々の光検出器要素(例えばアノード及びカソード)と、バイアス電圧、クエンチング/バラスト要素、及び共通アレイ内の他の光検出器のような様々な要素との電気的接続を実現する必要がある。光子が検出器の検知エリアに入射する際に通過する光学ポートは、金属層を介した通路で構成されている。この通路を介したいくつかの方向からの光の通過は、1つ以上の金属層(例えば図4Dの最も左側の検出器要素402に図示されている金属層ML6)によって阻止され得ることに留意するべきである。このような阻止は、検出器の全体的な光吸収効率を低下させる。
[0172] 図4Eは、ここに開示される主題の例に従った、それぞれにレンズ422が関連付けられた3つの検出要素402を示す。402(1)、402(2)、及び402(3)と表記された図4Eの3つの検出要素の各々は、センサ116の検出要素402の1つ以上に関連付けて実施され得るレンズ構成を示している。これらのレンズ構成の組み合わせも実施できることに留意するべきである。
[0173] 検出要素402(1)に関して図示されているレンズ構成では、関連付けられたレンズ422の焦点は半導体表面よりも上に位置することができる。任意選択的に、検出要素の異なる金属層の開口は、関連付けられたレンズ422によって生じる集束光の円錐形と整合した様々な大きさを有し得る。このような構造は、デバイス全体としてアレイ400の信号対雑音比及び分解能を改善することができる。パワーの伝送及び接地シールドのために大きい金属層が重要であり得る。この手法は例えば、入射光ビームが平行光線で構成され、撮像焦点が検出信号に対して何の影響も及ぼさない場合、狭い視野を有するモノスタティックLiDAR設計において有用であり得る。
[0174] 検出要素402(2)に関して図示されているレンズ構成では、スイートスポットを識別することによって、検出要素402による光子検出の効率を改善することができる。具体的には、CMOSで実装される光検出器は、検知体積エリア内に、光子がアバランシェ効果を生じる確率が最も高いスイートスポットを有し得る。従って、検出要素402(2)で例証されるように、レンズ422の焦点を検知体積エリア内部のスイートスポットロケーションに位置決めすることができる。レンズ形状及び焦点からの距離は、レンズから半導体材料内に埋め込まれた検知スイートスポットロケーションまでの経路に沿ってレーザビームが通過する全ての要素の屈折率を考慮に入れることができる。
[0175] 図4Eの右側の検出要素に関して図示されているレンズ構成では、拡散器及び反射要素を用いて、半導体材料における光子吸収の効率を改善することができる。具体的には、近IR波長は、シリコン材料の著しく長い経路によって、この経路を進む光子の高い吸収確率を達成する必要がある。典型的なレンズ構成では、光子は検知エリアを横断することがありし、吸収されて検出可能電子にならない可能性がある。光子が電子を生じる確率を改善する長い吸収経路によって、検知エリアの大きさは、典型的な製造プロセスで製造されるCMOSデバイスにとって実用的でない寸法(例えば数十um)になる。図4Eの最も右側の検出器要素は、入射光子を処理するための技法を示している。関連付けられたレンズ422は入射光を拡散器要素424上に集束する。一実施形態において、光センサ116は、検出器のうち少なくともいくつかの外面から離れたギャップ内に位置する拡散器を更に含み得る。例えば拡散器424は、光ビームを横方向へ(例えばできる限り垂直方向に)検知エリア及び反射性光学トレンチ426の方へ向けることができる。拡散器の位置は、焦点、焦点よりも上方、又は焦点よりも下方である。この実施形態において、入射光は、拡散器要素が配置されている特定のロケーション上に集束され得る。任意選択的に、検出器要素422は、光子誘起電子が失われて有効検出効率を低下させ得る非アクティブエリアを光学的に回避するように設計される。反射性光学トレンチ426(又は他の形態の光学的に反射性の構造)は、光子を検知エリア内で往復させ、これによって検出の可能性が増大する。理想的には、光子が吸収されて電子/ホール対を生成するまで無制限に、光子は、検知エリア及び反射性トレンチから成るキャビティ内でトラップされる。
[0176] 本開示に従って、入射する光子を吸収して高い検出確率に寄与するため、長い経路が生成される。また、検出要素422において、他の検出器に漏れて誤検出イベントを発生する可能性のあるなだれ中の寄生光子のクロストーク効果を低減するため、光学トレンチも実施することができる。いくつかの実施形態によれば、より高い歩留まりの受信信号を利用する、つまり、できるだけ多くの受信信号を受信し、信号の内部劣化で失われる信号が少なくなるように、光検出器アレイを最適化することができる。光検出器アレイは、(a)任意選択的に基板の上にある金属層を適切に設計することによって、半導体表面よりも上のロケーションに焦点を移動させること、(b)基板の最も応答性の高い/感度の高いエリア(すなわちは「スイートスポット」)に焦点を誘導すること、(c)基板よりも上方に拡散器を追加して信号を「スイートスポット」の方へ誘導すること、及び/又は反射性材料をトレンチに追加して、偏向された信号を反射して「スイートスポット」に戻すことによって、改善することができる。
[0177] いくつかのレンズ構成において、レンズ422は、対応する検出要素402の中心の上方に焦点があるように位置決めされ得るが、必ずしもそうとは限らないことに留意するべきである。他のレンズ構成では、対応する検出要素402の中心に対するレンズ422の焦点の位置は、検出アレイ400の中心からの各検出要素402の距離に基づいてシフトされる。これは、中心から遠い検出器要素の方が軸から大きく外れた角度で光を受光する比較的大きい検出アレイ400において有用であり得る。焦点のロケーションを(例えば検出アレイ400の中心の方へ)シフトさせると、入射角の補正が可能となる。具体的には、焦点のロケーションを(例えば検出アレイ400の中心の方へ)シフトさせると、検出器の表面に対して同一角度に位置決めされた全ての検出要素で実質的に同じレンズ422を用いながら、入射角の補正が可能となる。
[0178] 検出要素402のアレイにレンズ422のアレイを追加することは、視野の小さい部分のみをカバーする比較的小さいセンサ116を用いる場合に有用であり得る。そのような場合、シーンからの反射信号は実質的に同じ角度から検出器アレイ400に到達するので、全ての光を個々の検出器上に容易に集束できるからである。また、一実施形態においては、空間的な区別性(distinctiveness)を犠牲にして、アレイ400全体の検出確率の増大を促進する(検出器/サブ検出器間の無効エリアで光子が「無駄になる」ことを防止する)ため、LIDARシステム100でレンズ422を用いることができる。この実施形態は、空間的な区別性を優先するCMOS RGBカメラのような従来の実施(すなわち、検出要素Aの方向に伝搬する光をレンズによって検出要素Bの方へ誘導することはできない、つまり、アレイの別の検出要素に「流す(bleed)」ことはできない)とは対照的である。任意選択的に、センサ116は、各々が対応する検出要素402に相関付けられたレンズ422のアレイを含むが、レンズ422のうち少なくとも1つは、第1の検出要素402へ伝搬する光を第2の検出要素402の方へ偏向させる(これによってアレイ全体の検出確率を増大することができる)。
[0179] 具体的には、本開示のいくつかの実施形態に従って、光センサ116は光検出器のアレイ(例えば検出器アレイ400)を含むことができ、各光検出器(例えば検出器410)は、各検出器の外面を光が通過した場合に電流を流すように構成されている。更に、光センサ116は、光検出器のアレイの方へ光を誘導するように構成された少なくとも1つのマイクロレンズを含むことができ、少なくとも1つのマイクロレンズは焦点を有する。光センサ116は更に、少なくとも1つのマイクロレンズと光検出器のアレイとの間に介在すると共に少なくとも1つのマイクロレンズからアレイへ光を通過させるギャップを有する導電性材料の少なくとも1つの層を含むことができ、少なくとも1つの層は、少なくとも1つのマイクロレンズとアレイとの間に空間を維持するような大きさに形成され、ギャップ内で、光検出器のアレイの検出表面から離間したロケーションに焦点(例えば焦点は平面であり得る)を位置付ける。
[0180] 関連する実施形態において、各検出器は複数の単一光子アバランシェダイオード(SPAD)又は複数のアバランシェフォトダイオード(APD)を含み得る。導電性材料は多層金属狭窄部(constriction)とすることができ、導電性材料の少なくとも1つの層はアレイ内の検出器に電気的に接続することができる。一例において、導電性材料の少なくとも1つの層は複数の層を含む。更に、ギャップは、少なくとも1つのマイクロレンズから焦点の方へ収束し、かつ、焦点の領域からアレイの方へ発散するような形状とすることができる。他の実施形態において、光センサ116は、各光検出器に隣接した少なくとも1つのリフレクタを更に含み得る。一実施形態において、レンズアレイに複数のマイクロレンズを配置し、検出器アレイに複数の検出器を配置することができる。別の実施形態において、複数のマイクロレンズは、アレイ内の複数の検出器へ光を投影するように構成された単一のレンズを含み得る。
処理ユニット
[0181] 図5Aから図5Cは、本開示のいくつかの実施形態に従った処理ユニット108の様々な機能を示している。具体的には、図5Aは視野の単一の部分の単一のフレーム時間内の放出パターンを示す図であり、図5Bは視野全体の単一のフレーム時間内の放出スキームを示す図であり、図5Cは単一のスキャンサイクル中に視野の方へ投影された実際の光放出を示す図である。
[0182] 図5Aは、少なくとも1つの光偏向器114の瞬時位置に関連付けられた視野120の単一の部分122の単一のフレーム時間内の放出パターンの4つの例を示す。本開示の実施形態に従って、処理ユニット108は、視野120のスキャンにおいて光束を変動させ得るように、少なくとも1つの光源112及び光偏向器114を制御する(又は、少なくとも1つの光源112及び少なくとも1つの光偏向器114の動作を連携させる)ことができる。他の実施形態に従って、処理ユニット108は少なくとも1つの光源112のみを制御し、光偏向器114は固定の既定パターンで移動又は枢動させることができる。
[0183] 図5Aの図AからDは、視野120の単一の部分122の方へ放出された光のパワーを経時的に示す。図Aにおいて、プロセッサ118は、視野120のスキャン中に初期光放出が視野120の部分122の方へ投影されるように光源112の動作を制御することができる。投影ユニット102がパルス光光源を含む場合、初期光放出は1つ以上の初期パルス(「パイロットパルス」とも称される)を含み得る。処理ユニット108は、初期光放出に関連付けられた反射についてのパイロット情報をセンサ116から受信することができる。一実施形態において、パイロット情報は、1つ以上の検出器(例えば1つ以上のSPAD、1つ以上のAPD、1つ以上のSiPM等)の出力に基づく単一の信号として、又は複数の検出器の出力に基づく複数の信号として表現され得る。一例において、パイロット情報はアナログ及び/又はデジタル情報を含み得る。別の例において、パイロット情報は単一の値及び/又は(例えば異なる時点及び/又はセグメントの異なる部分の)複数の値を含み得る。
[0184] 初期光放出に関連付けられた反射についての情報に基づいて、処理ユニット108は、この後に視野120の部分122の方へ投影される光放出のタイプを決定するように構成できる。視野120の特定部分について決定されたこの後の光放出は、同一のスキャンサイクル中に(すなわち同一のフレーム内で)、又は後続のスキャンサイクルで(すなわち後続のフレーム内で)実施され得る。この実施形態については図23から図25を参照して以下で更に詳しく説明する。
[0185] 図Bにおいて、プロセッサ118は、視野120のスキャン中に異なる強度の光パルスが視野120の単一の部分122の方へ投影されるように光源112の動作を制御することができる。一実施形態において、LIDARシステム100は、1つ以上の異なるタイプの深度マップを生成するように動作可能であり得る。深度マップのタイプは例えば、ポイントクラウドモデル、ポリゴンメッシュ、深度画像(画像の各画素もしくは2Dアレイの深度情報を保持する)、又はシーンの他の任意のタイプの3Dモデルのうちいずれか1つ以上である。深度マップのシーケンスは、異なる深度マップが異なる時点で生成される時系列であり得る。スキャンサイクル(「フレーム」と言い換え可能である)に関連付けられたシーケンスの各深度マップは、対応するその後のフレーム時間の期間内に生成できる。一例において、典型的なフレーム時間は1秒未満持続し得る。いくつかの実施形態において、LIDARシステム100は、固定フレームレート(例えば毎秒10フレーム、毎秒25フレーム、毎秒50フレーム)を有するか、又はフレームレートは動的であり得る。他の実施形態において、シーケンス内の異なるフレームのフレーム時間は同一でない場合がある。例えばLIDARシステム100は、毎秒10フレームのレートを実施し、(平均)100ミリ秒で第1の深度マップ、92ミリ秒で第2のフレーム、142ミリ秒で第3のフレームを生成する等とすることができる。
[0186] 図Cにおいて、プロセッサ118は、視野120のスキャン中に異なる持続時間に関連付けられた光パルスが視野120の単一の部分122の方へ投影されるように光源112の動作を制御することができる。一実施形態において、LIDARシステム100は、各フレームにおいて異なる数のパルスを発生するように動作可能であり得る。パルスの数は0から32の間のパルス(例えば1、5、12、28、又はそれ以上のパルス)で変動する可能性があり、以前の放出から得られた情報に基づき得る。光パルス間の時間は所望の検出範囲に依存し、500nsから5000nsまでの間とすることができる。一例において、処理ユニット108は、各光パルスに関連付けられた反射についての情報をセンサ116から受信することができる。この情報(又は情報の欠如)に基づいて、処理ユニット108は追加の光パルスが必要であるか否かを判定できる。図AからDにおける処理時間及び放出時間の期間は縮尺どおりでないことに留意するべきである。具体的には、処理時間は放出時間よりも著しく長い場合がある。図Dにおいて、処理ユニット102は連続波光源を含み得る。一実施形態において、初期光放出は光が放出される時間期間を含み、後続の放出は初期光放出に連続しているか、又は不連続であり得る。一実施形態において、連続的な放出の強度は経時的に変化し得る。
[0187] 本開示のいくつかの実施形態に従って、放出パターンは、視野120の各部分ごとに決定することができる。言い換えると、プロセッサ118は、視野120の異なる部分の照射の差別化を可能とするように光放出を制御できる。一例において、プロセッサ118は、同一スキャンサイクル(例えば初期放出)からの反射光の検出に基づいて、視野120の単一の部分122に対する放出パターンを決定することができる。これによってLIDARシステム100は極めて動的となる。別の例において、プロセッサ118は、以前のスキャンサイクルからの反射光の検出に基づいて、視野120の単一の部分122に対する放出パターンを決定することができる。後続の放出について、以下のうちいずれか1つのような光源パラメータの異なる値を決定することによって、後続の放出のパターンに差が生じ得る。
a.後続の放出の全体的なエネルギ
b.後続の放出のエネルギプロファイル
c.1フレーム当たりの光パルス繰り返し数
d.持続時間、レート、ピーク、平均パワー、及びパルス形状等の光変調特性
e.偏光や波長等、後続の放出の波動特性
[0188] 本開示に従って、後続の放出の差別化を異なる用途に供することができる。一例において、安全性が検討事項である視野120の部分では放出パワーレベルを制限すると共に、視野120の他の部分ではより高いパワーレベルを放出することができる(これによって信号対雑音比及び検出範囲を改善する)。これは目の安全に関連するが、更に、皮膚の安全、光学システムの安全、検知材料の安全、及びそれ以外のものにも関連し得る。別の例では、同一フレーム又は以前のフレームからの検出結果に基づいて、より有益である視野120の部分(例えば関心領域、遠くにあるターゲット、低反射ターゲット等)の方へ、より大きいエネルギを誘導すると共に、視野120の他の部分への照射エネルギを制限することができる。処理ユニット108は、単一のスキャンフレーム時間内で単一の瞬時視野からの検出信号を数回処理できることに留意するべきである。例えば、各パルスの放出後、又はある数のパルスの放出後に、後続の放出を決定できる。
[0189] 図5Bは、視野120の単一のフレーム時間における放出スキームの3つの例を示す。本開示の実施形態に従って、少なくとも処理ユニット108は、取得情報を用いて、動的にLIDARシステム100の動作モードを調整する及び/又はLIDARシステム100の特定のコンポーネントのパラメータ値を決定できる。取得情報は、視野120でキャプチャされた処理データから決定するか、又はホスト210から(直接的又は間接的に)受信することができる。処理ユニット108は、取得情報を用いて、視野120の異なる部分をスキャンするためのスキャンスキームを決定できる。取得情報は、現在の光条件、現在の気候条件、ホスト車両の現在の運転環境、ホスト車両の現在のロケーション、ホスト車両の現在の軌道、ホスト車両の周りの道路の現在の地形、又は光反射によって検出できる他の任意の条件もしくは物体を含み得る。いくつかの実施形態において、決定されるスキャンスキームは以下のうち少なくとも1つを含み得る。(a)スキャンサイクルの一部としてアクティブにスキャンされる視野120内の部分の指定、(b)視野120の異なる部分における光放出プロファイルを規定する投影ユニット102の投影プラン、(c)例えば偏向方向、周波数を規定し、リフレクタアレイ内のアイドル要素を指定するスキャンユニット104の偏向プラン、及び(d)検出器の感度又は応答パターンを規定する検知ユニット106の検出プラン。
[0190] 更に処理ユニット108は、少なくとも部分的に、視野120内の少なくとも1つの関心領域及び視野120内の少なくとも1つの非関心領域の識別を得ることによって、スキャンスキームを決定できる。いくつかの実施形態において処理ユニット108は、少なくとも部分的に、視野120内の少なくとも1つの高い関心領域及び視野120内の少なくとも1つの低い関心領域の識別を得ることによって、スキャンスキームを決定できる。視野120内の少なくとも1つの関心領域の識別は、例えば、視野120内でキャプチャされた処理データから、別のセンサ(例えばカメラ、GPS)のデータに基づいて、ホスト210から(直接的に又は間接的に)受信して、又は上記のもののいずれかの組み合わせによって決定され得る。いくつかの実施形態において、少なくとも1つの関心領域の識別は、監視することが重要である視野120内の部分、エリア、セクション、画素、又は物体の識別を含み得る。関心領域として識別される可能性のあるエリアの例は、横断歩道、移動する物体、人物、付近の車両、又は車両ナビゲーションに役立ち得る他の任意の環境条件もしくは物体を含み得る。非関心領域(又は低関心領域)として識別される可能性のあるエリアの例は、静的な(移動していない)遠くの建物、スカイライン、地平線よりも上のエリア、及び視野内の物体であり得る。視野120内の少なくとも1つの関心領域の識別を取得したら、処理ユニット108は、スキャンスキームを決定するか又は既存のスキャンスキームを変更することができる。(上述したように)光源パラメータを決定又は変更することに加えて、処理ユニット108は、少なくとも1つの関心領域の識別に基づいて検出器リソースを割り当てることができる。一例においては、ノイズを低減するため、処理ユニット108は、関心領域に相当すると予想される検出器410を活性化し、非関心領域に相当すると予想される検出器410を無効にすることができる。別の例において、処理ユニット108は、例えば反射パワーが低い長距離検出に対するセンサ感度を増大するように、検出器感度を変更できる。
[0191] 図5Bの図AからCは、視野120をスキャンするための異なるスキャンスキームの例を示す。視野120内の方形はそれぞれ、少なくとも1つの偏向器114の瞬時位置に関連付けられた異なる部分122を表している。説明文500に、方形の充填パターンによって表される光束レベルが記載されている。図Aは、全ての部分が同じ重要度/優先度を有し、それらにデフォルト光束が割り当てられている第1のスキャンスキームを示す。第1のスキャンスキームは、始動段階で利用するか、又は別のスキャンスキームと周期的に交互に用いて予想外の物体/新しい物体について全視野を監視することができる。一例において、第1のスキャンスキームの光源パラメータは、一定振幅で光パルスを発生するように構成できる。図Bは、視野120の一部に高光束が割り当てられ、視野120の残り部分にデフォルト光束及び低光束が割り当てられている第2のスキャンスキームを示す。最も関心の低い視野120の部分に低光束を割り当てることができる。図Cは、視野120内で小型車両及びバス(シルエットを参照)が識別されている第3のスキャンスキームを示す。このスキャンスキームでは、車両及びバスの輪郭を高いパワーで追跡し、車両及びバスの中央部分に低レベルの光束を割り当てる(又は光束を割り当てない)ことができる。このような光束割り当てによって、光学予算の多くを識別された物体の輪郭に集中させ、重要度の低い中央部には少なくすることができる。
[0192] 図5Cは、単一のスキャンサイクル中に視野120の方へ向かう光の放出を示している。図示の例において、視野120は8×9の行列によって表現され、72のセルの各々は、少なくとも1つの光偏向器114の異なる瞬時位置に関連付けられた別個の部分122に対応する。この例示的なスキャンサイクルにおいて、各部分は、その部分の方へ投影された光パルスの数を表す1つ以上の白いドットを含み、いくつかの部分は、センサ116によって検出されたその部分からの反射光を表す黒いドットを含む。図示されているように、視野120は、視野120の右側のセクタI、視野120の中央のセクタII、及び視野120の左側のセクタIIIという3つの部分に分割されている。この例示的なスキャンサイクルにおいて、セクタIは最初に1部分当たり単一の光パルスが割り当てられ、過去に関心領域として識別されたセクタIIは最初に1部分当たり3つの光パルスが割り当てられ、セクタIIIは最初に1部分当たり2つの光パルスが割り当てられる。図示のように、視野120のスキャンによって4つの物体208が明らかとなっている。すなわち、近視野(例えば5から50メートルの間)における2つの自由形状の物体、中視野(例えば50から150メートルの間)における角の丸い方形の物体、及び、遠視野(例えば150から500メートルの間)における三角形の物体である。図5Cの検討では光束の割り当ての例としてパルス数を使用するが、視野の異なる部分に対する光束の割り当ては他のやり方で実施できることに留意するべきである。例えば、パルス持続時間、パルス角分散、波長、瞬時パワー、光源112からの異なる距離における光子密度、平均パワー、パルスパワー強度、パルス幅、パルス繰り返し率、パルスシーケンス、パルスデューティサイクル、波長、位相、偏光、及びその他のものを使用できる。図5Cの単一のスキャンサイクルのような光放出の説明は、LIDARシステム100の様々な機能を例証している。第1の実施形態において、プロセッサ118は、2つの光パルスを用いて第1の距離にある第1の物体(例えば角の丸い方形の物体)を検出し、3つの光パルスを用いて第1の距離よりも遠い第2の距離にある第2の物体(例えば三角形の物体)を検出するように構成されている。この実施形態については図11から図13を参照して以下で詳述する。第2の実施形態において、プロセッサ118は、関心領域が識別されている視野の部分に多くの光を割り当てるように構成されている。具体的には、この例において、セクタIIは関心領域として識別され、従って3つの光パルスが割り当てられたのに対し、視野120の残り部分には2つ以下の光パルスが割り当てられた。この実施形態については図20から図22を参照して以下で詳述する。第3の実施形態において、プロセッサ118は、最初に1部分当たり2つの光パルスが割り当てられたセクタIIIの一部である図5Cの部分B1、B2、及びC1に対し、単一の光パルスだけが投影されるように光源112を制御するよう構成されている。これを行う理由は、処理ユニット108が第1の光パルスに基づいて近視野の物体を検出したからである。この実施形態については図23から図25を参照して以下で詳述する。また、他の検討すべき事項の結果として、最大より少ないパルス量の割り当ても実行できる。例えば、少なくともいくつかの領域において、第1の距離の物体(例えば近視野の物体)が検出されると、視野120のこの部分へ放出する全体的な光量を低減することができる。この実施形態については図14から図16を参照して以下で詳述する。異なる部分に対するパワー割り当てを決定する他の理由については、図29から図31、図53から図55、及び図50から図52を参照して以下で更に検討する。
LIDARシステム100の様々なコンポーネント及びそれらに関連した機能についての更なる詳細及び例は、2016年12月28日に出願された本出願人の米国特許出願第15/391,916号、2016年12月29日に出願された本出願人の米国特許出願第15/393,749号、2016年12月29日に出願された本出願人の米国特許出願第15/393,285号、2016年12月29日に出願された本出願人の米国特許出願第15/393,593号に含まれる。これらは援用により全体が本願に含まれる。
例示的な実施:車両
[0193] 図6Aから図6Cは、車両(例えば車両110)におけるLIDARシステム100の実施を示す。上述した又は以下に記載するLIDARシステム100の態様はいずれも、車両110に組み込んで距離検知車両を提供することができる。具体的には、この例においてLIDARシステム100は、複数のスキャンユニット104と、場合によっては複数の投影ユニット102とを、単一の車両内に一体化している。一実施形態において、車両はそのようなLIDARシステムを利用して、重複ゾーン内及び重複ゾーンを超えた所でのパワー、範囲、及び精度の向上、更に、FOVの感度の高い部分(例えば車両の前方移動方向)における冗長性の向上が可能となる。図6Aに示されているように、車両110は、視野120Aのスキャンを制御するための第1のプロセッサ118Aと、視野120Bのスキャンを制御するための第2のプロセッサ118Bと、これら2つの視野のスキャンの同期を制御するための第3のプロセッサ118Cと、を含み得る。一例において、プロセッサ118Cは車両コントローラとすることができ、第1のプロセッサ118Aと第2のプロセッサ118Bとの間の共有インタフェースを有し得る。共有インタフェースは、時間的及び/又は空間的スペースにおける重複を形成するため、中間処理レベルでのデータ交換及び組み合わせ視野のスキャンの同期を可能とする。一実施形態において、共有インタフェースを用いて交換されるデータは、(a)重複した視野及び/又はその近傍の画素に関連付けられた受信信号の飛行時間、(b)レーザステアリング位置ステータス、(c)視野内の物体の検出ステータスとすることができる。
[0194] 図6Bは、視野120Aと視野120Bとの間の重複領域600を示す。図示する例において、重複領域は、視野120Aからの24の部分122及び視野120Bからの24の部分122とに関連している。重複領域が規定されてプロセッサ118A及び118Bに既知であると仮定すると、各プロセッサは、複数の光源の光を対象とした目の安全の限度に従うため、又は光学予算を維持するといった他の理由から、重複領域600に放出される光の量を制限するように設計できる。更に、プロセッサ118A及び118Bは、スキャンユニット104Aとスキャンユニット104Bとの間のゆるい同期によって、及び/又はレーザ伝送タイミングの制御によって、及び/又は検出回路を有効にするタイミングによって、2つの光源が放出する光の干渉を回避できる。
[0195] 図6Cは、視野120Aと視野120Bとの間の重複領域600をどのように用いて車両110の検出距離を増大させ得るかを示している。本開示に従って、重複ゾーン内に公称光放出を投影する2つ以上の光源112を利用することで、有効検出範囲を増大できる。「検出範囲」という用語は、LIDARシステム100が物体を明瞭に検出できる車両110からのおおよその距離を含み得る。一実施形態において、LIDARシステム100の最大検出範囲は約300メートル、約400メートル、又は約500メートルである。例えば200メートルの検出範囲では、LIDARシステム100は、車両110から200メートル(又はそれ以下)に位置する物体を、時間のうち95%超、99%超、99.5%超で検出し得る。物体の反射率が50%未満(例えば20%未満、10%未満、又は5%未満)である場合も。更に、LIDARシステム100は1%未満の誤警報率を有し得る。一実施形態では、時間的及び空間的スペースに配置された2つの光源からの投影光を用いて、SNRを改善し、従って重複領域に位置する物体の範囲及び/又はサービス品質を向上させることができる。プロセッサ118Cは、視野120A及び120Bにおける反射光から高レベルの情報を抽出できる。「情報を抽出する」という用語は、当業者に既知の任意の手段によって、キャプチャした画像データ内で、物体、個体、ロケーション、イベント等に関連した情報を識別する任意のプロセスを含み得る。更に、プロセッサ118A及び118Bは、物体(道路の区切り、背景、歩行者、車両等)や運動ベクトルのような高レベル情報を共有することで、各プロセッサがもうすぐ関心領域になりそうな周辺領域に注意を向けることを可能とする。例えば、視野120A内の移動中の物体が間もなく視野120B内に入ることを判定できる。
例示的な実施:調査システム
[0196] 図6Dは、調査システムにおけるLIDARシステム100の実施を示している。上述のように、LIDARシステム100は静止物体650に固定することができ、静止物体650は、より広い視野を得るためLIDARシステム100の筐体を回転させるためのモータ又は他の機構を含み得る。あるいは、調査システムが複数のLIDARユニットを含むことも可能である。図6Dに示す例では、調査システムは単一の回転可能LIDARシステム100を用いて、視野120を表す3Dデータを取得すると共に、この3Dデータを処理して、人物652、車両654、環境の変化、又は他の任意の形態のセキュリティにとって重要なデータを検出することができる。
[0197] 本開示のいくつかの実施形態に従って、3Dデータは、小売業プロセスを監視するため分析することができる。一実施形態において、3Dデータは、物理的なセキュリティを必要とする小売業プロセスで使用できる(例えば、小売施設内への侵入、小売施設の内部又は周囲での破壊行為、保護エリアへの不正アクセス、及び駐車場内の自動車の周囲での不審な行動の検出)。別の実施形態において、3Dデータは、公共の安全のために使用できる(例えば、店舗敷地で滑って転ぶ人、店舗の床に危険な液体をこぼすこと又はそれによる通行妨害、店舗の駐車場での襲撃又は誘拐、火災非常口の通行妨害、及び店舗エリア内又は店舗外での混雑の検出)。別の実施形態において、3Dデータはビジネス機密データ収集のために使用できる(例えば、店舗エリアを通る人を追跡して、何人が通過するか、どこで立ち止まるか、どのくらいの間立ち止まるか、彼らの買い物習慣がどのように購買習慣と比較されるかを明らかにする)。
[0198] 本開示の他の実施形態に従って、3Dデータは、交通違反の取り締まりのために分析し使用することができる。具体的には、3Dデータを用いて、法定最高速度又は何らかの他の道路交通法の要件を超えて走行している車両を識別できる。一例では、LIDARシステム100を用いて、信号が赤である時に一時停止線又は指定の停止位置を超えている車両を検出できる。別の例では、LIDARシステム100を用いて、公共交通機関用に確保された車線を走行している車両を識別できる。更に別の例では、LIDARシステム100を用いて、赤信号では特定の方向転換が禁止されている交差点で方向転換している車両を識別できる。
[0199] 様々な開示される実施形態の例について、偏向器のスキャンを制御する制御ユニットに関連付けて上述すると共に以下でも記載するが、開示される実施形態の様々な特徴はそのようなシステムに限定されないことに留意するべきである。LIDAR FOVの様々な部分に光を割り当てるための技法は、視野の異なる部分に異なる量の光を誘導することが望ましいか又は必要であり得る、光に基づく検知システムのタイプ(LIDA又は他のもの)に適用可能である。場合によっては、そのような光割り当て技法は、本明細書に記載されるように検出機能に良い影響を及ぼすが、他の利点も得られる可能性がある。
[0200] 検出器アレイに基づくスキャンLIDAR
[0201] 多くの現存するLIDARシステムはレーザ閃光をシーンに与え、次いでこれが反射を生成し、この反射を用いてシーンの画像を構築する。しかしながら、そのようなシステムでは得られる詳細が低度であり(例えば低解像度であり)、また、測定において冗長性が与えられない場合がある。
[0202] このため本開示のシステム及び方法は、複数の検出器を用いて、移動する(又はスキャンする)レーザスポットの利用を可能とする。従って、現存のシステムに比べ、各スポットにおける測定の多重性(multiplicity)に加えて、細かい詳細を得ることができる。そのような多重性は、更なる詳細及び/又は冗長な測定を与え、これらは例えばエラー補正で使用することができる。
[0203] 図7は、LIDARシステムを用いて物体を検出するための例示的な方法700を示す。方法700は、1つ以上のプロセッサによって実行できる(例えば、図1Aに示されているLIDARシステム100の処理ユニット108の少なくとも1つのプロセッサ118、及び/又は図2Aに示されているLIDARシステム100の処理ユニット108の2つのプロセッサ118)。
[0204] ステップ701において、プロセッサ118は、光源(例えば図1Aの光源112、図2Aの光源112のレーザダイオード202、及び/又は図2Bの複数の光源102)の光放出を制御する。例えば、プロセッサ118は光源のパワーを上げるか又は下げることができる。更に、プロセッサ118は光源からのパルスのタイミングを変動させ得る。これの代わりに又はこれと同時に、プロセッサ118は光源からのパルスの長さを変動させ得る。別の例として、プロセッサ118はこれの代わりに又はこれと同時に、光源から放出される光パルスの空間的寸法を変動させ得る(例えば長さ又は幅、又は他の方法で断面積を変化させる)。更に別の例において、プロセッサ118は、これの代わりに又はこれと同時に、光源からのパルスの振幅及び/又は周波数を変動させ得る。更に別の例において、プロセッサ118は、光源からの連続波(CW)又は準CW光放出のパラメータ(例えばその振幅、変調、位相等)を変更できる。光源は「レーザ」と呼ぶことができるが、レーザの代わりに又はこれと同時に代替的な光源を用いてもよい。例えば、発光ダイオード(LED)ベースの光源又は同様のものを光源として使用できる。いくつかの実施形態において、光放出を制御することは、光源自体に加えて放出経路の他のコンポーネントの動作を制御することを含み得る。例えばプロセッサ118は、LIDARシステムの送信経路上のコリメーション光学系及び/又は他の光学コンポーネントを制御することによって、光源を更に制御できる。
[0205] ステップ703において、プロセッサ118は、光源のアウトバウンド経路に配置された少なくとも1つの光偏向器(例えば図1Aの光偏向器114、図2Aの偏向器114A及び/又は偏向器114B、及び/又は図2Bの一方向偏向器114)を繰り返し移動させることによって、視野(例えば図1A及び図2Aの視野120)をスキャンする。いくつかの実施形態において、少なくとも1つの光偏向器は枢動可能MEMSミラー(例えば図3AのMEMSミラー300)を含み得る。
[0206] いくつかの実施形態において、プロセッサ118は、視野の単一のスキャンサイクル中に少なくとも1つの光偏向器が複数の異なる瞬時位置に配置されるように少なくとも1つの光偏向器を移動させることができる(例えば、偏向器は、LIDAR FOVのスキャン中に1つの瞬時位置から又は1つの瞬時位置を介して別の瞬時位置へ移動するように制御され得る)。例えば、少なくとも1つの光偏向器は、スキャンサイクル中に複数の位置のうち1つから別のものへ連続的に又は非連続的に移動させることができる(任意選択的に、追加の位置及び/又は繰り返しも用いる)。本明細書で用いる場合、「移動させる」という用語は、偏向器の物理的な移動、又は偏向器の電気特性、光学特性の変更を指すことができる(例えば、偏向器がMEMSミラー又は他の圧電ミラーもしくは熱電ミラーを含む場合、偏向器が光学フェーズドアレイ(OPA)を含む場合等)。また、少なくとも1つの偏向器の移動は、少なくとも1つの偏向器と組み合わせた光源に対しても実施され得る。例えば、LIDARシステムが垂直キャビティ表面発光レーザ(VCSEL)アレイ又は他の任意のタイプの発光体アレイを含む場合、少なくとも1つの偏向器を移動させることは、アレイのアクティブレーザの組み合わせを変更することを含み得る。そのような実施において、偏向器の瞬時位置は、VCSELアレイ(又は他のタイプの発光体アレイ)のアクティブな光源の特定の組み合わせによって規定され得る。
[0207] いくつかの実施形態において、プロセッサ118は、少なくとも1つの光偏向器が特定の瞬時位置に配置された場合に光源のアウトバウンド経路が少なくとも部分的に帰還経路と一致するように、少なくとも1つの光偏向器と光源を連携させることができる。例えば図2Bに示されているように、投影光204及び反射光206は少なくとも部分的に一致している。そのような実施形態において、少なくとも1つの偏向器は枢動可能MEMSミラーを含み得る。
[0208] 同様に、いくつかの実施形態において、アウトバウンド経路と帰還経路の重複部分は共通の光偏向要素を含み得る。例えば図2Bに示されているように、光偏向器114は投影光を視野120の方へ誘導し、反射光をセンサ116の方へ誘導する。いくつかの実施形態において、共通の光偏向要素は可動偏向要素とすることができる(すなわち、複数の瞬時位置間で制御可能に移動できる偏向要素)。いくつかの実施形態において、重複部分は共通の光偏向要素の表面の一部を含み得る。従って、特定の態様では、投影光が共通の光偏向要素の全域(又はほぼ全域)に入射しない場合であっても、1つ以上の反射が共通の光偏向要素の全域(又はほぼ全域)をカバーする可能性がある。
[0209] この代わりに又はこれと同時に、少なくとも1つの光偏向器は、少なくとも1つのアウトバウンド偏向器及び少なくとも1つの帰還偏向器を含み得る。例えば図2Aに示されているように、アウトバウンド偏向器114Aは投影光204を視野120の方へ誘導し、帰還偏向器114Bは視野120内の物体208からの反射光206を誘導する。そのような実施形態において、プロセッサ118は、少なくとも1つの帰還偏向器を介して、アウトバウンド経路と一致しないセンサへの帰還経路に沿って単一の光ビームスポットの反射を受光することができる。例えば図2Aに示されているように、投影光205は、反射光206と一致しない経路に沿って進む。
[0210] 上述したアウトバウンド経路及び帰還経路のような光路は、少なくとも部分的にLIDARシステムの筐体内にあり得る。例えばアウトバウンド経路は、筐体内にある光源と少なくとも1つの光偏向器との間の空間の一部及び/又は少なくとも1つの光偏向器と筐体のアパーチャとの間の空間の一部を含み得る。同様に、帰還経路は、筐体内にある少なくとも1つの光偏向器(又は別個の少なくとも1つの光偏向器)と筐体のアパーチャとの間の空間の一部及び/又はセンサと少なくとも1つの光偏向器(又は別個の少なくとも1つの光偏向器)との間の空間の一部を含み得る。
[0211] ステップ705では、少なくとも1つの偏向器が特定の瞬時位置にある間、プロセッサ118は、少なくとも1つの偏向器を介して、センサ(例えば図1A、図2A、図2B、及び図2Cの検知ユニット106の少なくとも1つのセンサ116)への帰還経路に沿って単一の光ビームスポットの反射を受光する。本明細書で用いる場合、「ビームスポット」という用語は、光源からの光ビームの一部であって、視野から1つ以上の反射を生成し得るものを指すことができる。「ビームスポット」は、単一の画素を含むか又は複数の画素を含む可能性がある。従って「ビームスポット」は、LIDARシステムの単一の画素によって又はLIDARシステムのいくつかの画素によって検出されるシーンの一部分を照射できる。シーンの各部分は1画素全体をカバーし得るが、画素による検出のためにその画素全体をカバーすることは必ずしも必要ではない。更に、「ビームスポット」のサイズは、少なくとも1つの偏向器よりも大きいか、ほぼ同じであるか、又はより小さい可能性がある(例えば、ビームスポットがアウトバウンド経路上の偏向器によって偏向される場合)。
[0212] ステップ707において、プロセッサ118は、センサから、各光ビームスポットの画像に関連付けられた信号をビームスポットごとに受信する。例えばセンサは、各ビームスポットの反射を吸収し、プロセッサ118に送信するため、吸収したビームスポットを電子(又は他のデジタル)信号に変換できる。従ってセンサは、共通のシリコン基板上のアバランシェフォトダイオード(APD、SPAD等)のアレイから構築されたSiPM(シリコン光電子増倍管)もしくは他の任意の固体デバイス、又は、電磁波の特性(例えばパワー、周波数)を測定し、測定した特性に関連した出力(例えばデジタル信号)を発生することができる他の任意のデバイスを含み得る。
[0213] いくつかの実施形態において、センサは、複数の検出器(例えば図4Aの検出アレイ400の検出要素402)を含み得る。特定の態様では、ビームスポットごとに各光ビームスポットの画像が複数の検出器に入射するように、各検出器のサイズを各光ビームスポットの画像よりも小さくすることができる。従って、本明細書で用いる場合、複数の光ビームスポットは、画像が投影されるスポット全てを含む必要はなく、複数の検出器よりも大きい少なくとも2つのスポットを含む。
[0214] いくつかの実施形態において、センサの複数の検出器の各検出器は、1つ以上のサブ検出器を含み得る。例えば、検出器がSiPMを含み、SiPMが複数の個別の単一光子アバランシェフォトダイオード(SPAD)を含むことができる。このような例において、センサは複数(例えば5、10、20等)のSiPM検出器を含み、各SiPMは複数(例えば数十、数百、数千)のSPADを含み得る。従って特定の態様では、検出器は、生成される出力モデルにおける単一データポイント(例えば、生成される3Dモデルにおける単一データポイント)に変換される出力を有する最小グループを含む。
[0215] いくつかの実施形態において、LIDARシステムは複数の光源を含み得る。そのような実施形態において、プロセッサ118は、共通の光偏向器に照準を合わせた複数の光源の光放出を同時に制御することができる。例えば図2Bに示されているように、複数の光源102は共通の光偏向器114に照準を合わせている。更に、プロセッサ118は、各々が異なる帰還経路に沿って配置された複数のセンサから、異なる光ビームスポットの画像に関連付けられた信号を受信することができる。例えば図2Bに更に示されているように、複数のセンサ116は異なる帰還経路に沿った反射を受信する。従って複数のセンサ116は、異なる光ビームスポットの画像に関連付けられた信号を生成できる。いくつかの実施形態では、少なくとも1つのスキャン光偏向器によって反射を偏向させることも可能である。例えば図2Bに示されているように、複数のスキャン光偏向器214は、異なる帰還経路に沿って受光された反射を、複数のセンサ116に到達する前に偏向させる。
[0216] いくつかの実施形態において、センサは検出器の1次元アレイを含み得る(例えば少なくとも4つの個別の検出器を有する)。他の実施形態において、センサは検出器の2次元アレイを含み得る(例えば少なくとも8つの個別の検出器を有する)。
[0217] ステップ709において、プロセッサ118は、複数の検出器に対する入射によって生じた信号から、単一の光ビームスポットの画像に関連付けられた少なくとも2つの異なる範囲測定値を決定する。例えば、少なくとも2つの異なる範囲測定値は、少なくとも2つの異なる距離に対応する可能性がある。同様の例において、センサは、単一の光ビームスポットについて少なくとも2つの異なる飛行時間に関連付けられた反射を検出するように構成できる。そのような例では、異なる検出器に対する光ビームスポットの移動距離の差に起因して、飛行時間測定値が異なる可能性がある。同様に、異なる検出器に対する距離及び/又は入射角の差に起因して、周波数位相シフト測定値及び/又は変調位相シフト測定値が異なる可能性がある。
[0218] いくつかの実施形態において、少なくとも2つの異なる範囲測定値は、1又は複数のセンサの2つ以上の検出器(例えば、2つ以上の独立してサンプリングされたSiPM検出器)によって取得された検出情報から得られる。更に、少なくとも2つの異なる範囲測定値は、LIDARシステムに対する2つの異なる方向に関連付けることができる。例えば、1又は複数のセンサの第1の検出器によって検出された第1の範囲測定値は(例えば球面座標θ1、φ1、D1の)第1の検出ロケーションに変換され、1又は複数のセンサの第2の検出器によって同一ビームスポットの反射から検出された第2の範囲測定値は(例えば球面座標θ2、φ2、D2の)第2の検出ロケーションに変換され得る。第1の検出ロケーションと第2の検出ロケーションとで、少なくとも2対の座標の任意の組み合わせは異なる(例えば、θ2≠θ2、D1≠D2等)。
[0219] 少なくとも2つの異なる範囲測定値が少なくとも2つの異なる距離に対応する別の例において、少なくとも2つの異なる範囲測定値は、物体の一部に対する第1の距離測定値及び物体の環境内の要素に対する第2の距離測定値を含み得る。例えば、ビームスポットが、物体(木、建物、車両等)及び物体の環境内の要素(道路、人物、霧、水、ほこり等)の双方をカバーする場合、第1の範囲測定値は物体の一部(枝、ドア、ヘッドライト等)までの距離を示し、第2の範囲測定値は背景の要素までの距離を示し得る。少なくとも2つの異なる範囲測定値が少なくとも2つの異なる距離に対応する別の例において、少なくとも2つの異なる範囲測定値は、物体の第1の部分に対する第1の距離測定値及び物体の第2の部分に対する第2の距離測定値を含み得る。例えば物体が車両である場合、第1の範囲測定値は車両の第1の部分(バンパー、ヘッドライト等)までの距離を示し、第2の範囲測定値は車両の第2の部分(トランクの取っ手、車輪等)までの距離を示すことができる。
[0220] この代わりに又はこれと同時に、単一の光ビームスポットの画像に関連付けられた少なくとも2つの異なる範囲測定値は、少なくとも2つの異なる強度に対応し得る。同様に、少なくとも2つの異なる範囲測定値は、物体の第1の部分に関連付けられた第1の強度測定値及び物体の第2の部分に関連付けられた第2の強度測定値を含み得る。
[0221] いくつかの実施形態において、プロセッサ118は、第1の光ビームスポットの画像に関連付けられた第1の複数の範囲測定値及び第2の光ビームスポットの画像に関連付けられた第2の複数の範囲測定値を同時に決定することができる。いくつかの態様において、第1の複数の範囲測定値は第2の複数の範囲測定値よりも多い可能性がある。例えば、第1の光ビームスポットの方が第2の光ビームスポットよりも多くの詳細を含む場合、プロセッサ118は、第2の光ビームスポットよりも第1の光ビームスポットから多くの範囲測定値を決定できる。そのような例では、例えば第2の光ビームスポットが少なくとも部分的に空に誘導されるか又は空を含む場合、第1の光ビームスポットからの測定は8の測定値を含み、第2の光ビームスポットからの測定は5の測定値を含み得る。
[0222] いくつかの実施形態において、スキャンサイクルで決定される異なる範囲測定値の数は、複数の瞬時位置よりも多い可能性がある。例えばプロセッサ118は、ステップ709を参照して上述したように、各瞬時位置について少なくとも2つの異なる範囲測定値を決定できる。例えばセンサがN個の検出器を含み、LIDARシステムが各スキャンサイクルにおいて偏向器のM個の瞬時位置で範囲を検出する場合、決定される範囲測定値の数は最大でN×Mとなり得る。いくつかの実施形態では、FOVの各部分に複数のパルスを放出する場合であっても、各スキャンサイクルで放出されるパルスの数は、生成されるポイントクラウドデータポイント(又は他の3Dモデルデータポイント)の数よりも少ない可能性がある。例えば、各瞬時位置でP個のパルスを放出する場合、1スキャンサイクルのパルス数はP×Mであり得る。上述の実施形態ではP<Mである。
[0223] 方法700は追加のステップを含み得る。例えば方法700は、異なる測定値がLIDARに対する異なる方向に関連付けられた出力データ(例えば3Dモデル)を生成することを含み得る。そのような例において、プロセッサ118は、異なる光ビーム及びFOVの異なる角度の多くの画素の情報から3Dモデルフレーム(等)を生成することができる。
[0224] いくつかの態様において、異なる方向は、反射信号が少なくとも1つの検出器まで移動する際に通過する光学ウィンドウ又はLIDARの開口に対して異なる可能性がある。例えば球面座標では、2つの測定値間でφ又はθのうち少なくとも1つが異なることがある。
[0225] いくつかの実施形態において、方法700は、単一の光ビームスポットの反射から複数のポイントクラウドデータエントリを発生することを更に含み得る。例えばプロセッサ118は、単一の光ビームスポットの反射から、図1Bに示されたもののような複数のポイントクラウドデータエントリを発生することができる。プロセッサ118は、例えばステップ709からの少なくとも2つの範囲測定値を用いて、単一の光ビームスポットから、2、3、4、8等の複数のものを発生し得る。
[0226] 複数のポイントクラウドデータエントリは2次元面を画定することができる。例えば複数のポイントクラウドデータエントリは、図1Cに示されているもののようなポイントクラウドモデルの一部を形成し得る。
[0227] 方法700は、視野の異なる部分が異なる時点で検出されるように実行できる。従って、視野の一部分を照射し、その結果として複数の範囲測定値を決定することは、視野の少なくとも他の部分が光源によって照射されていない間に行われる。このため、方法700によって視野の一部がスキャンされ、これが視野の異なる部分に対して繰り返され、結果として、図10B及び図10Cの例に示されているように、視野の複数の「スキャン内スキャン」が行われる。
[0228] 上述のように、図4Cは、図7の方法700で使用され得る2次元センサ116の例を示す図である。図8Aは、図4Cのセンサ116の代わりに又はそれと組み合わせて使用される代替的なセンサ800を示している。例えば図4Cの例における検出器410は矩形であるが、図8Aの例は、個別の検出器(検出器846等)から成る複数の六角形の画素(例えば画素844)を示している。同様に、図8Bは、図4Cのセンサ116及び/又は図8Aのセンサ800の代わりに又はそれと組み合わせて使用される代替的な1次元センサ850を示している。図8Bの例において、画素の1次元コラム(例えば画素854)は、個別の検出器(検出器856等)から成る。図8Bでは1次元の縦の列として示されているが、別の実施形態は検出器の1次元の横の行を含み得る。
[0229] 図9A及び図9Bは、送信及び反射の位置合わせを有する例示的なLIDARデバイスを示すブロック図である。図9A及び図9BのLIDARシステム900及び900’は、図1のLIDARシステム100の実装を表している。従って、図1Aから図1Cに関して検討した機能及び変更は、図9A及び図9Bの実施形態に対して同様に適用することができ、その逆もまた同様である。例えば、図9A及び図9Bに示されているように、LIDARシステム900及び900’は、1又は複数の光子検査パルスを放出するための少なくとも1つの光子パルス放出器アセンブリ910を含み得る。放出器910は、図1A、図2A、又は図2Bの少なくとも1つの光源112を有する投影ユニット102を含み得る。
[0230] 図9A及び図9Bに更に示されているように、LIDAR900及び900’は、スキャンされるシーンセグメントの方向に光子検査パルスを誘導するため及び反射された光子を光子検出アセンブリ930の方へと向けるための少なくとも1つの光子ステアリングアセンブリ920を含み得る。ステアリングアセンブリ920は、制御可能に操縦できる光学系(例えば回転/移動可能ミラー、可動レンズ等)を含むことができ、更に、ビームスプリッタ等の固定光学コンポーネントも含み得る。例えばステアリングアセンブリ920には、図2Aの偏向器114A及び114B及び/又は図2Bの共通の光偏向器114及び複数のスキャン光偏向器214が含まれ得る。いくつかの光学コンポーネント(例えばレーザパルスのコリメーションに使用される)は放出器910の一部であり、他の光学コンポーネントは検出器930の一部である可能性がある。
[0231] 図9A及び図9Bにおいて、LIDAR900及び900’は、スキャンされたシーンの物体から反射して戻ってきた光子検査パルスの光子を検出するための少なくとも1つの光子検出アセンブリ930を更に含み得る。検出アセンブリ930は、例えば図4Cのセンサ116及び/又は図8のセンサ800のような2次元センサ932を含み得る。いくつかの実施形態において、検出アセンブリ930は複数の2次元センサを含み得る。
[0232] 図9A及び図9Bに示されているように、LIDAR900及び900’は、ステアリングアセンブリ920及び/又は放出器910及び/又は検出器930を制御するためのコントローラ940を含むことができる。例えばコントローラ940は、少なくとも1つのプロセッサを含み得る(例えば、図1Aに示されているLIDARシステム100の処理ユニット108のプロセッサ118、及び/又は図2Aに示されているLIDARシステムの処理ユニット108の2つのプロセッサ118)。コントローラ940は、上記及び下記の双方で説明するように、様々な連携した方法でステアリングアセンブリ920及び/又は放出器910及び/又は検出器930を制御することができる。これに応じて、コントローラ940は本明細書に開示される方法の全て又は一部を実行できる。
[0233] 図9Bに示されているように、LIDAR900’は少なくとも1つのビジョンプロセッサ950も含む。ビジョンプロセッサ950は、光子検出器930から収集データを取得し、収集データからデータを発生するためこれを処理することができる。例えば、ビジョンプロセッサ950は(任意選択的にコントローラ940と組み合わせされて)収集データからポイントクラウドデータエントリを生成する及び/又はそこからポイントクラウドデータモデルを生成することができる。
[0234] LIDAR900及び900’の双方において、コントローラ940(及び任意選択的にLIDAR900’のビジョンプロセッサ950)を用いて、送信(TX)及び反射(RX)を連携させる。この連携は、複数の光偏向器間の連携を用いて送信及び反射の双方を同期して偏向させること、及び/又は共有偏向器内の連携を用いて送信及び反射の双方を同期して偏向させることを含み得る。同期は、1又は複数の光偏向器の物理的移動及び/又は圧電調整及び/又は熱電調整を伴い得る。
[0235] 図10Aは、第1のFOV1000の例と、第2のFOV1002及び1004のいくつかの例を示している。FOVの角度の大きさ及び画素の寸法は、図10Aに与えられる例とは異なる可能性がある。
[0236] 図10Bは、図10Aの第1のFOV1000の全域における図10Aの第2のFOV1002の例示的なスキャンパターンを示している。図10Bに示されているように、FOV1000において、第2のFOV1002をスキャンし、水平方向パターンで右から左へ移動させ、その後、斜めパターンで左から右へ移動させることができる。このようなパターンは単なる例示である。本開示のシステム及び方法は、第1のFOVの全域において第2のFOVを移動させるため任意のパターンを使用できる。
[0237] 図10Cは、図10Aの第1のFOV1000の全域における第2のFOV1006の例示的なスキャンパターンを示している。図10Cに示されているように、FOV1000において、第2のFOV1006をスキャンし、水平方向パターンで右から左へ移動させることができる。このようなパターンは単なる例示である。本開示のシステム及び方法は、第1のFOVの全域において第2のFOVを移動させるため任意のパターンを使用できる。図10B及び図10Cの例を参照すると、これらの図で使用されるアレイの大きさは図10Aの非限定的な例と同様に単なる非限定的な例として使用されること、及び、各アレイ中の画素の数は著しく少ないか(例えば2×3、3×5等)、著しく多いか(例えば100×100等)、又はそれらの間の任意の数であり得ることに留意するべきである。
[0238] 図10Cの例において、第2のFOV1006は第1のFOV1000の高さに対応する高さを有する。従って、図10Cに示されているように、第2のFOVの少なくとも1つの対応する寸法を第1のFOVに合わせることにより、第1のFOVの全域における必要な第2のFOVのスキャンレートを低くすることができる。従って、本開示に従ったLIDARシステムは、第1のFOVの少なくとも1つの寸法に対応した寸法を有する1Dセンサアレイを含み得る。
[0239] 図10Bの例に戻ると、第2のFOV1002は双方の寸法が第1のFOV1000よりも小さい。これによってLIDARシステムは、より小さいエリアにエネルギを集中することができ、信号対雑音比及び/又は検出距離を改善することが可能となる。
[0240] 第1のFOVの全域で第2のFOVをスキャンすることによって、本開示のシステムは比較的低い物体スミアで3Dモデルを生成できる。その理由の1つとして、操縦可能2Dセンサアレイによって物体の大部分を同時に検出できることがある。スミアレベルの低下は、センサアレイの軸の1つ以上(例えば(X,Y)、(φ,θ))、及び/又は深度軸(例えばZ、r)に対して達成することができる。低いスミアレベルにより、検出精度の向上が得られる。
[0241] 更に、第1のFOVの全域における第2のFOVのスキャンによって、比較的低い周波数でのスキャンが可能となり得る(例えば、センサアレイにおいて10の垂直方向の画素を実装する場合、垂直方向軸のミラーの移動は約10倍低い周波数になる)。スキャンレートの低下によって、より大きいミラーの利用が可能となる。
[0242] 更に、第1のFOVの全域における第2のFOVのスキャンによって、現存のシステムよりも弱い光源の使用が可能となり得る。これは電力消費を低減し、LIDARシステムを小型化し、及び/又は目の安全及びその他の安全上の問題を改善する可能性がある。同様に、第1のFOVの全域における第2のFOVのスキャンによって、現存のシステムに比べて比較的小さいセンサの使用が可能となり得る。これはシステムの大きさ、重量、コスト、及び/又は複雑さを低減し得る。また、これにより、現存のシステムに比べていっそう感度の高いセンサを使用できるようになる。
[0243] 更に、第1のFOVの全域における第2のFOVのスキャンによって、収集される周囲光及び/又は雑音が低減する可能性がある。これにより、現存のシステムに比べて信号対雑音比及び/又は検出距離が改善し得る。
[0244] 検出結果に基づいたLidarにおける選択的照射
[0245] 上記のように、LIDARシステムを用いて、シーン内で検出された物体の深度マップを生成することができる。このような深度マップは、ポイントクラウドモデル、ポリゴンメッシュ、深度画像、又はシーンの他の任意のタイプの3Dモデルを含み得る。しかしながら、場合によっては、特定のシーン内又は特定の距離範囲内の全ての物体よりも少ないものがLIDARシステムにより検出される。例えば、シーンの3D再構築ではLIDARシステムに比較的近い物体を検出して含ませることができるが、他の物体(例えば、より小さい、反射性が低い、又は遠くにある物体等を含む)は、LIDARシステムの特定の動作パラメータセットについて未検出であり得る。これに加えて、システムの信号対雑音比は、場合によっては望ましいよりも低いか、又はLIDARシステムの視野内の物体の検出を可能とするレベルよりも低い可能性がある。
[0246] 特定の実施形態において、上述した構成の任意のものを含む、ここに記載されるLIDARシステムは、LIDAR FOVの異なるセクションに対する光束量を動的に変動させるため、FOVの現在のスキャン又はFOVの後続のスキャン中にLIDARシステムの1つ以上の動作パラメータを変更することを可能とする。これを実行するため、LIDARシステム100はFOV内で検出される物体の数を増加する能力を備え得る。また、LIDARシステム100は、信号対雑音比(例えば、LIDARシステムからの照射と、太陽光(又は他の照射源)や検出回路に関連した電気的雑音のような他の雑音源又は干渉源との比)の増大も可能とする。信号対雑音比の増大は、システム感度及び分解能を向上させることができる。LIDAR FOVの異なる領域に与えられる光束のそのような動的変動によって、他の方法では未検出であり得る1つ以上の物体の表現を含めて、LIDARシステムの環境からの深度マップ(又はシーンの他の表現)を生成することができる。
[0247] スキャンされるFOVの特定エリアに対する光束の動的な変化には多くの異なる可能性があり、いくつかの例は以下で更に詳しく検討されるが、そのような光束の動的変動は、スキャンされるFOV内で物体が検出される場所では光束レベルを低減又は維持することと、物体が検出されない領域では光束を増大させることと、を含み得る。このような光束の増大によって、より遠くにある物体又は反射性の低い物体の検出が可能となり得る。このような光束の増大によって、スキャンされるFOVの特定領域で信号対雑音比の向上が可能となり得る。上記のように、これらの効果は、より完全な情報を提供するLIDARシステムの環境内の物体の深度マップを生成することを可能とする。システムは、固定の光束スキャンに関連した特定範囲内で検出可能な物体に加えて、スキャン中の動的な光束調整によって他の物体を識別することができる。
[0248] 上記のように、LIDARシステム100は、少なくとも1つの光源112を含む投影ユニット102を含み得る。処理ユニット108は、光源112及び他の任意の利用可能な光源の動作を連携させるように構成できる。一部の例において、処理ユニット108は、少なくとも1つの光源112からの光を用いたLIDARシステムの視野のスキャンにおいて光束を変動させ得るように光源112を制御する。また、処理ユニット108は、視野をスキャンするため少なくとも1つの光源112からの光を偏向させるようにスキャンユニット104の偏向器114を制御することができる。また、前述のように、処理ユニット108は、(例えば反射が入射する1つ以上のセンサによって発生された信号に基づいて)スキャンされたFOV内の様々な物体からの反射を監視するため、検知ユニット106と相互作用することができる。監視された反射に基づいて、処理ユニット108は、スキャンされたFOVに関連付けたシーンの深度マップ又は他の再構築を生成できる。例えば処理ユニット108は、視野の第1の部分のスキャンに関連した第1の検出反射を用いて、第1の部分内に第1の距離の第1の物体が存在することを決定し得る。FOVのスキャン中、処理ユニット108は、視野の第2の部分内に第1の距離の物体が不在であることを決定し得る。例えば、処理ユニット108が第2の部分内に物体が不在であることを決定するには、視野の第2の部分への光の放出時から測定を開始して、第1の距離の2倍に等しい距離(物体が第1の範囲内に存在する場合、反射光は物体まで移動してから戻ってくる必要があるので)の光の移動時間に一致するか又はこれを含む時間期間にわたって受信したセンサ検出信号を処理すればよい。第1の反射を検出し、第2の部分内に物体が不在であると決定した後、処理ユニット108は、視野の第1の部分へ投影されるよりも多くの光が視野の第2の部分へ投影されるように、例えば少なくとも1つの光源112に関連した光源パラメータを変更することができる。処理ユニット108は、視野の第2の部分における第2の検出反射を用いて、第1の距離よりも大きい第2の距離に第2の物体が存在することを決定できる。
[0249] LIDARシステムFOVのスキャン中、処理ユニット108は、FOVの特定領域に与えられる(例えば投影される)光束の量を変更するため、利用可能な光源112に関連した1つ以上のパラメータを制御することができる。一部の例では、光束の変更は、FOVの1つの領域における光束をFOVの別の領域に与えられる光束の量よりも増大させることを含み得る。また、光束の変更は、特定の時間期間に与えられる光量を(例えばFOVの特定の領域内で)別の時間期間よりも増大させることを含み得る。より多くの光を特定領域に投影するか又は供給することに対応した光束の増大は、投影光の様々な定量的特性を含み得る。例えば光束の増大は、立体角当たりのパワー、FOV部分に対する放射照度、投影光パルスの数、1画素当たりのパワー、単位時間当たりの光子数、1スキャンサイクル当たりの光子数、特定の時間期間の総エネルギ、単一スキャンサイクルの総エネルギ、光束密度(例えばW/m2で測定される)、生成されたポイントクラウドモデルにおけるデータポイント当たりの放出光子数、生成されたポイントクラウドモデルにおけるデータポイント当たりの総エネルギ、又は光束を増大させる他の任意の特徴において、対応する増大を生じるか又は対応する増大を伴う可能性がある。
[0250] 少なくとも1つの光源112からの光を偏向するように処理ユニット108によって制御される偏向器114は、偏向器に入射する光の少なくとも一部の光路を変化させるための任意の適切な光学要素を含み得る。例えばいくつかの実施形態において、偏向器114はMEMSミラー(例えば枢動可能MEMSミラー)を含むことができる。偏向器は、他のタイプのミラー、プリズム、制御可能レンズ、機械的ミラー、機械的スキャンポリゴン、アクティブ回折要素(例えば制御可能LCD)、リスレープリズム、非機械電子光学ビームステアリング装置、偏光格子、光学フェーズドアレイ(OPA)、又はその他の任意の適切な光ステアリング要素を含み得る。
[0251] 任意選択的に、第1の物体が検出された後、処理ユニット108は、(例えば後のスキャンサイクルで)追加の光が第1の部分へ放出される前に、第2の物体の検出で用いられるFOVの第2の領域の方への全ての放出が行われるように、少なくとも光源112及び/又は少なくとも偏向器を制御することができる。
[0252] 図11及び図12を参照して、LIDAR FOVをスキャンし、LIDAR FOVの特定領域に与えられる光束を動的に変動させるこの技法について、更に詳しく説明する。図11は、1つ以上の光源112及び少なくとも1つの偏向器114を制御する処理ユニット108を用いてスキャンすることができるFOV120の概略図である。例えば、前述したようにFOVは、各々がFOV120の特定部分122に一致する複数の瞬時位置にわたって偏向器114を移動させることによりスキャンできる。FOV120が複数の実質的に等しい大きさの部分122(例えば同一の立体角によって画定される)を含み得ることに留意するべきである。しかしながら、必ずしもそうとは限らない。FOV120のスキャン中、偏向器114は所定の時間量だけ各瞬時位置に停止し得ることに留意すべきである。その時間中、連続波、単一パルス、複数パルス等の光をFOV120の対応する部分122に投影することができる。また、特定の瞬時位置における所定の停止時間中、(例えばモノスタティック実施形態において)シーン内の物体から反射された光を、偏向器114を用いて1つ以上の検出器ユニットへ誘導することができる。あるいは、偏向器114は、FOV120のスキャン中に複数の瞬時位置を連続的に(又は半連続的に)移動し得る。このような連続的又は半連続的なスキャン中、連続波、単一パルス、複数パルス等の光をFOV120の瞬時部分122に投影することができる。また、このような連続的又は半連続的なスキャン中、(例えばモノスタティック実施形態において)シーン内の物体から反射された光を、偏向器114を用いて1つ以上の検出器へ誘導することができる。
[0253] FOV120のスキャンは、例えば、光源112からの光をFOV120の領域1102に投影し、領域1102から反射光を収集し、投影光及び反射光に基づいて飛行時間分析を実行して、反射を生成した領域1102内の1つ以上の物体までの距離を決定するというように進行する。領域1102から反射光を収集した後、処理ユニット108は、偏向器114をFOV120の別の領域(例えば隣接領域又は何らかの他の領域)へ移動させ、プロセスを繰り返すことができる。FOV120全体をこのようにスキャンすることができる(例えば、領域1102から1104へ移動した後に他の全ての行をスキャンし、領域1106で終了する)。図11に関連したスキャンパターンは、最も上の行から始まってそれに続く各行で、左から右へ、次いで右から左へ進行するが、FOV120のスキャンでは任意の適切なスキャンパターンが使用され得る(例えば、水平方向の一方向又は双方向で1行ずつ、垂直方向の一方向又は双方向で1列ずつ、斜め、又は個々の領域もしくは領域のサブセットを選択する)。また、前述したように、反射及び物体までの距離の決定に基づいて、深度マップ又は任意のタイプの再構築を生成することができる。
[0254] 処理ユニット108は、偏向器114が光源112からの光をFOV120の様々な領域122へ方向転換できるように任意の適切な方法で偏向器114を制御することができる。例えばいくつかの実施形態において、少なくとも1つのプロセッサ118は、少なくとも1つの光偏向器が2つの直交軸で又は2つの実質的に垂直な軸に沿って枢動するように少なくとも1つの光偏向器114を制御するよう構成できる。他の実施形態において、少なくとも1つのプロセッサ118は、少なくとも1つの光偏向器が2つの線形に独立した軸に沿って枢動し、これによって2次元スキャンを可能とするように、少なくとも1つの光偏向器114を制御するよう構成できる。そのような偏向器の移動は、上述した技法のうち任意のものによって得られる。更に、場合によっては処理ユニット108は、少なくとも1つの光偏向器を操縦するための回転可能モータを制御する。
[0255] FOV120のスキャンが進行すると、FOVの特定領域のいくつか(例えば領域122)からの光反射を用いて、FOVの特定領域内の物体の存在を決定することが可能となる。例えば領域1108のスキャン中、自動車1110から受光した反射によって処理ユニット108は、領域1108内の物体(すなわち自動車)の存在を決定すると共に、この物体までの距離を決定することができる。領域1108のスキャンの結果、処理ユニット108は、その領域内に物体が存在すること、及びこの物体がLIDARシステム100のホストに対して距離D1にあることを決定できる。任意選択的に、処理ユニット108はFOVの領域について2つ以上の距離を決定し得ることに留意するべきである。これが起こるのは、例えば同一のFOV内で2つ以上の物体が光を反射している場合(例えば図12の領域1120において、自動車1202及び道路の双方からの反射を受光し分析することができる)、又は、反射性物体が様々な距離から(例えば傾斜した表面から)光を反射するように位置している場合である。
[0256] しかしながら、FOV120の他の領域のスキャンでは観察可能な反射が戻ってこないことがある。このような場合、処理ユニット108は、それらの領域内で物体の存在を検出しない。例えば図11に示されているように、FOV120の領域1120及び1122は、これらの領域の各スキャン中に観察可能な反射を戻していない。結果として、FOV120のこれらの領域について受光した反射及び実行した距離分析に基づいて生成される深度マップは、領域1120又は1122内で物体の存在を示さない。処理ユニット108は、領域1120及び1122(及びその他の非反射性領域)に利用可能な反射が不在であることに基づいて、所与の動作パラメータセットでLIDARシステム100が検知可能な距離範囲ではそれらの領域内に物体が不在であると決定できる。例えば処理ユニット108は、領域1108内で距離D1に自動車1110(又は自動車の少なくとも一部)が存在すると決定できるので、この領域から受光した反射に基づいて、LIDARシステム100に対する距離D1では領域1120内に物体が存在しないと決定できる。この決定は、距離D1で領域1120に任意の物体が存在しているならば(かつ、そのような物体が自動車1110と同様の反射特性を有すると想定すると)、処理ユニット108は、領域1108で行ったのと同様にそれらの物体の存在を識別するはずであるという仮定に基づき得る。
[0257] 特に、FOV120の特定領域内に物体が不在であるという決定は、特定の動作パラメータセットにおけるLIDARシステムの検出機能に基づき得る。これらの動作パラメータを、特にLIDARシステムの検出感度を増大させ得る(例えば信号対雑音比を増大させる)ように変更すると、動作パラメータの変更前は物体が検出されなかった領域において物体を識別することが可能となり得る。
[0258] 処理ユニット108が距離D1の物体が不在であると決定したFOVの領域(例えば領域1120又は1122)において、処理ユニット108は、物体が検出されたFOVの領域へ投影されるよりも多くの光をFOVの1つ以上の領域へ投影するように光源パラメータを変更することができる。図11に示されている例では、領域1120内で(距離D1又は他の距離の)物体を検出しなかった後、処理ユニット108は、(自動車1110の一部が検出された)領域1108へ誘導されたよりも多くの光を領域1120へ投影するように光源パラメータを変更できる。領域1120へ提供される光量のこのような増大は、その領域の信号対雑音比を増大させ、その領域におけるLIDARシステム感度を向上させ、より低い反射率を有する物体をシステムが検出することを可能とし、及び/又はより遠くに(例えばD1よりも大きい距離に)位置し得る物体をシステムが検出することを可能とする。
[0259] FOVの特定領域に供給される光量を増大させるため、様々な光源パラメータを変更することができる。例えば、処理ユニット108によって光源112は、FOVの特定領域に投影される連続波放出の持続時間を延長し、光パルスの総数を増加し、放出光の全光エネルギを増大し、及び/又は1つ以上の光パルスのパワー(例えばピークパワー、平均パワー等)を増大することができる。これに加えて又はこの代わりに、FOVの1つの領域に対してFOVの別の領域よりも多くの光パルスが供給されるように、1スキャン当たりの光パルス繰り返し数を増大させることができる。より広く言えば、例えば、特定の距離又は距離範囲において特定領域内に物体が不在であると決定した後、又はFOVの特定領域に対する検出結果に関する他の任意の判定基準に基づいて、視野の1つの部分(例えば領域1120)に誘導される光束が視野の別の部分(例えば領域1108)に誘導される光束とは異なる(例えば増大する)ように任意の光源パラメータを調整することができる。前述のように、特定領域に投影される光が増大するという場合、立体角当たりの与えられるパワーの追加、部分の大きさに対する放射照度の増大、光パルスの追加、1画素当たりのパワーの増大、所与の時間期間における光子の増加、既定の時間期間における総エネルギの増大、光束密度(W/m2)の増大、1スキャンサイクル当たりの光子数の増加、特定の時間期間における総エネルギの増大、生成されたポイントクラウドモデルにおけるデータポイント当たりの放出光子数の増加、生成されたポイントクラウドモデルにおけるデータポイント当たりの総エネルギの増大のうち少なくとも1つを含み得る。
[0260] 様々な光源パラメータの変更は、任意の判定基準が観察されたことに応答して行うことができる。例えば、少なくとも1つのパイロットパルスを放出し、その少なくとも1つのパイロットパルスの取得された反射に基づく検出結果を観察すればよい。少なくとも1つのパイロットパルスを放出した特定領域の検出結果が、物体が存在しないこと、特定の距離(例えばD1)に物体が存在しないこと、予想よりも少ない物体が存在すること、特定の距離範囲よりも遠くで物体が検出されないこと、低い反射率の物体が検出されること、低い信号対雑音比(又は他の任意の適切な判定基準)を示す場合、処理ユニット108は、上述した技法のいずれか、又は、より多くの光を特定領域に提供する他の任意の技法を用いて、より多くの光を特定領域に提供することができる(長い連続波、追加のパルス、高いパワー等)。一部の例において、「パイロットパルス」は、光パルスであって、検出される反射を用いてその後の(例えば同一のスキャン中のFOVの同一の領域に対する)光放出を決定することを目的としたものを指す。パイロットパルスは、その後の光放出のパルスよりもエネルギが小さい可能性があるが、必ずしもそうとは限らないことに留意するべきである。場合によっては、パイロットパルスは、LIDAR FOVの特定領域に与えられる(放出シーケンス中の)初期光パルスに対応する。
[0261] また、様々な光源パラメータの変更は、所定の動作シーケンスの一部として実行することも可能である。例えばいくつかの実施形態において、FOV120の領域122の1つ以上に対する所定の照射シーケンスは、FOV120の領域122の1つ以上の方へ指定された一連の光パルスを与えることを含み得る。第1の光パルスが比較的低いパワーを含み、1つ以上の後続のパルスが第1の放出パルスよりも高いパワーレベルを含むことができる。場合によっては、これらの光パルスは徐々に増大するパワーレベルで放出され得る。しかしながら、一連のパルスはパルス当たりのパワーレベルが同様である場合があり、光量の増大はスキャン中の蓄積放出量で達成されることに留意すべきである。
[0262] FOVの特定領域に与えられる光量の増大は、LIDARシステム100の動作中の様々な時点で実行され得る。いくつかの実施形態において、FOVの特定領域に与えられる光を別の領域に対して増大させることは、FOVの同時スキャン中に実行できる。すなわち、FOVの特定のスキャン中、偏向器114の特定の瞬時位置に関連付けられたFOVの部分に供給される光の量を、FOVのこの特定のスキャン中の偏向器114の異なる瞬時位置に対応するFOVの部分に与えられる光の量よりも多くすることができる。従って、いくつかの実施形態において処理ユニット108は、FOVの他の領域内で(例えば特定の距離の)物体の不在が決定されたのと同一のスキャンサイクルで、より多くの光(例えば立体角当たりの放射照度が高い)をFOVの特定領域へ投影するように光源パラメータを変更するよう構成できる。
[0263] あるいは、特定のFOV領域に対して与えられる光をFOVの別の領域に比べて増大させることは、FOVの異なるスキャン中に実行され得る。言い換えると、FOVの完全なスキャンを実行してから、FOVのその後のスキャン時に、FOVの以前のスキャンの結果に基づいて、FOVの1つ以上の領域に対してFOVの他の領域よりも多くの光を与えることができる。場合によっては、FOVの完全なスキャンを実行してからFOVの特定の部分に戻ってその特定領域に与えられる光量をFOVの別の部分に与えられる光量よりも増大させる必要はない。FOVの部分的なスキャンを行った後、FOVの特定領域に戻って、その領域に与えられる光量を、以前のスキャン(又は部分的なスキャン)中にその領域に与えられた光量よりも又はFOVの別の領域に与えられた光量よりも増大させることで、そのような増大を実行できる。
[0264] 領域1120のようなFOVの特定領域に与えられる光量の増大によって、物体の検出が可能となり得る追加の反射が生じることがある。特定領域に与えられる光量の増大を考慮すると、その領域から収集される光について信号対雑音比を増大させることができる。信号対雑音比の改善の結果として、及び/又は検出に利用できる追加の光(少なくともいくつかの場合、より高いパワーの光を含む)を考慮すると、特定のFOV領域においてより少ない光量を用いることで可能であったよりもLIDARシステムから遠い距離にある物体の存在を検出することが可能となり得る。
[0265] 説明のための例として、いくつかの実施形態では、図11のFOV120のスキャンは、FOVのそれぞれの領域122に与えられる所定の又はデフォルトの光量を用いて開始することができる。例えば領域1108のような特定領域で物体が検出された場合、処理ユニット108は、上述の領域(例えば領域1108)に追加の光を放出することなく、FOV120の別のエリアを調査するため偏向器114を別の瞬時位置に移動させることができる。領域1120のような特定領域で物体が検出されない場合、処理ユニット108はその領域に追加の光量を与えることができる。光量の増大は、FOVの現在のスキャン中であって偏向器114を新しい瞬時位置に移動させる前に実行され得る。あるいは、例えば領域1120に対する光量の増大は、FOV120の以降のスキャン中又は部分的なスキャン中に実行され得る。場合によっては、領域1120のような領域に与えられる光量の増大によって、より少ない光量を用いた特定のFOV領域の調査中には検出されなかった物体が検出される。FOV120の部分的なスキャン中に追加の光が与えられる例では、第1の方向にスキャンしながら1行の各領域にパイロットパルスが与えられ、物体の不在が決定された領域まで反対方向にスキャンして戻る間に追加の光が放出され、その後で別の行のスキャンが開始される。
[0266] 説明のための例では、1つ以上のパイロットパルスに基づいて、領域1120で物体が検出されないか、又は領域1120で特定の距離(例えば自動車1110が位置していると決定された距離D1)よりも遠くで物体が検出されない場合、前述した技法のいずれかを用いて領域1120への光量を増大することができる。例えば一実施形態において、領域1120に対して1つ以上の追加の光パルスを(任意選択的に、パイロットパルスよりも高いパワーレベルで)提供することができる。これらの追加の光パルスはそれぞれ、検知ユニット106で検知できるその後の反射を生じる可能性がある。結果として、図12に示されているように自動車1202のような物体が検出され得る。場合によっては、自動車1202等のこの物体は、同一の領域又は異なる領域で物体が以前に検出された距離よりも大きい距離D2に位置する(例えば自動車1110は距離D1に位置し、FOVの領域1108及び付近の領域を占有している)。従って、この具体的な(かつ非限定的な)説明のための例では、領域1120に与えられた光の初期パイロットパルス及びその後の反射からは、距離D1(例えば領域1108に与えられたパイロットパルスに基づいて領域1108内で自動車1110が検出された距離)の物体は検出されない可能性がある。領域1120において距離D1で観察される物体が不在であることに応答して、領域1120により多くの光を与えるため、領域1120に1つ以上の追加パルス(任意選択的に、より高いパワーのパルス又は長い連続波であるが、必ずしもそうとは限らない)を与えることができる。領域1120に与えられるこれら1つ以上の追加パルスと、その後の各反射に基づいて、領域1180で自動車1110が検出された距離D1よりも大きい距離D2において、自動車1202のような物体の存在を決定することができる。
[0267] 光量の増大、及び光量の増大を与えるために選択される特有のプロトコルは、偏向器114の特定の瞬時位置に対応し得る領域1120のようなFOVの特定領域に固有のものであることに留意するべきである。あるいは、光を増大するため選択される特有のプロトコルは、領域1120のようなFOVの特定領域に限定されず、FOVの複数の領域によって共有され得る。例えば、FOV120の領域1204(図12において波線で囲まれている)は、各々が偏向器114の異なる瞬時位置に対応するFOVの4つの特定領域を含み得る。いくつかの実施形態において、FOV領域1204の小領域のうち任意のものに対する光を増大させるため選択されるプロトコルは、全ての小領域について同一であり得る。この結果、FOV領域1204の各小領域に共通の光増大プロトコルを適用することで、これらの小領域において複数の物体又は単一の物体が同様の距離又は距離範囲で検出される可能性がある。例えば図12において、FOV領域1204の小領域に共通の光増大プロトコルを適用することにより、FOV領域1204の異なる小領域の各々で自動車1202の部分を(例えば自動車1110が検出された距離D1よりも大きい距離D2で)検出することができる。任意選択的に、FOVの1つの領域で光放出を増大させるか否かの決定は、FOVの別の領域の反射検出情報に(少なくとも部分的に)依存し得ることに留意するべきである。
[0268] FOVの特定領域に対する光の追加によって更に遠くの物体を検出できる能力を与えることに加えて、他の物体も光の増大の結果として検出され得る。例えば図11に示されているように、領域1122に供給された光のパイロットパルスは領域1122内の物体を検出しない可能性がある。しかしながら、領域1122に供給されるその後の光の増大と、これによって得られる少なくとも1つの反射により、図12に示されるように、亀1206のような領域1122内の物体の検出が可能となる。亀1206はD1よりも小さい距離D3に位置する場合がある(例えば自動車1110よりもLIDARシステムに近い)が、亀1206は自動車1110よりも反射率が低いので、領域1122に与えられた初期パイロットパルスに応答して検出されなかった可能性がある(亀1206の低い反射率は、例えば領域112に対する部分的なサイズ及び/又はその甲羅の更に低い反射率の結果であり得る)。例えば領域1122に与えられるその後の1つ以上の光パルス、及びそれぞれの反射によって、低い反射率の亀1206を検出することができる。FOVの領域に対する光を増大するこのような手法は、FOVの領域に供給される初期光量に基づいて検出されない様々な物体の検出を可能とする。例えば、この技法を用いて、遠くの縁石1208及び1210及び/又は道路1214の地平線1212(D1、D2、及びD3よりも大きい距離D4)のような物体を検出できる。同時に、初期パルス(又は利用可能な光学予算の一部)を用いて自動車1110又は木1216のような物体が検出されるFOVの領域では、追加の光増大は必要ない場合があり、偏向器114の異なる瞬時位置でFOVスキャンを継続することができる。
[0269] FOVの特定領域内の物体を検出した後、更に光放出を行うことなく偏向器114を新たな瞬時位置へ移動させることができるが、場合によっては、偏向器が引き続きFOVの対応する特定領域の方へ光を誘導している間に追加の光を放出することも可能である。この補足の光から得られる反射は、FOVの特定領域について更なる情報を与える、及び/又は同一の領域に与えられたより低レベルの光に基づいて行われた検出を確認することができる。例えば図11及び図12の説明のための例において、偏向器114は、領域1120にパイロットパルスを与えるために位置決めすることができる。得られる反射からは、領域1120内の物体が検出されない場合がある。次に、領域1120に第2のパルスを与えることができる(例えばパイロットパルスよりも高いパワーレベルで)。第2のパルスからの反射は、領域1108に与えられたパイロットパルスの反射に基づいて自動車1110が検出された距離D1よりも大きい距離D2にある自動車1202の検出を可能とする。しかしながら、領域1120で自動車1202を検出した後その領域から移動するのではなく、偏向器114は、領域1120に対応した瞬時位置に留まることができる。領域1120に第3のパルスを(任意選択的に、第2のパルスよりも高いパワーで)与えることができる。その後の第3のパルスの反射からは、領域1120内の追加の物体が検出されない場合がある(検出する可能性はあるが)。しかしながら、第3のパルスの反射は、領域1120内に距離D1の物体が存在しないという(第2のパルスの反射に基づく)決定を確認することを可能とする。また、第3のパルスの反射は、領域1120に与えられた第2のパルスの反射に基づいて決定された距離D2の自動車1202の検出を確認することを可能とする。場合によっては、第1、第2、及び第3のパルスの反射のいずれも、それぞれの領域内の物体の検出を可能としないが、それらの反射を全て組み合わせることで検出が可能となることに留意するべきである。これは、SNR改善の結果であり得る。別の例として、いくつかのパルスにまたがった検出の一貫性をチェックすることができる決定アルゴリズムが挙げられる。
[0270] FOV120の特定領域に与えられる光量の増大は、FOVの他の領域に与えられる光量に対するものであれ、FOVの同一のスキャン中又はより前のスキャン中にFOVの特定領域に与えられる光量に対するものであれ、任意の所望のプロトコルに従って進行し得ることに留意するべきである。そのようなプロトコルは、FOVの全ての領域、FOVの領域のいくつか、又はFOVの単一の領域に適用され得る。FOVの任意の部分に対する光を選択的に増大させるためのプロトコルは、所定のものであるか、又は、例えばFOVスキャン(例えば特定領域内の物体の検出等)中に適用される様々な判定基準に基づいてFOVのスキャン中に作成され得る。特定の投影光量の結果として特定領域内で物体が検出された場合は、FOVの以降のスキャン中、その特定領域に同様の光量を与えることができる。このような手法は、増大した光量を用いて物体を検索する必要性を潜在的に排除することで、物体の検出及びFOVのスキャンを高速化することができる。しかしながら場合によっては、FOVの以降のスキャンにおいて、特定のFOV領域に対する低レベルの光の適用に戻ることが望ましい。例えばLIDARシステムがすでに検出した物体の方へ移動している場合、最初の検出で使用した大きい光量でなくより小さい光量を用いて再び物体を検出することが可能である。
[0271] LIDARシステムFOVのスキャン中に異なる領域に与えられる光量を変動させることによって、LIDARシステムの検出機能及び/又は分解能を改善できる。また、FOVの異なる領域の各々で検出された物体に基づき、任意の適切な技法を用いて、FOVに関連付けられたシーンの3次元マップ又は再構築を生成できる。例えばいくつかの実施形態では、FOV内で検出された物体のいくつか又は全てを示すポイントクラウドを生成することができる。図12の例に戻ると、ポイントクラウド(又は他の3D構築)は、距離D1の自動車1110、距離D2の自動車1202、及び距離D3の亀1206を示すことができる。ここで、D3<D1<D2である。3D構築に表現されている各検出物体は、特定の検出方向(φ/θ又はx/y)又は角度範囲に関連付けることができる。
[0272] FOVの異なる部分における物体の検出又は物体の不在に基づいてFOVの異なる部分へ選択的に光を放出することによって、LIDARシステム100は、以下のうちいずれか1つ以上のようないくつかの機能を達成できる。(a)増大した光量を用いて物体を検索する必要性を潜在的に排除することで、物体の検出及びFOVのスキャンを高速化する、(b)FOV全域における検出のために使用される総エネルギを低減する、(c)大きな影響を与え得る領域にエネルギ割り当てを転換できる、(d)例えば物体が存在することが分かっている方向への余分な光放出を低減することによって、LIDARシステムの環境的効果を低減させる、(e)必要以上の検出信号を処理するための処理要求を低減させる。
[0273] 図13は、LIDARシステムを用いて物体を検出するための方法1302のフローチャート図を提供する。ここに開示される実施形態に従ったLIDARシステム100の動作中、任意の又は全てのステップは、少なくとも1つの光源からの光を用いた視野のスキャンにおいて光束を変動させ得るように少なくとも1つの光源を制御することを含み得る。また、任意の又は全ての動作ステップは、視野をスキャンするため少なくとも1つの光源からの光を偏向させるように少なくとも1つの光偏向器を制御することを含み得る。ステップ1308において、方法1302は、視野の第1の部分のスキャンに関連した第1の検出反射を用いて、第1の部分内に第1の距離の第1の物体が存在することを決定し得る。ステップ1310において、方法1302は、視野の第2の部分内に第1の距離の物体は不在であると決定することを含み得る。ステップ1312において、方法1302は、第1の反射の検出及び第2の部分内に物体が不在であるという決定の後、視野の第1の部分へ投影されるよりも多くの光が視野の第2の部分へ投影されるように光源パラメータを変更することを含み得る。ステップ1314において、方法1302は、視野の第2の部分における第2の検出反射を用いて、第1の距離よりも大きい第2の距離で第2の物体が存在すると決定することを含み得る。第2の部分で第2の物体を検出するための光束の増大は、FOVの現在のスキャン中又はFOVの以降のスキャン中に実施できることに留意するべきである。任意選択として、段階1308の検出後に段階1310、1312、及び1314が実行される場合、第2の物体の検出に使用される第2のFOV部分への放出は全て、(例えば後のスキャンサイクルで)追加の光が第1の部分へ送出されるよりも前に行われる。
[0274] いくつかの実施形態において、この方法は、複数のスキャンサイクルにわたってFOV120をスキャンすることを含み得る。この場合、単一のスキャンサイクルは、少なくとも1つの光偏向器を複数の瞬時位置に移動させることを含む。少なくとも1つの光偏向器が特定の瞬時位置に配置されている間、この方法は、少なくとも1つの光源からの光ビームを視野内の物体の方へ偏向させること、及び、物体から受光した反射を少なくとも1つのセンサの方へ偏向させることを含み得る。
[0275] Lidar検出のための増分光束割り当て
[0276] 上述のように、LIDAR FOVの第2の領域において、LIDAR FOVの異なる領域で1つ以上の物体が検出された第1の距離D1の物体が検出されない場合、第2の領域に対する光束を変動させることができる。しかしながらこれに加えて、いくつかの実施形態では、LIDAR FOVの特定の領域において任意の距離で物体が検出されるか否かに基づいて、その領域に対する光束を変動させることができる。例えば、プロセッサ118は、LIDAR FOVの特定領域に与えられる第1の光量に基づいて、その領域内にはLIDARシステム100から距離S1内の物体が存在しないと決定できる。このような決定に応答して、プロセッサ118は、より多くの光をFOVのその特定部分に与えることができる。光の増大によって、プロセッサ118は、その特定領域にはLIDARシステムから距離S2内の物体が存在しないと決定できる。ここで、S2>S1である。このような決定に応答して、更に多くの光をLIDAR FOVの特定領域に与えることができ、この光の増大に応答してプロセッサ118は、LIDARシステムからの距離S3に1つ以上の物体が存在することを検出できる。ここで、S3>S2>S1である。従って、LIDAR FOVの特定領域に与えられる光のこのような増大は、特定領域内でのLIDARシステムの検出機能を強化することができる。更に、開示される漸進的照射スキームによって、限られた電力消費で長距離の検出を達成することが可能となる。
[0277] 図14は、LIDARシステム100によって生成され得るLIDAR視野1410の概略図及びこれに関連する深度マップシーン表現を提供する。図示のように、LIDARシステムに比較的近い範囲S0内の距離(図14の視点)で、シーン内の物体を検出できる。範囲S0は、LIDARシステム100の動作パラメータに応じて様々な距離間隔をカバーすることができる。いくつかの場合、S0は0mから10mまでの範囲を表す。他の場合、S0は、0mから20m、30m、50m等までの範囲に対応する。
[0278] 一部の例において、LIDARシステムは、視野の第1の部分において第1の距離S1で検出される物体が不在であると決定し得る。例えば図14に示されているように、LIDAR FOV1410の特定領域1412に投影された光(例えば第1の光放出)に基づいて、LIDARシステムは、道路1414、縁石1416、及び/又は歩道1418の表面のような様々な前景の物体を識別できる。しかしながら、LIDARシステム100のプロセッサ118は、領域1412内の距離S1では物体を検出しない可能性がある。すなわちプロセッサ118は、領域1412において距離S1では(更に、場合によってはそれを超える距離では)物体が不在であると決定し得る。いくつかの実施形態において、距離S1は距離S0よりも大きくすることができる。例えば、S0は0mから、最大で20mであるS1までの範囲を含み得る。いくつかの例では、S1は距離S0に等しい及び/又は距離S0よりも小さくすることができる。例えば、関連する状況(例えば周囲光条件)における第1の光放出によってLIDARシステムから約40メートルまでの所与の反射率の物体を検出できる場合、第1の光放出によってシステムは、20m、30m、39m、場合によっては40mの距離に、少なくともそのような反射率の物体が不在であることを決定し得る。
[0279] LIDARシステム100が領域1412内で距離S1の物体を検出しない理由はいくつか考えられる。例えば、場合によっては、その領域内に距離S1の物体が全く存在しないことがある。しかしながら他の場合、領域1412に投影される光量が、距離S1の物体を検出するには不充分である可能性がある。その理由は、これらの物体が低い反射率によって特徴付けられること、又は、距離S1が、特定の動作パラメータセット(例えば領域1412に投影される光の持続時間、強度、パワーレベル等)に対するLIDARシステム100の動作範囲から外れることである。
[0280] 領域1412内で第1の光放出に基づいて物体が検出されない場合、領域1412内で距離S1の物体の検出を断念するのではなく、プロセッサ118は、可能ならばS1を超える距離の物体を検出するため、領域1412に追加の光束を供給することができる。言い換えると、プロセッサ118が第1の光放出に基づいて視野1410の第1の部分1412には検出される物体が不在であると決定した場合、プロセッサ118は、領域1412内で第1の距離S1よりも大きい第2の距離S2の物体を検出できるように、視野1410の領域1412へ誘導される少なくとも第2の光放出の投影を制御することができる。第2の放出は、距離S2の物体を検出する能力を潜在的に増大させるだけでなく、LIDARシステム100が距離S1の物体を検出する可能性も高めることができる。
[0281] 場合によっては、プロセッサ118は、光投影器112及び偏向器114に追加の光を領域1412へ投影させることができる。例えばプロセッサ118は、領域1412内で距離S1よりも大きい第2の距離S2よりも大きい第3の距離S3の物体が存在すると決定するように、視野1410の領域1412へ誘導される少なくとも第3の光放出の投影を制御することができる。図15に示されているように、領域1412への第3の光放出によって、LIDARシステム100から距離S3にいる歩行者1510(又は少なくともその一部)の検出が可能となり得る。歩行者1510は、領域1412へ誘導された第1又は第2の光放出に応答した検出は行われなかった可能性があるが、領域1412への第3の放出によって距離S3の歩行者1510の存在を決定することが可能となった。更に、領域1412内で第2の距離S2又は第3の距離S3の物体の検出を可能とする第2及び第3のそれぞれの光放出によって、LIDARシステム100は、距離範囲S0を超えている物体(例えば縁石1416、路面1414、及び/又は歩道1418)を検出することが可能となっている。例えば図15に示されているように、S3まで及びS3を超えた距離でそのような物体が検出されマッピングされている。
[0282] 従って上述のように、プロセッサ118は、LIDAR FOVの特定領域内の様々な距離で物体が検出されるか否かに基づいて、その領域へ追加の光放出を投影させることができる。例えば一実施形態において、プロセッサ118は、第1の光放出及び第2の光放出のうち少なくとも1つの検出に基づいて、LIDAR FOVの特定部分/領域内で第1の距離(例えば図14のS1)の物体が不在であると決定された場合、LIDAR FOVのその部分/領域へ誘導される少なくとも第3の光放出の投影を制御するように構成され得る。更に、プロセッサ118は、少なくとも第2の光放出の検出に基づいて、LIDAR FOVの特定の領域/部分内で第2の距離(例えば図14のS2)の物体が不在であると決定された場合、LIDAR FOVのその部分/領域へ誘導される少なくとも第3の光放出の投影を制御するように構成され得る。
[0283] 距離S1、S2、及びS3は、LIDARシステム100の特定の動作パラメータに依存し得る。この動作パラメータは、LIDARシステム100の(例えば車両、建物、航空機等における)特定の展開に適合するように、特定の気候条件に適合するように(例えば晴天、雨、雪)、又は他の任意の環境条件(例えば農村部と都市部の環境等)に適合するように選択できる。しかしながら、いくつかの実施形態において、距離S1はLIDARシステム100から20m以下とすることができる。距離S3は100mより大きい距離を含み、距離S2は距離S1とS3との間とすることができる。LIDARシステムの検出距離の概念に関して更に詳しく検討するように、前述の検出距離(S0、S1、S2、S3)は必ずしも前もって規定されるわけでなく、これらの距離はLIDARシステムによって用いられる光放出エネルギスキームに基づいて決定され得ることに留意するべきである。更に、検出距離は、気候、周囲光条件、視認性、ターゲットの反射率のような他のファクタにも依存し得る。図14及び図15において、検出範囲S0は、簡略化のため、LIDARシステムが位置している垂直面から一様に延出するものとして図示されていることに留意するべきである。しかしながら、注記したように、いずれの検出範囲もFOVの様々な部分にわたって必ずしも一様でなく、これらの距離は、(図示のような)ゼロ距離面からでなく、LIDARの光学ウィンドウ上に位置するポイントから放射状に測定され得る。
[0284] ここで、開示される実施形態のいずれに対しても、LIDAR FOVの特定の部分又は領域は、いくつかの実施形態において、FOVのスキャンの単一の画素を指すことがある。そのような実施形態において、FOVの特定部分は、LIDAR FOVをスキャンするため偏向器114がある範囲の位置/向きにわたって移動する場合の偏向器114の単一の瞬時位置に対応し得る。例えば図14を参照すると、領域1412(例えばLIDAR FOVの一部)はLIDAR FOV1410の単一の画素を表すことができる。しかしながら他の実施形態では、LIDAR FOVの特定領域は複数の画素を含み得る。例えば、LIDAR FOVの領域1520は複数の画素を含むことができ、その各々が偏向器114の異なる瞬時位置に対応する。領域1520に含まれる画素のような、FOVの1つの領域又は部分に含まれる個々の画素は、連続的であるか又は不連続的であり得る。場合によっては、FOVの部分はLIDAR FOV内の特定の関心領域を表し、同様の光放出プロトコル等を使用することができる。
[0285] いくつかの実施形態において、LIDAR FOV内でのLIDAR FOVの特定部分の相対位置は様々に変わり得る。例えば、一部の例において、偏向器114は、各々がLIDAR FOVの特定領域に対応する複数の瞬時位置にわたって連続的に移動させることができる(例えばスイープパターンで、ラスタパターンで、ランダムに、疑似ランダムに)。上述したプロセスにおいて、FOVの特定部分に対する第1の光放出とFOVの同一部分に対する第2の光放出との間にはある程度の時間量が存在し得る。その時間中に、偏向器114は、第1の放出中の偏向器の正確な瞬時位置が第2の放出中の正確な瞬時位置とは異なるように移動し得る。同様に、第3の放出中の偏向器の正確な瞬時位置は第1及び第2の放出中の正確な瞬時位置とは異なる可能性がある。結果として、第1、第2、及び第3の放出によって照射されるLIDAR FOVの領域は、相互に対してわずかに異なる可能性がある。しかしながら、本開示の目的のため、LIDAR FOVの実質的に重複する領域へ投影されるグループ化した光放出又は複数の光放出は、LIDAR FOVの同一の領域へ誘導されると考えられる。言い換えると、いくつかの実施形態において、LIDAR FOVの特定部分は偏向器114の単一の瞬時位置に対応し得る。他の実施形態において、LIDAR FOVの特定部分は偏向器114の2つ以上の瞬時位置に対応し得る。
[0286] 上記のように、センサ116のような1つ以上のセンサの出力を監視及び/又は処理することによって、プロセッサ118は、LIDAR FOVの特定領域内に物体が存在すること又は同一領域内に物体が不在であることの双方を決定できる。例えば図14に示されているように、FOV領域1412へ投影された光の反射は、特にS0範囲内の距離において、路面1414、縁石1416、又は歩道1418のような物体の検出及び深度マッピングを可能とする。また一方で、領域1412への同じ光の投影によって、LIDARシステムからの距離S1又は更に遠い距離S2では物体の検出も深度マッピング能力も得られないことがある。そのような場合、領域1412からの光の利用可能な反射によって得られた情報に基づき、プロセッサ118は、領域1412内でS0を超える距離、S1、S2等の距離では物体が不在であると決定することができる。
[0287] 物体が不在であるという決定は、実際にLIDAR FOVの特定領域に何も物体が存在しないことを意味するわけではない場合がある。上述の通り、そのような決定は、検出器116が特定領域内の物体を検出するには不充分な光反射をその領域から受光した場合に行われ得る。また、物体が不在であるという決定は例えば、反射が収集されるが、少なくとも1つの反射源に対する測距情報を決定するため又は1もしくは複数の反射に基づいて深度マップを生成するためには情報が不充分である場合に行われ得る。しかしながら、図14及び図15に関して記載したように、FOVの特定領域への光束レベルを増大させると、それ以前は検出されなかった物体が検出される可能性がある。また、物体の検出は、2元プロセス(binary process)(例えば、物体からの反射が受光されるか又は反射が全く受光されない)を伴わない場合がある。むしろ、検出では、光が投影された特定領域内に物体が存在することをプロセッサ118が認識するために充分な光反射を検出器116が受光することが要求される可能性がある。従って、検出が行われるか否かは、物体の反射率や物体までの距離のような様々なファクタに依存し得る。本明細書に記載されるように、別個の距離での検出を可能とすると記載される光の投影は、特定レベルの反射率(例えば少なくとも2.5%、5%、10%等の反射率レベル)を有する物体を含む事例の特定の割合(例えば、特定の特徴セットの光投影を伴う事例の少なくとも50%、75%、90%、99%、又はそれ以上)において陽性の検出(positive detection)が行われる光の投影に相当し得る。
[0288] LIDAR FOVの特定領域内の様々な距離で物体が検出されるか否かに基づいてその領域に対する光束を増大させるための上述のプロセスを用いて、LIDAR FOVのスキャンを実行し、特定のFOV領域に関連付けられた光投影シーケンス内のどこからでも光投影を用いて複数の物体を検出することができる。例えば、一部の例では、LIDAR FOVの1つの領域において、第1の光放出のみを用いて物体が検出され得る。LIDAR FOVの他の領域に第2の光放出、第3の光放出等を与えた後に初めて、それらの部分のスキャンによってそれらの領域で物体を検出することが可能となる。図14及び図15に表されている例示的な実施形態では、FOV領域1530への第1の光放出によって路面1414を検出することができる。領域1412では、第1の光放出によって、少なくともある範囲(図14に示されているS0又はS1)内で、歩道1418、縁石1416、及び道路1414のような物体を検出できる。領域1412へ誘導される後続の(例えば第2の)光放出によって、更に広い範囲(例えばS2)で、歩道1418、縁石1416、及び道路1414を検出できる。領域1412へ誘導される第3の光放出によって、距離S3の歩行者1510を検出できる。FOV1410の1つ以上の他の領域でも同様の結果を得ることができる。むろん、いくつかの領域は1つの光放出のみを受光し(又は光放出を全く受光せず)、他の領域は複数の光放出を受光する場合がある。この結果、LIDAR FOVの特定のスキャンは、特定領域に投影された光放出の数に応じて、第1の光放出、第2の光放出、及び/又は第3の光放出等に基づいて検出された物体を含み得る。
[0289] 上述したもの又は以下に記載するものを含めて、LIDAR FOVの特定の領域への光束を増大させるために使用され得る様々な技法がある。いくつかの例では、FOVの特定領域への光束を変動させるため、プロセッサ118は光投影器112を制御することができる(例えばその照準方向、パワーレベル、光強度、波長、パルス幅、連続波印加の持続時間等)。他の場合、プロセッサ118は、光束を変動させるように少なくとも1つの光偏向器114を制御することができる(例えば、向きを制御し、従ってFOVの特定領域への投影方向を制御すること、FOVの特定領域に光が投影される時間量を制御すること等によって)。
[0290] 更に、プロセッサ118は、FOVの特定領域によって受光される光量を制御するため、光投影器112の少なくとも1つの様相及び偏向器114の少なくとも1つの様相の双方を制御することができる。例えばいくつかの実施形態において、プロセッサ118は、複数の光エネルギ放出を発するように光投影器112を制御し得る。また、プロセッサ118は、光投影器112によって与えられる第1の光放射、第2の光放射、及び第3の光放射が全て、光偏向器114の単一の瞬時位置(又は偏向器の少なくとも密接した瞬時位置)に対応するLIDAR FOVの特定部分へ投影されるように、光偏向器114を制御し得る。第1、第2、及び第3の光放出の各々は、同様の特徴(例えばパワーレベル、持続時間、パルス数、波長等)を有し得る。あるいは、第1、第2、及び第3の光放出のうち1つ以上は、異なる特徴を有し得る。例えば、これらの放出のうち1つ以上は他よりも高いパワーレベルを示すことができる。いくつかの実施形態において、第1、第2、及び第3の光放出に関連したパワーレベルは、各放出で徐々に増大し得る。また、いくつかの実施形態において、プロセッサ118は、FOVの特定領域へ投影される第1の光放出がFOVの特定領域へ誘導される第2の光放出及び第3の光放出の双方と異なる波長を有するように、光投影器112(これは、1つの多波長光源、又は各々が異なる波長の光を放出できる複数の光源を含み得る)を制御するよう構成され得る。いくつかの例において、第1の光放出、第2の光放出、及び第3の光放出の各々は、単一のパルスを含む(任意選択的に、これらのパルスは同様の特徴のものであり得る)。いくつかの例において、第1の光放出、第2の光放出、及び第3の光放出の各々は、同じ数のパルスを含む(任意選択的に、これらのパルスは同様の特徴のものであり得る)。いくつかの例において、第1の光放出、第2の光放出、及び第3の光放出の各々は、1以上のパルスを含む(任意選択的に、これらのパルスは同様の特徴のものであり得る)。
[0291] いくつかの実施形態において、LIDAR FOVの特定領域へ投影される光放出の各々は、同様の光強度(例えば実質的に同じ光強度)を有し得る。しかしながら他の実施形態では、プロセッサ118は、光投影器112からの様々な光放出の光強度を異なるものにすることができる。例えばプロセッサ118は、FOVの特定領域に対して光投影器112によって与えられる第1の光放出の光強度よりも第2の光放出の方が大きい光強度を有するように、光投影器112を制御するよう構成できる。同様に、プロセッサ118は、FOVの特定領域に対する光投影器112からの第3の光放出の方が第2の光放出の光強度よりも大きい光強度を有するように、光投影器112を制御することができる。
[0292] 同様に、LIDAR FOVの特定領域へ投影される光放出の各々は、同様のパワーレベルを有し得る。しかしながら他の実施形態では、プロセッサ118は、光投影器112からの様々な光放出の光パワーレベルを異なるものにすることができる。例えばプロセッサ118は、FOVの特定の領域に対して光投影器112によって与えられる第1の光放出のパワーレベルよりも第2の光放出の方が大きいパワーレベルを有するように、光投影器112を制御するよう構成できる。同様に、プロセッサ118は、FOVの特定領域に対する光投影器112からの第3の光放出の方が第2の光放出のパワーレベルよりも大きいパワーレベルを有するように、光投影器112を制御することができる。更に他の場合には、LIDAR FOVの特定領域への第1の光放出に続く1つ以上の光放出に関連したパワーレベルは、第1の光放出に関連したパワーレベルよりも低くすることができる。LIDAR FOVの特定領域に与えられる追加の光放出の結果として、放出ごとに蓄積光エネルギが増大し得る。これにより、徐々に検出距離が長くなることを含めて、そのエリアにおける物体検出の可能性を高めることができる。
[0293] LIDAR FOVの特定部分に与えられる光エネルギの蓄積効果を考慮すると、異なる光放出又はパルスは、FOVのその部分における物体を検出するため一緒に使用され得る。例えばいくつかの実施形態において、プロセッサ118は、FOVの特定領域で物体の存在を決定するため、FOVのその領域へ投影される第3の光放出を、その領域へ投影される第1の光放出又は第2の光放出の一方又は双方と一緒に用いることができる。更に、蓄積光エネルギによって検出距離の拡大が可能となる。第1の放出と、第2又は第3の放出の一方又は双方とを用いることで、プロセッサ118は、第2の放出のみ(例えばS2)又は第1の放出のみ(例えばS0)に関連した検出距離よりも大きい距離(例えばS3)の物体を検出することが可能となる。
[0294] 複数の光放出を用いて物体を検出することに加えて、複数の光放出は、シーン内の物体を表す深度マップの生成に用いられるデータポイントを生成する際にも使用され得る。例えばいくつかの実施形態において、深度マップのためのデータポイントは、LIDAR FOVの特定領域へ投影される第1の光放出のみに基づいて生成することができる。他の実施形態では、深度マップのためのデータポイントは、FOVの特定領域へ投影される第1の放出及び第2の放出及び/又は第3の放出(又はそれ以上)の組み合わせに基づいて生成することができる。
[0295] 更に、異なる時点で(例えばLIDAR FOVの異なるスキャンにおいて)、光放出の異なる組み合わせを用いて特定の物体を検出することができる。一部の例では、時点T0において、歩行者1510(図15)の存在を検出するため、複数の光放出(例えば2、4、又はそれ以上の放出)を組み合わせる必要がある。歩行者1510までの距離が短くなるにつれて(例えば、LIDARシステム100が展開されている車両が歩行者1510に近付くにつれて)、歩行者1510の検出に必要な光放射は少なくなり得る。例えば、歩行者1510までの距離がS0未満である場合、以降のスキャン中にLIDAR FOVの特定領域への単一の光放出に基づいて歩行者1510を検出することができる。
[0296] LIDAR FOVのスキャン中にFOVの特定領域に与えられる光束の量を動的に変動させるための記載される実施形態では、LIDAR FOVのスキャン中にFOVの1つ以上の他の領域に投影されるよりも多くの光をFOVの特定の領域に投影することができる。例えばプロセッサ118は、FOVの同一スキャンサイクル中に第1の部分へ誘導される光束がLIDAR FOVの少なくとも1つの他の部分へ誘導される光束よりも多くなるように、LIDAR FOVの第1の部分へ投影される光に関連した光源パラメータを変更するよう構成できる。また、プロセッサ118は、FOVの様々な領域に与えられる光量を監視して、適用可能な規制に準拠するよう保証することも可能である。例えばプロセッサ118は、LIDAR FOVの特定領域に投影される光の蓄積エネルギ密度が(FOVの単一のスキャン内の、又はFOVの複数のスキャンにまたがった)最大許容可能露光限界(maximum permissible exposure limit)を超えないように、光投影器112を制御するよう構成できる。
[0297] 例えば処理ユニット108は、LIDAR FOVの部分に対する漸進的な光の投影を制御して、LIDAR FOVの各部分で物体が検出されたことを間欠的に決定し、物体が検出された場合は、FOVのその部分への光放出を、検出された物体に害を及ぼさない安全な光放出限度内に維持するように制御できる。これらの技法は優遇して(complimentary)実施され得る。すなわち、FOVの1つ以上の部分の各々において処理ユニット108は、(例えばLIDAR FOVの部分へこれまで投影された光が物体を有効に検出するには不充分であると決定することによって)追加の光が必要であるか否かを優遇して連続的にチェックしながら、停止条件を実施することができる(最大許容可能露光限界の削除を防止する)。
[0298] LIDARシステム100は、早い方の光放出(例えば第1の光放出、第2の光放出)の反射信号を高速で処理するための予備信号プロセッサ(図示せず)を含み得る。これは、特に、後の方の光放出(例えば第2の光放出、第3の光放出)が同一スキャンサイクル内で実行される場合や、特に、光偏向器がまだ実質的に同じ瞬時位置にある間に後の方の光放出が実行される場合に、後の方の光放出に関する迅速な決定を可能とするためである。後の方の放出に関する迅速な決定は、更なる放出(例えば第2の放出、第3の放出)が必要であるか否かの判定を含み、また、各セグメントに対する後続の放出のパラメータの決定を含み得る。予備信号プロセッサの回路の一部又は全ては、3Dモデルにおける様々なポイントを決定するため使用される範囲推定モジュールの回路とは異なる可能性があることに留意するべきである。これは、迅速な決定が必ずしも正確な範囲推定を必要としないからである(例えば、物体の存在又は不在の決定だけで充分であり得る)。異なる回路を用いる別の理由は、メイン範囲推定回路が、少なくとも1つの光偏向器の同一瞬時位置で更なる光放出を与えるのに必要なレートで決定を行うには充分な速さでない場合があることである。そのような予備信号プロセッサの処理結果は、範囲推定のためには不充分であり得ることに留意するべきである。任意選択として、予備信号プロセッサはアナログ検出信号(例えば電圧)を処理するアナログプロセッサとすることができ、メイン範囲推定器モジュールは、アナログからデジタルへの変換後に検出情報を処理するデジタル信号モジュールとする(又はこれを含む)ことができる。更に、(例えば目の安全の理由で)過度の光エネルギの放出を防止するため、同一の(又は同様の)予備信号処理モジュールをLIDARシステム100に実装し、LIDARシステムの隣接エリアにおける物体の検出に使用できることに留意するべきである。これについては以下で更に詳しく検討する。
[0299] LIDAR FOVの特定部分に与えられる光束の増大は、任意の適切なプロトコルに従って進行し得る。例えばいくつかの実施形態では、上述のように、第1、第2、及び第3の光放出(又はより多いか又は少ない放出)をLIDAR FOVの特定領域に投影し、その後、FOVの異なる領域をスキャンするため異なる瞬時位置に偏向器114を移動させることができる。言い換えると、プロセッサ118は、第1の光放出、第2の光放出、及び第3の光放出が単一のスキャンサイクルでLIDAR FOVの特定部分へ投影されるように、偏向器114を制御するよう構成できる。
[0300] 他の場合、LIDAR FOVの特定領域に指定される複数の光放射は、FOVの異なるスキャン中にFOVのその部分へ投影することができる。例えばプロセッサ118は、第1の光放出、第2の光放出、及び第3の光放出のうち1つ以上が異なるスキャンサイクルでLIDAR FOVの特定部分へ投影されるように、偏向器114を制御するよう構成できる。
[0301] 開示される実施形態を用いて、LIDARシステムを使用して物体を検出するための方法を実行することができる。例えば上述のように、LIDARシステム100によって物体を検出することは、少なくとも1つの光源からの光を用いたLIDAR視野のスキャンにおいて光束を変動させ得るように少なくとも1つの光源を制御することを含み得る。図16に示されているように、LIDARシステム100によって物体を検出するための方法は、視野の第1の部分へ誘導される少なくとも第1の光放出の投影(ステップ1620)を制御して、視野の第1の部分内に第1の距離の物体が不在であると決定することを含み得る(ステップ1630)。また、この方法は、少なくとも第1の光放出に基づいて視野の第1の部分で物体の不在が決定された場合、視野の第1の部分へ誘導される少なくとも第2の光放出の投影を制御して、視野の第1の部分内で第1の距離よりも大きい第2の距離の物体の検出を可能とすることを含み得る(ステップ1640)。また、この方法は、視野の第1の部分へ誘導される少なくとも第3の光放出の投影を制御して、視野の第1の部分内に第2の距離よりも大きい第3の距離の物体が存在すると決定することを含み得る(ステップ1650)。
[0302] 視野の異なる部分のための適応雑音軽減
[0303] 本開示の実施形態に従ったLIDARシステムにおいて、キャプチャされた信号は雑音を含む可能性がある。雑音は多種多様なソースから生じ得る。例えば、ある雑音は検出器(例えば図4Aから図4Cの検知ユニット106)から発生し、暗騒音や増幅雑音等を含み得る。更に、ある雑音は環境から発生し、周囲光等を含み得る。例えば、LIDARシステムが光を空中へ、極めて遠くにある物体の方へ、又は反射が最小限である他のエリアの方へ投影する場合、周囲雑音は反射信号に対して大きくなり得る。一方、LIDARシステムが視野の暗いエリアに位置する物体へ光を投影する場合、周囲雑音は反射信号に対して小さくなり得る。一例において、周囲光は、外部光源(例えば太陽、自動車のヘッドライト、電気照明装置)から直接LIDARシステムに到達する光を含み得る。別の例として、周囲光は、FOV内の物体によって偏向された(例えば反射された)後にLIDARシステムに到達する外部光源からの光を含み得る(例えば、金属製又は非金属製の表面からの光の反射、大気、ガラス、又は他の透明もしくは不透明な物体による偏向等)。
[0304] 本開示のシステム及び方法は、(例えば検知ユニット106に対して)画素ごとにデータを収集することができる。更に、本開示の実施形態に従ったLIDARシステムは、様々なソースから生じた雑音に対応することができ、これも画素ごとに実行できる。
[0305] 本明細書で用いる場合、「画素」という用語は、LIDARシステムのFOV内の物体から得られるモデルの要素に処理されるFOVの一部を含むように広義で用いられる。例えば、センサの検出データを処理してポイントクラウドモデルを与える場合、FOVの「画素」は、ポイントクラウドモデルの単一のデータポイントに変換されるFOVの部分に対応し得る。一例において、画素の寸法は、立体角、又はその角サイズの2つの角度(例えばφ及びθ)を用いて与えることができる。いくつかの実施形態において、FOVの単一の「画素」を複数のセンサ(例えば複数のSiPM検出器)によって検出して、3Dモデルの対応する複数のデータポイントを与えることができる。スキャンシステムにおいて、FOVの画素は、シーンに投影されるレーザビームと実質的に同じ角サイズであるか、又は(例えば同一のビームがいくつかの画素をカバーする場合)ビームの角サイズよりも小さい可能性がある。レーザビームスポットと同じサイズの画素とは、FOVの部分内に放出されたレーザビームの光子のほとんど(例えば50%超、70%超、90%超等)が各画素として定義されることを意味する。いくつかの実施形態において、FOVの任意の2つの画素は完全に非重複であり得る。しかしながら、任意選択として、いくつかの画素対は相互に部分的に重複し得る。
[0306] 本開示のシステム及び方法は、例えば検出器(例えば図4Aから図4Cの検知ユニット106)を変更することによって、雑音の推定、軽減、及び、場合によっては除去が可能となり得る。図17は、LIDARシステムにおいてセンサ感度を変更するための例示的な方法1700を示している。方法1700は、少なくとも1つのプロセッサ(例えば、図1Aに示されているLIDARシステム100の処理ユニット108のプロセッサ118、及び/又は図2Aに示されているLIDARシステムの処理ユニット108の2つのプロセッサ118)によって実行できる。
[0307] ステップ1701において、プロセッサ118は、視野(例えば図1A及び図2Aの視野120)のスキャンにおいて光束を変動させ得るように、少なくとも1つの光源(例えば、図1Aの光源112、図2Aの光源112のレーザダイオード202、及び/又は図2Bの複数の光源102)を制御する。例えば、プロセッサ118は少なくとも1つの光源からのパルスのタイミングを変動させ得る。これの代わりに又はこれと同時に、プロセッサ118は少なくとも1つの光源からのパルスの長さを変動させ得る。別の例としてプロセッサ118は、この代わりに又はこれと同時に、少なくとも1つの光源からのパルスの大きさを変動させ得る(例えば長さ又は幅、又は他の方法で断面積を変化させる)。更に別の例では、プロセッサ118はこの代わりに又はこれと同時に、少なくとも1つの光源からのパルスの振幅及び/又は周波数を変動させ得る。更に別の例においてプロセッサ118は、連続波(CW)又は準CW光放出のパラメータ(例えばその振幅、変調、位相等)を変更させ得る。
[0308] いくつかの実施形態において、視野(例えば図1A及び図2Aの視野120)は、少なくとも第1の部分及び第2の部分を含み得る。例えば、第1の部分及び第2の部分は、視野によってカバーされるエリアの2分の1、4分の1、又は他の割合の部分を含み得る。他の例では、第1の部分及び第2の部分は、視野によってカバーされるエリアの対称部分及び/又は何らかの割合の部分でなく、不規則な部分を含み得る。更に別の例では、第1の部分及び第2の部分は、視野によってカバーされるエリアの不連続な部分を含み得る。いくつかの例では、FOVの第1の部分は1つのFOV画素であり、FOVの第2の部分は別の画素であり得る。更に別の例では、FOVの第1の部分はいくつかのFOV画素を含み、FOVの第2の部分は同一数の画素の異なるグループを含み得る。いくつかの実施形態において、FOVの第1の部分及び第2の部分は部分的に重複し得る。あるいは、第1の部分及び第2の部分は完全に非重複であり得る。
[0309] ステップ1701は更に、視野をスキャンするため、少なくとも1つの光偏向器(例えば、図1Aの光偏向器114、図2Aの偏向器114A及び/又は偏向器114B、及び/又は図2Bの1方向偏向器214)を制御することを含み得る。例えばプロセッサ118は、少なくとも1つの光偏向器の機械的移動を行って視野をスキャンすることができる。この代わりに又はこれと同時に、プロセッサ118は、視野をスキャンするため少なくとも1つの偏向器の圧電的又は熱電気的な変化を誘発し得る。
[0310] いくつかの実施形態において、視野の単一のスキャンサイクルは、スキャンサイクル中に少なくとも1つの光偏向器が複数の異なる瞬時位置に配置されるように少なくとも1つの偏向器を移動させることを含み得る(例えば、偏向器は、LIDAR FOVのスキャン中に1つの瞬時位置から又は1つの瞬時位置を介して別の瞬時位置へ移動するように制御される)。例えば、少なくとも1つの光偏向器は、スキャンサイクル中に複数の位置のうち1つから別のものへ連続的に又は非連続的に移動させることができる(任意選択的に、追加の位置及び/又は繰り返しも用いる)。
[0311] そのような実施形態において、プロセッサ118は、少なくとも1つの光偏向器が特定の瞬時位置に配置された場合、光ビームが少なくとも1つの光偏向器によって少なくとも1つの光源から視野の方へ偏向されると共に視野内の物体からの反射が少なくとも1つの光偏向器によって少なくとも1つのセンサの方へ偏向されるように、少なくとも1つの光偏向器と少なくとも1つの光源を連携させることができる。従って、少なくとも1つの光偏向器は、光ビームを視野の方へ誘導すると共に、視野からの反射を受光することができる。例えば図1A、図2B、及び図2Cが示す例では、偏向器は光ビームを視野の方へ誘導すると共に視野からの反射を受光する。いくつかの態様において、反射は、視野の方へ誘導された光ビームによって生じ得る。他の実施形態において、少なくとも1つの光源からの光ビームは、視野からの反射を受光する少なくとも1つの他の光偏向器とは別個の少なくとも1つの光偏向器によって、視野の方へ誘導することができる。例えば図2Aが示す例では、1つの偏向器が光ビームを視野の方へ誘導し、別個の偏向器が視野からの反射を受光する。
[0312] ステップ1703において、プロセッサ118は、画素ごとに、少なくとも1つのセンサ(例えば図4Aから図4Cの検知ユニット106)から信号を受光する。例えば信号は、周囲光及び視野内の物体によって反射された少なくとも1つの光源からの光のうち少なくとも1つを示し得る。上述のように、例えば物体が暗い及び/又は遠くにある態様のようないくつかの態様では、周囲光は反射光よりも信号の大きい部分を占有する可能性がある。例えば物体が明るい及び/又は近くにある態様のような他の態様では、周囲光は反射光よりも信号の小さい部分を占有する可能性がある。
[0313] 受信された信号は更に、周囲光と、視野内の物体によって反射された少なくとも1つの光源からの光及び少なくとも1つのセンサに関連する雑音の組み合わせと、のうち少なくとも1つを示し得る。例えば、暗騒音や増幅雑音等が信号において周囲光及び/又は反射光と組み合わせられる可能性がある。特に、少なくとも1つのセンサからの信号は、増幅電子機器から生じた雑音を含み得る。
[0314] 受信された信号は、視野の様々な部分に関連している可能性がある。例えば、少なくとも1つの信号は視野の第1の部分に関連し、少なくとも1つの他の信号は視野の第2の部分に関連し得る。いくつかの実施形態において、各信号は視野の特定の部分に関連し得る。他の実施形態において、(例えば、視野の部分が重複したセクションを有する実施形態では)いくつかの信号及び/又は全ての信号は視野の複数の部分に関連する場合がある。
[0315] いくつかの実施形態において、ステップ1703は更に、異なる時点で異なる画素の信号を受信することを含み得る。例えば、上述のようにスキャンサイクル中に少なくとも1つの偏向器を移動させる場合、プロセッサ118は、少なくとも1つの偏向器が特定の瞬時位置にある時に応じた異なる時点で異なる画素に対応した信号を受信し得る。
[0316] ステップ1705において、プロセッサ118は、視野の第1の部分に関連した信号の少なくとも1つにおける雑音を推定する。プロセッサ118は、多種多様な雑音推定技法を個別に又は組み合わせて用いて、少なくとも1つの信号における雑音を推定することができる。雑音推定技法の例については図18及び図19を参照して以下で検討する。
[0317] いくつかの実施形態において、プロセッサ118は、少なくとも1つの光偏向器の単一の位置に関連した反射に基づいて、視野の各部分における雑音を推定することができる(各部分は視野の10%未満、5%未満、1%未満、0.1%未満であり得る)。例えばプロセッサ118は、単一の位置からの推定雑音を同一部分の他の位置へ外挿することができる。いくつかの実施形態において、外挿は、単一の位置からの推定雑音を他の位置にコピーすることを含み得る。
[0318] 他の実施形態において、外挿は、単一の位置からの推定雑音に1つ以上の関数を適用して、他の位置について推定される雑音の出力を発生することを含み得る。例えば関数は、他の位置と単一の位置との間の距離、他の位置及び単一の位置の実際の明るさ及び/又は予測される明るさの差、他の位置で以前推定された雑音と単一の位置で現在推定される雑音との差等に応じたものであり得る。関数は、他の位置での推定を直接出力するか、単一の位置での推定雑音を他の位置での推定に変換するための(例えば加算、減算、乗算等を行うための)調整係数を出力するか、又は単一の位置での推定雑音に畳み込みもしくは他の動作を行って他の位置での推定もしくは調整係数を生成することができる。同様に、いくつかの例においてプロセッサ118は、例えばFOV部分を取り囲むロケーションからの雑音推定を平均することによって、FOVの複数の他の部分の雑音推定(又は最初の信号)に基づいて単一の位置での雑音を推定することも可能である。
[0319] いくつかの実施形態において、各部分は視野の10%未満を含み得る。いくつかの態様において、各部分は視野の5%未満を含み得る。例えば、各部分は視野の1%未満を含み得る。別の例として、各部分は視野の0.1%未満を含み得る。
[0320] この代わりに又はこれと同時に、プロセッサ118は、少なくとも1つの以前のスキャンサイクルで受信した視野の特定部分に関連した信号の比較に基づいて、視野の特定分に関連した信号における雑音を推定することができる。例えばプロセッサ118は、少なくとも1つの以前の信号に1つ以上の関数を適用して、他の位置について推定される雑音の出力を発生することができる。例えば関数は、以前の信号と現在の信号との間の時間、以前の信号及び現在の信号の実際の明るさ及び/又は予測される明るさの差、以前の信号で以前推定された雑音等に応じたものであり得る。関数は、現在の信号の雑音推定を直接出力するか、以前の信号の推定雑音を現在の信号の推定に変換するための(例えば加算、減算、乗算等を行うための)調整係数を出力するか、又は以前の信号の推定雑音に畳み込みもしくは他の動作を行って現在の信号の推定もしくは調整係数を生成することができる。
[0321] ステップ1707において、プロセッサ118は、視野の第1の部分における雑音の推定に基づいて、視野の第1の部分に関連した反射に対するセンサ感度を変更することができる。例えば、センサ感度は信号閾値に基づいたものであり得る。いくつかの実施形態において、プロセッサ118は、第2の部分の信号閾値に対して第1の部分の信号閾値を増大することができる。プロセッサ118は、例えば第1の部分の雑音推定が第2の部分の雑音推定よりも大きい場合にこれを実行できる。従って、第1の部分の信号閾値が大きければ大きいほど、除去される推定雑音が大きくなり得る。
[0322] いくつかの実施形態において、センサ感度はセンサの1又は複数の検出器において変更することができる。この代わりに又はこれと同時に、センサ感度はプロセッサ118において変更できる。例えば信号閾値は、前処理されたデータ又は後処理されたデータに対して変更され得る。一例において、センサはアナログデータを出力し、これをデジタルサンプリングに変換することができる(例えば振幅対時間等)。デジタルサンプリングを、予想される信号を表す関数と相関付けた(例えば畳み込み等を行った)後(図18を参照して後述するように)、相関の出力に信号閾値を適用することができる。
[0323] いくつかの実施形態において、プロセッサ118は、プロセッサ118の動作パラメータを変更することによって、FOVの一部に関連した反射に対するセンサ感度を変更することができる。このような場合の動作パラメータの変更は、少なくとも1つのセンサによって取得される信号レベル及び/又は雑音レベルに対する検出の感度を変えることによってセンサ感度を修正できる。例えばプロセッサ118は、前のパラグラフで検討したように、畳み込み後閾値を変えることによってセンサ感度を変更できる(例えばステップ1707及び/又は17011)。しかしながら、これに加えて又はこの代わりに、センサ感度を変更するため、雑音レベルに応答してプロセッサ118の他の動作パラメータをプロセッサ118によって変更することも可能である。
[0324] 追加の例として、プロセッサ118は、暗騒音及び/又は増幅雑音による雑音レベルを推定し、この推定雑音レベルよりも高い最小閾値を有するようにセンサ感度を変更することができる。従って推定雑音は、これに応じて最小閾値を設定することによって、除去又は解消はされないとしても最小限に抑えることができる。
[0325] いくつかの実施形態において、プロセッサ118は、少なくとも1つの光偏向器の単一の瞬時位置に対応する視野の一部(例えば第1の部分)に関連した反射に対するセンサ感度を変更することができる。例えばプロセッサ118は、少なくとも1つの光偏向器が特定の瞬時位置にある時間中にのみセンサ感度を変更できる。他の実施形態において、プロセッサ118は、少なくとも1つの光偏向器の複数の瞬時位置に対応する視野の一部(例えば第1の部分)に関連した反射に対するセンサ感度を変更することができる。例えばプロセッサ118は、少なくとも1つの光偏向器が複数の瞬時位置の中の異なる位置にある様々な時間中にセンサ感度を変更できる。いくつかの態様において、変更された感度は複数の瞬時位置について同等であり得る。すなわちプロセッサ118は、少なくとも1つの光偏向器が複数の瞬時位置のうち1つにある時間中、センサ感度を同様に変更できる。他の態様において、変更された感度は複数の瞬時位置で異なる可能性がある。すなわちプロセッサ118は、少なくとも1つの光偏向器が複数の瞬時位置のうち1つにある時間中、少なくとも1つの光偏向器が複数の瞬時位置のうち別の位置にある時とは異なるようにセンサ感度を変更できる。
[0326] この代わりに又はこれと同時に、ステップ1707は更に、第1の部分及び第2の部分へ投影された同一の光量に対して、第1の部分に関連した検出距離が第2の部分に関連した検出距離よりも(例えば少なくとも50%)大きくなるように、第1及び第2の部分に関連した反射に対するセンサ感度を個別に変更することを含み得る。従って、第1の部分のセンサ感度を増大させて(及び/又は最小閾値を低減させて及び/又は最大閾値を増大させて)検出距離を拡大することができる。
[0327] この代わりに又はこれと同時に、ステップ1707は更に、第1の部分及び第2の部分へ投影された同一の光量に対して、第1の部分に関連した分解能が第2の部分に関連した分解能よりも大きくなるように、第1及び第2の部分に関連した反射に対するセンサ感度を個別に変更することを含み得る。従って、第1の部分のセンサ感度を増大させて(及び/又は最小閾値を低減させて及び/又は最大閾値を増大させて)分解能を増大することができる。
[0328] いくつかの実施形態において、ステップ1707は、ステップ1705が終了した後にのみ実行することができる。更に、いくつかの実施形態において、FOVの一部に対するセンサ感度の変更(例えばステップ1707及び1711)は、この変更の基礎となるFOVの各部分の対応する雑音推定(例えば、それぞれステップ1705及び1709)の後で、FOVの他の部分を測定することなく実行できる。同様に、いくつかの実施形態において、FOVの一部に対するセンサ感度の変更(例えばステップ1707及び1711)は、この変更の基礎となるFOVの各部分の対応する雑音推定(例えば、それぞれステップ1705及び1709)の後で、少なくとも1つの偏向器を別の瞬時位置に移動させることなく実行できる。
[0329] ステップ1709において、プロセッサ118は、視野の第2の部分に関連した信号の少なくともいくつかにおける雑音を推定する。上記で検討したように、プロセッサ118は、多種多様な雑音推定技法を個別に又は組み合わせて用いて、信号の少なくともいくつかにおける雑音を推定することができる。プロセッサ118は、ステップ1705及び1709において1又は複数の同じ雑音推定技法を用いるか、又はステップ1705及び1709において1又は複数の異なる雑音推定技法を用いることができる。いくつかの態様において、プロセッサ118は、第1の部分では特定の雑音推定技法が適切であり、第2の部分では異なる雑音推定技法が適切であると決定できる。例えばプロセッサ118は、第1の部分の方が増幅からの雑音寄与分が大きいと決定することがある。その理由としては例えば、第2の部分よりも第1の部分の方が暗いので増幅が大きいことが挙げられる。そのような例において、プロセッサ118は、大きい増幅雑音の原因である第1の部部分の雑音を推定するために異なる技法を使用できる。雑音推定技法の例は、図18及び図19を参照して以下で検討する。任意選択的に、ステップ1709におけるFOVの第2の部分の雑音の推定は、ステップ1705の結果に依存することも可能である。あるいは、FOVの第1の部分及び第2の部分における雑音の推定(それぞれステップ1705及び1709)は、相互に完全に無関係であり独立していることも可能である。
[0330] いくつかの実施形態において、プロセッサ118は、ステップ1705及び/又は1709で生成した雑音推定を別のシステム(例えば外部サーバ)に報告することができる。更にプロセッサ118は、プロセッサ118によって得られた各雑音推定に基づいて、1つ以上の雑音を示すパラメータ及び/又は1つ以上の雑音に関連したパラメータを報告することができる。各パラメータは、FOVの各部分に固有であるか、FOVの各部分を含むFOVのより大きい部分に固有である可能性がある。報告されるパラメータの例は、限定ではないが、雑音推定、1つ以上の感度設定、検出距離、検出品質指標等を含む。いくつかの実施形態において、報告は、ステップ1707及び/又は1711からの変更されたセンサ感度を示す1つ以上のパラメータを含み得る。
[0331] ステップ1711において、プロセッサ118は、視野の第2の部分における雑音の推定に基づいて、視野の第2の部分に関連した反射に対するセンサ感度を変更できる。例えば、センサ感度は信号閾値を含み得る。いくつかの実施形態において、プロセッサ118は、第1の部分の信号閾値に対して第2の部分の信号閾値を増大することができる。プロセッサ118は、例えば第2の部分の雑音推定が第1の部分の雑音推定よりも大きい場合にこれを実行できる。従って、第1の部分の信号閾値が大きければ大きいほど、除去される推定雑音が大きくなり得る。
[0332] 一例として、プロセッサ118は、暗騒音及び/又は増幅雑音による雑音レベルを推定し、この推定雑音レベルよりも高い最小閾値を有するようにセンサ感度を変更することができる。従って推定雑音は、最小閾値を設定することによって、除去又は解消されないとしても最小限に抑えることができる。第2の部分に関連した反射に対する変更されたセンサ感度は、第1の部分に関連した反射に対する変更されたセンサ感度とは異なる可能性がある。
[0333] いくつかの実施形態において、上記で検討したようにプロセッサ118は、少なくとも1つの光偏向器の単一の瞬時位置に対応する視野の一部(例えば第2の部分)に関連した反射に対するセンサ感度を変更することができる。他の実施形態において、上記で検討したようにプロセッサ118は、少なくとも1つの光偏向器の複数の瞬時位置に対応する視野の一部(例えば第2の部分)に関連した反射に対するセンサ感度を変更することができる。
[0334] いくつかの実施形態において、プロセッサ118は、第1のスキャンサイクルで受信された第1の部分に関連した第1の反射に対するセンサ感度を変更すると共に、第2のスキャンサイクルで第2の部分に関連した第2の反射に対するセンサ感度を変更することができる。例えばステップ1705及び1707を第1のスキャンサイクルで実行し、ステップ1709及び1711を第2のスキャンサイクルで実行できる。いくつかの態様において、第1のスキャンサイクルは、時間的に第2のスキャンサイクルの前に実行できる。あるいは、第2のスキャンサイクルは、時間的に第1のスキャンサイクルの前に実行できる。
[0335] 他の実施形態において、プロセッサ118は、第1の部分に関連した第1の反射及び第2の部分に関連した第2の反射に対するセンサ感度を変更できる。第1及び第2の反射は単一のスキャンサイクルで受信される。例えば、ステップ1705及び1707は、ステップ1709及び1711と同一のスキャンサイクルで実行することができる。
[0336] ステップ1707及び/又はステップ1711は更に、第1の部分において第1の距離の外部光源を検出した後、第2の部分において第1の距離よりも大きい第2の距離の物体を検出できるように、第1の部分及び第2の部分に関連した反射に対するセンサ感度に異なる変更を行うことを含み得る。従って、第2の部分のセンサ感度を増大させて(及び/又は最小閾値を低減させて及び/又は最大閾値を低減させて)、第2の部分に雑音を生じ得る第1の部分の外部光源を補償することができる。別の例では、第1の部分において第1の距離の物体を検出した後、プロセッサ118は、第2の部分においてこの物体よりも遠くの検出を可能とするようにセンサ感度を変更することができる。更に別の例では、プロセッサ118は、第1の部分では雑音の増大のために見えなかった物体を第2の部分で検出できるようにセンサ感度を変更することができる。
[0337] 更に一例として、ステップ1707及び/又は1711は更に、第2の部分において第1の距離の外部光源を検出した後、第1の部分において第1の距離よりも大きい第2の距離の物体を検出できるように、第1の部分及び第2の部分に関連した反射に対するセンサ感度に異なる変更を行うことを含み得る。従って、第1の部分のセンサ感度を増大させて、第1の部分に雑音を生じ得る第2の部分の外部光源を補償することができる。
[0338] この代わりに又はこれと同時に、ステップ1711は更に、第1の部分及び第2の部分へ投影された同一の光量に対して、第2の部分に関連した検出距離が第1の部分に関連した検出距離よりも大きくなるように、第1及び第2の部分に関連した反射に対するセンサ感度を個別に変更することを含み得る。従って、第2の部分のセンサ感度を増大させて(及び/又は最小閾値を低減させて及び/又は最大閾値を増大させて)検出距離を拡大することができる。
[0339] この代わりに又はこれと同時に、ステップ1707及び1711は更に、第1の部分及び第2の部分へ投影された同一の光量に対して、第2の部分に関連した分解能が第1の部分に関連した分解能よりも大きくなるように、第1及び第2の部分に関連した反射に対するセンサ感度を個別に変更することを含み得る。従って、第2の部分のセンサ感度を増大させて(及び/又は最小閾値を低減させて及び/又は最大閾値を増大させて)分解能を増大することができる。
[0340] プロセッサ118が(例えばステップ1707及び/又は1711で)感度設定を変更したFOVの各部分について、プロセッサ118は、変更した感度設定を用いてFOVの各部分における物体を検出することができる。プロセッサ118が感度設定を変更したFOVの各部分について、プロセッサ118は、FOVに含まれるシーンのモデルにおけるデータポイントを発生することができる(例えば、2D又はポイントクラウドモデルのような3D)。
[0341] 方法1700は追加のステップを含み得る。例えば、方法1700は更に、第1の部分における雑音の推定に基づいて、第1の部分及び第2の部分とは異なる視野の第3の部分に関連した反射に対するセンサ感度を変更することを含み得る。例えば上述したように、プロセッサ118は、第1の部分から推定された雑音を第3の部分に外挿することができる。あるいは、方法1700は更に、第1の部分及び第2の部分における雑音の推定に基づいて、第1の部分及び第2の部分とは異なる視野の第3の部分に関連した反射に対するセンサ感度を変更することを含み得る。
[0342] いくつかの実施形態において、外挿は、第1の部分及び/又は第2の部分からの推定雑音を第3の部分にコピーすることを含み得る。他の実施形態において、外挿は、第1の部分及び/又は第2の部分からの推定雑音に1つ以上の関数を適用して、第3の部分について推定される雑音の出力を発生することを含み得る。例えば関数は、第1の部分及び/又は第2の部分と第3の部分との間の距離、第1の部分及び/又は第1の部分及び第3の部分の実際の明るさ及び/又は予測される明るさの差、第3の部分で以前推定された雑音と第1の部分及び/又は第2の部分で現在推定される雑音との差等に応じたものであり得る。関数は、第3の部分の推定を直接出力するか、第1の部分及び/又は第2の部分の推定雑音を第3の部分の推定に変換するための(例えば加算、減算、乗算等のための)調整係数を出力するか、又は第1の部分及び/又は第2の部分の推定雑音に畳み込みもしくは他の動作を行って第3の部分の推定もしくは調整係数を生成することができる。
[0343] センサ感度を変更することに加えて、プロセッサ118は、FOVの各部分における雑音の推定に基づいて、FOVの部分に対する少なくとも1つの光源の1つ以上の動作特性を変更することも可能である。例えばプロセッサ118は、第1の部分へ誘導される光束が視野の少なくとも1つの他の部分へ誘導される光束よりも多くなるように、第1の部分に関連した光源パラメータ(例えばパルスタイミング、パルス長、パルスサイズ、パルス振幅、パルス周波数等)を変更できる。あるいは、プロセッサ118は、第1の部分へ誘導される光束が視野の少なくとも1つの他の部分へ誘導される光束よりも少なくなるように、第1の部分に関連した光源パラメータを変更できる。プロセッサ118は、ステップ1705及び/又は1709の雑音推定に基づいて光源パラメータを変更することができる。例えばプロセッサ118は、第1の部分からの反射に含まれる雑音が少ないので、第1の部分へ誘導される光束を低減させることを決定し得る。別の例として、プロセッサ118は、第1の部分からの反射に含まれる雑音が多いので、第1の部分へ誘導される光束を増大させることを決定し得る。従って、センサ感度の変更とは別個に又はこれと組み合わせて、プロセッサ118は更に、視野の部分へ誘導される光束を変動させることによって雑音に対処する(account for)ことができる。
[0344] 別の例として、プロセッサ118は、第2の部分へ投影される光量に比べて第1の部分へ投影される光量を増大させることができる。プロセッサ118は、例えば、第1の部分における雑音推定が第2の部分における雑音推定よりも大きい場合にこれを実行し得る。従って上述のように、プロセッサ118は、投影される光量を変動させることによって雑音に対処することができる。あるいは、プロセッサ118は、第2の部分へ投影される光量に比べて第1の部分へ投影される光量を低減させることができる。プロセッサ118は、例えば、第1の部分における雑音推定が第2の部分における雑音推定よりも大きい場合にこれを実行し得る。従って上述のように、プロセッサ118は、投影される光量を変動させることによって雑音に対処することができる。
[0345] 図17の方法1700と共に多数の雑音推定技法を用いることができる。図18は、受信信号の一例を、予想信号を推定するための関数と共に示している。図18に示されているように、受信信号1801は視野の一部分の信号全体を表し、受信される雑音も含む。受信信号1801は離散化測定値であり、従って、勾配の不連続点を有する関数として表される。
[0346] 図18に更に示されるように、関数1803は、雑音なしの予想信号の推定を表すことができる。例えば関数1803は、過去の測定及び/又は測定されている既知の特性に基づいて作成できる。例えば関数1803は、視野の一部で以前に受信された信号に基づいて、及び/又は視野の一部における物体の特性(例えば物体の既知のロケーション、物体の既知の明るさ等)に基づいて、プロセッサ118により作成できる。プロセッサ118は、以前に受信した信号に基づいて物体の特性を導出することができる。
[0347] 雑音に対処するように受信信号1801を調整するため、プロセッサ118は、受信信号1801を関数1803に適合させることができる。他の実施形態において、関数1803は、雑音を除去するため受信信号1801に畳み込み又は他の動作を行う関数を表すことができる。
[0348] 図19は、受信信号の一例を、予想信号を推定するための関数と共に示している。図19に示されているように、図18と同様、受信信号1901は、受信される雑音を含む信号全体を表している。受信信号1901は離散化測定値であり、従って、勾配の不連続点を有する関数として表される。
[0349] 図19に更に示されるように、関数1903は、予想される雑音の推定を表すことができる。例えば関数1903は、過去の測定及び/又は少なくとも1つのセンサの既知の特性に基づいて作成できる。例えば関数1903は、視野の一部で以前に受信された信号に基づいて、及び/又は少なくとも1つのセンサの特性(例えば既知の暗騒音、既知の増幅雑音等)に基づいて、プロセッサ118によって作成できる。プロセッサ118は、製造仕様及び/又は以前の測定に基づいて少なくとも1つのセンサの特性を導出することができる。
[0350] 雑音に対処するように受信信号1901を調整するため、プロセッサ118は、受信信号1901から関数1903を減算することができる。他の実施形態において、関数1903は、受信信号1901から雑音を推定するため受信信号1901に畳み込み又は他の動作を行う関数を表すことができる。
[0351] 本開示に従ったシステム及び方法は、任意の適切な雑音推定技法を含むことができ、図18及び図19の例に限定されない。
[0352] 関心領域における検出を改善するためのLidar FOV内の可変光束割り当て
[0353] 環境内で実世界の周囲のものからのレーザビーム反射を検出することにより、LIDARシステム100は、LIDARシステムのFOV内の環境における物体の3D再構築を生成できる。そのようなLIDARシステムは、広範な技術にわたった用途を有し得る。とりわけ、1つのそのような技術として自律走行車又は半自律走行車の分野がある。自動運転技術に対する関心が高まるにつれて、LIDARシステムはますます自動運転車両の動作にとって重要なコンポーネントと見なされるようになっている。LIDARシステムが自動車業界で採用されるため、システムは周囲の物体の信頼性高い再構築を提供しなければならない。従って、LIDARシステムの動作機能が向上すると、LIDARシステムは自律ナビゲーションの実現に大きく寄与する重要なものとなり得る。そのような機能向上は、スキャン解像度の増大、検出範囲の拡大、及び/又は受信器の感度の増大を含み得る。そのような性能向上は、高エネルギのレーザを用いることで実現され得る。しかしながら現在、高エネルギのレーザの使用は、コストや自動車環境の動作温度のような様々な理由から非実用的である場合があり、LIDARシステムの最大照射パワーは、LIDARシステムを目に安全なものにする必要性によって限定される(例えば、投影光放出が目に吸収された場合に生じ得る網膜又は目の他の部分に対する損傷の可能性を回避する)。従って、目の安全の規制に準拠するが、同時に、組み込まれた技術プラットフォーム(例えば自動運転車両)に対するシステムの有用性を高める性能特性を与えるLIDARシステムが必要とされている。
[0354] 概して、開示されるLIDARシステム及び方法は、目の安全の規制に準拠しながらシステム性能を改善することができる。例えば、開示されるシステムは、LIDARシステムの視野における可変光パワーの割り当てによって、関心領域(ROI:region of interest)における検出の品質及びその後の再構築を改善することが可能となる。特定のROIにおける関心レベルに基づいて視野にパワーを割り当てることにより、高い品質とROIからの有用なデータを維持しながらシステムの効率を改善できる。更に、FOVを異なるレベルのROIに分離し、特定のROIにおける関心レベルに基づいて視野にパワーを割り当てることは、多くの利点をもたらす可能性がある。例えばこれによってLIDARシステムは、関心の低いエリアにおける光投影及び検出リソースの支出を回避することで、より効率的に光学予算を利用することが可能となる。また、これは、周囲の環境(例えば他のLIDARシステム又は路上の歩行者)に対する干渉を低減することができる。更に、これは、結果を準備し分析する計算的な複雑さを単純化し、それに伴うコストを削減することができる。関心領域は、LIDAR FOVの領域又は小領域に相当し得る。場合によっては、ROIは、LIDAR FOVの矩形領域、又は他の任意の形状を有するFOVの領域を含むと決定され得る。いくつかの実施形態では、ROIは不規則パターンに延出し、これはLIDAR FOV全域にわたった複数の不連続セグメントを含み得る。更に、ROIは、FOVの特定の軸と位置合わせされる必要はなく、FOVに対して自由形態で画定され得る。
[0355] 開示される実施形態に従って、図22においてLIDARシステム100は、例えば処理ユニット108内に少なくとも1つのプロセッサ118を含み得る。少なくとも1つのプロセッサ118は、少なくとも1つの光源からの光を用いた視野120のスキャンにおいて光強度を変動させ得るように少なくとも1つの光源102を制御することができる。また、少なくとも1つのプロセッサ118は、視野120をスキャンするため少なくとも1つの光源からの光を偏向させるように少なくとも1つの光偏向器114を制御することができる。更に、いくつかの実施形態において(例えば図3に示されているように)、少なくとも1つの光偏向器114は枢動可能MEMSミラー300を含み得る。少なくとも1つのプロセッサ118は、視野120内の少なくとも1つの明確な関心領域の識別を取得できる。次いで、少なくとも1つのプロセッサ118は、第1のスキャンサイクルの後、少なくとも1つの明確な関心領域に関連したロケーションにおける少なくとも1つの後続の第2のスキャンサイクルの光強度が、少なくとも1つの明確な関心領域に関連したロケーションにおける第1のスキャンサイクルの光強度よりも高くなるように、少なくとも1つの明確な関心領域に対する光の割り当てを他の領域よりも増大させることができる。例えば光強度の増大は、立体角当たりのパワーの増大、FOV部分に対する放射照度の増大、追加の光パルスの放出、1画素当たりのパワーの増大、単位時間当たりの追加の光子の放出、特定の時間期間における総エネルギの増大、生成されたポイントクラウドモデルにおけるデータポイント当たりの追加光子の放出、生成されたポイントクラウドモデルにおけるデータポイント当たりの総エネルギの増大、又は光束を増大させる他の任意の特性によって、実行できる。
[0356] LIDARシステム100のような開示されるシステムにおいて、少なくとも1つのプロセッサ118は少なくとも1つの光源112を制御することができる。例えば少なくとも1つのプロセッサ118は、少なくとも1つの光源112に、例えばLIDAR FOVの関連付けられた関心領域のレベルに応答して、より多くの光束又はより少ない光束を発生させることができる。関心の低い視野120の部分(例えば道路から30メートル離れた領域又はスカイライン等)は、低レベルの光束又を割り当てるか、又は光束を全く割り当てないことも可能である。しかしながら、関心の高い他の領域(例えば歩行者又は移動中の自動車を含む領域等)には高レベルの光束を割り当てることができる。このような割り当ては、関心の低いエリアにおいて光投影及び検出リソースの支出を回避すると共に、関心の高いエリアにおいて分解能及び他の性能特性を向上させることができる。また、物体ごとでなく、物体−部分ごとに光割り当てを変動させることが可能となる。例えば、場合によっては、物体のエッジ(車両のような物体の外縁又は外装等)のロケーションに関して明確に定義された情報を有することが、より重要かつ有用である。従って、車両のエッジがあるFOV領域へ多くの光束を割り当てると共に、外装内にある物体の部分を含むFOV領域へ少ない光束を割り当てることが望ましい場合がある。単なる説明のための一例として、図5Cに示されているように、少なくとも1つのプロセッサ118は、物体のエッジを含むFOV領域(例えば図5Cの座標単位(B,1)、(B,2)、(C,1)、(C,2)の角の丸い方形の物体)の分析に使用するため、投影光の2つの光パルスを放出するよう構成できる。一方、物体の内部に関連したFOV領域、又は、例えば図5Cに示されている角の丸い方形内の中央部(座標(C,5))のような、少なくとも検出された外縁で画定された外装内では、より少ない光束をこれらの領域に与えることができる。図5Cに示される別の説明のための例として、第1のスキャンサイクル後は、角の丸い方形の内部領域に1つだけの光パルスが提供される。特定の関心領域に対して光束を増大させるための任意の適切な技法を使用できることに留意するべきである。例えば、追加の光パルスを放出すること、より長い持続時間の光パルス又は連続波を放出すること、光パワーを増大させること等によって、光束を増大させることができる。
[0357] 少なくとも1つのプロセッサ118は、例えば偏向角を変えるため、少なくとも1つの光偏向器114の動きの様々な様相(例えば偏向器の角度方位、2つ以上の軸に沿った偏向器の回転角等)を制御することができる。更に、少なくとも1つの118は、少なくとも1つの偏向器114の移動速度、少なくとも1つの偏向器が特定の瞬時位置に停止する時間量、少なくとも1つの偏向器の並進等を制御できる。少なくとも1つの光偏向器114を制御することによって、少なくとも1つのプロセッサ118は、LIDARシステムが所望の検出感度レベルや信号対雑音比等で視野内の関心領域をスキャンできる固有の方法で、LIDAR FOVの1つ以上の関心領域へ投影光を誘導することができる。上述のように、光偏向器114は枢動可能MEMSミラー300を含むことができ、少なくとも1つのプロセッサ118は、MEMSミラーの偏向角、偏向速度、停止時間等を制御できる。これらはいずれも、FOV範囲及び/又はLIDARシステムのフレームレートに影響を及ぼし得る。処理ユニット108による少なくとも1つの光偏向器114の制御は、LIDARシステム100によって放出される光及び/又はFOV内のシーンから反射してLIDARシステム100の方へ戻される光の偏向角を変えることができる。
[0358] 動作中、少なくとも1つのプロセッサ118は、視野120内の少なくとも1つの関心領域の識別を取得するか、又は他の方法でこれを決定もしくは識別することができる。視野120内の少なくとも1つの関心領域の識別は、検知ユニット106から収集された信号の分析によって決定するか、FOV120内の1つ以上の物体、物体の部分、もしくは物体のタイプを検出することで決定するか、FOV12のスキャン中に認識された様々な検出特性のいずれかに基づいて決定するか、及び/又は(直接又は間接的に)ホスト210から受信された情報に基づくか、又は他の任意の適切な判定基準に基づくことができる。
[0359] 図22に示されているように、処理ユニット108は、検知ユニット106及びLIDARシステム100の他のコンポーネントから情報を受信するだけでなく、様々な他のシステムからも情報を受信できる。いくつかの実施形態において、処理ユニット108は例えば、GPS2207、車両ナビゲーションシステム2201、レーダ2203、別のLIDARユニット2209、1つ以上のカメラ2205、及び/又は他の任意のセンサもしくは情報システムのうち少なくとも1つから入力を受信できる。LIDARシステム100からの検出等に基づいてFOV120内の1つ以上の特定の関心領域を決定することに加えて、処理ユニット108は、GPS2207、車両ナビゲーションシステム2201、レーダ2203、LIDARユニット2209、カメラ2205等のうち1つ以上の出力に基づいて、FOV120内の1つ以上の関心領域を識別することができる。少なくとも1つの関心領域は、FOV120に関連した部分、エリア、セクション、領域、小領域、画素等を含み得る。
[0360] 視野120内の少なくとも1つの関心領域の識別を取得した後、少なくとも1つのプロセッサ118は、この少なくとも1つの関心領域に対する光投影及びその後の検出に関連して、新しいスキャンスキームを決定するか又は既存のスキャンスキームを変更することができる。例えば少なくとも1つの関心領域の識別後、少なくとも1つのプロセッサ118は、(上述のように)光投影器112に関連した1つ以上のパラメータを決定又は変更することができる。例えば少なくとも1つのプロセッサ118は、特定の関心領域に提供する光束の量、投影する光パルスの数、光投影のパワーレベル、連続波の投影時間、又は特定の識別された関心領域に与えられる光束量に影響を与え得る他の任意の特性を決定することができる。
[0361] 少なくとも1つのプロセッサ118は、少なくとも1つの関心領域のスキャン中に偏向器114が移動する特定の瞬時位置を決定することができる。また、処理ユニット108は、決定された瞬時位置に関連する停止時間及び/又は決定された瞬時位置間で偏向器114を移動させるための移動特性も決定することができる。
[0362] LIDAR FOV内の関心領域を識別する前に、いくつかの実施形態では、FOVのスキャン中にFOVの各領域にデフォルトの光量を投影することができる。例えば、FOVの全ての部分が同じ重要度/優先度を有する場合、FOVの各部分にデフォルトの光量を割り当てることができる。FOVの各領域にデフォルトの光量を送出することは、例えば、FOVのスキャン中に各FOV領域に同様の振幅を有する同様の数の光パルスが提供されるように利用可能な光源を制御することを含み得る。しかしながら、少なくとも1つの関心領域の識別後、少なくとも1つのプロセッサ118は、関心領域内の少なくとも1つの領域に供給される光量をFOVの1つ以上の他の領域よりも増大させることができる。図5Cの説明のための例では、セクタIIが、識別された関心領域を表すことができる(この理由としては例えば、セクタIIが、高密度の物体、特定のタイプの物体(歩行者等)、LIDARシステムに対して特定の距離範囲の物体(例えば50m内もしくは100m内等)、ホスト車両の近くもしくはその経路内にあると判定される物体を含むと判定されること、又は、FOV120内の少なくとも1つの他のエリアよりも関心の高い領域を示す他の任意の特性が考慮される)。関心領域としてのセクタIIの状態を考慮して、セクタIIに含まれる小領域に対し、FOV内の残りの領域よりも多くの光を供給することができる。例えば図5Cに示されているように、セクタII内の小領域(物体が占有すると判定される領域以外の)には、3つの光パルスを割り当てることができる。セクタI及びセクタIIIのような関心の低い他のエリアは、それぞれ1つのパルス又は2つのパルス等、より少ないパルスを受信し得る。
[0363] いくつかの実施形態において、関心領域の指定は、LIDAR システムに対するターゲット物体の距離に依存し得る。ターゲット物体がLIDARシステムから離れれば離れるほど、レーザパルスは長い経路を移動しなければならず、潜在的なレーザ信号損失が大きくなる可能性がある。従って、遠いターゲットは、所望の信号対雑音比を維持するために近いターゲットよりも高いエネルギ光放出を必要とし得る。このような光エネルギは、光源112のパワー出力、パルス幅、パルス繰り返し率、又は光源112の出力エネルギに影響を及ぼす他の任意のパラメータを変調することによって達成できる。近くの物体は容易に検出可能であり、従って場合によっては、そのような近くの物体では関心領域の指定は妥当でない可能性がある。一方で、より遠くの物体は、ターゲットの検出を可能とする適切な信号対雑音比を達成するために、より大きい光エネルギを必要とし得る。このような遠くの物体では、関心領域の指定と、それらの物体が位置しているFOVの各領域に与えられる光エネルギの増大が妥当である可能性がある。例えば図5Cでは、第1の距離にある第1の物体(例えば図5Cの下部の近くに位置する近視野物体のいずれか)を検出するために単一の光パルスを割り当て、第1の距離よりも大きい第2の距離にある第2の物体(例えば角の丸い方形の中視野物体)を検出するために2つの光パルスを割り当て、第1の距離及び第2の距離の双方よりも大きい第3の距離にある第3の物体(例えば遠視野の三角形の物体)を検出するために3つの光パルスを割り当てることができる。
[0364] しかしながら一方で、利用可能なレーザエネルギレベルは、目の安全の規制によって、また潜在的な熱的及び電気的制限によって限定され得る。従って、LIDARシステム100の使用中に目の安全を保証するため、少なくとも1つのプロセッサ118は、目の安全の閾値に基づいて少なくとも1つの明確な関心領域における蓄積光に上限を設定する(cap)ことができる。例えば少なくとも1つのプロセッサ118は、目の安全の限度に準拠するため、FOVの明確な領域内で(例えば特定の時間期間にわたって)投影される光量を制限するようにプログラムできる。ここで用いる場合、上限とは、目の安全のための上限光量(又は安全域を与えるため上限よりも低く設定される限度)に対応した、特定の時間期間にわたる閾値光量を指すことができる。少なくとも1つのプロセッサ118は、LIDARシステム100の動作中に上限を超えないように少なくとも1つの光源112を制御することができる。従って、例えば低関心領域は、目が位置する可能性の高いエリアにおいて画定され得る。これは例えば、車両の運転者エリアや、歩道及び自転車用車線に対して特定の高さのエリアである。このような領域の状況において関心が低いとは、必ずしも他の領域に比べてこれらの領域で検出の重要性が低いことを意味するのではなく、システムの安全な動作を維持することよりも検出の方が重要性が低い(又は関心が低い)ことを意味する。
[0365] 少なくとも1つのプロセッサ118は、適切なソースから受信した情報に基づいて少なくとも1つの明確な関心領域の識別を決定できる。いくつかの実施形態において、少なくとも1つのプロセッサ118は、第1のスキャンサイクルに関連した光の反射を検出するように構成された少なくとも1つのセンサから、少なくとも1つの関心領域の識別を受信できる。このようなセンサは、例えば、関心領域又は潜在的な関心領域の少なくとも1つの識別子を生成するように構成された1つ以上の感光性物体及び1つの論理デバイス(例えばプロセッサ、DSP、ゲートアレイ等)を含む検知ユニット106を含み得る。いくつかの実施形態において、少なくとも1つのプロセッサ118は、例えば検知ユニット106の出力に基づいて関心領域を識別できる。他の実施形態において、少なくとも1つのプロセッサ118は、LIDARシステム100の周辺の1つ以上のソースから、関心領域の識別又は関心領域の少なくとも1つの指標を受信できる。例えば図22に示されているように、このような識別又は指標は、車両ナビゲーションシステム2201、レーダ2203、カメラ2205、GPS2207、又は別のLIDAR2209から受信され得る。このような指標又は識別子は、車両ナビゲーションシステムからのマッピングされた物体もしくは特徴部(feature)、方向指示(directional heading)等、又は、レーダ2203もしくはLIDAR2209もしくはカメラ2205等によって検出された1つ以上の物体や物体群等に関連付けることができる。任意選択として、少なくとも1つのプロセッサ118は、Lidarシステム100が設置されているプラットフォーム外に位置する遠隔ソースから受信した情報に基づいて、少なくとも1つの明確な関心領域の識別を決定できる。例えば、LIDARシステム100が複数の車両による環境のマッピングに使用される場合、様々な車両の動作を連携させるサーバから、どのように関心領域を決定するかに関する規定を受信することができる。
[0366] いくつかの例において、関心領域はFOVの第1のスキャン中に又はその後に決定することができ、識別された関心領域に対する光の増大はFOVの1つ以上のその後のスキャン中に達成できる。この結果、少なくとも1つの明確な関心領域に関連したロケーションにおける少なくとも1つの後続の第2のスキャンサイクルの光強度を、少なくとも1つの明確な関心領域に関連したロケーションにおける第1のスキャンサイクルの光強度よりも高くすることができる。いくつかの例において、FOVの少なくとも1つの後続の第2のスキャンサイクルは複数の後続の第2のスキャンサイクルを含む。そのような場合、FOVの少なくとも1つの明確な関心領域のエリアにおける複数の第2のスキャンサイクルにわたった総光強度を、他の非関心領域における複数の第2のスキャンサイクルにわたった総光強度よりも大きくすることができる。
[0367] 関心領域を識別し、それらの領域に与えられる光量を低関心領域よりも増大させることによって、関心領域では低関心領域よりも多くの物体及び/又は遠くの物体を検出することができる。例えば関心領域では、投影光の反射によって、少なくとも1つの明確な関心領域に第1の距離の第1の物体が存在することを決定できる。また、この第1の距離は、非関心領域において物体が検出されなかった第2の距離よりも大きくすることができる。
[0368] 少なくとも1つのプロセッサ118は、少なくとも1つの明確な関心領域の照射分解能を他の領域に対して変更することができる。少なくとも1つの後続の第2のスキャンサイクルにおける少なくとも1つの明確な関心領域の3D表現の空間分解能は、第1のスキャンサイクルにおける少なくとも1つの明確な関心領域の3D表現の空間分解能よりも高い。更に、少なくとも1つのプロセッサ118は、少なくとも1つの後続の第2のスキャンサイクルにおける少なくとも1つの明確な関心領域の3D表現の時間分解能が、第1のスキャンサイクルにおける少なくとも1つの明確な関心領域の3D表現の時間分解能よりも高くなるように、少なくとも1つの明確な関心領域の照射タイミングを他の領域に対して変更することができる。例えば、高い時間分解能は、限定ではないがフレームレートの増大によって達成することができ、その逆もまた同様である。
[0369] 前述の例において、より多くの光が少なくとも1つの関心領域に割り当てられる場合、より高い空間分解能及び/又は時間分解能も得ることができる。一方で、非関心領域及び低関心領域では、それらの領域に対する光割り当ては低減され、このため、より低い空間分解能及び/又は時間分解能が達成され得る。空間分解能及び/又は時間分解能の増大は、限定ではないが、より高い光強度を用いることで達成できる(例えば、関心領域の面積を縮小することによって面積当たりの光束の割り当てを増大する)。同様に、空間分解能及び/又は時間分解能の低減は、限定ではないが、より低い光強度を用いることで達成できる(例えば、関心領域の面積を拡大することによって面積当たりの光束の割り当てを低減する)。
[0370] 図20は、LIDARシステムを用いて関心領域内の物体を検出するための例示的な方法2000のフローチャートである。ステップ2001において、プロセッサ(例えばプロセッサ118)は、少なくとも1つの光源(例えば光源112)からの光を用いた視野(例えば視野120)のスキャンにおいて光強度を変動させ得るように少なくとも1つの光源を制御する。ステップ2002において、プロセッサ(例えばプロセッサ118)は、視野(例えば視野120)をスキャンするため、少なくとも1つの光源(例えば光源112)からの光を偏向させるように少なくとも1つの光偏向器(例えば光偏向器114)を制御する。ステップ2002における少なくとも1つの光源の偏向は、視野(例えば視野120)から少なくとも1つのセンサ(例えばセンサ116)の方向に到達する反射光の偏向にも影響を及ぼし得る。ステップ2003において、プロセッサ(例えばプロセッサ118)は、視野(例えば視野120)内の少なくとも1つの明確な関心領域の識別を取得する。更に、視野(例えば視野120)内の少なくとも1つの明確な関心領域の取得される識別は、第1のスキャンサイクルに関連した光の反射を検出するように構成された少なくとも1つのセンサ(例えば検知ユニット106)から受信することができる。更に、いくつかの実施形態において、視野(例えば視野120)内の少なくとも1つの明確な関心領域の取得される識別は、LIDARシステムが展開されている車両の現在の運転モードに基づくものであってもよい。いくつかの実施形態において、視野(例えば視野120)内の少なくとも1つの明確な関心領域の取得される識別は、少なくとも1つの明確な関心領域で検出された物体に基づくものであってもよい。いくつかの実施形態において、視野(例えば視野120)内の少なくとも1つの明確な関心領域の取得される識別は、GPS、車両ナビゲーションシステム、レーダ、LIDAR、及びカメラのうち少なくとも1つから受信することができる。
[0371] ステップ2004において、プロセッサ(例えばプロセッサ118)は、少なくとも1つの明確な関心領域に対する光の割り当てを他の領域よりも増大させて、第1のスキャンサイクルの後、少なくとも1つの明確な関心領域に関連したロケーションにおける少なくとも1つの後続の第2のスキャンサイクルの光強度を、少なくとも1つの明確な関心領域に関連したロケーションにおける第1のスキャンサイクルの光強度よりも高くすることができる。更に、少なくとも1つの後続の第2のスキャンサイクルは複数の後続の第2のスキャンサイクルを含み、少なくとも1つの明確な関心領域のエリアにおける複数の第2のスキャンサイクルにわたった総光強度は、他の非関心領域における複数の第2のスキャンサイクルにわたった総光強度よりも大きい。
[0372] ステップ2005において、プロセッサ(例えばプロセッサ118)は、単一のスキャンサイクルにおいて、他の領域よりも多くの光が少なくとも1つの明確な関心領域の方へ投影されるように、光割り当てを調整する。状況によっては、プロセッサ(例えば少なくとも1つのプロセッサ118)は、第1のスキャンサイクルにおいて非関心領域として識別された複数の領域の方へ投影された光量よりも少ない光を、少なくとも1つの後続の第2のスキャンサイクルにおいてこれらの領域に割り当てることができる。
[0373] 図21は、LIDARシステムを用いて複数の関心領域内の物体を検出するための例示的な方法2100のフローチャートである。ステップ2001において、プロセッサ(例えばプロセッサ118)は、少なくとも1つの光源(例えば光源112)からの光を用いた視野(例えば視野120)のスキャンにおいて光強度を変動させ得るように少なくとも1つの光源を制御する。ステップ2002において、プロセッサ(例えばプロセッサ118)は、視野(例えば視野120)をスキャンするため、少なくとも1つの光源(例えば光源112)からの光を偏向させるように少なくとも1つの光偏向器(例えば光偏向器114)を制御する。ステップ2003において、プロセッサ(例えば少なくとも1つのプロセッサ118)は、視野(例えば視野120)内の少なくとも1つの明確な関心領域の識別を取得する。更に、視野(例えば視野120)内の少なくとも1つの明確な関心領域の取得される識別は、第1のスキャンサイクルに関連した光の反射を検出するように構成された少なくとも1つのセンサ(例えば検知ユニット106)から受信することができる。更に、いくつかの実施形態において、視野(例えば視野120)内の少なくとも1つの明確な関心領域の取得される識別は、LIDARシステムが展開されている車両の現在の運転モードに基づくものであってもよい。いくつかの実施形態において、視野(例えば視野120)内の少なくとも1つの明確な関心領域の取得される識別は、少なくとも1つの明確な関心領域で検出された物体に基づくものであってもよい。いくつかの実施形態において、視野(例えば視野120)内の少なくとも1つの明確な関心領域の取得される識別は、GPS、車両ナビゲーションシステム、レーダ、LIDAR、及びカメラのうち少なくとも1つから受信することができる。
[0374] ステップ2101において、プロセッサ(プロセッサ118)は、複数の関心領域にランクを付けることができる。例えば、LIDARシステムによってシーンをスキャンすることができる。シーンの関心領域は、非関心領域(RONI:region of non-interest)として、又は、低レベルと高レベルとの間の関心レベルを有する関心領域(ROI)として指定され得る。例えば、道路の境界線及び建物の垂直面を高い関心領域(R2)として指定し、歩行者及び移動中の自動車を中程度の関心領域(R1)内に指定し、シーンの残り部分を全体として低い関心領域(R0)と見なすことができる。スカイラインはRONI(R3)として指定できる。
[0375] ステップ2103において、プロセッサ(プロセッサ118)は、ランク付けに基づいて光を割り当てる。最も高いランク付けの関心領域に割り当てられる光量は、これよりも低いランク付けの関心領域に割り当てられる光量よりも多くすることができる。例えば、上述の例示的なシーンのパワー又はリソース割り当ては、プロセッサによって決定できる。ランクに基づいて、プロセッサは、最高の関心領域R2に最も大きいパワーを割り当て、次に中程度の関心領域R1に割り当てを行い、低い関心領域R0には最も小さい割り当てを行うことができる。RONI R3に対しては、これが依然としてRONIであることを周期的に確認するため、ある程度のパワーを割り当てることができる。この例では、領域2(R2)を最も関心の高い領域として規定できる。これは、最も高いサービス品質、最も大きいレーザパワー、最も高い受信器感度、最も高い角度スキャン分解能、最も高い範囲分解能、最も高いフレームレートのような、最も長い距離の検出機能を示唆するものに関連付けることができる。
[0376] ステップ2004において、プロセッサ(例えばプロセッサ118)は、少なくとも1つの明確な関心領域に対する光の割り当てを他の領域よりも増大させて、第1のスキャンサイクルの後、少なくとも1つの明確な関心領域に関連したロケーションにおける少なくとも1つの後続の第2のスキャンサイクルの光強度を、少なくとも1つの明確な関心領域に関連したロケーションにおける第1のスキャンサイクルの光強度よりも高くすることができる。更に、少なくとも1つの後続の第2のスキャンサイクルは複数の後続の第2のスキャンサイクルを含み、少なくとも1つの明確な関心領域のエリアにおける複数の第2のスキャンサイクルにわたった総光強度は、他の非関心領域における複数の第2のスキャンサイクルにわたった総光強度よりも大きくすることができる。
[0377] ステップ2005において、プロセッサ(例えばプロセッサ118)は、単一のスキャンサイクルにおいて、他の領域よりも多くの光が少なくとも1つの明確な関心領域の方へ投影されるように光割り当てを調整する。状況によっては、プロセッサ(例えば少なくとも1つのプロセッサ118)は、第1のスキャンサイクルにおいて非関心領域として識別された複数の領域の方へ投影された光量よりも少ない光を、少なくとも1つの後続の第2のスキャンサイクルにおいてこれらの領域に割り当てることができる。
[0378] 中間検出結果に基づく適応Lidar照射技法
[0379] 図23は、光を放出し、LIDARの視野から反射した光子を検出するLIDARシステム2300の例示的な実施形態を示している。いくつかの実施形態において、LIDARシステム2300は、LIDARシステム100を参照して上述したように動作することができる。検出結果に基づいて、LIDARは一連の深度マップを生成することができる。前述のように、LIDARは1つ以上の異なるタイプの深度マップを生成するように動作可能であり得る。深度マップのタイプは例えば、ポイントクラウドモデル(PC)、ポリゴンメッシュ、深度画像(画像の各画素もしくは2Dアレイの深度情報を保持する)、又はシーンの他の任意のタイプの3Dモデルのうちいずれか1つ以上である。
[0380] 生成された深度マップは時間特性を含み得る。例えば深度マップは、異なる深度マップが異なる時点で生成される時系列に生成することができる。このシーケンスの各深度マップ(「フレーム」と言い換え可能である)は、LIDAR FOVのスキャンの持続時間内で生成され得る。いくつかの実施形態において、そのようなスキャンは、数秒の期間内、約1秒以内、又は1秒未満で行われ得る。
[0381] いくつかの実施形態において、LIDARシステム2300(「LIDAR」と言い換え可能である)は、シーケンス全体において固定フレームレート(例えば毎秒10フレーム(FPS:frames per second)、25FPS等)を有するか、又は動的フレームレートを有することができる。異なるフレームのフレーム時間は、必ずしもシーケンス全体にわたって同一ではない。例えば10FPSのLIDARは、(平均して)100ミリ秒で1つの深度マップを生成し、92ミリ秒で次のフレームを生成し、142ミリ秒で第3のフレームを生成し、様々なレートで追加フレームを生成し、これらを平均して10FPSの仕様とすることができる。
[0382] フレーム時間とは、検出されてフレームの検出情報を発生する第1の光投影で開始し、各深度マップ(「フレーム」)の完了で終了する時間スパンを指すことができる。「フレーム照射持続時間」は、検出されてフレームの検出情報を発生する第1の光投影で開始し、検出されてフレームの検出情報に影響を及ぼす最後の光子が放出された時に終了する時間スパンである(すなわち、「フレーム照射持続時間」は各フレーム時間の第1の部分であり、その後に各深度マップを生成するためのフレームの検出情報の少なくとも何らかの処理の時間がある)。いくつかの実施形態では、本開示において同一フレーム時間に発生すると記載される全てのアクション、プロセス、又はイベントは、同一フレーム照射持続時間に発生する必要があり得る(すなわち、より厳密な時間制約が実施され得る)。
[0383] いくつかの実施形態において、フレーム時間は部分的に重複し得る(例えば、N番目の深度マップの処理は(N+1)番目のフレームの照射中まで継続し得る)が、任意選択として完全に非重複である可能性もある。いくつかの実施形態において、異なるフレームのフレーム時間の間には時間のギャップが存在することがある。
[0384] シーケンス内の深度マップの数は3以上とすることができるが、これよりも著しく長いフレームシーケンスをLIDARによって生成してもよい。例えば、シーケンスは10を超える深度マップを含み得る。例えば、シーケンスは100を超える深度マップを含み得る。例えば、シーケンスは1,000を超える深度マップを含み得る。シーケンスは、必ずしもLIDARによって生成されたフレーム全てを含むわけではないことに留意するべきである。任意選択として、深度マップのシーケンスは、シーケンスの第1の深度マップと最後の深度マップとの間でLIDARによって生成された深度マップの全てを含み得る。
[0385] システム2300は、少なくともセンサインタフェース2350及び光源コントローラ2360を含み得るが、(限定ではないが)以下で検討するもののような追加のコンポーネントも含み得る。センサインタフェース2350は、LIDARの1つ以上のセンサ(例えばセンサ2344(1)、2344(2)、及び2344(3))から、1又は複数の各センサによって検出された1又は複数の光量(例えば検出された光子の数、検出された光の蓄積エネルギ等)を示す検出情報を受信するように構成されるか又は動作可能であり得る。センサによって検出された光は、LIDARの視野(FOV)のセグメントの少なくともいくつかについて、LIDARにより放出され、シーンから反射されてLIDARの1つ以上の検出器へ戻された光子を含むことができる。
[0386] LIDARのFOVは、異なる時点で照射されるいくつかのセグメント(2以上、最大で数百又は数千、場合によってはより多数)を含み得る。各セグメントは、深度マップの1つ以上のアイテムを含み(例えば1つ以上の多角形、1つ以上のポイントクラウドポイント、1つ以上の深度画像画素)、1つ以上のセンサによってカバーされ得る(1つ以上の検出信号を発生する)。いくつかの実施形態において、FOVのセグメントは非重複セグメントを含み得る。他の実施形態において、FOVのセグメントのいくつかは相互に部分的に重複し得る。任意選択として、深度マップは1つ以上のセグメントについてアイテムを含まない場合がある(例えば、可能な時間フレーム内で光子が反射されなかったため、又は検出するにはSNRが低すぎたため)。そのような場合、深度マップは対応するデータ欠如の指示を含み得るが、必ずしもそうとは限らない。
[0387] いくつかの実施形態において、LIDARによって生成される深度マップは、予備照射の処理(例えば、中央セグメントと周辺セグメントとの任意選択的な区別に関して実施され得る)を行わずに照射されたセグメントからの光の検出に基づく深度情報を含み得る。LIDARによって生成される深度マップは、照射されない及び/又は光の検出に基づいていないFOVの部分(又はセグメント)のための深度情報も含み得る。例えば、深度マップのいくつかのアイテム(画素、PCポイント、多角形、又はその部分)は、FOVの照射された部分で決定された検出に基づく値の内挿又は平均に基づくものとすればよい。
[0388] 例示的な実施形態において、センサインタフェース2350は、シーケンスのフレーム時間の各々において、LIDARの視野の複数のセグメントの各々について、各フレーム時間中にLIDARによって放出され、各セグメントから反射された(又は他の方法で散乱された)光の予備検出情報を、(LIDARの1つ以上のセンサから)受信するように動作可能である。セグメントのいくつかでは、LIDARによって投影された光は反射されない(例えばLIDARの検出範囲内にターゲットが存在しない場合)が、セグメントの少なくともいくつかでは、予備検出情報が、シーンから反射されてLIDARの1つ以上のセンサによって検出された投影光の量を示すことができる。1つ以上のセンサによって与えられる検出情報(予備検出情報を含む)と共に、1つ以上のセンサによって発生された信号は、例えば、外部放射(例えば太陽光、フラッシュ光、及びLIDARシステム100以外の光源/放射源)及びセンサ雑音(例えば暗電流)による寄与分を含み得る。
[0389] 予備検出情報は、単一の信号(例えば1つ以上のSPAD、1つ以上のAPD、1つ以上のSiPM等のような1つ以上のセンサの出力に基づく)として、又は複数の信号(例えば複数のセンサの出力)として取得できる。予備検出情報は、アナログ情報及び/又はデジタル情報を含み得る。予備検出情報は、単一の値及び/又は(例えば異なる時点及び/又は異なるセグメント部分の)複数の値を含み得る。予備検出情報は、深度マップの1つ以上のアイテム(例えば1つ以上の多角形、1つ以上のポイントクラウドポイント、1つ以上の深度画像画素等)に関連し得る。予備情報は後に、FOV内の少なくとも1つの物体までの距離を決定するため使用され得ることに留意するべきである。
[0390] 光源コントローラ2360は、LIDARの光源2310を制御するように、特に、光源2310による光の放出を制御するように構成されると共に動作可能であり得る。光源コントローラ2360は、LIDARの光源2310による光の放出を制御する唯一の要素(entity)であり得るが、必ずしもそうとは限らない。LIDARが2つ以上の光源を含む場合、光源コントローラ2360は、これらの光源の1つ以上、場合によってはそれら全てを制御するように構成されると共に動作可能であり得る。更に、コントローラ2360以外の様々なコントローラが、LIDARシステム100に関連した光源の少なくとも1つの動作態様を制御するか又は影響を及ぼすことも可能である。
[0391] いくつかの実施形態において、光源コントローラ2360は、シーケンスのフレーム時間の各々において、LIDARによる後続光放出を制御するように構成されている。後続放出は、予備光放出(予備検出情報のために使用される放出)の後に放出される(この放出が光源コントローラ2360によって許可される場合)。LIDARがパルス光を放出する場合、後続光放出は1以上の光パルスを含み得る。
[0392] 光源コントローラ2360は、シーケンスのフレーム時間の各々において、複数のセグメントの各々の予備検出情報に基づいて、各フレーム時間中の各セグメントに対するLIDARによる後続光放出を制御するように構成できる。すなわち、各フレーム時間において光源コントローラ2360は、複数のセグメントの各々において、同一フレーム時間にLIDARによって放出され同一セグメントで検出された光の検出及び処理に基づいて、後続光放出を制御することができる。
[0393] FOVのセグメントごとに後続光放出を制御することで、ほとんど瞬間的な入力による(例えばFOVの異なる部分内のターゲットの)検出結果を示す同一フレームからの反射光の検出に基づいて、LIDAR FOVの異なるセグメントへの光投影を区別することができる。この区別を用いて、以下のような様々な目標を達成できる。
a.目の安全(並びに、空の安全、光学システムの安全、高感度材料及び物体の安全のような、他の安全上の検討事項):安全を考慮すべきであるLIDAR FOVの1つ以上の部分では放出パワーレベルを制限しながら、FOVの他の部分にはより高いパワーレベルを放出することができる(これによって信号対雑音比及び検出範囲を改善し得る)。
b.パワー管理:非常に有用であるLIDAR FOVの部分(例えば関心領域、遠くにあるターゲット、低反射ターゲット等)に大きいエネルギを誘導しながら、FOVの他の部分に送出する照射エネルギを制限することができる。目の安全又はパワー管理(又は他の任意の目的)のためのこのような光割り当ては、現在のフレーム又はいずれかの先行フレームからの検出結果に基づいて行われ得る。
[0394] いくつかの実施形態において、FOVの特定のセグメント又は領域に対する後続光投影放出の制御は、後続光放出に影響を及ぼすように光源の1つ以上のパラメータを制御する(例えば変更する)ことを含み得る。このような変更は、投影光の様々な特徴に影響を及ぼすことができ、(限定ではないが)例えば以下のいずれか1つである。
a.FOVの現在のスキャン中、又はFOVの後続のスキャン中の、1つ以上のLIDAR FOVセグメントへの光投影の増大、低減、制限、又は排除
b.FOV全体、又はFOVの任意の部分に供給される全光エネルギ
c.FOVの任意の部分に供給される光のエネルギプロファイル
d.光放出の持続時間
e.偏光や波長等、FOVの任意の部分に投影される光の波動特性
[0395] 更に、図23はFOVの複数のセグメントを示している。各セグメントが3次元の円錐セクション(本質的に円錐又は円錐台)を表し得ることは当業者には明らかであろう。図示の簡略化のため、各セグメントの断面のみが示されている。更に、セグメントの数及びそれらの空間構成は大きく異なる可能性がある。例えば、図におけるセグメントは3×6の2D矩形アレイに配列されているが、1D配列と同様、他の非矩形の配列も使用され得る。
[0396] システム2300は、光パルス(又はCWレーザ照射のような他の形態の伝送光)を用いて、シーン(ここではスキャンされる特定の視野(FOV)が示されている)の領域又はセグメントの検査を制御する(更に、場合によっては検査する)ように適合することができる。照射(初期照射、後続照射、又はLIDARによる他の任意の照射)の特徴は、(とりわけ)以下のパラメータのうち1つ以上の関数として、(場合によってはLIDARの動作中にも)選択され得る。
a.検査されるシーンセグメントの光学的特徴
b.検査されるもの以外のシーンセグメントの光学的特徴
c.検査されるシーンセグメント又はその付近に存在するシーン要素
d.検査されるもの以外のシーンセグメント又はその付近に存在するシーン要素
e.スキャン又はステアリングデバイスの動作モード
f.スキャン又はステアリングデバイスが動作しているホストプラットフォームの状況的特性/特徴。
[0397] LIDARの光源2310(「放出器」及び「放出器アセンブリ」と言い換え可能である)は、1つ以上の個別の放出器(例えば1つ以上のレーザ、1つ以上のLED)を含むことができ、これらは、同様の又は異なる動作パラメータ(例えば波長、パワー、焦点、発散等)を用いて動作し得る。光源コントローラ2360は、光源2310の個別の放出器のうち1つ、いくつか、又は全てを制御し得る。いくつかの実施形態において、光源2310は、光子検査パルスをFOVの方へ放出するように動作可能である。いくつかの実施形態では、光源及び偏向器を組み合わせることができる。例えば、LIDARシステムは垂直キャビティ面発光レーザ又は光学フェーズドアレイを含み得る。
[0398] LIDARのセンサアセンブリ2340(「センサアレイ」、「センサ」、「検出器アレイ」及び「検出器アセンブリ」と言い換え可能である)は、各々が個別の検知ユニットを含み得る1つ以上の感光検出器2344を含み得る。例えば各検出器2344は、複数の単一光子アバランシェダイオード(SPAD)を含むシリコン光電子増倍管(SiPM)とすればよい。センサアセンブリは、LIDARによって放出され、スキャンされたシーンの物体から反射して戻ってきた光子を検出する。
[0399] いくつかの実施形態において、LIDARは更に、スキャンされるシーンセグメントの方向に放出光を誘導するため、及び/又は反射した光子をセンサアレイ2340へ向けるためのステアリングアセンブリ2330を含み得る。ステアリングアセンブリ2330は、制御可能に操縦できる光学系(例えば回転/可動ミラー、回転/可動レンズ等)を含むことができ、また、ビームスプリッタ、ミラー、及びレンズ等の固定光学コンポーネントも含み得る。いくつかの光学コンポーネント(例えばレーザパルスのコリメーションに使用される)は放出器の一部であり、他の光学コンポーネントは検出器アセンブリの一部である場合がある。いくつかの実施形態において、ステアリングアセンブリ2330はミラーのアレイを含み得る。
[0400] いくつかの実施形態において、光源コントローラ2360は、例えば電気回路又は他の有線接続、無線接続等のような異なる方法で、光源2310に接続することができる。光源コントローラ2360は、予備検出情報の分析に基づいて放出光及び/又は反射光のステアリング方向を制御するため、ステアリングアセンブリ2330にも接続することができる。例えば、所与のセグメントにおいで後続照射が必要ない場合、シーンの別のセグメントを照射するため、別のステアリング状態にすぐ変わるようステアリングアセンブリに命令することができる。
[0401] LIDARのコントローラ2320は、検知アレイ2340、ステアリングアセンブリ2330、及び/又はLIDARの他のコンポーネントを制御するために実装され得る。コントローラ2320は光源コントローラ2360を含む場合があるが、光源コントローラ2360がコントローラ2320の外部にある及び/又はコントローラ2320とは独立であることもある(例えばホスト230)。後者の場合、光源はコントローラ2320及び光源コントローラ2360の双方によって制御できる。任意選択として、コントローラ2320を用いて、放出器2310、ステアリングアセンブリ2330、及びセンサアセンブリ2340の動作を連携させて規制すること、更に、任意選択として、シーンセグメント検査特性に従って(例えば内部フィードバック、ホスト情報、又は他のソースに基づいて)調整することが可能である。
[0402] いくつかの実施形態によれば、LIDARによるシーンセグメントの検査は、シーンセグメント(「セグメント」、「領域」、及び「シーン領域」と言い換え可能である)を、伝送光(例えば光子パルス)によって照射することを含み得る。放出光は既知のパラメータを有することができる。パラメータは例えば、持続時間、角分散、波長、瞬時パワー、放出器から異なる距離での光子密度、平均パワー、パワー強度、パルス幅、パルス繰り返し率、パルスシーケンス、デューティサイクル、波長、位相、偏光、及びその他のものである。
[0403] また、領域の検査は、反射光子を検出すること、及びこれらの反射検査光子の様々な様相を特徴付けることを含み得る。反射検査光子は、スキャンされたシーンセグメント内に存在する照射された要素から反射してLIDARの方へ戻ってきた放出光の光子を含み得る。
[0404] 反射光子は、検査光子及び検査光子が反射されたシーン要素によって生じ得るので、受信された反射光子をそれに応じて分析することができる。放出光の特徴を、対応する反射検出信号の特徴と比較することによって、スキャンされたシーンセグメント内に存在する1つ以上のシーン要素の距離と、場合によっては他の物理的特徴(反射強度等)を推定することができる。このプロセスをFOVの複数の部分で(例えばラスタパターン、リサジューパターン、又は他のパターンで)繰り返すことによって、シーンの深度マップを生成するためシーン全体をスキャンすることができる。
[0405] 「シーンセグメント」又は「シーン領域」は、例えば、所与の方向の光ビームに対応する球面座標系の角度を用いて画定され得る。また、所与の方向の中心放射ベクトル(center radial vector)を有する光ビームは、光ビームの角度発散値、球面座標範囲、及びその他のものによっても特徴付けることができる。
[0406] いくつかの実施形態において、照射という状況で画定される異なるセグメントは、検出という状況で区別されるFOVの一部又は部分(例えば「画素」又は深度マップ)の大きさと必ずしも同一ではない。例えば、LIDARはN×Mの深度マップ(例えば100×100の深度画像)を生成することができるが、照射に関して同じFOVをより少数のセグメントに分割してもよい(例えば10×10、又は20×1)。別の例では、少なくとも1つの次元において照射セグメントは検出の角度分解能より小さくてもよい。
[0407] いくつかの実施形態において、範囲推定器2390は、センサアレイ2340によって得られた検出情報を取得し、深度マップを生成するためこの情報を処理する。この処理は、飛行時間分析に基づいて、又は当技術分野において既知の他の任意の方法で実行できる。
[0408] 予備検出情報は、複数の検出器(例えば画素、SiPM)による同時放出(例えば1つ以上のパルス、又は空間的に連続した照射)の検出に基づくことができる。光源コントローラ2360は、複数の検出器(例えば2340)によって生成された予備検出情報に基づいて、全ての検出器によって検出可能である後続放出をどのように一括して制御するかを決定できる。いくつかの実施形態において、光源コントローラ2360は、検出器の(全てではなく)1つのみ又はいくつかのみが、各セグメントへの投影が安全でないことを示す場合であっても、セグメント全体への後続放出を阻止する可能性がある。
[0409] 図24は、ここに開示される実施形態に従った方法2400の一例を示すフローチャートである。方法2400は、深度マップのシーケンスを生成する光検出と測距(LIDAR)デバイスの動作を制御するための方法である。シーケンスの各深度マップは、対応する1秒未満のフレーム時間で生成することができる。いくつかの実施形態において、方法2400は画素ごとに又はビームスポットごとに実行され得る。
[0410] 前述の図に関して記載した例を参照すると、方法2400はシステム2300によって実行することができる。方法2400は、明示的に述べられていない場合であっても、システム2300に関して検討された任意の機能、プロセス、能力等を実行することを含み得る。同様に、システム2300は、明示的に述べられていない場合であっても、方法2400の任意のステップ又は変形を組み込むように構成、適合、及び/又は動作可能であり得る。
[0411] 方法2400は、シーケンスのフレーム時間の各々において、LIDARの視野の複数のセグメントからの各セグメントで、少なくとも段階2440及び2450を実行することを含み得る。いくつかの実施形態において、方法2400は、FOV内の全てのセグメントに対して段階2440及び2450を実行することを含む場合も含まない場合もある。他の実施形態において、方法2400は、FOVの説明された全てのセグメントに対して段階2440及び2450を実行することを含む場合も含まない場合もある。
[0412] 段階2440は、各フレーム時間中にLIDARによって放出され、各セグメントから反射された光に基づいて、(例えば1つ以上の信号中の)予備検出情報を取得することを含み得る。予備検出情報の取得は、深度マップの単一の画素(もしくは深度マップの別のタイプのアイテム、例えばPCポイントもしくは多角形、ポリゴンメッシュの表面、面、稜線、もしくは頂点)、又は2つ以上の画素(もしくはアイテム)の検出情報を取得することを含み得る。前述の図に関して記載した例を参照すると、段階2440は、センサインタフェース2350及び/又はセンサアセンブリ2340によって実行することができる。
[0413] 段階2450は、(段階2440の、同一フレーム時間の同一セグメントの)予備検出情報に基づいて、同一フレーム時間中のLIDARによる各セグメントへの後続光放出を選択的に制御することを含み得る。前述の図に関して記載した例を参照すると、段階2450は例えば光源コントローラ2360によって実行することができる。段階2450の制御は、例えば、光源コントローラ2360に関して検討したいずれかの形態の制御を含み得る。いくつかの実施形態において、段階2450は、各セグメントへ後続放出を誘導するようにLIDARのステアリングアセンブリ(例えばステアリングアセンブリ2330)を制御することを含み得る。
[0414] いくつかの実施形態では、各フレーム時間において、(全てのセグメントに対する)予備検出情報の取得及び選択的な制御は、同一のフレーム照射持続時間(フレーム時間内の第1の光子の放出から、検出されてフレームの深度マップに影響を及ぼす最後の光子の放出までの時間)内に実行される。任意選択として、選択的な制御及び後続放出は、フレーム時間の深度マップを生成するための検出情報の処理が開始する前に終了する。
[0415] いくつかの実施形態において、異なるセグメントの照射及び分析は様々な順序で実施することができる。例えば、各セグメントの予備照射を行うこと、各予備検出情報を取得すること(段階2440)、及び同一セグメントへの後続照射を選択的に制御すること(段階2450)を実行した後、別のセグメントに対するこれらのステップの実行に進むことができる。
[0416] 別の実施形態では、第1のセグメントの予備照射と(後続放出による)後続照射との間に、別のセグメントを照射することができる。いくつかの実施形態では、単一セグメントの後続放出の前に、この単一セグメントのセグメント暗時間(dark time)(LIDARがそのセグメントに光を投影しない時間)がある。この間、複数のセグメントのうち別のセグメントがLIDARによって照射される。
[0417] 方法2400は、LIDARシステム100が目に安全である(例えば、関連する目の安全の規制の要件に従って動作する)ことを保証するために使用できる。いくつかの実施形態では、照射の選択的制御の前に、予備検出情報に基づいて、投影フィールド(例えば扇形、円錐、又は円錐台)内に、少なくとも所定数のフレームにわたって少なくとも目の安全の範囲内に人がいないことを判定する段階(図示せず)がある。このためLIDARシステム100は、人が存在したFOV部分では安全閾値を超えるパワーを有する後続放出を防止することができる。目の安全の範囲(例えば図23の「範囲閾値」)は所定の範囲とすることができるが、必ずしもそうとは限らない。場合によっては、プロセッサ118は、LIDAR FOVの特定領域への1以上の光投影に基づいて(初期光投影、又は初期光投影に対して変更された少なくとも1つの特徴を有する後続光投影のいずれかに基づいて)受信された反射信号に基づき、安全距離に関連する閾値を調整するように構成できる。
[0418] 検出された条件又は状況に応じて、段階2450の選択的な制御は、目の安全の照射限度未満であるか又はそうでない後続光放出の投影フィールドへの投影を制御することを含み得るが、あらゆる場合において、照射の制御は目の安全の規制に準拠するように実行できる。例えば、LIDAR検出によってLIDAR FOVの1又は複数の特定領域に目を持つ個体(人又は他のもの)が存在しないと示される場合、その1又は複数の領域内の後続光投影は、通常は目に安全でないレベルで進行し得る。その後、目を持つ個体が、例えばそのような個体が以前は存在しなかった1又は複数の領域内に入ったことが検出された場合、その占有された領域への後続光放出が個体の目に安全であるように実行されるよう光投影器の1つ以上のパラメータを変更することができる。他の例では、1つ以上の目を持つ個体が、LIDAR FOVの特定領域内であるが目の安全の閾値(例えば眼障害距離(ocular hazard distance))を超えた距離で検出されることがある。そのような場合、目の安全の閾値内では目に安全でないが、個体が検出された目の安全の閾値を超えた距離では目に安全であるように、その領域に光を投影することができる。更に他の例では、LIDARシステムの中間エリア内の範囲(例えば所定の目の安全の閾値距離内)で人及び/又は動物が検出されることがある。そのような場合、1つ以上の目を持つ個体が検出されたLIDARの中間エリアのそれらの領域内で目の安全を維持するように光投影を変更することができる。目の安全のプロトコルは、最大パワーレベル又は経時的な蓄積エネルギの閾値を規定することができる。例えば後続光放出がパルス群を含む場合、目の安全の準拠には、それらのパルスの蓄積エネルギが所定の閾値レベルを超えないことが要求され得る。いくつかの例では、物体(例えば人)がLIDARシステムの中間エリアで検出された場合、プロセッサ118は、検出された物体に関連する中間エリアの部分への更なる光放出を防止するように構成できる。他の例では、物体が中間エリアで検出された場合、少なくとも1つのプロセッサは更に、中間エリアへ可視光を放出するように少なくとも1つの光源及び少なくとも1つの光偏向器のうち少なくとも1つを規制するよう構成できる。可視光は、距離の決定において用いられる光の光源とは別個の光源によって放出され得ることに留意するべきである。
[0419] 「中間エリア」という用語は、当技術分野において広く用いられ、LIDARシステムに近接したエリアを含むように広義に解釈されるべきである。中間エリアの大きさは、LIDARシステムのパワー設定(これはLIDARシステムの潜在的な障害距離に影響を及ぼす)に依存し得る。中間エリアは、(LIDARシステムによって光を放出できる)FOVの全ての方向で実質的に同じ直径であり、例えば最大50%までの差を有し得るが、必ずしもそうとは限らない。任意選択として、LIDARシステムの中間エリアは、LIDARシステムによって光を放出できるFOVの全ての方向において規定される。
[0420] いくつかの実施形態では、LIDAR FOVの選択された領域へ投影された光に基づいて、プロセッサ118等のプロセッサ118は、少なくとも1つのセンサから、LIDAR FOV内の物体から反射した光を示す反射信号を受信することができる。プロセッサ118は、初期光放出によって生じる反射信号に基づいて、LIDARシステムの中間エリア(例えば、LIDAR FOVの特定のセグメント又はFOVのセグメント群に関連した領域、及び少なくとも1つの光偏向器からの閾値距離内)に物体が位置しているか否かを判定できる。閾値距離は、目の安全の距離のような安全距離に関連付けることができる。FOVの中間エリアで物体が検出されない場合、プロセッサ118は、中間エリアに追加の光放出を投影し、これによって中間エリアよりも遠くにある物体の検出を可能とするように、少なくとも1つの光源を制御することができる。そのような場合、例えば少なくとも1つのプロセッサは、初期光放出及び追加の光放出を用いて中間エリアよりも遠くに位置する物体の距離を決定するように構成できる。「反射信号」という用語は、鏡面反射、拡散反射、及びその他の形態の光散乱を含む任意の形態の光の反射及び散乱を含むように広義に解釈されることに留意するべきである。
[0421] 中間エリアで物体が検出された場合、プロセッサ118は、中間エリアへ投影される光の蓄積エネルギ密度が最大許容可能露光量を超えないように、少なくとも1つの光源及び少なくとも1つの光偏向器のうち少なくとも1つを規制することができる。例えば、光投影ユニット及び/又は光偏向ユニットの様々なパラメータを変更して、少なくとも1つの様相が初期光放出とは異なる(例えば目の安全のパラメータに関する少なくとも1つの様相が異なる)追加の光放出をLIDAR FOVセグメントに与えることができる。追加の光放出は、初期光放出が行われたのと同じFOVスキャン中、又は任意の後続のFOVスキャン中に、特定のLIDAR FOVセグメントに対して行うことができる。
[0422] LIDARシステムが検出された物体までの距離値を決定できる場合、この情報は、目の安全の規制に準拠するためにLIDARシステムによって活用され得る。例えば、一度物体が検出されたら、プロセッサ118はこの物体までの距離を(例えば飛行時間分析等に基づいて)決定できる。プロセッサ118は、検出された物体における投影光の強度を計算することができる(例えば、検出された距離と、光源112/偏向器114からの投影光の既知の特徴に基づいて)。プロセッサ118は、この計算に基づいて、この物体までの距離において目に安全な露光時間を決定することができる。プロセッサ118は次いで、この露光時間を超えることがないように光源112及び偏向器114のうち少なくとも1つを制御することができる。同様に、プロセッサ118は、最大許容可能露光量に関連した値を決定するように構成できる。この決定は、少なくとも1つの光偏向器とLIDARシステムの中間エリアで検出された物体との間の決定された距離に基づいて行うことができる。
[0423] 露光時間の決定に加えて又はその代わりに、プロセッサ118は、前述の強度の計算に基づいて、物体までの距離において目に安全な許容可能光エネルギを決定することができる。露光時間と許容可能光エネルギの双方について、いくつかの例では、プロセッサ118は、各パラメータを示す値を決定することによって各パラメータを間接的に決定できることに留意するべきである。明示的に詳述されていない場合であっても、必要な変更を加えて、決定された露光時間を使用するのと同様に許容可能光エネルギの決定(実施される場合)を使用できることに留意するべきである。
[0424] また、少なくとも1つの光偏向器と物体との距離は直接に又は間接的に決定され得ることに留意するべきである。この距離の間接的な決定は、例えば、少なくとも1つの光源と物体との間の距離のような別の距離を決定することによって達成され得る。
[0425] 例えばLIDAR FOVのスキャンを実行するためにFOVが複数のセグメント又はセクタに分割される実施形態では、各セグメント又はセクタをLIDARシステムに対して異なる中間エリアに関連付けることができる。すなわち各セグメント又はセクタは、目の安全の閾値距離と共に、LIDARシステムの近傍に別個の中間エリアを画定できる。いくつかの実施形態において、プロセッサ118は、各セクタへの初期光放出から得られた反射信号に基づいて、複数のセクタに関連付けられた中間エリアの各々に物体が位置しているか否かを判定するように構成できる。場合によっては、プロセッサ118は、センサユニットを介して特定のセクタから受信した反射信号に基づいて、第1のセクタに関連した第1の中間エリア内の物体を検出するように構成できる。同様に、プロセッサは、第2のセクタに関連した第2の中間エリア内に物体が不在であることを判定するように構成できる。そのような場合、少なくとも1つのプロセッサ118は、(例えば単一のスキャンサイクルで)第2の中間エリアに追加の光放出を投影するように少なくとも1つの光源を制御するよう構成できる。更に、プロセッサ118は、第1の中間エリアの光の蓄積エネルギ密度が最大許容可能露光量を超えないように光源及び/又は光偏向器のうち少なくとも1つを規制することができる。
[0426] LIDAR FOVが複数のセクタに分割されるいくつかの実施形態において、プロセッサ118は、各セクタからの初期光放出に関連した反射信号に基づいて、複数のセクタに関連付けられた中間エリアの各々に物体が位置しているか否かを判定するよう構成できる。プロセッサ118は、第1のセクタに関連付けられた第1の中間エリアで物体を検出し、かつ、第2のセクタに関連付けられた第2の中間エリアで物体が不在であると判定した時、単一のスキャンサイクルで第2の中間エリアに追加の光放出を投影するように少なくとも1つの光源を制御できる。また、プロセッサ118は、第1の中間エリアの光の蓄積エネルギ密度が最大許容可能露光量を超えないように、少なくとも1つの光源及び少なくとも1つの光偏向器のうち少なくとも1つを規制することができる。
[0427] 上述のLIDARシステム実施形態のいずれかを、ここに記載される目の安全の光投影プロトコルと併用できることに留意するべきである。例えばいくつかの実施形態において、目に安全なLIDARはモノスタティック偏向器構成を含み、偏向器が視野の特定セグメントへ投影光を向かわせ、視野の特定セグメント内の物体から反射された光を同じ偏向器によって1つ以上のセンサへ誘導することができる。更に、光偏向器は複数の光偏向器を含むことができ、プロセッサ118は、複数の光偏向器に協働してLIDAR FOVをスキャンさせるように構成できる。いくつかの実施形態において、少なくとも1つの光偏向器は単一の光偏向器を含み、少なくとも1つの光源は、単一の光偏向器に照準を合わせた複数の光源を含み得る。
[0428] LIDARシステム100では、様々な異なる光源を採用できる。例えば一部の例における光源は、1000nm未満、800nmから1000nmの間のような波長の光を投影するように構成できる。
[0429] いくつかの実施形態において、LIDARシステム100は2つ以上の光源を含み得る。そのような場合、各光源をLIDAR FOVの異なるエリアに関連付けることができる。プロセッサ118は、視野の第1のエリアにおいて安全距離よりも大きい距離で1つの物体が検出された場合、異なる光源によって視野の第2のエリアへ投影される光のエネルギ密度が視野の第2のエリアに関連付けられた最大許容可能露光量を超えないように、少なくとも1つの光偏向器及び複数の光源の動作を連携させるように構成できる。
[0430] 更に、プロセッサ118は、別のエリアにおいて安全距離よりも大きい距離で別の物体が検出された場合、少なくとも1つの光源によって視野のこの別の部分へ投影される光のエネルギ密度が視野のこの別の部分に関連付けられた最大許容可能露光量を超えないように、少なくとも1つの光偏向器及び少なくとも1つの光源を連携させるように構成できる。いくつかの実施形態において、安全距離は公称眼障害距離(NOHD:Nominal Ocular Hazard Distance)である。
[0431] いくつかの実施形態において、段階2450の選択的な制御は、少なくとも1つのフレーム時間中に少なくとも1つのセグメントにおいて、少なくとも所定数のフレーム時間にわたって人が存在した投影フィールドに対し、安全閾値を超えるパワーを有する後続放出を防止することを含み得る。いくつかの実施形態において、少なくとも1つのフレーム時間における少なくとも1つのFOVセグメントの選択的な制御は、その少なくとも1つのFOVセグメントに与えられる光投影パワーレベルを維持又は増大しながら、同時に蓄積エネルギ量を低減させることを含み得る。例えばパルス状レーザの例では、先行する照射の1又は複数のパルスは、1つ以上の後続放出の1又は複数のパルスと同一のピークパワー(又はより低いパワーレベル)を有し得る。しかしながら、それでも、後続照射の蓄積エネルギは、先行する1又は複数の放出の蓄積エネルギよりも低い可能性がある。そのように、目の安全の規制に準拠して動作しながら、信号対雑音比及び/又は検出範囲を増大させることも可能である。むろん、他の場合、目の安全の規制に準拠しながらLIDAR検出の目標を達成するため、パワーレベル、蓄積エネルギ特性、又は他の任意の光放出パラメータを、いずれかの組み合わせで変動させることが可能である。
[0432] いくつかの実施形態において、段階2450の選択的な制御は、目の安全の規制に準拠するため所与のフレーム時間内の特定のFOVセグメント又はセグメント群への後続光放出を停止(又は防止)することを含み得る。また、そのような制御は、検出器、又は検出及び/又は処理チェーンの他のいずれかのコンポーネントの飽和リスクを低減又は排除するように実施できる。また、そのような制御は、電力節約の問題に対応することができる(例えば、放出を継続することなく以前の放出に基づいて物体を検出できる及び/又は範囲を決定できる場合のように、必要ない場合はエネルギを消費しない)。
[0433] いくつかの実施形態において、少なくとも1つのフレーム時間におけるLIDAR FOVの少なくとも1つのセグメントの選択的な制御は、予備検出情報が所定の検出判定基準を満たす場合に後続放出の放出を防止することを含み得る。いくつかの実施形態では、選択的な制御の後に(各セグメントについて、後続の検出情報を用いずに)予備検出情報を更に処理して、セグメントの深度情報を生成することができる。
[0434] (例えば)目の安全に関して、方法2400は、FOV領域で1つ以上の物体が検出された場合、1つ以上の物体が人及び/又は動物を含む可能性の判定に基づいてそのFOV領域への潜在的に有害な放出の照射を防止するために使用できる。特定のFOV領域への潜在的に有害な放出は、1つ以上の物体が目を持つ個体を含む可能性が低い場合であっても一時停止され得る。また、特定のFOVへの潜在的に有害な放出は、FOVが一般的に目を持つ個体の存在する領域であると判定された場合に(例えば停止したバスの近く、横断歩道の近く、歩道の近く、建物の入り口の近くのような検出された状況に基づいて)、個体(又は物体)が検出されない状況であっても、一時停止(又は他の方法で変更)され得る。目を持つ個体を含むと判定されないか又はそのような個体を含むと予想/予測されないFOVの他の領域では、より大きいパワー放出を与えることができる。この結果、生成される深度マップは、目の安全の制限を受けないエリアでの検出によっていっそう有益となり(例えば大きいパワー放出等のため)、FOV全体にわたる全ての光放出が目を持つ個体の存在を仮定したパワーレベル等で行われる場合よりも、深度マップの全体的な品質を向上させることができる。
[0435] 方法2400は、シーケンスの単一フレーム時間内で、対応する予備検出情報に基づいて、相互に少なくとも2倍異なるパワーレベルを有する様々なFOVセグメントへの後続放出を選択的に制御することを実行することを含み得る(例えば、同一フレーム時間において、1つのFOVセグメントへの後続放出は別のセグメントへの後続放出の少なくとも2倍の大きさのパワーレベルを有し得る)。このフレーム時間の深度マップを生成することができる(例えば段階580)。これは例えば、FOVのいくつかの部分において高いSNR又は長距離検出を可能としながら、FOVの他の領域において又はFOV全体にわたって(例えば蓄積エネルギ閾値を考慮して)目の安全の準拠を維持することができる。
[0436] いくつかの実施形態において、段階2450は、センサ検出情報が取得される検出経路の飽和を防止するように後続放射を選択的に制御することを含み得る。これには、センサ、又は検出及び/又は処理経路内のLIDARのいずれかのコンポーネント、例えば増幅器やアナログ−デジタル変換器等が含まれ得る。飽和の防止は、検出結果の高度な処理において(例えば、検出されたターゲットの反射率レベルを推定するため)利用することができる。
[0437] 方法2400は、所与のフレーム時間における所与のFOVセグメントに対する放出レベルを、同一セグメント又は他のセグメントの1又は複数の先行フレームでの検出結果に基づいて制限すること(又は他の方法で管理すること)を含み得る。方法2400は、所与のフレーム時間における所与のセグメントに対する放出レベルを、(同一フレーム時間又は先行フレーム時間における)別のセグメントの検出結果に基づいて制限すること(又は他の方法で管理すること)を含み得る。
[0438] 方法2400は、(例えば同一フレーム時間における)FOVのセグメントへの後続放出を、同一フレーム時間に取得された同一FOVセグメント又は別のFOVセグメントの予備検出情報に基づいて制御することを含み得る。例えば、LIDARの中間エリア内のターゲット、特に目を持つ個体に対応するターゲットの特定FOVセグメント内での検出は、同一FOVセグメントへ与えられるか又は1つ以上の周囲のFOVセグメントへ与えられる後続光放出に影響を及ぼし得る。そのようなターゲットは例えば、2つ以上のFOVセグメントにまたがることがあり、又は近隣のFOVセグメントに移動することが予想され得る。
[0439] 方法2400は、予備検出情報を取得する前の特定FOVセグメントに対する予備放出を、以前のフレーム時間中に収集された検出情報に基づいて選択的に制御することを含み得る。いくつかの実施形態では、予備照射及び後続照射のために異なる光源を使用することができる。例えば、後続放出がLIDARの主光源によって投影され得る場合、予備照射は別の光源(例えば可視光源、又は場合によっては別のシステムの光源)により投影され得る。任意選択として、予備検出情報は、各後続放出中に投影を行わないLIDARの少なくとも1つの光源によって放出される少なくとも1つの光子の検出に基づく。これらの異なる光源は、単一の光源コントローラによって又は異なるコントローラによって制御することができる。
[0440] 予備検出情報及び後続検出情報の検出は異なるセンサによって実行され得る。例えば、予備検出情報は、近距離検出のために最適化された少なくとも1つのセンサによる検出に基づくことができ、方法2400は、長距離検出のために最適化された少なくとも1つの他のセンサによって検出された後続放出の反射光子の検出情報を処理することを含み得る。異なるタイプのセンサの使用を、異なるタイプの光源(例えば異なるセンサのために最適化されている、又はその逆もまた同様である)の使用と組み合わせることができるが、必ずしもそうとは限らない。一例において、センサ116は、単一光子アバラシェダイオード(SPAD)のアレイに加えて(又はその代わりに)、近距離物体検出のためのアバランシェフォトダイオード(APD)検出器を含み得る。
[0441] 1つのFOVセグメントの予備照射を、FOVのいくつかのセグメントで使用することができる(例えば、予備照射が目の安全の閾値のような閾値レベル未満である場合)。(例えば閾値レベルを超えたエネルギレベルによる)FOVの他のセグメントへの照射は、関連フレームの予備検出情報の分析によって管理できる。例えば、FOVの外周部の周りのFOV領域が目を持つ個体に対するリスクが低いという指示を戻した場合、FOVの外周部は予備の低レベル調査信号を用いて分析することができ、FOVの中央はより大きいパワーの光投影を用いてスキャンすることができる。
[0442] 方法2400は、FOVのフレーム時間内でスキャンステップを実行することを含み得る。スキャンステップは例えば、フレーム時間内でLIDARによって放出され、FOVの外周部に位置する少なくとも1つのセグメントの1つ以上の物体から反射された光に基づいて、外周部検出情報を取得することを含む。また、これらのステップは、外周部検出情報に基づいてFOVの中央に位置するセグメントへの光放出を選択的に制御することを含み得る。
[0443] 全体として方法2400を参照し、更に上記で検討されたその変形を参照すると、方法2400は、プロセッサ(例えばLIDARのコントローラ)によって実行できるコンピュータ読み取り可能コード(命令セット)内で具現化され得ることに留意するべきである。これによって、深度マップのシーケンスを生成する光検出と測距(LIDAR)デバイスの動作を制御するための非一時的コンピュータ読み取り可能媒体が開示される(シーケンスの各深度マップは対応する1秒未満のフレーム時間で生成される)。非一時的コンピュータ読み取り可能媒体は、記憶された命令を含むことができ、これらの命令はプロセッサ上で実行された場合、(a)各フレーム時間中にLIDARによって放出されて各セグメントから反射された光の予備検出情報を取得すること、及び(b)予備検出情報に基づいて、各フレーム時間中の各セグメントへのLIDARによる後続光放出を選択的に制御すること、を含むステップを実行し得る。また、方法2400の任意の他のステップも、コンピュータ読み取り可能媒体に記憶されてプロセッサにより実行可能な命令として実装され得る。
[0444] 図25Aは、ここに開示される主題に従った方法2500の一例を示すフローチャートである。方法2500は方法2400の1つの可能な実装である。図25Aに示されているように、任意選択として、同一フレーム時間からの結果に基づいた(所与のフレーム時間における所与のセグメント内の)LIDARによる更なる光放出の選択的な制御を、安全なフレーム時間で数回繰り返すことができる。例えば、放出、検出、分析、及び選択的な制御を行うこのシーケンスを、特定のFOVセグメントに対して放出される各パルスについて繰り返すことができる。
[0445] ステップ2500は、いくつかの実施形態において、LIDARの範囲閾値内の物体を検出し、物体が検出されたか否かに基づいて後続光放出を設定するためのステップを含み得る。LIDARシステム100、又は図23を参照して上述したLIDARは、中間エリアへ光パルスを放出するように1つ以上の光源112を制御することができる。光パルスは、1つ以上の偏向器114によってFOVの特定セグメントに誘導できる。FOVの特定セグメント内に物体が存在する場合、LIDARシステム100は1つ以上のセンサ116又はセンサアレイを介してその物体から反射した光を受光することができる。プロセッサ118又は範囲推定器2390は、この反射光を用いて物体とLIDARシステム100との距離を決定できる。物体が閾値距離以内にある場合、プロセッサ118は、中間エリアに投影される光の蓄積エネルギ密度が最大許容可能露光量を超えないように光源112の少なくとも1つ及び光偏向器114の少なくとも1つを規制することができる。物体が検出されない場合、同一セグメントに後続光パルスを放出して、中間エリアよりも遠くに物体が存在するか否かを検出することができる。
[0446] 例えば歩行者が検出された場合、後続光放出特性は、この歩行者の存在を考慮する(account for)ように決定できる。いくつかの実施形態において、歩行者が存在すると判定された特定の1又は複数のFOVセグメントへの光放出は、適用可能な目の安全の規制に準拠するパワーレベル、集積エネルギレベル、持続時間等に制限され得る。この実施形態の利点には、自治体又は連邦の規制によって安全と見なされる範囲内まで放出パワーを低減させることによって、LIDARのこのエリア内の歩行者又は他の人物に対する安全性を高めることが含まれる。
[0447] 図25Bは、物体を検出するための例示的な方法2500を示している。方法2500は、少なくとも1つのプロセッサ(例えば、図1Aに示されているLIDARシステム100の処理ユニット108のプロセッサ118、及び/又は図2Aに示されているLIDARシステムの処理ユニット108の2つのプロセッサ118)によって実行できる。ステップ2502において、プロセッサ118は、視野(例えば図1A及び図2Aの視野120)のスキャンサイクルにおいて、少なくとも1つの光源(例えば図1Aの光源112、図2Aの光源112のレーザダイオード202、及び/又は図2Bの複数の光源102)からの光の光束を変動させ得るように、少なくとも1つの光源を制御することができる。例えば、プロセッサ118は少なくとも1つの光源からのパルスのタイミングを変動させ得る。これの代わりに又はこれと同時に、プロセッサ118は少なくとも1つの光源からのパルスの長さを変動させ得る。別の例として、プロセッサ118はこれの代わりに又はこれと同時に、少なくとも1つの光源からのパルスの大きさを変動させ得る(例えば長さ又は幅、又は他の方法で断面積を変化させる)。更に別の例において、プロセッサ118は、これの代わりに又はこれと同時に、少なくとも1つの光源からのパルスの振幅及び/又は周波数を変動させ得る。
[0448] ステップ2504は更に、プロセッサ118が、視野をスキャンするため、少なくとも1つの光源からの光を偏向させるように、少なくとも1つの偏向器(例えば図1Aの光偏向器114、図2Aの偏向器114A及び/又は偏向器114B、及び/又は図2Bの一方向偏向器214)を制御することを含み得る。例えばプロセッサ118は、少なくとも1つの光偏向器の機械的移動を行って視野をスキャンすることができる。この代わりに又はこれと同時に、プロセッサ118は、視野をスキャンするため少なくとも1つの偏向器の圧電的又は熱電気的な変化を誘発し得る。
[0449] ステップ2506において、プロセッサ118は、少なくとも1つのセンサ(例えば図1Aのセンサ116)から、視野内の物体から反射された光を示す反射信号を受信することができる。一実施形態において、反射信号は、視野(例えば図4Bの第2のFOV414)の単一部分に関連付けることができる。ステップ2508において、プロセッサ118は、初期光放出の反射信号に基づいて、視野の中間エリアにおいて少なくとも1つの光偏向器からの閾値距離内に物体が位置しているか否かを判定できる。一実施形態に従って、閾値距離は眼障害距離に関連付けることができる。言い換えると、プロセッサ118は、投影される光量が中間エリア内に位置する個体に損傷を与え得るか否かを判定できる。別の実施形態に従って、閾値距離はセンサ飽和距離に関連付けることができる。言い換えると、プロセッサ118は、投影される光量によって生じる反射光がセンサ116をオーバーフローさせ得るか否かを判定できる。
[0450] 中間エリアで物体が検出されない場合、すなわちステップ2510においてプロセッサ118は、中間エリアへ追加光放出を投影し、これによって中間エリアよりも遠くにある物体の検出を可能とするように、少なくとも1つの光源を制御することができる。更に、中間エリアで物体が検出された場合、すなわちステップ2512においてプロセッサ118は、中間エリアにおける光の蓄積エネルギ密度が最大許容可能露光量を超えないように少なくとも1つの光源及び少なくとも1つの光偏向器のうち少なくとも1つを調整することができる。上述した2つの実施形態によれば、最大許容可能露光量は、中間エリアに位置する個体に損傷を与え得る投影光の量、又は、反射光がセンサ116をオーバーフローさせてその機能に損傷を与え得る投影光の量に関連付けることができる。
[0451] 共通のステアラブル偏向器を用いたLidarにおける並行シーンスキャン
[0452] 本開示の実施形態に従ったLIDARシステムでは、複数の光源を用いることができる。例えば、複数の光源の使用によって、視野の異なる部分の同時スキャン、及び/又は異なる波長や強度等の光を用いた視野のスキャンが可能となる。更に、本開示の実施形態に従ったLIDARシステムは、複数の光源からの光に照準を合わせた共通の偏向器を用いることができる。例えば、本開示の実施形態に従ったLIDARシステムは、単一の偏向器を用いて、複数の光源からの光を同時にFOVの異なる方向へ導くことができる。共通の偏向器を用いることで、LIDARシステムの大きさ、コスト、及び/又は複雑さを低減できる。いくつかの実施形態において、本開示の実施形態に従ったLIDARシステムは、同一の偏向器を用いて複数の光源からの光を誘導すると共に視野から受光した反射を誘導することができる。いくつかの実施形態において、複数の光源のうち1つの光源は、(例えば光束を増大させる等のため)一斉に動作する複数の個別の光源を含み得る。そのような複数のものは、同様の個別の光源を含み得るが、異なる種類及び/又は異なる特性の個別の光源を含むことも可能である。
[0453] 図26A、図26B、及び図26Cは、ここに開示される主題の例に従って、LIDAR(特に共通の偏向器を備えたもの)を用いて物体を検出するための方法2600、2630、及び2660を(それぞれ)示している。方法2600、2630、及び2660のいずれか1つは、少なくとも1つのプロセッサによって実行できる(例えば図1Aに示されているLIDARシステム100の処理ユニット108のプロセッサ118、図2Aに示されているLIDARシステムの処理ユニット108の2つのプロセッサ118、図27のLIDARシステム2700の少なくとも1つプロセッサ2702、及び/又は図28のLIDARシステム2800の少なくとも1つプロセッサ2802)。少なくとも1つのプロセッサは、車両(例えば後述される図42Aの車両4201、図42Bの車両4205、図42Cの車両4209等)の本体内に配置され得る。少なくとも1つのプロセッサによって、方法2600、2630、及び/又は2660の任意の組み合わせも実施できる。そのような組み合わせは、以下で検討する方法2600、2630、及び/又は2660の任意のものからの2つ以上のステップの任意の組み合わせを含み得る。更に、方法2600、2630、及び/又は2660は、任意選択として、開示される実施形態に従ったいずれかのLIDARシステムによって実行できる。これらの方法(2600、2630、2660)のいずれか1つの状況におけるLIDARシステムのコンポーネントに関する検討は、非限定的に、必要な変更を加えて、他の2つの方法にも適用可能である。
[0454] ステップ2601において、少なくとも1つのプロセッサ118又は2702又は2802は、少なくとも1つの偏向器(例えば図27のLIDARシステム2700の偏向器2704及び/又は図28のLIDARシステム2800の偏向器2804)が特定の瞬時位置にある間、複数の光源(例えば図27のLIDARシステム2700の光源2706、2708、及び2710、及び/又は図28のLIDARシステム2800の光源2806及び2808)からの光を、複数のアウトバウンド経路に沿って、視野(例えば図27の視野2712及び/又は図28の視野2810)を形成する複数の領域(例えば図27の領域2712a、2712b、及び2712c、及び/又は図28の領域2810a及び2810b〉の方へ偏向させるように、少なくとも1つの偏向器を制御する。例えば、図2B、図27、及び図28に示されているように、少なくとも1つの偏向器の各瞬時位置において、異なる光源の各々の光を対応する領域の一部へ誘導することができる。上述の複数の領域(例えば2712a、2712b)は、各領域のいずれかよりも大きい視野に広がることによって、視野を形成することができる。いくつかの実施形態において、形成されるFOVは連続的であり得る(例えば図27及び図28に示されているように)。この代わりに又はこれと同時に、形成されるFOVは2つ以上の別個のFOV領域を含み得る。
[0455] 複数の光源の1つ以上の特性は異なる場合がある。例えば以下に説明するように、複数の光源のうち少なくとも2つから放出される光の波長は異なる可能性がある。別の例として、複数の光源のうち少なくとも2つの最大パワー、デューティサイクル、パルスタイミング、パルス長等は異なる可能性がある。また一方で、複数の光源の1つ以上の特性は光源間で同一であるか又は少なくとも実質的に同様である場合がある。
[0456] 例えば、図27に示されているように、複数の光源は少なくとも3つの別個の光源を含み得る。いくつかの実施形態において、複数の光源からの光の相互の角度はスキャン全体を通して固定され得る。例えば、第1の光源からの光は異なる時点tにおいて角度α1(t)で偏向器の表面に入射し、第2の光源からの光は異なる時点tにおいて角度α2(t)で偏向器の同一表面に入射し、α1(t)−α2(t)は全ての異なる時点tにおいて一定であり得る。光源が単一の面上に配置されていない実施形態では、2つの角度を用いて、偏向器の表面上での各光源の入射角を識別することができる。いくつかの実施形態において、各光源は概ね視野の異なる領域に関連付けることができる。例えば、視野の少なくとも第1の領域(例えば図27の領域2712a)は、少なくとも第2の領域(例えば図27の領域2712b)に隣接すると共に、少なくとも第3の領域(例えば図27の領域2712c)から離間され得る。この代わりに又はこれと同時に、そのような例では、視野の少なくとも各領域を視野の異なる角度部分に関連付けることができる。いくつかの実施形態において、異なる領域は同様のサイズとすることができる(例えば同様の角サイズ等)。これは、例えば図1Aの各偏向器114の瞬時位置の範囲によって規定され得る。
[0457] いくつかの実施形態において、少なくとも1つの偏向器は、図27及び図28に示されているように、2つの別個の軸に沿って枢動するように構成された単一の偏向器を含み得る。従って、単一の偏向器は2つの別個の軸に沿って光を誘導する及び/又は偏向することができる。この代わりに又はこれと同時に、少なくとも1つの偏向器は、図3Bに示されているように、個別に枢動するよう構成された複数の偏向器を備えた偏向器アレイを含み得る。本明細書で用いる場合、「枢動する」という用語は、偏向器又は偏向器内のリフレクタの機械的移動を指すが、図1Aの偏向器114に関して(例えばOPA、VCSELアレイ、MEMSアレイ等に関して)更に詳しく検討されるように、異なる瞬時位置間で移動する他の任意の方法も含み得る。
[0458] いくつかの態様において、スキャンサイクル中、少なくとも1つの光偏向器は複数の異なる瞬時位置に配置され得る。例えば少なくとも1つの光偏向器は、異なる瞬時位置間を連続的なスイープ運動で移動することができる。あるいは、少なくとも1つの偏向器は、スキャンサイクル中に連続的なスイープで移動するのではなく複数の離散的な瞬時位置間を移動することができる。
[0459] いくつかの実施形態において、少なくとも1つの偏向器は2次元であり、従って2つの軸を規定することができる。そのような実施形態において、視野の領域は、少なくとも1つの偏向器の1つの軸に対応して、又は双方の軸に対応して配置され得る。この代わりに又はこれと同時に、FOVの2つ、3つ、又はそれ以上の領域は、直線に沿って、相互に平行に、例えば各々が実質的に同じエリアをカバーするように配置され得る。従って、スキャンサイクル内のスキャンは、少なくとも1つの軸に対して別の(実質的に垂直な)方向で平行に実行され得る。
[0460] いくつかの実施形態において、少なくとも1つの光偏向器は、複数の光源のうち少なくとも1つと同じ筐体内に収容することができる。他の実施形態において、少なくとも1つの光偏向器は複数の光源とは別個の筐体内に収容することができる。
[0461] ステップ2603において、少なくとも1つのプロセッサ118又は2702又は2802は、少なくとも1つの偏向器が特定の瞬時位置にある間、視野からの光反射が少なくとも1つの偏向器の少なくとも1つの共通エリア(例えば図27の偏向器2704の共通エリア2714、図27の共通エリア2748、及び/又は図28の偏向器2804の共通エリア2812)で受光されるように、少なくとも1つの偏向器を制御する。いくつかの態様では、少なくとも1つの共通エリアにおいて、複数の光源のうち少なくともいくつかの光反射の少なくとも一部は相互に重なって入射する。例えば、1つの光反射が受光されるエリアは、別の光反射が受光されるエリアと少なくとも部分的に重複し得る。そのような入射は、同時であるか又は異なる時点で発生する可能性がある。例えば、異なる距離を進んできた光反射は別々の時点で到着し得る。別の例として、複数の光源からの光が異なる時点で放出され、このため異なる時点で反射を生成する場合がある。このようなタイミングは複数の光源間で様々に異なる可能性がある。
[0462] ステップ2605において、少なくとも1つのプロセッサ118又は2702又は2802は、複数の検出器(例えば図27のセンサ2716、2718、及び2720の検出器、及び/又は図28のセンサ2814の検出器)の各々から、少なくとも1つの偏向器が特定の瞬時位置にある間の少なくとも1つの共通エリアからの光反射を示す少なくとも1つの信号を受信する。例えば、複数の検出器は光反射を吸収し、少なくとも1つのプロセッサ118又は2702又は2802に送信するため吸収した反射を電気信号やデジタル信号等に変換することができる。従って複数の検出器は、電磁波の特性(例えば電力、周波数)を測定し、測定した特性に関連する出力(例えばデジタル信号)を生成することができる任意の感光デバイスを含み得る。いくつかの態様において、受光される光反射は、共通の入射エリア、すなわち上述のように2つ以上の光源からの反射が入射するエリアからのものであり得る。
[0463] いくつかの実施形態において、複数の検出器は、例えば図28に示されているように、少なくとも1つの光偏向器の特定の位置に関連付けられた少なくとも2つの異なる距離を測定するように構成された単一のセンサの一部であり得る。例えば、少なくとも2つの異なる距離は、FOVの異なる部分に関連付けることができる。この代わりに又はこれと同時に、少なくとも2つの距離は、同一画素内で、例えば相互に一部を隠している異なるターゲットから反射された光子によって決定され得る。他の実施形態において、複数の検出器は、LIDARシステム内の異なるロケーションに位置する別個の異なるセンサの一部であり得る。
[0464] 複数の光源が少なくとも3つの別個の光源を含む例では(また、複数の光源が2つの光源を含むいくつかの例では)、各光源を視野の異なる領域に関連付けることができ、視野の少なくとも第1の領域は少なくとも第2の領域に隣接して位置すると共に少なくとも第3の領域から離間し、複数の検出器を少なくとも3つの別個のセンサに(又は、例えば2つの光源では2つに)関連付けることができる。そのような実施形態では、例えば図27に示されているように、少なくとも3つの別個のセンサの各々を異なる光源に関連付けることができる。更に、そのような実施形態において複数の検出器は、視野の第1の領域に位置する第1の物体及び視野の第3の領域に位置する第2の物体を同時に検出するように構成できる。このような検出は、例えば第1の領域の画素のうち1つのスキャン時間内で同時であり得る。しかしながら、このような同時は、瞬間的に(instantaneously)同時でない場合がある。例えば上述のように、異なる距離を進んできた光反射は別々の時点で到着し得る。別の例として、複数の光源からの光が異なる時点で放出され、このため異なる時点で反射を生成する場合がある。
[0465] 方法2600は追加のステップを含み得る。例えば方法2600は、上述のように、少なくとも1つの偏向器を繰り返し移動させることによって視野をスキャンすることを更に含み得る。視野の単一のスキャンサイクル中、少なくとも1つの偏向器を複数の異なる瞬時位置に(異なる時点で)配置することができる。従って、異なる瞬時位置では、複数の光源からの光の偏向及び/又は反射も異なる可能性がある。従って、光は視野の異なる領域に誘導され得る、及び/又は反射は視野の異なる領域から受光され得る。
[0466] 別の例として、方法2600は、少なくとも1つの共通エリアからの光反射に基づいて視野の異なる領域に関連した複数の距離測定値を決定することを含み得る。例えば、1つの距離測定値は第1の領域内の第1の車両に対するものであり、別の距離測定値は第2の領域内の第2の車両に対するものであり得る。別の例として、1つの距離測定値は第1の領域内の車両に対するものであり、別の距離測定値は第2の領域内の道路(例えば車両の後方、前方、又は隣接して存在する可能性がある)に対するものであり得る。更に別の例として、1つの距離測定値は第1の領域内の第1の車両に対するものであり、別の距離測定値は第2の領域内の物体(例えば道路の脇に存在する可能性がある)に対するものであり得る。特定の態様では、いくつかの物体が異なる領域で検出され得る。これは、例えばそれらの領域が部分的に重複していること、及び/又は物体が2つの領域間の境界上に位置していることが理由である。
[0467] 方法2600は更に、少なくとも1つの偏向器の第1の瞬時位置において(すなわち、少なくとも1つの偏向器が第1の瞬時位置に留まっている間に)、第1の光源が第2の光源よりも多くの光束を少なくとも1つの偏向器へ放出するように、かつ、少なくとも1つの偏向器の第2の瞬時位置において、第2の光源が第1の光源よりも多くの光束を少なくとも1つの偏向器へ放出するように、複数の光源を制御することを含み得る。一例として、少なくとも1つのプロセッサ118又は2702又は2802は、第1の光源からの光がまっすぐ誘導される第1の瞬時位置で第1の光源からの光束を増大させ、第2の光源からの光がまっすぐ誘導される第2の瞬時位置で第2の光源からの光束を増大させ得る。従って、脇にある物体よりもまっすぐ前方の物体を見ることに多くのエネルギを消費できる。上述のように、少なくとも1つのプロセッサ118又は2702又は2802は、複数の光源からのパルスのタイミングを変動させ、複数の光源からのパルスの長さを変動させ、複数の光源からのパルスの大きさを変動させ(例えば長さ又は幅、又は他の方法で断面積を変化させる)、複数の光源からのパルスの振幅及び/又は周波数を変動させ、及び/又は複数の光源からの連続波(CW)もしくは準CW光放出のパラメータ(例えば振幅、変調、位相等)を変更することができる。いくつかの実施形態において、(異なる光源による)異なる領域内の光束管理は、他の領域とは別個に管理され得る。この代わりに又はこれと同時に、少なくとも1つのプロセッサ118又は2702又は2802は、(例えば最大電力消費を超えないために)2つ以上の領域の光学予算及び/又はパワー予算の間でバランスを取ることができる。
[0468] 図26Bに示されている方法2630を参照すると、ステップ2631において、少なくとも1つのプロセッサ118又は2702又は2802は、少なくとも1つの偏向器が特定の瞬時位置にある間、複数の光源からの光を複数のアウトバウンド経路に沿って視野を形成する複数の領域の方へ偏向させるように、少なくとも1つの偏向器を移動させる。「移動させる」という用語は、更に詳しく上記のいくつかの例を用いて検討されるように広義に解釈するべきである。例えば、少なくとも1つの偏向器の各瞬時位置において、図2B、図27、及び図28に示されているように、異なる光源の各々の光を対応する領域の部分へ誘導することができる。
[0469] 図26Aの方法2600を参照して上述したように、複数の光源の1つ以上の特性は様々に異なることがある。更に、図26Aの方法2600と同様、複数の光源は、少なくとも2つ(例えば図28に示されているように)、少なくとも3つ(例えば図27に示されているように)、又はより多くの別個の光源を含み得る。このような例において、各光源は概ね視野の異なる領域に関連付けることができる。この代わりに又はこれと同時に、これらの領域は少なくとも部分的に重複することがある(例えば、性能を向上させるため、そのエリアにおける最大光束を増大させるため、2つのエリア間の較正のため、FOVの重要部分の故障に備えたバックアップのため、異なる波長で動作する場合等)。更に、そのような例において、視野の少なくとも第1の領域は、少なくとも第2の領域に隣接すると共に少なくとも第3の領域とは離間され得る。この代わりに又はこれと同時に、そのような例において、視野の少なくとも各領域は視野の異なる角度部分に関連付けることができる。
[0470] いくつかの実施形態において、図26Aの方法2600と同様、少なくとも1つの光偏向器は、複数の光源のうち少なくとも1つと同じ筐体内に収容することができる。他の実施形態において、少なくとも1つの偏向器は複数の光源とは別個の筐体内に収容することができる。
[0471] ステップ2633において、少なくとも1つの偏向器が特定の瞬時位置にある間、少なくとも1つの偏向器は、少なくとも1つの偏向器の少なくとも1つの共通エリア上で、視野内の物体からの複数の光源の光反射を受光することができる。いくつかの態様では、少なくとも1つの共通エリアにおいて、光反射の少なくとも一部は相互に重なって入射する。例えば図26Aの方法2600を参照して上述したように、1つの光反射が受光されるエリアは、別の光反射が受光されるエリアと少なくとも部分的に重複し得る。そのような入射は、同時であるか又は異なる時点で発生する可能性がある。例えば、異なる距離を進んできた光反射は別々の時点で到着し得る。別の例として、複数の光源からの光が異なる時点で放出され、このため異なる時点で反射を生成する場合がある。このようなタイミングは複数の光源間で様々に異なる可能性がある。
[0472] ステップ2635において、複数の検出器(例えば図27のセンサ2716、2718、及び2720の検出器、及び/又は図28のセンサ2814の検出器)の各々は、少なくとも1つの光偏向器が瞬時位置にある時の少なくとも1つの共通エリアからの光反射を受光することができる。例えば、図26Aの方法2600を参照して上述したように、複数の検出器は、電磁波の特性(例えば電力、周波数)を測定し、測定した特性に関連する出力(例えばデジタル信号)を生成することができる任意の感光デバイスを含み得る。いくつかの態様において、受光される光反射は、共通の入射エリア、すなわち上述のように2つ以上の光源からの反射が入射するエリアからのものであり得る。
[0473] いくつかの態様においては、図26Aの方法2600と同様、複数の検出器は、例えば図28に示されているように、少なくとも1つの光偏向器の特定の位置に関連付けられた少なくとも2つの異なる距離を測定するように構成された単一のセンサの一部であり得る。例えば、少なくとも2つの異なる距離は、FOVの異なる部分に関連付けることができる。この代わりに又はこれと同時に、少なくとも2つの距離は、同一画素内で、例えば相互に一部を隠している異なるターゲットから反射された光子によって決定され得る。
[0474] 方法2630は、(限定ではないが)方法2600に関して検討した1つ以上のステップの任意の組み合わせのような追加ステップを含み得る。
[0475] 図26Cに示されている方法2660を参照すると、ステップ2661において、少なくとも1つのプロセッサ118又は2702又は2802は、少なくとも1つの偏向器に照準を合わせた複数の光源を制御する。例えば、方法2600のステップ2601と同様、少なくとも1つのプロセッサ118又は2702又は2802は、複数の光源からのパルスのタイミングを制御し、複数の光源からのパルスの長さを制御し、複数の光源からのパルスの大きさを制御し(例えば長さ又は幅、又は他の方法で断面積を変化させる)、複数の光源からのパルスの振幅及び/又は周波数を制御し、及び/又は複数の光源からの連続波(CW)又は準CW光放出のパラメータ(例えば振幅、変調、位相等)を制御することができる。
[0476] ステップ2663において、少なくとも1つのプロセッサ118又は2702又は2802は、複数の光源からの反射を検出するように構成された複数の検出器からデータを受信する。いくつかの態様において、図26Aの方法2600と同様、複数の検出器は、図28に示されているように、少なくとも1つの光偏向器の特定の位置に関連付けられた少なくとも2つの異なる距離を測定するように構成された単一のセンサの一部であり得る。例えば、少なくとも2つの異なる距離は、FOVの異なる部分に関連付けることができる。この代わりに又はこれと同時に、少なくとも2つの距離は、同一画素内で、例えば相互に一部を隠している異なるターゲットから反射された光子によって決定され得る。
[0477] ステップ2665において、少なくとも1つのプロセッサ118又は2702又は2802は、少なくとも1つの偏向器が特定の瞬時位置にある間、複数の光源からの光を複数のアウトバウンド経路に沿って視野を形成する複数の領域の方へ偏向させるように、少なくとも1つの偏向器を移動させる。「移動させる」という用語は、更に詳しく上記のいくつかの例を用いて検討されるように広義に解釈するべきである。
[0478] 図26Aの方法2600と同様、図27に示されているように、複数の光源は少なくとも3つの別個の光源を含み得る。このような例において、各光源は概ね視野の異なる領域に関連付けることができる。更に、そのような例では、視野の少なくとも第1の領域は、少なくとも第2の領域に隣接すると共に少なくとも第3の領域とは離間され得る。この代わりに又はこれと同時に、このような例において、視野の少なくとも各領域は視野の異なる角度部分に関連付けることができる。
[0479] ステップ2667において、少なくとも1つのプロセッサ118又は2702又は2802は、少なくとも1つの偏向器が特定の瞬時位置にある間、視野からの光反射が少なくとも1つの偏向器の少なくとも1つの共通エリア上で受光されるように、少なくとも1つの偏向器を制御する。いくつかの態様では、少なくとも1つの共通エリアにおいて、複数の光源の少なくともいくつかの光反射の少なくとも一部は相互に重なって入射する。説明のための例が図26Aの方法2600を参照して上記で与えられている。
[0480] ステップ2669において、少なくとも1つのプロセッサ118又は2702又は2802は、複数の検出器の各々から、少なくとも1つの偏向器が特定の瞬時位置にある間の少なくとも1つの共通エリアからの光反射を示す少なくとも1つの信号を受信する。説明のための例が図26Aの方法2600を参照して上記で与えられている。
[0481] 方法2660は、(限定ではないが)方法2600及び/又は2630に関して検討した1つ以上のステップの任意の組み合わせのような追加ステップを含み得る。
[0482] 別の例として、図26Aの方法2600と同様、方法2660は、少なくとも1つの共通エリアからの光反射に基づいて、視野の異なる領域に関連した複数の距離測定値を決定することを含み得る。方法2660は更に、図26Aの方法2600と同様、少なくとも1つの偏向器の第1の瞬時位置において、第1の光源が第2の光源よりも多くの光束を少なくとも1つの偏向器へ放出するように、かつ、少なくとも1つの偏向器の第2の瞬時位置において、第2の光源が第1の光源よりも多くの光束を少なくとも1つの偏向器へ放出するように、複数の光源を制御することを含み得る。
[0483] 視野を形成する完全に別個の領域を用いることを記載したが、方法2600、2630、及び/又は2660は、少なくとも1対の部分的に重複するFOV領域を用いて実施され得る。これは、(限定ではないが)性能を向上させるため、そのエリアにおける最大光束を増大させるため、2つのエリア間の較正のため、FOVの重要部分の故障に備えたバックアップのため、異なる波長で動作する場合等、異なる用途のために実施され得る。これらの用途のいくつかについては以下で更に詳しく検討する。
[0484] 複数の光源が少なくとも2つの別個の光源を含み得る実施形態において、各光源は、異なる波長で光を投影するように構成され得る(例えば図27及び図28の光源)。所与の波長で動作する光源は、ある波長帯の光を放出することができ、これは狭帯域である場合がある(例えば600nmの波長を有する光源は、±2nmの帯域幅すなわち598〜602nmの無視できない量の光を放出し得る)。いくつかの態様において、LIDARシステム100、200、2700、及び/又は2800の光源は、例えば投影光の波長範囲を限定するためフィルタと結合することができる。いくつかの実施形態において、少なくとも第1の光源は、400〜800nm及び/又は800〜1000nmの波長の光を投影するように構成することができ、少なくとも第2の光源は、800nm(又は850nm又は900nm等)及び/又は1500nmより大きい波長の光を放出するように構成されている。いくつかの態様において、第1の光源は、第1の光源からの光及び第2の光源からの光が双方とも完全に可視範囲外であるような波長の光を投影するように構成され得る。
[0485] そのような実施形態において、少なくとも2つの光源は、視野の実質的に重複する領域に光を投影するように構成され得る。実質的に重複する領域において異なる波長を使用すると、ある波長では見えなかった(又は少なくとも見えないとされた)物体を別の波長によって検出することが可能となる。
[0486] 更に、複数の光源が同じ(又は実質的に同じ)波長の光を投影するように構成され得る実施形態においても、複数の光源は、実質的に重複する視野領域に光を投影するように構成され得る。この重複によって結果を整合し、較正又は検出の誤差を低減すること及び/又は第2の光源を用いる場合に1つの光源からの雑音を抑制することが可能となる。更に、そのような重複によって、故障した光源や検出器のような故障した機器の検出が可能となる。
[0487] 完全に別個の光源を用いるものとして記載したが、方法2600、2630、及び/又は2660で使用される複数の光源は、ビームスプリッタに結合された単一の光源を含み得る。従ってビームスプリッタは、異なる方向から少なくとも1つの偏向器へ光ビームを投影し、これによって完全に別個の光源と同様に機能することができる。
[0488] 図27は、複数の光源及び共通の偏向器を有する例示的なLIDARシステム2700を示す図である。図27に示されているように、複数の光源からの光は少なくとも1つの光偏向器の重複エリアに入射することができる。これに加えて又はこの代わりに、複数の光源から発してシーンから反射されて戻った光は、少なくとも1つの光偏向器の重複エリアに入射することができる。図27に示されているように、システム2700の少なくとも1つのプロセッサ2702は少なくとも1つの偏向器2704を制御する。少なくとも1つの偏向器2704は、スキャンサイクル中に特定の瞬時位置に配置され得る。少なくとも1つのプロセッサ2702は更に、複数の光源(例えば光源2706、2708、及び2710)を制御することができる。
[0489] 複数の光源2706、2708、及び2710は、視野2712の方へ向けることができる。図27に示されているように、視野2712は、第2の領域2712bに隣接すると共に第3の領域2712cから離間した第1の領域2712aを含む。図27には非重複として示されているが、いくつかの実施形態は、実質的に重複したエリアを有する2つ以上の領域を含み得る。
[0490] 図27の挿入図は、偏向器2704(例えば単一の矩形ミラー)の表面を示し、更に、この表面に入射する3つの光源2706、2708、及び2710からの光ビームの照射を、光ビーム断面2742、2744、及び2746として示している。異なる陰影レベルは偏向器2704の各エリアの蓄積照射レベルを表し、単一の光源による照射、2つの光源による照射、又は3つの光源による照射(例えばエリア2748)である。挿入図に示されているように、エリア2748では、3つの光源2706、2708、及び2710からの光が偏向器の共通エリアに入射する(必ずしもではないが場合によっては同時に)。挿入図に更に示すように、光源2706、2708、及び2710の1つ以上からの一部の光は偏向器に入射しないことがある(破線の楕円で表されている)。例えば、光ビームが表面の寸法よりも大きい場合があり(垂直軸に示されている)、従って表面の対応する寸法よりも小さい場合もある。挿入図は更に、光ビーム2742、2744、及び2746がそれぞれ異なる大きさである及び/又は少なくとも部分的に相互に不整合である可能性があることを示している。いくつかの実施形態において、反射波面はLIDARシステム(例えばシステム2700)の光学開口よりもはるかに大きい場合があるので、偏向器2704は、複数の光源から反射した光が偏向器のアクティブ偏向エリア全体に入射するような大きさ及び/又は位置決めに設定することができる。
[0491] 図27の実施形態において、少なくとも1つの偏向器2704は共通エリア2714を有する。複数の光源2706、2708、及び2710は、共通エリア2714に照準を合わせることができる。従って複数の光源2706、2708、及び2710は、対応する複数の光ビームを、アウトバウンド経路(例えば経路2722a、2722b、及び2722c)に沿って領域2712a、2712b、及び2712cへ放出することができる。複数の光ビームによって、複数の対応する反射が視野2712から(又はその中の物体から)帰還経路(例えば経路2724a、2724b、及び2724c)に沿って進行できる。図27に更に示されているように、各反射は、少なくとも1つの偏向器2704の共通エリア2714を用いて、対応するセンサ(例えばセンサ2716、2718、及び2720)へ誘導することができる。図27に示されているように、アウトバウンド経路2722a、2722b、及び2722cはどれも一致せず、帰還経路2724a、2724b、及び2724cはどれも一致しない。他の実施形態において、少なくとも2つのアウトバウンド経路及び/又は少なくとも2つの帰還経路は一致する場合がある。
[0492] 図28は、複数の光源及び共通の偏向器を有する別の例示的なLIDARシステム2800を示す図である。図28に示されているように、複数の光源からの光は少なくとも1つの光偏向器の重複エリアに入射することができる。これに加えて又はこの代わりに、複数の光源から発してシーンから反射されて戻った光は、少なくとも1つの光偏向器の重複エリアに入射することができる。図28に示されているように、システム2800の少なくとも1つのプロセッサ2802は少なくとも1つの偏向器2804を制御する。少なくとも1つの偏向器2804は、スキャンサイクル中に特定の瞬時位置に配置され得る。少なくとも1つのプロセッサ2802は更に、複数の光源(例えば光源2806及び2808)を制御することができる。図28の例において、光源2806及び28082は異なる波長を有し得る。他の実施形態において、光源2806及び28082は、異なる最大パワー、デューティサイクル、パルスタイミング、パルス長等を有し得る。
[0493] 光源2806及び2808は視野2810の方へ向けることができる。図28に示されているように、視野2810は第1の領域2810a及び第2の領域2810bを含む。図28には非重複として示されているが、いくつかの実施形態は、実質的に重複したエリアを有する2つ以上の領域を含み得る。
[0494] 図28の実施形態において、少なくとも1つの偏向器2804は共通エリア2812を有する。光源2806及び2808は共通エリア2812に照準を合わせることができる。従って複数の光源2806及び28082は、対応する複数の光ビームを、アウトバウンド経路(例えば経路2816a及び2816b)に沿って領域2810a及び2810bへ放出することができる。複数の光ビームによって、複数の対応する反射が視野2810から(又はその中の物体から)帰還経路(例えば経路2818a及び2818b)に沿って進行できる。図28に更に示されているように、各反射は、少なくとも1つの偏向器2804の共通エリア2812を用いて、単一のセンサ2814へ誘導することができる。図28に示されているように、アウトバウンド経路2816a及び2816bは一致しないが、帰還経路2818a及び2818bは一致する。他の実施形態において、少なくとも2つのアウトバウンド経路は一致する場合がある、及び/又は少なくとも2つの帰還経路は一致しない場合がある。
[0495] いくつかの例において、少なくとも1つの偏向器2704、2804、114等は、例えば図3Bに示されているように、偏向器アレイ(例えば枢動圧電ミラーアレイ等のような枢動ミラーアレイ)を含み得る。このような偏向器アレイが投影及び検出の双方(送信経路及び受信経路の双方)で使用される場合、送信、受信、及び/又は双方向の使用のために個々の偏向を任意に組み合わせた割り当てを使用できる。一例として、アレイが10のミラーを含み、これらが3つの光源によって用いられてFOVの異なる部分を照射する場合、3つのミラーが各1つの光源に対応して送信用に使用され、残りの7つのミラーが受信用に使用され得る。あるいは、1つ又は2つのミラーが全ての光源の送信用に使用され(例えばそれらのミラーの重複エリアを利用することによって。その例が図27に示されている)、10のミラー全てが受信用に使用され得る。他の任意の組み合わせも使用できる。いくつかの態様では、偏向器アレイの個々の偏向器のいくつか又は全てを同期させて、ほぼ同じ角度に光を偏向させることができる。いくつかの態様では、偏向器アレイの個々の偏向器のいくつか又は全てを同期させて、相互の角度を固定した異なる方向に光を偏向させることができる。
[0496] Lidarにおける光学予算配分
[0497] 本明細書に記載されるように、LIDARシステムの1つの機能は、環境に光を投影し、次いで環境内の物体からの光反射を収集し分析することによって、LIDARシステムの周囲環境の3次元深度マップを生成することであり得る。一般に、LIDARシステム及びその深度マップの有用性は、収集した光から得られる情報レベル及び生成される深度マップの解像度と共に増大し得る。しかしながら、単にLIDARシステムが環境に放出する光エネルギ量を増大させることによって高解像度の深度マップを生成することは、実際的な制約のために不可能である場合がある。第1に、目の安全は、LIDARが出力できる光エネルギ量を制限し得る最も重要な制約である。目の安全を保証するため、また適用可能な規制に準拠するために、LIDARシステムは、特定の時間期間にわたって特定のエネルギ密度を超えない光投影に限定され得る。更に、目の安全が重要でない場合であっても、LIDARの環境に対する無制限の光放出を禁止する他の実際的な制約が存在し得る。例えばLIDARシステムは、単にLIDAR FOVへの光放出の全体的な増大によって検出分解能を向上させるLIDARシステムの能力を制限する有限光学予算及び/又は計算予算を有し得る。概念上、光学予算及び計算予算は、利用可能な光出力パワー及び計算パワーに関する特定の時間期間にわたったLIDARシステムの最大機能を反映することができる。また、LIDARシステムは、パワー制約、過熱、光源の出力のような技術的制約によっても制約される可能性がある。
[0498] しかしながら、LIDARシステムによって生成される深度マップを、LIDAR FOVの全てのエリアで絶対解像度レベルに限定しなければならないというわけではない。以下で検討するように、また本開示の様々なセクション全体を通して、LIDARシステムの光学予算及び計算予算は、LIDAR FOVの特定のエリアにはLIDAR FOVの他のエリアよりも多くのリソース(例えば、より多くの光学予算及び/又は計算予算)を充てるように配分することができる。この結果、いくつかのエリア(例えば関心領域に対応するエリア)では高い解像度を有し、他のエリア(例えば低関心領域又は非関心領域)では低い解像度を有する深度マップを生成することが可能となり得る。以下の記載、及び本開示の多くのセクションの記載では、光学予算及び/又は計算予算の均等でない配分が望ましい様々な状況、条件、状態等について取り上げる。また、以下の記載及び全体的な記載では、深度マップに含まれる1つ以上の関心エリアで高レベルの情報を提供し得る深度マップを生成する際に役立てるため、どのように利用可能な光学予算及び/又は計算予算を動的に割り当て得るかについての例が与えられる。
[0499] 図29は、LIDARシステム100が利用可能な光学予算及び/又は計算予算を配分する際に利用できる様々な情報ソースと共に、LIDARシステム100のブロック図を与えている。いくつかの実施形態において、LIDARシステム100は、メモリ2902に記憶された光学予算(又は、光学予算の少なくとも1つの様相を示す、又は光学予算を導出もしくは決定することができる任意の情報)にアクセスするよう構成された少なくとも1つのプロセッサ118を含み得る。光学予算は、少なくとも1つの光源112に関連付けられ、少なくとも1つの光源によって所定の時間期間内に放出可能な光量を規定する。メモリ2902は、図29に示されているように、LIDARシステム100の処理ユニット108に関連付けることができる。しかしながら、いくつかの態様においてメモリ2902は、LIDARシステム100が展開されるホスト(例えば車両、車両コンピュータ)に関連付けることができる。例えばいくつかの例では、メモリ2902はホスト車両の電子制御ユニット2904に関連付けられ、データバス2900を介してプロセッサ118によってアクセス可能である。他の実施形態において、メモリ2902は、LIDARシステム100(又はそのホスト)に対して遠隔に位置する1又は複数のシステムに関連付けることができる。例えばいくつかの態様において、メモリ2902は、遠隔サーバ(図示せず)に関連付けられ、例えばクラウド2916(例えばインターネット接続)を介して又は無線送受信器2901を用いてアクセス可能である。
[0500] また、プロセッサ118は、(例えば情報ソース2904、2906、2908、2910、2912、2914、2916、2918、2920のいずれかから、又は他の任意の適切な情報ソースから)LIDARシステムのプラットフォーム条件を示す情報を受信するように構成され得る。LIDARシステムのプラットフォーム条件とは、LIDARシステムの1つ以上の様相、LIDARシステムの周りの環境、LIDARシステムが展開されるホスト等に関する、任意の動作パラメータ、パラメータ値、観察された条件、命令、情報アイテム等のことであり、特定の時間期間において、LIDAR FOV部分の少なくとも1つのグループ又は1つのスキャンサイクルに対してLIDAR FOV部分の別のグループ又は別のスキャンサイクルに与えられるよりも多くの光を割り当てることの妥当性を示し得るものである。
[0501] 受信情報はLIDARシステム100の外部の1つ以上のソースから取得され得るが、LIDARシステムのプラットフォーム条件を示す情報は、システム100の内部のソースから(例えば、光投影器112、偏向器114、検出器116、フィードバック要素等を含むシステムの1つ以上のコンポーネントを介して)取得された情報も含み得る。受信情報に基づいて、プロセッサ118は、例えばスキャンレート、スキャンパターン、スキャン角、空間光分布、及び/又は時間光分布を含む、光源112及び/又は偏向器114に関連した2つ以上の動作パラメータを用いて、LIDARシステム100の視野に光学予算を動的に配分することができる。プロセッサ118は更に、動的に配分した光学予算に従ってLIDARシステム100の視野のスキャンにおいて光束を変動させ得るように光源112及び/又は偏向器114を制御するための信号を出力することができる。
[0502] 光学予算は、特定の時間期間(例えば、LIDARスキャンサイクル単位、ミリ秒や秒又は他の任意の時間期間の指標を単位とする時間測定値)にわたってLIDAR FOVへ放出され得る光量に関する任意のパラメータ、値、又はパラメータもしくは値のセットに関して表現することができる。いくつかの態様において、LIDARシステムの光学予算は、LIDARシステムに含まれる1つ以上の光源の機能に依存し得る。例えばLIDARシステム100の光学予算は、光源112に関連付けられ、光源112によって所定時間期間に放出可能な光量を規定することができる。光量の規定とは、何らかの時間の測度(例えばマイクロ秒、ミリ秒、秒、分等)に対する光量(例えばパワー、光度、光束、強度、光子数、光パルス数、デューティサイクル、パルス幅、パルス振幅、照射持続時間等)を示す任意のパラメータ又はパラメータ関係のことである。
[0503] いくつかの例において、光源112の平均光学予算は約10ミリワットから1,000ミリワットの間であり得る。これに加えて又はこの代わりに、光学予算は、LIDAR FOVの単一のスキャンサイクルにおいて放出可能な光量を指すことがある。例えばLIDARシステム100の光学予算は、1光源当たり1スキャンサイクルで10,000パルスから1光源当たり1スキャンサイクルで50,000パルスの間であり得る(例えば、各々が1つ以上の画素に関連付けられた1,000〜10,000のビームロケーションをカバーするため)。いくつかの態様において、光学予算は、(例えばLIDARシステム100が展開される車両又は他のホストから)光源112によって利用可能なパワーで表現することができる。また、光学予算は、光源112(又はシステム100の任意の利用可能な光源)によって標準的な時間単位(例えばミリ秒、秒、分等)に放出可能な光量によって規定することができる。
[0504] 場合によっては、光学予算は固定のままであり得る。他の場合、メモリ2902に記憶された光学予算は変更及び更新され得る。このような変更は、例えば、LIDARシステムの動作パラメータ及びLIDARシステムによって与えられる検出情報のうち少なくとも1つに基づいて行われ得る。
[0505] 更に、いくつかの態様において光学予算は、単一の光源を有する唯一のLIDARシステムに対応し得る。他の場合、光学予算は、複数の光源を含む単一のLIDARシステムに関連し得る。更に他の場合、光学予算は、各々が単一の光源又は複数の光源を含む、異なるロケーション(例えば車両の周りの異なるロケーション)で展開される複数のLIDARシステムに適用され得る。いずれにせよ、光学予算は、所定の時間期間において配分に利用できる複数の光源(又は全体として複数のLIDARシステム)からの放出可能な光量を規定することができる。プロセッサ118は、単一のLIDARシステム/光源の光学予算を動的に配分することができる。他の場合、プロセッサ118は、複数の光源/LIDARシステムに関連した光学予算を動的に配分することができる。
[0506] 光学予算に加えて、LIDARシステム100(又は複数のLIDARシステムの組み合わせ)は、配分することができる計算予算を有し得る。計算予算とは、概して、特定の時間期間にわたる1又は複数のLIDARシステムの処理機能のことである。処理機能は、(例えばLIDARシステムの様々な様相を制御するため、検出された反射を受光し処理するため、深度マップを生成するため、深度マップを処理するため、物体及び他の高レベルのシーン理解情報を検出するため、並びに、LIDARシステム又はLIDARシステム群に関連した他の任意の機能を実行するために)利用可能なプロセッサの数に依存し得る。処理機能は、利用可能なプロセッサの数に依存するだけでなく他のパラメータにも依存し得る。他のパラメータは例えば、1つ以上のプロセッサの処理機能のうちLIDARシステムの特定の機能(例えば、深度マップの生成、FOVのスキャンの制御、物体の検出、識別、及び/又は分類等)に専用の部分、1つ以上の利用可能なプロセッサの処理速度、(例えばバス2900を介した)データ転送速度、1つ以上の利用可能なプロセッサによって実行できる単位時間当たりの計算数等である。
[0507] 以下の記載は光学予算の配分に関する詳細を含むが、計算予算は、光学予算の配分に関して記載されるものと類似の方法で配分することができる。例えばいくつかの例において、計算予算は、LIDARが何を検出したかを判定するためのポイントクラウドの処理に利用できる計算リソース量に関する。場合によっては、ポイントクラウドに関する処理は著しい計算リソース、限定されたリソースを必要とする。従っていくつかの例では、関連するポイントクラウドを処理するため、特定のエリアが他のエリアよりも関心/重要度が高いと判定することが望ましい場合がある。例えば、車両の前方の領域では、特に前進する自動車にとってこのエリアは最も重要であり得るので、利用可能処理パワーの多くをポイントクラウドの処理及び深度マップの生成に専用とすることができる。一方で、車両の側方から延出する視野で行われる検出は、やはり重要であるものの、場合によっては車両の前方よりも重要性が低い(例えば車両が方向転換や停止等をしない限り)。そのような例では、ホスト車両から130メートル離れた位置にある高反射性物体で反射した反射信号からLIDARによって集団的な検出(grouped detections)が検出された場合であっても、プロセッサ118は、計算予算を節約するため、車両から40メートルの距離まで(又は130m未満の距離)の関連するポイントクラウドのみを処理することを決定できる(これは例えば、計算の観点から、130mにおける集団的な検出を含むポイントクラウド全体を処理するのはコストが高すぎるからである。これは特に、物体検出の重要度を考えると車両側方のこの例のような計算支出が妥当ではない場合に当てはまる)。
[0508] 計算予算は、例えば1つ以上の集中プロセッサの計算機能のうち1つのLIDARシステムに専用の部分を別のものよりも多くすることで、1つのLIDARシステムに別のものよりも多くの計算機能を与えるように、利用可能なLIDARシステム間で配分され得るだけではない。別の例では、2つ以上のLIDARシステムのプロセッサを統合/ネットワーク化することができ、この統合処理機能を、1つのLIDARシステムからのプロセッサの少なくとも一部を異なるLIDARシステムの計算タスクに専用とするように割り当てることができる。例えば、複数の利用可能LIDARシステムからの処理機能を、ホスト車両の前方の領域、すなわち高分解能の物体検出及び深度マップ形成が望ましい領域に関連した計算タスクに専用とすることができる。
[0509] また、計算予算を特定のLIDAR FOVに関する計算に配分して、FOVの1つの部分に関連した計算タスクがFOVの別の部分に関連した計算タスクよりも多くの計算予算を受け取るようにすることも可能である。どのように計算予算を配分するかのいくつかの例は、例えば、検出/クラスタリング(ポイントクラウドポイントからの物体レベル)、物体の境界ボックスの固定(「境界ボックス」)、物体/物体タイプの分類、物体の追跡(例えばフレーム間)、物体の特徴の決定(例えば大きさ、方向、速度、反射率等)を含む。計算予算は、処理容量を時間に関連付ける用語で表現することができる(例えばGMAC、Gflops、パワー等)。FOVの異なる部分に対する予算配分(特に計算予算であるが、これだけではない)は、2Dだけでなく3DでのFOV分割に関連し得ることに留意するべきである。例えば計算予算の割り当ては、FOVの所与のセクタ(例えば所与の1°×0.5°のセクタ)について、計算予算の70%が70mを超える範囲内の検出を処理するために割り当てられ、計算予算の30%が40mよりも近いLIDARの範囲内の検出を処理するために割り当てられ、40mから70mの間の範囲には計算予算が割り当てられないように行うことができる。
[0510] 光学予算に戻ると、利用可能な光学予算は、特定の時間期間内でLIDAR FOV部分の1つのグループにLIDAR FOV部分の別のグループよりも多くの光を選択的に与えるように配分することができる。この状況において、LIDAR FOV部分のグループとは、特定のLIDAR FOVの1つ以上の部分を指す(例えば、特定のLIDAR FOVの1つ以上の画素、領域、小領域等)か、又は、1つ以上の完全なLIDAR FOVを指すことができる(例えば、光学予算が複数のLIDARシステムにまたがって配分され得る場合)。より多くの光とは、上記で詳細に例示したように、光束の増大、光密度の増大、光子数の増加等を指すことができる。
[0511] 場合によっては、光学予算の配分は、特定のLIDAR FOVに関連したスキャンレート、スキャンパターン、スキャン角、空間光分布(例えばLIDAR FOV部分の1つ以上のグループに1つ以上の他のLIDAR FOV部分よりも多くの光を与える)、及び/又は時間光分布の変化によって達成され得る。時間光分布は、例えばLIDAR FOV部分のグループに適用される光束又は光量を経時的に制御するか又は他の方法で変化させて、第1のスキャンサイクルで投影される全体的な光量を第2の後続のスキャンサイクルで投影される全体的な光量よりも多くすることを含み得る。場合によっては、光学予算の配分は、特定のLIDAR FOV又は特定のLIDAR FOV部分に関連したスキャンレート、スキャンパターン、スキャン角、空間光分布、又は時間光分布のうち2つ以上を変化させることによって達成できる。このような変化は、2つ以上のLIDAR FOV、1つのLIDAR FOV、LIDAR FOVの一部(例えば関心領域)、1つのスキャンサイクル、複数のスキャンサイクル等に対して実行できる。
[0512] 光学予算の動的な配分の少なくとも一部(例えば、フィードバック又はLIDARシステムの少なくとも1つのプラットフォーム条件に関して受信された他の情報に基づいて配分を変更又は更新すること)は、1つ以上のLIDARシステムのスキャンレートを決定することによって実行され得る。例えば少なくとも1つのプロセッサは、LIDAR FOVの近視野部分、視野の遠視野部分、視野の狭角セクタ、及び/又は視野の広角セクタのうち少なくとも1つのスキャンレートを決定するように構成され得る。
[0513] 上記のように光学配分は、少なくとも部分的に、1つ以上のLIDARシステムの少なくとも1つのスキャンサイクルのスキャンパターンを決定することによって達成され得る。スキャンパターンは、以下の状況タイプ、すなわち、幹線道路の運転、オフロードの運転、雨天での運転、雪の中での運転、霧の中での運転、都市エリアでの運転、農村エリアでの運転、トンネル内の運転、既定の施設付近のエリアの運転、左折、右折、車線横断、交差点への接近、及び横断歩道への接近、のうち少なくとも1つの認識に基づいて決定できる。
[0514] 光学予算の配分は、任意の適切なプロセッサによって達成され得る。場合によっては、LIDARシステム100のプロセッサ118は、1つ以上のソースからの情報に基づいて光学予算を配分することができる。この代わりに又はこれに加えて、他のLIDARシステムのプロセッサを用いて光学予算(例えばLIDARシステムのグループに関連した光学予算)を配分することができ、及び/又は、LIDARシステムホスト(例えば車両ECU等)に関連した1つ以上のプロセッサを用いることができる。また、他の任意の利用可能なプロセッサを用いて光学予算を配分することも可能である。
[0515] 注記したように、光学予算配分によって、LIDAR FOV部分の1つのグループに対して他よりも多くの光を与えることができる。適用される光量のこのような変化は、例えば、複数の光源のうち第2の光源への光学予算配分に対する複数の光源のうち第1の光源への光学予算配分率(又はLIDAR検出器間の同様の率)を変えることによって達成できる。また、光学配分は、異なるLIDAR FOV部分に対して又は異なる時点において異なる理由で適用することも可能である。例えば、LIDAR FOVのいくつかの部分で又はスキャンサイクル中のいくつかの時点で、光学配分は、特定のFOV部分又は特定の時間期間における分解能増大、検出品質向上等を対象とすることができる。他の状況において、光学配分は、特定のFOV部分、特定のFOV小領域、又は特定の時間期間における検出検出範囲の増大を対象とすることができる。一般に、光学/パワー予算を用いて、異なるフレーム又は取得したフレームの異なる部分を取得する際に様々な目標を達成できる。このように、LIDARシステムは、それぞれが異なる理由で有用である様々なROIのために一連の有用な又は高品質のフレームを提供できる。このように、光学予算は、ホストプラットフォーム(例えば車両のナビゲーションシステム)に有用な情報を戻す確率が高いと判定されるやり方で支出することができる。
[0516] 制御に関して、割り当てを行うか否か、及び/又は配分をどのように行うかの決定、並びに光学予算の決定において、任意の適切なパラメータ又は情報要素を用いることができる。いくつかの態様では、LIDARシステムのプラットフォーム条件を光学予算配分の基礎として使用できる。上記のように、LIDARシステムのプラットフォーム条件とは、LIDARシステムの1つ以上の様相、LIDARシステムの周りの環境、LIDARシステムが展開されるホスト等に関する、任意の動作パラメータ、パラメータ値、観察された条件、命令、情報アイテム等のことであり、特定の時間期間において、LIDAR FOV部分の少なくとも1つのグループ又は1つのスキャンサイクルに対してLIDAR FOV部分の別のグループ又は別のスキャンサイクルに与えられるよりも多くの光を割り当てることの妥当性を示し得るものである。
[0517] LIDARシステムのそのようなプラットフォーム条件は、様々な方法で、かつ任意の適切な情報ソースを用いて決定することができる。いくつかの例では、LIDARシステムのプラットフォーム条件はLIDARシステムの内部で決定され得る。例えばプロセッサ118は、取得した光反射、反射率シグネチャ、深度マップ等に基づいて、LIDARシステムが展開される環境に関連した1つ以上の特徴を決定できる。他の例では、LIDARシステムのプラットフォーム条件(PCLS)は、LIDARシステム100とは別個の1つ以上のソースから受信した情報に基づいて決定され得る。例えば図29に示されているように、PCLSは、ホスト車両の電子制御ユニット2904の1つ以上、1つ以上の温度センサ2906、GPS受信器2908、車両ナビゲーションシステム2910、レーダユニット2912、1つ以上の他のLIDARシステム2914、インターネットもしくは他のネットワーク接続2916、カメラ2920、又は他の任意の適切なソースからの情報に基づいて決定できる。
[0518] いくつかの例において、PCLSを示す情報は、LIDAR FOVの1つ以上の領域を、他の領域(例えば低関心領域又は非関心領域)よりも大きい割合の光学予算又は計算予算が妥当である関心領域として確立できる。関心領域は、LIDARシステムが展開されている車両の検知された現在の運転モードに基づいて識別することができ、情報ソース2904、2906、2908、2910、2912、2914、2916、2920の任意のもの、又はLIDARシステム100、又はこれらの任意の組み合わせからの1つ以上の出力に基づいて決定できる。一例において、検知された現在の運転モードに基づく関心領域は、ホスト車両が方向転換して進んでいくエリア(ナビゲーションシステム2910、GPS受信器2908等によって伝達される)と重複したLIDAR FOVの1つ以上の部分を含み得る。別の例において、関心領域は、LIDARシステム100が別の車両、歩行者、障害物のような物体を検出したLIDAR FOVの1つ以上の部分に対応し得る。関心領域の他の例、及びどのようにその領域を識別するかの例は、本開示の他のセクションに含まれている。
[0519] 光学配分(又は計算予算)を決定できるPLCSを示す情報は、とりわけ、車両動作パラメータ、環境条件、運転決定、車両のナビゲーション状態、又はパワー管理モードのうち少なくとも1つを含み得る。
[0520] 光学配分(又は計算予算)の基礎となり得る車両動作パラメータ又は車両のナビゲーション状態の例には、(例えばECU2904、GPS2908からの)現在の速度、(例えばGPS2908、ナビゲーションシステム2910からの)現在の車両進行方向、(例えばGPS2908、ECU2904からの)現在の制動又は加速状態、(例えばナビゲーションシステム2908、カメラ2920、GPS2908等からの)ホスト車両が車線横断状況をナビゲートしているか否か、が含まれ得る。また、車両動作パラメータは、LIDARシステム100が展開されている車両プラットフォームに関連したいずれかのコンポーネントの条件もしくは状態、又は、LIDARシステム100自体のいずれかのコンポーネントの条件もしくは状態に関連し得る。そのような条件には、LIDARシステムの少なくとも1つのコンポーネントの温度、FOVの一部が(例えば雨、泥、ごみ等によって)遮られているか否か、レンズに傷があるか否か、偏向器114が特定の瞬時位置に到達するのを妨げられているか否か、ある角度において他の角度よりも多くの内部反射が存在するか否か、が含まれ得る。また、車両のナビゲーション状態は、3次元マップ、部分マップ、2Dマップ、目標物、又はマップ及び目標物の任意の組み合わせ等に対するホスト車両の位置を含み得る。マップは、予め記憶されているか、通信チャネルを介して受信されるか、又は(例えばSLAMによって)生成することができる。
[0521] 環境条件の例は、気候条件(例えばカメラ2920、クラウド2916、ナビゲーションシステム2910からの情報に基づいて判定される雨、雪、霧等)、照明条件(例えばLIDARシステム100からの情報に基づいて判定される(周囲光、光源のタイプ等))、環境の温度(例えば温度センサ2906からの出力に基づく)、及び/又は既定のタイプの施設に対する近接(例えばナビゲーションシステム2910、GPS2908、カメラ2920等からの入力に基づいて判定される学校)のうち少なくとも1つを含み得る。光学予算(又は計算予算)配分の基礎となり得る環境条件の追加の例は、気候条件、(例えばLIDARシステム100及び/又はホスト車両に対する)空間内での検出された物体の位置又は分布、空間内の物体の検出された特徴(例えば形状、反射率、SNRに影響を与える特徴)、物体のタイプ/クラス(例えば歩行者、建物、車両、交通信号の柱)、太陽又は他の光源の相対位置、交通の状態(例えば混雑しているか又は空いている幹線道路)、他のホスト車両システムの状態(例えば運転に関連したセンサ又は他のセンサ。いくつかの例では、LIDARシステム100は故障したカメラ2920を補償することができる)、道路自体の条件(例えばでこぼこ、粗さ、上り/下り、カーブ、反射率)、マップ/GPSに基づくデータ(例えばシーン内の道路のロケーション及び向き、シーン内の建物のロケーション及び向き、(LIDARは建物の遠い側にある物体からの反射を受けると予測されない可能性があるので、建物や他の障害物に対して低関心領域を確立できる)、LIDARシステム100の周囲温度、ホスト車両環境の周囲温度、以前に収集されたFOVフレームからのデータ分析(例えばポイントクラウド、表面の法線、反射率、信頼水準等)を含み得る。一般に、光学/パワー予算は、環境に関する知識に基づいて割り当てることができる。例えば、GPSデータ、マップデータ、以前のフレームの処理されたLIDAR情報、車両の他のセンサからのデータ、又は他の任意のソースによって、FOVの一部において所与の範囲(例えば15m)内に建物の存在が示されることがある。その建物は高関心領域(例えば車両の真正面)に存在する可能性があるが、それにもかかわらずプロセッサは、FOVのこの部分に比較的低いパワーを割り当て、LIDAR FOVの他の部分に余分なエネルギを割り当てることで、建物の後ろに(例えば15mを超えた範囲に)隠れているのでFOVのその方向に割り当て得る光量にかかわらず到達できないFOVの部分に対して予算を無駄に使うのを避けることが可能となる。
[0522] 光学配分(又は計算予算)の基礎となり得る運転決定の例は、農村部関連の指示、都市部関連の指示、LIDARシステムを含む車両の現在の速度、次の運転手順、条件付き運転手順(その実行が安全であることを示す追加の環境情報が存在する場合のみ完了できる手順)、運転ナビゲーションイベント、マニュアル運転指示、及び自動運転指示のうち少なくとも1つを含み得る。そのような情報は、例えばLIDARシステム100又は2914、ナビゲーションシステム2910、EVU2904、GPS2908、それらのソースの任意の組み合わせ、又はPCLSの指標の他の潜在的なソースによって提供される出力に基づいて取得できる。
[0523] 光学配分(又は計算予算)の基礎となり得るパワー管理モードの例は、通常パワー動作モード及び節電モードの指示のうち少なくとも1つを含み得る。そのような情報は、例えばEVU2904から取得することができ、ホスト車両から入手可能なパワー量を反映し得る。パワー管理モードの他の指標は、LIDARシステム100の1つ以上のコンポーネントの検知された条件(例えば、いずれかのコンポーネントが過熱しているか又は過熱の危険があるか)に基づくものであり得る。
[0524] いくつかの例は更に、光学予算又は計算予算配分の基礎となり得るPCLSの収集について示すことができる。例えば動作中に、プロセッサ118は、車両の現在の運転環境を示す入力を受信できる。例えばプロセッサ118は、農村部関連の指示及び都市部関連の指示のうち少なくとも1つを含む入力を受信できる。別の例として、プロセッサ118は、少なくとも1つの農村部関連の指示、都市部関連の指示、光条件に関連した情報、気候条件に関連した情報、及び車両速度に関連した情報のうち少なくとも1つを含む入力を受信できる。
[0525] いくつかの実施形態において、プロセッサ118は、プロセッサ118自体によって実行した決定からの入力を受信できる。このような例においてプロセッサ118は、視野の以前の(及び/又は現在の)1つ以上のスキャンからの情報に基づいて現在の運転環境を決定できる。例えばプロセッサは、多数の車両及び/又は車両に極めて近接した建物の存在に基づいて、現在の運転環境が都市部であると判定できる。別の例としてプロセッサは、多数の木及び/又は広々とした土地の存在に基づいて、現在の運転環境が農村部であると判定できる。プロセッサ118は、この代わりに又はこれと同時に、車両の速度に基づいて及び/又はマップ情報(これは記憶するか又は受信することができ、更新された交通情報を含み得る)に基づいて、現在の運転環境を決定できる。例えばプロセッサ118は、車両の高速が維持されていることに基づいて及び/又は車両のロケーションが既知の州間幹線道路(interstate)又は幹線道路と一致していることに基づいて、現在の運転環境が州間幹線道路又は幹線道路であると判定できる。別の例として、プロセッサ118は、低速が維持されながら車両が頻繁に停止することに基づいて及び/又は既知の交通情報に基づいて、現在の運転環境が交通渋滞であると判定できる。
[0526] この代わりに又はこれと同時に、プロセッサ118は、ホスト車両の処理ユニット(例えばECU2904)から入力を受信できる。中央コンピュータは、プロセッサ118に関する上述した技法を用いて現在の運転環境を決定できる。同様にプロセッサ118は、これに加えて又はこの代わりに、遠隔システムから入力を受信することができる。例えばプロセッサ118は、気候サーバ又は他の更新された気候情報のソースから気候の指示を受信できる。同様にプロセッサ118は、交通サーバ又は他の更新された交通情報のソースから交通の指示を受信できる。
[0527] いくつかの実施形態において、プロセッサ118は、図29に示されているような、GPS、車両ナビゲーションシステム、車両コントローラ、レーダ、LIDAR、及びカメラのうち少なくとも1つから、現在の運転環境を示す入力を受信できる。例えば上述のように、プロセッサ118は、GPS及び/又は車両ナビゲーションシステムによって決定された車両ロケーションをマップ及び/又は交通情報と組み合わせて用いて、現在の運転環境を導出できる。そのような例においてプロセッサ118は、車両のGPSロケーションをマップと合わせることで車両が州間幹線道路に位置すると判定し、又は、車両のGPSロケーションを交通情報と合わせることで車両が交通渋滞の中にあると判定することができる。同様にプロセッサ118は、車両コントローラからの速度や進行方向等を用いて、上述のように現在の運転環境を導出できる。これに加えて又はこの代わりにプロセッサ118は、レーダ、LIDAR、及び/又はカメラからの情報を用いて、現在の運転環境を導出できる。例えばプロセッサ118は、レーダ、LIDAR、及び/又はカメラを用いて、野原、木、建物、中央分離帯のような1つ以上の物体を識別し、この識別した物体を用いて現在の運転環境を導出できる。
[0528] 光学予算又は計算予算を割り当てると共に、配分した予算を適用するプランを立てたら、プロセッサ118(又は他の処理デバイス)はこのプランを実施することができる。例えばプロセッサ118は、動的に配分した光学予算に従ってLIDAR FOVのスキャンにおいて光束を変動させ得るように、少なくとも1つの光源112及び/又は光偏向器114又はLIDAR FOVへの光束に(空間的又は時間的な)影響を与える他の任意のコンポーネントを制御するための信号を出力できる。いくつかの例では、配分した光学予算の適用によって、1つ以上のLIDAR FOVの特定の部分(例えばROI)に多くの光束を割り当てることができ、これは、他のエリア(例えば低関心領域又は非関心領域)への光束を低減することを必要とし得る。割り当てた光学予算を実施するプランを実行するため、プロセッサ118は、FOVをスキャンするため少なくとも1つの光偏向器114を制御するように構成され、スキャンサイクル中、少なくとも1つの光偏向器114は複数の異なる瞬時位置に配置され得る。更にプロセッサ118は、少なくとも1つの光偏向器が特定の瞬時位置に配置された場合、光ビームの一部が少なくとも1つの光偏向器によって少なくとも1つの光源から視野内の物体へ偏向されると共に物体からの光ビームの一部の反射が少なくとも1つの光偏向器によって少なくとも1つのセンサ116へ偏向されるように、少なくとも1つの光偏向器114と少なくとも1つの光源112を連携させる(例えばそれらの動作を同期させる)ことができる。いくつかの例では、LIDARシステム100は、少なくとも1つの光偏向器114に照準を合わせた複数の光源を含むことができ、プロセッサ118は、少なくとも1つの光偏向器114が特定の瞬時位置に配置された場合に複数の光源からの光がLIDAR FOVの複数の別個の領域へ投影されるように、少なくとも1つの光偏向器114を制御するように構成できる。一般にプロセッサ118は、動的に配分した光学予算に従って少なくとも1つの光源112及び少なくとも1つの光偏向器114を連携させることができる。配分した光学予算を適用することで、高関心領域には単位時間当たり多くの光を適用し、低関心領域には単位時間当たり少ない光を適用できる。更に、LIDAR FOVの1つ以上の部分における物体の検出に基づいて、プロセッサ118は、特定の部分(例えば関心領域であるか低関心領域であるかにかかわらず)へ投影される光の蓄積エネルギ密度が最大許容可能露光量を超えることを防止できる。
[0529] 図30Aは、開示される実施形態に従って、配分した予算に基づいてLIDARシステムを制御するための方法3000の一例を与えるフローチャートを示している。例えばステップ3002において、プロセッサ118(又は他の利用可能な処理デバイス)は、LIDARシステムの1つ以上のプラットフォーム条件(PCLS)を示す情報を受信できる。上述のように、これらのPCLSは、均等でない光配分が望ましい場合があるLIDARシステム100又はこれが展開されているプラットフォームホストに関連した任意の条件を含み得る。ステップ3004において、プロセッサ118は、光学予算又は計算予算の規定を部分的に支援し得るシステム制約を決定できる(例えば、利用可能な光源の光出力機能、利用可能なCPUの処理機能等)。ステップ3002及び3004で取得した情報に基づいて、プロセッサ118はステップ3006において、配分光学予算及び/又は配分計算予算を決定できる。ステップ3008において、プロセッサ118は、配分した予算を1つ以上のLIDARシステムの動作に適用するためのスキャンプランを作成できる。ステップ3010において、プロセッサ118は、例えば配分した予算に基づいて光源112及び偏向器114の動作を制御することによって、ビームスポットごとの光投影(例えば偏向器114の特定の瞬時位置からの光投影)を制御できる。例えば、低関心領域に適用されるよりも多くの単位時間当たりの光束を関心領域に提供することができる。ステップ3012において、プロセッサは、例えば検出器116の出力に基づいて反射光を検出し処理することができる。ステップ3014において、プロセッサ118は、特定のビームスポットについて配分した光学予算の既定の適用が完了したか否かを判定できる。完了した場合、プロセスは、別のビームスポットにおける光投影の制御を続けるためステップ3010に戻ることができる。完了していない場合、ステップ3016においてプロセッサ118は、更なるビームスポット投影が許容されるか否か判定できる(例えば、更なる投影が目の安全の規制に準拠するか否か、特定のビームスポットの最大許容可能光束量を超えるか否か等)。更なる投影が許容されない場合、プロセスは、別のビームスポットにおける光投影の制御を続けるためステップ3010に戻ることができる。更なる投影が許容される場合、次いでステップ3018においてプロセッサ118は、この特定のビームスポットにおける更なる投影が必要であるか否か(例えば、この特定のビームスポットに関連した以前の投影又は以前に照射された画素に基づいて、充分なデータ又は検出がすでに得られているか否か)を判定できる。追加の投影が必要ない場合、プロセスは、別のビームスポットにおける光投影の制御を続けるためステップ3010に戻ることができる。任意選択的に、プロセッサ118は、現在のビームスポットに割り当てられたパワーの残った未使用分を同一スキャンサイクルにおいて少なくとも1つの他のビームスポットに再分配することを決定できる。追加の投影が許容される場合、ステップ3020において、プロセッサ118は特定のビームスポットにおける追加の光投影を行うことができ、その後、反射光の検出及び処理のためにステップ3012に戻る。
[0530] 図30Bは、ここに開示される実施形態に従ってLIDARシステムを制御するための例示的な方法3050のフローチャート図を示している。ステップ3062は、メモリに記憶されている光学予算にアクセスすることを含み得る。光学予算は、少なくとも1つの光源に関連付けられ、少なくとも1つの光源によって所定時間期間内に放出可能な光量を規定する。ステップ3064は、環境条件、運転決定、及びパワー管理モードのうち少なくとも1つを含む車両動作パラメータに関する情報を受信することを含み得る。受信した情報に基づいて、ステップ3066は、スキャンレート、スキャンパターン、スキャン角、空間光分布、及び時間光分布のうち少なくとも2つに基づき、LIDARシステムの視野に対して光学予算を動的に配分することを含み得る。ステップ3068は、動的に配分した光学予算に従って、視野のスキャンにおいて光束を変動させ得るように少なくとも1つの光源を制御するための信号を出力することを含み得る。
[0531] いくつかの実施形態において、空間光分布に基づく光学予算の動的な配分は、単一のスキャンサイクル中に視野の第2の部分よりも多くの光を視野の第1の部分へ投影することを含み得る。その後のスキャンサイクルにおいて、空間光分布に基づく光学予算の動的な配分は、このスキャンサイクル中に視野の第1の部分よりも多くの光を視野の第2の部分へ投影することを含み得る。この方法は更に、関心領域としての第1の領域の識別、及び非関心領域(又は低関心領域)としての第2の領域の識別を取得することを含み得る。また、この方法は、第2の部分における物体の存在を決定し、第2の部分における光の蓄積エネルギ密度が最大許容可能露光量を超えるのを防ぐことも含み得る。
[0532] 配分した光学予算をLIDARシステムの動作中どのように適用し得るかを示す別の例において、プロセッサ118は、車両に設置された特定のLIDARシステムに対して、同一車両の別のLIDARシステムの故障を示すPCLSに基づいて、より多くの光学予算(例えばより多くの光束/FOV)を配分するように構成できる。このような配分は、故障したLIDARシステムを少なくとも部分的に補償することができる。例えば、機能しているLIDARシステムに対する配分は、正常動作中に通常はパルスが全く送信されない(又はほとんどパルスが送信されない)LIDAR FOVの部分にパルスを放出することを含み得る。また、このような配分は、例えばより広いFOVをスキャンするため偏向器パラメータを変更することも含み得る。
[0533] この例を更に説明するため、図31は、車両内の異なるロケーションに位置決めされた7つのLIDARシステムが設置されている車両の概略図を示す。それぞれのLIDARデバイスは、視野、範囲、分解能、精度等の点で異なるパラメータを示し得る。設置されたLIDARシステムは、これらのシステム間の通信アクセス、また場合によっては図29に示されているような他のコンポーネント間の通信アクセスも提供するバス(例えばCANバス)によって接続され得る。動作中、様々なLIDARデバイスは、機能交換ブート処理段階の一部として又はオンデマンドステータス要求によって、相互に動作パラメータを同報通信することができる。この情報交換によって、LIDARシステム#7のような別のLIDARシステムのプロセッサは、LIDARシステム#2が故障したことを(例えば受信したエラーメッセージ、健康状態指標等に基づいて)認識できる。場合によっては、バス上の故障デバイスは報告を行うことができない(例えば電力供給を失っている)。その場合、報告を行わないシステムはもはや共有バスに接続されておらず、故障していると想定される。
[0534] 1つ以上の他のLIDARシステムは、故障したLIDARデバイスを少なくとも部分的に補償するためのアクションを実行できる。例えば図31に示されているように、LIDARシステム#2の故障によって車両センサシステムに盲点が生じ得る。HW又はFWの監視層(バスに接続されたメインコントローラ又は指定されたマスタLiDAR)は、LiDAR#2が機能していないことを検出し、カバレージ損失を補償するためにシステム内の別のLiDARを指定する。この特定の例では、LiDAR#7の拡張機能を考慮に入れると、これがカバレージ損失を補償するための最良の選択肢であることがわかった。LiDAR#7は、LIDAR#2の視野をカバーするため、バックアップモードで動作すると共に視野を拡大するように指定される。LiDAR#7のスキャン範囲の拡大は、その機能のいくつか、全範囲の縮小、分解能、又はフレームレートを犠牲にして実行され得る。低下した性能パラメータセットで更新されたセンサ状態を、車両メインコントローラのレベルでシステム全体に通知し、車両挙動を補償することができる。車両を80Km/hに制限する細いスペアタイヤと同様、車両は最高速度に制限され得る。故障したセンサの補償を行うのは結局、人の介入なしで修理場所まで安全に到達できるために最低限の自律レベルを維持する必要があるためである。
[0535] 任意選択として、計算リソースは、2つ以上のタイプの複数のセンサ(例えばLIDAR、カメラ、超音波センサ、レーダ)によって共有するか、又は異なるタイプのセンサから到達する検出情報の処理に割り当てることができる。これは例えば、自律走行車のような車両内の異なるセンサからの情報を統合するホストコンピュータによって実施できる。計算予算を配分するための上記で開示された方法及びプロセス(例えば方法3000)は、拡張することができ、異なるタイプのセンサによって収集された情報の処理間で計算予算を配分することができる。任意選択的に、これを更に拡張して、異なるタイプの複数のセンサの各々のFOV部分間で様々に計算予算を割り当て、かつ、車両又は車両に設置された任意のシステムのプラットフォーム条件のような様々なパラメータに基づいて異なるタイプの検出データ間で計算リソースをシフトさせることも可能である。そのようなパラメータは例えば、車両動作パラメータ、環境条件、運転決定、車両のナビゲーション状態、又はパワー管理モード、1つ以上の検出システム(LIDAR、レーダ等)のシステムパラメータのうち1つ以上の任意の組み合わせを含み得る。第1のタイプの第1のセンサの処理に対する計算予算の配分は、別のタイプの別のセンサの処理に基づくことができる。
[0536] 例えば、カメラがROIの1つにおいてぶら下がった物体を検出した場合、配分プロセッサは、FOVのそれからの検出情報を処理するため、FOVの他の部分からのLIDAR検出情報の処理を犠牲にして、LIDAR計算予算をより多く配分することができる。別の例において、配分プロセッサは、FOVのいくつかの部分(むろん、2Dだけでなく3Dでも規定され得る)が主として第1のタイプのセンサからの検出情報を用いて分析され、FOVの他の部分が主として第2のタイプのセンサからの検出情報を用いて分析されるように、検出結果及び/又はプラットフォームパラメータに基づいて計算予算を配分することができる。更に高度な割り当てスキームにおいて、ホスト(又は別のプロセッサ)は、例えば以前に開示されたパラメータのいずれか1つに基づいて、また前述の検討事項のいずれか1つに従って、必要な変更を加えて、異なるタイプのセンサ間のパワー割り当てをシフトすることも可能である。
[0537] 本開示全体を通して検討されるLIDARシステムの方法、プロセス、及び技法の多くは、方法3000と共に(及び予算配分の全体的な検討と共に)考慮された場合、開示される方法、プロセス、及び技法のいずれか2つ以上を組み合わせた、より広範な予算配分スキームの一部となり得ることに留意するべきである。そのような方法、プロセス、及び技法は、開示される予算割り当てスキームの様々な場所に適合し得る。例えば、これらの方法、プロセス、及び技法のいくつかは、FOVの異なる部分に対する予算の割り当て率を決定する際に使用できる。これらの方法、プロセス、及び技法のいくつかは、FOVの異なる部分に対する予算の割り当ての制限率を決定する際に使用できる。これらの方法、プロセス、及び技法のいくつかは、FOVの異なる部分に割り当てた予算を利用するために使用できる等である。
[0538] いくつかの実施形態によれば、LIDARシステム100は以下を含み得る。
a.検査光子のパルスを生成するための、投影ユニット102(又はその一部)のような光子放出器アセンブリ(PTX)。パルスは少なくとも1つのパルスパラメータによって特徴付けられる。
b.物体から反射して戻った反射光子を受光するための光子受光及び検出アセンブリ(PRX)。PRXは、反射光子を検出するため、及び検出したシーン信号を(例えばプロセッサ118によって)生成するための検出器(例えば検出器116)を含む。光子受光及び検出アセンブリは、検知ユニット106(又はその一部)及び処理ユニット108(又はその一部)を含み得る。
c.PTX及びPRXの双方と機能的に関連付けられて、検査光子のパルスを検査されるシーンセグメントの方向へ誘導すると共に反射光子をPRXへ戻すための、スキャンユニット104(又はその一部)のような光子ステアリングアセンブリ(PSY)。
d.処理ユニット108(又はその一部、少なくとも1つのプロセッサ118等)によって実装されて、(a)PTX、PRX、及びPSYを制御し、(b)検出器から検出シーン信号を受信し、(c)少なくとも部分的に検出シーン信号に基づいて少なくとも1つのパルスパラメータを更新するための、閉ループコントローラ(本明細書では以下で「コントローラ」とも称する)。
[0539] いくつかの実施形態によれば、少なくとも1つのパルスパラメータは、パルスパワー強度、パルス幅、パルス繰り返し率、パルスシーケンス、パルスデューティサイクル、波長、位相、及び/又は偏光から選択され得る。
[0540] いくつかの実施形態によれば、コントローラは、検出シーン信号を受信すると共にスキャン/動作プランを生成するための状況査定ユニットを含み得る。動作プランは、決定された予算割り当ての一部又は全てを含み、また、追加の動作決定(例えばスキャンパターン)も含み得る。状況査定ユニットは、光子ステアリングアセンブリからの光子ステアリングアセンブリフィードバックを受信できる。状況査定ユニットは、メモリに記憶された情報を受信できる。任意選択として、この情報は、レーザパワー予算(又は他の任意の形態の光学予算)、電気動作特性、及び/又は較正データから選択され得る。状況査定ユニットは、光子ステアリングアセンブリフィードバックを用いてスキャン/動作プランを生成できる。光学予算(例えばレーザパワー予算)は、目の安全の規制、熱的予算、経時的なレーザ劣化、及びその他のもの等の制約から導出することができる。
[0541] いくつかの実施形態によれば、動作プランは、(a)リアルタイムの検出シーン信号、(b)フレーム内レベルシーン信号、及び(c)2つ以上のフレームにわたって蓄積され分析されるフレーム間レベルシーン信号に基づいて、生成され得る。
[0542] いくつかの実施形態によれば、検出器は、1つ以上の検出器パラメータを有する動的検出器とすることができ、閉ループコントローラは、動作プランに基づいて検出器パラメータを更新できる。検出器パラメータは、スキャン方向、フレームレート、サンプリングレート、周囲光効果、機械的な静的及び動的障害、寄生光を低減するための動的ゲーティング、動的感度、動的バイアス、及び/又は熱的効果から選択され得る。PSYは1つ以上のステアリングパラメータを有し、閉ループコントローラは動作プランに基づいてステアリングを更新できる。ステアリングパラメータは、スキャン方法、パワー変調、単一軸又は複数軸の方法、同期コンポーネントから選択され得る。任意選択として状況査定ユニットは、ホストデバイスからホストフィードバックを受信し、このホストフィードバックを用いて動作プランを生成するか又は動作プランに寄与する(contribute to)ことができる。
[0543] いくつかの実施形態によれば、プロセッサ118は、状況査定論理(SAL)等の状況査定論理又は回路を含み得る。SALは、検出器116からの検出シーン信号、及び、スキャンユニット104の内部又は外部の追加ブロック/要素からの情報を受信することができる。
[0544] いくつかの実施形態によれば、シーン信号は、光子ステアリングアセンブリフィードバック、PTXフィードバック、PRSフィードバック、及びホストフィードバック等の追加フィードバック信号、並びにメモリ2902に記憶された情報を用いて又は用いずに、スキャンユニット104のための動作プラン信号等のスキャン/動作プランを決定するローカル及びグローバル費用関数の加重平均において、査定し計算することができる(例えば、どのレーザパラメータ予算で、どの検出器パラメータ予算で、FOV内のどの画素をスキャンするか)。従ってプロセッサ118は、システムフィードバックを受信し、このフィードバックに基づいてシステムの動作を更新する閉ループ動的コントローラとすることができる。スキャン動作プランは、例えば、配分した光学予算又は計算予算を実施するために作成できる。
[0545] いくつかの実施形態によれば、シーンセグメントとも称されるシーンの1つ以上のセグメントをスキャンするためのスキャンユニット104を提供できる。デバイスは、1つ以上の光子放出器アセンブリ(PTX)、1つ以上の光子受信及び検出アセンブリ(PRX)、光子ステアリングアセンブリ(PSY)、及び、PTX、PRX、及びPSYの動作を同期するように適合された状況認識プロセッサを含むことで、デバイスがスキャンフレーム中にシーンの1つ以上のシーンセグメント又は領域のアクティブなスキャンを動的に実行できるようにする。アクティブなスキャンは、1つ以上の光子検査パルスをシーンセグメントの方へ、かつシーンセグメント中に伝送することと、シーンセグメント内に存在するシーン要素に検査パルスが衝突した場合、検査パルスが衝突したシーン要素上のポイントの距離と(相対)3次元座標を推定するため、パルスが要素に衝突してその反射が戻ってくるまでの往復の飛行時間を測定することと、を含み得る。検査パルスセットを用いて要素上のポイントセットの座標を収集することにより、3次元ポイントクラウドを生成し、シーン要素の検出、登録、場合によっては識別を行うため使用することができる。
[0546] プロセッサ118は、状況認識コントローラとすることができ、1つ以上の検出された及び/又は他の方法で既知であるシーン関連状況パラメータに基づいて、PTX、PRX、及び/又はPSYの動作モード及び動作パラメータを動的に調整できる。いくつかの実施形態によれば、プロセッサ118は、1つ以上のシーンセグメント内に存在するシーン要素のような状況パラメータの理解に基づいて、シーンの1つ以上のセグメントをスキャン/カバーすることが意図されたスキャンフレームの一部として、シーンの部分をスキャンするためのスキャンプランのような動作プランを生成及び/又は調整することで、配分した光学予算又は計算予算を実施できる。スキャンプランの生成において考慮され得る他の状況パラメータは、実施形態に従ったデバイスを有するホストプラットフォームのロケーション及び/又は軌道を含むことができる。スキャンプランの生成において考慮され得る他の状況パラメータは、実施形態に従ったデバイスを有するホストプラットフォームの周囲の、道路勾配、傾斜(pitch)、及び曲率のような地形を含むことができる。
[0547] スキャンプランは、(a)スキャンフレームの一部としてアクティブにスキャンするシーン内のシーンセグメントの指定、(b)シーンセグメントの少なくとも1つのスキャンに使用される検査パルスセットのパルス分布パターン及び/又は個々のパルス特性を規定できる検査パルス設定スキーム(PSS)、(c)検出器の感度又は応答パターンを規定できる検出スキーム、(d)ステアリング方向、周波数を規定する、ステアリングアレイ内のアイドル要素を指定する、及びその他を実行できるステアリングスキーム、を含み得る。言い換えると、スキャンプランは、シーン分析及び配分した光学予算及び/又は計算予算に基づいてスキャンフレームがアクティブにスキャンされるように、PTX制御信号、ステアリングパラメータ制御、PRX制御、及び/又は検出器制御パラメータに少なくとも部分的に影響を与える/これらを決定することができる。
[0548] 以下の検討は、決定された光学予算及び/又は計算予算に基づいてLIDAR FOVの1つ以上のスキャンを制御する追加の例を与える。例えば、現在検出されているか又は推測される運転環境に基づいて、プロセッサ118は、少なくとも1つの光源の制御と少なくとも1つの光偏向器の制御を連携させて、視野のスキャンにおいて空間的に適用される光学予算量を変動させることにより、瞬時検出距離を動的に調整することができる。例えばプロセッサ118は、投影される光の量を増大させる及び/又は光の空間分布を縮小させて、FOVの特定の領域(関心領域)における瞬時検出距離を拡大することができる。別の例として、プロセッサ118は、投影される光の量を低減させる及び/又は光の空間分布を拡大させて、FOVの他の領域(低関心領域)における瞬時検出距離を縮小することができる。
[0549] Lidarにおける偏向器フィードバック制御
[0550] いくつかの実施形態において、前述したように、LIDARシステム100は車両に組み込むことができる。道路及びその他の表面上でのエンジン動作及び移動のため、ある程度の量の振動が発生する可能性があり、この振動はLIDARシステム100の動作を妨害し得る。例えば振動は、LIDARシステム100のコンポーネントのいずれかに伝達し、それらの性能及び/又はシステムの全体的な性能に影響を及ぼし得る。いくつかの例では、光源及び/又は光偏向器の振動によって、LIDARの視野(「FOV」)へ放出される光の方向が変動し、FOV内の物体からの光収集が低減し、偏向器の位置及び/又は瞬時FOV位置が不確定になり、及び/又は偏向器/センサの結合が非効率になる可能性がある。この結果、LIDAR FOVの領域が意図される通りに照射されない(例えば、図32Aの意図されるFOV3220と実際のFOV3222との差によって例示されるように)、LIDAR FOV内の物体が検出されないままになる、物体が誤った方向で検出される、及び/又は物体検出が望ましいよりも低い分解能レベルになる恐れがある。
[0551] このような効果に対処するため、いくつかの実施形態において、LIDARシステム100は振動抑制システム3200(例えば図32A及び図32B)を組み込むことができる。いくつかの例において、LIDARシステム100は振動の存在を判定し、そのような振動の効果を低減又は排除するため1つ以上のアクションを実行できる。LIDARシスム100は、任意の適切な技法によって振動の存在を判定することができる。例えばいくつかの例において、振動は、車両又はLIDARシステム100自体に関連付けられた1つ以上のセンサを用いて検出できる。そのようなセンサは、1つ以上の加速度計、ひずみゲージ、又は他の任意の適切なタイプのセンサを含み得る。いくつかの例において、振動は、偏向器114から受信されたフィードバックに基づいて検出できる。すなわちいくつかの例では、LIDARシステム100の振動抑制システムは、偏向器114に関連したミラー位置データに基づいて決定された振動フィードバックに応答できる(例えば、図32Cに示されているミラー位置フィードバックセンサを用いて、振動によって生じた偏向器114の移動を検出する。図62、図65、図67、図76、図77、及び図84にも示されている)。振動の結果として生じるミラー位置の変動は、LIDARシステム100に直接に又は間接的に結合されたいずれかの振動ソースから発生し得る。例えばそのような振動ソースは、エンジン動作、路面上での車輪回転、車両コンポーネントの機械的移動(LIDARシステム100のコンポーネントの移動を含む)等から生じ得る。
[0552] LIDARシステム100に対する振動の効果のいくつか又は全てに対処できることに加えて又はその代わりに、LIDARシステム100の振動抑制システム3200は、ミラー位置決めの不確定性によって生じる効果にも対処できる。例えば、圧電作動MEMSミラーを用いる場合、圧電作動は特定の量のヒステリシスを含み得る。これは、制御電圧に対するミラー位置があいまいであるため、特定の制御電圧が必ずしもの所望のミラー位置決めを生じるわけではないことを意味する。従って、LIDARシステム100のいかなるタイプの設置(例えば、車両のような移動プラットフォーム、又は建物やインフラストラクチャ等の静止物体での設置)でも存在し得るそのような効果に対処するため、図32C(例えば図62、図65、図67、図76、図77、及び図84)の位置フィードバック機構3256のような位置フィードバック機構が有用であり得る。更に、センサ3228(例えば図32B)を用いて、少なくとも1つの光偏向器の位置、向き、速度、又は加速度を示すデータを取得できることに留意するべきである。光偏向器の状態に関するこれらの決定された情報は、方向変化の理由(例えば振動、ヒステリシス、温度の効果)とは無関係に決定することができ、光偏向器のフィードバック制御に使用して、(例えば以下に与える例において)必要な変更を加えてLIDARシステム100の検出精度及び動作性を改善することができる。
[0553] 光偏向器位置における振動又は不確定性の効果を抑制するように構成されたLIDARシステムにおいて、システム3200は、視野のスキャンにおいて少なくとも1つの光源からの光の光束を変動させ得るように少なくとも1つの光源を制御し、視野をスキャンするため少なくとも1つの光源からの光を偏向させるように少なくとも1つの光偏向器の位置決めを制御し、LIDARシステムが展開されている車両の振動を示すデータを取得するように構成された、少なくとも1つのプロセッサを含み得る。検知された振動を示す取得データに基づいて、少なくとも1つのプロセッサは、車両の振動を補償するため、少なくとも1つの光偏向器の位置決めに対する調整を決定できる。また、少なくとも1つのプロセッサは、少なくとも1つの光偏向器の位置決めに対する決定された調整を実施して、少なくとも1つの光偏向器において、視野のスキャンに対する車両の振動の影響の少なくとも一部を抑制することができる。
[0554] 図32Aは、でこぼこの路面上の例示的な振動抑制システム3200及び車両3210を示している。車両3210には、振動の存在及び/又は検知した振動に関連する特徴を検出するための様々なタイプのセンサを搭載することができる。例えばいくつかの実施形態において、車両3210は、車両上の様々なロケーションで展開されたセンサユニット及び/又は振動センサを含み得る。そのようなセンサは、道路もしくは他の表面上での車両の移動、車両のエンジンの動作、車両の1つ以上の他のコンポーネントの動作、又は車両3210に与えられる他の任意の潜在的な振動ソースから生じた、車両の車輪、エンジン、車体等に関連した振動を検知できる。例えば、センサ3216を含むセンサユニット3206は、車両のエンジン付近のエリアに位置決めすることができ、エンジンに関連した振動を監視できる。更に、センサ3218を含む1つ以上のセンサユニット3208は、車両の車輪に関連した振動を監視するため、車両に関連した車輪付近のエリア又は車輪上のエリアに位置決めできる。また、車両には、LIDARシステムの付近の又は内部のロケーションの振動を検出するためにLIDARシステム100の付近、表面上、又は内部に位置決めされた1つ以上の振動センサ3219も搭載できる。
[0555] センサ3216、3218、及び/又は3219は、例えば力、加速度、トルク、ひずみ、応力、電圧、光学偏向等を含む、振動又は振動の効果の少なくとも1つの特徴を測定できる任意のタイプのセンサを含み得る。そのようなセンサ3216、3218、及び/又は3219は、LIDARシステム100に関連した1つ以上のプロセッサに、直接に又は有線もしくは無線接続を介して間接的に接続されて、検知した振動を示す情報をLIDARシステムの1つ以上のプロセッサに伝達することができる。
[0556] センサ3216、3218、及び/又は3219に加えて、LIDARシステム100は、振動の存在及び/又は検知した振動の1つ以上の特徴を検出するために1つ以上のセンサを搭載するか又は検知機能を有するように構成できる(例えば図32Bのセンサ3228)。以下で更に詳しく検討するように、LIDARシステム100に関連付けられた1つ以上のプロセッサは、例えば偏向器114に存在する振動の検出を可能とするプログラミングを含み得る。そのような振動は、例えば、LIDAR FOVスキャンの一部として偏向器114に意図的に与えられたのではない移動を含めて偏向器114の移動を監視することによって検出できる。例えば図32Bは、LIDARシステム100のコンポーネントと共に車両振動補償システム3200を示し、更に、スキャンユニット104及び偏向器114と接触しているセンサ3228を示している。センサ3228を用いて、少なくとも1つの光偏向器114の位置、向き、速度、又は加速度を示すデータを取得できる。また、意図されるFOVのスキャン3220は、瞬時FOV3224及び偏向器114によってスキャンされる実際の瞬時FOV3226を組み込んでいる。スキャンユニット104に存在する振動によって、意図される瞬時視野と実際の瞬時視野(それぞれ3224と3226)の間に不一致が生じる。センサ3228は、偏向器114に影響を与える振動を検出できる。更に、図32Bはバイスタティック実施形態を示すが、代替的な事例はモノスタティック設計を組み込み得ることに留意するべきである。
[0557] 図32Aに戻ると、車両3210における振動の存在はLIDARシステム100の動作を妨害する可能性がある。例えば、車両3210が物体3202の方へと道路を進む際に、LIDARシステム100はLIDAR FOVのスキャン中に物体3202の方へ特定量の光束を誘導することができる。前述のように、LIDAR FOVの(物体3202が位置する)特定の小領域へ誘導されるこの光束は、物体3202を含むこのFOV小領域へ光を投影するように、瞬時位置に配置された光偏向器104へ光投影ユニット102が光を与えることによって達成できる。しかしながら振動の存在下では、偏向器114が移動するので、物体3202が位置する小領域へ誘導されるよう意図された光は、光を受光することが意図されていないLIDAR FOVの領域へ少なくとも部分的に誘導される可能性がある。この結果、LIDARシステム100が物体3202を検出し、物体3202の細部及びその位置を含む適切な深度マップを生成するために充分な情報を与える能力が低下する恐れがある。この振動の効果に対抗するため、LIDARシステム100の処理ユニット108は、検知ユニット106、センサ116、及び/又は偏向器位置監視ユニットから受信した出力に基づいて、それらの振動の1つ以上の特徴を含めて振動を検出することができる。処理ユニット108は、偏向器114、光投影ユニット102、検知ユニット106、又は光投影、集光、もしくは偏向に影響を及ぼすLIDARシステム100の他のいずれかのコンポーネントに生じた移動の少なくとも一部を打ち消すように、偏向器114を移動させることができる。例えばいくつかの実施形態において、1つ以上のプロセッサ118を含む処理ユニット108は、偏向器114の位置又は向きを監視し、監視した位置を意図される瞬時位置/向きと比較し、差が明らかになった場合、プロセッサ118は偏向器114を意図される瞬時位置/向きの方へ移動させることができる。このようなフィードバック手法を用いて、プロセッサ118は、偏向器114を意図される位置又は向きから変位させる傾向がある振動の効果を打ち消すことができる。いくつかの実施形態において、プロセッサ118は、検知された振動の効果を軽減するため、LIDARシステム100の可動コンポーネントに対して振動を低減するか又は相殺する移動を行うように構成できる。
[0558] 以下のセクションは、システム3200の振動検出機能及び振動抑制機能について更に詳しく述べる。
[0559] ここに開示される実施形態は、少なくとも1つの光偏向器114(すなわちミラー3236)の瞬時角度位置を(例えばθ、φ座標を用いて)決定するように構成されたプロセッサ118(すなわちCPU3234)を含み得る。「瞬時角度位置」という用語は、所与の角度方向(例えばθ、φによって示される)の方へ(及び/又はその角度方向からの)光を偏向させる少なくとも1つの偏向器の瞬時位置を指す。そのような決定は、車両3210又はLIDARシステム100に関連した振動センサ(例えば光偏向器114に関連付けられたセンサ)の1つ以上による光学測定、容量測定、圧電抵抗測定、誘電率測定、及び圧電分極測定のうち少なくとも1つに基づくことができる。
[0560] 上記で検討したように、1つ以上のセンサ3216、3218、及び/又は3219を用いて振動を検出することができる。このようなセンサは、1つ以上の加速度計、ひずみゲージ、又は、振動もしくは振動の少なくとも1つの特徴を検知するのに適した他の任意のタイプのセンサを含み得る。更に、上記のようにLIDARシステム100は、専用の振動センサ(すなわちセンサ3228)を搭載するか、又はLIDAR FOVのスキャンに使用されるシステムの1つ以上のコンポーネントを用いて振動を検出することができる。例えばいくつかの実施形態では、偏向器114及び図32Cに示されている位置フィードバックセンサ3256を用いて振動を検出できる。
[0561] 図32Cに示されているのは、2つ以上の軸(例えばθ、φ)で移動することができるミラー3306を含む例示的な枢動可能ミラー構成である。図32Cから図32Gに示されているように、ミラー3236は、例えば矩形、方形、円形、又は丸みのあるミラー形状を含む様々な構成で含むことができる。プロセッサ118は、LIDAR FOVのスキャン中に、例えばミラー3236の位置を含めて少なくとも1つの偏向器114を制御するように構成できる。また、プロセッサ118は、所望のスキャンレート、スキャンパターン、空間光分布、時間光分布等を与えるためにミラー3236の移動を制御することができる。
[0562] 瞬時方向制御のため、ミラー3236を含むステアリングユニット3232(すなわちスキャンユニット104)は、作動ドライバ3238のような電気的に制御可能な電気機械ドライバも含み得る。作動ドライバ3238は、移動又はパワーを、アクチュエータ3240のようなアクチュエータ/片持ち梁/曲げ部に中継することができる。アクチュエータ3240はフレーム3241等の支持フレームの一部とするか、又はそれらを間接的に接続することができる。アクチュエータ3242、3244、及び3246のような追加のアクチュエータは各々、図示されているような追加の作動ドライバによって制御/駆動することができ、(適宜)複数の層3243、3245、及び3247と一致する支持フレームを有し得る。フレーム3241、3243、3245、及び/又は3247は、全てのアクチュエータを支持する単一フレームとするか、又は複数の相互接続されたフレームとすればよいことは理解されよう。更に、これらのフレームは、(図示されているような)絶縁(Isn)要素又はセクションによって電気的に分離することができる。任意選択として、ばね3248のような可撓性相互接続要素又はコネクタを用いてアクチュエータ3240をミラー3236に接続して、作動ドライバ3238からのパワー又は移動をミラー3236に中継することができる。アクチュエータ3240は、接点3240A、3240B、3240C、及び3240Dのような2つ以上の電気接点を含み得る。任意選択として、フレーム3241及びアクチュエータ3240が電子的に接続されるならば、1つ以上の接点3240A、3240B、3240C、及び/又は3240Dはフレーム3241又はアクチュエータ3240上に配置することができる。いくつかの実施形態によれば、アクチュエータ3240をドーピングされた半導体とすることで、概ね接点3240A〜3240D間で導電性であると共に絶縁3250及び3252では絶縁性であり、アクチュエータ3240をアクチュエータ3242及び3246から(それぞれ)電気的に分離することを可能とする。任意選択として、アクチュエータをドーピングするのではなく、アクチュエータ3240は、アクチュエータ3240に接着されるか又は他の方法で機械的もしくは化学的に接続できる導電性要素を含み得る。この場合、絶縁要素は、導電性要素が接着されていないアクチュエータ3240のエリアに内在することができる。アクチュエータ3240は圧電層を含むことができ、この場合、アクチュエータ3240を流れる電流が圧電セクションにおいて反応を引き起こし、これによってアクチュエータ3240が制御可能に曲がるようになっている。
[0563] 例えば処理ユニット108に組み込むことができるCPU3234は、θ、φパラメータで記述されたミラー3236の所望の角度位置をミラードライバ3254に出力/中継することができる。ミラードライバ3254は、ミラー3236の移動を制御するように構成することができ、アクチュエータ3240、3242、3244、及び3246の曲げに基づいてミラー3236のθ、φ偏向値の指定要求値を達成するため、作動ドライバ3238に特定の電圧を接点3240C及び3240Dに印加させることができる。いくつかの実施形態によれば、位置フィードバック制御回路は、接点3240A(又は3240B)のような接点に電源(例えば電圧又は電流)を供給するように構成され、3240B(又は適宜3240A)のような他方の接点は、位置フィードバック3256内のセンサに接続され、これを用いてアクチュエータ3240の1つ以上の電気的パラメータを測定して、アクチュエータ3240の曲げを決定すると共に、適宜、ミラー3236の実際の偏向を決定することができる。更に、アクチュエータ3240と、適宜、偏向ミラー3236の曲げを決定することによって、次いでCPU3234が光偏向器のリアルタイム位置を決定することは理解されよう。
[0564] アクチュエータ3242〜3246の各々について、位置フィードバック3256と同様の追加の位置フィードバック及び作動ドライバ3238と同様の追加の作動ドライバを複製することができ、ミラードライバ3254及びCPU3234は、全ての方向でミラー偏向が制御されるようにこれらの要素も制御することができる。作動ドライバ3238を含む作動ドライバは信号を送出し、これによってアクチュエータ3240〜3246で電気機械反応が発生し、その各々が次いでフィードバックのためサンプリングされる。アクチュエータ(3240〜3246)の位置に関するフィードバックは、CPU3234によって設定された所望の位置θ、φへミラードライバ3254を効率的に収束させ、検出された実際の偏向に基づいて要求値を補正するための信号として機能できる。
[0565] 例えば3242A/B、3244A/B、又は3246A/B及び位置フィードバックセンサによって、ミラー3236を位置決めしフィードバックを取得する所望の動作に加えて、とりわけこのような要素は振動を検出するために使用できる。例えばプロセッサ118は、車両の振動(又はLIDARシステムの振動)を示すデータを明らかにするため、位置フィードバックセンサからのフィードバックを監視できる。上記で検討したように、車両振動補償システムは、偏向器から取得した測定反射光学系データを利用することができる。図3Aから図3Cに示されているようなスキャンユニット104、又はLIDARシステム100は、視野(FOV)をスキャンするレーザビームを偏向するため圧電アクチュエータ微小電気機械(MEMS)ミラーデバイスを利用できる。ミラー3236の偏向は、アクチュエータ3240上に積層された圧電要素に電圧電位/電流が印加された結果である。ミラー3236の偏向は角度スキャンパターンに変換されるが、これは線形の挙動を示さない場合があり、特定の電圧レベルに対してアクチュエータ3240は一定の変位値に変換しない。様々なデバイス間でFOV寸法が決定的であり(deterministic)反復可能であるスキャンLIDARシステムは、位置フィードバック及びセンサ3256からミラードライバ3254及び/又はCPU3234へ角度偏向フィードバックを与える閉ループ方法を用いて最適に実現される。反射光学系がLIDARシステムに関連データを与える(例えば、深度マップの生成に使用されるLIDAR FOVの特定の小領域からの反射光)だけでなく、CPU3234は、振動を検出する基礎として測定光学データを使用できる。例えば、ミラー3236によってセンサ116上に反射された光のスポットがセンサに対して移動していると判定された場合、特に、この移動が振動に関連付けられる周波数や振動等と一致しているならば、集光された光ビームの移動の方向及び程度によってプロセッサ118は振動の存在を検出することができ、更に、振動の1つ以上の特徴も検出できる。
[0566] 振動の存在を検出するため、プロセッサ118によって他の技法も使用され得る。図32Cに戻ると、上記で検討したように、位置フィードバックセンサは振動を測定するためにも使用できる。例えば位置フィードバックセンサは、接点3242A又は3242B、3244A又は3244B、及び/又は3246A又は3246Bによって、アクチュエータ3242、3244、及び/又は3246における信号を検知できる。検知された信号を用いてアクチュエータの移動を明らかにすることができ、この移動は振動を示す場合がある。アクチュエータ及び/又は位置フィードバックセンサの出力を監視することで振動の効果を検出するための1つの例において、プロセッサ118は、LIDAR FOVのスキャンの一部としてミラー3236を特定の瞬時位置に移動させた可能性がある。(例えば、LIDAR FOVの特定の小領域へ光を誘導するために)一度ミラー3236を指定の瞬時位置に移動させたら、プロセッサ118は、ミラーが次の瞬時位置へ移動する前に特定の停止時間にわたってその位置に留まると予想することができる。上記で詳しく検討したように、停止時間中、ミラー3236は指定の瞬時位置に固定されたままであるか、又は特定の瞬時FOVへの連続的な光のステアリングを可能とするペースで移動すると予想され得る。このため、停止時間中にミラー3236が予想される向きから逸脱していることを示す信号がプロセッサ118で受信された場合、特に、その逸脱が振動性である、散発的である、ランダムである、特定の周波数を超えている、特定の閾値を超えている等であれば、プロセッサ118は、停止時間中の移動/逸脱を示す信号が振動を示す可能性があると判定できる。同様にプロセッサ118は、瞬時位置スキャン時間中の移動/逸脱を示す信号がミラーに加えられた外力を示すと判定することも可能である。任意選択としてプロセッサ118は、瞬時位置スキャン時間中の移動/逸脱を示す信号を、その原因を決定することなく、そのまま使用することができる。プロセッサ118が、(例えば異なる瞬時位置における停止時間と停止時間との間に)ミラー3236を移動させた場合、プロセッサ118が、禁止された移動に対して予測される信号と一致しない位置フィードバックセンサからの信号を観察したならば、プロセッサ118は、これらの一致しない信号が振動の効果に関連すると判定できる。プロセッサ118が、(例えば異なる瞬時位置における停止時間と停止時間との間に)ミラー3236を移動させた場合、プロセッサ118が、禁止された移動に対して予測される信号と一致しない位置フィードバックセンサからの信号を観察したならば、プロセッサ118は、位置フィードバックセンサの信号に応答して、ミラー3236の少なくとも1つのアクチュエータに位置制御信号を送信することができる。このような位置制御信号が、必要な変更を加えて、プロセッサ118によって他の任意のタイプの光偏向器114にも送信され得ることは、当業者には明らかであろう。
[0567] ミラー3236の位置を決定すること及び/又は監視することは、振動を検出するために有用であるだけでなく、意図しないミラー移動の他の原因に対処するためにも有用であり得る。例えば図32Dは、いくつかの開示される実施形態に従った例示的なアクチュエータとミラーの結合を示している。アクチュエータ3240はいくつかの層で構成され、圧電層3241、半導体層3243、及びベース層3245を含み得る。半導体層3243の反射率を、ミラーを特定の角度位置に偏向させたアクティブ段階で測定し(図では「Ractive」と表記されている)、静止状態の反射率(Rrest)と比較することができる。Ractiveを含むフィードバックによって、予想角度に対する実際のミラー偏向角を測定/決定するための情報を提供できる。この情報に基づいて、ミラー3236の予想された角度/向き/位置に差がある場合、予想されたものと一致するようにミラー3236の角度/向き/位置を変更するためアクチュエータ3240を制御することができる。シリコン(又は他の半導体)ベースのアクチュエータ3240の導電率は、アクチュエータ3240に加わる機械的応力に応じて変動し得る。アクチュエータ3240が静止状態である場合、2つの接点3240A及び3240Bで示される導電率はRrestである。(例えば電圧を印加することによって)活性化された場合、層3241の圧電材料はアクチュエータ3240に力を加え、これを曲げる。更に、LIDARシステム100に加わる振動によって、ミラー3236の1又は複数の意図しない移動が生じ、これもアクチュエータ3240を曲げる可能性がある。機械的な力(圧電層の電気的活性化によって発生したものであれ、振動の結果として誘発されたものであれ)に応じたアクチュエータ3240の曲げは、2つの接点3240A及び3240Bで示される導電率Ractiveを変化させ得る。RrestとRactiveとの差は、ミラードライブ(図32Cのミラードライバ3254等)によって、ループを閉じるように作用する角度偏向値に相関付けることができる。この方法は、実際のミラー位置を動的に追跡するため使用できる。また、この情報をフィードバックループ内で用いることで、プロセッサ118は、振動によって生じる動きに対抗するような電気信号(供給電流/電圧)をアクチュエータ3240に印加できる。
[0568] 2軸MEMSミラー(3270)の概略図を与える図32E、単一軸MEMSミラー(3280)の概略図を与える図32F、及び丸いMEMSミラー(3290)を示す図32Gの各々は、振動によって生じたミラーの移動を検出すると共にアクティブフィードバックループによってこれらの移動を相殺するため使用され得るミラー及びアクチュエータアセンブリの例を与える。ミラー及びアクチュエータの結合は、特定の用途の要件に従って様々な特徴を備えるように構成できる。例えば、いくつかの実施形態において、光偏向器(例えばアクチュエータフレーム内に懸架されたミラー3236)は、1000Hz未満の共振周波数を有し得る。更に、偏向器はMEMSミラーアレイを含み、その個別ミラーの各々が光偏向器要素を構成することができる。いくつかの実施形態において、各光偏向器は、少なくとも4.5mmの幅を有する単一のMEMSミラーを含み得る。他の実施形態において、各光偏向器は、各ミラーが少なくとも2mmの幅を有するミラーの2次元アレイを含み得る。上記のように、例えばミラー3236の移動の1つ以上の指標を監視することによって、少なくとも1回の移動(特に振動を示す移動であるが、これに限定されない)を検出すると、プロセッサ118は、この移動を相殺するように様々なアクチュエータを制御することができる。このような制御は、ミラー3236の意図される/予想される位置又は移動とミラー3236の観察される位置/動き/速度/加速度との差を制御によって低減又は排除しようとするフィードバックループの一部として実行できる。ミラー3236の意図される位置/向き/速度/加速度とミラー3236の観察される位置/向き/速度/加速度との差の低減又は排除は、振動によって(又は上述のような他の任意の力によって)生じる動きとは反対にミラー3236を移動させるように、又は他の方法でミラー3236の移動特性を変更するように、アクチュエータ(例えばアクチュエータ3240、3242、3244、及び/又は3246)を駆動することにより達成できる。フィードバックループの一部として、ミラー3236の位置/向き/速度/加速度を連続的に監視し、(LIDAR FOVのスキャン中に)ミラー3236の意図される瞬時位置に関連付けられた意図される位置/向きへミラー3236を駆動することによって、ミラー3236に加わる力(例えば振動によって生じる力)に関わらず、ミラー3236を実質的に意図される位置/向きへ誘導することができる。
[0569] この代わりに又はこれに加えて、プロセッサ118は、センサ3216、3218、及び/又は3219のような1つ以上のセンサの受信出力に基づいて、ミラー3236の位置を制御することができる。このような実施形態において、プロセッサ118は、観察される振動を相殺するための調整を決定できる。これは、ミラー3236を意図される瞬時位置へ移動させるための適切な軸(θ、φ)パラメータ調整を計算することを含み得る。場合によっては、これらの調整は、車両自体に関連したセンサからの出力に基づいて決定された、計算された加速度、トルク、ひずみ等を補償するため、ステアリングデバイス3232を備えた偏向器114を移動させることを含み得る。
[0570] 振動の抑制に加えて、LIDARシステム100は、LIDARシステム100が搭載されているか又は他の方法で関連付けられているプラットフォーム(例えば車両)に関連し得る他の移動を検知すると共にこれに反応することができる。例えば、プロセッサ(例えばプロセッサ118、CPU3234等)は更に、車両(例えば図33)の傾きを示すデータを収集するように構成できる。車両の傾きを示す情報は、1つ以上の加速度計、1つ以上の3次元加速度計、慣性測定ユニット(IMU)等の出力として提供され得る。この情報に基づいて、LIDARシステム100の1つ以上の様相を調整することができる。例えばいくつかの実施形態では、車両の傾きの変化を相殺するように、LIDARシステム100(又は、偏向器114;光投影器、1つ以上の光偏向器、及び光センサを含む光投影器アセンブリ;又は、特定のシーンに対するLIDAR FOVのロケーションに少なくとも部分的に影響を与えるLIDARシステム100の他の任意のコンポーネントを含む、コンポーネントの1つ以上)を回転させるため、1つ以上の機械的アクチュエータを活性化することができる。そのような車両の傾きの相殺によって、LIDAR FOVは、例えば車両の傾きの変化に関わらず、シーンに対して実質的に固定されたままに(少なくとも特定の時間期間)維持することができる。他の場合、LIDAR FOVはシーンに対して変動し得るが、この変動は、車両の傾きの特定の変化に通常関連付けられる量よりも小さい。一例として、車両が丘の頂上へ近付いていく場合(例えば負の湾曲)、LIDAR FOVがシーンに対して下方へ移動するようにLIDARシステム(又はそのコンポーネントの1つ以上)を移動させることができる。そのような移動によって、LIDAR FOVは、空との重複が小さくなると共に道路との重複が大きくなる。同様に、車両が道路の上向きの湾曲(例えば正の湾曲)に近付く場合、LIDAR FOVがシーンに対して上方へ移動するようにLIDARシステム(又はそのコンポーネントの1つ以上)を移動させることができる。そのような移動によって、LIDAR FOVは、上向きの湾曲を通り過ぎた道路の更に遠くの部分を含むシーンの領域と重複することができる。
[0571] 説明のための例として、図33は、LIDARシステム100を備えた車両110がトラック3302の方向に下り坂を走行している2つの同様のシーンを示している。シーンAにおいて、LIDARシステム100は、トラック3302が検出されないような最小上昇点及び最大上昇点を有する固定の視野120Aを有する。この場合、LIDARシステム100は、より後の時点(例えば、車両が道路の正の湾曲点を通り過ぎることでLIDAR FOVがシーンに対して上方に移動し、これによりトラック3302を含む領域と重複する時)まで、トラック3302を検出しない。しかしながらシーンBにおいては、LIDARシステム100は、例えば上記で検討したように、LIDARシステム100又はそのコンポーネントの1つ以上の照準を合わせる方向を調整することによってシーンに対して位置決めできる動的な視野120Bを有する。この例では、車両が坂道を下る際の車両の傾きを検出することができ、動的FOV120Bは、(シーンAにおけるように)坂道の下の部分と重複せずに、トラック3302が位置する道路に沿った更に遠くの領域と重複するように調整できる。この結果、LIDARシステム100は、動的FOVの機能なしの場合よりも早くトラック3302を検出できる。明らかに、プロセッサ118は車両110の様々な位置に反応することができ、下り坂の運転は単に1つの例示的な状況として示したに過ぎない。
[0572] 処理ユニット108(例えばCPU3234を含む)は、このような調整を多種多様な方法で達成することができる。例えばCPU3234は、LIDARシステム100の位置の変化を生成するため、車両に関連付けられた様々なセンサのフィードバックによって収集されたデータから絶え間ないフィードバックループを実施できる。この代わりに又はこれに加えて、偏向器114(例えばミラー3236)は、車両の傾きの変化を相殺するように操縦できる。
[0573] 車両で使用されるLIDARシステムの振動を抑制するための方法は、視野のスキャンにおいて少なくとも1つの光源からの光の光束を変動させ得るように少なくとも1つの光源を制御することを含み得る。この方法は更に、視野をスキャンするため、少なくとも1つの光源からの光を偏向させるように少なくとも1つの光偏向器の位置決めを制御することを含み得る。この方法は、車両の振動を示すデータを取得する。その取得データに基づいて、方法は、車両の振動を補償するために少なくとも1つの光偏向器の位置決めを調整する。また、方法は更に、少なくとも1つの光偏向器の位置決めに決定された調整を実行し、これによって、少なくとも1つの光偏向器において、視野のスキャンに対する車両振動の影響の少なくとも一部を抑制する。
[0574] 図34に移ると、車両で使用するように構成されたLIDARの振動を抑制するための方法は、視野のスキャンにおいて少なくとも1つの光源からの光の光束を変動させ得るように少なくとも1つの光源を制御すること(ステップ3410)を含み得ることが更に理解されよう。更に、いくつかの実施形態において、光偏向器114は1000Hz未満の共振周波数を有する。ステップ3420では、少なくとも1つの光源からの光を偏向するように光偏向器の位置決めを制御又は操縦することで、視野をスキャンすることができる。ステップ3430では、車両の振動を示すデータを取得することができる。収集されるデータのいくつかの例が上述されている。次いでステップ3440では、取得したデータに基づいて、車両の振動を補償するために少なくとも1つの光偏向器の位置決めに対する調整を決定する。更にステップ3450は、この方法が、LIDAR FOVの1以上のスキャンに対する振動の効果を抑制又は排除するため、決定された調整を少なくとも1つの光偏向器の位置決めによって実施できることを示す。追加の実施形態は更に、光偏向器の瞬時角度位置を決定することと、意図される位置又は要求される位置と瞬時角度位置との差を補償するように光偏向器の瞬時角度位置を変更することと、を更に含み得る。
[0575] ステアリング可能な高エネルギビーム
[0576] 自動車業界によるLIDARシステムの利用を促進するため、人間の視覚のいくつかの面と同様の機能を示すLIDARシステムに関心が持たれる場合がある。例えば人間の視覚は、人がシーンを3次元で知覚することを可能とする情報を提供する(例えば、わずかに異なる位置からシーンを見る2つの目が与える視差によって)。道路の状況では、そのような機能によって人は、起伏のある道路、上り坂の道路部分、下り坂の道路部分、縦揺れ、偏揺れ、スピード防止帯(speed bumper)、急カーブ、路肩、急勾配の小道(例えば地下駐車場)等を、3次元の深度として知覚できる。更に、人間の視覚によって人は、他の領域よりも重要視するために注意を払う必要がある視野内の(又はシーン内の)領域を決定及び/又は予測することができる。例えば路上を運転している場合、歩行者及び車両が存在する領域は、スカイラインや、例えば自分の車両に干渉する可能性のある物体を含まない視野の領域又はシーン内の領域よりも、いっそう注意を払う必要があり得る。従って、シーン(又は個人の環境)内でそのような物体の存在を決定したことに応答して、人はそのような物体が存在する領域によりいっそう注意を向けることができる。LIDARシステムに同様の機能を備えることが望ましい場合がある。
[0577] 本開示の実施形態に従ったLIDARシステムにおいて、システムは、LIDARシステムのFOV内の環境における物体の3D再構築を生成することができる。開示されるLIDARシステムは、人間の視覚の挙動をある程度模倣する「注視(gazing)」機能を含むことができる。この機能は、環境、道路特性、及び車両運動ベクトルに従って、最大6自由度(6DOF)までの3自由度(3DOF)で、アクティブな視野を特定の周囲領域の方へシフトさせるものである。この機能によってLIDARシステムは、FOVを、例えば異なるレベルのサービス品質(QoS)が割り当てられた複数のセグメントに適応的に分割することによって、大きい視野全体で検知性能向上を与えることができる。
[0578] 上記のようにLIDARシステム100は、例えば処理ユニット108内に少なくとも1つのプロセッサ118を含み、これは、少なくとも1つの光源112を制御して、FOVの特定の領域に対して生成する光束を増大又は低減させることができる。例えば、FOVの特定領域に関連した関心レベルに応じて、関心レベルに比例して増大又は低減させた光をその特定領域へ与えることができる。関心の低い視野120の部分(例えば図5Bに示される、検出された自動車から離れている領域等)は、低レベルの光束を割り当てるか、又は光束を全く割り当てないことも可能である。しかしながら、より関心の高い他のエリア(例えば、図5Bに示される自動車が検出された領域のような、物体が検出される領域等)は、より高い光束レベルを割り当てることができる。このような割り当ては、関心の低いエリアで光エネルギ及び検出リソースの支出を回避すると共に、より関心の高いエリアで分解能及び他の性能特性を向上させることができる。高レベル又は低レベルの光束を生成するには、視野の第1の部分へ誘導される光束が少なくとも1つの他の部分へ誘導される光束よりも多くなるように、第1の部分に関連した光源パラメータ(例えばパルスタイミング、パルス長、パルスサイズ、パルス振幅、パルス周波数等)を変更すればよい。あるいは、プロセッサ118は、視野の第1の部分へ誘導される光束が少なくとも1つの他の部分へ誘導される光束よりも少なくなるように、第1の部分に関連した光源パラメータを変更すればよい。また、光束の差は、偏向器パラメータ(例えばスキャンパターン、ステアリングレート)を変更すること、及び光源と偏向器の同期を変更することによっても達成できる。
[0579] また、光の割り当ては、FOV全体にわたる所定の割り当てパターンに基づくことも可能である。図35Aは、例えば水平方向を指し示すLIDARシステムの鳥瞰図による、センサの検出面に対して垂直な面におけるFOVの例を示している。図35Aに示す例では、FOVは3つのセクタに分割されているが、より多いか又は少ないセクタも実施できる。各セクタにはある特定の光束を誘導することができる。この結果、各セクタは、各セクタに与えられる光量に関連した対応する信号対雑音区別バランス及び/又は対応する検出範囲を示し得る。図35Aに示されている3つのセクタのうち、セクタIIは、セクタI又はセクタIIIよりも多くの光束が割り当てられている。この結果としてLIDARシステムは、セクタIIにおいて、セクタI又はセクタIIIよりも遠い距離範囲で同様の物体を検出することができる。同様に、図示されている通りセクタIIIは、セクタIよりも多いがセクタIIよりは少ない光が割り当てられている。この結果としてセクタIIIは、セクタIよりも大きいがセクタIIよりも小さい範囲での物体の検出が可能となる。むろん、他の光割り当てパターンも可能である。例えばいくつかの実施形態では、セクタIIに最大の光束を割り当て、セクタI及びセクタIIIの各々に実質的に同じ光束量を割り当てることも可能である。第2のセクタに高レベルの光束を誘導することで、光源と関心ターゲットとの間の距離で生じるレーザ信号損失を少なくとも部分的に補償できる。更に、第2のセクタに多くの光束を誘導することで、システムがそのセクタに提供できる分解能が向上し、これによって、そのセクタにおける、ひいてはLIDARシステム全体におけるサービス品質が向上し得る。分解能の向上は、時間分解能の向上、空間分解能の向上、又はそれら双方の組み合わせであり得る。
[0580] FOVの異なるセクタに多くの異なるレベルの光束を割り当てられるだけでなく、セクタの形状及び大きさも様々に変動し得る。例えばいくつかの実施形態において、セクタII(例えば図35Aの実施形態で最大光割り当てのセクタ)は、図35Aに示す説明のための例のように、FOVの中央の領域を占有することができる。言い換えると、上述のように、FOVは複数の小領域に分割できる。プロセッサ118は、FOV内の任意の領域/小領域をセクタII(又は他の任意のセクタ)として指定できる。従って、プロセッサ118による光割り当ては、特定のセクタ内に含まれる1つ以上の小領域に特定の光束レベルを供給することを含み得る。更に、各セクタ/サブセクタは少なくとも1つの画素を含む。本開示のシステム及び方法は、画素ごとにデータを収集することができる。FOVをスキャンするため、プロセッサ118は、視野をスキャンするために少なくとも1つの光偏向器(例えば、図1Aの光偏向器114、図2Aの偏向器114及び/又は偏向器114B、及び/又は図2Bの一方向偏向器214)を制御することができる。例えばプロセッサ118は、少なくとも1つの光偏向器の機械的移動を行って視野をスキャンすることができる。この代わりに又はこれと同時に、プロセッサ118は、視野をスキャンするため少なくとも1つの偏向器の圧電的又は熱電気的な変化を誘発し得る。
[0581] LIDARシステムに関連付けられたセクタは、任意の適切な大きさ又は任意の向き又は異なる立体角を含み得る。例えばいくつかの実施形態において、各セクタは同様の大きさを有し得る(例えば、同様の「画素」数、同様の「ビームスポット」数のように、同様の数の同様の大きさのFOV小領域を占有し得る)。しかしながら他の場合、セクタは異なる大きさを有し得る。例えば図35Cは、異なる大きさ及び形状を有する異なるセクタを示している。
[0582] また、セクタは、様々な異なる向きでLIDAR FOV内に位置付けることも可能である。図35Aに示す説明のための例において、各セクタはLIDAR FOVの全高を占有し、LIDAR FOVは、各々がLIDAR FOVの全高を占有する3つのセクタ(I、II、及びIII)に縦に分割されるようになっている。しかしながら、これは必ずしも全ての実施形態に当てはまるわけではない。プロセッサ118は任意のFOV小領域又は小領域群を特定のセクタに割り当てることができるので、そのようなセクタは、FOVの縦方向の分割部分(図35A)、FOVの横方向の分割部分に相当するか、又は図36を参照して以下で更に詳しく検討するように、様々な他の形状もしくはパターンをとり得る。本明細書において、例えば小領域は、少なくとも1つの偏向器の瞬時位置を変更することによりFOV内で移動させ得る瞬時FOVとすることができる。
[0583] 更に、各セクタに関連した大きさ、形状、及び/又は範囲は、異なるスキャンサイクルで変化することができる。例えば、FOVのスキャンサイクルにおいてフレームを取得した後、様々なセクタに対する光の割り当てを変更し、セクタの数を変更し、セクタの大きさを変更し、及び/又はFOV内で任意のセクタの相対位置を変更することができる。図35Bに示す説明のための例において、FOVの後半のスキャンでセクタIIIに割り当てられる光は、図35Aに示されているFOVの前半のスキャンでセクタIIIに割り当てられた光量に対して変化している。このため、図35BのセクタIIIのスキャンは、図35AのセクタIIIのスキャンに比べて少ない光束、従って小さい検出範囲、低い信号対雑音比等を伴う可能性がある。結果として、図35Bに示されているように、セクタI及びセクタIIIは同一の検出範囲を有し得る。
[0584] 更に、異なるセクタに関連付けられる位置、大きさ、形状、及び/又は光束は、検出フィードバックに基づいて、ホストもしくは別の外部システムにより与えられる命令もしくは情報に基づいて、又は他の任意の適切な根拠に基づいて、所定のパターンに従って複数のスキャンサイクルで変動させることができる。いくつかの実施形態では、例えば、FOVの2つ以上のスキャンサイクルにわたって特定のセクタの相対位置をFOV内で変更することができる。この結果、例えばセクタIIのような特定のセクタに、複数のスキャンにわたってFOVをスキャンさせることができる(例えばラスタパターン、スイープ運動等で)。更に、利用可能セクタに与えられる光束量をスキャンごとに変動させることも可能である。例えば、図35Aに関連したスキャンに比べ、図35Bで表されるスキャンは、セクタIIIに割り当てられた光量が低減したことを示している。この結果、セクタIIIの検出範囲も変化する(例えば低減する)可能性がある。このような光割り当ての変化は、フィードバック(例えば、車両の動きに関するセンサ出力、1つ以上の対象物体のLIDAR検出、他のセンサ/検出器等)に基づいて、所定のセクタスキャンスキームに応じてプロセッサにより実施することができる。従って、図35Bに示されているように、プロセッサ118は、FOV内の2つの異なるセクタについて同一の検出範囲を決定し得る。
[0585] 一例において、図1Aを参照すると、LIDARシステム100は車両110上で展開することができ、処理ユニット108は、車両の運転モード(例えば縦揺れ、偏揺れ、横揺れ、停止等)に基づいて、特定のセクタ(セクタII等)のために既定のスキャンパターンを選択することができる。車両が移動するにつれて、処理ユニット108は、スキャンごとにセクタIIをスイープ運動で移動させることができる。このような位置の変化によって、LIDARシステムは、ターゲット物体(1又は複数の対象範囲に位置するものを含む)を効果的に検出できる。更に、LIDAR FOVの複数のスキャンにわたって特定のセクタをスイープすることで、システムは、1以上の対象ターゲットを複数のスキャンにわたって追跡できる。例えば、1スキャンごとに車両が検出物体に対して移動し続ける場合、FOVに対する検出セクタのロケーションを移動させる(例えば複数のスキャンにわたってセクタIIをスイープ運動で移動させる)ことによって、LIDARシステムは、車両が1つ以上のターゲット物体に対して移動する際にそれらの物体を追跡し続けることができる。
[0586] 説明のための別の例は、車両110が方向を変える(左折又は右折する、Uターンする、駐車する等)状況を含むことができる。そのような場合、複数のスキャンサイクルにわたってFOVにおいて特定のセクタをスキャンすることにより、FOVにおける特定のセクタのスキャンなしでは検出されなかった(又は、場合によっては所望の分解能で検出されなかった)はずのターゲット物体の連続的な追跡が可能となる。そのようなスキャンは所定のパターンに従って実行できる(例えば、所定のレートやロケーション等でFOV内の相対ロケーションを規則的にスイープする)が、特定のセクタのスキャンは、他の任意の適切な根拠に基づくことも可能である。例えば一実施形態において、スキャンは、上述のような車両の動きに関連したフィードバックに基づいて実行できる。車両が移動する際、車両上のセンサ(例えば速度センサ、加速度計等)は、車両の速度及び向きを監視することができる。FOV内の特定のセクタのロケーションは、検知された車両の動きを少なくとも部分的に考慮に入れるようにスキャンサイクルごとに変化させることができる。1つの例では、複数のFOVスキャンサイクルの間、検出される物体(例えば別の車両、歩行者等)が少なくとも部分的に特定のセクタ(例えば図35Aもしくは図35BのセクタII、又は図35CのセクタIV)内で追跡されるように、セクタのロケーションを変化させることができる。
[0587] 更に、FOV内のセクタの相対移動は他のタイプのフィードバックに基づくことも可能である。例えば、FOVの特定のセクタ(例えばセクタII)内で対象の物体が検出され、その物体がLIDARシステムに対して移動していると判定された場合、1つ以上の後続スキャン中にFOV内の特定セクタのその後のロケーションを割り当てる際に、対象物体の相対移動を考慮に入れることができる。例えば図35Cに示されているように、ターゲット車両がLIDARシステムを含むホスト車両の前方を右から左へ横切っている場合、ターゲット車両がFOVにおいて右から左へ移動する際の動きを追跡するため、複数のスキャンにわたってFOV内で特定のセクタ(例えばセクタIV)の相対ロケーションをスイープすることができる。この結果、セクタIVのロケーションも、FOVの複数のスキャンにわたってFOVにおいて右から左へ移動し得る。セクタがFOVの新しいロケーションへ移動する速度(例えばスキャンごとのセクタロケーションの角度変化)は、ターゲット車両の観察される相対移動特性(例えばその相対速度、加速度、ホスト車両からの距離等)に依存し得る。これに応じて、図35Dは、図35Cのセクタに対応するセクタに分割されたFOVを示している。
[0588] この代わりに又はこれと同時に、FOV内のセクタの相対移動はスイープパターンとすることができる。「灯台」の光投影モードと同様に、特定のセクタは、FOV全体で又はFOVの一部において移動して、移動する物体を検出し、それを追跡することができる。
[0589] この代わりに又はこれと同時に、プロセッサ118は、より広いシーンの理解を犠牲にして前方の検出範囲を拡大するため、ホスト車両の速度に基づいて、FOVのフレーム中央の特定のセクタ(例えばセクタII)の寸法を縮小することも可能である。
[0590] スキャンごとにFOVにおいて1つのセクタ(又は2つ以上のセクタ)をスイープすることは、連続的に実行され得る(例えば、スキャンごとのセクタの角度変化が一定である場合)。また、スイープ又は1つ以上のセクタは非連続的に実行することも可能である(例えば、スキャンごとのセクタの角度変化が一定でない場合)。
[0591] また、FOVの1つ以上のセクタは、光束をほとんど又は全く受光しないようにプロセッサ118によって指定することも可能である。例えば、デッドゾーン(例えば、対象の物体がほとんど又は全く存在しないもの)が検出されるか、又は付近の物体がFOVの一部を遮っている場合、1つ以上の後続スキャン中にそのゾーンからの追加情報の必要性が低いことがある。このため、FOVの1つ以上の後続スキャン中、そのデッドゾーンと重複するように低光速セクタ又は非光束セクタを割り当てることができる。そのようにして、LIDARシステムのエネルギ使用/エネルギ要求を低減できる。これに加えて又はこの代わりに、1又は複数のデッドゾーンセクタへの割り当てに利用されたはずの光エネルギを、より関心の高い1つ以上の他のセクタへの再割り当てのために確保することができる。
[0592] 上述のように、FOVは、各々がFOVの1つ以上の小領域から成る1つ以上のセクタに分割することができる。このようなセクタ分割は、FOVの縦方向のセクション、FOVの横方向のセクションを含むか、又は様々な他のパターンを含むことができる。一実施形態では、図36に示されているように、FOVを3つのセクタ(セクタI、セクタII、及びセクタIII)に分割できる。この実施形態において、セクタI及びIIIはFOVの縦方向の分割部分を含む。しかしながらセクタIIは、第1及び第3のセクタに完全に囲まれたFOVの小領域に割り当てられている。セクタIIのロケーションは、スキャンごとにFOV内の同様の相対位置とするか、又は移動させることができる。いくつかの実施形態において、セクタIIは、各スキャンサイクルで第2のセクタの少なくとも一部が水平線又は水平レベルよりも下に位置するように、複数の連続スキャンサイクルでスイープすることができる。例えば、起伏のある道路の運転中に、対象の物体(例えば陥没(pothole)、別の車両、歩行者等)が道路上で検出された場合、対象物体の領域により多くの光束を割り当てて、そのエリアの分解能を増大し、物体の特徴を決定する機能を向上させることが望ましい場合がある。従って上述のように、プロセッサ118は、検知された車両の向き、対象の物体の相対移動、又は他の任意の判定基準に基づいて、セクタIIに、スキャンごとに対象の物体を追跡させることができる。このため、LIDARシステムが搭載された車両が坂道を下る際は、セクタIIをスキャンごとに上方に移動させて、前方の道路上の対象物体との重複を維持することができる。同様に、ホスト車両が坂道を上る場合は、FOV内のセクタIIのロケーションをスキャンごとに下方に移動させることができる。この結果、起伏のある道路にかかわらず、FOV内のセクタII(例えば高光束割り当てゾーン)のロケーションは、セクタIIが水平線よりも実質的に下にあるFOVの領域と重複するように上下に移動することができる。
[0593] 図37は、LIDARシステムを用いて物体を検出するための例示的な方法3700のフローチャートである。ステップ3701において、プロセッサ(例えばプロセッサ118)は、視野(例えば視野120)のスキャンサイクルにおいて少なくとも1つの光源(例えば光源120)からの光の光束を変動させ得るように、少なくとも1つの光源を制御する。少なくとも1つの光源から投影される光は、視野をスキャンするため少なくとも1つの偏向器(例えば光偏向器114)へ誘導される。ステップ3702において、プロセッサ(例えばプロセッサ118)は、少なくとも1つのセンサ(例えばセンサ116)から、視野(例えば視野120)内の物体から反射した光を示す反射信号を受信する。ステップ3703において、プロセッサ(例えばプロセッサ118)は、スキャンサイクルにおいて少なくとも3つのセクタを発生させるように光束及びスキャンを連携させる。プロセッサ118は、少なくとも3つのセクタの各々に同様の又は異なるレベルの光束を供給することができる。いくつかの例では、第2のセクタに供給される光束は第1及び第3のセクタに供給される光束よりも多くすることができる。また、プロセッサ118は、利用可能なセクタの1つ以上に対して異なる点分解能を生じ得る。「点分解能(point resolution)」とは、ポイントクラウドマップの解像度のことである。ポイントクラウドマップの1つ以上のポイントの各々は、物体内のロケーション又は物体の面上のロケーションに対応する。すなわち、各ポイント間の平均空間が縮小してポイント数が増大する場合、点分解能は高くなり得る。また、点分解能が高くなればなるほど、情報(例えば空間情報、時間情報等)の精度を上げることができる。
[0594] ステップ3704において、プロセッサ(例えばプロセッサ118)は、第1のセクタに供給される光束が第3のセクタに供給される光束と実質的に同じであるように、かつ、第2のセクタに供給される光束レベルが第1及び第3の領域に供給される光束よりも大きいように、少なくとも1つの光源(例えば光源112)を制御することができる。この結果、第2のセクタに関連した検出範囲は、第1のセクタに関連した検出領域又は第3のセクタに関連した検出範囲よりも少なくとも50%遠くに延出し得る。ステップ3705において、プロセッサ(例えばプロセッサ118)は、少なくとも1つのセンサ(例えばセンサ116)からの入力に基づいて、第1のセクタ又は第3のセクタのいずれかによって与えられる点分解能よりも高い点分解能で第2のセクタ内の物体を検出することができる。ステップ3706において、プロセッサ(例えばプロセッサ118)は、第1及び第3のセクタに関連した点分解能におけるポイント間の平均空間の約50%未満である各ポイント間の平均空間を有する第2の点分解能を用いて第2のセクタ内の物体を検出することができる。例えば、第2のセクタで更に正確な情報が望まれる場合、少なくとも1つのプロセッサは、第2のセクタに関連した点分解能の各ポイント間の平均空間を縮小することによって、点分解能を向上させることができる。ステップ3707において、プロセッサ(例えばプロセッサ118)は、少なくとも1つのセンサ(例えばセンサ116)からの入力に基づいて、第2のセクタ内の物体を検出することができる。
[0595] 異なるレートでのLidarフレームの並行キャプチャ
[0596] 図38は、LIDARシステム3800の視野3802を示す図である。LIDARシステム3800は、LIDARシステム100を参照して上述したように動作することができる。いくつかの実施形態において、LIDARシステム3800は、視野3802の多数のスキャンにおいて光束を変動させ得るように1つ以上の光源を制御するよう構成された1つ以上のプロセッサを含む。視野の各スキャンによって、キャプチャされたフレームを生成できる。各フレームは、スキャン中に光が誘導され収集された視野の各領域のセンサ出力情報を含み得る。視野は、近視野部分3804及び遠視野部分3806を含むことができる。いくつかの例において、キャプチャされたフレームは近視野部分内の物体の検出をターゲットとする。他の例では、キャプチャされたフレームは遠視野部分内の物体の検出をターゲットとする。以下で更に詳しく検討するように、近視野を対象とするスキャン(及びそれに関連するキャプチャされたフレーム)は、FOVの遠視野を対象とするスキャン(及びそれに関連するキャプチャされたフレーム)に比べ、光束が少なく、スキャンレートが高速である可能性がある。
[0597] 前述のように、プロセッサは、視野3802をスキャンするため光源からの光を偏向するように1つ以上の光偏向器を制御することができる。例えばコントローラ118は、所望のスキャンレートを与えるように1つ以上の偏向器の移動を制御できる。プロセッサは、視野の近視野部分3804に対応するスキャンサイクルに関連付けられたフレームに対して近視野スキャンレートを実施することができる。プロセッサ118は、視野の遠視野部分3806に対応するスキャンサイクルに関連付けられたフレームに対して遠視野スキャンレートを実施することができる。
[0598] 1つ以上の対応するフレームをキャプチャするための1つ以上のスキャン中に、プロセッサ118は、視野の近視野部分3804内の物体の検出を可能とするように光源を制御できる。例えばプロセッサ118は、光源に、近視野の物体(例えば50メートル未満の距離の物体、100メートル未満の距離の物体等)の検出に適した特定量の光束を放出させること、特定のパワーレベルの光を放出させること等が可能である。他の時点で、プロセッサ118は、遠視野部分3806内の物体の検出を可能とするように光を放出するよう光源を制御できる。例えば、遠視野における検出に関連付けられたフレームをキャプチャする際、より遠い距離にある物体、より低い反射率を有する物体等に対するLIDAR感度を増大させるため、光源に、より多くの量の光束、より高いパワーレベルの光等を供給させることができる。このような光束の増大によって、近視野の物体(他の物体に比べて反射率が低い物体を含む)の検出も可能となることに留意するべきである。
[0599] LIDARシステム3800が車両に関連付けられている等のいくつかの例では、物体がLIDARシステムに近い場合、物体がより遠くにある場合よりも検出物体に反応する時間が短くなり得る。従っていくつかの実施形態では、近視野スキャンレートは、反応時間がより長い遠視野に集中しているフレームを取得するため使用されるスキャンレートよりも高くすることができる。いくつかの実施形態において、近視野スキャンレートは遠視野スキャンレートよりも少なくとも5倍高速とすることができる。例えば1つの例示的な実施形態において、視野の近視野部分3802のスキャンレートは毎秒25フレームであり、視野の遠視野部分3804のスキャンレートは毎秒5フレームである。高速スキャンレートによって、短い時間期間でフィードバックの増大が得られると共に、LIDARシステムは、検出される近視野物体に反応する(例えば、自律走行又は半自律走行運転システム、運転者支援システム、ナビゲーションシステム等による反応)ために充分な時間を持ちながら近視野物体を検出することができる。遠視野検出は、(例えば、より高い光束レベル、より高い光源パワーレベル等の結果として)近視野検出よりも多量の光エネルギを必要とし得る。(例えば、近視野検出に重点を置く他のスキャンに対してFOVスキャンレートを低減させることによって)遠視野検出のスキャンレートを調整することで、より高いスキャンレートでの遠視野のスキャンに比べ、LIDARシステムの電力消費が低減するという利点が得られる。
[0600] LIDAR視野の近視野部分内の物体は、LIDARシステムの比較的近くに位置する物体を含み得る。例えばいくつかの実施形態において、近視野物体はLIDARシステムから50メートル未満に位置する物体を指すことができる。同様に、遠視野物体は近視野物体よりも遠い距離に位置する物体を含み得る。例えばいくつかの実施形態において、遠視野物体はLIDARシステムから100メートルよりも遠くに位置する物体を含み得る。いくつかの実施形態において、視野の近視野部分内の物体はLIDARシステムから100メートル未満としてもよい。いくつかの実施形態において、視野の遠視野部分内の物体はLIDARシステムから50メートルよりも遠くとしてもよい。例えば1つの例示的な実施形態においてLIDARシステム3800は、第1のフレームで、近視野内の例えば30メートル離れた縁石に駐車された第1の自動車を検出できる。また、LIDARシステム3800は第2のフレームで、縁石に駐車された第1の車と、遠視野内の例えば200メートル離れた前方の車線内の第2の自動車を検出できる。言い換えると、いくつかの実施形態において遠視野フレームは、近視野に関して受信した情報率(rate of information)が中断されないように、遠視野情報に加えて近視野情報も与えることができる。
[0601] いくつかの実施形態において、遠視野フレームに関連したLIDARシステムの検出距離は、近視野フレームに関連した検出距離よりも少なくとも50%遠くに延出できる。いくつかの実施形態において、近視野及び遠視野フレームに関連した検出距離は、例えば光束/光エネルギレベルを調整することによって調整可能である。遠視野から物体情報を収集するためにより多くの光が必要となり得るので、遠視野検出は近視野検出に比べて大きいパワーを必要とする可能性がある。上記のように、遠視野検出に関連したフレーム取得のフレームスキャンレートを低減させることで、遠視野検出による電力消費増大を軽減することができる。
[0602] プロセッサは、スキャンサイクル中に多くの異なる瞬時位置に配置されるように光偏向器の1つ以上を制御することができる。いくつかの実施形態では、光偏向器が、光源によって生成された光ビームの一部を視野内の物体へ偏向させると共に物体からの反射を1つ以上のセンサへ偏向させるような位置にあるように、少なくとも1つの光偏向器114及び少なくとも1つの光源112を連携させることができる。いくつかの実施形態では、1つ以上の光源が光偏向器の共通エリアに照準を合わせることで、これらの光源からの光を視野の1つ以上の別個の領域へ投影するようにプロセッサが偏向器を制御することができる。
[0603] いくつかの実施形態において、プロセッサは、所与のフレームにおいて特定の空間光分布を与えると共に1つ以上の後続フレームにおいて異なる空間光分布を与えるように、1つ以上の光源を制御することができる。更にプロセッサは、近視野フレームに対して特定の光分布スキームを使用すると共に遠視野フレームに対して異なる光分布スキームを使用するように光源を制御することができる。例えば図39に示されているように、遠視野光分布スキームに従って、水平線の近くに位置する遠視野3906内のエリアへ光を放出することができる。また、近視野光分布スキームに従って、より少ない光を近視野3904内の水平線の方へ放出することができる。放出光を遠視野の水平線に集中させることによって、LIDARシステムは、物体検出のために近視野の大部分をスキャンするリソースを節約しながら、遠視野の物体を検出することができる。遠視野の物体の性質、大きさ、又は他の特性に関する情報は、検出される物体がLIDARシステムに近い距離に来るまで決定又は検出する必要がない場合がある。
[0604] いくつかの実施形態において、プロセッサは、遠視野に位置する1又は複数の物体を検出するためのフレームに関連付けられた1つ以上のセンサからの情報を受信できる。いくつかの実施形態では、特定のフレームにおいてプロセッサは、1つ以上の物体が視野の遠視野部分に位置すること及び/又は1つ以上の物体が近視野部分に位置することを示す情報をセンサから受信できる。
[0605] いくつかの実施形態において、遠視野に関連した取得フレームの解像度は、近視野に関連したフレームの解像度よりも低い可能性がある。そのような解像度には様々な表現が可能であるが、一例において、近視野フレーム中のポイント間の平均間隔は遠視野フレーム中のポイント間の平均間隔の約75%未満であり得る。フレーム間の同様の差別化スキームを、必要な変更を加えて使用可能であることに留意するべきであり、この場合、高解像度フレームが第1のフレームレートで取得され、低解像度フレームが第2のより高いフレームレートで取得される。
[0606] いくつかの実施形態において、近視野スキャンレート及び/又は遠視野スキャンレートは、LIDARシステムを含む車両の運転モードに応じて実施することができる。例えば、都市部を運転する車両は、農村部の道路を運転する車両に比べ、近視野スキャンに重点を置くことが有益であり得る。他の実施形態において、近視野スキャンレート及び/又は遠視野スキャンレートは、車速に応じて実施できる。例えば車速が低速になると、遠視野及び近視野の一方又は双方に関連したスキャンレートを低減させることができる。同様に、車速が高速になると、遠視野及び近視野の一方又は双方に関連したスキャンレートを増大させることができる。
[0607] 図40Aは、LIDARシステムから光を放出するための例示的なプロセス4000のフローチャートである。ステップ4010において、光源は視野の近視野部分の1つ以上のエリアに光を放出する。近視野内に物体が存在する場合、ステップ4020において、光は物体で反射され、LIDARシステムの1つ以上のセンサによって検出され得る。ステップ4010及び4020の組み合わせが1つのスキャンサイクルを形成することができる。いくつかの実施形態では、ステップ4010及び4020のシーケンスを単一スキャンサイクルの一部として1回以上繰り返すことができる。
[0608] 次のスキャンサイクルの開始時に、ステップ4030において、光源から遠視野スキャンレートで光を放出することができる。遠視野内に物体が存在する場合、ステップ4040において、光は物体で反射され、LIDARシステムの1つ以上のセンサによって検出され得る。ステップ4030及び4040の組み合わせが別のスキャンサイクルを形成することができる。いくつかの実施形態では、ステップ4030及び4040のシーケンスを単一スキャンサイクルの一部として1回以上繰り返すことができる。ステップ4010〜4040が完了した後、スキャンサイクルのシーケンスはステップ4010から再び実行することができる。
[0609] 図40Bは、LIDARシステム100から光を放出するための別の例示的なプロセスのフローチャートである。ステップ4502において、プロセッサ118は、現在のFOVフレームが遠視野スキャンレートとして指定されたスキャンレートと一致するか又は他の方法でそのように指定されているか否かを判定することができる。一致する場合、次いでステップ4506において、プロセッサ118は、遠視野照射スキームに従って光源112及び偏向器114を制御できる。一致しない場合、次いでステップ4504において、プロセッサ118は、近視野照射スキームに従って光源112及び偏向器114を制御できる。ステップ4508において、反射光を取得することができる。ステップ4510において、検出光を分析し、ステップ4512において、検出光反射に基づいてFOVの3D深度マップ表現を生成することができる。
[0610] 運転環境に基づく動的動作モード
[0611] 本開示の実施形態に従ったLIDARシステムを有する車両において、運転環境は、ドライブの過程全体を通して変化する可能性がある。例えば、車両は都市(又は郊外)環境で走り始め、走行中に農村環境へ移動することがある。他の運転環境には、駐車場、交通渋滞、トンネル、交差点、橋、州間幹線道路、又は幹線道路等が含まれ得る。環境の様々な指標に基づいて(又はシステムに対する直接入力に基づいて)、本開示の実施形態に従ったLIDARシステムは、環境を考慮に入れるように視野のスキャンの1つ以上の特性を調整できる。例えばLIDARシステムは、瞬時検出距離、空間分解能、時間分解能、信号対雑音比、FOV全体の光束分布、フレームレート、視野の大きさ、視野のアスペクト比、1つ以上のパルス伝送スキーム等を調整することができる。
[0612] 従って本開示のシステム及び方法では、例えば判定された運転環境に応じて視野のスキャン1つ以上の特性を調整することができる。図41Aは、LIDARシステムにおいて検出距離を変更するための例示的な方法4100を示している。図41Aの方法4100は検出距離を調整するが、これに加えて又はこの代わりに、上述のような他の特性を調整してもよい。方法4100は、少なくとも1つのプロセッサによって実行できる(例えば、図1Aに示されているようなLIDARシステム100の処理ユニット108のプロセッサ118、及び/又は図2Aに示されているLIDARシステムの処理ユニット108の2つのプロセッサ118)。
[0613] ステップ4101において、プロセッサ118は、視野(例えば図1A及び図2Aの視野120、図42Aの視野4203、図42Bの視野4207、図42Cの視野4211、図42Dの視野4215、図42Eの視野4215’、図43の視野4311)のスキャンにおいて、少なくとも1つの光源(例えば図1Aの光源112、図2Aの光源112のレーザダイオード202、及び/又は図2Bの複数の光源102)からの光束を変動させ得るように、少なくとも1つの光源を制御する。例えば、プロセッサ118は少なくとも1つの光源からのパルスのタイミングを変動させ得る。これの代わりに又はこれと同時に、プロセッサ118は少なくとも1つの光源からのパルスの長さを変動させ得る。別の例としてプロセッサ118は、この代わりに又はこれと同時に、少なくとも1つの光源からのパルスの大きさを変動させ得る(例えば長さ又は幅、又は他の方法で断面積を変化させる)。更に別の例においてプロセッサ118は、この代わりに又はこれと同時に、少なくとも1つの光源からのパルスの振幅及び/又は周波数を変動させ得る。
[0614] ステップ4103において、プロセッサ118は、視野をスキャンするため、少なくとも1つの光源からの光を偏向させるように少なくとも1つの光偏向器(例えば図1Aの光偏向器114、図2Aの偏向器114A及び/又は偏向器114B、及び/又は図2Bの一方向偏向器214)を制御する。例えばプロセッサ118は、少なくとも1つの光偏向器の機械的移動を行って視野をスキャンすることができる。この代わりに又はこれと同時に、プロセッサ118は、視野をスキャンするため少なくとも1つの偏向器の圧電的又は熱電気的な変化を誘発し得る。この代わりに又はこれと同時に、プロセッサ118は、光学フェーズドアレイ(OPA)の異なる放出源の相対振幅、位相、又は他の信号特性を変更することによって、OPA光源のステアリングを誘発し得る。この代わりに又はこれと同時に、プロセッサ118は、垂直キャビティ面発光レーザ(VCSEL)アレイのアクティブな光放出器の変化を誘発し得る。
[0615] いくつかの実施形態において、視野(例えば図42Dの視野4215、図42Eの視野4215’、図43の視野4311)は、複数の部分(例えば第1の部分及び第2の部分)を含み得る。例えばこれらの部分は、視野によってカバーされるエリアの2分の1、4分の1、又は他の割合の部分を含み得る。他の例では、これらの部分は、視野によってカバーされるエリアの対称部分及び/又は何らかの割合の部分でなく、不規則部分を含み得る。更に別の例では、これらの部分は、視野によってカバーされるエリアの不連続部分を含み得る。
[0616] いくつかの実施形態において、プロセッサ118は、単一のスキャンサイクル中に少なくとも1つの光偏向器が複数の異なる瞬時位置に配置されるように少なくとも1つの光偏向器を制御することができる(例えば、偏向器は、LIDAR FOVのスキャン中に1つの瞬時位置から又は1つの瞬時位置を介して別の瞬時位置へ移動するように制御される)。例えば、少なくとも1つの光偏向器は、スキャンサイクル中に複数の位置のうち1つから別のものへ連続的に又は非連続的に移動させることができる(任意選択的に、追加の位置及び/又は繰り返しも用いる)。
[0617] そのような実施形態において、プロセッサ118は、少なくとも1つの光偏向器が特定の瞬時位置に配置された場合、光ビームの一部が少なくとも1つの光偏向器によって少なくとも1つの光源から視野内の物体の方へ偏向されると共に光ビームの一部の反射が物体から少なくとも1つのセンサの方へ偏向されるように、少なくとも1つの光偏向器と少なくとも1つの光源を連携させることができる。従って、少なくとも1つの光偏向器は、光ビームの一部を視野の方へ誘導すると共に、視野からの反射を受光することができる。例えば図1A、図2B、及び図2Cが示す例では、偏向器は光ビームの一部を視野の方へ誘導すると共に視野からの反射を受光する。他の実施形態において、少なくとも1つの光源からの光ビームの一部は、視野からの反射を受光する少なくとも1つの他の光偏向器とは別個の少なくとも1つの光偏向器によって、視野の方へ誘導することができる。例えば図2Aが示す例では、1つの偏向器が光ビームの一部を視野の方へ誘導し、別個の偏向器が視野からの反射を受光する。いくつかの実施形態において、少なくとも1つの偏向器は、(送信用の)1つ以上の偏向器の第1の群と、(受信用の)1つ以上の偏向器の第2の群と、を含み得る。これらは相互に異なる可能性がある。
[0618] いくつかの実施形態において、少なくとも1つの光源は、少なくとも1つの光偏向器の共通エリアに照準を合わせた複数の光源を含み得る。そのような実施形態において、プロセッサ118は、少なくとも1つの光偏向器が特定の瞬時位置に配置された場合に複数の光源からの光が視野を形成する複数の別個の領域へ投影されるように、少なくとも1つの光偏向器を制御することができる。このような実施形態の一例は、以下で検討される図43に示されている。
[0619] ステップ4105において、プロセッサ118は、車両の現在の運転環境を示す入力を受信する。例えばプロセッサ118は、農村部関連の指示及び都市部関連の指示のうち少なくとも1つを含む入力を受信できる。別の例としてプロセッサ118は、少なくとも1つの農村部関連の指示、都市部関連の指示、光の状況に関する情報、気候状況に関する情報、及び車速に関する情報を含む入力を受信できる。
[0620] いくつかの実施形態において、プロセッサ118は、プロセッサ118自体によって実行した決定からの入力を受信できる。このような例においてプロセッサ118は、視野の以前の(及び/又は現在の)1つ以上のスキャンからの情報に基づいて現在の運転環境を決定できる。例えばプロセッサは、多数の車両及び/又は車両に極めて近接した建物の存在に基づいて、現在の運転環境が都市部であると判定できる。別の例としてプロセッサは、多数の木及び/又は広々とした土地の存在に基づいて、現在の運転環境が農村部であると判定できる。プロセッサ118は、この代わりに又はこれと同時に、車両の速度に基づいて及び/又はマップ情報(これは記憶するか又は受信することができ、更新された交通情報を含み得る)に基づいて、現在の運転環境を決定できる。例えばプロセッサ118は、車両の高速が維持されていることに基づいて及び/又は車両のロケーションが既知の州間幹線道路又は幹線道路と一致していることに基づいて、現在の運転環境が州間幹線道路又は幹線道路であると判定できる。別の例として、プロセッサ118は、低速が維持されながら車両が頻繁に停止することに基づいて及び/又は既知の交通情報に基づいて、現在の運転環境が交通渋滞であると判定できる。
[0621] この代わりに又はこれと同時に、プロセッサ118は、例えばプロセッサ118と共に車両内に位置する中央コンピュータのようなホスト処理ユニットから入力を受信できる。中央コンピュータは、プロセッサ118に関する上述した技法を用いて現在の運転環境を決定できる。同様にプロセッサ118は、これに加えて又はこの代わりに、遠隔システムから入力を受信することができる。例えばプロセッサ118は、気候サーバ又は他の更新された気候情報のソースから気候の指示を受信できる。同様にプロセッサ118は、交通サーバ又は他の更新された交通情報のソースから交通の指示を受信できる。
[0622] いくつかの実施形態において、プロセッサ118は、GPS、車両ナビゲーションシステム、車両コントローラ、レーダ、LIDAR、及びカメラのうち少なくとも1つから、現在の運転環境を示す入力を受信できる。例えば上述のように、プロセッサ118は、GPS及び/又は車両ナビゲーションシステムによって決定された車両ロケーションをマップ及び/又は交通情報と組み合わせて用いて、現在の運転環境を導出できる。そのような例においてプロセッサ118は、車両のGPSロケーションをマップと合わせることで車両が州間幹線道路に位置すると判定し、又は、車両のGPSロケーションを交通情報と合わせることで車両が交通渋滞の中にあると判定することができる。同様にプロセッサ118は、車両コントローラからの速度や進行方向等を用いて、上述のように現在の運転環境を導出できる。これに加えて又はこの代わりにプロセッサ118は、レーダ、LIDAR、及び/又はカメラからの情報を用いて、現在の運転環境を導出できる。例えばプロセッサ118は、レーダ、LIDAR、及び/又はカメラを用いて、野原、木、建物、中央分離帯のような1つ以上の物体を識別し、この識別した物体を用いて現在の運転環境を導出できる。
[0623] ステップ4107では、現在検出されているか又は推測される運転環境に基づいて、プロセッサ118は、少なくとも1つの光源の制御と少なくとも1つの光偏向器の制御を連携させて、投影される光の量及び視野のスキャンにおける光の空間光分布を変動させることにより、瞬時検出距離を動的に調整することができる。例えばプロセッサ118は、投影される光の量を増大させる及び/又は光の空間分布を縮小させて、瞬時検出距離を拡大することができる。別の例として、プロセッサ118は、投影される光の量を低減させる及び/又は光の空間分布を拡大させて、瞬時検出距離を縮小することができる。例えばプロセッサ118は、図42D及び図42Eの例に示されているように、車両がトンネルから出た時を判定し、車両がトンネル内に位置していた時に視野の少なくとも1つの部分において用いた光放出に比べて少なくとも1つの部分における光放出を増大させるために少なくとも1つの光源と少なくとも1つの光偏向器の制御を連携させることができる。
[0624] プロセッサ118は、少なくとも1つの光源からのパルスの長さ、少なくとも1つの光源からのパルスの振幅及び/又は周波数等を変えることによって、視野のスキャンにおいて投影される光量を変動させることができる。これに加えて又はこの代わりに、プロセッサ118は、少なくとも1つの光偏向器の強度(例えば、少なくとも1つの光偏向器が圧電型又は熱電気型である実施形態において)、少なくとも1つの光偏向器の反射角(例えば、少なくとも1つの光源からの光ビームの広がりが拡大又は縮小することによる)等を変えることによって、視野のスキャンにおける光の空間光分布を変動させることができる。
[0625] プロセッサ118は、現在の運転環境に基づいて瞬時検出距離の動的な調整を行うことができる。例えばプロセッサ118は、農村環境では検出距離を拡大できる。農村環境では、都市環境よりも物体が少ないので、検出距離の拡大によってこの少なさを補償することができる。別の例としてプロセッサ118は、交通渋滞では検出距離を縮小できる。交通渋滞によって車速は著しく遅くなり、頻繁な停止及び急停止が多くなるので、遠くの物体を検出する重要性は低くなり得る。より広い検出範囲のために消費されないエネルギは単に節約することができるか、又は、分解能、フレームレート、SNRのような他の検出特性の改善のために使用できる。
[0626] ステップ4107においてプロセッサ118は、これに加えて又はこの代わりに、LIDARシステムの他の特性を調整することも可能である。例えばプロセッサ118は、少なくとも1つの光源の制御と少なくとも1つの光偏向器の制御を連携させて、投影される光の量及び視野のスキャンにおける光の空間光分布を変動させることにより、スキャンレートを動的に調整できる。このような例において、プロセッサ118は都市環境でスキャンレートを増大することができる。都会の環境では、著しい数の他の車両と歩行者が移動しているので、スキャンレートの高速化によって、車両前方の他の車両の停止や歩行者の道路への移動のようなイベントを早く検出することが可能となる。別の例として、プロセッサ118は農村環境でスキャンレートを低減することができる。農村環境では、都市環境よりも他の車両及び歩行者の数が少ないので、高速スキャンレートの必要性は低下し得る。従ってプロセッサ118は、車両が都市エリアに位置する時を判定し、非都市エリアで用いられるスキャンサイクルレートに比べて増大したスキャンサイクルレートを生成するために少なくとも1つの光源制御及び少なくとも1つの光偏向器の制御を連携させることができる。
[0627] 別の例において、プロセッサ118は、少なくとも1つの光源の制御と少なくとも1つの光偏向器の制御を連携させて、投影される光の量及び視野のスキャンにおける光の空間光分布を変動させることにより、空間分解能を動的に調整できる。このような例において、プロセッサ118は雨天で空間分解能を増大することができる。都市環境では、農村環境よりも物体が高密度で存在し得るので、空間分解能の増大によってこの高密度を補償することができる。別の例として、プロセッサ118はトンネルでスキャンレートを低減することができる。トンネルでは、車両前方の他の車両以外は細部がほとんど存在しないので、高い分解能の必要性は低下し得る。
[0628] 更に別の例において、プロセッサ118は、少なくとも1つの光源の制御と少なくとも1つの光偏向器の制御を連携させて、投影される光の量及び視野のスキャンにおける光の空間光分布を変動させることにより、時間分解能を動的に調整できる。このような例において、プロセッサ118は都市環境で時間分解能を増大することができる。都市環境では、著しい数の他の車両と歩行者が移動しているので、時間分解能の増大によって、他の車両及び歩行者の移動をいっそう詳細に監視することが可能となる。別の例として、プロセッサ118は農村環境で時間分解能を低減することができる。農村環境では、都市環境よりも他の車両及び歩行者の数が少ないので、詳細な監視の必要性が低くなり得る。
[0629] 更に別の例において、プロセッサ118は、少なくとも1つの光源の制御と少なくとも1つの光偏向器の制御を連携させて、投影される光の量及び視野のスキャンにおける光の空間光分布を変動させることにより、信号対雑音比を動的に調整できる。このような例において、プロセッサ118は雨天で信号対雑音比を増大することができる。雨天では、視野における反射量が増大することにより環境内の雑音が増大するので、信号対雑音比の増大によって、雑音増大の影響を低減することが可能となる。別の例として、プロセッサ118は夜間に信号対雑音比を低減することができる。夜間は雑音が減少するので、雑音と区別される強力な信号を取得する必要性が低くなり得る。
[0630] 更に別の例において、プロセッサ118は、少なくとも1つの光源の制御と少なくとも1つの光偏向器の制御を連携させて、投影される光の量及び視野のスキャンにおける光の空間光分布を変動させることにより、視野の大きさを動的に調整できる。このような例において、プロセッサ118は農村環境で視野の大きさを縮小することができる。農村環境では、道路の車線の数が少ないので、大きい視野の必要性が低くなり得る。別の例として、プロセッサ118は州間幹線道路で視野の大きさを拡大することができる。州間幹線道路は多数の車線を有するので、視野の拡大によって、州間幹線道路上に存在する多数の車両を監視することが可能となる。
[0631] 更に別の例において、プロセッサ118は、少なくとも1つの光源の制御と少なくとも1つの光偏向器の制御を連携させて、投影される光の量及び視野のスキャンにおける光の空間光分布を変動させることにより、1つ以上のパルス伝送スキームを動的に調整できる。例えば、スキームによっては、雑音及び/又は周囲光の影響を受けやすいか又は受けにくいものがある。従ってプロセッサ118は、雨点又は雪のような高雑音環境では雑音の影響を受けにくいパルス伝送スキームを選択し、都市環境又は夜間のような高周囲光環境では周囲光の影響を受けにくいパルス伝送スキームを選択することができる。
[0632] 視野が複数の部分を有する実施形態において、プロセッサ118は、単一スキャンサイクルにおける瞬時検出距離を動的に調整して、視野の第1の部分における検出距離を以前のスキャンサイクルよりも拡大すると共に、視野の第2の部分における検出距離を以前のスキャンサイクルよりも縮小することができる。例えば、車両が交通渋滞の中にあるが道路の他方側は渋滞していない場合、プロセッサ118は、道路の進行側の車両前方の視野部分における検出距離を縮小すると共に、車両に隣接した道路の他方側の視野の別の部分における検出距離を拡大することができる。このような例では、道路の他方側を含む部分における検出距離の拡大によって、車両は、道路の他方側の車両が進行側に進入してきた場合に早く反応することが可能となる。更に、進行側を含む部分における検出距離の縮小によって、渋滞で車が動いていないため不必要にエネルギが消費されるのを防止できる。
[0633] 同様にプロセッサ118は、スキャンの別の特性を動的に調整して、視野の第1の部分の特性を以前のスキャンサイクルよりも増大すると共に、視野の第2の部分の特性を以前のスキャンサイクルよりも低減することができる。例えばプロセッサ118は、第1の部分の空間分解能を増大すると共に第2の部分の空間分解能を低減することができる。このような例においてプロセッサ118は、車両がトンネル内に位置する場合、前方部分の空間分解能を増大すると共に側方部分の空間分解能を低減することができる。空間分解能の増大によって、車両前方の他の車両の動きの追跡を強化することができ、空間分解能の低減によって、トンネルの壁の追跡に不必要にエネルギが消費されるのを防止できる。
[0634] 更に別の例として、プロセッサ118は、第1の部分の時間分解能を増大すると共に第2の部分の時間分解能を低減することができる。このような例においてプロセッサ118は、車両が州間幹線道路上に位置する場合、側方部分の時間分解能を増大すると共に前方部分の時間分解能を低減することができる。空間分解能の増大によって、対向方向を走行している他の車両の動きをより詳細に追跡して、他の車両が自車両の側の車線に入ってきた場合に迅速な反応が必要となる事態に備えることができる。時間分解能の低減によって、自車両の前方を走行している他の車両の追跡に不必要にエネルギが消費されるのを防止できる。
[0635] 別の例においてプロセッサ118は、第1の部分の信号対雑音比を増大すると共に第2の部分の信号対雑音比を低減することができる。このような例においてプロセッサ118は、車両が都市環境に位置する場合、側方部分の信号対雑音比を増大すると共に前方部分の信号対雑音比を低減することができる。信号対雑音比の増大によって、道路の側方の道路照明からの周囲光を補償することができ、信号対雑音比の低減によって、車両の前方を走行している他の車両の追跡に不必要にエネルギが消費されるのを防止できる。
[0636] 更に別の例において、プロセッサ118は、視野の第1の部分の大きさを拡大すると共に視野の第2の部分の大きさを縮小することができる。このような例においてプロセッサ118は、車両が農村環境に位置する場合、前方部分の視野を拡大すると共に側方部分の視野を縮小することができる。視野の拡大によって、対向車両又は先行車両をより早く視認することが可能となり、視野の縮小によって、道路の側方の野原又は木の追跡に不必要にエネルギが消費されるのを防止できる。
[0637] 別の例において、プロセッサ118は、第1の部分におけるパルス伝送スキームを変更すると共に第2の部分におけるパルス伝送スキームを異なるように変更することができる。このような例においてプロセッサ118は、車両が夜間に農村環境に位置する場合、前方部分には雑音を最小限に抑えるパルス伝送スキームを選択すると共に、側方部分には雑音の影響を受けやすいパルス伝送スキームを選択することができる。前者のスキームは、対向車両の明るいヘッドライト又は先行車両のテールランプからの雑音に対処することができ、後者のスキームは、道路の側方の物体からのすでに最小限である雑音を最小限に抑えることに不必要にエネルギが消費されるのを防止できる。
[0638] 同様に、いくつかの実施形態においてプロセッサ118は、現在の運転環境に基づいて、複数のスキャンサイクルで少なくとも1つの光源及び少なくとも1つの光偏向器の制御を連携させて、視野の近視野部分における物体を検出するためのスキャンサイクルの第1のレート及び視野の遠視野部分における物体を検出するためのスキャンサイクルの第2のレートとを動的に調整できる。例えばプロセッサ118は、遠視野部分における物体よりも高いレートで近視野部分における物体をスキャンすることができる。これによってプロセッサ118は、遠くの物体の動きよりも近くの物体の動きをより精密に追跡できる。あるいは、プロセッサ118は、遠視野部分における物体よりも低いレートで近視野部分における物体をスキャンすることも可能である。
[0639] 方法4100は追加のステップを含むことができる。例えば方法4100は更に、少なくとも1つのスキャンサイクルで少なくとも1つの光源及び少なくとも1つの光偏向器の制御を連携させて、視野の第1の部分に関連した瞬時点分解能を動的に調整することを含み得る。例えば、少なくとも1つの光源からの光ビームを、より大きいエリアに広げることで、より多い画素数にわたるデータを生成するか、又は、より小さいエリアに圧縮することで、より少ない画素数にわたるデータを生成することができる。
[0640] 方法4100は更に、現在の運転環境を示す受信入力に対応した環境タイプに基づいて、少なくとも1つの光源を制御することを含み得る。例えばプロセッサ118は、光束や波長のような少なくとも1つの光源の特性を調整できる。このような例においてプロセッサ118は、夜間では日中よりも低い波長を選択するか、又は農村環境では都市環境よりも高い強度を選択することができる。
[0641] 方法4100は更に、現在の運転環境に基づいて少なくとも1つのセンサの感度モードを調整することを含み得る。例えばプロセッサ118は、車両が雨天で運転している時を判定し、雨滴の反射を無視する(dismiss)ように少なくとも1つのセンサからの出力に関連した感度モードを調整できる。上記で詳しく検討したように、センサ感度の変更は、センサパラメータ(例えば動作電圧)、検出経路パラメータ(例えば信号増幅レベル、ADCパラメータ)、又はプロセッサパラメータ(例えばプロセッサに適用される閾値又は決定ルール)を変更することによって達成できる。
[0642] 図41Bは、LIDARシステムにおいて検出距離を変更するための例示的な方法4100’を示している。方法4100’は、少なくとも1つのプロセッサによって実行できる(例えば、図1Aに示されているようなLIDARシステム100の処理ユニット108のプロセッサ118、及び/又は図2Aに示されているLIDARシステムの処理ユニット108の2つのプロセッサ118)。
[0643] 図41Bの方法4100’のステップ4101、4103、及び4105は、図41Aの方法4100のステップ4101、4103、及び4105と同一である。従って、それらの説明はここでは繰り返さない。
[0644] ステップ4107では、現在検出されているか又は推測される運転環境に基づいて、プロセッサ118は、少なくとも1つの光源の制御と少なくとも1つの光偏向器の制御を連携させて検出動作スキームを変更することができる。例えば図17を参照して上述したように、プロセッサ118は、少なくとも1つのセンサ及び/又はプロセッサ118の動作パラメータを変更できる。例えばこのような場合の動作パラメータの変更は、少なくとも1つのセンサによって取得された信号レベル及び/又は雑音レベルに対する検出感度を変化させ得る。例えばプロセッサ118は、図17を参照して上記で検討したように、畳み込み後閾値を変えることによってセンサ感度を変更できる。しかしながら、これに加えて又はこの代わりに、少なくとも1つのセンサ及び/又はプロセッサ118の他の動作パラメータをプロセッサ118によって変更することも可能である。
[0645] 図42Aから図42Eに、異なる運転環境の例が示されている。図42Aの例において、車両4201は、車両本体及びこの車両本体内に配置された少なくとも1つのプロセッサを含むことができる。少なくとも1つのプロセッサは、図41の方法4100又はその変形を実行できる。図42Aの例において、車両4201は都市環境で運転している。従って車両4201のLIDARシステムは、図42Aに示されているように、高いフレームレート(例えば毎秒25フレーム(FPS))、中程度の距離(例えば100メートル)、及び広い水平方向視野(例えば320°、340°、360°等)を用いて視野4203をスキャンすることができる。これは、中程度の速度、高度の詳細、近距離の物体、及び都市環境に関連して起こり得る急速な状況変化に対処することができる。
[0646] 図42Bの例において、車両4205は、車両本体及びこの車両本体内に配置された少なくとも1つのプロセッサを含むことができる。少なくとも1つのプロセッサは、図41の方法4100又はその変形を実行できる。図42Bの例において、車両4205は農村環境で運転している。従って車両4205のLIDARシステムは、図42Bに示されているように、中程度のフレームレート(例えば毎秒20フレーム(FPS))、長い距離(例えば200メートル)、及び中程度の水平方向視野(例えば200°、150°、120°等)を用いて視野4207をスキャンすることができる。いくつかの実施形態において、範囲はスキャンによって変動させることができ、例えばほとんどのスキャンでは100メートル、5回のスキャンごとに200メートルをスキャンする。このような設定は、高速の速度、低度の詳細、遠距離の物体、及び農村環境に関連した遅い状況変化に対処することができる。
[0647] 図42Cの例において、車両4209は、車両本体及びこの車両本体内に配置された少なくとも1つのプロセッサを含むことができる。少なくとも1つのプロセッサは、図41の方法4100又はその変形を実行できる。図42Cの例において、車両4209は交通渋滞の中で運転している。従って車両4209のLIDARシステムは、図42Cに示されているように、中程度のフレームレート(例えば毎秒20フレーム(FPS))、短い距離(例えば75メートル)、及び中程度の水平方向視野(例えば200°、150°、120°等)を用いて視野4211をスキャンすることができる。このような設定は、低速の速度、低度の詳細、近距離の物体、及び交通渋滞に関連した一般的に遅い状況変化に対処することができる。
[0648] 図42Dの例において、車両4213は、車両本体及びこの車両本体内に配置された少なくとも1つのプロセッサを含むことができる。少なくとも1つのプロセッサは、図41の方法4100又はその変形を実行できる。図42Dの例において、車両4213はトンネルの中で運転している。従って車両4213のLIDARシステムは、領域4217a及び42217cでは領域4217bと異なる特性を用いて視野4215をスキャンすることができる。領域4217a及び4217cでは、低いフレームレート(例えば毎秒10フレーム(FPS))、短い距離(例えば75メートル)、及び低い空間分解能及び/又は時間分解能を用いて、トンネルの壁を追跡する必要がないことに対処できる。他方で、領域4217bにおいては、中程度のフレームレート(例えば毎秒20フレーム(FPS))、中程度の距離(例えば100メートル)、及び中程度の空間分解能及び/又は時間分解能を用いて、車両4213に先行する別の車両で起こり得る急停止を追跡することができる。あるいは、図42Dに示されているように、領域4217bをスキャンしている間に領域4217a及び4217cをスキャンしないことも可能である(「X」で示されているように)。
[0649] 図42Eの例において、車両4213はトンネルから出たところである。従って車両4213のLIDARシステムは、領域4217a’及び4217c’において、領域4217a及び4217cで以前用いたものとは異なる特性を用いて視野4215’をスキャンすることができる。例えば、フレームレート、検出距離、及び/又は空間分解能及び/又は時間分解能を増大させて、これらの領域内に存在し得る物体を追跡する必要性に対処できる。他方で、領域4217b’におけるフレームレート、検出距離、及び/又は空間分解能及び/又は時間分解能を、領域4217bで用いたものと同一のまま保持することができる。あるいは、この時点で領域4217bに加えて領域4217a及び4217cを、同一の特性(図42Eに示されているように)又は異なる特性のいずれかを用いてスキャンしてもよい。
[0650] 図42Fは、図42A、図42B、及び図42Cの車両4201、4205、及び4209を、それぞれ対応する視野4203、4207、及び4211と共に示している。図42Fに示されているように、都市環境における車両4201の視野4203は、中程度の検出距離及び広い水平方向視野を有する。図42Fに更に示されているように、農村環境における車両4205の視野4207は、(都市環境における)視野4203よりも大きい検出距離を有するが、(都市環境における)視野4203に比べて中程度の水平方向視野を有する。更に図42Fに示されているように、交通渋滞中の車両4209の視野4211は、(都市環境における)視野4203よりも短い検出距離を有するが、(例えば都市環境における視野4203と同様の)広い水平方向視野を有する。
[0651] 図42Aから図42Fに示されていない追加の運転環境によって、LIDARシステムの1つ以上の特性が調整される場合がある。例えば雨天の際、本開示の実施形態に従ったLIDARシステムは、高いフレームレート(例えば毎秒25フレーム(FPS))及び高い空間分解能及び/又は時間分解能を用いて視野をスキャンして、各フレームにおける大きい雑音及びゆがんだ細部に対応することができる。
[0652] 図43は、少なくとも1つの光偏向器の共通エリアに照準を合わせた複数の光源を有する例示的なLIDARシステム4300を示す図である。図43に示されているように、複数の光源からの光は少なくとも1つの光偏向器の重複エリアに入射することができる。これに加えて又はこの代わりに、複数の光源から発し、シーンから反射されて戻った光は、少なくとも1つの光偏向器の重複エリアに入射することができる。図43に示されているように、システム4300は、複数の光源(例えば光源4303a、4303b、及び4303c)と共に、処理ユニット(例えば少なくとも1つのプロセッサ4301)を含む。複数の光源4303a、4303b、及び4303cは、対応する複数の光ビーム(例えば光ビーム4305a、4305b、及び4305c)を放出できる。
[0653] 図43の実施形態において、LIDARシステム4300は、共通エリア4307を有する少なくとも1つの偏向器4309を含む。少なくとも1つの偏向器4309は、例えばスキャンサイクル中に特定の瞬時位置に配置され得る。複数の光源4303a、4303b、及び4303cは、共通エリア4307に照準を合わせることができ、従って複数の対応する光ビーム4305a、4305b、及び4305cをそこへ誘導することができる。共通エリア4307は、複数の光ビーム4305a、4305b、及び4305cを視野4311へ投影することができる。図43の実施形態において共通エリア4307は、複数の光ビーム4305a、4305b、及び4305cを、視野4311を形成する複数の別個の領域(例えば領域4313a、4313b、及び4313c)へ投影することができる。複数の光ビーム4305a、4305b、及び4305cは、視野4311から(又は視野内の物体から)複数の対応する反射4315a、4315b、及び4315cを生じる。
[0654] 更に、図43の例において、複数の領域4313a、4313b、及び4313cのスキャンレートは異なる可能性がある。例えば図43に示されているように、領域4313aのスキャンレートは領域4313bよりも遅く、領域4313cのスキャンレートは
[0655] 他の実施形態では、これに加えて又はこの代わりに、複数の領域4313a、4313b、及び4313c間でスキャン特性が異なる可能性がある。例えば、複数の領域4313a、4313b、及び4313c間で、瞬時検出距離、空間分解能、時間分解能、信号対雑音比、視野の大きさ、1つ以上のパルス伝送スキーム等は、それぞれ独立して又は組み合わせで異なる可能性がある。
[0656] 図43の例において、光ビーム4305a、4305b、及び4305c、並びに対応する反射4315a、4315b、及び4315cは双方とも、少なくとも1つの偏向器4309の共通エリア4307に入射する。しかしながら他の実施形態では、光ビーム4305a、4305b、及び4305cは、対応する反射4315a、4315b、及び4315cが反射されるのとは異なる1つ以上の偏向器によって投影され得る。
[0657] 図43の例で更に示されているように、各反射4315a、4315b、及び4315cは、対応する少なくとも1つの偏向器及びセンサへ誘導される(例えば、センサ4319a、4319b、及び4319cに対応して結合された偏向器4317a、4317b、及び4317c)。しかしながら他の実施形態では、いずれかの追加の偏向器は省略され得る。更に、他の実施形態では、2つ以上の反射が単一のセンサへ誘導され得る。
[0658] 車線横断方向転換のためのLidar検出スキーム
[0659] なしの車線横断方向転換ではいくつかの問題が発生する可能性がある。例えば、1つ以上の車線を横断する経路に沿って車両をナビゲーションすること(例えば、米国における交差点での左折、又は英国における交差点での右折)は、対向車両、自転車、及び歩行者が存在する交通渋滞中には困難となり得る。人の運転者は交差点に進入し、加速の機会を待ち、危険な車線横断方向転換を行う可能性がある。自律走行車又は半自律走行車にも同様の問題が存在し得る。
[0660] 交差点又は車線の横断を含む他の道路状況におけるナビゲーションを支援するため、LIDARシステム100は、LIDAR FOVの特定の領域に関するシステムの1つ以上の動作特性をLIDAR FOVの他の領域に対して変更するように構成できる。例えば本開示の実施形態に従ったLIDARシステムにおいて、LIDAR FOVの特定の領域の検出範囲(例えば、横断する車線と重複するFOVの部分)を、LIDAR FOVの1つ以上の他の領域に対して拡大することができる。例えば一例において、車両(自律走行車又は他のもの)が少なくとも1つの車線を横断する左折を試みている場合、横断する車線と重複するLIDAR FOVの1つ以上の領域に関連付けられた検出範囲(例えば、横断する対向車線に面する車両の右側前方の4分の1部分に対応するFOVの概ね右半分)が、FOVの他の領域の検出範囲(例えば、横断する対向車線に面しない車両の左側前方の4分の1部分に対応するFOVの概ね左半分)よりも大きいことが予想され得る。LIDAR FOVは、連続的であるか又はそうでない複数のスキャン領域の集合を含み得ることに留意するべきである。例えばいくつかの実施形態において、LIDAR FOVは、重複した連続的な立体角値を含む複数の部分から構成され得る。他の実施形態において、LIDAR FOVは、複数の重複していないか又は部分的に重複した立体角範囲の集合であり、それらの各々は異なる方向に延出した軸で二等分される(図45に示されているように)。このようにしてLIDARシステム100は、対向車両を検出すること、及び横断する車線に関連した高解像度の深度マップを生成することを良好に実行できる。
[0661] 本開示のシステム及び方法によって、車両の車線横断方向転換の方向と反対の方向の検出範囲(例えば、車線横断方向転換の方向が左である場合はFOVの右半分におけるFOVの1つ以上の領域に関連した検出範囲)を、車線横断方向転換の方向の検出範囲よりも一時的に大きくすることができる。検出範囲のこのような変更を行うには、例えば、少なくとも1つの光源の制御と少なくとも1つの光偏向器の制御を連携させることで、車両が合流しようとしている遠い側の車線を含めて車両の車線横断方向転換の方向とは反対の側の光束を視野の他の部分よりも増大させればよい。
[0662] 図44は、車線横断方向転換のためのLIDAR検出スキームの例示的な方法4400を示している。方法4400は少なくとも1つのプロセッサによって実行できる(例えば、図1Aに示されているようなLIDARシステム100の処理ユニット108のプロセッサ118、及び/又は図2Aに示されているLIDARシステムの処理ユニット108の2つのプロセッサ118)。ステップ4401において、プロセッサ118は、視野(例えば図1A及び図2Aの視野120)のスキャンサイクルにおいて、少なくとも1つの光源(例えば図1Aの光源112、図2Aの光源112のレーザダイオード202、及び/又は図2Bの複数の光源102)からの光の光束を変動させ得るように、少なくとも1つの光源を制御することができる。例えば、プロセッサ118は少なくとも1つの光源からのパルスのタイミングを変動させ得る。この代わりに又はこれと同時に、プロセッサ118は少なくとも1つの光源からのパルスの長さを変動させ得る。別の例としてプロセッサ118は、この代わりに又はこれと同時に、少なくとも1つの光源からのパルスの大きさを変動させ得る(例えば長さ又は幅、又は他の方法で断面積を変化させる)。更に別の例ではプロセッサ118は、これの代わりに又はこれと同時に、少なくとも1つの光源からのパルスの振幅及び/又は周波数を変動させ得る。
[0663] ステップ4402は更に、プロセッサ118が、視野をスキャンするため、少なくとも1つの光源からの光を偏向させるように少なくとも1つの偏向器(例えば、図1Aの光偏向器114、図2Aの偏向器114A及び/又は偏向器114B、及び/又は図2Bの一方向偏向器214)を制御することを含み得る。例えばプロセッサ118は、少なくとも1つの光偏向器の機械的移動を行って視野をスキャンすることができる。この代わりに又はこれと同時に、プロセッサ118は、視野をスキャンするため少なくとも1つの偏向器の圧電的又は熱電気的な変化を誘発し得る。
[0664] いくつかの実施形態において、視野の単一のスキャンサイクルは、スキャンサイクル中に少なくとも1つの光偏向器が複数の異なる瞬時位置に配置されるように少なくとも1つの偏向器を移動させることを含み得る(例えば、偏向器は、LIDAR FOVのスキャン中に1つの瞬時位置から又は1つの瞬時位置を介して別の瞬時位置へ移動するように制御される)。例えば、少なくとも1つの光偏向器は、スキャンサイクル中に複数の位置のうち1つから別のものへ連続的に又は非連続的に移動させることができる(任意選択的に、追加の位置及び/又は繰り返しも用いる)。
[0665] そのような実施形態において、プロセッサ118は、少なくとも1つの光偏向器が特定の瞬時位置に配置された場合、光ビームが少なくとも1つの光偏向器によって少なくとも1つの光源から視野の方へ偏向されると共に視野内の物体からの反射が少なくとも1つの光偏向器によって少なくとも1つのセンサの方へ偏向されるように、少なくとも1つの光偏向器と少なくとも1つの光源を連携させることができる。従って、少なくとも1つの光偏向器は、光ビームを視野の方へ誘導すると共に、視野からの反射を受光することができる。例えば図1A、図2B、及び図2Cが示す例では、偏向器は光ビームを視野の方へ誘導すると共に視野からの反射を受光する。いくつかの態様において、反射は、視野の方へ誘導された光ビームによって生じ得る。他の実施形態において、少なくとも1つの光源からの光ビームは、視野からの反射を受光する少なくとも1つの他の光偏向器とは別個の少なくとも1つの光偏向器によって、視野の方へ誘導することができる。例えば図2Aが示す例では、1つの偏向器が光ビームを視野の方へ誘導し、別個の偏向器が視野からの反射を受光する。
[0666] ステップ4403において、プロセッサ118は、車両の車線横断方向転換が起こりそうであることを示す入力を取得する。車線横断方向転換技法の例については図45及び図46を参照して以下で検討する。
[0667] ステップ4404では、車線横断方向転換が起こりそうであることを示す入力に応答して、プロセッサ118は、少なくとも1つの光源の制御と少なくとも1つの光偏向器の制御を連携させることで、車両が合流しようとしている遠い側の車線を含めて車両の車線横断方向転換の方向とは反対の側(すなわち方向、角度、関心領域であり、車両の一部ではない)の光束を視野の他の部分よりも増大させ、車両の車線横断方向転換の方向とは反対側の検出範囲を車線横断方向転換の方向の検出範囲よりも一時的に拡大することができる。
[0668] いくつかの実施形態において、プロセッサ118は、1つの光源の制御又は1つの偏向器を制御することで、車両が合流しようとしている遠い側の車線を含めて車両の車線横断方向転換の方向とは反対の側の光束を視野の他の部分よりも増大させることができる。例えば、偏向器(例えば図1Aの光偏向器114、図2Aの偏向器114A及び/又は偏向器114B、及び/又は図2Bの一方向偏向器214)が固定スキャンスケジュールに従ってスキャンを続けている場合、車線横断方向転換で横断される車線の1つ以上において物体(例えば車両)が存在する可能性のあるLIDAR FOVの領域内の検出範囲を変動させるため、光源112のパラメータを変更することができる。検出範囲を(個別に又はまとめて)拡大させ得るFOVのそのような領域を関心領域と称することができる。
[0669] いくつかの実施形態において、関心領域内の検出範囲は、関心領域外のFOVの領域内の検出範囲よりも大きくすることができる。任意の適切な検出範囲比を達成できる。いくつかの実施形態において、関心領域内の検出範囲は、関心領域外の検出範囲よりも少なくとも2倍大きくすることができる。車両が車線横断方向転換を行う状況の特定の例において、プロセッサ118は、関心領域に対応する方向(例えば横断車線と重複するLIDAR FOVの特定部分)で範囲Xの車両を検出することができ、関心領域でない(例えば横断車線と重複しない)LIDAR FOVの領域ではX/2以下の範囲でのみ車両を検出することができる。例えば自律走行車が左折を準備、開始、及び/又は実行している場合、関心領域は、車両の右側の少なくとも一部を包含するLIDAR FOVの右半分とすることができる。場合によっては、車両のすぐ前方のエリアと重複するLIDAR FOVの領域は関心領域外である。これに加えて又はこの代わりに、LIDARシステムFOVは異なるセグメントにまたがって提供することができ、各セグメントは例えば車両を取り囲むそれぞれ異なるゾーンを対象とする。このような場合、LIDAR FOVの関心領域は、車両の助手席側、車両の運転席側、車両の後部、車両に対して任意の4分の1の方向(例えば車両の縦軸及び横軸の間)等に存在し得る。プロセッサ118は、関心領域内の検出範囲を拡大すると共にLIDAR FOVの関心の低い領域に対するリソースを節約するように、LIDARシステム100のコンポーネントの中でもとりわけ、光源112(光出力に影響を与えるその制御可能パラメータの任意のものを含む)及び偏向器114を制御することができる。
[0670] 方法4400は追加のステップを含み得る。例えば方法4400は更に、視野のスキャンサイクル中に少なくとも1つの光偏向器が複数の異なる瞬時位置に配置されるように光偏向器を制御することを含み得る。あるいは方法4400は更に、光偏向器が特定の瞬時位置に配置された場合、光ビームの一部が光偏向器によって光源から視野内の物体の方へ偏向されると共に物体からの光ビームの一部の反射が光偏向器によって少なくとも1つのセンサの方へ偏向されるように、少なくとも1つの光偏向器と光源を連携させることを含み得る。いくつかの実施形態において、LIDARシステムは更に、少なくとも1つの光偏向器に照準を合わせた複数の光源を含み得る。プロセッサは、光偏向器が特定の瞬時位置に配置された場合に複数の光源からの光が視野内の複数の別個の領域へ投影されるように、光偏向器を制御することができる。
[0671] プロセッサ118は、様々なソースに基づいて、ホスト車両が車線横断方向転換を計画していること又は車線横断方向転換を開始したことを判定できる。例えばいくつかの実施形態において、プロセッサ118は、車両のナビゲーションシステムから車線横断方向転換が起こりそうであることを示す入力を受信できる。他の実施形態において、プロセッサ118は、車両の別のシステム(例えば1つ以上のセンサ、連動した方向転換信号、車輪操舵方向、GPSセンサ等)から、又は車両外部のシステム(例えば1つ以上の自律走行車ナビゲーションサーバシステム、マッピングシステム等)から、車線横断方向転換が起こりそうであることを示す入力を受信できる。他の実施形態においてプロセッサ118は、少なくとも1つの光源から投影された光に関連した反射を検出するように構成された少なくとも1つのセンサ(例えばセンサ116)から受信した情報に基づいて、車線横断方向転換が起こりそうであることを示す入力を決定できる。言い換えると、プロセッサ118は、LIDARシステム100のセンサ116の出力に基づいて、車線横断方向転換が起こりそうであること又は開始したことを判定できる。
[0672] プロセッサ118は、横断する車線内で検出された物体の1つ以上の特徴を決定するように構成できる。いくつかの例では、1つ以上の特徴は、検出された物体までの距離及び/又は物体のタイプ(例えば自動車、トラック、静止物体、歩行者等)を含み得る。いくつかの実施形態においてプロセッサ118は、横断車線(例えば遠い側の車線)で検出された移動中の物体の速度、進行方向(例えばFOVの2回以上のスキャンでロケーションを監視することによる)、又は検出された物体に関連した他の任意の特徴も決定できる。いくつかの実施形態においてプロセッサ118は、ホスト車両の運動特性(例えば速度、加速度、位置等)を監視し、ホスト車両の運動特性及び(例えば横断車線内の)検出された物体の運動特性に基づいて、ホスト車両及び検出された物体が衝突コース上にあるか否かを判定できる。それらが衝突コース上にあると判定された場合、プロセッサ118は警告を発生することができる(例えばクラクションの音、視覚的な警告、検出された物体に関連するコントローラへの無線通信等)。他の実施形態において、衝突コースの判定には他の潜在的な危険性が含まれ得る。例えばホスト車両が静止している場合、ホストに警告が出されるのは、例えば接近してくる車両が現在位置のホスト車両に危害を及ぼす場合、又はホスト車両が移動すると予想される場合である。いくつかの実施形態においてプロセッサ118は、自律モードだけでなく、他のモード(例えば高度な運転手支援システム動作、完全運転手制御等)においても、(聴覚、視覚、又はその他の)警告を出すことができる。
[0673] いくつかの実施形態において、プロセッサ118は、LIDAR視野に関連した反射率画像を生成することができる。反射率画像は、検出された移動中の物体の様々な部分から反射された光量を表す移動中の物体のフィンガプリント(fingerprint)を含み得る。一例として、光投影器112からの光がLIDARシステム100の環境内の物体に入射した場合、それらの物体の反射率特性に基づいて、プロセッサ118はパターンを検出できる。例えばプロセッサ118は、検出された物体に関連したタイプカテゴリ(例えば歩行者、車両、中央分離帯の障壁等)を決定するため、反射率パターン又はフィンガプリントを識別できる。また、プロセッサ118は、検出された物体に関連したサブタイプ(例えば検出された車両がバスであるか、小型車であるか、又はライトバンであるか等)を決定することも可能である。全ての車両は、その形状及び構成(例えばナンバープレートの位置及び周りの輪郭、車両上のヘッドライトの大きさ、形状、間隔、及び配置等)に基づく異なる反射率フィンガプリントを示し得る。
[0674] いくつかの実施形態において、プロセッサ118は、検出された反射率パターンと所定の反射率テンプレートとの比較に基づいて、検出された物体の1つ以上の状態を決定するように構成できる。例えばいくつかの実施形態において、プロセッサ118は、(例えば複数のスキャンサイクルにわたって)検出された移動中の物体に関して取得された1つ以上の反射率フィンガプリントを、複数の所定の/記憶された反射率テンプレートと比較することで、移動中の物体が右折の合図をしている車両であると判定できる。
[0675] また、プロセッサ118は、ホスト車両によって検出された操作に基づいて、LIFAR FOVの異なる領域に異なる光束レベルを割り当てるように構成できる。例えばいくつかの実施形態において、プロセッサ118は、左折とは異なるパワー割り当てスキームを右折に対して適用することができる。例えば光束の変化に応じて、プロセッサ118は、右折とは異なるパワーを左折に対して割り当てることができる。パワー予算割り当ての別の例については図29から図31を参照して更に記載されている。
[0676] 更に別の実施形態において、プロセッサ118は、現在の運転環境を示す入力を受信し、決定された運転環境に応じて異なるパワー割り当てスキームを適用することができる。例えばプロセッサ118は、都市エリアの車線横断方向転換とは異なるパワー割り当てスキームを農村エリアの車線横断方向転換に対して適用することができる。一例として、都市エリアでは、歩行者又は自転車がホスト車両の側方から近付いてくる可能性が高くなり得る。従って都市エリアでは、農村エリアに比べ、ホスト車両に対して1つ以上の方向(例えば運転席側、助手席側、後部等)で農村エリアよりも高い精度で物体を検出する必要性が高くなり得る。これに対して農村エリアでは、歩行者及び他の障害物がより少ない可能性がある。従って、特にホスト車両に近い距離範囲では、ホスト車両周囲の高解像度の深度マップの必要性は低くなり得る。しかしながら他方で、農村環境では、交通量が少ないことを含む様々な要因のために都市エリアよりも車速が速くなる傾向がある。この結果プロセッサ118は、ホスト車両に極めて接近している物体(例えば約40m、20m等)の検出には少ないリソースを割り当て、代わりに、より遠くの物体の検出により多くのリソースを割り当てることができる。
[0677] いくつかの実施形態において、プロセッサ118は、車両の右側に関連した第1の視野及び車両の左側に関連した第2の視野のスキャンを可能とするように、少なくとも2つの光源及び少なくとも2つの偏向器を制御することができる。更に別の実施形態において、プロセッサ118は、車両が合流しようとしている道路を含む視野の第1の部分へ投影される光量が道路に隣接した建物を含む視野の第2の部分に与えられる光量よりも大きくなるように、少なくとも1つの光源112を制御することができる。
[0678] 前述の通り、LIDAR FOVの特定の部分へ与えられる光束の増大によって、これらの領域で、様々な機能の中でもとりわけ検出機能を強化することができ、視野(例えば図1A及び図2Aの視野120)を拡大することができる。図2Cに示されているように、主光源112Aは、検出範囲を最適化するため、より長い波長の光を投影できる。更に図5Aに示されているように、光パルスと光パルスとの間の時間は所望の検出範囲に依存し得る。具体的には、より短い時間期間で同一量の光パルスを送出すると、光束を増大させることができる。図5Cに示されているように、パルス数を変動させること又はパルスとパルスとの間の時間量を変更することだけが光束を調整する方法ではない場合がある。光束の変化は他の方法によっても実施できる。他の方法には例えば、パルス持続時間、パルス角分散、波長、瞬時パワー、光源112からの異なる距離における光子密度、平均パワー、パルスパワー強度、パルス幅、パルス繰り返し率、パルスシーケンス、パルスデューティサイクル、波長、位相、偏光、及びその他のものがある。
[0679] 一例として、プロセッサ118は、視野(例えば図1A及び図2Aの視野120)のスキャンサイクルにおいて少なくとも1つの光源(例えば図1Aの光源112、図2Aの光源112のレーザダイオード202、及び/又は図2Bの複数の光源102)からの光の光束を変動させ得るように、少なくとも1つの光源を制御することができる。
[0680] 図45は、LIDAR検出スキャンスキームの一例を示す図4500を含む。図示のように、自律走行車4510は道路を東から西へ走行し、西から東へ走行している車両4530に近付いている。自律走行車4510は、車両4510の周囲環境の7つの異なる領域へ光を投影することで7つの視野(これらは少なくともいくつかの部分で重複し得る)を提供できるLIDARシステムを含み得る。いくつかの実施形態において、LIDARシステムの各視野は、光源112、偏向器114、検出器116、及び関連する光学コンポーネント(例えばレンズ等)のような対応するモジュールに関連付けることができるが、コンポーネントがより多いか又は少ないこともあり得る。簡略化のため、これらのモジュールの各々は、異なる視野を識別するための手段としてここではレンズシステムと称する。レンズシステムを介して、LIDARシステムは視野内の物体から反射光を受光することができる。自律走行車4510は、レンズシステム4511に対応する視野4521(例えば図1Aの視野120と同様)、レンズシステム4512に対応する視野4522、レンズシステム4513に対応する視野4523、レンズシステム4514に対応する視野4524、レンズシステム4515に対応する視野4525、レンズシステム4516に対応する視野4526、及びレンズシステム4517に対応する視野4527を有し得る。
[0681] 1つの特定の例(図示せず)において、LIDARシステム100は、自動車の前方を「見る」4つのレンズシステムを含み得る。4つのレンズシステムは全部で、光源を4つ用いて160°の視野をカバーできる。各光源は、例えば共有の偏向器を介して水平方向に40°の視野をスキャンする。いくつかの実施形態においてプロセッサ118は、第1の光源(横断車線が位置するFOVの一部に対応する)による光束を増大させ、同時に、第2の光源(別の方向、及び横断車線のような関心領域と実質的に重複しないFOV部分に対応する)の光束を低減することができる。双方の信号の反射は共通の光偏向器114(例えばミラー)に入射し得る。
[0682] 図46Aは、車線横断方向転換のためのLIDAR検出スキームの一例を示す図4600である。図45の自律走行車4510は、車線横断方向転換のため交差点に進入し得る。他の実施形態において自律走行車は、T字路、Y字路、又は車線横断方向転換のための他の任意のタイプの交差点に進入し得る。自律走行車4510は、車線横断方向転換のため例えば軌道4620のような経路をとり得る。自律走行車4510が交差点に進入すると(又はそれより前でも)、プロセッサ118は、FOV部分4525、4522、及び4523で表されるLIDAR視野の部分に対する光束レベルを増大させることができる。この結果、これらの部分に関連した潜在的な検出範囲は、全LIDAR FOVの他の部分よりも拡大し得る。例えば図示のように、FOV部分4522はFOV部分4521よりも大きい検出範囲を有し得る。FOV部分4523は4524よりも大きい検出範囲を有し得る。FOV部分4525(車両の、横断している車線の対向方向に面する側の部分)は、FOV部分4526よりも大きい検出範囲を有し、FOV部分4522及び4523よりも大きい検出範囲を有し得る。場合によっては、FOV部分4525の検出範囲は他のFOV部分の2倍よりも長いことがある。図46Aに示されているように、車両の右側のFOV部分4525は、関心領域と重複していると判定された方向にあるので、車線を横断する左折中に最も多くの光束が割り当てられると共に最大の検出範囲を有することができる。車両の左側のFOV部分4521、4526、及び4524の検出範囲は、デフォルト値に対して不変とすることができる(例えば、図46Aに示す車線横断方向転換の前に図45に示されているように)。あるいは、車両の左側のFOV部分4521、4526、及び4524のいずれかに投影される光束は、車線横断方向転換中にデフォルト値に対して低減させることも可能である。図46Aの方向転換状況中に自律走行車4510の前方をキャプチャするFOV部4527は、非車線横断状況で前方のFOV部分に通常割り当てられるレベルよりも低い光束レベルを割り当てることができる。例えば図45に示されているように、車両が道路を高速で走行している等の状況では、FOV部分4527により高い光束値を割り当てることができ、これはFOV部分4527の検出範囲を増大させ得る。図45に示される状況よりも速度が低くなり得る車線横断状況では、FOV部分4527の光束レベルを低減させることができる。また、車線横断状況において対向車線に隣接した車両の側は、図46Aの車線横断状況における車両の前方走行方向に比べ、(例えば潜在的な衝突の観点から)より関心の高い領域を表し得る。むろん、右折(例えば米国、及び自動車が道路の右側を走行する他の国において)は、車線横断状況を伴わないので、車両の左側にあるLIDARシステムのFOV部分で光束を増大させる必要がない場合がある。しかしながら、日本や英国のような国では、車線を横断する右折の状況中に、車両の左側のFOV部分に供給される光束を増大させることができる。プロセッサ118は、(例えば車両ナビゲーションシステムの出力、GPSセンサ等に基づいて)ホスト車両のロケーションを自動的に決定するような設備を備え、決定されたロケーションにおける運転習慣/道路構成等に従って様々なFOV部分に与えられる光束を制御することができる。
[0683] 図46Aに更に示されているように、プロセッサ118は、FOV部分4525からの拡大した検出範囲によって車線横断方向転換中に車両4610を検出することができる。一例としてプロセッサ118は、検出された物体が、例えば移動中の車両や歩行者のような対象の物体であるか否かを判定できる。プロセッサ118は、少なくとも検出された物体に関連した反射率パターンに基づいて、建物、歩道、駐車中の車両、歩行者、及び移動中の車両を区別できる。従ってプロセッサ118は、そのような対象の物体(移動中の車両又は歩行者等)を含むと判定されたFOV部分に高レベルのリソースを割り当てると共に、建物、駐車中の車、又は他の静止した物体を含むと判定されたFOV部分に対するリソース支出を低減させる(又は増大させない)ことによってリソースを節約できる。
[0684] いくつかの実施形態において、プロセッサ118は、FOV部分の特定の小領域に供給される光束を増大させることができる。例えば図46Aに示されている車線横断状況において、移動中の自動車4610は、プロセッサ118によって対象の物体であると判定され得る。このためプロセッサ118は、自動車4610と重複するFOV部分4525の小領域に、より多くの光束を与えることができる。プロセッサ118は、他の状況においてFOV部分の1つ以上の小領域に与える光レベルを増大させることも可能である。例えば、FOVの特定の小領域内で物体が検出されないか又は特定の距離よりも遠くで物体が検出されない場合、プロセッサ118は、より増大した光束をそれらの小領域に割り当てて、より遠い距離範囲における物体の検出を試みることができる。
[0685] 図46Bは、車線横断方向転換のためのLIDAR検出スキームの別の例を示している。この例において、車両4510はT字路に近付き、停止し、左折して遠い側の車線に入る機会を待っている。この状況では、車両4510の後方から又は車両4510の左側から物体に遭遇するリスクはほとんどない可能性がある。ほとんどの関心エリアは、むしろ車両の前方及び左右であり得る。従って、FOV4526、4524、及び4523では長い検出範囲及び/又は高解像度の深度マッピングは必要ないので、これらの領域に対する光投影を低減させることができる。いくつかの実施形態では、FOV4526、4524、及び4523に投影される光の低減によって使えるようになったリソースを、他の視野に対して用いることができる。例えば、FOV4526、4524、及び4523のスキャンに必要なリソースを低減させることによって、FOV4526、4524、及び4523がより大きい場合には物体の検出に使用されたはずの光放出パワー及び/又は計算リソースを、FOV4521、4522、又は4527のような他のFOVに再割り当てすることができる。
[0686] 重要なエリアでの検出を強化するために多くのリソースを利用可能とするので、LIDARシステム100は、車両4510の前方及び左側のエリア内の検出範囲を増大するため、FOV4521へ投影される光束量を増大することができる。また、FOV4521に与えられる光束の増大は、FOVの全ての領域で均等である必要はない。図46Bに示されているように、FOV4521はFOV小領域4680及び4682に分割できる。双方の小領域は例えばFOV4526よりも多くの光束を受光できるが、FOV4526の1つ以上のスキャンサイクル中に小領域4680は小領域4682よりも多くの光束を受光できる。このようなFOVスキャンスキームは潜在的に、左側から接近する車線における検出距離を増大し得る。
[0687] 図46Bに示されているT字路で左折を行う際、左側から車両4510に接近してくる車両に対する検出機能を強化することは重要であり得る。従って上述のように、より多くの光束をFOV4521に供給し、上述のようにその小領域へ均等に又は不均等に分配して、左側から接近してくる車両に対する検出機能を強化することができる。しかしながら、図46Bに示されている状況において更に重要なのは、右側から車両4510に接近してくる交通の検出機能である。一般的には、左側及び右側から接近してくる交通は同様の速度で車両4510に近付くと予想されるが、右側から接近してくる車両との相互作用時間は左側から接近してくる車両の相互作用時間よりも著しく長くなり得る。例えば図示されているT字路で左折するため、車両4510は、右側から自動車が接近しているか否か、及び、正常な加速条件下で車両4510が左側から接近してくる車両の前方を通過する充分な時間があるか否かを判定する必要があり得る。一度それらの車両を通過したら、車両4510と左側から接近してくる車両との相互作用は終了し得る。
[0688] 一方、図示されているT字路で車両4510が左折していると仮定すると、車両4510と右側から接近してくる車両との相互作用はより長くなり得る。例えば車両4510は、右側から接近してくる車両の前方を横切る充分な時間があるか否かを判定しなければならないだけでなく、車両4510が左折を完了した後及びその加速期間中に右側から接近してくる車両が車両4510の後部に衝突することなくその車両の前方に行く速度まで加速する充分な時間があるか否かを判定しなければならない。従って、右側から接近してくる車両4690のような車両を検出する大きい検出範囲が必要であるだけでなく、左側から接近してくる車両の検出に必要な検出範囲よりも長い検出範囲が必要となり得る。従って、図示されている例では、車両4510の前方及び右側の検出機能を強化するため、FOV4522及び4525(車両4510の前方及び右側の領域のカバレージを有するFOV)の双方に増大した光束レベルが割り当てられている。この場合も、そのような光増大は各FOVの全ての領域で均等に行う必要はない。それどころか、図示のように、FOV4525の小領域4675はFOV4525の別の小領域4676よりも多くの光が割り当てられている。実際、小領域4675に供給される光量は小領域4676に供給される光量よりも著しく多い場合がある。この結果、小領域4675の検出範囲は、小領域4676に関連した検出範囲の2倍、3倍、5倍、10倍(又はそれ以上)の大きさである可能性がある。
[0689] 同様に、FOV4522にも増大した光レベルを適用することができる。図示されているように、FOV4522は3つの小領域4677、4678、及び4679を含み得る。これらの小領域に適用される光束レベルは小領域4677から小領域4679まで徐々に増大し、小領域4679が小領域4678よりも大きい検出範囲を与え、小領域4678が小領域4677よりも大きい検出範囲を与えることができる。このように利用可能リソース(例えば光学予算)を再割り当てすることにより、車両4510が右側から接近してくる車両4690の前方で合流して加速する充分な時間があるか否かを判定するのに充分な範囲で、車両4690を検出することができる。
[0690] 幹線道路運転における動的照射割り当て
[0691] LIDARシステム100は、車両に(例えば車両の本体に又は他の任意の適切な位置に)組み込むことができる。また、前述のようにLIDARシステム100は、LIDAR FOVの異なる部分へ投影される光束量を動的に制御することができる。一例において、以下で検討するように、プロセッサ118は、車両が幹線道路を走行中であると判定するか又はその指示を受信する可能性がある(例えば、車両が高速で走行し、都市環境に通常存在する歩行者、自転車、及び他の車両のような障害物の横断等に遭遇するリスクが低い場合)。そのような指示に応答してプロセッサ118は、LIDAR FOVの1回以上のスキャンにおいてFOVの周辺領域よりも多くの光束がFOVの中央領域に与えられるように利用可能な光学予算を配分することができる。このような光束の配分は、車両の前方の検出範囲を増大する必要があると共にFOVの周辺領域では長距離又は高分解能の検出機能を維持する必要性が低い幹線道路の走行に適切であり得る。ホスト車両が幹線道路環境から出て、例えば、横断する物体との衝突のリスクが上昇し得る非幹線道路又は環境(例えば都市環境)に入ったことをプロセッサ118が判定すると、プロセッサ118は、幹線道路の走行中にFOVの中央領域に適用した追加の光束を周辺領域に再割り当てするように光学予算を再配分することができる。
[0692] 更に具体的には、いくつかの実施形態において、LIDARシステム100のプロセッサ118は、FOVのスキャンサイクルにおいて少なくとも1つの光源からの光の光束を変動させ得るように少なくとも1つの光源112を制御することができる。また、プロセッサ118は、FOVをスキャンするため光源112からの光を偏向させるように少なくとも1つの偏向器114を制御することができる。FOVは、車両が走行する道路のロケーションに概ね対応する中央領域と、道路の右側のエリアに概ね対応する右側周辺領域と、道路の左側のエリアに概ね対応する左側周辺領域と、に分割することができる。プロセッサ118は、車両が幹線道路の走行に対応するモードであるという入力を取得することができ、この入力に応答して、FOVのスキャン中に右側周辺領域及び左側周辺領域よりも多くの光が中央領域へ誘導されるように光源112の制御と光偏向器114の制御を連携させることができる。
[0693] プロセッサ118は、任意の適切なソースから、ホスト車両が幹線道路を走行していることの指示を受信できる。いくつかの場合、この情報は、車両ナビゲーションシステム4740(図47)との通信によって、GPS受信器及びマップサーバ又はマップアプリケーションを介して、1つ以上のカメラからの画像の分析によって、LIDARシステム100自体からの出力に基づいて、他のLIDARシステムの出力に基づいて等によって取得できる。例えばいくつかの実施形態において、ナビゲーションシステム4730は、遠隔サーバから、幹線道路又は非幹線道路としての車道ステータスを決定できる1つ以上のマップを組み込むか、これにアクセスするか、又は他の方法でこれを受信することができる。プロセッサ118は、車道が幹線道路であるか否かの指示をナビゲーションシステム4730から直接受信できる。他の場合、プロセッサ118は、ナビゲーションシステム4730によって使用されるマップ情報に関連付けられた1つ以上の指標(例えば車道ステータス指標、特定の道路に関連付けられた速度制限等)に基づいて車道ステータスを決定できる。いくつかの例では、プロセッサ118は、2つ以上のセンサ又は情報ソースからの情報の組み合わせに基づいて幹線道路又は非幹線道路としての道路ステータスを決定できる。例えばプロセッサ118は、ナビゲーション情報4730から受信した情報と組み合わせて、GPS受信器からの位置情報、車両センサ(例えば速度計)からの速度情報、カメラからの視覚情報、1つ以上のLIDARシステム(プロセッサ118が配置されているシステムを含む)又は他の任意の適切なソースからの深度マップ情報を受信することができ、情報ソースの組み合わせを用いて走行中の道路が幹線道路であるか否かを決定できる。このような補助情報ソースは、車速、車両位置、識別された車線標識、識別された目標物、識別された道路防護壁、交通の流れの方向、道路幅、車線幅、車線構成、識別された交通標識、識別された交通信号機等を示す情報を伝達できる。プロセッサ118は、この情報のうち任意のものを単独で又は組み合わせて用いて道路ステータスを検証することができる。
[0694] 図47は、例示的な開示される実施形態に従ったLIDARシステムの支援のもとで幹線道路環境において走行している車両の概略図である。車両4710は、LIDARシステム100を搭載し、場合によってはナビゲーションシステム4730も搭載することができる。図示されているように、LIDAR FOV120は、中央領域4720、右側周辺領域4724、及び左側周辺領域4722に分割できる。プロセッサ118は、光投影器112及び偏向器114の動作を連携させることによって、1つ以上のスキャンサイクル中にFOV120をスキャンすることができる(例えば、スキャンサイクル中の異なる時点で偏向器を複数の異なる瞬時位置に連続的に又は非連続的に移動させることで)。例えばプロセッサ118は、光偏向器114が特定の瞬時位置に配置された場合、光ビームの一部が光偏向器によって光源112からLIDAR FOV内の物体の方へ偏向されると共に物体からの光ビームの一部の反射が偏向器によって少なくとも1つのセンサ116の方へ偏向されるように、光偏向器114と光源112を連携させることができる。いくつかの実施形態では2つ以上の光源を使用することができる。例えば、複数の光源が偏向器114に照準を合わせることができ、プロセッサ118は、偏向器114が特定の瞬時位置に配置された場合に複数の光源からの光がLIDAR FOV内の別個の領域へ投影されるように偏向器114を制御できる。
[0695] 利用可能な光学予算を任意の適切な方法でLIDAR FOVの1つ以上の部分に配分することができる。いくつかの実施形態において、例えば車両が幹線道路を走行しているとプロセッサ118が判定した場合、プロセッサ118は、右側周辺領域4724又は左側周辺領域4722に与えられるよりも多くの光束を中央領域4720が受光するように、利用可能な光学予算をLIDAR FOVの部分に割り当てることができる。例えばプロセッサ118は、第1のスキャンサイクル中に第1の光束を有する光が中央領域4720へ誘導されるように光源112の制御と偏向器114の制御を連携させるよう構成できる。車両が幹線道路を走行していると判定した後、プロセッサ118は、第2のスキャンサイクル中に第2の光束を有する光が中央領域4720へ誘導されるように光配分を変更することができる。第2の光束は第1の光束よりも多い。LIDAR FOVの周辺領域よりもLIDAR FOVの中央領域の光束を増大させた結果、中央領域の検出範囲は周辺領域の検出範囲よりも大きくなり得る。いくつかの例では、プロセッサ118は、中央領域の検出距離が右側周辺領域及び左側周辺領域の検出距離の少なくとも2倍の大きさとなるように光源112を制御することができる。
[0696] むろん、LIDAR FOVを3つよりも多いか又は少ない領域に分割することも可能である。これに加えて、セグメントの任意のものを更に複数の小領域に分割してもよい。更に、プロセッサ118は、視野のスキャン中に複数の小領域のうち1つに対して複数の小領域の別のものよりも多くの光が誘導されるように構成できる。
[0697] ホスト車両が幹線道路を走行しているという判定に基づいて光の配分が変化し得るのと同様に、プロセッサ118は、車両が幹線道路から出たこと又はそれ以外で車両の環境が幹線道路環境から変化したことの判定に基づいて光学予算を再割り当てすることができる。例えば、車両が幹線道路のような道路タイプから都市部へ遷移した場合、プロセッサ118は利用可能な光学予算を再割り当てすることができる。例えば幹線道路環境から都市環境へ変化すると、プロセッサ118は、(1つ以上の以前のスキャンサイクルに比べて)中央領域4720へ投影される光束を低減させ、(1つ以上の以前のスキャンに比べて)周辺領域の1つ以上に適用される光を増大させることができる。
[0698] LIDAR FOVの選択された領域に対する利用可能光学予算のこのような配分を、空間光スキャンパターンを規定すると称することができる。いくつかの実施形態においてプロセッサ118は、車両が走行している道路のタイプを示すデータを取得すると、複数のスキャンサイクルに関連付けられた空間光スキャンパターンを決定することができる。上記のように、道路のタイプは、都市部の道路、幹線道路、非分離道路(undivided road)、片側1車線の道路、片側複数車線の道路、又は公共交通機関用車線を有する道路のうち少なくとも1つを含み得る。また、車両が走行している道路のタイプの変化(例えば幹線道路から非分離道路へ)を示すデータを取得すると、先行スキャンサイクルで投影した光に比べて、より少ない光を中央領域へ誘導し、より多い光を右側周辺領域及び左側周辺領域へ誘導することができる。
[0699] プロセッサ118は、ホスト車両が走行する道路のタイプの判定に基づいて利用可能光学予算を配分できるだけでなく、検出された運転イベントに基づいて利用可能光学予算を配分することも可能である。例えば図48Aは上述のような状況を表している。プロセッサ118は、車両が幹線道路に入ったと判定することができ、このイベントの結果として、右側又は左側の周辺領域に比べて中央領域により多くの光束(例えばより高い光パワーレベル)を供給するように利用可能光学予算を割り当てることができる。
[0700] 図48Bにおいて、プロセッサは、道路が両側の建物に囲まれて閉じたエリアに車両が進入したことを判定できる。このような状況は例えば都市環境で発生する可能性がある。プロセッサ118は、都市部の道路環境に進入する運転イベントの検出に基づいて、中央領域に与えられるよりも多くの光束を左側及び右側の周辺領域に与えることができる。このような光学予算の割り当ては、概して車速が幹線道路の速度よりも遅い都市環境にとって適切であり得る(都市環境における車両前方の検出範囲は幹線道路で好適であるほど大きくする必要はないことを意味する)。更に、都市環境では、車両の両側の領域(例えば図示されている建物に隣接した歩道)に存在し得る歩行者と遭遇するリスクが高くなる可能性がある。従って都市環境では、LIDAR FOVの中央領域よりも周辺領域において検出範囲及び/又は分解能機能を向上させることが有利であり得る。
[0701] 図48Cは、検出された運転イベントの別の例を示す。このイベントは、LIDAR FOVの特定の領域に対する利用可能光学予算の割り当ての変化を引き起こし得る。例えば図示されているように、ホスト車両に隣接した車線で別の車両102が検出され、車両102及びホスト車両は双方とも同一方向に移動していると判定される場合がある。このような状況においてプロセッサ118は、ホスト車両の前方及び右側のエリアは車両102が位置している領域であるため、このエリアが関心領域に相当すると決定できる。車両102の検出及び/又は追跡を支援するため、プロセッサ118は、右側周辺領域が最も高いレベルの光束を受光し、中央領域が次に高いレベルの光束を受光し、左側周辺領域が最も低いレベルの光束を受光するように、利用可能光学予算を割り当てることができる。
[0702] 図48Dは、検出された運転イベントの更に別の例を示す。このイベントは、LIDAR FOVの特定の領域に対する利用可能光学予算の割り当ての変化を引き起こし得る。例えば図示されているように、ホスト車両に隣接した車線で別の車両102が検出され、車両102及びホスト車両は反対方向に移動していると判定される場合がある。このような状況においてプロセッサ118は、ホスト車両の前方及び左側のエリアは車両102が位置している(かつ、対向交通が検出されると予想される)領域であるため、このエリアが関心領域に相当すると決定できる。車両102の検出及び/又は追跡を支援するため、プロセッサ118は、左側周辺領域が最も高いレベルの光束を受光し、中央領域が次に高いレベルの光束を受光し、右側周辺領域が最も低いレベルの光束を受光するように、利用可能光学予算を割り当てることができる。更に図48Dに示されているように、左側周辺領域の特定の小領域を画定することができ、プロセッサ118は、この特定の小領域に(左側周辺領域内でも)最も高いレベルの光束を供給することができる。いくつかの例では、左側周辺領域の画定された小領域は、検出された車両102のロケーションと重複し得る。
[0703] プロセッサ118は、他の検出された運転イベントに基づいて利用可能光学予算を割り当て又は再割り当てすることも可能である。例えばいくつかの実施形態において、光学予算の割り当て又は再割り当てが妥当である検出された運転イベントは、交通関連イベント、道路関連イベント、既定の施設への接近、気候関連イベントのうち少なくとも1つを含み得る。これらのタイプのイベントのいずれかの検出又は指示に基づいて、プロセッサ118は、スキャンサイクルごとに空間光スキャンパターンを変更できる。例えばプロセッサ118は、先行スキャンサイクルにおいて右側周辺領域の少なくとも一部へ誘導されたよりも多くの光を右側周辺領域のその少なくとも一部へ誘導するように、先行スキャンサイクルにおいて左側周辺領域の少なくとも一部へ誘導されたよりも多くの光を左側周辺領域のその少なくとも一部へ誘導するように、先行スキャンサイクルにおいて中央領域の少なくとも一部へ誘導されたよりも多くの光を中央周辺領域のその少なくとも一部へ誘導するように、空間光スキャンパターンを変更できる。
[0704] 図49は、ここに開示される実施形態に従ったLIDARシステムを動作させるための方法4900のフローチャート図である。この方法は、視野のスキャンサイクルにおいて少なくとも1つの光源からの光の光束を変動させ得るように少なくとも1つの光源を制御することを含み得る(ステップ4910)。また、この方法は、視野をスキャンするため少なくとも1つの光源からの光を偏向させるように少なくとも1つの偏向器を制御することを含み得る。視野は、車両が走行している幹線道路に概ね対応する中央領域と、幹線道路の右側のエリアに概ね対応する右側周辺領域と、幹線道路の左側のエリアに概ね対応する左側周辺領域と、に分割可能である(ステップ4920)。ステップ4930において、プロセッサ118は、車両が幹線道路の走行に対応するモードであるという入力を取得できる。この入力に応答して、ステップ4940においてプロセッサ118は、中央領域、右側周辺領域、及び左側周辺領域を包含する視野のスキャン中に、右側周辺領域及び左側周辺領域よりも多くの光が中央領域へ誘導されるように、少なくとも1つの光源112の制御と少なくとも1つの光偏向器の制御を連携させることができる。
[0705] 周囲光レベルに応じたLidar照射の変動
[0706] LIDARシステムは、異なるレベルの周囲光を有する多くの異なる環境で用いることができる。更に、周囲光のレベルは、どの時点においても単一シーン内で劇的に変わる可能性がある。例えば、シーンの一部が陰になり、他の部分が太陽光又は他の光源によって照射され、視野の更に別の部分が、ランプ、ヘッドライト、たき火のような周囲光源を含むことがある。このような周囲光は雑音を発生させ、これがLIDARシステムのサービス品質(QoS)を低下させる恐れがある。LIDARシステム100が強い周囲光(例えば明るい太陽光又は人工光源)の存在下で動作する場合、LIDARシステム100は周囲雑音からの著しい雑音を受ける可能性がある。一方で、LIDARシステム100が周囲光の少ない環境で動作する場合、雑音はより少なくなり得る。
[0707] 前述のように、ここに開示される実施形態に従ったシステム及び方法は、光反射データを収集し、LIDAR FOVに対して画素ごとに、ビームスポットごとに、又は部分ごとに光束を割り当てることができる(以下の記載では、前述の3つの割り当てのいずれか1つに関して検討される実施は、必要な変更を加えて、他の2つの割り当てに対して実施できることに留意するべきである)。いくつかの例では、LIDAR FOVの特定部分に割り当てられる光束の量は、FOVのこの特定領域で検出される周囲光の量に依存し得る。特に、いくつかの場合、所与のスキャンサイクルでLIDAR FOVの特定部分に(例えば特定の画素に)割り当てられる光束の量は、同一スキャンサイクルでFOVのこの特定領域で検出される周囲光の量に依存し得る。いくつかの例では、少なくとも1つの光偏向器114の所与の瞬時位置においてLIDAR FOVの特定部分に(例えば特定の画素に)割り当てられる光束の量は、少なくとも1つの光偏向器114がその特定の瞬時位置に維持されている間に(例えば、周囲光の検出と割り合てた光束の放出との間で間欠的にFOVの他のいずれの部分にも放出することなく)FOVのこの特定領域で検出される周囲光の量に依存し得る。例えば、FOVの特定領域における周囲光の量が少ないと判定された場合、より少ない量の光束をその特定領域に提供できる。一方で、FOVの特定領域内で検出される周囲光が多ければ多いほど、その領域に与える光束の量を増大させることができる。検出された周囲光レベルに基づいてLIDAR FOVの領域に対する光割り当てを変動させることによって、LIDARシステム100の動作に対する雑音の影響を低減又は排除することが可能となる。
[0708] いくつかの実施形態において、視野(例えば図50に示されているようなFOV120)は、各々が偏向器114の異なる瞬時位置に対応する複数の部分を含み得る。これらの部分の各々は、任意の適切な大きさを有する及び/又はFOV120の任意の適切な部分を占有することができる。
[0709] 少なくとも1つのプロセッサ118は、図50に示されているように)、画素ごとに少なくとも1つのセンサ116から信号を受信することができる。例えば少なくとも1つのセンサは、画素ごとに(例えば図51に示されているようなFOV120の画素A1、B1、C1、A2等)FOVの特定部分から収集された光を検出し、各画素で収集された光に対応する信号を生成できる。信号は、FOVから収集された光の複数のソースを示し得る。例えば、センサ116に収集され提供される光の1つの成分は周囲光を含み得る。センサ116に収集され提供される光の別の成分は、FOVの特定部分に投影されて視野の特定部分内の1つ以上の物体によって反射された、少なくとも1つの光源112からの光を含み得る。ある状況(例えば物体が遠くにあるか又は低い反射率を有する)では、LIDAR照射から生じる反射光よりも、LIDAR FOVの特定部分から収集された周囲光の方が、センサ116へ与えられる光に占める割合が大きい可能性がある。別の状況(例えば物体が近くにあるか又は高い反射率を有する)では、反射光よりも、LIDAR FOVの特定部分から収集された周囲光の方が、センサ116へ与えられる光に占める割合が小さい可能性がある。例えば、LIDAR FOVの第1の部分(図51に白で示すFOVの特定領域によって表される)における周囲光は、FOV120の第2の部分(図51に陰影で示すFOVの特定領域によって表される)から収集される反射光よりも、FOV120から収集された光に占める割合が大きい可能性がある。LIDAR FOVの第1の部分及び第2の部分は各々、図51に示すものよりも多数又は少数のLIDAR FOVの特定領域を含み得ることに留意するべきである。例えばいくつかの実施形態において、第1及び/又は第2の部分はそれぞれ、FOV120の単一の特定領域に対応するか、又は(図示されているように)複数の部分を含み得る。
[0710] プロセッサ118は、センサ116の出力に基づいて、物体から反射された投影光の検出とは別個にLIDAR FOVの特定部分における周囲光を検出するように構成できる。例えばいくつかの実施形態において、プロセッサ118は、反射光が予想されない時点でセンサ116の出力をサンプリングすることができる。例えば、投影器112からFOVの特定部分へ光放出を行う前は、FOVの特定部分にまだ光は投影されていないので、そこからの反射光は予想されない。従って、センサ116/プロセッサ118によって検知される光は周囲光に相当すると仮定できる。同様に、特定部分へ光を投影した後であるが、光投影からの反射が予想されないほど充分な時間が経過した後(例えば、特定の光放出について、LIDARシステムの最大予想範囲に対する光の飛行時間に相当する時間以上の時点で)、FOVの特定の部分から収集された光は、周囲光に起因する可能性がある。いくつかの実施形態において、光投影器112による光放出の後、センサ116は、光放出後の第1の検知期間において視野からの光の反射を検出できる。また、センサ116は、光放出後の第2の検知期間において視野内の周囲光レベルを測定できる。このような期間にセンサ116の出力を監視することによって、FOVの特定部分における周囲光レベルを決定できる。
[0711] 任意選択としてプロセッサ118は、FOVの特定部分へ投影された光が1つ以上の物体から反射されてセンサ116によって受光される時間中に、その特定部分における周囲光の量を決定するように構成できる。例えばいくつかの例では、投影光は1つ以上の特徴(例えば波長、変調パターン、パルス持続時間等)に関連付けられ、これらの特徴を、例えばセンサ116又は1つ以上の他のセンサの出力に基づいて検知する及び/又は背景の周囲光から区別することができる。いくつかの例では、LIDARシステム100は、視野内の物体からの光反射を検出するように構成された第1のセンサと、視野内の周囲光を測定するように構成された第2のセンサと、を含み得る。他の例では、センサ116が、物体からの反射及び周囲光の双方を検出することができる。このように反射光から周囲光を区別することで、FOVの特定部分に存在する周囲光の量を決定することが可能となる。いくつかの例では、(例えば整合フィルタに基づいて)LIDARが放出した光の反射信号であるとプロセッサ118によって判定された受光した光を、受信信号全体から減算することにより、周囲光レベルの推定を得ることができる。
[0712] いくつかの実施形態において、プロセッサ118は、LIDAR FOVの特定部分で検出された周囲光に関連付けられる1又は複数の光源のタイプを識別するように構成できる。例えばプロセッサ118は、FOVの特定部分に関連した検知光情報を受信した後、この受信情報を、周囲光の様々なソースに関連付けられた予め記憶されている雑音レベルデータと比較することができる。このような比較に基づいて、プロセッサ118は、周囲光を発生させた可能性のある光源のタイプを識別できる。また、プロセッサ118は、光源のタイプを識別するため、周囲光の他の特徴(例えば偏光、変動レベル(fluctuations level))及び/又は複数の画素からの情報(例えば物理的大きさの推定、光源間の距離)も使用することができる。光源のタイプの識別は、後に物体の分類のために使用することができ(例えばヘッドライトは、ヘッドライト間の距離に基づいて物体が自動車又はセミトレーラトラックであることを示し得る)、その逆もまた同様である(物体の特徴を用いて光源を識別することができる。例えば、建物の高い位置の光源は明かりのついた窓として識別できる)ことに留意すべきである。
[0713] いくつかの実施形態において、LIDAR FOVの特定領域で周囲光レベルが検知された場合、プロセッサ118は、検知された周囲光レベルに基づいてFOVのその特定領域に投影する光の割り当てを決定できる。例えば検知された周囲光レベルが所定の閾値未満である場合、プロセッサ118は、その特定のFOV部分に追加の光を投影する必要がないと判定できる。一方、検知された周囲光レベルが所定の閾値よりも高い場合、プロセッサ118は、その特定のFOV部分に追加の光を投影するべきであると判定できる。このような例において、プロセッサ118はFOVの特定部分に追加の光束を供給することができる。
[0714] 図51の図で表される単なる一例として、FOVの第1の部分はFOVの15の特定領域を含み、FOVの第2の部分は25の特定領域を含む。第2の部分の領域は全て、閾値レベル未満の周囲光レベルを有すると判定された。従ってこれらの領域では、1つのみの光パルス(又は、特定のFOV領域に与えられる光束量に影響を及ぼす他の任意のタイプの光投影)がFOVの第2の部分の領域に割り当てられている。一方、第1の部分のFOVの各領域は、所定の周囲光レベル閾値よりも高い周囲光レベルを有すると判定された。結果としてプロセッサ118は、FOVの第2の部分に含まれる各領域に投影するため3つの光パルスを割り当てている。むろん、FOVの領域に与えられる光パルスの概念は例示に過ぎない。FOVの第2の部分の領域に与えられる光量に対してFOVの第1の部分の領域の光束を増大させるため、他の任意のタイプの光投影技法を用いることも可能である。
[0715] また、周囲光レベルの検出に加えて、各スキャンサイクル中にFOVの異なる部分に(例えば異なる画素に)与える光束の量を決定するため他の検討事項を使用できることに留意するべきである。例えばプロセッサ118は、光源が検出された部分が既定の無関心領域に含まれる場合、その部分に追加の光を割り当てないことを決定できる。プロセッサ118は、FOVの部分において決定された周囲光レベルの情報を、その部分の他の雑音レベルを示す情報と組み合わせるか、又は、光束レベルを決定するために使用できる本開示に開示される(同一スキャンサイクルからの又はそれ以外の)他の任意のタイプの情報と組み合わせることができる。
[0716] また、プロセッサ118がFOVの特定領域に割り当てる光量は、その特定領域で検出された周囲光に関連する光源の判定されたタイプに依存し得る。例えば、周囲光が電気ランプからでなく太陽から発生したと判定された場合、より多くの光を特定領域に割り当てることができる。むろん、その逆も当てはまる。
[0717] FOV(例えば図50のFOV120)をスキャンするため、少なくとも1つのプロセッサ118は、少なくとも1つの光偏向器が特定の瞬時位置に配置された場合、光ビームが少なくとも1つの光偏向器によって少なくとも1つの光源から視野の方へ偏向されると共に視野内の物体からの反射が少なくとも1つの光偏向器によって少なくとも1つのセンサの方へ偏向されるように、少なくとも1つの光偏向器と少なくとも1つの光源を連携させることができる。従って、少なくとも1つの光偏向器は、光ビームを視野の方へ誘導すると共に、視野からの反射を受光することができる。例えば図1A、図2B、及び図2Cが示す例では、偏向器は光ビームを視野の方へ誘導すると共に視野からの反射を受光する。いくつかの態様において、反射は、視野の方へ誘導された光ビームによって生じ得る。他の実施形態において、少なくとも1つの光源からの光ビームは、視野からの反射を受光する少なくとも1つの他の光偏向器とは別個の少なくとも1つの光偏向器によって、視野の方へ誘導することができる。例えば図2Aが示す例では、1つの偏向器が光ビームを視野の方へ誘導し、別個の偏向器が視野からの反射を受光する。
[0718] いくつかの実施形態では、例えばLIDAR FOVの特定領域で検出された周囲光に基づいて及び/又は光源が検出されたか否かに基づいて、センサ116に関連付けられた感度レベルを制御することができる(例えば同一スキャンサイクル中にであるが、必ずしもそうとは限らない)。例えばプロセッサ118は、センサ116から受信した情報に基づいて、LIDAR FOVの特定部分における光源の存在を識別するように構成できる。そのような光源の識別に応答して、プロセッサ118は、LIDAR FOVの特定部分からの光反射に対するセンサ感度を変更することができる。
[0719] 上述したように、FOVの特定領域内で検出される周囲光が増大すればするほど、雑音の効果を低減又は排除するため、その領域に与える光束の量を増大させ得る。少なくとも1つのプロセッサ118は、少なくとも1つの光源(例えば図50の光源112)に、より多くの光束を視野(例えば図50の視野120)の一部の方へ投影させることができる。より多くの光束をFOVの特定部分へ投影することで信号対雑音比を改善し(又は、例えば上記で検討したようにFOVのこの部分における検出確率を改善し)、従って、視野のこの部分に位置する物体に対するQoSを向上させることができる。
[0720] また、少なくとも1つのプロセッサ118は、視野の一部において少なくとも1つの明確な関心領域の識別を取得し、この関心領域における光束を増大することができる。例えば、光束の増大は、立体角当たりの光パルス数を増加させること、FOV部分に対する放射照度を増大させること、追加の光パルスを放出すること、1画素当たりのパワーを増大させること、単位時間当たりの追加光子を放出すること、特定の時間期間の総エネルギを増大させること、生成されたポイントクラウドモデルにおけるデータポイント当たりの追加光子を放出すること、生成されたポイントクラウドモデルにおけるデータポイント当たりの総エネルギを増大させること、波長を変更すること、光パルスの振幅及び/又は周波数を増大させること、又は光束を増大させる他の任意の特徴によって実行できる。いくつかの例において、関心領域は、少なくとも1つの所定の特徴(例えば周囲光レベル、光源のタイプ、夜間又は日中の動作(夜間のヘッドライトを示す周囲光源)等)と一致する周囲光レベルを有すると判定されたLIDAR FOVの特定領域であり得る。
[0721] また、GPSユニット、車両ナビゲーションシステム、レーダ、LIDAR、カメラ等のうち少なくとも1つから受信した情報に基づいて、視野の一部における特定の関心領域を識別することも可能である。この識別に基づいて、少なくとも1つのプロセッサ118は、少なくとも1つの光源(例えば図50の光源112)に、視野の他の部分に投影されるよりも多くの光束を視野の一部へ投影させることができる。例えば、カメラからの信号は、LIDARが明るい環境(例えば光源下又は太陽の下)にあることを示し得る。そのような光源に関連した高レベルの雑音を補償するため、少なくとも1つのプロセッサ118は光源112により多くの光束をLIDAR視野の一部へ投影させることができる。
[0722] より多くの光をFOVの一部へ投影するため、少なくとも1つのプロセッサ118は、少なくとも1つの光源112に、より多くの光パルスを投影させることができる。例えば少なくとも1つのプロセッサ118は、少なくとも1つの光源からのパルスのタイミングを変動させ得る。一部における光パルス数を増加させるため、少なくとも1つのプロセッサはパルスのタイミングを短くすることができる。別の例としてプロセッサ118は、この代わりに又はこれと同時に、少なくとも1つの光源からのパルスのパワーレベルを変動させ得る。更に別の例においてプロセッサ118は、この代わりに又はこれと同時に、少なくとも1つの光源からのパルスの振幅及び/又は周波数を変動させ得る。例えば図51において、システムは、1画素当たり1つの光パルスをデフォルトで投影すると決定できる。FOV120の第1の部分は強い周囲光を含み、受信信号は所定の閾値よりも大きい可能性があるので、上述のように、FOVの第1の部分には1画素当たり1つでなく1画素当たり3つの光パルスを投影することができる。いくつかの実施形態において、図51のFOVの第1の部分の領域に投影される光の強度は、図51のFOVの第2の部分に与えられる光の強度よりも大きくすることができる。
[0723] 更に、プロセッサ118は、単一のスキャンサイクルにおいて、図51のFOVの第2の部分へ投影される立体角当たりの光パルス数よりも多くの立体角当たりの光パルスがFOVの第1の部分へ投影されるように、光投影器112に関連した光源パラメータを変更するよう構成できる。いくつかの例では、LIDAR FOVの特定の領域にデフォルトのレベルの光を与えずに、プロセッサ118は、LIDAR FOVの少なくとも1つのスキャンサイクル中、図51に示されている視野の第2の部分には光が投影されないように、光投影器112に関連した光源パラメータを変更するよう構成できる。別の例では、プロセッサ118は、第1の部分へ投影される光が第2の部分へ投影される光とは異なる波長であるように光源パラメータを変更するよう構成できる。
[0724] 図52は、LIDARシステムを用いて物体を検出するための例示的な方法5200を示す。ステップ5201において、上述したようにプロセッサ118は、視野(例えば図1A及び図2Aの視野120)のスキャンにおいて光束を変動させ得るように、少なくとも1つの光源(例えば図1Aの光源112、図2Aの光源112のレーザダイオード202、及び/又は図2Bの複数の光源102)を制御することができる。ステップ5202において、少なくとも1つのプロセッサ118は、視野をスキャンするため、少なくとも1つの光偏向器(例えば図1Aの光偏向器114、図2Aの偏向器114A及び/又は偏向器114B、及び/又は図2Bの一方向偏向器114)を制御する。例えばプロセッサ118は、少なくとも1つの光偏向器の機械的移動を行って視野をスキャンすることができる。この代わりに又はこれと同時に、プロセッサ118は、視野をスキャンするため少なくとも1つの偏向器の圧電的又は熱電気的な変化を誘発し得る。いくつかの実施形態において、視野の単一のスキャンサイクルは、スキャンサイクル中に少なくとも1つの光偏向器が複数の位置に瞬時に配置されるように少なくとも1つの偏向器を移動させることを含み得る。例えば少なくとも1つの光偏向器は、連続スイープで移動させるのではなく、スキャンサイクル中に複数の位置のうち1つから別のものへ移動させることができる(任意選択的に、追加の位置及び/又は繰り返しも用いる)。
[0725] ステップ5203において、少なくとも1つのプロセッサ118は、画素ごとに少なくとも1つのセンサ(例えば図51の検知ユニット106)から信号を受信する。例えば信号は、周囲光及び視野内の物体によって反射された少なくとも1つの光源からの光のうち少なくとも1つを示し得る。ステップ5204において、少なくとも1つのプロセッサ118は、受信情報から視野の一部で周囲雑音を発生させる光源のタイプを識別し、少なくとも1つの光源(例えば図1Aの光源112、図2Aの光源112のレーザダイオード202、及び/又は図2Bの複数の光源102)に割り当てる光束レベルを決定することができる。ステップ5205において、上述したように、少なくとも1つのプロセッサ118は、少なくとも1つの光源(例えば図1Aの光源112、図2Aの光源112のレーザダイオード202、及び/又は図2Bの複数の光源102)に、より多くの光束を視野(図1A及び図2Aの視野120)の一部へ投影させることができる。例えば少なくとも1つのプロセッサ118は、視野の別の部分に移動する前に(例えば少なくとも1つの偏向器がまだ同じ瞬時位置である間に)、少なくとも1つの光源に、より多くの光束を視野の一部へ投影させることができる。
[0726] Lidarにおける温度に基づく制御
[0727] LIDARシステムでは、システムコンポーネント自体の損傷を防止するため、また安全上の理由から、コンポーネントの温度を管理することが重要となり得る。更に、LIDARシステムのいくつかのコンポーネントは、温度範囲を超えた場合に最適とはいえない性能を示し得るので、そのような最適とはいえない条件で提供される性能を最適化するようにLIDARシステムの動作を変更することが重要となり得る。いくつかの実施形態において、LIDARシステムは車両で使用され得る。LIDARシステム100は、車両の環境内にあるFOV120内の1つ以上の物体を照射するため、FOV120の方へ光を投影するための1つ以上の光源1120を含み得る。LIDARシステム100は、光源112を制御することによってFOVの1つ以上の部分のスキャンにおいて光束を変動させる1つ以上のプロセッサ118を含み得る。FOV120のスキャン中、LIDRAシステムコンポーネントの1つ以上から熱が放射される可能性がある。システムコンポーネントは、1つ以上の光源、偏向器、センサ、プロセッサ、及び/又は他のLIDARシステムコンポーネントを含み得る。また、LIDARシステムが設置されている車両からも熱が放射される可能性がある(特に、車両のボンネットの下のように熱い及び/又は換気が難しいロケーションにLIDARシステムが設置されている場合)。また、気候条件又は他の周囲条件(例えば倉庫内での運転)からも熱が発生し得る。また、LIDARシステム100は、同様の原因から生じ得る低温に対しても感度が高い可能性があることに留意すべきである。
[0728] プロセッサ118は、1つ以上の温度センサを介して、1つ以上のコンポーネントの温度が閾値温度を超えていることを示す情報を受信できる。閾値温度は、プロセッサによって動的に決定するか、又は静的な予め設定された値とすることができる。閾値温度は、これ以上ではコンポーネント又はシステムに過熱のリスクがある温度とすることができる。いくつかの実施形態において、閾値温度は、システム又はシステムコンポーネントに過熱のリスクがある温度の一定の割合とすることができる。例えば閾値温度は、システム又はシステムコンポーネントに過熱のリスクがある温度の80%とすればよい。システム又はコンポーネントが過熱すると、これはLIDARシステムに損傷を与え、火災の危険を生じ、及び/又はシステム機能を生じる可能性がある。1つ以上のシステムコンポーネントの検出温度が閾値と一致する及び/又は閾値を超えている場合、プロセッサ118は、1つ以上の後続のスキャンサイクル中にFOV120へ送出される光が少なくなるように、FOV120の2つの部分間の照射比を変更できる。
[0729] 上記のように、温度閾値は動的に決定することができ、LIDARシステム100の様々なコンポーネントの状態、これが設置されている車両の状態、及び他のパラメータに基づいて変更できる。また、温度閾値は測定温度に関連し得るが、他の温度に基づくパラメータにも関連し得ることに留意するべきである(例えば、経時的な温度変化、異なるロケーションで測定された複数の温度等)。プロセッサ118がこのような複雑な温度閾値及び/又は時間に依存した温度閾値を実施する実施では、プロセッサ118は温度決定ルールを実施すると考えることができる。プロセッサ118は、いつ温度閾値を超えたかを判定することによってLIDARシステムにおける高温を管理することで、過度に高い温度及び/又は温度上昇率を測定するように構成できる。プロセッサ118は、いつ温度閾値を超えたかを判定することによってLIDARシステムにおける低温を管理することで、過度に低い温度及び/又は速すぎる温度低下率を測定するように構成できる。
[0730] 図53は、本開示の実施形態に従ったLIDARシステムの概略図である。例えば図示のように、LIDARシステム5300は、光源5310、センサアセンブリ5340、及び温度検知ユニット5380を含み得る。いくつかの実施形態において、LIDARシステム5300は、LIDARシステム100のコンポーネントの全て又はいくつかと温度検知ユニット5380とを含み得る。いくつかの実施形態では、LIDARシステム100は温度検知ユニット5380を含み得る。温度検知ユニット5380は、個々のシステムコンポーネントの温度及び/又はLIDARシステム5300の全体的な温度を検出するように構成できる。
[0731] いくつかの実施形態において、LIDARシステム5300は、センサインタフェース5350、光源コントローラ5360、及び温度プロセッサ5370を含む制御システム5300を含み得る。温度プロセッサ5370は、任意選択的な温度検出器5380から(又は、外部温度センサのような他のソースから、ホストから等)の温度情報を受信し、この受信情報を処理して、1つ以上のシステムコンポーネント又はLIDARシステム5300の温度が閾値温度を超えているか否かを判定できる。(例えば特定のスキャンサイクル中に)閾値温度を超えている場合、温度プロセッサ5370は光源コントローラ5360と通信を行って、後続のスキャンサイクル中にFOVへ送出される光が少なくなるようにFOVの2つの部分間の照射比を変更し、これによって1つ以上のシステムコンポーネント及び/又はLIDARシステム5300の温度を低下させることができる。いくつかの実施形態において、LIDARシステム5300は、閾値と一致するか又は閾値を超えている温度のシステムコンポーネントを冷却するための冷却コンポーネントを含み得る。
[0732] いくつかの実施形態において、プロセッサ118は、FOVのスキャンサイクル中に1つ以上の光偏向器114が1つ以上の異なる瞬時位置に配置されるように、1つ以上の光偏向器114を制御するよう構成できる。また、プロセッサ118は、光偏向器114が特定の瞬時位置に配置された場合に光ビームの一部が偏向器114によって光源112からFOV120内の物体の方へ偏向されるように、1つ以上の光偏向器114及び1つ以上の光源112を連携させることができる。物体からの光ビームの一部の反射は、1つ以上の偏向器114によって1つ以上のセンサ116の方へ偏向できる。いくつかの実施形態において、1つ以上の光源112は1つ以上の光偏向器114に照準を合わせることができる。プロセッサ118は、光偏向器114が特定の瞬時位置に配置された場合に1つ以上の光源112からの光がFOV120内のいくつかの別個の領域へ投影されるように、1つ以上の光偏向器114を制御できる。
[0733] いくつかの実施形態において、プロセッサ118は、温度情報に基づいてFOVの単一のスキャンサイクルにおける空間光分布を決定し、FOVの第2の部分よりも多くの光がFOVの第1の部分へ投影されるように照射比を変更できる。いくつかの実施形態において、プロセッサ118は、1つ以上の後続スキャンサイクル中に先行スキャンサイクルで投影されたのと同じ光量がFOVの部分へ投影されるように、温度情報に基づいて1つ以上の光源112及び1つ以上の光偏向器114の制御を連携させることができる。いくつかの実施形態において、プロセッサ118は、FOVの第2の部分よりも多くの光パルスをFOVの第1の部分へ投影するように、温度情報に基づいて1つ以上の光源112及び1つ以上の光偏向器114の制御を連携させることができる。いくつかの実施形態において、プロセッサ118は、FOVの第1の部分を照射するスキャンサイクルレート及びFOVの第2の部分を照射するスキャンサイクルレートを動的に調整するように、温度情報に基づいて1つ以上のスキャンサイクルにおいて1つ以上の光源112及び1つ以上の光偏向器114の制御を連携させることができる。スキャンサイクルレートの調整によって1つ以上のシステムコンポーネントの温度を低下させることができる。いくつかの実施形態において、プロセッサ118は、一度システム又は1つ以上のコンポーネントの温度が閾値温度よりも低い値に戻ったら、LIDARシステム100の設定を回復することができる。
[0734] いくつかの実施形態においてプロセッサ118は、FOVの一部において関心領域を識別し、温度情報に基づいて、1つ以上の後続のスキャンサイクル中に関心領域を含むFOVの部分により多くの光を誘導するように、FOVのその部分とFOVの別の部分との照射比を変更できる。いくつかの実施形態では、プロセッサ118はFOVの一部において非関心領域を識別できる。関心領域の決定及び温度情報に基づいて、LIDAR FOVの関心の低い領域よりも多くの光束を関心領域に割り当てるか、又は決定された関心領域に割り当てないことも可能である。この結果、(例えば、異なるスキャンレート、パワーレベル、光強度、光束、パルス持続時間、パルス数等を用いた)関心領域の照射は、投影光の光路内のLIDARシステム100の1つ以上のコンポーネント(例えば偏向器114)の局所的な加熱を増大させ得る。従って、本明細書に記載される光割り当て技法による温度管理は、関心領域が照射されている場合、システムコンポーネントの特定の部分ではいっそう重要となり得る。
[0735] いくつかの実施形態において、プロセッサ118は、LIDARシステム100の1つ以上のコンポーネント(又はそれらのコンポーネントの1つ以上の部分)に関連した温度が閾値温度を超えているという情報を受信し得る。プロセッサ118は、温度センサ5380のような温度検知コンポーネントから有線又は無線接続を介して温度情報を受信し得る。いくつかの実施形態においてプロセッサ118は、1つ以上の追加のプロセッサを含み得る車両コントローラから、1つ以上のシステムコンポーネントの温度が閾値を超えているという情報を受信し得る。
[0736] いくつかの実施形態において、プロセッサ118により受信される温度情報は、車両外部の環境の温度に関する情報、車両のエンジンの熱に関する情報、1つ以上の光源112の温度に関する情報、及び/又はプロセッサ118を含む1つ以上のプロセッサの温度に関する情報を含み得る。
[0737] いくつかの実施形態において、プロセッサ118は、車両周囲の環境の温度に関する情報に基づいて閾値温度の値を決定することができる。例えば、暑い日に閾値温度を下げて、太陽から又はLIDARシステム100の周囲の空気からの外部熱を考慮に入れることができる。
[0738] いくつかの実施形態において、プロセッサ118は、1つ以上のシステムコンポーネントの温度が温度閾値を超えている場合にFOVの一部で分解能を低下させることができる。分解能は照射が少ないFOVエリアで低下させることができるが、検出距離は、元の分解能で達成された検出距離と同じであり得る。いくつかの実施形態では、元の分解能よりも低い分解能を用いて、より遠い検出距離が達成される。
[0739] 図54は、LIDARシステム100の1つ以上のコンポーネントの温度を検出するための例示的なプロセス5400の例示的なフローチャートである。ステップ5402において、LIDARシステム100は初期スキャンレートでスキャンサイクルを開始する。いくつかの実施形態において、ステップ5402は、各スキャンサイクル中でなく所定の間隔で実行できる。他の実施形態において、ステップ5402はスキャンサイクル外で、例えばLIDARシステムがオンされたか又は作動された場合に実行できる。ステップ5404において、プロセッサ118は、1つ以上の温度センサ5380から、1つ以上のシステムコンポーネントの温度を示す情報を受信することができる。プロセッサ118は、ステップ5404において、システムコンポーネントの温度が閾値温度と一致するか又は閾値温度を超えているか判定できる。閾値温度と一致しない場合、1又は複数のコンポーネントに過熱(又は凍結)のリスクはなく、LIDARシステム100は、コンポーネントの温度を変える対策なしに後続のスキャンサイクルを実行できる。閾値温度と一致するか又は閾値温度を超えている場合、プロセッサ118は、FOVに放出する全体的な光を低減させるようにLIDARシステム100を調整することでコンポーネントの温度を低下させることによって、コンポーネントの温度を抑制(又は低下)するように機能できる。いくつかの実施形態においてプロセッサ118は、コンポーネントの温度が閾値温度に到達しないように機能し得る。いくつかの実施形態においてプロセッサ118は、以降のスキャンサイクル中のFOVの部分間の照射比を調整し得る。どのコンポーネントに過熱のリスクがあるかに基づいて、プロセッサ118は様々な熱低減技法を使用できる。いくつかの実施形態においてプロセッサ118は、以降のスキャンサイクルにおけるスキャンレートを低減させ得る。いくつかの実施形態においてプロセッサ118は、以降のスキャンサイクルにおける分解能を低減させ得る。他の実施形態においてプロセッサ118は、過熱しているか又は加熱のリスクがあるコンポーネントを冷却するように冷却コンポーネントを制御できる。他の実施形態においてプロセッサ118は、凍結しているか又は凍結のリスクがあるコンポーネントを加熱するように加熱コンポーネントを制御できる。
[0740] 図55は、車両内のLIDARシステム100の1つ以上のコンポーネントの閾値温度を決定し、その温度を検出するための例示的なプロセス5500の例示的なフローチャートである。ステップ5502において、LIDARシステム100はコンポーネント温度を決定するプロセスを開始する。プロセッサ118は、温度センサ5380のような1つ以上のセンサから、1つ以上のシステムコンポーネント、車両エンジン、及び/又は車両周囲の環境の温度を示す温度情報を受信できる。ステップ5504においてプロセッサ118は、上記温度センサの1つ又は上記温度センサから情報を受信できる。ステップ5506においてプロセッサ118は、アルゴリズム又は他の計算方法を用いて、車両エンジン温度、車両内部の温度、及び/又は車両周囲の環境の温度に基づき、システムコンポーネントの適切な閾値温度を決定できる。また、計算される閾値温度は、コンポーネントが最適とはいえない実行を開始する温度も考慮に入れることができる。ステップ5508において、プロセッサ118は、コンポーネント温度が計算された閾値温度以上であるか否かを判定できる。温度が閾値と一致しない場合、プロセッサ118は、温度が次に評価されるまで何も措置も取らない可能性がある。プロセス5500は、LIDARシステム100のスキャンサイクルとは独立して、所定の時間間隔で実行され得る。計算される閾値温度は、各スキャンサイクル中に計算されるか、又は別の間隔で繰り返し計算することができる。例えば閾値は、5分ごと、30分ごと、2時間ごと等に計算され得る。
[0741] コンポーネント温度が閾値温度以上である場合、プロセッサ118はステップ5510において、FOVに放出する光を低減させるようにシーン投影スキームを変更できる。上述のように、プロセッサ118は多数の方法でコンポーネント温度を低下させ得る。その後、プロセス5500は次の所定間隔で再開することができる。いくつかの実施形態では、ステップ5510で行われる変更を逆にすることで、コンポーネントの温度が閾値温度未満である場合にコンポーネントの性能を回復できる。
[0742] MEMSミラー及び作動技法
[0743] 図56は、スキャンデバイス(例えば偏向器114であり、以降「スキャンデバイス8202」と称する)及び処理デバイス(例えばプロセッサ118であり、以降「コントローラ8204」と称する)の例示的な実施形態を示す。本開示に従って、コントローラ8204はローカルであり、スキャンデバイス8202内に含まれ得る。コントローラ8204は、少なくとも1つのハードウェアコンポーネント、1つ以上の集積回路、1つ以上のFPGA、1つ以上のASIC、1つ以上のハードウェアアクセレレータ等を含み得る。中央処理装置(CPU)及び作動ドライバは、コントローラ8204のいくつかの例である。
[0744] 図56に示されているように、ミラー構成は、2つ以上の軸(θ、φ)で移動させることができるミラー8206を含み得る。ミラー8206は、作動ドライバ8208のような電気的に制御可能な電気機械ドライバに関連付けることができる。作動ドライバ8208は、移動又はパワーを、アクチュエータ8210等のアクチュエータ/片持ち梁/曲げ部に中継することができる。アクチュエータ8210は、フレーム8211等の支持フレームの一部とすることができる。アクチュエータ8212、8214、及び8216のような追加のアクチュエータは各々、図示されているような追加の作動ドライバによって制御/駆動することができ、(適宜)支持フレーム8213、8215、及び8217を有し得る。フレーム8211、8213、8215、及び/又は8217は、全てのアクチュエータを支持する単一フレームとするか、又は複数の相互接続されたフレームとすればよいことは理解されよう。更に、これらのフレームは絶縁要素又はセクションによって電気的に分離することができる。任意選択として、ばね8218のような可撓性相互接続要素又はコネクタ(相互接続)を用いてアクチュエータ8210をミラー8206に接続して、作動ドライバ8208からのパワー又は移動をばね8218に中継することができる。
[0745] アクチュエータ8210は、接点8210A、8210B、8210C、及び8210Dのような2つ以上の電気接点を含み得る。任意選択として、フレーム8211又はアクチュエータ8210が電子的に接続されるならば、1つ以上の接点8210A、8210B、8210C、及び/又は8210Dはフレーム8211又はアクチュエータ8210上に配置することができる。いくつかの実施形態によれば、アクチュエータ8210をドーピングされた半導体とすることで、アクチュエータ8210のセクション(絶縁性である圧電層を除く)が概ね接点8210A〜210D間で導電性であると共に絶縁8220及び8222では絶縁性であり、アクチュエータ8210をアクチュエータ8212及び8216から(それぞれ)電気的に分離することを可能とする。任意選択として、アクチュエータをドーピングするのではなく、アクチュエータ8210は、アクチュエータ8210に接着されるか又は他の方法で機械的もしくは化学的に接続できる導電性要素を含み得る。この場合、絶縁要素は、導電性要素が接着されていないアクチュエータ8210のエリアに内在することができる。アクチュエータ8210は圧電層を含むことができ、この場合、アクチュエータ8210を流れる電流が圧電セクションにおいて反応を引き起こし、これによってアクチュエータ8210が制御可能に曲がるようになっている。
[0746] いくつかの実施形態によれば、コントローラ8204は、θ、φパラメータで記述された所望の角度位置をミラードライバ8224に出力/中継することができる。ミラードライバ8224は、ミラー8206の移動を制御するように構成することができ、アクチュエータ8210、8212、8214、及び8216の曲げに基づいてミラー8206のθ、φ偏向値の指定要求値を達成するため、作動ドライバ8224に特定の電圧振幅を接点8210C及び8210Dに印加させることができる。更に、位置フィードバック制御回路は、接点8210A又は8210Bのような接点に電源(電圧又は電流)を供給するように構成され、他方の接点(それぞれ8210B又は8210A等)は、位置フィードバック8226内のセンサに接続され、これを用いてアクチュエータ8210の1つ以上の電気的パラメータを測定して、アクチュエータ8210の曲げを決定すると共に、適宜、ミラー8206の実際の偏向を決定することができる。図示のように、アクチュエータ8212〜216の各々について、位置フィードバック8226と同様の追加の位置フィードバック及び作動ドライバ8208と同様の追加の作動ドライバを複製することができ、ミラードライバ8224及びコントローラ8204は、全ての方向でミラー偏向が制御されるようにこれらの要素も制御することができる。
[0747] 作動ドライバ8208を含む作動ドライバは信号を送出し、これによってアクチュエータ8210〜216で電気機械反応が発生し、その各々が次いでフィードバックのためサンプリングされる。アクチュエータ(8210〜8216)位置に関するフィードバックは、コントローラ8204によって設定された所望の位置θ、φへミラードライバ8224を効率的に収束させ、検出された実際の検出に基づいて要求値を補正するための信号として機能できる。いくつかの実施形態によれば、スキャンデバイス又はLIDARは、視野をスキャンするレーザビームを偏向するため圧電アクチュエータ微小電気機械(MEMS)ミラーデバイスを利用できる。ミラー8206の偏向は、アクチュエータ8210に積層された圧電要素に電圧電位が印加された結果である。ミラー8206偏向は角度スキャンパターンに変換されるが、これは線形の挙動を示さない場合があり、特定の電圧レベルに対してアクチュエータ8210は一定の変位値に変換しない。様々なデバイス間で視野の寸法が決定的であり反復可能であるスキャンLIDARシステム(例えばLIDARシステム100)は、位置フィードバック及びセンサ8226からミラードライバ8224及び/又はコントローラ8204へ角度偏向フィードバックを与える閉ループ方法を用いて最適に実現される。
[0748] いくつかの実施形態において、位置フィードバック及びセンサ8226は信頼性フィードバックモジュールとしても利用できる。いくつかの実施形態によれば、複数の要素が半導体又は導電性の要素又は層を含むことができ、従って、アクチュエータ8201〜8216は少なくとも部分的に半導体要素を含む可能性があり、ばね8218、8226、8228、及び8230の各々は半導体を含むことができ、このためミラー8206も同様であり得る。電力(電流及び/又は電圧)は位置フィードバック8226を介して第1のアクチュエータ接点に供給され、位置フィードバック8226は接点8214A又は8214B及び/又は8261A又は8261Bを介してアクチュエータ8212、8214、及び/又は8216における適切な信号を検知できる。以下の図のうちいくつかは、MEMSミラー、アクチュエータ、及び相互接続を示している。相互接続の数、相互接続の形状、アクチュエータの数、アクチュエータの形状、MEMSミラーの形状、並びに、MEMSミラー、アクチュエータ、及び相互接続のいずれかの間の空間的な関係は、以下の図に示すものとは異なる場合がある。
相互接続
[0749] 図57は、円形のMEMSミラー9002と4つのアクチュエータ9011、9012、9013、及び9014との間に接続された4つのL字型の相互接続9021、9022、9023、及び9024を示している。それぞれのL字型相互接続(例えば9021)は第1のセグメント90212及び第2のセグメント90211を含む。第1及び第2のセグメントは相互に機械的に接続されている。図57において、第1及び第2のセグメントは相互に垂直である。図57において、各L字型相互接続の第2のセグメントはアクチュエータの外周に接続され、各L字型相互接続の第1のセグメントはMEMSミラーの外周に接続されている。第2のセグメントは第1のアクチュエータの外周に対して垂直である。第1のセグメントは、MEMSミラーの外周に対して垂直である及び/又は、MEMSミラーがアイドル位置にある場合はMEMSミラーの中央に向けられる可能性がある。MEMSミラーがアイドル位置にあるのは、MEMSミラーに結合されたアクチュエータの全てに曲げ電界が与えられない場合である。
[0750] 一実施形態では、L字型相互接続の使用によって優れた耐久性と応力緩和を得ることができる。L字型相互接続の使用により、相互に垂直な2つの回転軸(相互接続9024の近傍のAORと表記された破線を参照のこと)を中心としたシームレスな移動が容易になる。このため、アクチュエータの曲げ及び伸長(unbending)はL字型相互接続に対して過度の応力を加えない。更に、L字型相互接続は比較的コンパクトであり、小さい体積を有し得るので、アチュエータに加わる機械的負荷が軽減し、MEMSミラーのスキャン振幅の増大に役立てることができる。相互接続の異なるセグメントは、相互に対して(及び/又はMEMSミラーに対して及び/又はアクチュエータに対して)90度異なる角度に配向され得ることに留意するべきである。これらの角度は90度に実質的に等しくすることができる(実質的にとは、5%、10%、15%、又は20%等を超えない逸脱を意味し得る)。更に、L字型相互接続を、単一のセグメント又は2対以上のセグメントを含む相互接続によって置換してもよいことに留意するべきである。2つ以上のセグメントを有する相互接続は、相互に等しいセグメント及び/又は相互に異なるセグメントを含み得る。これらのセグメントは、形状、大きさ、断面、又は他の任意のパラメータが異なる可能性がある。また、相互接続は線形セグメント及び/又は非線形セグメントを含み得る。相互接続は、任意の方法でMEMSミラー及び/又はアクチュエータに接続することができる。
[0751] 図58は、円形のMEMSミラー9002と4つのアクチュエータ9011、9012、9013、及び9014との間に接続された4つの相互接続9021’、9022’、9023’、及び9024’を示している。各相互接続の第1及び第2のセグメントは継手によって接続されている。例えば相互接続9021’は、第1のセグメント90212と、第2のセグメント90211と、第1及び第2のセグメントに接続されて第1及び第2の相互接続間の相対的な移動を容易にする継手90213と、を含む。継手は、玉継手又は他の任意のタイプの継手とすればよい。
[0752] 図59は相互接続の非限定的な10の例を示している。相互接続90215、90216、90217、90218、及び90219は継手を含まない。相互接続90215’、90216’、90217’、90218’、及び90219’は少なくとも1つの継手を含む。更に図59は、線形セグメント、非線形セグメント、1つのセグメント、2つのセグメント、更には9のセグメントを含む相互接続を示している。相互接続は、任意の数のセグメントを含むこと、任意の形状のセグメントを有すること、及びゼロから多数までの継手を含むことが可能である。
機械的振動に対する応答
[0753] スキャンユニット(例えばスキャンユニット104)は、MEMSミラー、アクチュエータ、相互接続、及びLIDARシステムのその他の構造要素を含み得る。スキャンユニット104には、異なる方向に沿って伝搬する機械的振動が加わる可能性がある。例えば車両に設置されたLIDARシステムには、車両がある地点から別の地点へ移動する場合に(異なる方向からの)異なる振動が加わることがある。全てのアクチュエータが同一の構造と寸法を有する場合、いくつかの周波数に対するユニットの応答は極めて大きくなり得る(高いQファクタ)。アクチュエータ間にある程度の非対称性を導入することによって、スキャンユニット104はより多くの周波数に反応し得るが、反応を軽度にすることができる(低いQファクタ)。
[0754] 図60は、相互に対向した第1の対のアクチュエータ9011及び9013を示している。これらは、第2の対のアクチュエータ9012及び9014のアクチュエータよりも(差分L9040だけ)短い。アクチュエータ9012及び9014は相互に対向し、アクチュエータ9011及び9013に対して配向されている。図60は、L字型相互接続9021、9022、9023、及び9024、並びに円形MEMSミラー9002も示している。このユニットの共振周波数は機械的振動の周波数範囲外とすることができる。ユニットの共振周波数は、その特定の周波数範囲の最大周波数よりも少なくとも2倍大きくすることができる。ユニットの共振周波数は400ヘルツから1キロヘルツの間である。
[0755] 図61Aは、アクチュエータ9011、9012、9013、及び9014、相互接続9021、9022、9023、及び9024、並びにMEMSミラー9002を取り囲むフレーム9015を示している。アクチュエータ9011、9012、9013、及び9014は、それぞれ基部9071、9072、9073、及び9074においてフレーム9050に接続されている。一実施形態において、基部の幅は、アクチュエータの全長の任意の割合(例えば50%未満)とすることができる。更に、基部は、相互接続に対するアクチュエータの接続点から任意の距離に位置付けることができる。例えば基部は、相互接続に接続されたコネクタの端部に対向するアクチュエータの端部の近傍に位置付けることができる。
[0756] 図61Bは、ここに開示される主題の例に従った、フレーム9550の面とは異なる面上に位置決めされたMEMSミラー9002にシャフト9590を介して接続されたアクチュエータ9511、9512、9513、及び9514を取り囲むフレーム9550を示している。アクチュエータ9511、9512、9513、及び9514とシャフト9590との間の相互接続は簡略化のため図示されていない。これらの相互接続は、相互接続9021、9022、9023、及び9024に関して上記で検討したものと同様の形状及び特徴を有し得るが、必ずしもそうとは限らない。図61Aに例示されているように、MEMSミラー9002は、MEMSミラー9002の面とは異なる面に位置決めされたアクチュエータによって作動され得る。アクチュエータ9511、9512、9513、及び9514の移動は、一端がアクチュエータに接続されると共に他端がMEMSミラー9002のベース面に接続されたシャフト9590を介して、MEMSミラー9002に伝達される。シャフト9590を任意の種類の剛性コネクタで置換してもよいことに留意するべきである。シャフトを移動させるアクチュエータ(これはむろん他の任意の数とすることができ、必ずしも図示されているように4つではない)を参照すると、これらのアクチュエータは、本開示において検討される任意の作動方法を含めて、例えば圧電作動、静電作動、電磁作動、電気機械作動のような任意の種類の作動技法を用いて作動され得ることに留意するべきである。MEMSミラーは、1次元(1D)スキャン又は2次元(2D)スキャンのために異なる面上の作動を実施し得ることに留意するべきである。
[0757] 反射面の面の背後にある異なる面におけるMEMSミラー9002の作動アセンブリの開示される位置によって、相互に極めて近接して配置された複数のリフレクタを含むリフレクタアレイ(リフレクタアレイ312等)を生成することが可能となる。これによって、リフレクタアレイの表面の使用可能部分が増大すると共に、望ましくない反射(ミラー表面でないリフレクタアセンブリ部分からの反射)の量が低減する。また、MEMSミラー9002の背後に(かつ、システム内の光伝送経路から離して)移動アクチュエータを位置付けることによって、移動アクチュエータから意図されない方向に反射される光子量が低減し、従ってシステムにおける雑音レベルが低減する。MEMSミラー9002及び(アクチュエータとフレーム9550を含む)作動表面は、2つの異なるウェーハ上に製造し、当技術分野において既知のものを含む様々な方法で相互に接続することができる。
可変コンデンサを用いたMEMSミラーの監視
[0758] 本開示に従って、MEMSミラーに(相互接続を介して)接続されたアクチュエータの曲げを監視することにより、MEMSミラーの向きを推定できる。例えば、LIDARシステム100は1つ以上の可変コンデンサを含み得る。1つのアクチュエータ当たり1つの可変コンデンサ、1つのアクチュエータ当たり2つ以上の可変コンデンサ、及び/又はアクチュエータよりも少ない可変コンデンサが存在し得る。各可変コンデンサについて、可変コンデンサの容量はフレームとアクチュエータとの間の空間的な関係を表す。可変コンデンサの容量は、フレームに接続された可変コンデンサの1つ以上のプレートと、アクチュエータに、特に、フレームに面するアクチュエータの外周に接続された可変コンデンサの1つ以上の他のプレートとの間の重複エリアの関数であり得る。
[0759] 図62は、アクチュエータ9011、9012、9013、及び9014、相互接続9021、9022、9023、及び9024、並びにMEMSミラー9002を取り囲むフレーム9050を示している。また、図62は、フレーム9050とアクチュエータ9011との間に形成された可変コンデンサ9061も示している。可変コンデンサ9061は、アクチュエータに接続された複数のプレートの第1のプレート90612と、フレームに接続された複数の第2のプレート90611と、を含む。少なくとも3つのアクチュエータとフレームとの間に少なくとも3つの可変コンデンサを有することが有利であり得る。説明の簡略化のため、単一の可変コンデンサのみを示している。可変コンデンサは、アクチュエータの外周に沿った任意の場所に、かつ、相互接続に接続されたアクチュエータの外周から任意の距離に配置できる。更に、可変コンデンサのロケーションは、可変コンデンサのプレートの形状及び大きさ、並びにアクチュエータの様々な部分によって生じ得る曲げの量に基づいて決定できる。例えば、基部の近くに可変コンデンサを位置決めすると、第1及び第2のプレート間の重複エリアに生じる変化は小さくなり得るが、相互接続に対する接続点の近くに可変コンデンサを位置決めすると、第1及び第2のプレート間の重複がなくなる可能性がある。
[0760] また、図62は(左から右へ向かって)、第1及び第2のプレート(90611及び90612)が完全に重複した状態、次いで(アクチュエータが曲がり始めた時の)ほとんど重複した状態(重複エリア9068)、次いでアクチュエータが曲がり続けた時のごくわずかに重複した状態(小さい重複エリア9068)を示している。第1のプレート90612は相互に平行に結合されている。第2のプレート90611は相互に平行に結合されている。第1及び第2のプレートは、可変コンデンサの容量を検知するように構成された容量センサ9065に結合されている。LIDARシステムのコントローラは、1又は複数の可変コンデンサの容量に基づいてMEMSミラーの向きを推定することができる。
[0761] 図63は、アクチュエータ9011、9012、9013、及び9014、相互接続9021、9022、9023、及び9024、並びにMEMSミラー9002を取り囲むフレーム9050を示している。また、図63は、アクチュエータ9011、9012、9013、及び9014に接続された電極9081、9082、9083、及び9084も示している。これらの電極はアクチュエータの任意の部分に接続できる。1つのアクチュエータを複数の電極に接続することも可能である。電極は通常、アクチュエータの大部分に沿って延出している。
ダミー圧電要素を用いたMEMSミラーの監視
[0762] 本開示に従って、提供される電極は、アクチュエータを曲げるため及び/又はアクチュエータの曲げを検知するための電気信号を伝達できる。ダミー要素を含むアクチュエータを用いることによって、アクチュエータの曲げを監視できる。ダミー要素はダミー電極及びダミー圧電要素とすることができる。ダミー圧電要素は、曲げ電界が印加される圧電要素に機械的に結合されている。圧電要素は曲げられる。この曲げによってダミー圧電要素が曲がる。ダミー圧電要素の曲げを、ダミー圧電要素に結合された電極によって測定することができる。
[0763] 図64は、アクチュエータ9011、9012、9013、及び9014、相互接続9021、9022、9023、及び9024、並びにMEMSミラー9002を取り囲むフレーム9050を示している。また、図64は、アクチュエータ9011、9012、9013、及び9014の圧電要素9111、9112、9113、及び9114に接続された電極9081、9082、9083、及び9084も示している。電極9081、9082、9083、及び9084は、曲げ制御信号を伝達するために用いられる。また、図64は、アクチュエータ9011、9012、9013、及び9014のダミー圧電要素9011’、9012’、9013’、及び9014’に接続された電極9091、9092、9093、及び9094も示している。電極9081、9082、9083、9084、9091、9092、9093、及び9094は通常、圧電要素の大部分をカバーしている。各圧電要素は電極対間に位置決めされること、及び図64は外部電極のみを示していることに留意するべきである。アクチュエータの基板(又は本体)と圧電要素との間に配置された内部電極は図示されていない。
[0764] 図65は、アクチュエータ9011、フィードバックセンサ9142、及びステアリングソース信号9140の断面図である。アクチュエータ9011は、基板(又は本体)層9121、内部電極9081’、内部ダミー電極9091’、圧電要素9111、ダミー圧電要素9111’、外部電極9081、及び外部ダミー電極9091を含み得る。ステアリング信号センサ9140は、アクチュエータ9011を曲げるため、ステアリング信号SS1 9151及びSS2 9152を外部電極9081及び内部電極9121に送信する。フィードバックセンサ9142は、内部ダミー電極9091’と外部ダミー電極9091との間の電界を測定している鈍い圧電要素9111’の曲げを検知した。1つのみのステアリング信号が提供され得ることに留意するべきである。
[0765] 図66は、アクチュエータ9011、9012、9013、及び9014の各アクチュエータが4つの主な層から形成され得ることを示している。4つの層は、外部電極層(9124、9134、9144、及び9154)、圧電層(9123、9133、9143、及び9153)、内部電極層(9122、9132、9142、及び9152)、並びに基板(又は本体)層(9121、9131、9141、及び9151)である。
[0766] 誘電率の変化を測定することによるMEMSミラーの監視
[0767] 本開示に従って、アクチュエータの曲げは圧電要素の誘電率を変化させ得る。従って、圧電要素の誘電率の変化を測定することによってアクチュエータを監視できる。アクチュエータに、制御信号ソースからの1つ以上の制御信号によって誘発された電界を供給することができる。1つ以上の制御信号は、例えば圧電要素の両側に位置する1対の電極のような、LIDARシステムの1つ以上の電極に供給される。1つの制御信号、双方の制御信号、及び/又は制御信号間の差は、交番バイアス成分及びステアリング成分を有する。本体の曲げはステアリング成分に応答する。いくつかの実施形態において、交番バイアス成分の周波数はステアリング成分の最大周波数よりも大きい場合があり(例えば少なくとも10倍)、交番バイアス成分の振幅はステアリング成分の振幅よりも任意の程度小さい場合があり、例えば100分の1以上小さい。例えばステアリング成分は数十ボルトであり、交番バイアス成分は数十から数百ミリボルトの範囲であり得る。従って、LIDARシステム100のセンサは、アクチュエータの曲げに起因したアクチュエータの誘電率の変化を検知するように構成できる。
[0768] 図67は、外部電極層9124、圧電層9123、内部電極層9122、及び基板層9121を含むアクチュエータを示している。ステアリング信号ソース9140は、制御信号SS1 9151を外部電極層9124に送信し、制御信号SS2 9152を内部電極層9122に送信する。制御信号SS1 9151及びSS2 9152のうち少なくとも1つ、又はこれらの制御信号間の差は、交番バイアス成分及びステアリング成分を含む。フィードバックセンサ9124は、外部電極層9124及び内部電極層9122に結合され、圧電層9123の誘電率の変化を(直接に又は間接的に)検知し得る。フィードバックセンサ9124は、例えば電流振幅センサ、又は電流振幅センサと位相シフトセンサとの組み合わせとすればよい。LIDARセンサは、誘電率の変化に関する情報を(フィードバックセンサ9142から)受信してMEMSミラーの向きを決定するように構成できるコントローラを含み得る。また、図67は、制御信号SS1 9151及びSS2 9152のステアリング成分(9161及び9164)を出力する初期信号ソース9141を含むものとしてステアリング信号ソース9140を示している。これらのステアリング成分は、(発振器9162及び9165によって生成された)交番バイアス成分と、(ミキサ9163及び9165によって)混合されて、制御信号SS1 9151及びSS2 9152を生成する。アクチュエータは、アクチュエータの抵抗を検知することによって監視できる。
[0769] 図68は、アクチュエータ9011の2つの反対側の端部に位置決めされ、アクチュエータの抵抗を測定するため使用されるた2つの電極9211及び9212を示している。電極9135は、アクチュエータを曲げるために使用される。電極9211、9212、及び9135は、3つの導体9201、9202、及び9203に電気的に結合されている。
[0770] 図69は、アクチュエータ9011に形成された応力緩和アパーチャ9220を示している。図69の応力緩和アパーチャは、湾曲し、相互に実質的に平行である。応力緩和アパーチャの数は4つとは異なる場合がある。それらの細長い穴は任意の形状又は大きさを有し、相互に異なることがある。前述の図のいくつかにおいて、圧電要素は基板よりも上方に位置決めされていた。圧電要素は基板よりも下方に位置決めされ得ることに留意するべきである。複数の圧電要素を基板の上方及び下方に位置決めすることも可能である。
[0771] 図70は、7つの主な層、すなわち、外部電極層9124、圧電層9123、内部電極層9122、基板(又は本体)層9121、追加の内部電極層9129、追加の圧電層9128、及び追加の外部電極層9127を含むものとしてアクチュエータ9012を示している。外部電極層9124、圧電層9123、及び内部電極層9122は、基板層9121よりも上方に位置決めされている。追加の内部電極層9129、追加の圧電層9128、及び追加の外部電極層9127は、基板層9121よりも下方に位置決めされている。追加の圧電層9128は、圧電層9123と等しいか、又は大きさや形状等のうち少なくとも1つが圧電層9123と異なる可能性がある。具体的には、電極層のうち任意のものは相互に同一であるか又は異なることがある。追加の圧電層9128及び圧電層9123は、相互に独立して又は依存的に制御され得る。追加の圧電層9128はアクチュエータを下方に曲げるためにも使用することができ、圧電層9123はアクチュエータを上方に曲げるために使用できる。追加の圧電層9128は、圧電層9123がアクチュエータを曲げるため活性化された場合に、(アクチュエータを監視するための)ダミー圧電センサとして使用できる。一例において、圧電層9122は、圧電層9128がアクチュエータを曲げるため活性化された場合に、(アクチュエータを監視するための)ダミー圧電センサとして使用できる。
[0772] 図71は、上から下に向かって、(i)ミラー9002のアイドル状態、(ii)MEMSミラー9002の外周を下げている下方に曲がったアクチュエータ、及び(iii)MEMSミラー9002の外周を持ち上げている上方に曲がったアクチュエータを示している。MEMSミラー9002は、相互接続9300を介してアクチュエータに結合されている。MEMSミラー9002は、補強要素によって補強された薄い反射面を含み得る。
[0773] 図72及び図73は、フレーム9050及びMEMSミラー9002の裏側を示している。説明の簡略化のため、アクチュエータは図示されていない。補強要素9003は、同心円状の輪及び放射状の部分を含む。補強要素の任意の構成及び形状を設けることができる。
[0774] MEMSミラー9002の裏側を照射することによって、MEMSミラーの向きを監視できる。MEMSミラーの少なくとも1つのエリアを照射し、少なくとも3つのロケーションで反射光を検知することが有利であり得る。MEMSミラー9002の裏側を照射することによってMEMSミラーの向きを監視できる。MEMSミラーの裏側の少なくとも1つのエリアを照射し、少なくとも3つのロケーションで反射光を検知することが有利であり得る。LIDARシステム100がMEMSミラーの裏側を照射するための専用の光源を含み得ることに留意するべきである。専用の光源(例えばLED)は、ミラーの背後に(すなわち、少なくとも1つの光源112からの光の偏向に使用される主反射センサから離して)位置付けることができる。あるいは、LIDARシステム100は、ミラーの裏側に光を誘導するための光学系を含み得る。いくつかの例では、MEMSミラーの裏側に誘導される光(例えば専用の光源の光)は、ミラーの裏側エリアに閉じ込められ、MEMSミラーの主反射側に到達するのを阻止される。裏側センサの信号の処理はプロセッサ118によって実行できるが、ミラーのケーシング内に位置付けられたチップに一体化された専用回路によって処理することも可能である。この処理は、異なる裏側センサ(例えば9231、9232、9233)に対する反射信号を比較すること、このような信号を減算すること、このような信号を正規化すること等を含み得る。このような信号の処理は、較正段階中に収集される情報に基づくことができる。
[0775] 図74は、照射領域9030並びに3つのセンサ9231、9232、及び9233を示している。これらのセンサは、MEMSミラーの下方に位置決めされ、反射光(破線)を3つの異なる方向で検知するように配置され、これによってMEMSミラーの向きの検知を可能とする。照射領域は、MEMSミラーの裏側の任意の場所に位置付けることができ、任意の形状及び大きさを有し得る。実施形態において、MEMSミラーはLidarシステムのウィンドウに対して平行でない場合がある。MEMSミラーは、Lidarシステムのウィンドウを通過した光を受光し、反射ミラーを偏向させて偏向光を与え、この偏向光はウィンドウを通過してLidarシステムの他のコンポーネント(光センサ等)に到達し得る。偏向光の一部は(ウィンドウによって)後方に、MEMSミラー、フレーム、又はアクチュエータの方へ反射され得る。しかしながら、MEMSミラー及びウィンドウが相互に平行である場合、光はMEMSミラー及びウィンドウによって繰り返し反射されることにより、望ましくない光アーチファクトを生じ得る。これらの光アーチファクトは、MEMSミラーに対して平行でないウィンドウを設けることによって、又はMEMSミラーの光軸とウィンドウの光軸が相互に平行でない場合、減衰させることができ、更には防止することも可能となる。MEMSミラー及びウィンドウのいずれか1つが湾曲しているか、又は相互に対して配向されていない複数のセクションを有する場合、MEMSミラーのどの部分もウィンドウのいずれの部分に対しても平行でないことが有利であり得る。ウィンドウとMEMSミラーとの角度は、MEMSミラーがアイドル位置にある場合、又はMEMSミラーがアクチュエータのいずれかによって移動される場合であっても、ウィンドウがMEMSミラーの方へ光を反射しないように設定され得る。
[0776] MEMSミラーの裏側の照射は、ミラーの裏面が実質的に均一に反射性である(例えば補強リブなしの平坦な裏面)場合に実施され得ることに留意するべきである。しかしながら、必ずしもそうとは限らず、ミラーの裏面は非均一なパターンで光を反射するように設計され得る。ミラーの裏側のパターン化反射挙動は、表面の幾何学的形状(例えば突起、貫入(intrusion))、表面テクスチャ、異なる材料(例えばシリコン、酸化ケイ素、金属)のような様々な方法によって達成できる。任意選択として、MEMSミラーは、ミラーの裏面の少なくとも一部に反射率パターンを有するパターン化された裏側を含むことができ、(例えば上述の裏側専用光源からの)裏側照射のパターン化反射を裏側センサ(例えば9231、9232、9233)上に与える。任意選択として、パターン化された裏側は、MEMSミラーの裏面に位置付けられた任意選択的な補強要素9003の部分を含み得るが、必ずしもそうとは限らない。例えば補強要素9003用いて、センサ9231等の上にある角度の影を生成する(又は光を異なる角度に偏向させる)ことができる。これは、ミラーの移動によってセンサ上の反射が影から明るいものへ変化することを意味する。
[0777] 任意選択として、裏側センサ(9231、9232、9233等)の出力の処理は、(例えば補強リブのパターンから生じる)裏側の反射率パターンを考慮に入れることができる。従ってこの処理は、裏側表面パターンから生じるパターン化を、処理対象のフィードバックの一部として使用できる。任意選択として、本明細書で検討される裏側ミラーフィードバックの選択肢は、(均一反射率の実施と比べて)ミラーに極めて近接して配置された裏側センサからのデータによって処理され得る裏側反射率パターンを利用できるので、MEMSアセンブリが小型化すると共にそのパッケージングが改善する。例えば裏側パターンは、反射率パターンが暗い反射と明るい反射との間でシャープな遷移を含むように設計できる。シャープな遷移とは、MEMSミラーの角度/位置の小さい変化であっても、近い距離に位置する検出器に反射される光の大きな変化を引き起こすことを意味する。更に、反射率パターンは、シャープなエッジ(すなわち光又は影)ではなく、反射率勾配に関連付けることも可能である。この実施形態は、シャープなエッジの第1の選択肢からの線形性を有し、従って処理後のプロセスが容易になり、更に、より大きい角度範囲に対応することができ、場合によってはアセンブリ許容誤差に対して感度が低くなる。
LIDARシステムのウィンドウに平行でないMEMSミラー
[0778] 本開示に従って、MEMSミラーは、LIDARシステムのウィンドウを通過した光を受光し、反射ミラーを偏向させて偏向光を与え、この偏向光はウィンドウを通過してLIDARシステム100の他のコンポーネント(光センサ等)に到達し得る。偏向光の一部は(ウィンドウによって)後方に、MEMSミラー、フレーム、又はアクチュエータの方へ反射され得る。MEMSミラー及びウィンドウが相互に平行である場合、光はMEMSミラー及びウィンドウによって繰り返し反射されることにより、望ましくない光アーチファクトを生じ得る。これらの光アーチファクトは、MEMSミラーに対して平行でないウィンドウを設けることによって、又はMEMSミラーの光軸とウィンドウの光軸が相互に平行でない場合、減衰させることができ、更には防止することも可能となる。MEMSミラー及びウィンドウのいずれか1つが湾曲しているか、又は相互に対して配向されていない複数のセクションを有する場合、MEMSミラーのどの部分もウィンドウのいずれの部分に対しても平行でないことが有利であり得る。ウィンドウとMEMSミラーとの角度は、MEMSミラーがアイドル位置にある場合、又はMEMSミラーがアクチュエータのいずれかによって移動される場合であっても、ウィンドウがMEMSミラーの方へ光を反射しないように設定され得る。
[0779] 図75は、ウィンドウ9322を含む筐体9320を示す。筐体はMEMSミラー9002を収容している。筐体9320は、ウェーハレベルのパッケージング又は他の任意の技法を用いて製造され得る密封筐体とすることができる。筐体9320はベース9310を含む。ベース9310は透明であるか又は非透明であり得る。透明なベースは、MEMSミラー9002の裏側が照射によって監視される場合に有用であり得る。光9601はウィンドウ9322を通過し、MEMSミラー9002に入射する。MEMSミラー9002は光を偏向させて偏向光9602を与える。偏向光の一部はウィンドウ9322を通過するが、別の部分9603はミラー9322によって筐体9320の方へ反射される。従って、部分9603はMEMSミラー9002の方へ反射されない可能性がある。
[0780] 図76は、上部を含む筐体9320を示す。上部は、ミラー9320並びに2つの側壁9321及び9323を含む。筐体の中間部は、様々な層(9121及び9122等)を含む集積回路の外装部(限定ではないがフレーム9050等)から形成することができる。集積回路は、MEMSミラー9002(上反射面9004、層9121及び9122の様々な中間要素、並びに補強要素9003を有する)、相互接続9022及び9021、アクチュエータ9012及び9014を含み得る。集積回路とベース9310との間に接合層9301を位置付けることができる。
[0781] 図77は、透明なベースを含む筐体9320を示す。説明の簡略化のため、この図は、照射ユニット9243、ビームスプリッタ9263、及びセンサ9253を示している。照射ユニット9243及び光センサ9253は筐体の外部に位置付けられている。
[0782] 図78は、アクチュエータ及び相互接続の上に位置付けられた反射防止層9380を示す。図79は、アクチュエータ、フレーム、及び相互接続の上に位置付けられた反射防止層9380を示す。図80は、フレームの上に位置付けられた反射防止層9380を示す。上述の反射防止層の任意のものを、層とは異なる1つ以上の反射防止要素で置き換えてもよい。反射防止要素は、ウィンドウに平行である、ウィンドウに対して配向される等とすることができる。
[0783] 図81は、MEMSウィンドウに対して平行なウィンドウを有する筐体を示す。筐体は透明なベースを含む。説明の簡略化のため、この図は、照射ユニット9243、ビームスプリッタ9263、及びセンサ9253を示している。照射ユニット9243及び光センサ9253は筐体の外部に位置付けられている。MEMSミラーは任意の形状及び大きさとすることができる。例えばMEMSミラーは矩形とすればよい。
[0784] 図82及び図83は、矩形MEMSミラー9402、2つのアクチュエータ9404及び9407、2つの相互接続9403及び9406、電極9410及び9413、並びに矩形フレームを示している。矩形フレームは、上部9504、下部9408、並びにフレームの上部と下部との間に接続された2つの絶縁部9411及び9422を含む。図82において、アクチュエータ9404及び9407は、相互に平行に対向し、MEMSミラーの両側に面し、フレームの対向した部分に接続されている。図83において、アクチュエータ9404及び9407は、相互に平行に対向し、MEMSミラーの両側に面し、フレームの同一の側に接続されている。
[0785] 図84は、矩形MEMSミラー9402、4つのアクチュエータ9404、9407、9424、9427、4つの相互接続9403、9406、9423、及び9436、4つの電極9410、9413、9440、及び9443、並びに矩形フレームを示している。矩形フレームは、上部9504、下部9408、並びにフレームの上部と下部との間に接続された2つの絶縁部9411及び9422を含む。4つのアクチュエータはMEMSミラー9402の4つの小面(facet)に面し、各々はフレームの異なる小面に接続されている。図56から図84は単一のMEMSミラーを示しているが、LIDARシステム100は複数のMEMSミラーのアレイを含むことも可能である。複数のMEMSミラーのいずれかの制御に使用されるフィードバックを与えるため、任意の数のMEMミラーを監視できる。例えば、1からNの間の任意の数よりも多いN個のMEMSミラーが存在する場合、N個のMEMSミラーのうち任意の数のMEMSミラーの監視に使用され得るフィードバックを与えるため、MEMSミラーを監視することができる。
[0786] 一実施形態において、LIDARシステム100は、光を受光するためのウィンドウと、光を偏向させて偏向光を与えるための微小電気機械(MEMS)ミラーと、フレームと、アクチュエータと、アクチュエータとMEMSミラーとの間に機械的に接続することができる相互接続要素と、を含み得る。各アクチュエータは本体及び圧電要素を含み得る。圧電要素は、電界が与えられた場合に本体を曲げると共にMEMSミラーを移動させるように構成され得る。MEMSミラーがアイドル位置に位置決めされている場合、これはウィンドウに対して配向され得る。光は、LIDARシステムの視野の少なくとも1つのセグメント内にあり得る反射光であり得る。光は、LIDARシステムの光源からの伝送光であり得る。第1の期間中、光はLIDARシステムの光源からの伝送光であり、第2の期間中、光はLIDARシステムの視野の少なくとも1つのセグメント内にある反射光である。
[0787] 別の実施形態において、LIDARシステム100は、ウィンドウとフレームとの間に位置決めすることができる少なくとも1つの反射防止要素を含み得る。反射防止要素はウィンドウに対して配向され得る。MEMSミラーとウィンドウとの間の配向の角度は20度から70度の範囲であり得る。ウィンドウは、偏向光のいずれの部分もMEMSミラーの方へ反射するのを防止するような形状及び位置決めとすることができる。MEMSミラーは、アクチェータのうち少なくとも1つによって移動された場合であってもウィンドウに対して配向され得る。相互接続要素のうち1つの相互接続要素は、MEMSミラーに接続できる第1のセグメントと、アクチュエータに接続できる第2のセグメントと、を含み得る。第1のセグメント及び第2のセグメントは相互に機械的に結合され得る。
[0788] 関連する実施形態において、第1のセグメントは第2のセグメントに対して実質的に90度に配向され得る。第1のセグメントは、MEMSミラーの外周に接続されると共にMEMSミラーの外周に対して実質的に90度に配向され得る。MEMSミラーがアイドル位置に位置決めされた場合、第1のセグメントはMEMSミラーの中央へ向かい得る。第2のセグメントはアクチュエータの外周に接続され、アクチュエータの外周に対して実質的に90度に配向され得る。第2のセグメントの長手方向軸は、アクチュエータの長手方向軸に対して実質的に平行であり得る。MEMSミラーがアイドル位置に位置決めされた場合、第1のセグメント及び第2のセグメントはL字型に配置され得る。相互接続要素は、第1及び第2のセグメント間に機械的に結合できる少なくとも1つの追加のセグメントを含み得る。第1のセグメント及び第2のセグメントは相互に長さが異なる場合がある。第1のセグメント及び第2のセグメントは相互に幅が異なる場合がある。第1のセグメント及び第2のセグメントは相互に断面形状が異なる場合がある。MEMSミラーがアイドル位置に位置決めされた場合、第1のセグメント及び第2のセグメントはMEMSミラーと同一の面に位置決めされ得る。第1のセグメント及び第2のセグメントは、アクチュエータと同一の面に位置決めされ得る。
[0789] 別の実施形態において、LIDARシステム100は、楕円形状を有することができるMEMSミラーを含み得る(例えばMEMSミラーは円形であり得る)。アクチュエータは、少なくとも3つの独立して制御されるアクチュエータを含み得る。アクチュエータ及び相互接続要素の各対は、フレームとMEMSミラーとの間に直接接続され得る。MEMSミラーは、2つの回転軸を中心に枢動するよう動作可能である。
[0790] 関連する実施形態において、アクチュエータは少なくとも4つの独立して制御されるアクチュエータを含み得る。MEMSミラーの長手方向軸は光ビームの長手方向軸に対応し得る。MEMSミラーの長手方向軸はLIDARシステムの検出器アレイの長手方向軸に対応し得る。アクチュエータは、第1の方向に沿って相互に対向する第1の対のアクチュエータと、第2の方向に沿って相互に対向する第2の対のアクチュエータと、を含み得る。第1の対のアクチュエータは第2の対のアクチュエータとは異なる場合がある。ウィンドウ、MEMSミラー、フレーム、及びアクチュエータは、ユニットを形成し得る。このユニットは、第1の方向に沿って伝搬する機械的振動及び第2の方向に沿って伝搬する機械的振動に対して異なるように応答し得る。第1の対のアクチュエータは、アイドルである場合、第2の対のアクチュエータがアイドルである場合の長さとは実質的に異なる長さを有し得る。第1の対のアクチュエータは、アイドルである場合、第2の対のアクチュエータがアイドルである場合の形状とは実質的に異なる形状を有し得る。動作中、LIDARシステムには特定の周波数範囲を有する機械的振動が加えられ得る。ユニットの共振周波数は特定の周波数範囲外であり得る。ユニットの共振周波数は、特定の周波数範囲の最大周波数よりも少なくとも2倍大きい場合がある。ユニットの共振周波数は400ヘルツから1キロヘルツの間であり得る。アクチュエータは、アクチュエータの本体よりも下方に位置付けられた圧電要素を含み、別のアクチュエータは、他の圧電要素の本体よりも上方に位置付けられた圧電要素を含み得る。アクチュエータは、圧電要素の本体よりも上方に位置付けられた圧電要素を含み得る。LIDARシステムは更に、追加の圧電要素の状態の指示をセンサから受信するように構成できるコントローラを含み得る。コントローラは、追加の圧電要素の状態の指示に基づいてアクチュエータを制御するように構成され得る。コントローラは、追加の圧電要素の状態の指示に基づいてMEMSミラーの向きを決定するように構成され得る。
[0791] 別の実施形態において、LIDARシステム100は可変コンデンサ及びセンサを含み得る。可変コンデンサの容量は、フレームとアクチュエータのうち1つのアクチュエータとの間の空間的な関係を表す。センサは可変コンデンサの容量を検知するように構成され得る。
[0792] 関連する実施形態において、可変コンデンサは、アクチュエータに接続できる第1のプレート及びフレームに接続できる第2のプレートを含み得る。フレームとアクチュエータとの間の空間的な関係は、第1のプレートと第2のプレートとの間の重複を決定する。可変コンデンサは、アクチュエータに接続できる複数の第1のプレート及びフレームに接続できる複数の第2のプレートを含み得る。アクチュエータは、フレームに機械的に接続できる第1の端部と、第1の端部とは反対側の、相互接続要素に機械的に接続できる第2の端部と、を有し得る。可変コンデンサと第1の端部との間の距離は可変コンデンサと第2の端部との間の距離よりも大きい場合がある。アクチュエータは、フレームに機械的に接続できる第1の端部と、第1の端部とは反対側の、相互接続要素に機械的に接続できる第2の端部と、を有し得る。可変コンデンサと第1の端部との間の距離は可変コンデンサと第2の端部との間の距離よりも小さい場合がある。
[0793] 別の実施形態において、LIDARシステム100は、可変コンデンサの容量の指示を受信し、可変コンデンサの容量に基づいてMEMSミラーの向きを決定するように構成されたコントローラを含み得る。圧電要素は、制御信号ソースからの制御信号によって誘発された電界が印加された場合、本体を曲げてMEMSミラーを移動させるように構成され得る。制御信号はLIDARシステムの電極に供給され得る。
[0794] 制御信号は交番バイアス成分及びステアリング成分を有し得る。本体の曲げはステアリング成分に応答し得る。交番バイアス成分の周波数はステアリング成分の最大周波数よりも大きい。センサは、アクチュエータの曲げに起因したアクチュエータの誘電率の変化を検知するように構成され得る。
[0795] 関連する実施形態において、センサは電流振幅センサであり得る。また、センサは電流振幅センサ及び位相シフトセンサであり得る。交番バイアス成分の振幅はステアリング成分の振幅よりも少なくとも100分の1小さい場合がある。LIDARシステムは更に、誘電率の変化に関する情報を受信し、MEMSミラーの向きを決定するように構成できるコントローラを含み得る。ウィンドウは筐体に付属し得る。筐体は、MEMSミラー、フレーム、及びアクチュエータを収容する密封筐体であり得る。筐体は、MEMSミラーよりも下方に位置付けられた透明な領域を含み得る。LIDARシステムは更に、少なくとも1つの光学センサ及び少なくとも1つの光源を含み、少なくとも1つの光源は、少なくとも1つの光ビームを透明な領域を通してMEMSミラーの裏側へ伝送するように構成され得る。少なくとも1つの光センサは、MEMSミラーの裏側からの光を受光するように構成され得る。LIDARシステムは、少なくとも1つの光センサからの情報に基づいてMEMSミラーの向きを決定するように構成できるコントローラを含み得る。筐体の異なる部分はウェーハレベルのパッケージングによって形成され得る。フレームは、筐体の下部領域を形成する集積回路に付属し得る。相互接続要素のうち1つの相互接続要素は、少なくとも1つの継手によって相互に機械的に結合できる複数のセグメントを含み得る。継手は玉継手であり得る。また、継手はMEMS継手であり得る。
[0796] 前述の記載は例示の目的で提示されている。これは網羅的でなく、開示される厳密な形態又は実施形態に限定されない。本明細書の検討及び開示される実施形態の実施から、当業者には変更及び適合が明らかであろう。更に、開示される実施形態の態様はメモリに記憶されているものとして記載されるが、これらの態様は、例えばハードディスク又はCD ROM、又は他の形態のRAM又はROM、USBメディア、DVD、ブルーレイ、又は他の光学ドライブ媒体のような二次記憶デバイス等、他の形態のコンピュータ読み取り可能媒体にも記憶できることは当業者には認められよう。
[0797] 記載された説明及び開示された方法に基づくコンピュータプログラムは、経験豊かな開発者のスキル内である。様々なプログラム又はプログラムモジュールを、当業者に既知の技法のいずれかを用いて生成するか、又は、既存のソフトウェアに関連付けて設計することができる。例えばプログラムセクション又はプログラムモジュールは、.Netフレームワーク、.Netコンパクトフレームワーク(及びVisualBasicやC等の関連言語)、Java、C++、Objective−C、HTML、HTML/AJAXの組み合わせ、XML、又はJavaアプレットを含むHTMLにおいて又はこれらによって、設計することができる。
[0798] 更に、例示的な実施形態を本明細書に記載したが、均等の要素(equivalent elements)、変更、省略、(例えば様々な実施形態にわたる態様の)組み合わせ、適合、及び/又は変形を有する任意の及び全ての実施形態の範囲は、本開示に基づいて当業者によって認められよう。特許請求の範囲における限定は、特許請求の範囲で使用される言語に基づいて広義に解釈され、本明細書において又は本出願の審査中に記載される例に限定されない。これらの例は非排他的に(non-exclusive)解釈されるものとする。更に、開示される方法のステップは、ステップの順序を変えること及び/又はステップを挿入又は削除することを含めて、任意に変更され得る。従って、本明細書及び例は単に例示と見なされ、真の範囲及び精神は以下の特許請求の範囲及び均等物(equivalents)の全範囲によって示されることが意図される。