JP7473616B2 - 自動露光遮蔽カメラ - Google Patents

自動露光遮蔽カメラ Download PDF

Info

Publication number
JP7473616B2
JP7473616B2 JP2022177777A JP2022177777A JP7473616B2 JP 7473616 B2 JP7473616 B2 JP 7473616B2 JP 2022177777 A JP2022177777 A JP 2022177777A JP 2022177777 A JP2022177777 A JP 2022177777A JP 7473616 B2 JP7473616 B2 JP 7473616B2
Authority
JP
Japan
Prior art keywords
detection camera
light
occlusion detection
optical components
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022177777A
Other languages
English (en)
Other versions
JP2023073214A (ja
Inventor
ブラレイ,コリン
サルズベリー,チェイス
ファン,ポ-チャオ
レヴィンスカヤ,ハンナ
Original Assignee
ウェイモ エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ウェイモ エルエルシー filed Critical ウェイモ エルエルシー
Publication of JP2023073214A publication Critical patent/JP2023073214A/ja
Application granted granted Critical
Publication of JP7473616B2 publication Critical patent/JP7473616B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4811Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813Housing arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • G01S2007/4975Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Input (AREA)

Description

ライダーデバイス及び/又はカメラなどの光学システムは、周囲環境を感知するために使用されることがある。例えば、ライダーデバイスを使用して、自律型車両を取り囲む環境に関連する点群を生成し得、その点群は、オブジェクトの検出及び回避のために自律型車両によって使用されることがある。そのようなライダーデバイス及び/又はカメラは、入射光が相互作用し得る1つ以上の光学構成要素を含んでいる場合がある。例えば、ライダーデバイス及び/又はカメラは、光学窓、ミラー、レンズなどを含むことがある。
従来の光学システムでは、1つ以上の光学構成要素における欠陥は、光学システムの性能に影響を及ぼすことがある。例えば、ライダーの状況では、ライダーの光学構成要素における遮蔽又は引っかき傷は、環境内のオブジェクトの測距及び位置特定に悪影響を及ぼすことがある。そのようなシナリオでは、汚損又は劣化した光学構成要素により、ライダーシステムが役に立たないものとなり、及び/又は汚損又は劣化した光学構成要素はライダーシステムに環境に関する間違った又は不正確な情報を提供させることがある。
従来のアプローチは、潜在的な欠陥を検出しようとして光学構成要素の画像を捕捉するように構成された欠陥カメラを含むことがある。しかしながら、そのような従来のアプローチは、非常に明るい又は非常にほの暗い照明を有するシーンにおいては効果がない場合がある。例えば、欠陥カメラは、通常の照明条件下では高品質の画像を捕捉し得る。しかしながら、非常に明るい条件下では、欠陥カメラからの画像は、過剰に露出されているか、又は「白飛び」することがあり、常に低い条件下では、欠陥カメラからの画像は、暗く、及び/又は露出不足であることがある。したがって、様々な環境背景条件下で、光学システムの光学的欠陥をより効果的に識別及び軽減するのに役立ち得る改善されたシステム及び方法が望ましい。
本開示は、照明光の広い変動を有する背景シナリオの下で、1つ以上の光学構成要素に関連する欠陥を決定するように構成され得る、光学システム、ライダー、及びそれらの使用方法に関する。いくつかの例では、実施形態は、自動運転車両で利用されるように構成されたシステム及びライダーの光学的欠陥の検出及び特性を含んでもよい。
第1の態様では、光学システムが提供される。光学システムは、1つ以上の光学構成要素と、1つ以上の光学構成要素を介して環境の視野から光を受信するように構成された光検出器と、を含む。光学システムはまた、1つ以上の光学構成要素の画像を捕捉するように構成されている遮蔽検出カメラを含む。また更に、光学システムは、少なくとも1つのプロセッサ及びメモリを有するコントローラを含む。少なくとも1つのプロセッサは、動作を実施するようにメモリに記憶された命令を実行する。動作は、視野の光強度を示す情報を受信することと、受信された情報に基づいて、遮蔽検出カメラの少なくとも1つの動作パラメータを調整することと、を含む。動作はまた、遮蔽検出カメラに、調整された少なくとも1つの動作パラメータに従って、1つ以上の光学構成要素の少なくとも1つの画像を捕捉させることを含む。
第2の態様では、光学システムが提供される。光学システムは、1つ以上の光学構成要素と、1つ以上の光学構成要素を介して環境の視野に向かって放出光を放出するように構成されている光放出器デバイスと、を含む。光学システムはまた、1つ以上の光学構成要素を介して環境の視野から光を受信するように構成されている光検出器を含む。受信された光の少なくとも一部分は、反射光を含む。反射光は、環境との相互作用後に光学システムに向かって反射して戻ってきた放出光の少なくとも一部分を含む。光学システムはまた、1つ以上の光学構成要素の画像を捕捉するように構成されている遮蔽検出カメラを含む。光学システムは、少なくとも1つのプロセッサ及びメモリを有するコントローラを更に含む。少なくとも1つのプロセッサは、動作を実施するようにメモリに記憶された命令を実行する。動作は、視野の光強度を示す情報を受信することと、受信された情報に基づいて、遮蔽検出カメラの少なくとも1つの動作パラメータを調整することと、を含む。動作はまた、遮蔽検出カメラに、調整された少なくとも1つの動作パラメータに従って、1つ以上の光学構成要素の少なくとも1つの画像を捕捉させることを含む。動作は、反射光に基づいて、環境内の1つ以上のオブジェクトを決定することを更に含む。
第3の態様では、方法が提供される。この方法は、光検出器から、光学システムの視野の光強度を示す情報を受信することを含む。光学システムは、1つ以上の光学構成要素と、1つ以上の光学構成要素を介して環境の視野から光を受信するように構成された光検出器と、を含む。光学システムはまた、1つ以上の光学構成要素の画像を捕捉するように構成されている遮蔽検出カメラを含む。この方法はまた、受信された情報に基づいて、遮蔽検出カメラの少なくとも1つの動作パラメータを調整することを含む。この方法はまた、遮蔽検出カメラに、調整された少なくとも1つの動作パラメータに従って、1つ以上の光学構成要素の少なくとも1つの画像を捕捉させることを含む。
他の態様、実施形態、及び実装形態は、添付の図面に適切な場合を参照して、以下の詳細な説明を読むことによって、当業者に明らかになるであろう。
例示的な実施形態による光学システムを示す。 例示的な実施形態による、スイムレーン図を示す。 例示的な実施形態による、ライダーを示す。 例示的な実施形態による、ライダーを示す。 例示的な実施形態による車両を示す。 例示的な実施形態による車両を示す。 例示的な実施形態による車両を示す。 例示的な実施形態による車両を示す。 例示的な実施形態による車両を示す。 例示的な実施形態による方法を示す。
例示的な方法、デバイス、及びシステムが本明細書に記載されている。「例示的な」及び「例示の」という文言は、本明細書では「例、インスタンス、又は例示として機能する」を意味するために使用されると理解されたい。本明細書において「例示的な」又は「例示の」として本明細書に記載される任意の実施形態又は特徴は、必ずしも他の実施形態又は特徴よりも好ましいか、又は有利であると解釈されるべきではない。本明細書に提示される主題の範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を行い得る。
したがって、本明細書に記載される例示的な実施形態は、限定することを意味するものではない。本開示の態様は、本明細書に概して記載され、図に示されるように、多種多様な異なる構成で配置、置換、組み合わせ、分離、及び設計することができ、それらの全てが本明細書に企図される。
更に、文脈が別途示唆しない限り、図の各々に示される特徴は、互いに組み合わせて使用されてもよい。したがって、図は、一般に、1つ以上の全体的な実施形態の構成要素の態様として見られ、全ての示された特徴が各実施形態に必要というわけではないことを理解するべきである。
様々なシナリオでは、カメラ又はライダーデバイス内の光学構成要素のうちの1つ以上の欠陥の結果として、捕捉された画像/生成された点群内の異常が生じる可能性がある。例えば、引っかき傷、亀裂、汚れ、変形、ごみ、気泡、不純物、劣化、変色、不透明性、歪曲、若しくは結露などは、シーンからの光が、画像センサ/光検出器の意図しない/不適切な領域に向けられることがあるか、シーンからの光が、画像センサ/光検出器に到達することさえ妨げることがあるか、又はそうでなければ光が画像センサ/光検出器に到達する前にシーンからの光を修正(例えば、偏光又は波長の修正)することがある。そのような問題は、不適切なオブジェクト識別/距離検出をもたらす可能性がある。自律型車両用途では、不適切なオブジェクト識別/距離検出は、車両の動作に悪影響を及ぼす可能性がある。
いくつかの実施形態では、欠陥は、ほこり、土壌、泥、昆虫、又はライダーシステムの光学表面に沿って収集し得る他のタイプの有機又は無機物質などのものを含み得る。追加的又は代替的に、欠陥は、水滴及び/又は結露を含み得る。
このような不完全を検出する(及び是正措置をその後取る)ために、本明細書に開示されるデバイスは、周囲環境を感知するために使用されるライダーデバイス/カメラの光学構成要素のうちの1つ以上の画像を捕捉するために使用される追加のカメラ(「遮蔽検出カメラ」)を含んでもよい。いくつかの例では、遮蔽検出カメラは、入射光強度を検出するように構成されているデジタル画像センサを含み得る。例示的な実施形態では、そのような画像センサは、電荷結合デバイス(charge-coupled device、CCD)センサ、相補型金属酸化物半導体(complementary metal oxide semiconductor、CMOS)センサ、及び/又は背面照射型CMOS(back-side illuminated CMOS、BSI-CMOS)センサを含み得る。他のタイプの受光素子が可能であり、企図されることが理解されるであろう。
遮蔽検出カメラによって捕捉された画像は、所与の光学構成要素上に1つ以上の欠陥が存在するかどうか、所与の光学構成要素上の1つ以上の欠陥の位置、所与の光学構成要素上の1つ以上の欠陥のサイズ、及び/又は所与の光学構成要素上の1つ以上の欠陥のタイプを決定するように分析されてもよい。更に、遮蔽検出カメラは、周囲環境に関するデータを収集するために使用されるライダーデバイス/カメラに関連付けられた1つ以上の検出器に隣接して位置付けられてもよい。
しかしながら、遮蔽検出カメラによって捕捉された画像は、背景光(例えば、グレア)の影響を受けやすく、及び/又は悪影響を受けることがある。例えば、太陽が遮蔽検出カメラによって捕捉された画像に存在する場合、その画像を使用して、光学構成要素に関連する欠陥を検出することが困難であることがある。これは、遮蔽検出カメラが低いダイナミックレンジ(例えば、周囲シーン内に存在する強度のダイナミックレンジに対して低い)を有する場合に特に当てはまる。
本明細書に記載の実施形態は、関連するライダーデバイス/カメラによって収集されたデータに基づいて、遮蔽検出カメラの露光セッティングを調整することによって、遮蔽検出カメラによって捕捉された画像への背景光の影響を軽減しようとする。例えば、関連するライダーデバイス(例えば、遮蔽検出カメラよりも高いダイナミックレンジを有し得る)は、周囲のシーンから強度情報を収集してもよい。他のタイプの画像センサ又は受光素子を使用して、シーンからの強度情報を決定してもよい。一例として、他の画像センサ又は受光素子は、カメラ又はライダーデバイスの内部又は外部に装着され得る。決定された強度情報は、周囲シーンの輝度(例えば、周囲のシーン内の太陽光背景の輝度)を示してもよい。次いで、遮蔽検出カメラの露光セッティング(例えば、露光時間、開口サイズ、及び/又は画像センサのゲインセッティング)のうちの1つ以上は、周囲のシーンの輝度に基づいて(例えば、関連するコンピューティングデバイスによって)修正されてもよい。露光セッティングを修正することにより、周囲のシーン内の明るいオブジェクト(例えば、太陽)の影響を最小限に抑えてもよい。ライダーデバイス/カメラによって収集された強度情報を使用することは、ライダーデバイス/カメラの視野に基づいて輝度マップを生成することと、次いで、輝度マップを、遮蔽検出カメラの関連する視野に基づいて変換することとを含んでもよいが、これは、ライダーデバイス/カメラの視野が、同じ視野である可能性が低いためである(例えば、遮蔽検出カメラは、周囲のシーン全体ではなくライダーデバイス/カメラの光学構成要素の画像のみを捕捉することがあるため)。輝度マップは、シーンから受信された光強度の二次元又は三次元表現を含み得る。輝度マップは、例えば、シーン内の明るいオブジェクト(例えば、再帰反射体)を示す情報を含み得る。遮蔽検出カメラの視野に基づいて輝度マップを変換することは、アフィン変換又は別のタイプの画像変換技術を適用して、遮蔽検出カメラ及びライダーデバイス/カメラの異なる視野を調和させることを含み得る。
図1は、例示的な実施形態による光学システム100を示す。光学システム100のいくつか又は全ての要素は、物理的に一緒に結合され得る。追加的又は代替的に、光学システム100のいくつかの要素は、互いに離れて位置し得る。光学システム100のいくつか又は全ての要素は、通信インターフェース155を介して通信可能に結合され得る。通信インターフェース155は、有線及び/又は無線通信リンクを含み得る。
光学システム100は、1つ以上の光学構成要素110を含む。いくつかの例では、1つ以上の光学構成要素110は、光学窓、ミラー、レンズ、又は導波管のうちの少なくとも1つを含み得る。一例として、光学構成要素110は、入射光と相互作用し得る(例えば、伝送する、ガイドする、ブロックする、焦点を合わせる、焦点をはずす、反射、減衰させるなど)光学素子を含み得る。
光学システム100はまた、1つ以上の光学構成要素110を介して光学システム100の環境10の視野12から光を受信するように構成されている1つ以上の光検出器120を含む。いくつかのシナリオでは、入射光の少なくとも一部は、太陽光背景及び/又はグレア光16の一部分を含み得る。追加的又は代替的に、入射光の一部は、環境10内の様々なオブジェクト14(例えば、歩行者、車両、標識、建物、道路など)を示してもよい。環境10は、本明細書における他の場所で更に記載される(例えば、段落[0053]及び段落[0055])。
光学システム100は、1つ以上の光学構成要素110の画像を捕捉するように構成されている遮蔽検出カメラ130を追加的に含む。様々な実施形態では、遮蔽検出カメラ130は、電荷結合デバイス(CCD)画像センサを含み得る。追加的又は代替的に、遮蔽検出カメラ130は、アクティブ画素センサ(例えば、相補型金属酸化物半導体(CMOS)センサ)を含み得る。遮蔽検出カメラ130は、画像センサのゲイン特性を修正するように構成されている1つ以上の増幅器を含み得る。全体として、システムへの入射光の総量は、光強度18を有すると決定され得る。このようなシナリオでは、遮蔽検出カメラ130の様々な動作特性は、光強度18に基づいて調整され得る。
光学システム100はまた、コントローラ150を含む。例示的な実施形態では、コントローラ150は、少なくとも1つのプロセッサ152及びメモリ154を含む。いくつかの実施形態では、コントローラ150は、特定用途向け集積回路(application specific integrated circuit、ASIC)、フィールドプログラマブルゲートアレイ(field-programmable gate array、FPGA)、マイクロプロセッサ、又はグラフィック処理ユニット(graphics processing unit、GPU)を含み得る。他のタイプの回路及びコンピューティングデバイスが可能であり、企図される。少なくとも1つのプロセッサ152は、動作を実施するために、メモリ154に記憶された命令を実行する。動作は、視野12の光強度18を示す情報を受信することを含む。一例として、光強度18を示す情報を受信することは、光強度18に基づく(例えば、比例する)検出器120からの信号を含み得る。
動作は、受信された情報に基づいて、遮蔽検出カメラ130の少なくとも1つの動作パラメータ132を調整することを追加的に含む。調整可能な動作パラメータ132は、例えば、カメラ露光値(exposure value、EV)、シャッター速度、f値(例えば、光学系の焦点距離とクリア開口の直径との比)、画像センサゲイン、画像センサ露光指数(exposure index、EI)、及び/又は画像センサISOを含み得る。遮蔽検出カメラ130の露光を制御可能かつ動的に変更するために、他のタイプの動作パラメータを調整することが可能であり、企図されることが理解されるであろう。
動作は、遮蔽検出カメラ130に、調整された少なくとも1つの動作パラメータ132に従って、1つ以上の光学構成要素110の少なくとも1つの画像134を捕捉させることを更に含む。
いくつかの例では、動作は、少なくとも1つの画像134に基づいて、1つ以上の光学構成要素110に関連する少なくとも1つの欠陥112の存在を決定することを更に含んでもよい。
様々な例示的な実施形態では、動作は、少なくとも1つの画像134に基づいて、1つ以上の光学構成要素110に関連する少なくとも1つの欠陥112の位置を決定することを更に含み得る。追加的又は代替的に、動作は、少なくとも1つの画像134に基づいて、1つ以上の光学構成要素110に関連する少なくとも1つの欠陥112のサイズを決定することを更に含んでもよい。いくつかの例では、動作は、少なくとも1つの画像134に基づいて、1つ以上の光学構成要素110に関連する少なくとも1つの欠陥112のタイプを決定することを含み得る。
様々な例では、少なくとも1つの欠陥112のタイプは、引っかき傷、亀裂、汚れ、変形、遮蔽、ごみ、気泡、不純物、劣化、変色、不完全な透明性、歪曲、又は結露のうちの少なくとも1つを含み得る。他のタイプの光学的欠陥が可能であり、企図されることが理解されるであろう。
例示的な実施形態では、遮蔽検出カメラ130は、視野12内に存在する光強度18のレンジに対して低いダイナミックレンジ(例えば、シーン内に存在する光のダイナミックレンジと比較して、1/2、1/10、1/100、1/1000、1/10000、又はそれ未満のダイナミックレンジ)を有し得る。
いくつかの実施形態では、受信された情報に基づいて、遮蔽検出カメラ130の少なくとも1つの動作パラメータ132を調整することは、遮蔽検出カメラ130の少なくとも1つの露光セッティングを調整することを含む。そのようなシナリオでは、少なくとも1つの露光セッティングは、露光時間、開口サイズ、ゲインセッティング、又は感度を含み得る。
様々な例は、動作がまた、受信された情報に基づいて、視野12に関連する輝度マップ156を決定することを含むことを含んでもよい。そのようなシナリオでは、動作がまた、輝度マップ156を、遮蔽検出カメラ130のカメラ視野136に基づいて変換して、変換された輝度マップ158を提供することを含んでもよい。更に、動作は、遮蔽検出カメラ130の少なくとも1つの動作パラメータ132を調整することが、変換された輝度マップ158に更に基づくことができることを含み得る
図2は、例示的な実施形態による、スイムレーン図200を示す。スイムレーン図200は、光学システム100の要素によって実行することができる様々なブロック又はステップを示す。例えば、スイムレーン図200は、遮蔽検出カメラ130、検出器120、及び/又はコントローラ150によって引き起こされる、及び/又は実行され得るブロック又はステップを含む。
様々な例では、ブロック202は、検出器(例えば、検出器120)を、光学構成要素(例えば、光学構成要素110)を介して視野(例えば、視野12)の光強度(例えば、光強度18)を検出することを含み得る。検出器は、カメラの画像センサ及び/又はライダー受信機モジュールの検出器を含み得る。他のタイプの検出器が可能であり、企図されることが理解されるであろう。
ブロック204は、コントローラ150で、視野の光強度を示す情報を受信することを含む。このようなシナリオでは、コントローラ150は、有線又は無線通信リンク(例えば、通信インターフェース155)を介して検出器から情報を受信し得る。
ブロック206は、コントローラ150が、動作パラメータ命令を決定することを含み得る。このようなシナリオでは、コントローラ150は、ルックアップテーブルを計算及び/又は利用して、動作パラメータ命令のセットを選択し得る。選択された動作パラメータ命令のセットは、光学構成要素110の適切な撮像/露光のために遮蔽検出カメラ130を調整するように、検出された光強度に基づいて選択され得る。
動作パラメータ命令が決定されると、ブロック208は、命令を遮蔽検出カメラ130に送信することを含み得る。一例として、命令は、通信インターフェース155を介して遮蔽検出カメラ130に送信され得る。
ブロック210は、遮蔽検出カメラ130が、動作パラメータ命令を受信することを含む。
ブロック212は、遮蔽検出カメラ130が、その動作パラメータを変更することを含む。例示的な実施形態では、遮蔽検出カメラ130は、その開口サイズ、シャッター時間/露光時間、ズームセッティング、焦点セッティング、検出器ゲイン、及び/又はISOセッティングを調整し得る。他の調整可能なパラメータが可能であり、調整され得る。
ブロック214は、コントローラ150が、遮蔽検出カメラ130に光学構成要素110の画像134を捕捉させることを含む。例示的な実施形態では、コントローラ150は、通信インターフェース155を介して遮蔽検出カメラ130に命令を送信し得る。いくつかの例では、ブロック210及びブロック214は、コントローラ150からの単一の命令セットに組み合わされ得る。言い換えれば、動作パラメータ及び撮像命令は、コントローラ150によって同じメッセージ及び/又はメッセージセット内で送信され得る。本開示の範囲内で命令の他の組み合わせが可能であり、企図される。
ブロック216は、遮蔽検出カメラ130が、光学構成要素110の1つ以上の画像134を捕捉することを含む。一例として、遮蔽検出カメラ130は、光学構成要素110のデジタル写真を捕捉してもよい。いくつかの実施形態では、デジタル写真は、RGB色空間で符号化されていてもよい光強度情報、及び/又は生データとしての光強度情報を含んでもよい。例では、画像134は、1600ピクセル×1200ピクセル(1.92メガピクセル)、2048ピクセル×1536ピクセル(3.1メガピクセル)、3840ピクセル×2160ピクセル(4K UHDTV)、又は別のデジタル画像解像度を含む、様々な解像度で捕捉され得る。
画像134のアスペクト比は、画像センサの物理的形式に少なくとも部分的に基づいてもよいと理解されよう。例えば、遮蔽検出カメラ130は、他の可能性の中でも、APS-C形式、Micro Four Thirds形式、Nikon CX形式、1/4インチ形式の画像センサを含み得る。
ブロック218は、コントローラ150が、画像134に基づいて、光学構成要素110に関連する少なくとも1つの欠陥112の存在、位置、サイズ、又はタイプを決定することを含む。いくつかの例では、コントローラ150は、欠陥112の様々な特性を決定するために、様々なコンピュータビジョンアルゴリズム及び/又はプロセスを利用することができる。いくつかの例では、コントローラ150は、人工知能(例えば、畳み込みニューラルネットワーク)を利用して、様々なオブジェクト認識、識別、及び/又は検出タスクを実施することができる。本開示の文脈内で他のタイプのオブジェクト認識技術を実装して、欠陥112に関する情報を決定し得ると理解されよう。
様々な実施形態では、コントローラ150は、従来の画像(例えば、参照画像)を現在の画像134と比較し得る。そのようなシナリオでは、コントローラ150は、参照画像と現在の画像134との間の比較に基づいて、欠陥112の存在、位置、サイズ、及び/又はタイプを決定し得る。
本明細書において記載される実施形態は、ライダーシステムに関連してもよい。例示的なライダーシステムは、レーザ光のパルスを環境に放出するように構成されている複数の光放出器デバイスを含んでもよい。一例として、環境は、建物内又は建物外などの内部又は外部環境を含み得る。追加的又は代替的に、環境は、道路の周囲及び/又は道路上の近傍を含み得る。更に、環境は、他の車両、標識、歩行者、道路表面、建物、地形などのオブジェクトを含み得る。追加的に、光パルスは、ライダーシステム自体のローカル環境に放出され得る。例えば、光パルスは、ライダーシステムのハウジング及び/又はライダーシステムに結合された表面又は構造と相互作用し得る。場合によっては、ライダーシステムは、車両に装着され得る。このようなシナリオでは、ライダーシステムは、車両の近傍内のオブジェクトと相互作用する光パルスを放出するように構成され得る。
ライダーシステムは、1つ以上の調整可能な光放出パラメータに従って光パルスを放出するように複数の光放出器デバイスを選択的に制御するように構成されている発射回路を追加的に含んでもよい。ライダーシステムはまた、放出されたレーザ光パルスと環境との間の相互作用によって生成された戻り光を受信するように構成されている複数の検出器を含む。
特定の実施形態では、ライダーシステムは、半自律型車両又は完全自律型車両のライダー機能を提供し得る。そのような車両は、モータービークル(車、トラック、バス、オートサイクル、全ての地形車両、レクリエーション車両、任意の専用の農業又は建築車両など)、航空機(平面、ヘリカプタ、ドローン、サブマリンなど)、又はその環境をナビゲートするための自動運転モード(人間の入力なしで、又は人間の入力が低減されて)で動作可能な任意の他の自己推進車両(例えば、ロボット、工場又は倉庫ロボット車両、歩道配達ロボット車両など)を含み得る。本明細書に記載されるように、環境は、建物内又は建物の外部などの内部又は外部環境を含むことができる。追加的又は代替的に、環境は、道路の周囲及び/又は道路上の近傍を含み得る。更に、環境は、他の車両、標識、歩行者、道路表面、建物、地形などのオブジェクトを含み得る。追加的又は代替的に、環境は、半自律型車両又は完全自律型車両の内部を含み得る。いくつかの実施形態では、ライダーシステムは、三次元空間内の特定の位置における複数の点を示す情報を含み得る点群情報を取得するように構成され得る。一例として、点群情報は、環境内のオブジェクトの位置を示し得る。
図3は、例示的な実施形態による、ライダー300を示す。ライダー300は、光学システム100の要素のいくつか又は全てを含み得る。例えば、ライダー300は、光学構成要素110、検出器120、遮蔽検出カメラ130、及びコントローラ150を含んでもよい。ライダー300は、1つ以上の光放出器デバイス310を追加的に含んでもよく、これは、ライダー300の環境10内に光パルス312を放出するように構成されてもよい。光放出器デバイス310は、1つ以上のレーザダイオード(例えば、半導体レーザバー)、発光ダイオード(light-emitting diode、LED)、垂垂直外部共振器型面発光レーザ(vertical-external-cavity surface-emitting-laser、VECSEL)、垂直共振器型面発光レーザ(vertical-cavity surface-emitting laser、VCSEL)、又は別個の光パルスで光を放出するように構成されている他のタイプのデバイスを含み得る。例示的な実施形態では、光パルスは、調整可能及び/又は制御可能な様式で放出され得る。しかしながら、他のタイプの光放出器デバイスが可能であり、企図される。いくつかの実施形態では、光放出器デバイス310は、約905nmの波長を有する光を放出するように構成され得る。他の発光波長が可能であり、企図されることが理解されるであろう。
光放出器デバイス310によって放出される光パルス312の少なくとも一部は、視野12内のオブジェクト14と相互作用してもよく、それらの光パルス312のいくつかの部分は、光学構成要素110に入射することができる反射放出光322の形態でライダー300に向かって反射して戻ってもよい。追加的に、環境10からの環境光324が、光学構成要素110に入射し得る。
このようなシナリオでは、検出器120は、反射放出光322及び環境光324を受信するように構成され得る。光学システム100に関して記載したように、検出器120は、環境10の光強度18を示す情報をコントローラ150に提供するように構成され得る。それに応答して、コントローラ150は、受信された情報に基づいて、遮蔽検出カメラ130の様々な動作パラメータ132を決定し得る。そのようなシナリオでは、遮蔽検出カメラ130の動作パラメータ132は、所与の太陽光背景/グレア条件16の下で光学構成要素110の良好に露出した画像を提供するように調整され得る。
図4は、例示的な実施形態による、ライダー400の断面図を示す。図4は、図1及び図3を参照して示され、記載された光学システム100及びライダー300のものと同様又は同一の要素を含み得る。
例えば、いくつかの実施形態では、ライダー400は、装着表面412を有する第1の基板410を含み得る。いくつかの実施形態では、第1の基板410は、プリント回路基板(printed circuit board、PCB)であり得る。いくつかの他の実施形態では、第1の基板410は、シリコン、ガリウムヒ素などの半導体基板材料を含み得る。いくつかの実施形態では、第1の基板410は、シリコンオンインシュレータ(silicon-on-insulator、SOI)材料を含み得る。代替的には、第1の基板410は、様々な他の固体及び/又は可撓性材料から形成され得、それらの各々は本開示において企図される。ライダー400は、第1の表面422及び第2の表面424を有するスペーサ構造420を含み得る。スペーサ構造420は、1つ以上のキャビティ426a~426dを含み得る。スペーサ構造420は、半導体材料及び/又はポリマー材料を含み得る。続いて、1つ以上の技術を使用して、少なくとも1つのキャビティ(例えば、キャビティ426a~426d)が、スペーサ構造420内に形成され得る。すなわち、スペーサ構造420の第1の表面422は、少なくとも1つのキャビティの開口形成部を有し得、スペーサ構造420の第2の表面424は、少なくとも1つのキャビティの開口形成部を有し得る。いくつかの実施形態では、キャビティ426a~426dは、乾式又は湿式エッチングプロセスなどの半導体製造方法を使用して、スペーサ構造420の少なくとも一部分を除去することによって形成され得る。スペーサ構造420内のキャビティを形成する他の方法が企図される。
1つ以上の発光体デバイス430は、スペーサ構造420の第2の表面424に結合され得る。発光体デバイス430は各々、1つ以上の発光領域431を含み得る。第2の表面424は、上表面424a及び下表面424bを含み得る。例えば、上表面424aは、第1の平面を画定し得、下表面424bは、第2の平面を画定し得る。すなわち、いくつかの実施形態では、第2の表面424は、下表面424bに「ステップダウン」する上表面424aを含み得る。
いくつかの実施形態では、検出器デバイス440a~440dは、1つ以上のキャビティ426a~426d内に配設され得る。例えば、示されるように、各キャビティは、1つの検出器デバイスを含み得る。代替的には、複数の検出器デバイス及び/又は検出器アレイは、単一のキャビティ内に配設され得る。検出器デバイス440a~440dは、外部環境との相互作用後に1つ以上の光放出器デバイス430によって放出された光を検出するように構成され得る。例では、少なくとも1つの検出器デバイス440a~440dは、シリコン光増倍器(silicon photomultiplier、SiPM)、アバランシェフォトダイオード(avalanche photodiode、APD)、又は別のタイプの受光素子を含み得る。
図4に追加的に示されるように、中間蓋450は、スペーサ構造420の第2の表面424(例えば、下面424b)に結合され得る。実施形態では、中間蓋450は、キャビティ426a~426dに隣接して配設され得る複数の開口452a~452dを含み得る。いくつかの実施形態では、開口452a~452dは、150マイクロメートルの直径を有し得る。しかしながら、他の開口直径が可能であり、企図される。
いくつかの実施形態では、複数の開口452a~452dは、光放出器デバイス430によって放出される光に対して実質的に不透明な材料を通して穿孔されたか、又はリソグラフィにエッチングされた穴を含み得る。他の実施形態では、複数の開口452a~452dは、光放出器デバイス430によって放出される光に対して実質的に透明である光学窓を含み得る。
図4は、複数の開口452a~452dを含むような中間蓋450を示しているが、いくつかの実施形態では、複数の開口452a~452dをスペーサ構造420に形成することができると理解されよう。例えば、スペーサ構造420は、複数の開口452a~452dを形成する1つ以上の穴を含み得る。例示的な一実施形態では、複数の開口452a~452dは、スペーサ構造420の上表面424aと下表面424bとの間に形成され得る。
図4はまた、装着表面462を含む第2の基板460を示す。いくつかの実施形態では、第2の基板460は、発光デバイス430によって放出される光に対して実質的に透明とし得る。少なくとも1つのレンズ464は、第2の基板460の装着表面462に結合され得る。第2の基板460は、ガラス、プラスチック、溶融シリカ、又は別の透明な低屈折率材料などの透明材料から形成され得る。第2の基板460の上表面は、反射防止コーティングを含み得る。任意選択で、反射防止コーティングが、第2の基板460の装着表面462に適用され得る。更に、少なくとも1つの導波管466が、第2の基板460の装着表面462に結合され得る。実施形態では、少なくとも1つの導波管166は、反射表面467a~467d(例えば、ミラーファセット)を含み得る。
例えば、少なくとも1つの導波管466が、伝播方向に沿って光を効率的にガイドするように構成され得る。例えば、少なくとも1つの導波管466が、少なくとも1つの光放出デバイス430から放出された光を結合するように構成されてもよい。このような光の少なくとも一部分は、全内部反射及び/又はエバネッセント光結合を介して少なくとも1つの導波管466の少なくとも一部分内にガイドされてもよい。
いくつかの実施形態では、少なくとも1つの導波管466は、少なくとも1つの反射表面を含む。このようなシナリオでは、光学的に結合された光の少なくとも一部分が、外部環境に向けられるように、少なくとも1つの反射表面と相互作用し得る。例えば、少なくとも1つの導波管466が、伝播方向に垂直な光を向けるように構成されている1つ以上の反射表面(例えば、ミラーファセット)を含んでもよい。このようなシナリオでは、光の少なくとも一部分が、ミラーファセットを介して少なくとも1つの導波管166から結合されてもよい。
例では、シム470が、スペーサ構造420の第2の表面424と第2の基板460の装着表面462との間に配設され得る。シム470は、ライダー400の縁部を通って光が漏れるのを防止するように構成され得る。いくつかの実施形態では、シム470が、第2の基板460の周りに硬化又は成形するポリマー材料を含み得る。そのようなシナリオでは、シム470が、スペーサ構造420及びライダー400の他の要素に対して固定された高さ及び/又は位置で第2の基板460を保持し得る。スペーサ構造120は、半導体材料及び/又はポリマー材料を含み得る。いくつかの実施形態では、シム470は、発光領域431が少なくとも1つのレンズ464及び/又は少なくとも1つの導波管466に対して所定又は所望の場所に配設されるように選択され得る。例えば、シム470は、発光領域431から放出された光が少なくとも1つのレンズ464によって効率的に収集され、少なくとも1つの導波管466に効率的に光学的に結合されるように選択され得る。
図4は、ライダー400の側面の近くに位置するシム470を示しているが、シム470は他の場所に位置し得ると理解されよう。例えば、シム470は、中間蓋450と第2の基板460の装着表面462との間に配設され得る。追加的又は代替的に、シム470は、例えば、(例えば、迷光を防ぐために)バッフルを提供するために、ライダー400の他の領域に存在し得る。
ライダー400は、制御された崩壊はんだボール480を介して第1の基板410に物理的に結合され得る回路基板490を追加的に含み得る。第1の基板410を回路基板490に物理的及び/又は電気的に接続するための他の方法が可能であり、企図され、限定されないが、従来のはんだボール、ボールグリッドアレイ(ball-grid array、BGA)、ランドグリッドアレイ(land-grid array、LGA)、導電性ペースト、及び他のタイプの物理的及び電気ソケットなどである。図3及び図4は、特定のライダー実施形態を示しているが、他のタイプ及び配置のライダー及び/又はカメラが可能であり、企図されると理解されよう。
図5A、図5B、図5C、図5D、及び図5Eは、例示的な実施形態による車両500を示す。いくつかの実施形態では、車両500は、半自律型車両又は完全自律型車両であり得る。図5A、図5B、図5C、図5D、及び図5Eは、自動車(例えば、乗用バン)であるような車両500を示しているが、車両500は、センサ及びその環境に関する他の情報を使用してその環境内をナビゲートするために自動運転モード(人間の入力なしで、又は人間の入力が低減されて)で動作可能な別のタイプの半自律型車両又は完全自律型車両を含み得ると理解されよう。
いくつかの例では、車両500は、1つ以上のセンサシステム502、504、506、508、510、及び512を含んでもよい。いくつかの実施形態では、センサシステム502、504、506、508、510、及び/又は512は、図1に関連して示され記載されるような1つ以上の光学システム100、及び/又は図3に関連して示され記載される1つ以上のライダー300を表し得る。言い換えれば、本明細書の他の場所で記載される光学システム及びライダーシステムは、車両500に結合され得、及び/又は車両500の様々な動作と併せて利用され得る。一例として、ライダーシステム300は、車両500の自動運転又は他のタイプのナビゲーション、計画、知覚、及び/又はマッピング動作で利用され得る。
いくつかの例では、1つ以上の光学システム及び/又はライダーは、車両500上の様々な位置に配設され得、車両500の内部及び/又は外部の環境に対応する視野を有し得る。
1つ以上のセンサシステム502、504、506、508、510、及び512が車両500上の特定の位置に示されているが、より多くの又はより少ないセンサシステムが車両500とともに利用され得ると理解されよう。更に、そのようなセンサシステムの位置は、図5A、図5B、図5C、図5D、及び図5Eに示されるセンサシステムの場所と比較して、調整、修正、又は他の方法で変更され得る。
1つ以上のセンサシステム502、504、506、508、510、及び/又は512は、他のライダーセンサを含み得る。例えば、他のライダーセンサは、所与の平面(例えば、xy平面)に対して角度の範囲にわたって配置された複数の光放出器デバイスを含み得る。例えば、センサシステム502、504、506、508、510、及び/又は512のうちの1つ以上は、車両500の周りの環境を光パルスで照明するように、所与の平面に垂直な軸(例えば、z軸)を中心に回転又は枢動するように構成されてもよい。様々な態様の反射光パルス(例えば、経過飛行時間、偏光、強度など)を検出することに基づいて、車両500の環境に関する情報が決定されてもよい。
例示的な実施形態では、センサシステム502、504、506、508、510、及び/又は512は、車両500の環境内の物理的オブジェクトに関連し得るそれぞれの点群情報を提供するように構成されてもよい。車両500及びセンサシステム502、504、506、508、510、及び512は、特定の特徴を含むものとして示されているが、他のタイプのセンサシステムが本開示の範囲内で企図されると理解されよう。
複数の光放出器デバイス(例えば、単一レーザダイ上に複数のレーザバーを有する光放出器デバイス)を有するライダーシステムが本明細書に記載され示されているが、単一の光放出器デバイスを有するライダーシステムも企図される。例えば、1つ以上のレーザダイオードによって放出された光パルスは、システムの環境を中心に制御可能に向けられてもよい。光パルスの放出角度は、例えば、機械的走査ミラー及び/又は回転モータなどの走査デバイスによって調整されてもよい。例えば、走査デバイスは、所与の軸を中心に往復運動で回転し、及び/又は垂直軸を中心に回転し得る。別の実施形態では、発光デバイスは、光パルスをスピンプリズムミラーに向かって放出してもよく、これは、各光パルスと相互作用するときのプリズムミラーの角度に基づいて、光パルスを環境に放出させてもよい。追加的又は代替的に、走査光学系及び/又は他のタイプの電気光学機械デバイスが、環境の周りの光パルスを走査することが可能である。図5A~図5Eは、車両500に取り付けられた様々なライダーセンサを示しているが、車両500は他のタイプのセンサを組み込み得ると理解されよう。
車両500のライダーシステムは、複数の検出器(例えば、検出器120)を更に含む。
車両500のライダーシステムは、少なくとも1つのプロセッサ(例えば、プロセッサ152)及びメモリ(例えば、メモリ154)を有するコントローラ(例えば、コントローラ150)を追加的に含む。少なくとも1つのプロセッサは、動作を実施するようにメモリに記憶された命令を実行する。動作は、方法600に関して記載された方法ステップ又はブロックのうちのいずれかを含んでもよい。
いくつかの実施形態では、1つ以上のセンサシステム502、504、506、508、510、及び/又は512は、画像センサを含み得る。例えば、車両500は、視野の画像を提供するように構成されている画像センサを含むカメラを含むことができる。様々な例では、画像センサは、複数の検出器要素を含んでもよい。
そのようなシナリオでは、カメラは、センサシステム502、504、506、508、510、及び/又は512内に配置され得る。カメラは、静止カメラ、ビデオカメラ、熱撮像カメラ、ステレオカメラ、夜間視覚カメラなどの感光性機器であり得、これは、車両500の環境の複数の画像を捕捉するように構成されている。この目的のために、カメラは、可視光を検出するように構成され得、追加的又は代替的に、赤外線又は紫外線などのスペクトルの他の部分からの光を検出するように構成され得る。カメラは、二次元検出器であり得、任意選択に、三次元空間範囲の感度を有し得る。いくつかの実施形態では、カメラは、例えば、カメラから車両500の環境内のある数の点までの距離を示す二次元画像を生成するように構成されている範囲検出器を含み得る。この目的のために、カメラは、1つ以上の範囲検出技術を使用してもよい。例えば、カメラは、車両500が、グリッド又はチェッカーボードパターンなどの所定の光パターンで車両500の環境内のオブジェクトを照明し、カメラを使用して、環境周囲から所定の光パターンの反射を検出する構造化光技術を使用することによって、範囲情報を提供することができる。反射光パターンの歪みに基づいて、車両500は、オブジェクト上の点までの距離を決定し得る。所定の光パターンは、赤外線、又はそのような測定のための他の好適な波長での放射線を含んでもよい。いくつかの例では、カメラは、車両200のフロントガラスの内側に装着され得る。具体的には、カメラは、車両500の向きに関して前方視図から画像を捕捉するように位置し得る。車両500の内側又は外側のいずれかで、カメラの他の装着位置及び視野角も使用することができる。更に、カメラは、調整可能な視野を提供するように動作可能な関連する光学系を有することができる。また更に、カメラは、パン/傾斜機構を介して、カメラのポインティング角を変動させるための可動マウントを備えた車両500に装着され得る。
追加的又は代替的に、車両500及び/又はセンサシステム502、504、506、508、510、及び/又は512は、1つ以上のレーダーシステムを含み得る。レーダーシステムは、車両500の環境内のオブジェクトの範囲、角度、及び/又は相対速度を決定するために電波を放出するように構成され得る。一例として、レーダーシステムは、電波又はマイクロ波を放出するように構成されている送信機と、それらの電波又はマイクロ波が車両500の環境とどのように相互作用するかに関する情報を受信するように構成されている受信機を含み得る。様々な実施形態では、レーダーシステムは、パルスモード及び/又は連続モードで動作するように構成され得る。
いくつかの実施形態では、車両500及び/又はセンサシステム502、504、506、508、510、及び/又は512は、1つ以上の範囲ファインダ、1つ以上の慣性センサ、1つ以上の湿度センサ、1つ以上の音響センサ(例えば、マイクロフォン、ソーナーデバイスなど)、及び/又は車両500の環境に関する情報を感知するように構成されている1つ以上の他のセンサなどの他のタイプのセンサを含み得る。本明細書の他の場所で記載される任意のセンサシステムは、車両500に結合され、及び/又は車両500の様々な動作と併せて利用され得る。一例として、ライダーシステムは、車両500の自動運転又は他のタイプのナビゲーション、計画、知覚、及び/又はマッピング動作で利用され得る。また更に、1つ以上のセンサタイプは、互いに組み合わせて利用され得る(例えば、ライダー及びレーダー、ライダー及びカメラ、カメラ及びレーダーなど)。
図5A~図5Eには図示されていないが、車両500は、無線通信システムを含み得る。無線通信システムは、車両500の外部又は内部のデバイスと通信するように構成され得る無線送信機及び受信機を含んでもよい。具体的には、無線通信システムは、例えば、車両通信システム又は車道ステーションにおいて、他の車両及び/又はコンピューティングデバイスと通信するように構成されているトランシーバを含み得る。そのような車両通信システムの例は、DSRC、無線周波数識別(radio frequency identification、RFID)、及びインテリジェント輸送システムに向けられた他の提案された通信規格を含む。
図6は、例示的な実施形態による方法を示す。方法600は、方法のいくつかのブロックを示すが、より少ない又はより多くのブロック又はステップが含まれ得ることが理解されよう。このようなシナリオでは、様々なブロック又はステップのうちの少なくともいくつかは、本明細書に提示されるものとは異なる順序で実行され得る。更に、ブロック又はステップは、追加、差し引き、転置、及び/又は繰り返され得る。方法600のブロック又はステップのいくつか又は全ては、図1、図3、及び図5を参照してそれぞれ示され、記載されるように、光学システム100、ライダー300、及び/又は車両500を動作させるように実行され得る。
ブロック602は、光検出器(例えば、光検出器120)から、光学システム(例えば、光学システム100)の視野(例えば、視野12)の光強度(例えば、光強度18)を示す情報を受信することを含む。このようなシナリオでは、光学システムは、1つ以上の光学構成要素(例えば、光学構成要素110)と、1つ以上の光学構成要素を介して光学システムの環境(例えば、環境10)の視野から光を受信するように構成されている光検出器(例えば、光検出器120)と、を含む。光学システムはまた、1つ以上の光学構成要素の画像を捕捉するように構成されている遮蔽検出カメラ(例えば、遮蔽検出カメラ130)を含む。
ブロック604は、受信された情報に基づいて、遮蔽検出カメラの少なくとも1つの動作パラメータ(例えば、動作パラメータ132)を調整することを含む。
ブロック606は、遮蔽検出カメラに、調整された少なくとも1つの動作パラメータに従って、1つ以上の光学構成要素の少なくとも1つの画像(例えば、画像134)を捕捉させることを含む。
いくつかの例では、方法600は、少なくとも1つの画像に基づいて、1つ以上の光学構成要素に関連する少なくとも1つの欠陥(例えば、欠陥112)の存在、位置、サイズ、又はタイプのうちの少なくとも1つを決定することを含み得る。このようなシナリオでは、少なくとも1つの欠陥のタイプは、引っかき傷、亀裂、汚れ、変形、遮蔽、ごみ、気泡、不純物、劣化、変色、不透明性、歪曲、又は結露のうちの少なくとも1つを含む。他のタイプの光学的欠陥及び/又は光学特性が可能であり、本開示の範囲内で企図されることが理解されるであろう。
いくつかの実施形態では、受信された情報に基づいて、遮蔽検出カメラの少なくとも1つの動作パラメータを調整することは、遮蔽検出カメラの少なくとも1つの露光セッティングを調整することを含むことができる。一例として、少なくとも1つの露光セッティングは、露光時間、開口サイズ、ゲインセッティング、又は感度を含むことができる。
様々な実施形態では、方法600はまた、受信された情報に基づいて、視野に関連する輝度マップ(例えば、輝度マップ156)を決定することを含み得る。
このようなシナリオでは、方法600は、輝度マップを、遮蔽検出カメラの視野に基づいて変換して、変換された輝度マップを提供することを更に含み得る。更に、方法600は、遮蔽検出カメラの少なくとも1つの動作パラメータを調整することが、変換された輝度マップに更に基づくことを含み得る。
図に示される特定の配置は、限定的であると見なされるべきではない。他の実施形態は、所与の図に示される各要素のより多く又は少ないことを含み得ることを理解されたい。更に、示された要素のいくつかは、組み合わされるか、又は省略され得る。また更に、示された実施形態は、図に示されていない要素を含み得る。
情報の処理を表すステップ又はブロックは、本明細書で記載される方法又は技術の特定の論理機能を実施するように構成することができる回路に対応することができる。代替的又は追加的に、情報の処理を表すステップ又はブロックは、モジュール、セグメント、又はプログラムコードの一部分(関連データを含む)に対応することができる。プログラムコードは、方法又は技術において特定の論理機能又はアクションを実装するためのプロセッサによって実行可能な1つ以上の命令を含むことができる。プログラムコード及び/又は関連データは、ディスク、ハードドライブ、又は他の記憶媒体を含む記憶デバイスなどの任意のタイプのコンピュータ可読媒体に記憶することができる。
コンピュータ可読媒体はまた、レジスタメモリ、プロセッサキャッシュ、及びランダムアクセスメモリ(random access memory、RAM)のような短期間データを記憶するコンピュータ可読媒体などの非一時的なコンピュータ可読媒体を含むことができる。コンピュータ可読媒体はまた、より長期間プログラムコード及び/又はデータを記憶する非一時的なコンピュータ可読媒体を含むことができる。したがって、コンピュータ可読媒体は、例えば、読み出し専用メモリ(read only memory、ROM)、光学又は磁気ディスク、コンパクトディスク読み取り専用メモリ(compact-disc read only memory、CD-ROM)のような、二次又は永続的な長期記憶ストレージを含み得る。コンピュータ可読媒体はまた、任意の他の揮発性又は不揮発性記憶システムとすることができる。コンピュータ可読媒体は、例えば、コンピュータ可読記憶媒体、又は有形記憶デバイスと見なすことができる。
様々な例及び実施形態が開示されてきたが、他の例及び実施形態が、当業者には明らかであろう。様々な開示された例及び実施形態は、例示の目的のためのものであり、限定することを意図するものではなく、真の範囲は、以下の特許請求の範囲によって示される。

Claims (14)

  1. 光学システムであって、
    1つ以上の光学構成要素と、
    前記1つ以上の光学構成要素を介して環境の視野から光を受信するように構成されている光検出器と、
    前記1つ以上の光学構成要素の画像を捕捉するように構成されている遮蔽検出カメラと、
    少なくとも1つのプロセッサ及びメモリを備えるコントローラと、を備え、前記少なくとも1つのプロセッサが、動作を実施するように前記メモリに記憶された命令を実行し、前記動作が、
    前記視野の光強度を示す情報を前記光検出器から受信することと、
    受信された前記情報に基づいて、前記視野に関連する輝度マップを決定することと、
    前記輝度マップを、前記遮蔽検出カメラの視野に基づいて変換して、変換された輝度マップを提供することと、
    変換された前記輝度マップに基づいて、前記遮蔽検出カメラの少なくとも1つの動作パラメータを調整することと、
    前記遮蔽検出カメラに、調整された前記少なくとも1つの動作パラメータに従って、前記1つ以上の光学構成要素の少なくとも1つの画像を捕捉させることと、を含む、光学システム。
  2. 前記動作が、
    前記少なくとも1つの画像に基づいて、前記1つ以上の光学構成要素に関連する少なくとも1つの欠陥の存在を決定することを更に含む、請求項1に記載の光学システム。
  3. 前記動作が、
    前記少なくとも1つの画像に基づいて、前記1つ以上の光学構成要素に関連する少なくとも1つの欠陥の位置を決定することを更に含む、請求項1に記載の光学システム。
  4. 前記動作が、
    前記少なくとも1つの画像に基づいて、前記1つ以上の光学構成要素に関連する少なくとも1つの欠陥のサイズを決定することを更に含む、請求項1に記載の光学システム。
  5. 前記動作が、
    前記少なくとも1つの画像に基づいて、前記1つ以上の光学構成要素に関連する少なくとも1つの欠陥のタイプを決定することを更に含む、請求項1に記載の光学システム。
  6. 前記少なくとも1つの欠陥の前記タイプが、引っかき傷、亀裂、汚れ、変形、遮蔽、ごみ、気泡、不純物、劣化、変色、不完全な透明性、歪曲、又は結露のうちの少なくとも1つを含む、請求項5に記載の光学システム。
  7. 前記遮蔽検出カメラは、前記視野内に存在する光強度のレンジに対して低いダイナミックレンジを有する、請求項1に記載の光学システム。
  8. 変換された前記輝度マップに基づいて、前記遮蔽検出カメラの少なくとも1つの動作パラメータを調整することが、前記遮蔽検出カメラの少なくとも1つの露光セッティングを調整することを含み、前記少なくとも1つの露光セッティングは、露光時間、開口サイズ、ゲインセッティング、又は感度を含む、請求項1に記載の光学システム。
  9. 前記1つ以上の光学構成要素が、光学窓、ミラー、レンズ、又は導波管のうちの少なくとも1つを含む、請求項1に記載の光学システム。
  10. 光学システムであって、
    1つ以上の光学構成要素と、
    前記1つ以上の光学構成要素を介して環境の視野に向かって放出光を放出するように構成されている光放出器デバイスと、
    前記1つ以上の光学構成要素を介して前記環境の視野から光を受信するように構成されている光検出器であって、前記受信された光の少なくとも一部分が反射光を含み、前記反射光が、前記環境との相互作用後に反射して戻ってきた前記放出光の少なくとも一部分を含む、光検出器と、
    前記1つ以上の光学構成要素の画像を捕捉するように構成されている遮蔽検出カメラと、
    少なくとも1つのプロセッサ及びメモリを備えるコントローラと、を備え、前記少なくとも1つのプロセッサが、動作を実施するように前記メモリに記憶された命令を実行し、前記動作が、
    前記視野の光強度を示す情報を前記光検出器から受信することと、
    受信された前記情報に基づいて、前記視野に関連する輝度マップを決定することと、
    前記輝度マップを、前記遮蔽検出カメラの視野に基づいて変換して、変換された輝度マップを提供することと、
    変換された前記輝度マップに基づいて、前記遮蔽検出カメラの少なくとも1つの動作パラメータを調整することと、
    前記遮蔽検出カメラに、調整された前記少なくとも1つの動作パラメータに従って、前記1つ以上の光学構成要素の少なくとも1つの画像を捕捉させることと、
    前記反射光に基づいて、前記環境内の1つ以上のオブジェクトを決定することと、を含む、光学システム。
  11. 方法であって、
    光検出器から、光学システムの視野の光強度を示す情報を受信することであって、前記光学システムが、
    1つ以上の光学構成要素と、
    前記1つ以上の光学構成要素を介して環境の視野から光を受信するように構成されている光検出器と、
    前記1つ以上の光学構成要素の画像を捕捉するように構成されている遮蔽検出カメラと、を備える、受信することと、
    受信された前記情報に基づいて、前記視野に関連する輝度マップを決定することと、
    前記輝度マップを、前記遮蔽検出カメラの視野に基づいて変換して、変換された輝度マップを提供することと、
    変換された前記輝度マップに基づいて、前記遮蔽検出カメラの少なくとも1つの動作パラメータを調整することと、
    前記遮蔽検出カメラに、調整された前記少なくとも1つの動作パラメータに従って、前記1つ以上の光学構成要素の少なくとも1つの画像を捕捉させることと、を含む、方法。
  12. 前記少なくとも1つの画像に基づいて、前記1つ以上の光学構成要素に関連する少なくとも1つの欠陥の存在、位置、サイズ、又はタイプのうちの少なくとも1つを決定することを更に含む、請求項11に記載の方法。
  13. 前記少なくとも1つの欠陥の前記タイプが、引っかき傷、亀裂、汚れ、変形、遮蔽、ごみ、気泡、不純物、劣化、変色、不透明性、歪曲、又は結露のうちの少なくとも1つを含む、請求項12に記載の方法。
  14. 変換された前記輝度マップに基づいて、前記遮蔽検出カメラの少なくとも1つの動作パラメータを調整することが、前記遮蔽検出カメラの少なくとも1つの露光セッティングを調整することを含み、前記少なくとも1つの露光セッティングは、露光時間、開口サイズ、ゲインセッティング、又は感度を含む、請求項11に記載の方法。
JP2022177777A 2021-11-15 2022-11-07 自動露光遮蔽カメラ Active JP7473616B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/454,885 US20230152429A1 (en) 2021-11-15 2021-11-15 Auto-Exposure Occlusion Camera
US17/454,885 2021-11-15

Publications (2)

Publication Number Publication Date
JP2023073214A JP2023073214A (ja) 2023-05-25
JP7473616B2 true JP7473616B2 (ja) 2024-04-23

Family

ID=84358645

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022177777A Active JP7473616B2 (ja) 2021-11-15 2022-11-07 自動露光遮蔽カメラ

Country Status (4)

Country Link
US (1) US20230152429A1 (ja)
EP (1) EP4180843A1 (ja)
JP (1) JP7473616B2 (ja)
CN (1) CN116132779A (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005195566A (ja) 2003-08-12 2005-07-21 Hitachi Ltd 画像処理システム
JP2007127595A (ja) 2005-11-07 2007-05-24 Stanley Electric Co Ltd 異物検出計測装置
JP2008068701A (ja) 2006-09-13 2008-03-27 Hitachi Ltd ヘッドランプモジュール
JP2010014494A (ja) 2008-07-02 2010-01-21 Denso Corp 異物検出装置、異物検出プログラム、異物除去装置、および車載通信装置
JP2013115625A (ja) 2011-11-29 2013-06-10 Ricoh Co Ltd 画像処理システム、画像処理システムを備えた車両、画像処理方法及びプログラム
JP2014235079A (ja) 2013-06-03 2014-12-15 株式会社リコー 付着物検出装置、移動体機器制御システム及び移動体
WO2015045504A1 (ja) 2013-09-27 2015-04-02 日立オートモティブシステムズ株式会社 物体検知装置
WO2020170680A1 (ja) 2019-02-18 2020-08-27 株式会社小糸製作所 汚れ検出システム、LiDARユニット、車両用センシングシステム及び車両
JP2021139798A (ja) 2020-03-06 2021-09-16 株式会社小糸製作所 センサユニット、および照明装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015199602A1 (en) * 2014-06-27 2015-12-30 Flatfrog Laboratories Ab Detection of surface contamination
US11137485B2 (en) * 2019-08-06 2021-10-05 Waymo Llc Window occlusion imager near focal plane
EP4066009A4 (en) * 2019-12-27 2023-11-29 Waymo LLC OPTICAL REDIRECTOR DEVICE

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005195566A (ja) 2003-08-12 2005-07-21 Hitachi Ltd 画像処理システム
JP2007127595A (ja) 2005-11-07 2007-05-24 Stanley Electric Co Ltd 異物検出計測装置
JP2008068701A (ja) 2006-09-13 2008-03-27 Hitachi Ltd ヘッドランプモジュール
JP2010014494A (ja) 2008-07-02 2010-01-21 Denso Corp 異物検出装置、異物検出プログラム、異物除去装置、および車載通信装置
JP2013115625A (ja) 2011-11-29 2013-06-10 Ricoh Co Ltd 画像処理システム、画像処理システムを備えた車両、画像処理方法及びプログラム
JP2014235079A (ja) 2013-06-03 2014-12-15 株式会社リコー 付着物検出装置、移動体機器制御システム及び移動体
WO2015045504A1 (ja) 2013-09-27 2015-04-02 日立オートモティブシステムズ株式会社 物体検知装置
WO2020170680A1 (ja) 2019-02-18 2020-08-27 株式会社小糸製作所 汚れ検出システム、LiDARユニット、車両用センシングシステム及び車両
JP2021139798A (ja) 2020-03-06 2021-09-16 株式会社小糸製作所 センサユニット、および照明装置

Also Published As

Publication number Publication date
US20230152429A1 (en) 2023-05-18
CN116132779A (zh) 2023-05-16
JP2023073214A (ja) 2023-05-25
EP4180843A1 (en) 2023-05-17

Similar Documents

Publication Publication Date Title
EP3213107B1 (en) High dynamic range imaging of environment with a high intensity reflecting/transmitting source
JP7203217B2 (ja) 構造化光照明付き飛行時間型センサ
JP4359121B2 (ja) Cmosまたはccd技術のマトリクスを有する多機能統合化視覚システム
JP4402400B2 (ja) 物体認識装置
US10356337B2 (en) Vehicle vision system with gray level transition sensitive pixels
KR102096676B1 (ko) 차량용 2차원 라이더 스캐너 및 제어장치
US6420704B1 (en) Method and system for improving camera infrared sensitivity using digital zoom
JP7321246B2 (ja) ハイブリッド飛行時間型イメージャモジュール
CN105830428A (zh) 目标检测设备、移动体设备控制系统及其程序
CN104024827A (zh) 图像处理装置、图像捕捉方法和车辆
WO2017073348A1 (ja) 赤外線撮像装置及びその制御方法、並びに車両
KR20150038032A (ko) 스테레오 게이트된 영상 시스템 및 방법
KR20210066906A (ko) 가열 요소를 갖는 전기 광학 시스템
IL290278B2 (en) Window absorption imaging device adjacent to a focal plane
KR101868293B1 (ko) 차량용 라이다 장치
JP7473616B2 (ja) 自動露光遮蔽カメラ
CN114556132A (zh) 用于红外感测的系统和方法
US20240241236A1 (en) Dynamic Alignment and Optical Stabilization of Optical Path in an Automotive-Grade LIDAR
JP6008238B2 (ja) 撮像装置、撮像装置の設置方法及び移動装置
KR102084302B1 (ko) 광각 라이더 장치 및 이의 동작 방법
US11496728B2 (en) Aperture health monitoring mode
US20230375673A1 (en) Dynamic alignment of a lidar using dedicated feedback sensing elements
JP6489155B2 (ja) 画像処理装置およびカメラ
WO2024084417A2 (en) Selective operation of a sensing unit of a lidar system
CN116648639A (zh) 环绕视图成像系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240411

R150 Certificate of patent or registration of utility model

Ref document number: 7473616

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150