JP2023522755A - 物体深度測定用照射パターン - Google Patents

物体深度測定用照射パターン Download PDF

Info

Publication number
JP2023522755A
JP2023522755A JP2022564539A JP2022564539A JP2023522755A JP 2023522755 A JP2023522755 A JP 2023522755A JP 2022564539 A JP2022564539 A JP 2022564539A JP 2022564539 A JP2022564539 A JP 2022564539A JP 2023522755 A JP2023522755 A JP 2023522755A
Authority
JP
Japan
Prior art keywords
illumination
features
feature
signal
detector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022564539A
Other languages
English (en)
Other versions
JPWO2021214123A5 (ja
Inventor
シンドラー,パトリク
シレン,ペーター
ライン,ベンヤミン
レンナルツ,クリスティアン
ディーセルベルク,ラルス
ムハンメド ハメド,ハミド
Original Assignee
トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング filed Critical トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング
Publication of JP2023522755A publication Critical patent/JP2023522755A/ja
Publication of JPWO2021214123A5 publication Critical patent/JPWO2021214123A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/22Measuring arrangements characterised by the use of optical techniques for measuring depth
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • G01S17/48Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

少なくとも1つの物体(112)の位置を決定するための検出器(110)が開示される。前記検出器(110)は:- 少なくとも1つの照射パターン(124)で物体(112)を照射するための少なくとも1つのプロジェクタ(122)であって、前記照射パターン(124)が複数の照射特徴(125)を含み、前記照射特徴(125)は空間的に変調されている、少なくとも1つのプロジェクタ(122)と;- 光センサ(118)のマトリックス(116)を有する少なくとも1つのセンサ要素(114)であって、前記光センサ(118)はそれぞれ感光エリア(120)を有し、各光センサ(118)は、前記物体から前記検出器(110)に伝播する反射光ビームによるそのそれぞれの感光エリア(120)の照射に応答して少なくとも1つのセンサ信号を生成するように設計され、前記センサ要素(114)は、少なくとも1つの反射画像(142)を決定するように構成されている、少なくとも1つのセンサ要素(114)と;- 少なくとも1つの評価装置(144)であって、前記評価装置(144)は、前記反射画像(142)の少なくとも1つの反射特徴を選択するように構成され、前記評価装置(144)は、前記センサ信号からの結合信号Qを評価することによって光子比からの深さ技術を用いることにより、前記反射画像(142)の前記選択された反射特徴の少なくとも1つの縦方向座標zを決定するように構成されている、少なくとも1つの評価装置と、を含み、前記照射特徴(125)は、パターン化された照射特徴(125)であり、前記パターン化された照射特徴(125)の各々が複数のサブ特徴(141)を含み、及び/又は、前記照射特徴(125)が行で等距離に周期的パターンで配置され、前記照射特徴(125)の行の各々がオフセットを有し、隣接する列の前記オフセットは異なっている。【選択図】図2A

Description

本発明は、検出器、及び少なくとも1つの物体の位置を決定するための方法に関する。本発明はさらに、検出器装置の様々な使用に関する。本発明による装置、方法及び使用は、具体的には、例えば、日常生活、ゲーム、交通技術、生産技術、セキュリティ技術、芸術のためのデジタル写真又はビデオ写真などの写真、文書化又は技術目的、医療技術又は科学の様々な分野で採用され得る。さらに、本発明は、具体的には、例えば、建築、計測、考古学、芸術、医学、工学、又は製造の分野において、物体又はシーンの奥行きプロファイルを生成するためなど、1つ以上の物体をスキャンするため、及び/又はシーンをスキャンするために使用されることができる。しかし、他の用途も可能である。
光子比からの深さ(DPR)技術は、バイアス光源又は反射性測定物体によって複数の反射を引き起こす環境の場合でさえも、減少した計算要求、特に減少した処理能力で信頼性のある距離測定を可能にする。例えば、WO2018/091640は、少なくとも1つの物体の位置を決定するための検出器を記載している。該検出器は、少なくとも1つの転送装置であって、物体から検出器に伝播する少なくとも1つの入射光ビームに応答して少なくとも1つの焦点距離を有する転送装置と;少なくとも2つの光センサであって、各光センサが少なくとも1つの感光エリアを有し、各光センサは、光ビームによるそのそれぞれの感光エリアの照射に応答して少なくとも1つのセンサ信号を生成するように設計された、少なくとも2つの光センサと、センサ信号からの商信号Qを評価することによって物体の少なくとも1つの縦方向座標zを決定するように構成した少なくとも1つ評価装置とを備えている。検出器は、物体平面における物体サイズとは無関係に、少なくとも1つの測定範囲における物体の縦方向座標zを決定するように適合されている。
しかし、DPR技術の成果にもかかわらず、技術的な課題が残っている。
DPR技術を使用する距離決定のために、モノカメラを有するシステムが、シーンにレーザ点パターン又はグリッドを投影するプロジェクタと組み合わされて使用され得る。各ポイントが評価され、そこから距離が決定される。DPR技術で決定される距離は、レーザ点ごとの距離推定を提供することができ、また、カメラとプロジェクタの既知の位置に関して三角測量法によって精緻化されることができる。三角測量を計算するには、いわゆる対応問題を解決する必要がある。対応問題は、検出されたレーザ点の割り当てと、投影されたパターン内の当該ポイントの位置を記述するものである。この割り当てがわかっていれば、三角測量によって距離を決定することができる。しかし、DPR評価は、レーザ点パターンの高い点密度に対して対応問題が明確に解決することができないほどノイズが多いかもしれない。具体的には、対応問題の可解性は、エピポーラ線に沿ったレーザ点の距離に依存する可能性がある。
DPR技術のさらなる困難な問題は、画像化されたシーン内の反射性物体が未知な場合、反射ビームスポットの面積、形状、及び2D強度プロファイルが混乱して変化することである。DPRでは、個々のレーザビームにさらされたときの反射する物体の反応を分析する。これにより、反射したレーザスポットの面積、形状及び2D強度プロファイルなどの特性は、主に反射体に依存する。レーザスポットのこれらの特性によって提供される情報を分析すると、このスポットを反射した材料の種類を識別するのに役立ち、その結果、反射物体と画像センサ又はレーザビームプロジェクタとの距離を推定する際のより高い精度を達成することが可能になる。しかし、画像センサ又はレーザビームプロジェクタから様々な距離にある様々な材料は、ほぼ同一のレーザスポット特性の組み合わせを生成する可能性があり、その結果、反射している物体の材料を識別すること、及びプロジェクタ又はカメラまでの距離を推定することが困難になる。
現在のDPR技術の他の困難な問題は、反射面の方向を推定することである。
さらなるこのような困難な問題は、レーザスポットの一部がこの鋭いエッジの片側で反射し、別の部分がエッジの反対側で反射する時などの、鋭いエッジで反射されるレーザスポットの分析の困難さである。
WO2018/091640
したがって、本発明の目的は、既知の装置及び方法の上述の技術的課題に対する装置及び方法を提供することである。具体的には、本発明の目的は、好ましくは低い技術的努力と、技術的資源及びコストの観点から低い要求とによって、改善された精度で、空間内の物体の位置を決定することができる装置及びDPR技術を使用する方法を提供することである。
この課題は、独立特許請求項の特徴を有する本発明によって解決される。個別に又は組み合わせて実現することができる本発明の有利な発展形態は、従属請求項及び/又は以下の明細書及び詳細な実施形態によって提示される。
本発明の第1の態様では、少なくとも1つの物体の位置を決定するための検出器が開示される。
本明細書で使用される場合、「物体」という用語は、任意の物体、特に表面又は領域を指し、該表面又は領域は、物体に入射する少なくとも1つの光ビームを少なくとも部分的に反射するように構成されている。光ビームは、物体を照射するプロジェクタから発生してよく、該光ビームは物体によって反射又は散乱される。
本明細書で使用される場合、「位置」という用語は、空間での物体及び/又は物体の少なくとも一部の位置及び/又は方向に関する少なくとも1つの情報項目を指す。したがって、該少なくとも1つの情報項目は、物体の少なくとも1つの点と少なくとも1つの検出器との間の少なくとも1つの距離を指すことができる。距離は、縦方向座標であってもよく、又は物体の点の縦方向座標を決定するのに寄与するものであってよい。追加的に又は代替的に、物体及び/又は物体の少なくとも一部の位置及び/又は方向に関する1つ以上の他の情報項目が決定されることができる。一例として、物体及び/又は物体の少なくとも一部の、少なくとも1つの横方向座標がさらに決定されることができる。したがって、物体の位置は、物体及び/又は物体の少なくとも一部の縦方向座標を指すことができる。追加的に又は代替的に、物体の位置は、物体及び/又は物体の少なくとも一部の少なくとも1つの横方向座標を指すことができる。追加的に又は代替的に、物体の位置は、空間における物体の方向を示す、物体の少なくとも1つの方向情報を指すことができる。
検出器は:
- 少なくとも1つの周期的な照射パターンで物体を照射するための少なくとも1つのプロジェクタであって、前記照射パターンは複数の照射特徴を含み、前記照射特徴が空間的に変調されている、少なくとも1つのプロジェクタと;
- 光センサのマトリックスを有する少なくとも1つのセンサ要素であって、前記光センサはそれぞれ感光エリアを有し、各光センサは、前記物体から前記検出器に伝播する反射光ビームによるそのそれぞれの感光エリアの照射に応答して少なくとも1つのセンサ信号を生成するように設計され、前記センサ要素は、少なくとも1つの反射画像を決定するように構成されている、少なくとも1つのセンサ要素と;
- 少なくとも1つの評価装置であって、前記評価装置は、前記反射画像の少なくとも1つの反射特徴を選択するように構成され、前記評価装置は、前記センサ信号からの結合信号Qを評価することによって光子比からの深さ技術を用いることにより、前記反射画像の前記選択された反射特徴の少なくとも1つの縦方向座標zを決定するように構成されている、少なくとも1つの評価装置と、
を含み、
前記照射特徴はパターン化された照射特徴であり、前記パターン化された照射特徴の各々は複数のサブ特徴を含み、及び/又は、前記照射特徴が行で等距離に周期的パターンで配置され、前記照射特徴の行の各々はオフセットを有し、隣接する列の前記オフセットは異なっている。
本明細書で使用される場合、光プロジェクタとも呼ばれる「プロジェクタ」という用語は、少なくとも1つの照射パターンを物体に、具体的には物体の表面に投影するように構成された光学装置を指す。プロジェクタは、少なくとも1つの光ビームを生成するように構成された、照射装置又は照射源とも呼ばれる少なくとも1つの光源を備えることができる。プロジェクタは、少なくとも1つのパターンを生成し、物体を含む少なくとも1つの表面又はシーンに向けてパターンを投影するように構成され得る。プロジェクタは、照射パターンが、プロジェクタから、特にプロジェクタのハウジングの少なくとも1つの開口部から、物体に向かって伝播するように構成され得る。プロジェクタは、点群を生成及び/又は投影するように構成されてよく、例えば、プロジェクタは、少なくとも1つのデジタル光処理(DLP)プロジェクタ、少なくとも1つのLCoSプロジェクタ、少なくとも1つのレーザ源、少なくとも1つのレーザ源のアレイ;少なくとも1つの発光ダイオード;少なくとも1つの発光ダイオードのアレイを備えていてよい。さらに、追加の照射パターンが、少なくとも1つの周囲光源によって生成されることができる。
本明細書で使用される場合、「パターン」という用語は、少なくとも1つの任意の形状特徴を含む任意の既知の又は事前に決定された配置を指す。パターンは、点又は記号などの少なくとも1つの特徴を含むことができる。パターンは、複数の特徴を含み得る。パターンは、周期的又は非周期的な特徴の配置を含み得る。本明細書で使用される場合、「照射パターン」という用語は、物体を照射するパターンを指す。本明細書で使用される場合、「照射特徴」という用語は、照射パターンの少なくとも1つの任意形状の特徴を指す。照射パターンは、以下:少なくとも1つの点パターン、特に擬似ランダム点パターン;ランダム点パターン又は準ランダムパターン;少なくとも1つのソボル(Sobol)パターン;少なくとも1つの準周期的パターン;少なくとも1つの既知の特徴を含む少なくとも1つのパターン;少なくとも1つの規則的なパターン;少なくとも1つの三角形パターン;少なくとも1つの六角形パターン;少なくとも1つの長方形パターン;凸状の均一なタイル状体(tiling)を含む少なくとも1つのパターン;少なくとも1つの線を含む少なくとも1つの線パターン;平行線又は交差線などの少なくとも2つの線を含む少なくとも1つの線パターン、からなる群から選択される少なくとも1つのパターンを含むことができる。例えば、プロジェクタは、点群を生成及び/又は投影するように構成され得る。例えば、プロジェクタは、照射パターンが複数の点特徴を含み得るように、点群を生成するように構成され得る。
プロジェクタは、それぞれが複数の照射特徴を含む複数の照射パターンを生成するように構成され得る。プロジェクタは、それぞれ複数の照射特徴を含む2つ、3つ、4つ、5つ又はそれ以上の照射パターンを投影するように構成されてよい。照射パターンは、具体的には、照射特徴の数、照射特徴の配置、照射特徴の形状、照射特徴の波長、照射特徴の強度、開口角などの1つ以上において異なってよい。
プロジェクタは、レーザ源によって生成された少なくとも1つの光ビームから照射パターンを生成するように構成された少なくとも1つの転送装置、特に少なくとも1つの回折光学要素を備えることができる。「転送システム」とも呼ばれる「転送装置」という用語は、一般に、光ビームのビームパラメータ、光ビームの幅、又は光ビームの方向の1つ以上を変更することによってなど、光ビームを変更するように構成された1つ以上の光学要素を指し得る。転送装置は、具体的には:少なくとも1つのレンズ、例えば、少なくとも1つの焦点調節可能レンズ、少なくとも1つの非球面レンズ、少なくとも1つの球面レンズ、少なくとも1つのフレネルレンズからなる群から選択される少なくとも1つのレンズ;少なくとも1つの回折光学要素;少なくとも1つの凹面鏡;少なくとも1つのビーム偏向要素、好ましくは少なくとも1つのミラー;少なくとも1つのビーム分割要素、好ましくはビーム分割キューブ又はビーム分割ミラーのうちの少なくとも1つ;少なくとも1つのマルチレンズシステム、のうちの1つ以上を含み得る。
転送装置は、光軸を有していてよい。具体的には、検出器と転送装置は、共通の光軸を有する。本明細書で使用される場合、「転送装置の光軸」という用語は、一般に、レンズ又はレンズシステムの鏡面対称又は回転対称の軸を指す。検出器の光軸は、検出器の光学構成の対称の線であってよい。検出器は、少なくとも1つの転送装置、好ましくは、少なくとも1つのレンズを有する少なくとも1つの転送システムを有する。転送システムは、一例として、ビーム経路内の転送システムの要素が光軸に関して回転対称に配置されている少なくとも1つのビーム経路を含んでよい。なお、以下でさらに詳細に概説するように、ビーム経路内に配置された1つ以上の光学要素は、光軸に対して中心ズレされているか、又は傾斜していてもよい。しかし、この場合、光軸は、ビーム経路内の光学要素の中心を相互接続することによってなど、例えば、レンズの中心を相互接続することなどによって、順次定義されてよく、この文脈では、光センサは光学要素としてカウントされない。光軸は、一般にビーム経路を示してよい。そこでは、検出器は、光ビームがそれに沿って物体から光センサに進む単一のビーム経路を有してもよいし、複数のビーム経路を有してもよい。一例として、単一のビーム経路が与えられてもよいし、又はビーム経路が2つ以上の部分ビーム経路に分割されてもよい。後者の場合、各部分ビーム経路は、それ自身の光軸を有してよい。光センサは、単一かつ同一のビーム経路又は部分ビーム経路に配置されてよい。代替的に、しかし、光センサはまた、異なる部分ビーム経路に配置されてよい。
転送装置は、縦方向座標lが光軸に沿った座標であり、dが光軸からの空間的オフセットである座標系を構成してよい。座標系は、転送装置の光軸がz軸を形成し、z軸からの距離及び極角度が追加の座標として使用され得る極座標系であり得る。z軸に平行又は反平行な方向は、縦方向と考えられることができ、z軸に沿った座標は縦方向座標zと考えられることができる。z軸に垂直な任意な方向は、横方向と考えられることができ、極座標及び/又は極角度は横方向座標と考えられることができる。
本明細書で使用される場合、「ビーム」という用語は、一般に、光線の集まりを指す。以下では、「光線」及び「ビーム」という用語は同義語として使用される。本明細書でさらに使用される場合、「光ビーム」という用語は、光ビームが拡張角又は広がり角を有する可能性を含めて、一般に光の量、具体的には、本質的に同じ方向に進む光の量を指す。光パルスは、少なくとも1つのビームプロファイルを含んでいてよい。光ビームは、空間的な広がりを有していてよい。具体的には、光ビームは、非ガウシアンビームプロファイルを有していてよい。ビームプロファイルは、台形ビームプロファイル;三角形ビームプロファイル;円錐形ビームプロファイルからなる群から選択されてよい。台形ビームプロファイルは、プラトー領域と少なくとも1つのエッジ領域とを有することができる。光ビームは、ガウシアン光ビーム又はガウシアン光ビームの線形結合であってよい。本明細書で使用される場合、「ビームプロファイル」という用語は、特に光ビームの伝播に垂直な少なくとも1つの平面における、光ビームの強度の空間分布に関する。ビームプロファイルは、光ビームの横方向の強度プロファイルであってよい。ビームプロファイルは、光ビームの断面であってよい。ビームプロファイルは、台形ビームプロファイル;三角形ビームプロファイル;円錐形ビームプロファイル及びガウスビームプロファイルの線形結合からなる群から選択されてよい。しかしながら、他の実施形態も可能である。プロジェクタは、ビームプロファイル、特にビームプロファイルの形状を調整し、定義し及び決定することのうちの1つ以上を行うように構成され得る少なくとも1つの転送装置を備え得る。
照射特徴は、空間的に変調されている。本明細書で使用される場合、「空間的に変調された」という用語は、既知の規則的なパターンと比較して、照射特徴又は照射特徴の一部の特定の空間的配置及び追加の空間的配置を指し得る。照射パターン、特に照射特徴の空間的配置は、センサ要素の視野に関して設計され得る。具体的には、照射特徴は、パターン化された照射特徴であり、該パターン化された照射特徴の各々は、複数のサブ特徴を含み、及び/又は、該照射特徴は、行で等距離に周期的パターンで配置され、照射特徴の行の各々は、オフセットを有し、隣接する行のオフセットは異なる。
照射特徴は、パターン化された照射特徴である。パターン化された照射特徴の各々は、複数のサブ特徴を含む。本明細書で使用される場合、「パターン化された照射特徴」という用語は、サブ特徴と呼ばれる複数の要素を含む照射特徴を指し得る。同一の照射特徴に属するサブ特徴は、同一の形状であってよい。例えば、照射特徴は、それぞれが中心と半径を有する複数の円を含むことができる。同一の照射特徴に属するサブ特徴は、照射パターンにおける異なる空間位置に配置されてよい。具体的には、サブ特徴の中心は、照射パターンにおいて異なる空間位置に配置される。サブ特徴の拡張範囲は、それらが明確に区別できるように選択されてよい。例えば、パターン化された照射特徴は、多数のより小さい光スポット、又は特定のパターンを形成するように密集されたいくつかのより小さい光スポットのクラスタを含むパターン化された光スポットであり得るか、又はそれを含み得る。本明細書で使用される場合、「光スポット」は、一般に、光ビームによる物体への可視又は検出可能な円形又は非円形の照射を指す。これらのパターン化された照射特徴の45度、90度、又は180度回転されたような回転バージョンも使用されることができる。選択されたパターン化された照射特徴は、照射パターンを形成するために、例えば1000~2000回複製されることができる。言い換えれば、投影された照射パターンは、選択されたパターン化された照射特徴の例えば1000~2000回のコピーを含むことができる。
例えば、プロジェクタは、レーザビームとも示される少なくとも1つの光ビームを生成するように構成された単一の光源、特に単一のレーザ光源を備えることができる。プロジェクタは、パターン化された照射特徴を含む照射パターンを生成する単一のレーザ源によって生成されたレーザビームを回折及び複製するための少なくとも1つの転送装置を備えることができる。特に、プロジェクタは、光ビームを回折及び複製するための少なくとも1つの回折光学要素を備える。回折光学要素は、ビーム成形及び/又はビーム分割のために構成され得る。本明細書で使用する場合、「複製する」という用語は、1つの光ビームから複数の光ビームを生成すること、特に光ビームを増殖することを指し得る。
追加的に又は代替的に、例えば、プロジェクタは、特定のパターンに従って、光ビームのクラスタを生成するように構成された密集された光源、特にレーザ光源の少なくとも1つのアレイを備えることができる。本明細書で使用される場合、「密集された」光源という用語は、クラスタに配置された複数の光源を指し得る。光源の密度は、個々の光源のハウジングの拡張範囲及び光ビームの識別可能性に依存し得る。プロジェクタは、パターン化された照射特徴を含む照射パターンを生成する光ビームのクラスタを回折及び複製するための少なくとも1つの転送装置を備えることができる。
追加的に又は代替的に、照射特徴は、行で等距離に周期的なパターンで配置される。照射特徴の行の各々は、オフセットを有し、隣接する行のオフセットは、異なる。本明細書で使用される場合、「オフセット」という用語は、隣接する行の間の空間的距離を指し得る。センサ要素及びプロジェクタは、行がエピポーラ線に平行になるように位置決めされることができる。照射パターンは、2つの隣接する照射特徴がエピポーラ線上で適切な距離を有するように選択されることができる。2つの照射特徴の間の距離は、光子比からの深さ技術によってエピポーラ線上の2つの点を明確に割り当てることが可能であるような距離であってもよい。適切な距離は、光子比からの深さ技術の距離誤差、及び/又は、センサ要素とプロジェクタのベースラインからの距離誤差に依存し得る。
照射特徴は、以下のように配置されてよい。照射パターンは、照射特徴が距離dで等距離位置に配置される多数の行を含むことができる。行はエピポーラ線に対して直交する。行の間の距離は一定であってよい。異なるオフセットは、同じ方向の行ごとに適用され得る。オフセットにより、行の照射特徴がシフトされるという結果を生じ得る。オフセットδは、
Figure 2023522755000002
であってよく、式中a及びbは、照射パターンが周期的なパターンであるように正の整数である。例えば、δは、1/3又は2/5であり得る。照射特徴のオフセット及び密度は、対応問題を解くためのロバスト性を高めることができる。
本明細書で使用される場合、「センサ要素」という用語は、一般に、少なくとも1つのパラメータを感知するように構成された装置又は複数の装置の組み合わせを指す。この場合、パラメータは、具体的には光パラメータであってよく、センサ要素は、具体的には光センサ要素であってよい。センサ要素は、一体の単一装置として、又はいくつかの装置の組み合わせとして形成され得る。本明細書でさらに使用される場合、「マトリックス」という用語は、一般に、複数要素の所定の幾何学的順序での配置を指す。以下でさらに詳細に概説されるように、マトリックスは、具体的には、1つ以上の行(rows)及び1つ以上の列(columns)を有する長方形のマトリックスであってもよく、又はそれを含んでいてもよい。行と列は、具体的には長方形方式に配置されてよい。しかしながら、非長方形の配置など、他の配置も可能であることが説明される。一例として、円形の配置も可能であり、そこでは要素は中心点のまわりに同心円又は楕円に配置される。例えば、マトリックスは、ピクセルの単一の行であってよい。他の配置も可能である。
マトリックスの光センサは、具体的には、サイズ、感度、及び他の光学的、電気的、機械的特性のうちの1つ以上で等しくてよい。マトリックスの全ての光センサの感光エリアは、具体的には、共通の平面内に配置されてよく、該共通平面は、好ましくは、物体から検出器に伝播する光ビームが該共通平面上に光スポットを生成するように、物体に面してよい。
本明細書で使用される場合、「光センサ」は、一般に、光ビームの検知のための、例えば少なくとも1つの光ビームによって生成される照射及び/又は光スポットの検知のための感光装置を指す。本明細書で使用される場合、「感光エリア」は、一般的に、少なくとも1つの光ビームによって外部から照射され、該照射に応答して少なくとも1つのセンサ信号を生成する、光センサのエリアを指す。感光エリアは、具体的には、それぞれの光センサの表面に位置することができる。しかしながら、他の実施形態も可能である。本明細書で使用される場合、「それぞれが少なくとも1つの感光エリアを有する光センサ」という用語は、それぞれが1つの感光エリアを有する複数の単一の光センサを備える構成と、複数の感光エリアを有する1つの結合された光センサを備える構成とを指す。したがって、「光センサ」という用語は、さらに、1つの出力信号を生成するように構成された感光装置を指すが、本明細書では、2つ以上の出力信号を生成するように構成された感光装置、例えば少なくとも1つのCCD及び/又はCMOS装置を、2つ以上の光センサと呼ぶ。以下にさらに詳細に概説されるように、各光センサは、例えば、照射され得る正確に1つの感光エリアを提供するなどによって、正確に1つの感光エリアがそれぞれの光センサ内に存在し、該感光エリアの照射に応答して光センサ全体について正確に1つの均一なセンサ信号を生成するように、具現化されてよい。したがって、各光センサは、単一エリア光センサであってよい。単一エリア光センサの使用は、しかしながら、検出器の構成を特に簡単かつ効率的にする。したがって、一例として、それぞれが正確に1つの感光エリアを有する市販の光センサ、例えば、市販のシリコンフォトダイオードなどが、構成において使用されてよい。しかしながら、他の実施形態も可能である。したがって、一例として、本発明の文脈において2つ、3つ、4つ、又は4つ以上の光センサとみなされる、2つ、3つ、4つ、又は4つ以上の感光エリアを含む光学装置が使用されてよい。上で概説されたように、センサ要素は、光センサのマトリックスを含む。したがって、一例として、光センサは、ピクセル化光学装置の一部であってもよく、又はそれを構成していてもよい。一例として、光センサは、ピクセルのマトリックスを有し、各ピクセルが感光エリアを形成する少なくとも1つのCCD及び/又はCMOS装置の一部であってもよく、又はそれを構成してもよい。
上記で概説されたように、光センサは、具体的には、光検出器、好ましくは無機光検出器、より好ましくは無機半導体光検出器、最も好ましくはシリコン光検出器であってもよいし、又はそれらを含んでいてもよい。具体的には、光センサは、赤外スペクトル範囲において感度を有してよい。マトリックスの光センサの全て、又はマトリックスの光センサの少なくとも一群は、具体的には同一であってよい。マトリックスの同一の光センサの群は、具体的には、異なるスペクトル範囲について提供されてもよく、又は全ての光センサが、スペクトル感度に関して同一であってよい。さらに、光センサは、サイズ及び/又はそれらの電子的又は光電子的特性に関して同一であってよい。
具体的には、光センサは、赤外スペクトル範囲、好ましくは780nmから3.0マイクロメートルの範囲で感度を有する無機フォトダイオードであってよく、又はそれらを含んでいてもよい。具体的には、光センサは、シリコンフォトダイオードが適用可能な特に700nm~1000nmの範囲の近赤外領域の部分で感度を有してよい。光センサに使用され得る赤外光センサは、例えば、ドイツ,D-67056 Ludwigshafen am RheinのtrinamiX GmbHのHertzstueck(登録商標)というブランド名で市販されている赤外光センサなど、市販の赤外光センサであってよい。したがって、一例として、光センサは、固有の光起電型の少なくとも1つの光センサ、より好ましくは、Geフォトダイオード、InGaAsフォトダイオード、拡張InGaAsフォトダイオード、InAsフォトダイオード、InSbフォトダイオード、HgCdTeフォトダイオード、からなる群から選択される少なくとも1つの半導体フォトダイオードを含み得る。追加的に又は代替的に、光センサは、外因性光起電型の少なくとも1つの光センサ、より好ましくはGe:Auフォトダイオード、Ge:Hgフォトダイオード、Ge:Cuフォトダイオード、Ge:Znフォトダイオード、Si:Gaフォトダイオード、Si:Asフォトダイオードからなる群から選択される少なくとも1つの半導体フォトダイオードを含み得る。追加的に又は代替的に、光センサは、少なくとも1つのボロメータ、好ましくはVOボロメータ及びアモルファスSiボロメータからなる群から選択されるボロメータを含み得る。
マトリックスは、独立した光センサで構成されてよい。したがって、マトリックスは、無機フォトダイオードから構成されていてもよい。しかしながら、代替的に、市販のマトリックス、例えば、CCD検出器チップなどのCCD検出器、及び/又はCMOS検出器チップなどのCMOS検出器の1つ以上が使用されてもよい。
したがって、一般に、検出器の光センサは、センサアレイを形成してよく、又は上述のマトリックスなどのセンサアレイの一部であってよい。したがって、一例として、検出器は、例えばm行及びn列を有する長方形アレイなどの光センサアレイを有することができ、ここでm、nは独立して正の整数である。好ましくは、1を超える列及び1を超える行が与えられ、すなわち、n>1、m>1である。したがって、一例として、nは2~16以上であり得、mは2~16以上であり得る。好ましくは、行数と列数の比は1に近い。一例として、n及びmは、m/n=1:1、4:3、16:9又は類似のものを選択することなどにより、0.3≦m/n≦3となるように選択され得る。一例として、アレイは、m=2、n=2又はm=3、n=3などを選択することなどにより、等しい数の行及び列を有する正方形アレイであってよい。
マトリックスは、具体的には、少なくとも1行、好ましくは複数行及び複数列を有する長方形のマトリックスであってよい。一例として、行及び列は、実質的に垂直な方向に配向されてよく、「実質的に垂直」という用語に関しては、上記の定義を参照することができる。したがって、一例として、20°より小さい、具体的には10°より小さい、又は5°より小さい許容誤差さえ許容され得る。広い視野を提供するために、マトリックスは、具体的には、少なくとも10行、好ましくは少なくとも50行、より好ましくは少なくとも100行を有することができる。同様に、マトリックスは、少なくとも10列、好ましくは少なくとも50列、より好ましくは少なくとも100列を有することができる。マトリックスは、少なくとも50個の光センサ、好ましくは少なくとも100個の光センサ、より好ましくは少なくとも500個の光センサを含むことができる。マトリックスは、数メガピクセルの範囲の数のピクセルを含むことができる。しかしながら、他の実施形態も可能である。したがって、軸回転対称性が期待される構成では、ピクセルとも呼ばれ得る光センサの円形配置又は同心配置のマトリックスが好ましいことがある。
好ましくは、センサ要素は、検出器の光軸に対して実質的に垂直に方向付けされ得る。ここでも、「実質的に垂直」という用語に関して、上述の定義及びの許容誤差を参照することができる。光軸は、直線の光軸であってよいし、又は、1つ以上の偏向要素を使用することによって、及び/又は1つ以上のビーム分割器を使用することによってなど、屈折又は分割さえされてよく、後者の場合、実質的に垂直な方向付けは、光学構成のそれぞれの分岐又はビーム経路の局所的光軸を指し得る。
反射光ビームは、物体から検出器に向かって伝播してよい。プロジェクタは、照射パターンで物体を照射し、光は物体によって反射又は散乱され、それによって、少なくとも部分的に反射光ビームとして検出器の方に向けられる。
反射光ビームは、具体的には、センサ要素が光ビーム内に完全に位置されるように、マトリックスよりも大きい光ビームの幅によってセンサ要素を完全に照射してよい。反対に、好ましくは、反射光ビームは、光スポットがマトリックス内に完全に位置するように、マトリックス全体の上にマトリックスよりも小さい光スポットを生成してもよい。この状況は、光学分野の当業者によって、以下でもさらに詳細に概説するように適切な転送装置を使用するなど、光ビームに集束又はデフォーカス効果を有する1つ以上の適切なレンズ又は要素を選択することによって、容易に調整されることができる。
本明細書でさらに使用される場合、「センサ信号」は、一般に、光ビームによる照射に応答して光センサによって生成される信号を指す。具体的には、センサ信号は、少なくとも1つのアナログ電子信号及び/又は少なくとも1つのデジタル電子信号などの少なくとも1つの電子信号であり得るか、又はそれらを含み得る。より具体的には、センサ信号は、少なくとも1つの電圧信号及び/又は少なくとも1つの電流信号であり得るか、又はそれらを含み得る。より具体的には、センサ信号は、少なくとも1つの光電流を含み得る。さらに、未処理のセンサ信号が使用されるか、又は、検出器、光センサ、もしくはその他の要素が、センサ信号を処理、又はフィルタリングなどによる前処理などによりセンサ信号を前処理し、それによってセンサ信号としても使用され得る二次センサ信号を生成するように構成され得る。
感光エリアは、具体的には、物体に向かって方向付けられてよい。本明細書で使用される場合、「物体に向かって方向付けられる」という用語は、一般に、感光エリアのそれぞれの表面が物体から完全に又は部分的に見える状態を指す。具体的には、物体の少なくとも1つの点とそれぞれの感光エリアの少なくとも1つの点との間の少なくとも1つの相互接続線は、感光エリアの表面要素と、0°と異なる角度、例えば、20°から90°の範囲の角度、好ましくは80°から90°の範囲の角度、例えば90°を形成することができる。したがって、物体が光軸上又は光軸の近くにある場合、物体から検出器に向かって伝播する光ビームは、実質的に光軸に平行であり得る。本明細書で使用される場合、「実質的に垂直」という用語は、例えば±20°以下の許容誤差、好ましくは±10°以下の許容誤差、より好ましくは±5°以下の許容誤差を有する垂直方向の状態を指す。同様に、「実質的に平行」という用語は、例えば±20°以下、好ましくは±10°以下、より好ましくは±5°以下の許容誤差を有する平行方向の状態を指す。
光センサは、紫外、可視、又は赤外スペクトル範囲の1つ以上で感度を有してよい。具体的には、光センサは、500nm~780nm、最も好ましくは650nm~750nm、又は690nm~700nmの可視スペクトル範囲で感度を有してよい。具体的には、光センサは近赤外領域で感度を有してよい。具体的には、光センサは、シリコンフォトダイオードが適用可能な特に700nm~1000nmの範囲の近赤外領域の部分で感度を有してよい。光センサは、具体的には、赤外スペクトル範囲、具体的には780nm~3.0マイクロメートルの範囲で感度を有してよい。例えば、光センサは、それぞれ独立に、フォトダイオード、フォトセル、光導電体、フォトトランジスタ又はそれらの任意の組み合わせからなる群から選択される少なくとも1つの要素であってもよく、又はそれらを含んでいてもよい。例えば、光センサは、CCDセンサ要素、CMOSセンサ要素、フォトダイオード、フォトセル、光導電体、フォトトランジスタ又はそれらの任意の組み合わせからなる群から選択される少なくとも1つの要素であってもよく、又はそれを含んでもよい。他の任意のタイプの感光要素を使用してもよい。以下でさらに詳細に概説されるように、感光要素は、一般に、完全に又は部分的に無機材料で作製されることができ、及び/又は、完全に又は部分的に有機材料で作製されることができる。最も一般的には、以下でさらに詳細に概説されるように、市販のフォトダイオード、例えば、無機半導体フォトダイオードなどの1つ以上のフォトダイオードが使用され得る。
本明細書で使用される場合、「反射画像」という用語は、少なくとも1つの反射特徴を含む光センサによって決定される画像を指す。本明細書で使用される場合、「反射特徴」という用語は、例えば少なくとも1つの照射特徴による照射に応答して物体によって生成される画像平面内の特徴を指す。反射画像は、少なくとも1つの反射特徴を含む少なくとも1つの反射パターンを含んでいてよい。本明細書で使用される場合、「少なくとも1つの反射画像を決定する」という用語は、反射画像の画像化、記録、及び生成のうちの1つ以上を指す。
センサ要素は、少なくとも1つの反射パターンを決定するように構成されてよい。本明細書で使用される場合、「反射パターン」という用語は、物体の表面での光の反射又は散乱によって生成される応答パターン、特に照射パターンによる照射に応答して物体によって生成される応答パターンを指す。反射パターンは、照射パターンの少なくとも1つの特徴に対応する少なくとも1つの特徴を含むことができる。反射パターンは、照射パターンと比較して、少なくとも1つの歪んだパターンを含むことができ、その歪みは、物体の表面特性などの物体の距離に依存する。評価装置は、上記及び以下でより詳細に説明されるように、反射パターンの少なくとも1つの特徴を選択し、センサ信号からの結合信号Qを評価することによって、反射パターンの選択された特徴の縦方向領域を決定するように構成されてよい。
本明細書でさらに使用される場合、「評価装置」という用語は、一般に、好ましくは少なくとも1つのデータ処理装置を使用することにより、より好ましくは、少なくとも1つのプロセッサ及び/又は少なくとも1つの特定用途向け集積回路を使用することにより、指定された操作を実行するように構成された任意の装置を指す。したがって、一例として、少なくとも1つの評価装置は、多数のコンピュータコマンドを含むそこに保存されたソフトウェアコードを有する少なくとも1つのデータ処理装置を含むことができる。評価装置は、指定された操作の1つ以上を実行するための1つ以上のハードウェア要素を提供してよいし、及び/又は、指定された操作の1つ以上を実行するための、そこで実行されるソフトウェアを有する1つ以上のプロセッサを提供してよい。
物体の少なくとも1つの縦方向座標を決定することを含む上述の操作は、少なくとも1つの評価装置によって実行される。したがって、一例として、以下に概説されるような関係の1つ以上は、例えば1つ以上のルックアップテーブルを実装することにより、ソフトウェア及び/又はハードウェアに実装されてよい。したがって、一例として、評価装置は、物体の少なくとも1つの縦方向座標を決定するために、上述の評価を実行するように構成された1つ以上のコンピュータ、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、又はフィールドプログラマブルゲートアレイ(FPGA)などの1つ以上のプログラム可能な装置を備えることができる。しかしながら追加的に又は代替的に、評価装置はまた、完全に又は部分的にハードウェアによって具体化されてよい。
本明細書で使用される場合、「少なくとも1つの反射特徴を選択する」という用語は、反射画像の少なくとも1つの反射特徴を識別、決定、及び選択の1つ以上を指す。検出器は、結合信号から反射画像の少なくとも1つの反射特徴について物体点の縦方向座標を決定するように構成されてよい。したがって、検出器は、反射画像の少なくとも1つの反射特徴を事前に分類するように、及び/又は反射特徴に対する距離推定を提供するように構成されてよい。具体的には、検出器は、事前分類及び/又は距離推定を考慮して、三角測量及び/又は構造化光技術を使用することにより、物体の少なくとも1つのより正確な距離情報を決定するように構成され得る。
評価装置は、反射特徴を識別するために、少なくとも1つの画像解析及び/又は画像処理を実行するように構成されてよい。画像解析及び/又は画像処理は、少なくとも1つの特徴検出アルゴリズムを使用してよい。画像解析及び/又は画像処理は:フィルタリング;少なくとも1つの関心領域の選択;センサ信号によって生成された画像と少なくとも1つのオフセットとの間の差分画像の形成;センサ信号によって生成された画像を反転することによるセンサ信号の反転;異なる時間のセンサ信号によって生成された画像間の差分画像の形成;背景補正;カラーチャネルへの分解;色相への分解;飽和;そして輝度チャネル;周波数分解;特異値分解;キャニーエッジ検出器の適用;ガウスフィルタのラプラシアンの適用;ガウスフィルタの差分の適用;ソーベル演算子の適用;ラプラス演算子の適用;Scharr演算子の適用;プレウィット演算子の適用;ロバーツ演算子の適用;Kirsch演算子の適用;ハイパスフィルタの適用;ローパスフィルタの適用;フーリエ変換の適用;ラドン変換の適用;ハフ変換の適用;ウェーブレット変換の適用;閾値処理;バイナリイメージの作成、のうち1つ以上を含み得る。関心領域は、ユーザにより手動によって決定されるか、あるいは、光センサによって生成された画像内で物体を認識することによってなど、自動で決定され得る。
評価装置は、センサ信号からの結合信号Qを評価することにより、光子比からの深さ技術を使用することによって、反射画像の選択された反射特徴の少なくとも1つの縦方向座標zを決定するように構成されている。光子比からの深さ技術は、WO2018/091649A1、WO2018/091638A1及びWO2018/091640A1からなど、当業者に一般に知られており、その内容は参照により含まれるものとする。WO2018/091649A1、WO2018/091638A1及びWO2018/091640A1に記載されているような光子比を使用することによって距離を決定する技術は、本明細書では「光子比からの深さ」又は「ビームプロファイル解析」と呼ばれる。
本明細書で使用される場合、「結合信号Q」という用語は、センサ信号を結合することによって、特に、センサ信号を除算すること、センサ信号の倍数を除算すること、又はセンサ信号の線形結合を除算することのうちの1つ以上によって、生成される信号を指す。評価装置は、センサ信号を除算すること、センサ信号の倍数を除算すること、センサ信号の線形結合を除算することのうちの1つ以上によって、結合信号Qを導出するように構成されてよい。評価装置は、縦方向領域を決定するために、結合信号Qと縦方向領域との間の少なくとも1つの所定の関係を使用するように構成されてよい。例えば、評価装置は、次のように結合信号Qを導出するように構成される。
Figure 2023522755000003
式中、x及びyは横方向座標、A1及びA2はセンサの位置における反射光ビームの少なくとも1つのビームプロファイルの異なるエリア、E(x、y、z)は物体距離zで与えられるビームプロファイルを表す。エリアA1とエリアA2は異なっていてよい。特に、A1とA2は合同ではない。したがって、A1及びA2は、形状又は内容のうちの1つ以上で異なっていてよい。
一般に、ビームプロファイルは、輝度L(z)及びビーム形状S(x,y;z)に依存し、E(x,y;zo)=L・Sである。このように、結合信号を導出することで、輝度から独立して縦方向座標を決定することができる。さらに、結合信号を使用することにより、物体の大きさとは無関係に距離zを決定することができる。このように、結合信号は、物体の材料特性及び/又は反射特性及び/又は散乱特性とは無関係に、及び、例えば製造精度、熱、水分、汚れ、レンズの損傷などによる光源の変化とは無関係に、距離zを決定することを可能にする。
センサ信号のそれぞれは、光ビームのビームプロファイルの少なくとも1つのエリアの少なくとも1つの情報を含むことができる。本明細書で使用する場合、「ビームプロファイルのエリア」という用語は、一般に、結合信号Qを決定するために使用されるセンサ位置におけるビームプロファイルの任意の領域を指す。感光エリアは、第1センサ信号がビームプロファイルの第1エリアの情報を含み、及び第2センサ信号がビームプロファイルの第2エリアの情報を含むように配置されてよい。ビームプロファイルの第1エリア及びビームプロファイルの第2エリアは、隣接又は重複する領域の一方又は両方であってよい。ビームプロファイルの第1エリアとビームプロファイルの第2エリアは、面積において正確に合致しない場合がある。
評価装置は、ビームプロファイルの第1エリア及びビームプロファイルの第2エリアを決定及び/又は選択するように構成されてよい。ビームプロファイルの第1エリアは、ビームプロファイルの実質的にエッジ情報を含んでよく、ビームプロファイルの第2エリアは、ビームプロファイルの実質的に中心情報を含んでよい。ビームプロファイルは、中心、すなわちビームプロファイルの最大値及び/又はビームプロファイルのプラトーの中心点及び/又は光スポットの幾何学的中心と、中心から延びる立下りエッジとを有してよい。第2領域は、断面の内側領域を含んでよく、第1領域は、断面の外側領域を含んでよい。本明細書で使用される場合、「実質的に中心情報」という用語は、一般に、中心情報の割合、すなわち中心に対応する強度分布の割合と比較して、エッジ情報の割合が低いこと、すなわちエッジに対応する強度分布の割合が低いことを指す。好ましくは、中心情報は、10%未満、より好ましくは5%未満、のエッジ情報の割合を有し、最も好ましくは、中心情報はエッジ内容を含まない。本明細書で使用される場合、「実質的にエッジ情報」という用語は、一般に、エッジ情報の割合と比較して、中心情報の割合が低いことを指す。エッジ情報は、ビームプロファイル全体の情報、特に中心領域及びエッジ領域からの情報を含み得る。エッジ情報は、10%未満、好ましくは5%未満の中心情報の割合を有し、より好ましくは、エッジ情報は中心情報を含まない。ビームプロファイルが中心に近いか又はその周囲にあり、実質的に中心情報を含む場合は、ビームプロファイルの少なくとも1つのエリアは、ビームプロファイルの第2エリアとして決定及び/又は選択されてよい。ビームプロファイルが断面の立下りエッジの少なくとも部分を含む場合は、ビームプロファイルの少なくとも1つのエリアは、ビームプロファイルの第1エリアとして決定及び/又は選択されてよい。例えば、断面の全エリアが第1領域として決定されてよい。ビームプロファイルの第1エリアをエリアA2、ビームプロファイルの第2エリアをエリアA1としてよい。
第1エリアA1及び第2エリアA2の他の選択が可能であり得る。例えば、第1エリアはビームプロファイルの外側の領域を実質的に含み、第2エリアはビームプロファイルの内側の領域を実質的に含んでよい。例えば、二次元ビームプロファイルの場合、ビームプロファイルは左部分と右部分に分けられることができ、第1エリアはビームプロファイルの左部分のエリアを実質的に含むことができ、第2エリアはビームプロファイルの右部分のエリアを実質的に含むことができる。
エッジ情報は、ビームプロファイルの第1エリアの光子数に関する情報を含むことができ、中心情報は、ビームプロファイルの第2エリアの光子数に関する情報を含むことができる。評価装置は、ビームプロファイルの面積分を決定するように構成されてよい。評価装置は、第1エリアの積分及び/又は加算によってエッジ情報を決定するように構成されてよい。評価装置は、第2エリアの積分及び/又は加算によって中心情報を決定するように構成されてよい。例えば、ビームプロファイルは台形ビームプロファイルであってよく、評価装置は、台形の積分値を決定するように構成されてよい。さらに、台形ビームプロファイルが想定される場合、エッジ信号と中心信号の決定は、エッジの勾配と位置、ならびに中心プラトーの高さの決定などの台形ビームプロファイルの特性を利用し、幾何学的考察によってエッジと中心信号を導出する等価評価によって置き換えられることができる。
追加的に又は代替的に、評価装置は、光スポットの少なくとも1つのスライス又はカットから中心情報又はエッジ情報の一方又は両方を決定するように構成され得る。これは、例えば、結合信号Qの面積分を、スライス又はカットに沿った線積分で置き換えることによって実現されることができる。精度を向上させるために、光スポットを通るいくつかのスライス又はカットを使用して平均化することができる。楕円スポットプロファイルの場合、いくつかのスライス又はカットを平均することによって距離情報を向上させることがある。
一実施形態では、物体から検出器に伝播する光ビームは、少なくとも1つの特徴点を含む少なくとも1つのパターンでセンサ要素を照射することができる。本明細書で使用される場合、「特徴点」という用語は、パターンの少なくとも部分的に拡張された少なくとも1つの特徴を指す。特徴点は、少なくとも1つの点、少なくとも1つの線、少なくとも1つのエッジ、からなる群から選択され得る。パターンは、例えば、少なくとも1つのパターンを含む照射パターンを有する少なくとも1つの光源による照射に応答して、物体によって生成され得る。A1は、光センサ上の特徴点の全エリア又は完全なエリアに対応し得る。A2は、光センサ上の特徴点の中心エリアであり得る。中心エリアは、一定の値であってよい。中心エリアは、特徴点の全エリアと比較して小さくてよい。例えば、円形の特徴点の場合、中心エリアは、特徴点の全半径の0.1~0.9、好ましくは全半径の0.4~0.6の半径を有することができる。
評価装置は、エッジ情報と中心情報の除算、エッジ情報と中心情報の倍数の除算、エッジ情報と中心情報の線形結合の除算、のうち1つ以上によって結合信号Qを導出するように構成されてよい。このように、実質的には、光子比が本方法の物理的基礎として使用されることができる。
例えば、評価装置は、
a) 最高のセンサ信号を有する少なくとも1つの光センサを決定し、少なくとも1つの中心信号を形成すること;
b) マトリックスの光センサのセンサ信号を評価し、少なくとも1つの和信号を形成すること;
c) 中心信号と和信号を組み合わせることにより、少なくとも1つの結合信号を決定すること;及び
d) 結合信号を評価することにより、選択された特徴の少なくとも1つの縦方向座標zを決定すること、
によって、センサ信号を評価するように構成されてよい。
例えばWO2012/110924A1又はWO2014/097181A1において説明されているように、典型的には、光スポットの直径、ビームウェスト又は同等の直径などの光スポットのサイズと、光ビームが検出器に向かって伝播する物体の縦方向座標との間には、予め決定された又は決定可能な関係が存在する。この理論に拘束されることを望まないが、光スポットは2つの測定変数:中心信号とも呼ばれる光スポットの中心又は中心に近い小さな測定パッチで測定される測定信号と、中心信号の有無にかかわらず光スポット上で積分された積分信号又は和信号によって特徴付けられる。ビームが拡大又は集束しても変化しない特定の総出力を有する光ビームの場合、和信号は光スポットのスポットサイズから独立しているべきであり、したがって、少なくとも線形光センサがそれぞれの測定範囲内で使用される場合、和信号は物体と検出器との間の距離から独立しているべきである。ただし、中心信号はスポットサイズに依存する。したがって、中心信号は、通常、光ビームが集束されると増加し、光ビームがデフォーカスすると減少する。したがって、中心信号と和信号を比較することにより、光ビームによって生成される光スポットのサイズに関する情報項目、したがって、物体の縦方向座標に関する情報項目を生成することができる。中心信号と和信号の比較は、一例として、中心信号と和信号から結合信号Qを形成することによって、及び、縦方向座標と商信号の間の予め決定された又は決定可能な関係を縦方向座標を導出するために使用することによって、行うことができる。
光センサのマトリックスの使用は、複数の優位及び利益を提供する。このように、センサ要素のマトリックスの光センサの感光エリアの共通平面などの、センサ要素上における光ビームによって生成される光スポットの中心は、物体の横方向の位置によって変化し得る。光センサのマトリックスを使用することにより、本発明による検出器は、これらの条件の変化に適応することができ、したがって、センサ信号を比較するだけで光スポットの中心を決定することができる。その結果、本発明による検出器は、それ自体で中心信号を選択し、和信号を決定し、及びこれらの2つの信号から、物体の縦方向座標に関する情報を含む結合信号を導出することができる。結合信号を評価することにより、物体の縦方向座標がこのように決定され得る。光センサのマトリックスの使用は、したがって、物体の位置、特に物体の横方向の位置に関して著しい柔軟性を提供する。
センサ信号を生成する少なくとも1つの光センサの横方向位置などの、光センサのマトリックス上の光スポットの横方向位置は、例えばWO2014/198629A1に開示されているように、それから物体の横方向位置に関する少なくとも1つの情報項目が導出される追加的な情報項目として使用されてよい。追加的に又は代替的に、以下でさらに詳細に概説されるように、本発明による検出器は、少なくとも1つの縦方向座標に加えて、物体の少なくとも1つの横方向座標を検出するための少なくとも1つの追加の横方向検出器を含んでもよい。
したがって、本発明によれば、「中心信号」という用語は、一般に、ビームプロファイルの実質的に中心情報を含む少なくとも1つのセンサ信号を指す。例えば、中心信号は、マトリックス全体又はマトリックス内の関心領域の光センサによって生成される複数のセンサ信号のうち、最高のセンサ信号を有する少なくとも1つの光センサの信号であり得、該関心領域は、マトリックスの光センサによって生成される画像内で予め決定され又は決定可能であり得る。本明細書で使用される場合、「最高のセンサ信号」という用語は、関心領域の局所最大値又は最大値の一方又は両方を指す。中心信号は、単一の光センサから、又は以下でさらに詳細に概説されるように、一群の光センサから生じてもよく、後者の場合、一例として、一群の光センサのセンサ信号は、中心信号を決定するために、加算、積分、又は平均化され得る。中心信号がそれから生じる光センサの一群は、最高のセンサ信号を有する実際の光センサから所定の距離より短く離れた光センサなどの隣接する光センサの一群であり得るか、又は、最高のセンサ信号から所定の範囲内にあるセンサ信号を生成する光センサの一群であり得る。中心信号がそこから生じる光センサの一群は、最大のダイナミックレンジを可能にするように、できるだけ大きく選択され得る。評価装置は、複数のセンサ信号、例えば最高のセンサ信号を有する光センサの周りの複数の光センサのセンサ信号を積分することによって中心信号を決定するように構成されてよい。例えば、ビームプロファイルは台形ビームプロファイルであり得、評価装置は、台形、特に台形のプラトーの積分を決定するように構成されてよい。
上記に概説されたように、中心信号は、一般に、光スポットの中心にある光センサからのセンサ信号などの単一のセンサ信号であってもよく、又は、光スポットの中心にある光センサから生じるセンサ信号の組み合わせなど、複数のセンサ信号の組み合せであってもよく、又は、前述の可能性の1つ以上から導出されるセンサ信号を処理することによって導出される二次センサ信号であってよい。中心信号の決定は、センサ信号の比較が従来の電子機器によってかなり簡単に実施されるため、電子的に実行されてもよく、又は、ソフトウェアによって完全に又は部分的に実行されてもよい。具体的には、中心信号は、最高センサ信号;最高センサ信号からの所定の許容範囲内にあるセンサ信号の一群の平均;最高センサ信号を有する光センサを含む光センサの一群及び隣接する光センサの所定の一群からのセンサ信号の平均;最高センサ信号を有する光センサを含む光センサの一群及び隣接する光センサの所定の一群からのセンサ信号の和;最高センサ信号から所定の許容範囲内にあるセンサ信号の一群の和;所定の閾値を超えるセンサ信号の一群の平均;所定の閾値を超えるセンサ信号の一群の和;最高センサ信号を有する光センサの一群及び隣接する光センサの所定の一群からのセンサ信号の積分;最高センサ信号から所定の許容範囲内にあるセンサ信号の一群の積分;所定の閾値を超えるセンサ信号の一群の積分、からなる群から選択され得る。
同様に、「和信号」という用語は、一般に、ビームプロファイルの実質的にエッジ情報を含む信号を指す。例えば、和信号は、センサ信号を加算すること、センサ信号を積分すること、又はマトリックス全体もしくはマトリックス内の関心領域のセンサ信号を平均することによって導出することができ、該関心領域は、マトリックスの光センサによって生成される画像内で予め決定され又は決定可能であり得る。センサ信号を加算、積分、又は平均化する場合、センサ信号が生成される実際の光センサは、加算、積分、又は平均化から除外されてもよく、あるいは、加算、積分、又は平均化に含まれてもよい。評価装置は、マトリックス全体の信号、又はマトリックス内の関心領域の信号を積分することにより、和信号を決定するように構成され得る。例えば、ビームプロファイルは台形ビームプロファイルであり得、評価装置は、台形全体の積分を決定するように構成され得る。さらに、台形ビームプロファイルが想定される場合、エッジ信号と中心信号の決定は、エッジの勾配と位置の決定、及び中央プラトーの高さの決定など、台形ビームプロファイルの特性を利用し、そして幾何学的考察によってエッジ信号と中心信号を導出する等価評価に置き換えることができる。
同様に、中心信号及びエッジ信号も、ビームプロファイルの円形セグメントなどのビームプロファイルのセグメントを使用することによって決定されることができる。例えば、ビームプロファイルは、ビームプロファイルの中心を通過しない割線又は弦によって2つのセグメントに分割され得る。したがって、一方のセグメントには実質的にエッジ情報が含まれ、もう一方のセグメントには実質的に中心情報が含まれる。例えば、中心信号のエッジ情報の量をさらに減らすために、中心信号からエッジ信号をさらに差し引くことができる。
追加的に又は代替的に、評価装置は、光スポットの少なくとも1つのスライス又はカットから中心情報又はエッジ情報の一方又は両方を決定するように構成され得る。これは、例えば、結合信号Qの面積分を、スライス又はカットに沿った線積分で置き換えることによって実現されることができる。精度を向上させるために、光スポットを通るいくつかのスライス又はカットを使用して平均化することができる。楕円形のスポットプロファイルの場合、いくつかのスライス又はカットを平均することによって距離情報を向上させることがある。
結合信号は、中心信号と和信号を結合することによって生成される信号であり得る。具体的には、結合は:中心信号と和信号の商を形成すること、又はその逆の商を形成すること;中心信号の倍数と和信号の倍数の商を形成すること、又はその逆の商を形成すること;中心信号の線形結合と和信号の線形結合の商を形成すること、又はその逆の商を形成すること、の1つ以上を含むことができる。追加的に又は代替的に、結合信号は、中心信号と和信号との間の比較に関する少なくとも1つの情報項目を含む任意の信号又は信号の組み合わせを含むことができる。
評価装置は、センサ信号間の少なくとも1つの既知の、決定可能な、又は予め決定された関係を使用して、物体の少なくとも1つの縦方向座標zを決定するように構成されてよい。特に、評価装置は、センサ信号から導出される商信号と縦方向座標との間の少なくとも1つの既知の、決定可能な、又は予め決定された関係を用いて、物体の少なくとも1つの座標zを決定するように構成される。
光センサの未処理のセンサ信号は、評価又はそれらの導出される二次センサ信号に使用されてよい。本明細書で使用される場合、「二次センサ信号」という用語は、一般に、フィルタリング、平均化、又は復調など、1つ以上の未処理の信号を処理することによって得られる電子信号、より好ましくはアナログ及び/又はデジタル信号などの信号を指す。したがって、画像処理アルゴリズムが、マトリックスのセンサ信号の全体から、又はマトリックス内の関心領域から、二次センサ信号の生成に使用され得る。具体的には、評価装置などの検出器は、光センサのセンサ信号を変換し、それによって二次光センサ信号を生成するように構成され得、該評価装置は、二次光センサ信号を使用してステップa)~d)を実行するように構成される。センサ信号の変換は、具体的には、以下:フィルタリング;少なくとも1つの関心領域の選択;センサ信号によって生成された画像と少なくとも1つのオフセットとの間の差分画像の形成;センサ信号によって生成された画像を反転することによるセンサ信号の反転;異なる時間のセンサ信号によって生成された画像間の差分画像の形成;背景補正;カラーチャネルへの分解;色相への分解;飽和;そして輝度チャネル;周波数分解;特異値分解;キャニーエッジ検出器の適用;ガウスフィルタのラプラシアンの適用;ガウスフィルタの差分の適用;ソーベル演算子の適用;ラプラス演算子の適用;Scharr演算子の適用;プレウィット演算子の適用;ロバーツ演算子の適用;Kirsch演算子の適用;ハイパスフィルタの適用;ローパスフィルタの適用;フーリエ変換の適用;ラドン変換の適用;ハフ変換の適用;ウェーブレット変換の適用;閾値処理;バイナリイメージの作成、からなる群から選択される少なくとも1つの変換を含み得る。関心領域は、ユーザにより手動によって決定されるか、又は、光センサによって生成された画像内で物体を認識することによってなど、自動で決定され得る。一例として、車両、人、又は別のタイプの予め決定された物体は、画像内で、すなわち、光センサによって生成されたセンサ信号全体内で自動画像認識によって決定され得、関心領域は、物体が該関心領域内に位置するように選択され得る。この場合、縦方向座標の決定などの評価は、関心領域に対してのみ実行されるようにすることができる。ただし、他の実施も可能である。
上記で概説されたように、光スポットの中心の検出、すなわち、中心信号及び/又は中心信号が生じる少なくとも1つの光センサの検出は、完全に又は部分的に電子的に実行され得、又は1つ以上のソフトウェアアルゴリズムを使用して完全に又は部分的に実行され得る。具体的には、評価装置は、少なくとも1つの最高のセンサ信号を検出するため、及び/又は中心信号を形成するための少なくとも1つの中心検出器を備えることができる。中心検出器は、具体的には、完全に又は部分的にソフトウェアで具体化されてもよく、及び/又は完全又は部分的にハードウェアで具体化されてもよい。中心検出器は、少なくとも1つのセンサ要素に完全に又は部分的に一体化されていてもよく、及び/又はセンサ要素から独立して完全に又は部分的に具体化されていてもよい。
上記で概説されたように、和信号は、中心信号に寄与する光センサから生じるセンサ信号を除外してマトリックスの全てのセンサ信号から、関心領域内のセンサ信号から、又はこれらの可能性の1つから導出できる。全ての場合において、縦方向座標を決定するために、中心信号と確実に比較することができる信頼できる和信号が生成され得る。一般に、和信号は、マトリックスの全てのセンサ信号の平均;マトリックスの全てのセンサ信号の和;マトリックスの全てのセンサ信号の積分;中心信号に寄与する光センサからのセンサ信号を除く、マトリックスの全てのセンサ信号の平均;中心信号に寄与する光センサからのセンサ信号を除く、マトリックスの全てのセンサ信号の和;中心信号に寄与する光センサからのセンサ信号を除く、マトリックスの全てのセンサ信号の積分;最高のセンサ信号を有する光センサから所定の範囲内の光センサのセンサ信号の和;最高のセンサ信号を有する光センサから所定の範囲内の光センサのセンサ信号の積分;最高のセンサ信号を有する光センサから所定の範囲内に位置する光センサの所定の閾値を超えるセンサ信号の和;最高のセンサ信号を有する光センサから所定の範囲内にある光センサの所定の閾値を超えるセンサ信号の積分、からなる群から選択され得る。しかしながら、他の選択肢が存在する。
加算は、ソフトウェアで完全に又は部分的に実行され、及び/又はハードウェアで完全に又は部分的に実行され得る。加算は、通常検出器に容易に実装される純粋に電子的な手段によって可能である。したがって、電子工学の分野では、加算装置は一般に、アナログ信号とデジタル信号の両方の2つ以上の電子信号を加算するものが知られている。したがって、評価装置は、和信号を形成するための少なくとも1つの加算装置を備えることができる。加算装置は、完全に又は部分的にセンサ要素に一体化されてもよく、又は完全に又は部分的にセンサ要素とは独立して具体化されてもよい。加算装置は、完全に又は部分的に、ハードウェア又はソフトウェアの一方又は両方で具体化されてもよい。
上で概説されたように、中心信号と和信号との間の比較は、具体的には、1つ以上の商信号を形成することによって実行されてもよい。したがって、一般的に、結合信号は、中心信号と和信号の商を形成すること、又はその逆の商を形成すること;中心信号の倍数と和信号の倍数の商を形成すること、又はその逆の商を形成すること;中心信号の線形結合と和信号の線形結合の商を形成すること、又はその逆の商を形成すること;中心信号と、和信号と中心信号の線形結合の商を形成すること、又はその逆の商を形成すること;和信号と和信号と中心信号の線形結合の商を形成すること、又はその逆を形成すること;中心信号のべき乗と和信号のべき乗の商を形成すること、又はその逆の商を形成すること、のうちの1つ以上によって導出される商信号Qであってよい。しかし、他の選択肢も存在する。評価装置は、1つ以上の商信号を形成するように構成されていてもよい。評価装置は、少なくとも1つの商信号を評価することにより、少なくとも1つの縦方向座標を決定するようにさらに構成されてよい。
評価装置は、具体的には、少なくとも1つの縦方向座標を決定するために、結合信号Qと縦方向座標の間の少なくとも1つの所定の関係を使用するように構成されてよい。このように、上記に開示された理由により、及び光スポットの特性の縦方向座標への依存性により、結合信号Qは、典型的には、物体の縦方向座標の単調関数であり、及び/又は、光スポットの直径又は等価直径のような光スポットのサイズの単調関数である。したがって、一例として、具体的に線形光センサが使用される場合、センサ信号scenterと和信号ssumの簡単な商Q=scenter/ssumは、距離の単調減少関数であり得る。理論に拘束されることを望まないが、これは、上記の好ましい構成では、検出器に到達する光の量が減少するため、光源までの距離の増加に伴って、中心信号scenterと和信号ssumの両方が、二乗関数として減少するという事実が原因であると考えられる。しかしながら、そこでは、中心信号scenterは、実験で使用される光学構成では、画像平面内の光スポットが増大し、したがってより広いエリアに広がるため、和信号ssumよりも急速に減少する。中心信号と和信号の商は、したがって、マトリックスの光センサの感光エリア上の光ビーム又は光スポットの直径の増加に伴って連続的に減少する。さらに、商は、光ビームの総出力が中心信号と和センサ信号の両方の係数を形成するため、通常、光ビームの総出力から独立している。その結果、結合信号Qは、中心信号と和信号との間、及び光ビームのサイズ又は直径との間の一意的かつ明確な関係を提供する二次信号を形成し得る。一方、光ビームのサイズ又は直径は、光ビームが検出器に向かって伝播する物体と検出器自体の間の距離に依存するため、つまり、物体の縦方向座標に依存するため、一方では中心信号と和信号の間で、他方では中心信号と縦方向座標の間に、一意的かつ明確な関係が存在し得る。後者については、例えばWO2014/097181A1のような、上記の先行技術文献の1つ以上を参照することができる。所定の関係は、例えばガウス光ビームの線形結合を仮定することによる分析的考察により、また例えば結合信号及び/又は中心信号及び和信号又はそこから導出される二次信号を、物体の縦方向座標の関数として計測する測定などの経験的測定により、又はその両方により、決定することができる。
したがって、一般に、評価装置は、結合信号Qを評価することによって縦方向座標を決定するように構成されることができる。この決定は、例えば中心信号と和信号を直接結合してその縦方向座標を導出することによってなど、1ステップの過程であってもよいし、例えば第1に中心信号と和信号から結合信号を導出し、第2に結合信号から縦方向座標を導出するような複数ステップの過程であってよい。両方の選択肢、すなわちステップc)とd)が別個の独立したステップである選択肢と、ステップc)とd)が完全に又は部分的に組み合わされる選択肢である、両方の選択肢が本発明に含まれるものとする。
評価装置は、結合信号と縦方向座標との間の少なくとも1つの所定の関係を使用するように構成されてよい。所定の関係は、経験的関係、半経験的関係、及び分析的に導出された関係のうちの1つ以上であってよい。評価装置は、例えばルックアップリスト又はルックアップテーブルなどの、所定の関係を保存するための少なくとも1つのデータ保存装置を備えてよい。
結合信号Qは、様々な手段を用いて決定されてよい。一例として、商信号を導出するためのソフトウェア手段、商信号を導出するためのハードウェア手段、又はその両方が用いられてよく、評価装置に実装されてもよい。したがって、評価装置は、一例として、少なくとも1つのデバイダを含んでもよく、ここで、デバイダは、商信号を導出するように構成される。デバイダは、完全に又は部分的に、ソフトウェアデバイダ又はハードウェアデバイダの一方又は両方として具現化されてよい。デバイダは、完全に又は部分的にセンサ要素の応答に一体化されていてもよいし、完全又は部分的にセンサ要素から独立して具現化されていてもよい。
光子比からの深さ技術は、バイアス光源又は反射性測定物体によって複数の反射を引き起こす環境の場合でさえも、減少した計算要求、特に減少した処理能力で信頼性のある距離測定を可能にする。本発明は、反射物体の材料を識別すること、及び、センサ要素から様々な距離に配置された様々な材料が存在する場合、又はプロジェクタがレーザスポット特性のほぼ同一の組み合わせを生成する場合であっても、反射物体のプロジェクタ又はセンサ要素までの距離を推定すること、を可能にする。さらに、本発明は、反射面の方向を推定することと、及びエッジを検出することを可能にする。空間的に変調された照射特徴を含む照射パターンは、結果として得られる変調された照射特徴の少なくとも1つの特性又はパラメータを、反射ターゲット物体の材料の物理的特性によって生じる変形に対して、よりロバストにすることができる。この少なくとも1つの特性又はパラメータは、反射物体とプロジェクタ又はセンサ要素との間の距離にのみ依存し得る。照射特徴の他の特性又はパラメータは、反射材料のタイプ及び物理的特性、ならびにそのプロジェクタ又はセンサ要素までの距離に関する情報を提供するために、変更及び変形されることが可能である。上記で概説されたように、照射特徴は、パターン化された照射特徴であってよく、パターン化された照射特徴のそれぞれは、複数のサブ特徴を含む。物体に衝突する照射特徴は、物体を照射することができる。物体は、衝突する照射特徴に応答して、例えば反射によって、対応する反射特徴を生成することができる。照射特徴は、このようにパターン化され、反射特徴もパターン化される。評価装置は、反射画像のパターン化された反射特徴を分析することによって、物体とプロジェクタ及び/又はセンサ要素との間の距離に関する情報を決定するように構成され得る。評価装置は、各パターン化された反射特徴を見つけ、セグメント化するように構成され得る。本明細書で使用される場合、「見つける」という用語は、対応する照射特徴に応答して生成される反射特徴を反射画像内で識別することを指し得る。識別は、反射画像内の特徴を識別するために少なくとも1つの物体認識アルゴリズムを実行することを含むことができる。識別は、識別された反射特徴を対応する照射特徴に割り当てることをさらに含むことができる。本明細書で使用される場合、「セグメント化」という用語は、反射特徴を複数のセグメントに分割するプロセスを指し得る。セグメントは、照射特徴の対応するサブ特徴に応答して生成される反射画像のサブ特徴に対応してよい。評価装置は、サブ特徴の各々の中心を決定するように構成されてよい。評価装置は、サブ特徴の中心間の距離を決定するように構成されてよい。評価装置は、予め定められた関係を用いて、サブ特徴の中心間の距離から、物体とプロジェクタ及び/又はセンサ要素との間の距離に関する情報を決定するように構成され得る。評価装置は、物体とプロジェクタ及び/又はセンサ要素との間の決定された距離を考慮して、修正された縦方向座標zを決定するように構成されてよい。修正された縦方向座標は、精度が向上した縦方向座標であり得る。
評価装置は、各サブ特徴内のスペックルコントラスト推定によって物体の材料特性を識別するように構成されることができる。評価装置は、材料特性を考慮して修正された縦方向座標zを決定するように構成されることができる。具体的には、デフォーカスからの深さ技術のレーザスポットプロファイル分析は、反射物体の材料を識別し、さらにそれのプロジェクタ又はセンサ要素までの距離を、より正確に推定するために、各レーザスポット内のスペックルコントラストの推定又は計算と組み合わされ得る。ここに記載される光子比からの深さ(DPR)技術を使用することによる距離決定は、デフォーカスからの深さと比較して、距離を決定するための異なる技術である。しかし、光子比からの深さとデフォーカスからの深さによって決定される情報は、さらにより高度な距離決定のために組み合わされ得る。
評価装置は、エッジ検出するように構成されてよい。評価装置は、パターン化された反射特徴がエッジによって生成されたかどうかを決定するように構成されてよい。照射特徴は、少なくとも3つのサブ特徴を含むことができる。前記照射特徴が物体に衝突する場合、反射特徴を生成した照射特徴のサブ特徴に対応する少なくとも3つのサブ特徴を含む反射特徴を生成することができる。評価装置は、反射特徴のサブ特徴が、物体の平らな反射面によって生成されたか、又は物体のエッジによって生成されたかを決定するように構成されてよい。評価装置は、それぞれのサブ特徴のセンサ信号からの結合信号Qを評価することによって、サブ特徴のそれぞれについて物体の縦方向座標を決定するように構成されてよい。評価装置は、サブ特徴の縦方向座標を比較するように構成されることができる。サブ特徴の縦方向座標が許容範囲内で同一である場合、反射特徴の前記サブ特徴を生成した反射面は、平坦であると見なされ得る。そうでない場合、物体は、エッジであるか、又はエッジを含むと見なされ得る。評価装置は、サブ特徴から決定された縦方向座標から、物体の反射面の法線及び局所方向を決定するように構成されてよい。評価装置は、サブ特徴によって展開される平面を決定するように構成されてよい。評価装置は、空間における平面の表面法線及び/又は平面の方向を決定するように構成されてよい。例えば、方向は、z軸、特に光軸と表面法線との間の角度によって定義され得る。反射面の法線及び局所方向を推定することを可能にし、このパターン化されたレーザスポットがエッジ上で反射されたか否かを知ることを可能にするために、1つのパターン化された照射特徴のみで十分であり得る。
さらに、問題のある反射面の場合、使用可能なレーザスポット反射を得る確率は、比較的まばらに分布している単一スポットと比較して、このように密集したスポットのクラスタを投影する場合に高くなる。
本発明は、光子比からの深さ技術使用して、距離及び深度測定の性能を向上させることを可能にし得る。これは、ハードウェア側の簡単な修正と、現在使用されているアルゴリズムへの簡単な計算的に高効率の追加によって行うことができる。その結果、検出器は、より優れた性能を得ることができ、多数の追加のアプリケーションに使用されることができる。
DPR技術によって決定された距離は、照射特徴ごとの距離推定を提供し、センサ要素とプロジェクタの既知の位置によって、三角測量法によって精緻化されることができる。三角測量を用いて精緻化された縦方向座標を計算するためには、いわゆる対応問題を解決する必要がある。長方形パターンなどの規則的なパターンを用いる場合、隣接する2点がエピポーラ線上で直接隣接する場合がある。ロバストな対応問題のために、パターンの点密度が低くなるように、パターンの特徴の物理的な距離は大きくてよい。上記で概説されたように、本出願は、照射特徴が行で等距離に周期的なパターンに配置されることを提案し、ここで照射特徴の行の各々はオフセットを有し、隣接する行のオフセットは異なる。オフセットは、エピポーラ線上の大きな距離を有する特徴密度での到達を可能にし、対応問題のロバスト性を強化することができる。差分オフセットの選択は、照射パターンの構造がセンサ要素の視野に関して設計され得るようなものであり得る。
評価装置は、結合信号Qを評価することによって、選択された反射特徴の縦方向領域を決定するように構成されてよく、該縦方向領域は、縦方向座標z及び誤差間隔±εによって与えられる。本明細書で使用される場合、「縦方向領域」という用語は、縦方向座標z及び結合信号Qからの縦方向座標の決定の測定不確実性±εによって定義される少なくとも1つの不確実性間隔を指す。誤差εは、光センサの測定不確実性に依存し得る。光センサの測定不確実性は、事前に決定及び/又は推定されてもよく、及び/又は、評価装置の少なくとも1つのデータ保存ユニットに保存されてもよい。例えば、誤差間隔は、±10%、好ましくは±5%、より好ましくは±1%であってよい。
評価装置は、縦方向領域に対応する少なくとも1つの参照画像における少なくとも1つの変位領域を決定するように構成されてよい。本明細書で使用される場合、「参照画像」という用語は、反射画像と比較して異なる空間位置で決定される、反射画像とは異なる画像を指す。参照画像は、少なくとも1つの参照特徴を記録すること、少なくとも1つの参照特徴を画像化すること、参照画像を計算することの1つ以上によって決定され得る。参照画像及び反射画像は、一定の距離を有する異なる空間位置で決定された物体の画像であってよい。距離は、ベースラインとも呼ばれる相対距離であってよい。評価装置は、少なくとも1つの反射特徴に対応する少なくとも1つの参照画像の少なくとも1つの参照特徴を決定するように構成されてよい。上記で概説されたように、評価装置は、画像解析を実行し、反射画像の特徴を識別するように構成され得る。評価装置は、実質的に同一の縦方向座標を有する参照画像内の少なくとも1つの参照特徴を、選択された反射特徴として識別するように構成され得る。「実質的に同一」という用語は、10%以内、好ましくは5%以内、最も好ましくは1%以内で同一であることを指す。反射特徴に対応する参照特徴は、エピポーラ幾何学を使用して決定されることができる。エピポーラ幾何学の説明については、例えば、X.Jiang、H.Bunkeによる「Dreidimensionales Computersehen」シュプリンガー、ベルリンハイデルベルク、1997年を参照されたい。エピポーラ幾何学は、参照画像及び反射画像が、固定距離を有する異なる空間位置及び/又は空間配向で決定される物体の画像であることを仮定し得る。参照画像及び反射画像は、固定距離を有する異なる空間位置で決定された物体の画像であり得る。評価装置は、参照画像におけるエピポーラ線を決定するように構成され得る。参照画像と反射画像の相対位置は既知であることができる。例えば、参照画像と反射画像の相対位置は、評価装置の少なくとも1つの保存ユニット内に保存され得る。評価装置は、反射画像の選択された反射特徴から延びる直線を決定するように構成され得る。直線は、選択された特徴に対応する、あり得る物体特徴を含み得る。直線とベースラインはエピポーラ平面を展開する。参照画像が反射画像とは異なる相対的位置で決定されるため、対応する可能な物体の特徴は、参照画像内のエピポーラ線と呼ばれる直線上に画像化され得る。したがって、反射画像の選択された特徴に対応する参照画像の特徴は、エピポーラ線上に位置する。画像の歪み、あるいは経年変化、温度変化、機械的ストレスなどによるシステムパラメータの変化により、エピポーラ線は互いに交差又は非常に接近していることがあり、及び/又は参照特徴と反射特徴の間の対応が不明瞭なことがある。さらに、現実世界の各既知の位置又は物体は参照画像に投影されてもよく、その逆でもよい。投影は検出器の較正によって知られることができる一方、較正は特定のカメラのエピポーラ幾何学のティーチインに相当する。
本明細書で使用される場合、「変位領域」という用語は、選択された反射特徴に対応する参照特徴が画像化され得る参照画像内の領域を指す。具体的には、変位領域は、選択された反射特徴に対応する参照特徴が、参照画像内に位置すると予想される参照画像内の領域であることができる。物体までの距離に応じて、反射特徴に対応する参照特徴の画像位置は、反射画像における反射特徴の画像位置と比較して、参照画像内で変位され得る。変位領域は、1つの参照特徴のみを含むことができる。変位領域はまた、複数の参照特徴を含むことができる。変位領域は、エピポーラ線又はエピポーラ線の一部を含むことができる。変位領域は、複数のエピポーラ線又は複数のエピポーラ線の複数の部分を含むことができる。本明細書で使用される場合、「参照特徴」という用語は、参照画像の少なくとも1つの特徴を指す。変位領域は、エピポーラ線に沿って延在してもよく、エピポーラ線に直交して延在してもよく、又はその両方であってもよい。評価装置は、縦方向座標zに対応してエピポーラ線に沿って参照特徴を決定するように、及び、誤差間隔±εに対応してエピポーラ線に沿った、又はエピポーラ線に直交する変位領域の範囲を決定するように構成されてよい。結合信号Qを使用した距離測定の測定不確実性は、測定不確実性が方向によって異なる場合があるため、非円形の変位領域をもたらす可能性がある。具体的には、エピポーラ線又は複数のエピポーラ線に沿った測定不確実性は、エピポーラ線又は複数のエピポーラ線に関する直交方向の測定不確実性よりも大きくなる可能性がある。変位領域は、エピポーラ線又は複数のエピポーラ線に関して直交方向に延びた領域を含み得る。評価装置は、反射特徴の画像位置の周りの変位領域を決定することができる。評価装置は、z±εに対応するエピポーラ線に沿った変位領域を決定するために、反射特徴の縦方向座標z及び結合信号Qからの誤差間隔±εを決定するように構成されてよい。評価装置は、選択された反射特徴を変位領域内の少なくとも1つの参照特徴とマッチングさせるように構成されてよい。本明細書で使用される場合、「マッチングさせる」という用語は、対応する参照及び反射の特徴を決定及び/又は評価することを指す。評価装置は、決定された縦方向座標zを考慮して少なくとも1つの評価アルゴリズムを使用することにより、反射画像の選択された特徴を変位領域内の参照特徴とマッチングさせるように構成されることができる。評価アルゴリズムは、線形スケーリングアルゴリズムであってよい。評価装置は、変位領域に最も近い、及び/又は変位領域内のエピポーラ線を決定するように構成され得る。評価装置は、反射特徴の画像位置に最も近いエピポーラ線を決定するように構成され得る。エピポーラ線に沿った変位領域の範囲は、エピポーラ線に直交する変位領域の範囲よりも大きいことがあり得る。評価装置は、対応する参照特徴を決定する前に、エピポーラ線を決定するように構成され得る。評価装置は、各反射特徴の画像位置の周りの変位領域を決定し得る。評価装置は、例えば、変位領域に最も近いエピポーラ線、及び/又は変位領域内のエピポーラ線、及び/又はエピポーラ線に直交する方向に沿った変位領域に最も近いエピポーラ線を割り当てることなどにより、反射特徴の各画像位置の各変位領域にエピポーラ線を割り当てるように構成され得る。評価装置は、割り当てられた変位領域に最も近い参照特徴、及び/又は割り当てられた変位領域内の参照特徴、及び/又は割り当てられたエピポーラ線に沿った割り当てられた変位領域に最も近い参照特徴、及び/又は割り当てられたエピポーラ線に沿った割り当てられた変位領域内の参照特徴を決定することにより、反射特徴の画像位置に対応する参照特徴を決定するように構成され得る。
追加的に又は代替的に、評価装置は以下のステップ:
- 各反射特徴の画像位置の変位領域を決定する、ステップと;
- 変位領域に最も近いエピポーラ線、及び/又は変位領域内のエピポーラ線、及び/又はエピポーラ線に直交する方向に沿って変位領域に最も近いエピポーラ線を割り当てるなどによって、各反射特徴の変位領域にエピポーラ線を割り当てる、ステップと;
- 割り当てられた変位領域に最も近い参照特徴、及び/又は割り当てられた変位領域内の参照特徴、及び/又は割り当てられたエピポーラ線に沿って割り当てられた変位領域に最も近い参照特徴、及び/又は割り当てられたエピポーラ線に沿って割り当てられた変位領域内の参照特徴を割り当てるなどによって、各反射特徴に少なくとも1つの参照特徴を割り当て及び/又は決定するステップと、
を実行するように構成されてよい。
追加的に又は代替的に、評価装置は、参照画像内の反射特徴及び/又はエピポーラ線の距離を比較することなどによって、及び/又は参照画像内の反射特徴及び/又はエピポーラ線のε重み付き距離などの誤差重み付き距離を比較し、より短い距離及び/又はε重み付き距離のエピポーラ線及び/又は参照特徴を、参照特徴及び/又は反射特徴に割り当てることによってなど、反射特徴に割り当てられる複数のエピポーラ線及び/又は参照特徴の間を決定するように構成されてもよい。
好ましくは、検出器は、1つの参照特徴への明確な割り当てが可能なように、結合信号Qを使用して選択された反射特徴を事前に分類するように構成されることができる。具体的には、照射パターンの照射特徴は、参照画像の対応する参照特徴がエピポーラ線上で可能な限り大きい相対的な距離を互いに有するように、配置されることができる。照射パターンの照射特徴は、少数の参照特徴のみがエピポーラ線上に配置されるように配置されることができる。
評価装置は、マッチングした参照特徴及び選択された反射特徴の変位を決定するように構成され得る。本明細書で使用される場合、「変位」という用語は、参照画像内の位置と反射画像内の位置との間の差を指す。評価装置は、縦方向座標と変位との間の所定の関係を用いて、マッチングした特徴の縦方向情報を決定するように構成され得る。本明細書で使用される場合、「縦方向情報」という用語は、縦方向座標に関する情報を指す。例えば、縦方向情報は距離値であってよい。評価装置は、三角測量法を使用することによって所定の関係を決定するように構成され得る。反射画像内の選択された反射特徴の位置と、マッチングした参照特徴の位置、及び/又は、選択された反射特徴とマッチングした参照特徴の相対変位が既知である場合、対応する物体特徴の縦方向座標は、三角測量によって決定され得る。したがって、評価装置は、例えば続いて及び/又は列ごとに、反射特徴を選択するように、及び、参照特徴の各潜在的に可能な位置について三角測量を使用して対応する距離値を決定するように、構成され得る。変位及び対応する距離値は、評価装置の少なくとも1つの保存装置に保存され得る。評価装置は、一例として、少なくとも1つのプロセッサ、少なくとも1つのDSP、少なくとも1つのFPGA及び/又は少なくとも1つのASICなどの少なくとも1つのデータ処理装置を含むことができる。さらに、縦方向座標zと変位との間の少なくとも1つの予め決定された又は決定可能な関係を保存するために、予め決定された関係を保存するための1つ以上のルックアップテーブルを提供するなど、少なくとも1つのデータ保存装置が提供され得る。評価装置は、カメラ及び/又は検出器の内因性及び/又は外因性の較正のためのパラメータを保存するように構成され得る。評価装置は、ツァイカメラ較正を実行するなどによって、カメラ及び/又は検出器の内因性及び/又は外因性の較正のためのパラメータを生成するように構成され得る。評価装置は、転送装置の焦点距離、放射レンズの歪み係数、放射レンズの歪みの中心座標、走査とデジタル化のハードウェアタイミングの不完全性に起因する不確実性を説明するためのスケールファクタ、世界座標とカメラ座標間の変換の回転角度、世界座標とカメラ座標間の変換の並進コンポーネント、開口角、イメージセンサ形式、主点、スキュー係数、カメラ中心、カメラ向き、ベースライン、カメラ及び/又は照射源の回転又は並進パラメータ、開口部、焦点距離などの、パラメータを計算及び/又は推定するように構成され得る。
結合センサ信号を使用することは、誤差間隔内の縦方向座標zなどの距離の推定を可能にする。推定された縦方向座標と対応する誤差間隔に対応する変位領域を決定することにより、エピポーラ線に沿った可能な解の数を大幅に減らすことができる。可能な解の数を、1つに減らすことさえできる。縦方向座標zと誤差間隔の決定は、選択された反射特徴と参照特徴をマッチングさせる前の事前評価の間に実行されることができる。これは、計算の要求を削減することを可能にすることができ、したがって、コストを大幅に削減し、モバイル装置又は屋外装置での使用を可能にする。さらに、一般的に三角測量システムでは、大きな距離を検出するためにベースラインを大きくする必要がある。結合センサ信号を用いた縦方向座標z及び誤差間隔を事前に評価し、その後の選択された反射特徴及び参照特徴をマッチングさせることは、短いベースラインを使用することを可能にすることができ、したがって、コンパクトな装置を提供することができる。さらに、結合センサ信号を用いた縦方向座標z及び誤差間隔を事前に評価し、その後の選択された反射特徴及び参照特徴をマッチングさせることは、従来の三角測量システムと比較して、精度及び/又は速度を向上させ、及び/又は計算上の要求を低下させることができる。さらに、照射パターンにおける照射点の数などの照射特徴の数は、目の安全規則に準拠しながら周囲光と競合するように、各照射点における光強度を増加させるように、低減され得る。従来の三角測量システムでは、照射特徴の数の減少は、反射特徴と参照特徴をマッチングさせることの困難性を増加させ得る。さらに、照射パターンにおける照射点の数などの照射特徴の数は、例えば、距離測定の解像度を上げるために、例えば、モバイルアプリケーションなどにおけるように評価装置の処理能力を増加させることなく得られた深度マップの解像度を増加させるために、増加され得る。
例えば、参照画像は、プロジェクタの位置における画像平面での照射パターンの画像であってよい。評価装置は、反射パターンの選択された特徴の縦方向領域に対応する参照画像内の変位領域を決定するように構成されることができる。評価装置は、反射パターンの選択された特徴を、変位領域内の参照パターンの少なくとも1つの特徴とマッチングさせるように構成されることができる。プロジェクタとセンサ要素は、一定の距離だけ離されてよい。
例えば、検出器は、それぞれが光センサのマトリックスを有する少なくとも2つのセンサ要素を含み得る。少なくとも1つの第1センサ要素と少なくとも1つの第2センサ要素は、異なる空間位置に配置されてよい。第1センサ要素と第2センサ要素との間の相対的な距離は固定されていてよい。該少なくとも1つの第1センサ要素は、少なくとも1つの第1反射パターン、特に少なくとも1つの第1反射特徴を決定するように構成されていてよく、該少なくとも1つの第2センサ要素は、少なくとも1つの第2反射パターン、特に少なくとも1つの第2反射特徴を決定するように構成されてよい。評価装置は、第1センサ要素又は第2センサ要素によって決定された少なくとも1つの画像を反射画像として選択し、第1センサ要素又は第2センサ要素のうちの他方によって決定された少なくとも1つの画像を参照画像として選択するように構成されてよい。評価装置は、反射パターンにおける少なくとも1つの反射特徴を選択し、及びセンサ信号からの結合信号Qを評価することにより、選択された特徴の縦方向領域を決定するように構成されてよい。評価装置は、反射パターンの選択された特徴の縦方向領域に対応する参照画像内の変位領域を決定するように構成されてよい。評価装置は、反射パターンの選択された特徴を、変位領域内の参照パターンの少なくとも1つの特徴とマッチングするように構成されてよい。
上で概説されたように、中心信号及び和信号を評価することにより、検出器は、物体全体又は物体の1つ以上の部分の縦方向座標を決定する選択肢を含めて、物体の少なくとも1つの縦方向座標を決定することを可能にし得る。しかしさらに、1つ以上の横方向座標及び/又は回転座標を含む物体の他の座標が、検出器、特に評価装置によって決定され得る。したがって、一例として、1つ以上の横方向センサが、物体の少なくとも1つの横方向座標を決定するために使用されてよい。上で概説されたように、中心信号が生じる少なくとも1つの光センサの位置は、物体の少なくとも1つの横方向座標に関する情報を提供することができ、ここで、一例として、単純なレンズ方程式が、光学的変換、及び横方向座標の導出のために使用されてよい。追加的に又は代替的に、1つ以上の追加の横方向センサが使用されてよく、検出器によって含まれてよい。種々の横方向センサ、例えばWO2014/097181A1に開示されている横方向センサ及び/又は例えば象限ダイオード、CCD又はCMOSチップなどの他の位置感知装置(PSD)が、当技術分野で一般に知られている。追加的に又は代替的に、一例として、本発明による検出器は、R.A.Street(編):アモルファスシリコンの技術と応用,Springer-Verlag Heidelberg、2010、346~349頁に開示されている1つ以上のPSDを含むことができる。他の実施形態も可能である。これらの装置は、一般に、本発明による検出器に実装されてよい。一例として、光ビームの一部は、少なくとも1つのビーム分割要素によって、検出器内で分割されてよい。分割部分は、一例として、CCD又はCMOSチップ又はカメラセンサのような横方向センサに向かって案内されてよく、横方向センサ上の分割部分によって生成される光スポットの横方向位置が決定され、それによって物体の少なくとも1つの横方向座標が決定されてよい。したがって、本発明による検出器は、簡単な距離測定装置のような一次元検出器であってもよいし、二次元の検出器として、又は三次元の検出器としてさえ具現化されてよい。また、上で概説されたように、あるいは以下にさらに詳細に概説されるように、シーン又は環境を一次元的に走査することにより、三次元画像を生成することもできる。したがって、本発明による検出器は、具体的には、一次元検出器、二次元検出器、又は三次元検出器のうちの1つであり得る。評価装置は、さらに、物体の少なくとも1つの横方向座標x,yを決定するように構成されてよい。評価装置は、縦方向座標と横方向座標の情報を組み合わせて、空間における物体の位置を決定するように構成されてよい。
さらなる態様において、本発明は、例えば上記に開示されたような、又は以下にさらに詳細に開示されるような検出器を参照する1つ以上の実施形態などによる本発明による検出器のような検出器を用いることによって、少なくとも1つの物体の位置を決定するための方法を開示している。それでも、他のタイプの検出器を使用することができる。本方法は、以下の方法ステップを含み、ここで、方法ステップは、所定の順序で実行されてもよいし、異なる順序で実行されてもよい。さらに、列挙されていない1つ以上の追加の方法ステップが存在してもよい。さらに、方法ステップの1つ、1つより多く、又は、全てさえも、繰り返し実行されてよい。
本方法は、以下の方法ステップ:
- 検出器の少なくとも1つのプロジェクタによって生成された少なくとも1つの照射パターンで物体を照射するステップであって、前記照射パターンは、複数の照射特徴を含み、前記照射特徴は空間的に変調されているステップと;
- 光センサのマトリックスを有するセンサ要素の前記光センサの感光エリアに入射する各反射光ビームに対して、照射に応答して少なくとも1つのセンサ信号を生成するステップと;
- 前記センサ要素を用いて、少なくとも1つの反射画像を決定するステップと;
- 前記反射画像の少なくとも1つの反射特徴を選択し、少なくとも1つの評価装置を使用して前記センサ信号を評価し、それによって前記選択された反射特徴の少なくとも1つの縦方向座標zを決定するステップであって、前記評価は、前記センサ信号からの結合信号Qを評価することを含むステップと、
を有する。
詳細、選択肢、及び定義については、上述した検出器を参照することができる。したがって、具体的には、上記で説明されたように、本方法は、上記で与えられ又は以下でさらに詳細に与えられる1つ以上の実施形態によるなどの、本発明による検出器の使用を含むことができる。
本発明のさらなる態様において、上記で与えられ又は以下でさらに詳細に与えられる1つ以上の実施形態などによる、本発明による検出器の使用が、交通技術における位置測定;娯楽用途;セキュリティ用途;監視用途;安全用途;ヒューマンマシンインターフェース用途;追跡用途;写真撮影用途;画像化用途又はカメラ用途;少なくとも1つの空間のマップを生成するためのマッピング用途;車両用のホーミング又は追跡ビーコン検出器;屋外用途;モバイル用途;通信用途;マシンビジョン用途;ロボット用途;品質管理用途;製造用途、からなる群から選択される使用目的のために、提案される。本発明の検出器及び装置のさらなる使用に関しては、WO2018/091649A1、WO2018/091638A1及びWO2018/091640A1が参照され、その内容は参照によって含まれる。
本明細書で使用される場合、「有する」、「備える」、又は「含む」という表現ならびにそれらの文法上の変形は、非排他的な形で使用される。したがって、これらの用語は、これらの用語によって導入される特徴の他に、この関係において説明されている対象においてさらなる特徴が存在していないという状況、及び、1つ又は複数のさらなる特徴が存在しているという状況の両方を指し得る。例として、「AはBを有する」、「AはBを備える」、及び「AはBを含む」という表現は、B以外に他の要素がA中に存在しないという状況(すなわち、Aは単独でかつ排他的にBからなるという状況)、及び、B以外に、要素C、要素C及びD、又は、別の要素さえもなど、1つ又は複数のさらなる要素が、実体Aにおいて存在するという状況の両方を指し得る。
さらに、用語「少なくとも1つ」、「1つ又は複数(1つ以上)」、又は特徴又は要素が1回又は複数回存在し得ることを示す同様の表現は、通常それぞれの特徴又は要素を導入するときに1回だけ使用されることに留意されたい。ほとんどの場合、それぞれの特徴又は要素を参照するときに、表現「少なくとも1つ」又は「1つ又は複数(1つ以上)」は、それぞれの特徴又は要素が1回又は複数回存在してもよいという事実にかかわらず、繰り返されないことになる。
さらに、以下において使用されているように、「好ましくは」、「より好ましくは」、「特に」、「さらに詳細には」、「具体的には」、「より具体的には」という用語、又は、同様の用語は、代替的な可能性を制限することなく、任意の特徴と共に使用される。したがって、これらの用語によって導入される特徴は任意選択の特徴であり、決して特許請求の範囲を限定することを意図するものではない。当業者が認識するように、本発明は代替的な特徴を使用することによって実行されてもよい。同様に、「本発明の実施形態において」又は同様の表現によって導入される特徴は、本発明の代替的な実施形態に関していかなる制限を課すものではなく、本発明の範囲に関していかなる制限を課すものではなく、また、そのようにして導入される特徴と本発明の他の任意の特徴又は非任意の特徴を組み合わせることの可能性に関していかなる制限を課すものではない。
全体として、本発明の文脈では、以下の実施形態が好ましいと考えられる。
実施形態1:少なくとも1つの物体の位置を決定するための検出器であって、前記検出器は:
- 少なくとも1つの照射パターンで物体を照射するための少なくとも1つのプロジェクタであって、前記照射パターンは複数の照射特徴を含み、前記照射特徴は空間的に変調されている、少なくとも1つのプロジェクタと;
- 光センサのマトリックスを有する少なくとも1つのセンサ要素であって、前記光センサはそれぞれ感光エリアを有し、各光センサは、前記物体から前記検出器に伝播する反射光ビームによるそのそれぞれの感光エリアの照射に応答して少なくとも1つのセンサ信号を生成するように設計され、前記センサ要素は、少なくとも1つの反射画像を決定するように構成されている、少なくとも1つのセンサ要素と;
- 少なくとも1つの評価装置であって、前記評価装置は、前記反射画像の少なくとも1つの反射特徴を選択するように構成され、前記評価装置は、前記センサ信号からの結合信号Qを評価することによって光子比からの深さ技術を用いることにより、前記反射画像の前記選択された反射特徴の少なくとも1つの縦方向座標zを決定するように構成されている、少なくとも1つの評価装置と、
を含み、
前記照射特徴はパターン化された照射特徴であり、前記パターン化された照射特徴の各々は複数のサブ特徴を含み、及び/又は、前記照射特徴が行で等距離に周期的パターンで配置され、前記照射特徴の行の各々はオフセットを有し、隣接する列の前記オフセットは異なっている、検出器。
実施形態2:前記プロジェクタは、少なくとも1つの光ビームを生成するように構成された少なくとも1つの光源を備え、前記プロジェクタは、パターン化された照射特徴を含む前記照射パターンを生成するために、前記光ビームを回折及び複製するように構成された少なくとも1つの転送装置を備えている、先行する実施形態による検出器。
実施形態3:前記プロジェクタは、光ビームのクラスタを生成するように構成された、特定のパターンに従って密集された光源の少なくとも1つのアレイを備え、前記プロジェクタは、前記パターン化された照射特徴を含む照射パターンを生成するように前記光ビームのクラスタを回折及び複製するための少なくとも1つの転送装置を備えている、先行する実施形態のいずれか1つによる検出器。
実施形態4:前記評価装置は、前記反射画像のパターン化された反射特徴を分析することによって、前記物体と前記プロジェクタ及び/又は前記センサ要素との間の距離に関する情報を決定するように構成されている、先行する実施形態のいずれか1つによる検出器。
実施形態5:前記評価装置は、各パターン化された照射特徴を見つけ、セグメント化するように構成され、前記評価装置は、前記サブ特徴の各々の中心を決定するように構成され、前記評価装置は、前記サブ特徴の中心間の距離を決定するように構成され、前記評価装置は、予め定められた関係を用いて、前記サブ特徴の中心間の距離から、前記物体と前記プロジェクタ及び/又は前記センサ要素との間の距離に関する情報を決定するように構成されている、先行する実施形態による検出器。
実施形態6:前記評価装置は、前記物体と前記プロジェクタ及び/又は前記センサ要素との間の決定された距離を考慮して、修正された縦方向座標zを決定するように構成されている、先行する2つの実施形態のいずれか1つによる検出器。
実施形態7:前記評価装置は、各サブ特徴内のスペックルコントラスト推定によって前記物体の材料特性を識別するように構成され、前記評価装置は、前記材料特性を考慮して修正された縦方向座標zを決定するように構成されている、先行する実施形態のいずれか1つによる検出器。
実施形態8:前記評価装置がエッジ検出するように構成され、前記照射特徴は少なくとも3つのサブ特徴を含み、前記評価装置は、それぞれのサブ特徴のセンサ信号からの結合信号Qを評価することによって、前記サブ特徴のそれぞれについて前記物体の縦方向座標を決定するように構成され、前記評価装置は、前記サブ特徴から決定された縦方向座標から、前記物体の反射面の法線及び局所方向を決定するように構成されている、先行する実施形態のいずれか1つによる検出器。
実施形態9:前記センサ要素及び前記プロジェクタは、前記行がエピポーラ線に平行になるように位置決めされている、先行する実施形態のいずれか1つによる検出器。
実施形態10:前記オフセットδは、
Figure 2023522755000004
であり、式中a及びbは整数である、先行する9つの実施形態のいずれか1つによる検出器。
実施形態11:前記評価装置は、前記センサ信号を除算すること、前記センサ信号の倍数を除算すること、前記センサ信号の線形結合を除算することのうちの1つ以上によって、前記結合信号Qを導出するように構成され、前記評価装置は、前記縦方向座標を決定するために前記結合信号Qと前記縦方向座標zの間の少なくとも1つの所定の関係を使用するように構成されている、先行する実施形態のいずれか1つによる検出器。
実施形態12:前記評価装置は、前記結合信号Qを評価することによって、前記選択された反射特徴の縦方向領域を決定するように構成され、前記縦方向領域は、前記縦方向座標z及び誤差間隔±εによって与えられ、前記評価装置は、前記縦方向領域に対応する少なくとも1つの参照画像における少なくとも1つの変位領域を決定するように構成され、前記評価装置は、前記選択された反射特徴を前記変位領域内の少なくとも1つの参照特徴とマッチングさせるように構成され、前記評価装置は、前記マッチングした参照特徴と前記選択された反射特徴の変位を決定するように構成され、前記評価装置は、前記縦方向座標と前記変位との間の所定の関係を用いて、前記マッチングした特徴の縦方向情報を決定するように構成されている、先行する実施形態のいずれか1つによる検出器。
実施形態13:先行する実施形態のいずれか1つによる検出器を使用することによって、少なくとも1つの物体の位置を決定するための方法であって、前記方法は、以下の方法ステップ:
- 検出器の少なくとも1つのプロジェクタによって生成された少なくとも1つの照射パターンで物体を照射するステップであって、前記照射パターンは、複数の照射特徴を含み、前記照射特徴は空間的に変調され、前記照射特徴は、パターン化された照射特徴であり、前記パターン化された照射特徴の各々は複数のサブ特徴を含み、及び/又は、前記照射特徴が行で等距離に周期的パターンで配置され、前記照射特徴の行のそれぞれはオフセットを有し、隣接する列の前記オフセットが異なっている、ステップと;
- 光センサのマトリックスを有するセンサ要素の前記光センサの感光エリアに入射する各反射光ビームについて、照射に応答して少なくとも1つのセンサ信号を生成するステップと;
- 前記センサ要素を用いて、少なくとも1つの反射画像を決定するステップと;
- 前記反射画像の少なくとも1つの反射特徴を選択し、少なくとも1つの評価装置を使用して前記センサ信号を評価し、それによって前記選択された反射特徴の少なくとも1つの縦方向座標zを決定するステップであって、前記評価は、前記センサ信号からの結合信号Qを評価することを含むステップと、
を含む、方法。
実施形態14:先行する実施形態のいずれか1つによる検出器の使用であって、使用目的が、交通技術における位置測定、娯楽用途、セキュリティ用途、監視用途、安全用途、ヒューマンマシンインターフェース用途、物流用途、追跡用途、屋外用途、モバイル用途、通信用途、写真用途、マシンビジョン用途、ロボット用途、品質管理用途、製造用途からなる群から選択される、使用。
本発明のさらなる任意の詳細及び特徴は、従属請求項と関連して続く好ましい例示的な実施形態の説明から明らかである。この文脈では、特定の特徴は、個別に実施されても、又は他の特徴と組み合わせて実施されてもよい。本発明は、例示的な実施形態に限定されない。例示的な実施形態は、図に模式的に示されている。個々の図における同一の符号は、同一の要素又は同一の機能を有する要素、又はその機能に関して互いに対応する要素を指している。
具体的には、以下の図の中で:
本発明による検出器の一実施形態を示す図である。 図2A及び図2Bは、照射パターンの実施形態を示す図である。 図3A及び図3Bは、照射特徴の実施形態及び照射パターンのさらなる実施形態を示す図である。
実施形態の詳細な説明
図1は、本発明による少なくとも1つの物体112の位置を決定するための検出器110の実施形態を高度に概略的に示している。検出器110は、光センサ118のマトリックス116を有する少なくとも1つのセンサ要素114を有している。光センサ118はそれぞれ、感光エリア120を有している。
センサ要素114は、一体の単一装置として、又はいくつかの装置の組み合わせとして形成され得る。マトリックス116は、具体的には、1つ以上の行及び1つ以上の列を有する長方形のマトリックスであってもよく、又はそれを含んでいてもよい。行と列は、具体的には長方形方式に配置されてよい。しかしながら、非長方形の配置など、他の配置も可能である。一例として、円形の配置も可能であり、そこでは要素は中心点のまわりに同心円又は楕円に配置される。例えば、マトリックス116は、ピクセルの単一の行であってよい。他の配置も可能である。
マトリックス116の光センサ118は、具体的には、サイズ、感度、及び他の光学的、電気的、機械的特性のうちの1つ以上で等しくてよい。マトリックス116の全ての光センサ118の感光エリア120は、具体的には、共通の平面内に配置されてよく、該共通平面は、好ましくは、物体112から検出器110に伝播する光ビームが該共通平面上に光スポットを生成するように、物体に面してよい。感光エリア120は、具体的には、それぞれの光センサ118の表面に位置することができる。しかしながら、他の実施形態も可能である。
光センサ118は、例えば、少なくとも1つのCCD及び/又はCMOS装置を含んでいてもよい。一例として、光センサ118は、ピクセル化光学装置の一部であってもよく、又はそれを構成していてもよい。一例として、光センサは、ピクセルのマトリックスを有し、各ピクセルが感光エリア120を形成する少なくとも1つのCCD及び/又はCMOS装置の一部であってもよく、又はそれを構成してもよい。好ましくは、検出器は、光センサ118がフレーム又は撮像フレームと呼ばれる一定の期間内で同時に露光されるように構成される。例えば、光センサ118は、少なくとも1つのグローバルシャッタCMOSの一部であってもよく、又はそれを構成していてもよい。
光センサ118は、具体的には、光検出器、好ましくは無機光検出器、より好ましくは無機半導体光検出器、最も好ましくはシリコン光検出器であってもよいし、又はそれらを含んでいてもよい。具体的には、光センサ118は、赤外スペクトル範囲において感度を有してよい。マトリックス116の光センサ118の全て、又はマトリックス116の光センサ118の少なくとも一群は、具体的には同一であってよい。マトリックス116の同一の光センサ118の群は、具体的には、異なるスペクトル範囲について提供されてもよく、又は全ての光センサが、スペクトル感度に関して同一であってよい。さらに、光センサ118は、サイズ及び/又はそれらの電子的又は光電子的特性に関して同一であってよい。マトリックス116は、独立した光センサ118で構成されてよい。したがって、マトリックス116は、無機フォトダイオードから構成されていてもよい。しかしながら、代替的に、市販のマトリックス、例えば、CCD検出器チップなどのCCD検出器、及び/又はCMOS検出器チップなどのCMOS検出器の1つ以上が使用されてもよい。
光センサ118は、センサアレイを形成してもよく、又は上述のマトリックスなどのセンサアレイの一部であってよい。したがって、一例として、検出器110は、例えばm行及びn列を有する長方形アレイなどの光センサ118のアレイを有することができ、ここでm、nは独立して正の整数である。好ましくは、1を超える列及び1を超える行が与えられ、すなわち、n>1、m>1である。したがって、一例として、nは2~16以上であり得、mは2~16以上であり得る。好ましくは、行数と列数の比は1に近い。一例として、n及びmは、m/n=1:1、4:3、16:9又は類似のものを選択することなどにより、0.3≦m/n≦3となるように選択され得る。一例として、アレイは、m=2、n=2又はm=3、n=3などを選択することなどにより、等しい数の行及び列を有する正方形アレイであってよい。
マトリックス116は、具体的には、少なくとも1行、好ましくは複数行及び複数列を有する長方形のマトリックスであってよい。一例として、行及び列は、実質的に垂直な方向に配向されてよい。広い視野を提供するために、マトリックス116は、具体的には、少なくとも10行、好ましくは少なくとも50行、より好ましくは少なくとも100行を有することができる。同様に、マトリックスは、少なくとも10列、好ましくは少なくとも50列、より好ましくは少なくとも100列を有することができる。マトリックス116は、少なくとも50個の光センサ118、好ましくは少なくとも100個の光センサ118、より好ましくは少なくとも500個の光センサ118を含むことができる。マトリックス116は、数メガピクセルの範囲の数のピクセルを含むことができる。しかしながら、他の実施形態も可能である。
検出器110は、物体112を少なくとも1つの照射パターン124で照射するためのプロジェクタ122をさらに含む。プロジェクタ122は、特に少なくとも1つの光ビームを生成するための少なくとも1つのレーザ源126を備えることができる。プロジェクタ122は、特にレーザ源126の光ビームから照射パターン124を生成及び/又は形成するための、少なくとも1つの回折光学要素128を備える。プロジェクタ122は、照射パターン124が、プロジェクタ122から、特にプロジェクタ122のハウジングの少なくとも1つの開口部130から、物体112に向かって伝播するように構成されることができる。プロジェクタ122は、点群を生成及び/又は投影するように構成されてよく、例えば、プロジェクタ122は、少なくとも1つのデジタル光処理(DLP)プロジェクタ、少なくとも1つのLCoSプロジェクタ、少なくとも1つのレーザ源、少なくとも1つのレーザ源のアレイ;少なくとも1つの発光ダイオード;少なくとも1つの発光ダイオードのアレイを備えていてよい。レーザ光源126は、集光光学部品134を含むことができる。プロジェクタ122は、複数のレーザ光源126を含むことができる。さらに、追加の照射パターンが、少なくとも1つの周囲光源によって生成されることができる。
プロジェクタ122は、少なくとも1つの制御ユニット136を含むことができる。制御ユニット136は、レーザ源126を制御するように構成され得る。制御ユニット136は、少なくとも1つの処理装置、特に少なくとも1つのプロセッサ及び/又は少なくとも1つの特定用途向け集積回路(ASIC)を含むことができる。制御ユニット136は、レーザ源126の制御を実行するように構成された1つ以上のコンピュータ、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、又はフィールドプログラマブルゲートアレイ(FPGA)などの1つ以上のプログラム可能な装置を備えることができる。制御ユニット136は、多数のコンピュータコマンドを含むそこに保存されたソフトウェアコードを有する少なくとも1つの処理装置を含んでよい。制御ユニット136は、レーザ源126の制御を実行するための1つ以上のハードウェア要素を提供することができ、及び/又は、レーザ源の制御を実行するために、そこで作動するソフトウェアを有する1つ以上のプロセッサを提供することができる。制御ユニット136は、レーザ源の制御を行うための少なくとも1つの電子信号を発行及び/又は生成するように構成されていてよい。制御ユニット136は、レーザ源126を制御するための1つ以上の無線及び/又は有線結合インターフェース及び/又は他の種類の制御接続を有してもよい。制御ユニット136及びレーザ源は、1つ以上のコネクタ及び/又は1つ以上のインターフェースによって相互に接続されてもよい。
照射パターン124は、複数の照射特徴125を含む。照射パターン124は、以下:少なくとも1つの点パターン、特に擬似ランダム点パターン;ランダム点パターン又は準ランダムパターン;少なくとも1つのソボル(Sobol)パターン;少なくとも1つの準周期的パターン;少なくとも1つの既知の特徴を含む少なくとも1つのパターン;少なくとも1つの規則的なパターン;少なくとも1つの三角形パターン;少なくとも1つの六角形パターン;少なくとも1つの長方形パターン;凸状の均一なタイル状体(tiling)を含む少なくとも1つのパターン;少なくとも1つの線を含む少なくとも1つの線パターン;平行線又は交差線などの少なくとも2つの線を含む少なくとも1つの線パターン、からなる群から選択される少なくとも1つのパターンを含むことができる。例えば、プロジェクタ122は、点群を生成及び/又は投影するように構成され得る。例えば、プロジェクタ122は、照射パターンが複数の点特徴を含み得るように、点群を生成するように構成され得る。
照射特徴125は、空間的に変調されている。照射パターン、特に照射特徴125の空間的配置は、センサ要素114の視野に関して設計されてよい。具体的には、照射特徴125は、パターン化された照射特徴125であり、該パターン化された照射特徴125の各々は、複数のサブ特徴を含み、及び/又は、該照射特徴125は、行で等距離に周期的パターンで配置され、照射特徴125の行の各々は、オフセットを有し、隣接する行のオフセットは異なる。
図2Aに示されるように、照射特徴125は、行で等距離に周期的なパターンで配置され得る。行上の隣接する照射特徴間の距離はdであり得る。照射特徴125の行の各々はオフセットδを有してよく、隣接する行のオフセットは異なっている。オフセットδは、隣接する行の間の空間距離であってもよい。図1のセンサ要素114及びプロジェクタ122は、行がエピポーラ線137に平行になるように位置決めされることができる。照射パターン124は、2つの隣接する照射特徴125がエピポーラ線124上で適切な距離を有するように選択されることができる。2つの照射特徴125の間の距離は、光子比からの深さ技術によってエピポーラ線124上の2つの点を明確に割り当てることが可能であるような距離であってよい。適切な距離は、光子比からの深さ技術の距離誤差、及び/又は、センサ要素114とプロジェクタ122のベースラインからの距離誤差に依存し得る。
照射特徴125は、以下のように配置されてよい。照射パターン124は、照射特徴125が距離dで等距離位置に配置される多数の行を含むことができる。行はエピポーラ線137に対して直交する。行の間の距離は一定であってよい。異なるオフセットは、同じ方向の行ごとに適用され得る。オフセットにより、行の照射特徴がシフトされるという結果を生じ得る。オフセットδは、
Figure 2023522755000005
であってよく、式中a及びbは、照射パターンが周期的なパターンであるような正の整数である。例えば、δは、1/3又は2/5であり得る。このように構築された照射パターン124は、初期の規則的な長方形のパターンと比較して、シフトされたグリッドを示す。このグリッド配置のエピポーラ線137上の特徴間の距離は、初期の規則的な長方形パターンと比較して3倍大きい。照射特徴125のオフセット及び密度は、対応問題を解くためのロバスト性を高めることができる。図2Bは、センサ要素114の視野139における照射パターン124を示す。オフセットを使用することによって、照射特徴125は、照射パターン124がセンサ要素114の視野139と一致するように配置されることができる。
照射特徴125は、パターン化された照射特徴であってよい。パターン化された照射特徴の各々は、複数のサブ特徴141を含み得る。同一の照射特徴125に属するサブ特徴141は、同一の形状であってよい。例えば、照射特徴125は、それぞれが中心と半径を有する複数の円を含むことができる。同一の照射特徴125に属するサブ特徴141は、照射パターン124における異なる空間位置に配置されてよい。具体的には、サブ特徴141の中心は、照射パターン124において異なる空間位置に配置される。サブ特徴141の拡張範囲は、それらが明確に区別できるように選択されてよい。例えば、パターン化された照射特徴125は、多数のより小さい光スポット、又は特定のパターンを形成するように密集されたいくつかのより小さい光スポットのクラスタを含むパターン化された光スポットであり得るか、又はそれを含み得る。これらのパターン化された照射特徴の45度、90度、又は180度回転されたような回転バージョンも使用されることができる。選択されたパターン化された照射特徴125は、照射パターン124を形成するために、例えば1000~2000回複製されることができる。言い換えれば、投影された照射パターン124は、選択されたパターン化された照射特徴125の例えば1000~2000回のコピーを含むことができる。
例えば、図1のプロジェクタ122は、レーザビームとも示される少なくとも1つの光ビームを生成するように構成された単一の光源、特に単一のレーザ源126を備えることができる。プロジェクタ122は、パターン化された照射特徴を含む照射パターン124を生成するために、単一のレーザ源によって生成されたレーザビームを回折及び複製するための少なくとも1つの転送装置、特にDOE128を備えることができる。回折光学要素128は、ビーム成形及び/又はビーム分割のために構成されてよい。
例えば、プロジェクタ122は、特定のパターンに従って、光ビームのクラスタを生成するように構成された密集された光源、特にレーザ光源126の少なくとも1つのアレイを備えることができる。レーザ光源126の密度は、個々の光源のハウジングの拡張及び光ビームの識別可能性に依存し得る。プロジェクタ122は、パターン化された照射特徴を含む照射パターン124を生成するために、光ビームのクラスタを回折及び複製するための少なくとも1つの転送装置、特にDOE128を備えることができる。
図3Aは、物体112に投影される照射パターン124を形成するために使用され得るパターン化された照射特徴の一例を示す。上の行の照射特徴125は、異なる空間配置の4つのサブ特徴141を含む。下の行の左から右に、2つのサブ特徴141を有する照射特徴125、3つのサブ特徴141を有する照射特徴125、及び7つのサブ特徴141を有する照射特徴125が示されている。図3Bは、サブ特徴142を有する26個のパターン化された照射特徴125を含む投影された照射パターン124を示す。
図1では、各光センサ118は、物体112から検出器110に伝播する反射光ビームによるそのそれぞれの感光エリア120の照射に応答して、少なくとも1つのセンサ信号を生成するように設計されている。さらに、センサ要素114は、少なくとも1つの反射パターン138を含む少なくとも1つの反射画像142を決定するように構成されている。反射画像142は、反射特徴として点を含み得る。これらの点は、物体112から発生する反射光ビームによって生じる。センサ要素114は、反射パターン138を決定するように構成され得る。反射パターン138は、照射パターン124の少なくとも1つの照射特徴125に対応する少なくとも1つの特徴を含み得る。反射パターン138は、照射パターン124と比較して、少なくとも1つの歪んだパターンを含み得、歪みは、物体112の表面特性などの、物体112の距離に依存する。
検出器110は、少なくとも1つのレンズ、例えば、少なくとも1つの焦点調節可能レンズ、少なくとも1つの非球面レンズ、少なくとも1つの球面レンズ、少なくとも1つのフレネルレンズからなる群から選択される少なくとも1つのレンズ;少なくとも1つの回折光学要素;少なくとも1つの凹面鏡;少なくとも1つのビーム偏向要素、好ましくは少なくとも1つのミラー;少なくとも1つのビーム分割要素、好ましくはビーム分割キューブ又はビーム分割ミラーのうちの少なくとも1つ;少なくとも1つのマルチレンズシステム、のうちの1つ以上を含む少なくとも1つの転送装置140を備えることができる。特に、転送装置140は、画像面内の少なくとも1つの物体点に焦点を合わせるように構成された少なくとも1つのコリメートレンズを含むことができる。
検出器110は、少なくとも1つの評価装置144を含む。評価装置144は、反射画像142の少なくとも1つの反射特徴を選択するように構成される。評価装置144は、上述したように、反射パターン138の少なくとも1つの特徴を選択し、センサ信号からの結合信号Qを評価することによって、反射パターンの選択された特徴の縦方向座標を決定するように構成され得る。したがって、検出器110は、反射画像142の少なくとも1つの反射特徴を事前に分類するように構成されることができる。
評価装置144は、反射特徴を識別するために、少なくとも1つの画像解析及び/又は画像処理を実行するように構成されてよい。画像解析及び/又は画像処理は、少なくとも1つの特徴検出アルゴリズムを使用してよい。画像解析及び/又は画像処理は:フィルタリング;少なくとも1つの関心領域の選択;センサ信号によって生成された画像と少なくとも1つのオフセットとの間の差分画像の形成;センサ信号によって生成された画像を反転することによるセンサ信号の反転;異なる時間のセンサ信号によって生成された画像間の差分画像の形成;背景補正;カラーチャネルへの分解;色相への分解;飽和;そして輝度チャネル;周波数分解;特異値分解;キャニーエッジ検出器の適用;ガウスフィルタのラプラシアンの適用;ガウスフィルタの差分の適用;ソーベル演算子の適用;ラプラス演算子の適用;Scharr演算子の適用;プレウィット演算子の適用;ロバーツ演算子の適用;Kirsch演算子の適用;ハイパスフィルタの適用;ローパスフィルタの適用;フーリエ変換の適用;ラドン変換の適用;ハフ変換の適用;ウェーブレット変換の適用;閾値処理;バイナリイメージの作成、のうち1つ以上を含み得る。関心領域は、ユーザにより手動によって決定されるか、あるいは、光センサ118によって生成された画像内で物体を認識することによってなど、自動で決定され得る。
評価装置144は、センサ信号からの結合信号Qを評価することにより、反射画像142の選択された反射特徴の少なくとも1つの縦方向座標zを決定するように構成される。評価装置144は、センサ信号を除算すること、センサ信号の倍数を除算すること、センサ信号の線形結合を除算することのうちの1つ以上によって、結合信号Qを導出するように構成されてよい。評価装置144は、縦方向領域を決定するために、結合信号Qと縦方向領域との間の少なくとも1つの所定の関係を使用するように構成されてもよい。例えば、評価装置144は、次のように結合信号Qを導出するように構成される。
Figure 2023522755000006
式中、x及びyは横方向座標、A1及びA2はセンサの位置における反射光ビームの少なくとも1つのビームプロファイルの異なるエリア、E(x、y、z)は物体距離zで与えられるビームプロファイルを表す。エリアA1とエリアA2は異なっていてよい。特に、A1とA2は合同ではない。したがって、A1及びA2は、形状又は内容のうちの1つ以上で異なっていてよい。ビームプロファイルは、光ビームの横方向の強度プロファイルであってよい。ビームプロファイルは、光ビームの断面であってよい。ビームプロファイルは、台形ビームプロファイル;三角形ビームプロファイル;円錐形ビームプロファイル及びガウスビームプロファイルの線形結合からなる群から選択されてよい。一般に、ビームプロファイルは、輝度L(z)及びビーム形状S(x,y;z)に依存し、E(x,y;z)=L・Sである。このように、結合信号を導出することで、輝度から独立して縦方向座標を決定することができる。さらに、結合信号を使用することにより、物体の大きさとは無関係に距離zを決定することができる。このように、結合信号は、物体の材料特性及び/又は反射特性及び/又は散乱特性とは無関係に、及び、例えば製造精度、熱、水分、汚れ、レンズの損傷などによる光源の変化とは無関係に、距離zを決定することを可能にする。
センサ信号のそれぞれは、光ビームのビームプロファイルの少なくとも1つのエリアの少なくとも1つの情報を含むことができる。感光エリア120は、第1センサ信号がビームプロファイルの第1エリアの情報を含み、及び第2センサ信号がビームプロファイルの第2エリアの情報を含むように配置されてよい。ビームプロファイルの第1エリア及びビームプロファイルの第2エリアは、隣接又は重複する領域の一方又は両方であってよい。ビームプロファイルの第1エリアとビームプロファイルの第2エリアは、面積において正確に合致しない場合がある。
評価装置144は、ビームプロファイルの第1エリア及びビームプロファイルの第2エリアを決定及び/又は選択するように構成されてよい。ビームプロファイルの第1エリアは、ビームプロファイルの実質的にエッジ情報を含んでよく、ビームプロファイルの第2エリアは、ビームプロファイルの実質的に中心情報を含んでよい。ビームプロファイルは、中心、すなわちビームプロファイルの最大値及び/又はビームプロファイルのプラトーの中心点及び/又は光スポットの幾何学的中心と、中心から延びる立下りエッジとを有してよい。第2領域は、断面の内側領域を含んでよく、第1領域は、断面の外側領域を含んでよい。好ましくは、中心情報は、10%未満、より好ましくは5%未満、のエッジ情報の割合を有し、最も好ましくは、中心情報はエッジ内容を含まない。エッジ情報は、ビームプロファイル全体の情報、特に中心領域及びエッジ領域からの情報を含み得る。エッジ情報は、10%未満、好ましくは5%未満の中心情報の割合を有し、より好ましくは、エッジ情報は中心情報を含まない。ビームプロファイルが中心に近いか又はその周囲にあり、実質的に中心情報を含む場合は、ビームプロファイルの少なくとも1つのエリアは、ビームプロファイルの第2エリアとして決定及び/又は選択されてよい。ビームプロファイルが断面の立下りエッジの少なくとも部分を含む場合は、ビームプロファイルの少なくとも1つのエリアは、ビームプロファイルの第1エリアとして決定及び/又は選択されてよい。例えば、断面の全エリアが第1領域として決定されてよい。ビームプロファイルの第1エリアをエリアA2、ビームプロファイルの第2エリアをエリアA1としてよい。同様に、中心信号及びエッジ信号も、ビームプロファイルの円形セグメントなどのビームプロファイルのセグメントを使用することによって決定されることができる。例えば、ビームプロファイルは、ビームプロファイルの中心を通過しない割線又は弦によって2つのセグメントに分割され得る。したがって、一方のセグメントには実質的にエッジ情報が含まれ、もう一方のセグメントには実質的に中心情報が含まれる。例えば、中心信号のエッジ情報の量をさらに減らすために、中心信号からエッジ信号をさらに差し引くことができる。
エッジ情報は、ビームプロファイルの第1エリアの光子数に関する情報を含むことができ、中心情報は、ビームプロファイルの第2エリアの光子数に関する情報を含むことができる。評価装置144は、ビームプロファイルの面積分を決定するように構成されてよい。評価装置144は、第1エリアの積分及び/又は加算によってエッジ情報を決定するように構成されてよい。評価装置144は、第2エリアの積分及び/又は加算によって中心情報を決定するように構成されてよい。例えば、ビームプロファイルは台形ビームプロファイルであってよく、評価装置は、台形の積分値を決定するように構成されてよい。さらに、台形ビームプロファイルが想定される場合、エッジ信号と中心信号の決定は、エッジの勾配と位置、ならびに中心プラトーの高さの決定などの台形ビームプロファイルの特性を利用し、幾何学的考察によってエッジと中心信号を導出する等価評価によって置き換えられることができる。
追加的又は代替的に、評価装置144は、光スポットの少なくとも1つのスライス又はカットから中心情報又はエッジ情報の一方又は両方を決定するように構成され得る。これは、例えば、結合信号Qの面積分をスライス又はカットに沿った線積分に置き換えることによって実現されることができる。精度を向上させるために、光スポットを通る複数のスライス又はカットを使用して平均化することができる。楕円スポットプロファイルの場合、いくつかのスライス又はカットを平均することによって距離情報を向上させることがある。
例えば、評価装置144は、
a)最高のセンサ信号を有する少なくとも1つの光センサ118を決定し、少なくとも1つの中心信号を形成すること;
b)マトリックス116の光センサ118のセンサ信号を評価し、少なくとも1つの和信号を形成すること;
c)中心信号と和信号を組み合わせることにより、少なくとも1つの結合信号を決定すること;及び
d)結合信号を評価することにより、選択された特徴の少なくとも1つの縦方向座標zを決定すること、
によって、センサ信号を評価するように構成されてよい。
例えば、中心信号は、マトリックス116全体又はマトリックス116内の関心領域の光センサ118によって生成される複数のセンサ信号のうち、最高のセンサ信号を有する少なくとも1つの光センサ116の信号であり得、該関心領域は、マトリックス116の光センサによって生成される画像内で予め決定され又は決定可能であり得る。中心信号は、単一の光センサ118から、又は一群の光センサ118から生じてもよく、後者の場合、一例として、一群の光センサ118のセンサ信号は、中心信号を決定するために、加算、積分、又は平均化され得る。中心信号がそれから生じる光センサ118の一群は、最高のセンサ信号を有する実際の光センサから所定の距離より短く離れた光センサ118などの隣接する光センサの一群であり得るか、又は、最高のセンサ信号から所定の範囲内にあるセンサ信号を生成する光センサの一群であり得る。中心信号がそこから生じる光センサ118の一群は、最大のダイナミックレンジを可能にするように、できるだけ大きく選択され得る。評価装置144は、複数のセンサ信号、例えば最高のセンサ信号を有する光センサの周りの複数の光センサのセンサ信号を積分することによって中心信号を決定するように構成されてよい。
中心信号の決定は、センサ信号の比較が従来の電子機器によってかなり簡単に実装されるため、電子的に実行されてもよく、又はソフトウェアによって完全に又は部分的に実行されてもよい。光スポットの中心の検出、すなわち、中心信号及び/又は中心信号が生じる少なくとも1つの光センサの検出は、完全に又は部分的に電子的に実行され得るか、又は1つ以上のソフトウェアアルゴリズムを使用して完全に又は部分的に実行され得る。具体的には、評価装置144は、少なくとも1つの最高のセンサ信号を検出するため、及び/又は中心信号を形成するための少なくとも1つの中心検出器を備えることができる。中心検出器は、具体的には、完全に又は部分的にソフトウェアで具体化されてもよく、及び/又は完全又は部分的にハードウェアで具体化されてもよい。中心検出器は、少なくとも1つのセンサ要素に完全に又は部分的に一体化されてもよく、及び/又はセンサ要素から独立して完全に又は部分的に具体化されてもよい。
具体的には、中心信号は、最高センサ信号;最高センサ信号からの所定の許容範囲内にあるセンサ信号の一群の平均;最高センサ信号を有する光センサ118を含む光センサの一群及び隣接する光センサ118の所定の一群からのセンサ信号の平均;最高センサ信号を有する光センサ118を含む光センサ118の一群及び隣接する光センサ118の所定の一群からのセンサ信号の和;最高センサ信号から所定の許容範囲内にあるセンサ信号の一群の和;所定の閾値を超えるセンサ信号の一群の平均;所定の閾値を超えるセンサ信号の一群の和;最高センサ信号を有する光センサ118の一群及び隣接する光センサ118の所定の一群からのセンサ信号の積分;最高センサ信号から所定の許容範囲内にあるセンサ信号の一群の積分;所定の閾値を超えるセンサ信号の一群の積分、からなる群から選択され得る。
例えば、和信号は、センサ信号を加算すること、センサ信号を積分すること、又はマトリックス116全体もしくはマトリックス内の関心領域のセンサ信号を平均することによって導出することができ、該関心領域は、マトリックス116の光センサ118によって生成される画像内で予め決定され又は決定可能であり得る。センサ信号を加算、積分、又は平均化する場合、センサ信号が生成される実際の光センサ118は、加算、積分、又は平均化から除外されてもよく、あるいは、加算、積分、又は平均化に含まれてもよい。評価装置144は、マトリックス116全体の信号、又はマトリックス116内の関心領域の信号を積分することにより、和信号を決定するように構成され得る。さらに、台形ビームプロファイルが想定される場合、エッジ信号と中心信号の決定は、エッジの勾配と位置の決定、及び中央プラトーの高さの決定など、台形ビームプロファイルの特性を利用し、そして幾何学的考察によってエッジ信号と中心信号を導出する等価評価に置き換えることができる。
和信号は、中心信号に寄与する光センサ118から生じるセンサ信号を除外してマトリックス116の全てのセンサ信号から、関心領域内のセンサ信号から、又はこれらの可能性の1つから導出できる。全ての場合において、縦方向座標を決定するために、中心信号と確実に比較することができる信頼できる和信号が生成され得る。一般に、和信号は、マトリックス116の全てのセンサ信号の平均;マトリックス116の全てのセンサ信号の和;マトリックス116の全てのセンサ信号の積分;中心信号に寄与する光センサ118からのセンサ信号を除く、マトリックス116の全てのセンサ信号の平均;中心信号に寄与する光センサ118からのセンサ信号を除く、マトリックス116の全てのセンサ信号の和;中心信号に寄与する光センサ118からのセンサ信号を除く、マトリックス116の全てのセンサ信号の積分;最高のセンサ信号を有する光センサから所定の範囲内の光センサ118のセンサ信号の和;最高のセンサ信号を有する光センサ118から所定の範囲内の光センサのセンサ信号の積分;最高のセンサ信号を有する光センサ118から所定の範囲内に位置する光センサ118の所定の閾値を超えるセンサ信号の和;最高のセンサ信号を有する光センサから所定の範囲内にある光センサ118の所定の閾値を超えるセンサ信号の積分、からなる群から選択され得る。しかしながら、他の選択肢が存在する。加算は、ソフトウェアで完全に又は部分的に実行され、及び/又はハードウェアで完全に又は部分的に実行され得る。加算は、通常検出器に容易に実装される純粋に電子的な手段によって可能である。したがって、電子工学の分野では、加算装置は一般に、アナログ信号とデジタル信号の両方の2つ以上の電子信号を加算するものが知られている。したがって、評価装置144は、和信号を形成するための少なくとも1つの加算装置を備えることができる。加算装置は、完全に又は部分的にセンサ要素に一体化されてもよく、又は完全に又は部分的にセンサ要素とは独立して具体化されてもよい。加算装置は、完全に又は部分的に、ハードウェア又はソフトウェアの一方又は両方で具体化されてもよい。
結合信号は、中心信号と和信号を結合することによって生成される信号であり得る。具体的には、結合は:中心信号と和信号の商を形成すること、又はその逆の商を形成すること;中心信号の倍数と和信号の倍数の商を形成すること、又はその逆の商を形成すること;中心信号の線形結合と和信号の線形結合の商を形成すること、又はその逆の商を形成すること、の1つ以上を含むことができる。追加的に又は代替的に、結合信号は、中心信号と和信号との間の比較に関する少なくとも1つの情報項目を含む任意の信号又は信号の組み合わせを含むことができる。評価装置144は、センサ信号間の少なくとも1つの既知の、決定可能な、又は予め決定された関係を使用して、物体の少なくとも1つの縦方向座標zを決定するように構成されてよい。特に、評価装置144は、センサ信号から導出される商信号と縦方向座標との間の少なくとも1つの既知の、決定可能な、又は予め決定された関係を用いて、物体の少なくとも1つの座標zを決定するように構成されてよい。
中心信号と和信号との間の比較は、具体的には、1つ以上の商信号を形成することによって実行されてもよい。したがって、一般的に、結合信号は、中心信号と和信号の商を形成すること、又はその逆の商を形成すること;中心信号の倍数と和信号の倍数の商を形成すること、又はその逆の商を形成すること;中心信号の線形結合と和信号の線形結合の商を形成すること、又はその逆の商を形成すること;中心信号の商と和信号と中心信号の線形結合の商を形成すること、又はその逆の商を形成すること;和信号の商と和信号と中心信号の線形結合の商を形成すること、又はその逆を形成すること;中心信号のべき乗と和信号のべき乗の商を形成すること、又はその逆の商を形成すること、のうちの1つ以上によって導出される商信号Qであってよい。しかし、他の選択肢も存在する。評価装置144は、1つ以上の商信号を形成するように構成されていてもよい。評価装置144は、少なくとも1つの商信号を評価することにより、少なくとも1つの縦方向座標を決定するようにさらに構成されてよい。
評価装置144は、具体的には、少なくとも1つの縦方向座標を決定するために、結合信号Qと縦方向座標の間の少なくとも1つの所定の関係を使用するように構成されてよい。このように、上記に開示された理由により、及び光スポットの特性の縦方向座標への依存性により、結合信号Qは、典型的には、物体の縦方向座標の単調関数であり、及び/又は、光スポットの直径又は等価直径のような光スポットのサイズの単調関数である。したがって、一例として、具体的に線形光センサが使用される場合、センサ信号scenterと和信号ssumの簡単な商Q=scenter/ssumは、距離の単調減少関数であり得る。理論に拘束されることを望まないが、これは、上記の好ましい構成では、検出器に到達する光の量が減少するため、光源までの距離の増加に伴って、中心信号scenterと和信号ssumの両方が、二乗関数として減少するという事実が原因であると考えられる。しかしながら、そこでは、中心信号scenterは、実験で使用される光学構成では、画像平面内の光スポットが増大し、したがってより広いエリアに広がるため、和信号ssumよりも急速に減少する。中心信号と和信号の商は、したがって、マトリックスの光センサの感光エリア上の光ビーム又は光スポットの直径の増加に伴って連続的に減少する。さらに、商は、光ビームの総出力が中心信号と和センサ信号の両方の係数を形成するため、通常、光ビームの総出力から独立している。その結果、結合信号Qは、中心信号と和信号との間、及び光ビームのサイズ又は直径との間の一意的かつ明確な関係を提供する二次信号を形成し得る。一方、光ビームのサイズ又は直径は、光ビームが検出器に向かって伝播する物体と検出器自体の間の距離に依存するため、つまり、物体の縦方向座標に依存するため、一方では中心信号と和信号の間で、他方では中心信号と縦方向座標の間に、一意的かつ明確な関係が存在し得る。後者については、例えばWO2014/097181A1のような、上記の先行技術文献の1つ以上を参照することができる。所定の関係は、例えばガウス光ビームの線形結合を仮定することによる分析的考察により、また例えば結合信号及び/又は中心信号及び和信号又はそこから導出される二次信号を、物体の縦方向座標の関数として計測する測定などの経験的測定により、又はその両方により、決定することができる。
評価装置144は、結合信号と縦方向座標との間の少なくとも1つの所定の関係を使用するように構成されてよい。所定の関係は、経験的関係、半経験的関係、及び分析的に導出された関係のうちの1つ以上であってよい。評価装置144は、例えばルックアップリスト又はルックアップテーブルなどの、所定の関係を保存するための少なくとも1つのデータ保存装置を備えてよい。
光子比からの深さ技術は、バイアス光源又は反射性測定物体によって複数の反射を引き起こす環境の場合でさえも、減少した計算要求、特に減少した処理能力で信頼性のある距離測定を可能にする。本発明は、反射物体の材料を識別すること、及び、センサ要素114から様々な距離に配置された様々な材料が存在する場合、又はプロジェクタ122がレーザスポット特性のほぼ同一の組み合わせを生成する場合であっても、そのプロジェクタ122又はセンサ要素114までの距離を推定することを可能にする。さらに、本発明は、反射面の方向を推定すること、及びエッジを検出することを可能にする。空間的に変調された照射特徴125を含む照射パターン124は、結果として得られる変調された照射特徴の少なくとも1つの特性又はパラメータを、反射ターゲット物体の材料の物理的特性によって生じる変形に対してよりロバストにすることができる。この少なくとも1つの特性又はパラメータは、反射物体112とプロジェクタ122又はセンサ要素114との間の距離にのみ依存し得る。照射特徴125の他の特性又はパラメータは、反射材料のタイプ及び物理的特性、ならびにそのプロジェクタ122又はセンサ要素114までの距離に関する情報を提供するために、変更及び変形されることが可能である。上記で概説されたように、照射特徴125は、パターン化された照射特徴であってよく、パターン化された照射特徴125のそれぞれは、複数のサブ特徴141を含む。評価装置144は、反射画像142のパターン化された反射特徴を分析することによって、物体112とプロジェクタ122及び/又はセンサ要素114との間の距離に関する情報を決定するように構成され得る。評価装置144は、各パターン化された照射特徴を見つけ、セグメント化するように構成され得る。評価装置144は、サブ特徴の各々の中心を決定するように構成されてよい。評価装置144は、サブ特徴141の中心間の距離を決定するように構成されてよい。評価装置144は、予め定められた関係を用いて、サブ特徴141の中心間の距離から、物体112とプロジェクタ122及び/又はセンサ要素114との間の距離に関する情報を決定するように構成され得る。評価装置144は、物体112とプロジェクタ122及び/又はセンサ要素114との間の決定された距離を考慮して、修正された縦方向座標zを決定するように構成されてよい。修正された縦方向座標は、精度が向上した縦方向座標であり得る。
評価装置144は、エッジ検出するように構成されてよい。照射特徴125は、少なくとも3つのサブ特徴141を含むことができる。評価装置144は、それぞれのサブ特徴141のセンサ信号からの結合信号Qを評価することによって、サブ特徴141のそれぞれについて、物体112の縦方向座標を決定するように構成されてよい。評価装置144は、サブ特徴141から決定された縦方向座標から、物体112の反射面の法線及び局所方向を決定するように構成されてよい。反射面の法線及び局所方向を推定することを可能にし、このパターン化されたレーザスポットがエッジ上で反射されたか否かを知ることを可能にするために、1つのパターン化された照射特徴のみで十分であり得る。
さらに、問題のある反射面の場合、使用可能なレーザスポット反射を得る確率は、比較的まばらに分布している単一スポットと比較して、このように密集したスポットのクラスタを投影する場合に高くなる。
本発明は、光子比からの深さ技術使用して、距離及び深度測定の性能を向上させることを可能にし得る。これは、ハードウェア側の簡単な修正と、現在使用されているアルゴリズムへの簡単な計算的に高効率の追加によって行うことができる。その結果、検出器110は、より優れた性能を得ることができ、多数の追加のアプリケーションに使用することができる。
DPR技術によって決定された距離は、照射特徴ごとの距離推定を提供し、センサ要素114とプロジェクタ122の既知の位置によって、三角測量法によって精緻化されることができる。三角測量を用いて精緻化された縦方向座標を計算するためには、いわゆる対応問題を解決する必要がある。長方形パターンなどの規則的なパターンを用いる場合、隣接する2点がエピポーラ線上で直接隣接する場合がある。ロバストな対応問題のために、パターンの点密度が低くなるように、パターンの特徴の物理的な距離は大きくてよい。上記で概説されたように、本出願は、照射特徴125が行で等距離に周期的なパターンに配置されることを提案し、ここで照射特徴の行の各々はオフセットを有し、隣接する行のオフセットは異なる。オフセットは、エピポーラ線上の大きな距離を有する特徴密度での到達を可能にし、対応問題のロバスト性を強化することができる。差分オフセットの選択は、照射パターン124の構造がセンサ要素114の視野に関して設計され得るようなものであり得る。
評価装置144は、結合信号Qを評価することによって、選択された反射特徴の縦方向領域を決定するように構成されてもよく、該縦方向領域は、縦方向座標z及び誤差間隔±εによって与えられる。誤差εは、光センサ118の測定不確実性に依存し得る。光センサ118の測定不確実性は、事前に決定及び/又は推定されてもよく、及び/又は、評価装置144の少なくとも1つのデータ保存ユニットに保存されてもよい。例えば、誤差間隔は、±10%、好ましくは±5%、より好ましくは±1%であってよい。
評価装置144は、縦方向領域に対応する少なくとも1つの参照画像における少なくとも1つの変位領域を決定するように構成されてよい。参照画像は、反射画像142と比較して異なる空間位置で決定される、反射画像とは異なる画像であってよい。参照画像は、少なくとも1つの参照特徴を記録すること、少なくとも1つの参照特徴を画像化すること、参照画像を計算することの1つ以上によって決定され得る。参照画像及び反射画像は、一定の距離を有する異なる空間位置で決定された物体の画像であってよい。距離は、ベースラインとも呼ばれる相対距離であってよい。評価装置144は、少なくとも1つの反射特徴に対応する少なくとも1つの参照画像の少なくとも1つの参照特徴を決定するように構成されてよい。評価装置144は、画像解析を実行し、反射画像142の特徴を識別するように構成され得る。評価装置144は、実質的に同一の縦方向座標を有する参照画像内の少なくとも1つの参照特徴を、選択された反射特徴として識別するように構成され得る。反射特徴に対応する参照特徴は、エピポーラ幾何学を使用して決定されることができる。エピポーラ幾何学の説明については、例えば、X.Jiang、H.Bunkeによる「Dreidimensionales Computersehen」シュプリンガー、ベルリンハイデルベルク、1997年を参照されたい。エピポーラ幾何学は、参照画像及び反射画像142が、固定距離を有する異なる空間位置及び/又は空間配向で決定される物体の画像であることを仮定し得る。参照画像及び反射画像142は、固定距離を有する異なる空間位置で決定された物体112の画像であり得る。評価装置144は、参照画像におけるエピポーラ線137を決定するように構成され得る。参照画像と反射画像の相対位置は既知であることができる。例えば、参照画像と反射画像142の相対位置は、評価装置144の少なくとも1つの保存ユニット内に保存され得る。評価装置144は、反射画像142の選択された反射特徴から延びる直線を決定するように構成され得る。直線は、選択された特徴に対応する、あり得る物体特徴を含み得る。直線とベースラインはエピポーラ平面を展開する。参照画像が反射画像とは異なる相対的位置で決定されるため、対応する可能な物体の特徴は、参照画像内のエピポーラ線137と呼ばれる直線上に画像化され得る。したがって、反射画像の選択された特徴に対応する参照画像の特徴は、エピポーラ線137上に位置する。画像の歪み、あるいは経年変化、温度変化、機械的ストレスなどによるシステムパラメータの変化により、エピポーラ線137は互いに交差又は非常に接近していることがあり、及び/又は参照特徴と反射特徴の間の対応が不明瞭なことがある。さらに、現実世界の各既知の位置又は物体は参照画像に投影されてもよく、その逆でもよい。投影は検出器110の較正によって知られることができる一方、較正は特定のカメラのエピポーラ幾何学のティーチインに相当する。
具体的には、変位領域は、選択された反射特徴に対応する参照特徴が参照画像内に位置すると予想される参照画像内の領域であることができる。物体112までの距離に応じて、反射特徴に対応する参照特徴の画像位置は、反射画像における反射特徴の画像位置と比較して参照画像内で変位され得る。変位領域は、1つの参照特徴のみを含むことができる。変位領域はまた、複数の参照特徴を含むことができる。変位領域は、エピポーラ線137又はエピポーラ線137の一部を含むことができる。変位領域は、複数のエピポーラ線137又は複数のエピポーラ線137の複数の部分を含むことができる。変位領域は、エピポーラ線137に沿って延在してもよく、エピポーラ線137に直交して延在してもよく、又はその両方であってもよい。評価装置144は、縦方向座標zに対応してエピポーラ線137に沿って参照特徴を決定するように、及び、誤差間隔±εに対応してエピポーラ線137に沿った、又はエピポーラ線に直交する変位領域の範囲を決定するように構成されてよい。結合信号Qを使用した距離測定の測定不確実性は、測定不確実性が方向によって異なる場合があるため、非円形の変位領域をもたらす可能性がある。具体的には、エピポーラ線137又は複数のエピポーラ線137に沿った測定不確実性は、エピポーラ線137又は複数のエピポーラ線137に関する直交方向の測定不確実性よりも大きくなる可能性がある。変位領域は、エピポーラ線137又は複数のエピポーラ線137に関して直交方向に延びた領域を含み得る。評価装置は、反射特徴の画像位置の周りの変位領域を決定することができる。評価装置144は、z±εに対応するエピポーラ線137に沿った変位領域を決定するために、反射特徴の縦方向座標z及び結合信号Qからの誤差間隔±εを決定するために構成されてよい。評価装置は、選択された反射特徴を変位領域内の少なくとも1つの参照特徴とマッチングさせるように構成されてよい。マッチングは、対応する参照特徴及び反射特徴を決定及び/又は評価することを含み得る。評価装置144は、決定された縦方向座標zを考慮して少なくとも1つの評価アルゴリズムを使用することにより、反射画像の選択された特徴を変位領域内の参照特徴とマッチングさせるように構成されることができる。評価アルゴリズムは線形スケーリングアルゴリズムであってよい。評価装置144は、変位領域に最も近い及び/又は変位領域内のエピポーラ線137を決定するように構成され得る。評価装置144は、反射特徴の画像位置に最も近いエピポーラ線137を決定するように構成され得る。エピポーラ線137に沿った変位領域の範囲は、エピポーラ線137に直交する変位領域の範囲より大きいことがあり得る。評価装置144は、対応する参照特徴を決定する前にエピポーラ線137を決定するように構成され得る。評価装置144は、各反射特徴の画像位置の周りの変位領域を決定し得る。評価装置144は、例えば、変位領域に最も近いエピポーラ線137、及び/又は変位領域内のエピポーラ線137、及び/又はエピポーラ線に直交する方向に沿った変位領域に最も近いエピポーラ線137を割り当てることなどにより、反射特徴の各画像位置の各変位領域にエピポーラ線137を割り当てるように構成され得る。評価装置144は、割り当てられた変位領域に最も近い参照特徴、及び/又は割り当てられた変位領域内の参照特徴、及び/又は割り当てられたエピポーラ線137に沿った割り当てられた変位領域に最も近い参照特徴、及び/又は割り当てられたエピポーラ線137に沿って割り当てられた変位領域内の参照特徴を決定することにより、反射特徴の画像位置に対応する参照特徴を決定するように構成され得る。
追加的に又は代替的に、評価装置144は以下のステップ:
- 各反射特徴の画像位置の変位領域を決定する、ステップと;
- 変位領域に最も近いエピポーラ線137、及び/又は変位領域内のエピポーラ線137、及び/又はエピポーラ線に直交する方向に沿って変位領域に最も近いエピポーラ線137を割り当てるなどによって、各反射特徴の変位領域にエピポーラ線137を割り当てる、ステップと;
- 割り当てられた変位領域に最も近い参照特徴、及び/又は割り当てられた変位領域内の参照特徴、及び/又は割り当てられたエピポーラ線137に沿って割り当てられた変位領域に最も近い参照特徴、及び/又は割り当てられたエピポーラ線137に沿って割り当てられた変位領域内の参照特徴を割り当てるなどによって、各反射特徴に少なくとも1つの参照特徴を割り当て及び/又は決定するステップと、
を実行するように構成されてよい。
追加的に又は代替的に、評価装置144は、参照画像内の反射特徴及び/又はエピポーラ線137の距離を比較することによって、及び/又は、参照画像内の反射特徴及び/又はエピポーラ線137のε重み付き距離などの誤差重み付き距離を比較し、より短い距離及び/又はε重み付き距離のエピポーラ線137及び/又は参照特徴を、参照特徴及び/又は反射特徴に割り当てることによってなど、反射特徴に割り当てられる複数のエピポーラ線137及び/又は参照特徴の間で決定するように構成されてもよい。
好ましくは、検出器110は、1つの参照特徴への明確な割り当てが可能なように、結合信号Qを使用して選択された反射特徴を事前に分類するように構成されることができる。具体的には、照射パターン124の照射特徴125は、参照画像の対応する参照特徴がエピポーラ線上で可能な限り大きい相対的な距離を互いに有するように、配置されることができる。
評価装置144は、マッチングした参照特徴及び選択された反射特徴の変位を決定するように構成され得る。評価装置144は、縦方向座標と変位との間の所定の関係を用いて、マッチングした特徴の縦方向情報を決定するように構成され得る。例えば、縦方向情報は距離値であってよい。評価装置144は、三角測量法を使用することによって所定の関係を決定するように構成され得る。反射画像内の選択された反射特徴の位置と、マッチングした参照特徴の位置、及び/又は、選択された反射特徴とマッチングした参照特徴の相対変位が既知である場合、対応する物体特徴の縦方向座標は、三角測量によって決定され得る。したがって、評価装置144は、例えば後続及び/又は列ごとに、反射特徴を選択するように構成するように、及び、参照特徴の各潜在的に可能な位置について三角測量を使用して対応する距離値を決定するように、構成され得る。変位及び対応する距離値は、評価装置144の少なくとも1つの保存装置に保存され得る。評価装置144は、一例として、少なくとも1つのプロセッサ、少なくとも1つのDSP、少なくとも1つのFPGA及び/又は少なくとも1つのASICなどの少なくとも1つのデータ処理装置を含むことができる。さらに、縦方向座標zと変位との間の少なくとも1つの予め決定された又は決定可能な関係を保存するために、予め決定された関係を保存するための1つ以上のルックアップテーブルを提供するなど、少なくとも1つのデータ保存装置が提供され得る。評価装置144は、カメラ及び/又は検出器110の内因性及び/又は外因性の較正のためのパラメータを保存するように構成され得る。評価装置144は、ツァイカメラ較正を実行するなどによって、カメラ及び/又は検出器の内因性及び/又は外因性の較正のためのパラメータを生成するように構成され得る。評価装置144は、転送装置の焦点距離、放射レンズの歪み係数、放射レンズの歪みの中心座標、走査とデジタル化のハードウェアタイミングの不完全性に起因する不確実性を説明するためのスケールファクタ、世界座標とカメラ座標間の変換の回転角度、世界座標とカメラ座標間の変換の並進コンポーネント、開口角、イメージセンサ形式、主点、スキュー係数、カメラ中心、カメラ向き、ベースライン、カメラ及び/又は照射源の回転又は並進パラメータ、開口部、焦点距離などの、パラメータを計算及び/又は推定するように構成され得る。
結合センサ信号を使用することは、誤差間隔内の縦方向座標zなどの距離の推定を可能にする。推定された縦方向座標と対応する誤差間隔に対応する変位領域を決定することにより、エピポーラ線に沿った可能な解の数を大幅に減らすことができる。可能な解の数を、1つに減らすことさえできる。縦方向座標zと誤差間隔の決定は、選択された反射特徴と参照特徴をマッチングさせる前の事前評価の間に実行されることができる。これは、計算の要求を削減することを可能にすることができ、したがって、コストを大幅に削減し、モバイル装置又は屋外装置での使用を可能にする。さらに、一般的に三角測量システムでは、大きな距離を検出するためにベースラインを大きくする必要がある。結合センサ信号を用いた縦方向座標z及び誤差間隔を事前に評価し、その後の選択された反射特徴及び参照特徴をマッチングさせることは、短いベースラインを使用することを可能にすることができ、したがって、コンパクトな装置を提供することができる。さらに、結合センサ信号を用いた縦方向座標z及び誤差間隔を事前に評価し、その後の選択された反射特徴及び参照特徴をマッチングさせることは、従来の三角測量システムと比較して、精度及び/又は速度を向上させ、及び/又は計算上の要求を低下させることができる。さらに、照射パターンにおける照射点の数などの照射特徴の数は、目の安全規則に準拠しながら周囲光と競合するように、各照射点における光強度を増加させるように、低減され得る。従来の三角測量システムでは、照射特徴の数の減少は、反射特徴と参照特徴をマッチングさせることの困難性を増加させ得る。さらに、照射パターンにおける照射点の数などの照射特徴の数は、例えば、距離測定の解像度を上げるために、例えば、モバイルアプリケーションなどにおけるように評価装置144の処理能力を増加させることなく得られた深度マップの解像度を増加させるために、増加され得る。
110 検出器
112 物体
114 センサ要素
116 マトリックス
118 光センサ
120 感光エリア
122 プロジェクタ
124 照射パターン
125 照射特徴
126 レーザ源
128 DOE
130 開口部
132 ハウジング
134 集光光学部品
136 制御ユニット
137 エピポーラ線
138 反射パターン
139 視野
140 転送装置
141 サブ特徴
142 反射画像
144 評価装置

Claims (10)

  1. 少なくとも1つの物体(112)の位置を決定するための検出器(110)であって、前記検出器(110)は:
    - 少なくとも1つの照射パターン(124)で前記物体(112)を照射するための少なくとも1つのプロジェクタ(122)であって、前記照射パターン(124)は複数の照射特徴(125)を含み、前記照射特徴(125)は前記照射特徴(125)が、パターン化された照射特徴であるように空間的に変調されている、少なくとも1つのプロジェクタ(122)と;
    - 光センサ(118)のマトリックス(116)を有する少なくとも1つのセンサ要素(114)であって、前記光センサ(118)はそれぞれ感光エリア(120)を有し、各光センサ(118)は、前記物体から前記検出器(110)に伝播する反射光ビームによるそのそれぞれの感光エリア(120)の照射に応答して少なくとも1つのセンサ信号を生成するように設計され、前記センサ要素(114)は、少なくとも1つの反射画像(142)を決定するように構成されている、少なくとも1つのセンサ要素(114)と;
    - 少なくとも1つの評価装置(144)であって、前記評価装置(144)は、前記反射画像(142)の少なくとも1つの反射特徴を選択するように構成され、前記反射特徴は、少なくとも1つの照射特徴(125)による照射に応答して前記物体(112)によって生成される画像面内の特徴であり、前記評価装置(144)は、前記センサ信号からの結合信号Qを評価することによって光子比からの深さ技術を用いることにより、前記反射画像(142)の前記選択された反射特徴の少なくとも1つの縦方向座標zを決定するように構成され、前記結合信号Qは前記センサ信号を結合することによって生成される信号であり、前記評価装置(144)は、前記センサ信号を除算すること、前記センサ信号の倍数を除算すること、前記センサ信号の線形結合を除算することのうちの1つ以上によって、前記結合信号Qを導出するように構成され、前記評価装置(144)は、縦方向領域を決定するために、前記結合信号Qと前記縦方向領域の間の少なくとも1つの所定の関係を使用するように構成されている、少なくとも1つの評価装置と、を含み、
    前記パターン化された照射特徴(125)の各々が複数のサブ特徴(141)を含み、及び/又は、前記照射特徴(125)が行で等距離に周期的パターンで配置され、前記照射特徴(125)の行の各々がオフセットを有し、隣接する列の前記オフセットは異なっている、検出器。
  2. 前記プロジェクタ(122)は、少なくとも1つの光ビームを生成するように構成された少なくとも1つの光源を備え、前記プロジェクタ(122)は、パターン化された照射特徴(125)を含む前記照射パターン(124)を生成するために、前記光ビームを回折及び複製するように構成された少なくとも1つの転送装置を備えている、請求項1に記載の検出器(110)。
  3. 前記プロジェクタ(122)は、光ビームのクラスタを生成するように構成された、特定のパターンに従って密集された光源の少なくとも1つのアレイを備え、前記プロジェクタ(122)は、前記パターン化された照射特徴(125)を含む照射パターン(124)を生成するために前記光ビームのクラスタを回折及び複製するための少なくとも1つの転送装置を備えている、請求項1又は2に記載の検出器(110)。
  4. 前記評価装置(144)は、前記反射画像(142)の前記パターン化された反射特徴を分析することによって、前記物体(112)と前記プロジェクタ(122)との間の距離に関する情報を決定するように構成され、前記評価装置(144)は、各パターン化された反射特徴を見つけ、セグメント化するように構成され、前記評価装置(144)は、前記サブ特徴(141)の各々の中心を決定するように構成され、前記評価装置(144)は、前記サブ特徴(141)の中心間の距離を決定するように構成され、前記評価装置(144)は、予め定められた関係を用いて、前記サブ特徴(141)の中心間の距離から、前記物体(112)と前記プロジェクタ(122)との間の距離に関する情報を決定するように構成されている、請求項1~3のいずれか1項に記載の検出器(110)。
  5. 前記評価装置(144)は、前記物体(112)と前記プロジェクタ(122)との間の決定された距離を考慮して、修正された縦方向座標zを決定するように構成されている、請求項4に記載の検出器(110)。
  6. 前記センサ要素(114)及び前記プロジェクタ(122)は、前記行がエピポーラ線(137)に平行になるように位置決めされている、請求項1~5のいずれか1項に記載の検出器(110)。
  7. 前記オフセットδは、
    Figure 2023522755000007
    であり、式中a及びbは、整数であり、前記オフセットは、オフセットδである、請求項1~6のいずれか1項に記載の検出器(110)。
  8. 前記評価装置(144)は、前記結合信号Qを評価することによって、前記選択された反射特徴の縦方向領域を決定するように構成され、前記縦方向領域は、前記縦方向座標z及び誤差間隔±εによって与えられ、前記評価装置(144)は、前記縦方向領域に対応する少なくとも1つの参照画像における少なくとも1つの変位領域を決定するように構成され、前記参照画像は、前記反射画像(142)と比較して異なる空間位置で決定される反射画像とは異なる画像であり、前記評価装置(144)は、前記選択された反射特徴を前記変位領域内の少なくとも1つの参照特徴とマッチングさせるように構成され、前記評価装置(144)は、前記マッチングした参照特徴と前記選択された反射特徴の変位を決定するように構成され、前記評価装置(144)は、縦方向情報と前記変位との間の所定の関係を用いて、前記マッチングした参照特徴の縦方向情報を決定するように構成されている、請求項1~7のいずれか1項に記載の検出器(110)。
  9. 請求項1~8のいずれか1項に記載の検出器(110)を使用することによって、少なくとも1つの物体(112)の位置を決定するための方法であって、以下の方法ステップ:
    - 検出器(110)の少なくとも1つのプロジェクタ(122)によって生成された少なくとも1つの照射パターンで物体(112)を照射するステップであって、前記照射パターン(124)は、複数の照射特徴(125)を含み、前記照射特徴(125)は空間的に変調され、前記照射特徴(125)は、パターン化された照射特徴(125)であり、前記パターン化された照射特徴(125)の各々は複数のサブ特徴(141)を含み、及び/又は、前記照射特徴(125)は行で等距離に周期的パターンで配置され、前記照射特徴(125)の行のそれぞれはオフセットを有し、隣接する列の前記オフセットは異なっている、ステップと;
    - 光センサ(118)のマトリックス(116)を有するセンサ要素(114)の前記光センサ(118)の感光エリア(120)に入射する各反射光ビームについて、照射に応答して少なくとも1つのセンサ信号を生成するステップと;
    - 前記センサ要素(114)を用いて、少なくとも1つの反射画像(142)を決定するステップと;
    - 前記反射画像(142)の少なくとも1つの反射特徴を選択し、少なくとも1つの評価装置(144)を使用して前記センサ信号を評価し、それによって前記選択された反射特徴の少なくとも1つの縦方向座標zを決定するステップであって、前記評価は、前記センサ信号からの結合信号Qを評価することを含むステップと、
    を含む、方法。
  10. 検出器を参照する請求項1~9のいずれか1項に記載の検出器(110)の使用であって、使用目的が、交通技術における位置測定、娯楽用途、セキュリティ用途、監視用途、安全用途、ヒューマンマシンインターフェース用途、物流用途、追跡用途、屋外用途、モバイル用途、通信用途、写真用途、マシンビジョン用途、ロボット用途、品質管理用途、製造用途からなる群から選択される、使用。
JP2022564539A 2020-04-22 2021-04-21 物体深度測定用照射パターン Pending JP2023522755A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20170905 2020-04-22
EP20170905.2 2020-04-22
PCT/EP2021/060347 WO2021214123A1 (en) 2020-04-22 2021-04-21 Illumination pattern for object depth measurment

Publications (2)

Publication Number Publication Date
JP2023522755A true JP2023522755A (ja) 2023-05-31
JPWO2021214123A5 JPWO2021214123A5 (ja) 2024-04-30

Family

ID=70417339

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022564539A Pending JP2023522755A (ja) 2020-04-22 2021-04-21 物体深度測定用照射パターン

Country Status (6)

Country Link
US (2) US20230161041A1 (ja)
EP (2) EP4139703A1 (ja)
JP (1) JP2023522755A (ja)
KR (1) KR20230002443A (ja)
CN (1) CN115461643A (ja)
WO (1) WO2021214123A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11860292B2 (en) 2016-11-17 2024-01-02 Trinamix Gmbh Detector and methods for authenticating at least one object
US11960968B2 (en) * 2022-08-25 2024-04-16 Omron Corporation Scanning device utilizing separate light pattern sequences based on target distance

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3029485B1 (en) 2011-02-15 2019-12-11 Basf Se Detector for optically detecting at least one object
EP2936052B1 (en) 2012-12-19 2021-04-28 Basf Se Detector for optically detecting at least one object
JP2016529473A (ja) 2013-06-13 2016-09-23 ビーエーエスエフ ソシエタス・ヨーロピアBasf Se 少なくとも1つの物体を光学的に検出する検出器
US20190170849A1 (en) * 2016-07-29 2019-06-06 Trinamix Gmbh Detector for an optical detection of at least one object
WO2018091640A2 (en) 2016-11-17 2018-05-24 Trinamix Gmbh Detector for optically detecting at least one object
EP3676629B1 (en) * 2017-08-28 2023-10-11 trinamiX GmbH Detector for determining a position of at least one object
CN111587384A (zh) * 2017-11-17 2020-08-25 特里纳米克斯股份有限公司 用于确定至少一个对象的位置的检测器
CN113557549A (zh) * 2019-01-09 2021-10-26 特里纳米克斯股份有限公司 用于确定至少一个对象的位置的检测器
CN113454419A (zh) * 2019-02-20 2021-09-28 特里纳米克斯股份有限公司 具有用于照射至少一个对象的投影仪的检测器

Also Published As

Publication number Publication date
US20230161041A1 (en) 2023-05-25
CN115461643A (zh) 2022-12-09
KR20230002443A (ko) 2023-01-05
US20230266467A1 (en) 2023-08-24
EP4139703A1 (en) 2023-03-01
EP4224206A2 (en) 2023-08-09
EP4224206A3 (en) 2023-08-30
WO2021214123A1 (en) 2021-10-28

Similar Documents

Publication Publication Date Title
US11989896B2 (en) Depth measurement through display
US20230266467A1 (en) Projector pattern
US20230078604A1 (en) Detector for object recognition
US20240020864A1 (en) Auto calibration from epipolar line distance in projection pattern
US20220350156A1 (en) Projector for Illuminating at Least One Object
US9992472B1 (en) Optoelectronic devices for collecting three-dimensional data
CN115248440A (zh) 基于点阵光投射的tof深度相机
KR20230107574A (ko) 디스플레이를 통한 깊이 측정
KR20230028303A (ko) 확산 조명 및 구조화 광을 위한 프로젝터
JP2024520598A (ja) 投影パターン内のエピポーラ線距離からの自動較正
US11920918B2 (en) One shot calibration
WO2023078903A1 (en) Structured light pattern combined with projection of markers
WO2023083784A1 (en) Recalibration of a 3d detector based on structured light
WO2021063417A1 (en) Apparatus and method for quantifying the surface flatness of three-dimensional point cloud data
WO2023041761A1 (en) Emitter array with two or more independently driven areas
WO2023057495A1 (en) Method for alignment of optical components of a projector
WO2023078986A1 (en) Eye safety for projectors
WO2023195911A1 (en) Calibration of depth map generating system
Peppa Precision analysis of 3D camera
Boehnke et al. Triangulation based 3D laser sensor accuracy and calibration [articol]

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240418

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240418