JP2023535916A - 深度データ測定機器及び構造化光投影ユニット - Google Patents

深度データ測定機器及び構造化光投影ユニット Download PDF

Info

Publication number
JP2023535916A
JP2023535916A JP2023504300A JP2023504300A JP2023535916A JP 2023535916 A JP2023535916 A JP 2023535916A JP 2023504300 A JP2023504300 A JP 2023504300A JP 2023504300 A JP2023504300 A JP 2023504300A JP 2023535916 A JP2023535916 A JP 2023535916A
Authority
JP
Japan
Prior art keywords
light
imaging
structured light
depth data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023504300A
Other languages
English (en)
Inventor
王敏捷
梁雨時
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Percipio Technology Ltd
Original Assignee
Shanghai Percipio Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202010712929.2A external-priority patent/CN111721239A/zh
Priority claimed from CN202110423509.7A external-priority patent/CN115218820A/zh
Priority claimed from CN202110423508.2A external-priority patent/CN115218812A/zh
Application filed by Shanghai Percipio Technology Ltd filed Critical Shanghai Percipio Technology Ltd
Publication of JP2023535916A publication Critical patent/JP2023535916A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2536—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings with variable grating pitch, projected on the object with the same angle of incidence
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/136—Liquid crystal cells structurally associated with a semi-conducting layer or substrate, e.g. cells forming part of an integrated circuit
    • G02F1/1362—Active matrix addressed cells
    • G02F1/136277—Active matrix addressed cells formed on a semiconductor substrate, e.g. of silicon
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00—Semiconductor lasers
    • H01S5/10—Construction or shape of the optical resonator, e.g. extended or external cavity, coupled cavities, bent-guide, varying width, thickness or composition of the active region
    • H01S5/18—Surface-emitting [SE] lasers, e.g. having both horizontal and vertical cavities
    • H01S5/183—Surface-emitting [SE] lasers, e.g. having both horizontal and vertical cavities having only vertical cavities, e.g. vertical cavity surface-emitting lasers [VCSEL]
    • H01S5/18355—Surface-emitting [SE] lasers, e.g. having both horizontal and vertical cavities having only vertical cavities, e.g. vertical cavity surface-emitting lasers [VCSEL] having a defined polarisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

撮影対象に構造化光を投影するために用いられる投影ユニット（３１０）と、撮影対象を撮影して構造化光の照射下での二次元画像フレームを取得するために用いられるイメージングユニット（３２０）と、を含み、構造化光投影ユニット（３１０）は、レーザ光を生成するために用いられるレーザ発光素子（３１１）と、レーザ光を受光し且つ投影に用いる構造化光を生成するために用いられる液晶オンシリコン（ＬＣＯＳ）素子（３１２）と、を含む深度データ測定機器である。ＬＣＯＳを用いて構造化光の精密な投影を行い、それにより深度データのイメージング精度を向上させる。ＬＣＯＳはまた、離散的スポット又はストライプを含む様々な投影コードを変換することにより、様々なイメージングシーンに適用することができる。さらに、ＶＣＳＥＬ構造を採用することにより、投影ユニットの低消費電力化及び小型化を実現することができる。さらに構造化光投影ユニットを開示する。

Description

本開示は三次元イメージング分野に関し、具体的には、深度データ測定機器及び構造化光投影ユニットに関する。
深度カメラは目標物体の深度情報を収集する収集機器であり、このようなカメラは三次元スキャン、三次元モデリング等の分野に広く応用されており、例えば、現在ではますます多くのスマートフォンに、顔認識を行うための深度イメージングユニットが装着されている。
三次元イメージングは、関係する分野で長い間研究対象として注目されてきたが、既存の深度カメラは依然として消費電力が多く、体積が大きく、耐干渉性に劣り、精密でリアルタイムのイメージングが実現できない等の多くの課題を有する。
そのために、改良された深度データ測定機器が求められている。
本開示が解決しようとする技術的課題は、ＬＣＯＳを用いて構造化光の精密な投影を行い、それにより深度データのイメージング精度を向上させる改良された深度データ測定機器を提供することである。ＬＣＯＳはまた、スポット又はストライプを含む様々な投影コードを変換することにより、様々なイメージングシーンに適用することができる。また、ＶＣＳＥＬ構造を採用することにより、投影ユニットの低消費電力化及び小型化を実現することができる。
本開示の第１態様によれば、撮影対象に構造化光を投影するために用いられる投影ユニットと、前記撮影対象を撮影して前記構造化光の照射下での二次元画像フレームを取得するために用いられるイメージングユニットと、を含み、前記投影ユニットは、レーザ光を生成するために用いられるレーザ発光素子と、前記レーザ光を受光し且つ投影に用いる構造化光を生成するために用いられる液晶オンシリコン（ＬＣＯＳ）素子と、を含む深度データ測定機器を提供する。これにより、ＬＣＯＳを用いて画素レベル精度の投影パターン制御が行われる。さらに、異なる投影構造化光パターンを生成するために、ＬＣＯＳ素子の各画素のオン・オフを例えば処理装置によって制御することができる。これにより、該機器の応用分野が拡大される。
好ましくは、レーザ発光素子は、前記レーザ光を生成するための垂直共振器型面発光レーザ（ＶＣＳＥＬ）を含む。これにより、ＶＣＳＥＬの垂直発光の特性を利用して、体積、消費電力及び放熱をさらに低減することができる。
好ましくは、ＶＣＳＥＬの特性を利用して偏光を生成することができ、且つ前記ＬＣＯＳ素子は、各画素に対応する液晶の位相差を調整することによって光の反射を制御する。
好ましくは、ＶＣＳＥＬは、複数の発光ユニットを含んでなる発光アレイであってもよく、且つ前記ＶＣＳＥＬは、投影される構造化光パターンに従って特定の行、列、又は発光ユニットをオフにする。言い換えれば、ＶＣＳＥＬはそれ自体が、発光ユニットの点滅によって様々な発光パターンを表現することができる。
好ましくは、前記機器は単眼イメージング機器であってもよく、前記イメージングユニットは、前記投影ユニットから固定された相対距離にある１つの画像センサをさらに含み、該画像センサによって撮影された前記構造化光の二次元画像フレームは、前記撮影対象の深度データを求めるために基準構造化光画像フレームと比較される。代替として、前記機器は二眼イメージング機器であってもよく、前記イメージングユニットは、前記撮影対象を撮影して前記構造化光照射下での第１及び第２二次元画像フレームを取得するために用いられる、前記投影ユニットから固定された相対距離にある第１及び第２画像センサをさらに含んでもよく、前記第１及び第２二次元画像フレームと、前記第１画像センサと第２画像センサとの間の所定の相対位置関係とに基づいて前記撮影対象の深度データを求める。
好ましくは、前記投影ユニットが投影した構造化光は赤外構造化光であり、且つ前記イメージングユニットは、前記撮影対象を撮影して可視光照射下での二次元画像フレームを取得するための可視光センサをさらに含む。これにより、撮影対象の色情報が提供される。
異なる実施形態において、前記ＬＣＯＳ素子は、二次元分布を呈し符号化された離散的スポットを投影するために用いられることができ、且つ、前記イメージングユニットは、投影された前記二次元分布を呈する構造化光を同期撮影して前記二次元画像フレームを取得するために用いられる。前記ＬＣＯＳ素子はさらに、異なるストライプコードを有する１セットの構造化光をそれぞれ投影するために用いることができ、且つ、前記イメージングユニットは投影された各構造化光を同期撮影して１セットの二次元画像フレームを取得するために用いられ、該１セットの二次元画像フレームは共に前記撮影対象の深度データを１回求めるために用いられる。
具体的には、前記ＬＣＯＳ素子は、前記ストライプコードを走査投影するために用いることができ、且つ前記イメージングユニットは、現在の走査位置に対応するストライプ方向における画素列を同期オンしてイメージングするローリングシャッタセンサを含む。
追加又は代替として、前記レーザ発光素子は、複数の発光ユニットからなる発光アレイを含むＶＣＳＥＬであり、且つ前記ＶＣＳＥＬの発光ユニット列を部分的に点灯させるために用いられ、前記イメージングユニットは、現在点灯している発光ユニット列の照射位置に対応するストライプ方向における画素列を同期オンしてイメージングするローリングシャッタセンサを含む。
好ましくは、前記投影ユニットは、１つのイメージング周期を複数のタイムセグメントに分けてストライプコードパターンを投影するために用いられ、各タイムセグメントは前記パターンの一部を投影し、且つ前記複数のタイムセグメントに投影されたパターンの一部を１枚の完全なストライプコードパターンに組み合わせることができ、前記イメージングユニットは、各タイムセグメントにおいて、投影されたパターンの一部をイメージングするために投影されたパターンの一部に対応する画素列をオンにし、且つ環境光をイメージングするために他の画素列をオンにするために用いられる。
好ましくは、前記投影ユニットは、撮影領域に対して異なるパターンの１セットの構造化光を走査投影するために用いられ、前記１セットの構造化光は少なくとも２つの異なるパターンの構造化光を含み、前記イメージングユニットに含まれる画像センサは、前記撮影対象を撮影して、前記１セットの構造化光の照射下での、前記撮影領域の１回の深度データ計算に用いられる１セットの画像フレームを取得するために用いられ、前記画像センサは少なくとも一部の光路を共有する少なくとも２つのサブ画像センサを含み、前記少なくとも２つのサブ画像センサはそれぞれ前記投影ユニットが相次いで投影した異なるパターンの構造化光をイメージングするために用いられる。
この時に、前記投影ユニットが前記サブ画像センサのフレームイメージング間隔よりも短い第１間隔で少なくとも２つの異なるパターンの構造化光を投影するのと同時に、前記少なくとも２つのサブ画像センサに前記第１間隔で前記少なくとも２つの異なるパターンの構造化光をそれぞれ相次いで同期してイメージングさせる同期ユニットをさらに含むことができる。
さらに、前記同期ユニットは、各サブ画像センサが、前記サブ画像センサのフレームイメージング間隔以上の第２間隔でそれぞれの次のフレームのイメージングを行い、且つ前記投影ユニットによる投影と同期させるために用いることができる。
好ましくは、前記画像センサは、入射した戻り構造化光を受光するためのレンズユニットと、光路を変更することで入射した戻り構造化光を第１サブ画像センサ及び第１サブ画像センサに送るための光路変換装置と、異なる時間に異なるパターンをイメージングするための第１サブ画像センサ及び第２サブ画像センサと、を含む。
本開示の第２態様によれば、前記レーザ光を生成するための垂直共振器型面発光レーザ（ＶＣＳＥＬ）と、前記レーザ光を受光し且つ投影に用いる構造化光を生成するための液晶オンシリコン（ＬＣＯＳ）素子と、を含む構造化光投影ユニットを提供する。さらに、該装置は、前記ＶＣＳＥＬが生成したレーザ光を面光源に変換するために前記レーザ光の伝搬光路内に配置された拡散板と、前記拡散板によって生成された面光源を前記ＬＣＯＳ素子に提供するための整形光学アセンブリと、前記ＬＣＯＳ素子によって生成された構造化光を外向きに投影するためのレンズ群と、をさらに含むことができる。これにより、様々なタイプの深度データ計算機器が構造化光を投影するために用いられることができる。
これにより、本開示の深度データ測定機器はＬＣＯＳを用いて構造化光の精密な投影を行い、それにより深度データのイメージング精度を向上させ、特に微小な対象又は細部の深度データ測定に適用される。ＬＣＯＳはまた、スポット又はストライプを含む様々な投影コードを変換することにより、様々なイメージングシーンに適用することができる。ＶＣＳＥＬ構造を採用することにより、投影ユニットの低消費電力化及び小型化を実現することができ、ＶＣＳＥＬはアレイ構造を有してもよく、且つ消費電力及びデバイスの放熱をさらに低減するために部分的に発光させてもよい。さらに、同軸に配置された複数のサブ画像センサを利用して、マルチパターン合併シーンにおける高速イメージングを実現することができる。
図面を参照して本開示の例示的な実施形態をより詳細に説明することにより、本開示における上記及び他の目的、特徴、及び利点をより明確なものとし、本開示の例示的な実施形態において、同じ符号は一般的に同じ要素を指す。
測定対象の一例の概略図である。 レーザビームが測定対象の表面に投影された時の離散的スポットの概略図である。 本開示の一実施例に係る深度データ測定機器の概略構造図である。 ストライプコードの構造化光を利用した深度イメージングの原理である。 本開示の一実施例に係る深度データ測定機器の構成概略図である。 １枚のストライプコードパターンの分割投影の例である。 本開示の一実施例に係る深度データ測定機器の構成概略図である。 本開示の一実施例に係る深度データ測定装置の構成概略図である。 本開示の一実施例に係る深度データ測定装置の構成概略図である。 同軸２つによる二眼イメージング及び１つによる二眼イメージングの比較タイミング図である。 同軸３つの二眼イメージングのタイミング図である。
以下に図面を参照して本開示の好ましい実施形態をより詳細に説明する。図面に本開示の好ましい実施形態が示されているが、本開示は様々な形態で実現させることができ、本明細書に記載された実施形態に限定されるべきではないことを理解されたい。これらの実施形態は、本開示を十分かつ完全なものとし、且つ本開示の範囲を当業者に完全に伝えるために提供される。
本開示が採用する構造化光検出に基づく三次元測定方法は、物体表面に対してリアルタイムに三次元測定を行うことができる。
構造化光検出に基づく三次元測定方法は、運動物体の表面に対してリアルタイムに三次元測定を行うことができる方法である。簡単に言えば、該測定方法はまず自然物の表面にコード情報付きの二次元レーザテクスチャパターン、例えば離散化されたスポットパターンを投影し、位置が相対的に固定された別の画像収集装置によりレーザテクスチャを連続的に収集し、処理ユニットは収集されたレーザテクスチャパターンをメモリ内に予め記憶された既知の深度距離の参照面テクスチャパターンと比較し、収集されたテクスチャパターンと既知の参照テクスチャパターンとの間の差異に基づき、自然物の表面に投影された各レーザテクスチャシーケンスセグメントの深度距離を計算し、且つさらに測定して測定対象の表面の三次元データを得る。構造化光検出に基づく三次元測定方法は並列画像処理の方法を採用するため、運動物体に対してリアルタイム検出を行うことができ、三次元測定を迅速で、正確に行うことができるという利点を有し、特にリアルタイム測定に対する要件が高い使用環境に適する。
図１は測定対象の一例の概略図である。図においては人の手を測定対象として例示した。図２はレーザビームが測定対象の表面に投影された時の離散的スポットの概略図である。単眼イメージングのシーンにおいて、撮影して得られた図２に示す離散的スポット画像を参照標準画像と比較することができ、これにより各離散的スポットの深度データを算出し、且つこれにより測定対象全体の深度データを統合する。図２から分かるように、離散した各レーザスポットの間に一定の距離があるため、投影面が細く狭い位置についてはスポット情報が少なく、これにより一部の正しい深度情報が紛失しやすい。
従来技術では、精密な投影を行うことができる構造化光投影ユニットがなく、したがって、精細な対象に対して高精度の深度データ測定を行うことができない。
このため本開示は、ＬＣＯＳを用いて構造化光の精密な投影を行い、それにより深度データのイメージング精度を向上させる改良された深度データ測定機器を提供する。ＬＣＯＳはまた、離散的スポット又はストライプを含む様々な投影コードを変換することにより、様々なイメージングシーンに適用することができる。また、ＶＣＳＥＬ構造を採用することにより、投影ユニットの低消費電力化及び小型化を実現することができる。
図３は本開示の一実施例に係る深度データ測定機器の概略構造図である。図に示すように、深度データ測定機器３００は、投影ユニット３１０及びイメージングユニット３２０を含むことができる。
投影ユニット３１０は撮影対象に構造化光を投影するために用いられる。イメージングユニット３２０は前記撮影対象を撮影して前記構造化光の照射下での二次元画像フレームを取得するために用いられる。
投影ユニット３１０の内部構造を示すために、図３は、投影ユニット３１０のハウジング及び／又は固定部材を示しておらず、前記ハウジング及び／又は固定部材は、図に示す各デバイスの相対位置を固定するために使用することができ、且つ外部からの汚染及び衝撃による損傷からデバイスを保護する役割を果たす。
図に示すように、構造化光を投影するための投影ユニットは、主に２つのデバイス、すなわち、レーザ発光素子３１１及び液晶オンシリコン（ＬＣＯＳ）素子３１２を含む。
レーザ発光素子３１１は、レーザ光を発生させるために用いられる。液晶オンシリコン（ＬＣＯＳ）素子は、投影パターンの生成装置として、前記レーザ光を受光し且つ投影するための構造化光を生成するために用いられる。これにより、ＬＣＯＳを用いて極めて精度の高い投影パターン制御が行われる。さらに、異なる投影構造化光パターンを生成するために、ＬＣＯＳ素子の各画素のオン・オフを例えば機器内部又は外部の処理装置によって制御することができる。これにより、該機器の応用シーンが拡大される。
ＬＣＯＳ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ ｏｎ Ｓｉｌｉｃｏｎ）即ち液晶オンシリコンは、反射モードに応じて、サイズが非常に小さいマトリックス液晶表示装置である。このようなマトリックスはＣＭＯＳ技術を用いてシリコンチップ上に加工して製造される。
具体的に、ＬＣＯＳは反射型ＬＣＤの基板として、液晶シリコンが塗布されたＣＭＯＳ集積回路チップを使用することができる。先進的なプロセスで平らに研磨してからアルミニウムをメッキして反射ミラーとして、ＣＭＯＳ基板を形成し、次いでＣＭＯＳ基板と透明電極を含むその上にあるガラス基板とを貼り合わせ、次に液晶を注入してパッケージングする。ＬＣＯＳは制御回路を表示装置の背面に配置し、光透過率を向上させることで、より大きな光出力及びより高い解像度を実現することができる。
ＬＣＯＳはＬＣＤの一種と見なされ、従来のＬＣＤはガラス基板上に製造されるのに対して、ＬＣＯＳはシリコンウェハ上に製造され、且つ反射式投影を採用するため、光利用効率は４０％以上に達する。ＬＣＯＳパネルの構造はＴＦＴ ＬＣＤに類似しており、上下二層の基板の中間に仕切り板を配置して隔離した後、液晶を基板間に充填してライトバルブを形成し、回路のスイッチによって液晶分子の回転を駆動し、それにより投影の明暗を決定するものである。ＬＣＯＳパネルは、上部基板がＩＴＯ導電性ガラスであってもよく、下部基板が、液晶シリコンが塗布されたＣＭＯＳ基板であってもよい。下部基板の材質が単結晶シリコンであるため、良好な電子移動度を有し、且つ単結晶シリコンは細い配線を形成することができるため、高解像度の実現が可能である。既存のＬＣＯＳ素子の画素ピッチ（すなわち、２つの同色画素間の水平距離）は非常に小さく、例えば、８～２０ミクロン（１０－６）である。
本開示において、レーザ発光素子は赤外光（例えば、９４０ｎｍの赤外光）などの単一波長の光を投影するため、ＲＧＢの３色を表示するために従来技術で使用されるＬＣＯＳパネルとは異なり、本開示で使用されるＬＣＯＳ素子は、１つの波長でのパターン（すなわち、「単色」のみを必要とする）の投影を生成するために使用される。したがって、本開示のＬＣＯＳ素子は、より小さい画素ピッチを有し、非常に精細な構造化光パターンの投影を実現することができる。
一実施例において、レーザ発光素子３１１は、垂直共振器型面発光レーザ（ＶＣＳＥＬ）を含むか、又はそれにより実現することができる。ＶＣＳＥＬは前記レーザ光を生成するために用いられる。これにより、ＶＣＳＥＬの垂直発光の特性を利用して、体積、消費電力及び放熱をさらに低減することができる。
また、図３に示すように、投影ユニット３１０は、前記ＶＣＳＥＬが生成したレーザ光を面光源に変換するために前記レーザ光の伝搬光路内に配置された拡散板（ｄｉｆｆｕｓｅｒ）３１３をさらに含むことができる。これにより、ＬＣＯＳ素子３１２に必要なバックライトが提供される。さらに、投影ユニットは、前記拡散板によって生成された面光源を整形し（例えば、ＬＣＯＳ素子の形状に一致するように整形する）、前記ＬＣＯＳ素子に提供するための整形光学アセンブリ３１４をさらに含むことができる。
また、投影ユニット３１０は、前記ＬＣＯＳ素子によって生成された構造化光を投影するためのレンズ群をさらに含むことができる。
反射原理に基づき投影するＬＣＯＳを採用しているため、図に示すようにレーザ発光素子と投影レンズ群を折り返しの光路に配置することができ、機器のコンパクト化、小型化に寄与する。レーザ発光素子３１１、例えばＶＣＳＥＬから出射されたレーザ光は、拡散板３１３及び整形アセンブリ３１４を介してＬＣＯＳ３１２に送られ、ＬＣＯＳ３１２内部の関連する液晶で反射された後、レンズ群３１５から出射される。
なお、図には拡散板３１３、整形光学アセンブリ３１４及び投影のためのレンズ群３１５が示されているが、他の実施形態において、上記部材のうちの１つ又は複数を省略してもよく（例えば、ＶＣＳＥＬ３１１の出射形状をＬＣＯＳの所望の断面形状に直接適合させることで、整形光学アセンブリ３１４を省略する）、又は他のアセンブリで置換したり、他のアセンブリを追加したりしてもよい。これら一般的な光学的変更は、いずれも本開示の範囲内である。
さらに、ＬＣＯＳが偏光を反射する原理に基づき、ＶＣＳＥＬ３１１が偏光を直接生成するようにしてもよく、且つ前記ＬＣＯＳ素子は、各画素に対応する液晶の位相差を調整することによって光の反射を制御する。ＬＣＯＳ３１２がレンズ群３１５を介して投影するのは偏光であるため、イメージングユニット３２０のイメージング品質に対する鏡面反射による悪影響を低減することができ、それによりイメージング品質を向上させる。さらに、該機器は、反射面（ガラス表面など）の高精度欠陥検査にも使用することができる。
また、ＬＣＯＳ３１２自体は複数の画素からなる画素マトリックスであるとともに、各画素の「オン・オフ」を制御する（例えば、画素内の液晶と入射偏光との角度を制御する）ことにより、投影パターンを正確に制御することができる。しかしながら、別の態様では、ＶＣＳＥＬ３１１は、同様に、複数の発光ユニットからなる発光アレイのようなマトリックス構造を含むことができる。これにより、いくつかの実施形態において、ＶＣＳＥＬ３１１はレーザ光が放出されると、投影された構造化光パターンに従って特定の行、列、又は発光ユニットをオフにすることができる。言い換えれば、ＶＣＥＳＬ３１１はＬＣＯＳ３１２の面光源として使用されるが、ＶＣＥＳＬ３１１の発光パターンは、ＬＣＯＳ３１２が受け取った面光源のパターンと一定の相関性を有し、且つＬＣＯＳ３１２によって正確に微調整することができる。
例えば、場合によっては、投影ユニット３１０はストライプパターンを構造化光として投影し、精細にイメージングすることができる。構造化光の測定原理から分かるように、走査角αを正確に決定できるか否かはストライプパターン測定システム全体のキーポイントであり、本開示においては決定された走査角をＬＣＯＳにより実現することができ、画像符号化及び復号の意義は符号化構造化光すなわち面構造化光システムの走査角を決定することである。図４はストライプコードの構造化光を利用した深度イメージングの原理を示す。理解を容易にするために、図では２つのグレースケールの３ビットバイナリタイムコードによりストライプ構造化光のコード化原理を簡単に説明する。投影ユニットは撮影領域における被測定対象に、図に示すような３枚のパターンを順に投影することができ、３枚のパターンにおいてそれぞれ明暗２つのグレースケールを用い投影空間を８つの領域に分ける。各領域はそれぞれの投影角に対応し、明るい領域がコード「１」に対応し、暗い領域がコード「０」に対応すると仮定することができる。投影空間内のシーン上の１点の３枚のコードパターンにおけるコード値を投影順序に従って組み合わせて、該点の領域コード値を取得し、それにより該点が位置する領域を決定し、該点の走査角度を復号して取得する。
図４の最も左側のパターンを投影する場合、一実施例において、ＶＣＥＳＬ３１１を完全に点灯させて、且つＬＣＯＳ３１２によって０～３に対応する左側の画素列をオフにすることによって投影することができる。別の実施例において、ＶＣＥＳＬ３１１を部分的に点灯させ、例えば、右側に対応する部分を点灯させて（通常は正確に４～７である必要はなく、３～７というより広い範囲であってもよい）、それにより、４～７に対応するＬＣＯＳ３１２の画素列が十分なバックライトを受け取り、且つＬＣＯＳ３１２によって０～３に対応する左側の画素列をオフにすることによって投影することができる。
投影している間にＶＣＳＥＬの発光ユニットの一部をオフにすることによって、ＶＣＳＥＬの電力消費をさらに低減することができ、これにより機器が生成する熱を減少させ、且つＶＣＳＥＬの各発光ユニットはより多くの休止時間を得ることになる。これにより、特に熱に敏感なシーンでの使用に適しており、且つＶＣＳＥＬの耐用年数を延長することができる。以下に図５及び図６のストライプ光パターンの投影を参照して詳細な説明を行う。
図３に示すように、本開示の深度データ測定機器は、単眼機器、すなわち、構造化光を撮影するための１つのカメラのみを含むものであってもよい。このため、イメージングユニット３２０は前記投影ユニットから固定された相対距離にある１つの画像センサとして実現されてもよく、該画像センサによって撮影された前記構造化光の二次元画像フレームは、前記撮影対象の深度データを求めるために基準構造化光画像フレームと比較される。
代替として、本開示の深度データ測定機器は二眼機器、すなわち、構造化光を同期撮影し、且つ２枚の画像における視差を使用して深度データを求める２つのカメラを含むものであってもよい。このため、イメージングユニットは、前記撮影対象を撮影して前記構造化光照射下での第1及び第2二次元画像フレームを取得するために用いられる、前記投影ユニットから固定された相対距離にある第1及び第2画像センサをさらに含み、前記第１及び第２二次元画像フレームと前記第１及び第２画像センサとの間の所定の相対位置関係に基づいて前記撮影対象の深度データを求める。
二眼イメージングシステムにおいて、例えば図４に示すストライプ符号の上記復号プロセスは、第１及び第２画像センサにおける各点のコード値を直接マッチングすることによって簡略化することができる。マッチング精度を向上させるために、2つのグレースケールの５ビットバイナリタイムコードなど、タイムコードにおける投影パターンの数を増加させることができる。これは、二眼イメージングの応用シーンにおいて、例えば左右の各画像フレーム内の各画素がいずれも値が「０」又は「１」の5つの領域コード値を含み、それにより、左右の画像マッチングがより高い精度（例えば、画素レベル）で実現できることを意味する。投影ユニットの投影速度が変化しない場合、図４の３枚のコードパターンに比べて、５枚のコードパターンは、より高い時間領域コストで、より高精度の画像マッチングを実現することに相当する。これは、投影ユニットの本来の投影速度が非常に高い場合に（ＬＣＯＳ投影パターンの迅速な切り替えなど）、非常に望ましい。
上述したように、前記投影ユニットによって投影される構造化光は、好ましくは赤外構造化光であり、それによって可視光の干渉を回避する。この場合、本開示の深度データ測定機器は、前記撮影対象を撮影して可視光照射下での二次元画像フレームを取得するための可視光センサをさらに含んでもよい。例えば、撮影対象のカラー二次元情報を取得し、求めた深度情報と組み合わせて、例えば、３次元情報を取得するために、又は深層学習を補足又は補正するものとしてＲＧＢセンサが含まれてもよい。他の実施例において、構造化光が投影される瞬間の光強度は、一般的に環境光よりもはるかに大きいため、レーザ発光素子は可視光線波長域に位置するレーザ光を生成してもよく、それにより投影ユニットは可視光線波長域に位置する構造化光を投影する。
ＬＣＯＳ素子は、異なるストライプコードを有する１セットの構造化光（例えば図４に示される３セット、又はそれより多くのセットのストライプパターン）をそれぞれ投影するために用いることができ、且つ、前記イメージングユニットは投影された各構造化光を同期撮影して１セットの二次元画像フレームを取得するために用いられ、該１セットの二次元画像フレームは前記撮影対象の深度データを１回求めるために共に用いられる。
場合によっては、投影ユニット（すなわち、ＬＣＯＳ素子とレーザ発光素子の組み合わせ）は、毎回１枚の完全なパターンを投影することができる。他の場合に、ＬＣＯＳ素子は、ＶＣＳＥＬで実現されるレーザ発光素子と組み合わせて使用されて、前記ストライプコードを走査投影するために用いられ（ここで、「走査投影」とは、画像全体が同じ時刻に投影されるのではなく、各時刻に完全なパターンの一部のみが投影され、且つ特定の時間内の投影が１枚の完全な投影パターンを合成することができることを意味する）、且つ前記イメージングユニットは、現在の走査位置に対応するストライプ方向の画素列を同期してオンにしてイメージングするローリングシャッタセンサを含む。例えば、ＶＣＳＥＬは、それ自体のいくつかの列を交互に点灯させ、且つＬＣＯＳの交互反射（すなわち、ＬＣＯＳは交互に点灯したいくつかの列の構造化光パターンを投影する）と協働させることができ、同時に、ローリングシャッタセンサの画素列のオンと同期する。これにより、ＶＣＳＥＬの放熱がさらに低減され、且つ環境光による構造化光イメージングへの干渉が回避される。
図５は本開示の一実施例に係る深度データ測定機器の構成概略図である。図５に示すように、深度データ測定装置５００は、投影ユニット５１０と、２つの画像センサ５２０＿１及び５２０＿２と、を含む。
投影ユニット５１０は撮影領域に対してストライプコードを有する構造化光を走査投影するために用いられる。例えば、連続する３つの画像フレームの投影周期内で、投影ユニット５１０は、図４に示すような３つのパターンを連続して投影することができ、３つのパターンのイメージング結果は、深度データの生成のために使用される。それぞれ第１及び第２画像センサと呼ぶことができる５２０＿１及び５２０＿２は、所定の相対位置関係を有し、撮影領域を撮影して構造化光照射下での第１及び第２二次元画像フレームをそれぞれ取得するために用いられる。例えば、投影ユニット５１０が図１に示すような３つのパターンを投影する場合、第１画像センサ５２０＿１及び第２画像センサ５２０＿２は、３つの同期した画像フレームイメージング周期内で、３つのパターンが投影された撮影領域（例えば、図５のイメージング面及びその前後の一定範囲内の領域）をそれぞれイメージングすることができる。
図５に示すように、投影ユニット５１０は、ｘ方向に延びる線状光をｚ方向に（すなわち、撮影領域に向かって）投影することができる。具体的には、投影ユニット５１０内のＬＣＯＳによって１つ以上の画素列（線状光）を反射させることができる。投影された線状光は、イメージング領域全体を覆うように、ｙ方向に連続的に移動させることができる。ＬＣＯＳが列ごとにオンにする反射ミラーは、ｙ方向における線状光の連続的な移動を実現させる。なお、ＬＣＯＳは列ごとに反射ミラーをオンにする過程で、投影されているストライプパターンに基づいて暗いストライプ部分の反射ミラーをオフに保持する。図５の下部は、撮影領域の透視図に対応して、線状光の走査についてのより分かりやすい図解である。
本開示の実施例において、光線が測定装置から出射する方向をｚ方向、撮影平面の鉛直方向をｘ方向、水平方向をｙ方向と設定する。したがって、投影ユニットによって投影されるストライプ構造化光は、ｘ方向に延びる線状光がｙ方向に移動する結果であってもよい。他の実施例において、水平ｙ方向に延びる線状光がｘ方向に移動して得られたストライプ構造化光に対して同期及びイメージング処理を行うこともできるが、本開示の実施例においては、鉛直ストライプ光を優先的に使用して説明する。
さらに、測定装置５００は、例えば以下の処理装置によって実現することができる同期ユニット５５０をさらに含む。同期ユニット５５０は、投影ユニット５１０（ＶＣＳＥＬ及びＬＣＯＳの両方を含む）と、第１画像センサ５２０＿１及び第２画像センサ５２０＿２にそれぞれ接続され、三者間の正確な同期を実現する。具体的には、同期ユニット５５０は、投影ユニット５１０の走査位置に基づいて、第１画像センサ５２０＿１及び第２画像センサ５２０＿２の現在の走査位置に対応するストライプ方向における画素列を同期オンしてイメージングすることができる。図５に示すように、現在のストライプは、撮影領域の中心領域まで走査している。このため、画像センサ５２０＿１、５２０＿２において、中央領域に位置する画素列（例えば、隣接した３個の画素列）がオンにされてイメージングを行う。ストライプがｙ方向に移動するのに伴って（図５の下部透視図の矢印によって示される）、画像センサ５２０＿１及び５２０＿２のイメージングのためにオンにされた画素列も、それに応じて同期して移動する（図５左上ブロック図内のマトリックスの上にある矢印によって示される）。これにより、ストライプ画像の一次元特性を利用して、各時刻にイメージングする画素列の範囲を制御することができ、環境光による測定結果への悪影響を低下させる。環境光の影響をさらに低下させるために、投影ユニットは、環境光と混同しにくい光、例えば赤外光を投影するのに特に適している。また、画素列と走査光との対応関係は投影光の幅、出力、速度、画像センサの検出効率等の複数の要因に影響されるため、毎回同期オンする画素列の範囲（及び対応数）は、例えば校正操作に基づいて決定することができる。
図５の例において、上記のようにＬＣＯＳの列ごと又は複数列ごとに反射ミラーをオンにすることで線状光の走査投影を実現してもよく、ＶＣＳＥＬの列ごと又は部分点灯で線状光の走査投影を実現してもよく、両者の組み合わせであってもよい。
上述したように、ＶＣＳＥＬは複数の発光ユニットからなる発光アレイを含んでもよく、且つレーザ光が放出される時に、投影される構造化光パターンに従って特定の行、列、又は発光ユニットをオフにすることができる。このために、いくつかの実施例において、ＶＣＳＥＬの発光ユニット列を部分的に点灯させ、ローリングシャッタセンサは、現在点灯している発光ユニット列の照射位置に対応するストライプ方向の画素列を同期オンしてイメージングすることができる。部分的な点灯は列ごとの点灯であってもよく、（隣接した又は間をあけた）複数の列を一緒に点灯させてもよく、複数回の点灯の重ね合わせが完全なパターン範囲を照射できればよい。
この時、画像全体のイメージング時間内に、ＬＣＯＳは投影しようとする画像のオン・オフの形状を保持することができ、且つＶＣＳＥＬの列ごと又はブロックごと（即ち複数の列を同時に点灯）に点灯させることによってストライプパターンの走査投影を実現する。例えば、投影ユニットが図４の３枚目のパターンを投影する必要がある場合、ＬＣＯＳにおける０、２、４、６に対応する画素列はオフであり、１、３、５、７に対応する画素列はオンである。ＶＣＳＥＬの発光ユニットを列ごとに点灯させ、ＬＣＯＳと協働してｙ方向の線状光走査を実現することができる。ＶＣＳＥＬの発光ユニットの列数は画像センサの画素列よりはるかに少ないため、この時に投影された「線状光」はより大きな線幅を有することができ（以下の図６の破線で仕切られた「ストライプ状光」）、且つ１つの発光列の点灯時間は画像センサにおける複数の画素列の露光時間の和に対応する。代替として、ＬＣＯＳは、発光ユニットの列が照射する部分に伴って、対応するストライプパターンの部分的なオンを実行することもできる。他の実施例において、ＬＣＯＳ素子は、二次元分布を呈し符号化された離散的スポットを投影するためにも用いられ、且つ、前記イメージングユニットは、投影された二次元分布を呈する前記構造化光を同期撮影して前記二次元画像フレームを取得するために用いられる。例えば、ＬＣＯＳ素子は、図２に示される離散的スポットを投影することができる（しかしながらはるかに高い精度が求められ、一般的に撮影対象もはるかに小さい）。
上述したように、前記投影ユニットによって投影される構造化光は、好ましくは赤外構造化光であり、それによって可視光の干渉を回避する。この場合、本開示の深度データ測定機器は、前記撮影対象を撮影して可視光照射下での二次元画像フレームを取得するための可視光センサをさらに含んでもよい。例えば、撮影対象のカラー二次元情報を取得し、求めた深度情報と組み合わせて、例えば、３次元情報を取得するために、又は深層学習を補足又は補正するものとしてＲＧＢセンサが含まれてもよい。
ある実施例においては、同じ画像センサ（例えば、同じＣＭＯＳイメージングデバイス）を使用して、同じイメージング周期内で構造化光パターンと環境光画像とを同時に取得することさえできる。これにより、投影ユニットが投影する構造化光も可視光線波長域に位置することができ、且つ投影光の瞬間的な光強度は環境光よりはるかに大きいため、構造化光に対して良好なイメージングを行うこともできる。投影ユニットが投影する構造化光は不可視光線波長域に位置してもよく、例えば、赤外構造化光を投影し、この場合に画像センサの前のフィルタを取り外してもよく、又は通過波長域がより広く且つ構造化光及び環境光をいずれも通過させるフィルタを選択してもよい。
同じ画像センサを使用して同じイメージング周期内での構造化光パターン及び環境光画像の同時取得を実現する実施例において、画像センサは、画素を個別で制御できる専用のセンサである必要があり、且つ投影ユニットは、セグメント化された形態で完全なストライプ構造化光パターンを投影する必要がある。
このため、投影ユニットは、１つのイメージング周期を複数のタイムセグメントに分けてストライプコードパターンを投影するために用いることができ、各タイムセグメントは前記パターンの一部を投影し、且つ前記複数のタイムセグメントに投影されたパターンの一部を１枚の完全なストライプコードパターンに組み合わせることができる。対応して、イメージングユニットは、各タイムセグメントにおいて、投影されたパターンの一部をイメージングするために投影されたパターンの一部に対応する画素列をオンにして、且つ環境光をイメージングするために他の画素列をオンにするために用いることができる。
図６は１枚のストライプコードパターンの分割投影の例である。ここで、説明を容易にするために、投影ユニットの１つの画像フレームの投影周期を１ｍｓとし、対応してイメージングユニットの１つの画像フレームのイメージング周期も１ｍｓであると仮定し、１枚の完全なストライプコードパターンをイメージングするために用いられる（図６に示す例は、図４に示す３枚のストライプパターンのうち３枚目のストライプパターンを投影したものである）。投影ユニットは、１ｍｓを１０個のタイムセグメントに分割することができる。０．１ｍｓにおいて、投影ユニットは、グリッド線領域内に示されたパターンを投影し、すなわち何も投影せず、イメージングユニットのイメージンググリッド線領域に対応する部分内の画素はイメージングするためオンにされ、残りの右側１０分の９部分の画素は環境光をイメージングする。０．２ｍｓにおいて、投影ユニットは、０．２と注記した領域内に示されたパターン、すなわち右側のみが点灯したパターンを投影し、イメージングユニットの０．２領域に対応する部分内の画素はイメージングのためオンにされ、残りの１０分の９部分の画素は環境光をイメージングする。これらに基づいて、１ｍｓのイメージング周期内で１枚の完全なストライプコードパターンの投影及びイメージングが完了する。
投影ユニットの上記分割投影は、レーザ発光素子によって実現されてもよく、ＬＣＯＳ素子によって実現されてもよく、又は両者の協働によって実現されてもよい。一実施例において、ＬＣＯＳ素子は、１ｍｓのタイムセグメント内で、投影されたパターンに対応する画素列のオン及びオフを保持し、ＶＣＳＥＬは、それ自体の１０個（又は１０組）の発光列を順次点灯させて、パターンの完全な投影を実現する。別の実施例において、ＶＣＳＥＬの発光照射領域は投影領域のみをカバーする必要があり、ＬＣＯＳ素子は、０．１ｍｓの各タイムセグメント内で、対応する領域内の点灯すべき部分の画素列のみをオンにする。さらに別の実施例において、ＶＣＳＥＬの発光領域及びＬＣＯＳの投影領域の両方が、該タイムセグメント内でパターンが投影されるべき領域と同期して変化する。
したがって、イメージングユニットは、様々な制御又は構造の形態を介して構造化光及び環境光の同時イメージングを実現することができる。
最も単純な実施例において、イメージングユニットは、個別の読み出し制御が可能な画素列を有し、且つ各画素は１つのメモリセルを含む。１ｍｓのイメージング周期内で、全ての画素は露光を保持することができ、且つイメージングユニットは対応する領域に構造化光が照射される前と、照射後とに、メモリセルを２回読み取るだけでよく、照射前に読み取られるのは露光時間０．９ｍｓの環境光イメージング情報であり、照射後に読み取られるのは露光時間０．１ｍｓの構造化光イメージング情報である。
別の実施例において、イメージングユニットの各画素は２つのメモリセルを備え、第１メモリセルは構造化光露光情報を記憶するために用いられ、第２メモリセルは環境光露光情報を記憶するために用いられる。イメージングユニットは、対応する領域に構造化光が照射されている間は第１メモリセルによる露光情報の受信に切り替え、それ以外のタイムセグメントは第２メモリセルによる露光情報の受信に切り替えてもよい。
さらに別の実施例において、イメージングユニットはより精密な画素露光制御機能を有することができ、それにより、同じ分割露光領域内で、画素の一部は構造化光のイメージングに使用され、画素の別の一部は環境光のイメージングに使用されるようになり、解像度の低下を犠牲にして、同一のイメージングユニットによる構造化光と環境光の同時イメージングを実現する。例えば、イメージングユニットは、奇数画素列が構造化光をイメージングし、偶数画素列が環境光をイメージングするように指定することができる。対応する領域に構造化光パターンが投影されている間、奇数列がオンにして露光され、他のタイムセグメントでは偶数列がオンにして露光される。この実施例において、さらに構造化光に対して異なる時間の露光を行い、それによりＨＤＲイメージング効果を実現することができる。例えば、奇数画素列内の奇数画素が全時間（例えば、０．１ｍｓ）の構造化光に対する露光を行い、偶数画素が半時間（例えば、０．０５ｍｓ）の構造化光に対する露光を行ってもよく、且つ構造化光に対するイメージング画像を合成する際に、露光過度にならない画素値を選択して表示又は計算する。
異なる実施例において、該機器は撮影機能のみを実行するための測定装置として実現されてもよく、処理及び計算装置が含まれてもよい。また、処理及び計算装置が含まれる場合、測定装置と処理及び計算装置は、用途に応じて、同一のハウジング内に収容されてもよく、又は信号伝送構造を介して別個に接続されてもよい。
図３には示されていないが、本開示の深度データ測定機器は、前記投影ユニットの投影及び前記イメージングユニットのイメージングを制御するために、前記投影ユニット及び前記イメージングユニットに接続された処理装置（制御機能）がさらに含まれてもよい。例えば、前記処理装置は、異なる投影構造光パターンを生成するために、前記ＬＣＯＳ素子の画素のオン・オフを制御するために用いることができる。
また、処理装置は、前記イメージングユニットで撮影された前記二次元画像フレームを利用して前記撮影対象の深度データを求めるための計算機能がさらに含まれてもよい。
さらに、本開示の深度データ測定機器は、前記投影ユニット及び前記イメージングユニットを収容し、且つ前記投影ユニットと前記イメージングユニットとの相対位置を固定するためのハウジングをさらに含むことができる。図３に示す固定装置３３０は、ハウジングの一部であってもよい。
いくつかの実施例において、制御及び／又は計算のための処理装置は、ハウジングの内部に収納されてもよい。しかし、場合によっては、カメラとプロセッサを別々に配置する必要がある。その場合、機器は、前記投影ユニット及び前記イメージングユニットのための制御信号を内部に伝送し、前記二次元画像フレームを外部に伝送するために用いられ、ハウジングを貫通して前記投影ユニット及び前記イメージングユニットに接続される信号伝送構造が含まれてもよい。本開示の深度データ測定機器に処理装置が含まれる場合、上記信号伝送構造は、処理装置との信号接続線、例えば光ファイバ又は同軸ケーブルであってもよい。機器自体に処理機能が含まれない場合、上述した信号伝送構造は、処理装置との接続インタフェースであってもよい。
図７は本開示の一実施例に係る深度データ測定機器の構成概略図である。
図に示すように、深度データ測定機器は、独立した測定装置７００と、信号伝送構造７４０と、プロセッサ７５０と、を含む。図には測定装置７００の透視図、信号伝送構造（伝送ケーブル）７４０としてのケーブル、及びプロセッサ７５０を概略して示す。なお、異なる実施形態において、プロセッサ７５０は、独立したプロセッサ用ハウジングによって覆われるか、又は以下に記載の収集機器のマザーボードなどの他の機器に挿入されるか、又は他の形態で固定することができ、本開示はこれに限定されない。
測定装置は、構造化光の能動的な投影及び構造化光に対する二眼測定機能を実行する。測定装置６００は、構造化光投影ユニット７１０と、所定の相対位置関係を有する第１画像センサ７２０＿１及び第２画像センサ７２０＿２と、ハウジング７３０と、を含むことができる。
構造化光投影ユニット７１０は撮影対象に構造化光を投影するために用いられ、且つ前述のようなＶＣＳＥＬがＬＣＯＳと組み合わせられた構造を含む。第１画像センサ７２０＿１及び第２画像センサ７２０＿２は、前記撮影対象を撮影して前記構造化光の照射下での第１及び第２二次元イメージフレームをそれぞれ取得するために用いられる。ハウジング７３０は前記構造化光投影ユニット及び前記第１及び第２画像センサを収容し、且つ前記構造化光投影ユニットと前記第１及び第２画像センサとの相対位置を固定するために用いられる。
信号伝送構造７４０は前記ハウジング７３０を貫通して前記構造化光投影ユニットと、前記第１及び第２画像センサに接続することができ、前記構造化光投影ユニット７１０及び第１及び第２画像センサに対する制御信号を内部（ハウジング内）に伝送し、画像センサが撮影した第１及び第２二次元画像フレームを外部（ハウジング外）に伝送するために用いられる。
プロセッサ７５０は信号伝送構造７４０に接続され且つ前記ハウジング７３０の外部に位置し、前記信号伝送構造を介して前記制御信号を送信し、且つ継続的に取得された前記第１及び第２二次元画像フレームと、前記第１及び第２画像センサとの間の前記所定の相対位置関係に基づき、前記撮影対象の運動データを計算するために用いられる。
したがって、本開示の深度データ測定機器は、測定装置をプロセッサ（例えば、処理回路）から分離することによって、測定装置の小型化、軽量化、低放熱の設置が可能であり、それによって、例えば医療イメージング機器のイメージング空間内への取り付けを容易にする。
ここで、信号伝送構造７４０は同軸ケーブルを含むことができ、電気信号を介して制御信号及び画像データの伝送が直接行われる。また、ＭＲＩによる収集などの高磁場環境では、鉄ニッケル材料の使用を回避するために、光ファイバを信号伝送構造７４０として使用することができる。その場合、構造化光投影ユニット、画像センサ及びプロセッサは、前記光ファイバが伝送する光信号を電気信号に変換したり、送信する信号を光信号に変換したりする光電変換器をそれぞれ含むことができる。
別の実施例において、本開示は構造化光投影ユニットを実現させることもできる。該装置は、前記レーザ光を生成するための垂直共振器型面発光レーザ（ＶＣＳＥＬ）と、前記レーザ光を受光し且つ投影用の構造化光を生成するための液晶オンシリコン（ＬＣＯＳ）素子と、を含むことができる。さらに、該装置は、前記ＶＣＳＥＬが生成したレーザ光を面光源に変換するために前記レーザ光の伝搬光路内に配置された拡散板と、前記拡散板によって生成された面光源を前記ＬＣＯＳ素子に提供するための整形光学アセンブリと、前記ＬＣＯＳ素子によって生成された構造化光を外向きに投影するためのレンズ群と、をさらに含むことができる。上記構造化光投影ユニットは、各種のイメージングユニットと協働して、様々なシーン向けの深度データの測定及び計算を実現することができる。
以上、図面を参照して、本開示に係る深度データ測定機器及び該機器を構成する構造化光投影ユニットを詳細に説明した。本開示はＬＣＯＳを用いて構造化光の精密な投影を行い、それにより深度データのイメージング精度を向上させ、特に微小な対象又は細部の深度データ測定に適用される。ＬＣＯＳはまた、離散的スポット又はストライプを含む様々な投影コードを変換することにより、様々なイメージングシーンに適用することができる。さらに、ＶＣＳＥＬ構造を採用することにより、投影ユニットの低消費電力化及び小型化を実現することができ、ＶＣＳＥＬはアレイ構造を有してもよく、且つ消費電力及び素子の放熱をさらに低減するために部分的に発光させてもよい。
ＬＣＯＳによって投影された構造化光が図４に示すようなストライプ光である場合、ストライプ光イメージングは時間領域イメージングの属性のために複数組のパターンが必要であり、且つ１枚の深度画像を合成するためのパターンが多ければ多いほど、合成して得られた深度画像に含まれる深度情報も多くなる。ＬＣＯＳで投影される構造化光が図２に示すような離散的スポット画像である場合、１枚のパターンで深度情報を求めることが可能であるが、同一の撮影対象に対する異なる離散パターンの投影は、投影領域内のより多くの面積をカバーすることができ、且つより小さいマッチングウィンドウに対してより高い信頼度を提供することができ、従って離散的スポットシーンで複数の投影パターンをイメージングして１枚の深度画像を合成するというニーズにも役立つ。
このため、本開示の好ましい実施例においては、同軸の複数組のセンサ構造を利用して異なるパターンをそれぞれイメージングすることで、複数フレームに基づいて深度データを求める全体的なフレームレートを向上させることができ、従来技術における複数フレームを取得する時間が長すぎて動的イメージングができないことや、深度データのフレームレートが低すぎる等の問題を解決する。また、導入されるのは一般的なフレームレートのイメージングユニットであるため、深度イメージングの精度及びフレームレートを向上させると同時に、高コストの高フレームレートが必要なイメージングユニットの使用を回避することができる。
これにより、一実施例において、深度データ測定機器の投影ユニットは、撮影領域に対して、異なるパターンの１セットの構造化光を走査投影するために用いられることができ、前記１セットの構造化光は、少なくとも２つの異なるパターンの構造化光を含む。前記イメージングユニットに含まれる画像センサは、前記撮影対象を撮影して、前記１セットの構造化光の照射下での、前記撮影領域の１回の深度データ計算に用いられる１セットの画像フレームを取得するために用いることができる。そのうち、画像センサは少なくとも一部の光路を共有する少なくとも２つのサブ画像センサを含み、前記少なくとも２つのサブ画像センサはそれぞれ前記投影ユニットが相次いで投影した異なるパターンの構造化光をイメージングするために用いられる。
画像センサに含まれる少なくとも一部の光路を共有するサブ画像センサは、１セットの構造化光によるすべてのパターンのイメージングが完了するまで、投影ユニットによって投影された１セットの構造化光によって連続して投影されたパターンを交互にイメージングするために用いることができる。例えば、投影ユニットは、図４に示すように、１セット３枚の構造化光を投影し、画像センサは２つのサブ画像センサを含む。この時、第１サブ画像センサは１枚目のパターンをイメージングし、第２サブ画像センサは２枚目のパターンをイメージングし、第１サブ画像センサはさらに１枚目のパターンをイメージングする。言い換えれば、１セットの構造化光に含まれるパターンの数が、画像センサに含まれるサブ画像センサの数以下である場合、画像センサに含まれる異なる画像センサによって、異なるパターンがそれぞれイメージングされる。１セットの構造化光に含まれるパターンの数が、画像センサに含まれるサブ画像センサの数より多い場合、画像センサに含まれるサブ画像センサは２回のイメージングを行う必要があり、即ち、同一のサブ画像センサは異なる時刻に異なるパターンをイメージングする。
いくつかの実施例において、投影されたパターンは、スポットパターン、例えば、ＬＣＯＳによって画素のオン・オフが変更された異なるスポットパターンであってもよい。１枚の深度画像を合成するための１セットの離散的スポットパターンは、同一領域に投影された互いに重ならないスポット分布を有することが好ましく、これにより同一の撮影対象の深層学習をできるだけ多く行うことができる。
なお、空間的に変調された離散的スポットパターンに対して、ストライプ光パターンを利用したイメージングは時間的な変調手段、すなわち、異なる時間に投影された異なるストライプを使用して１枚の深度データマップを合成することと見なすことができ、十分に高いＱＥ（量子効率）を有し、マイクロ秒スケールで画像センサの露光された画素の電荷を満たすことができる。これにより、特に、ローリングシャッタ型画像センサと組み合わせて、高い耐干渉性を有する深度測定装置を実現することができる。
いくつかの実施例において、前記画像センサは、上述のような単一の画像センサ、すなわち、単眼システムとして実現されてもよい。他の実施例において、前記画像センサは、２つの画像センサ、すなわち、二眼システムとして実現されてもよい。以下に図８及び図９を参照して、同一の画像センサが複数のサブ画像センサを含む単眼及び二眼の実施形態をそれぞれ説明する。
図８は本開示の一実施例に係る深度データ測定装置の構成概略図である。図に示すように、単眼原理に基づく深度データ測定装置８００は、投影ユニット８１０と、画像センサ８２０と、を含む。
投影ユニット８１０は、図３に示す３１０と同様のＬＣＯＳを含む装置であってもよく、撮影領域に対して異なるパターンの１セットの構造化光を走査投影するために用いられ、且つ該１セットの構造化光は少なくとも２つの異なるパターンの構造化光を含む。画像センサ８２０は、前記撮影領域を撮影して、前記１セットの構造化光の照射下での、前記撮影領域の１回の深度データ計算に用いられる１セットの画像フレームを取得するために用いられる。
例えば、投影ユニット８１０は、図４に示すような３つのパターンを順次投影する。これら３つのパターンを１セットとして、且つ画像センサでその中の各パターンをそれぞれイメージングすることにより、３フレームを含む１セットの画像フレームを得る。単眼イメージング原理に基づき、この３つのフレーム画像はそれに対応する参照画像フレームとそれぞれ比較することができ、且つ撮影領域の１回の深度データの計算に共に用いられ、即ち、１フレームの深度画像を計算することができる。
従来の測定装置における画像センサが１つの感光ユニットのみを含み、且つ１つの感光ユニットが３回イメージングを行って３フレームが１セットになった画像フレームを取得することと異なり、図８に示す画像センサ８２０は少なくとも一部の光路を共有する少なくとも２つのサブ画像センサを含み、前記少なくとも２つのサブ画像センサはそれぞれ前記投影ユニットが相次いで投影した異なるパターンの構造化光をイメージングするために用いられる。
図８は、画像センサ８２０が２つのサブ画像センサ（受光ユニット）を含む例を示している。図に示すように、画像センサ８２０は、サブ画像センサ８２３及び８２４を含む。サブ画像センサ８２３及び８２４は、ビームスプリッタ８２２のビームスプリッタ面までの光路を共有し、且つ前記ビームスプリッタの領域から等しい距離、又は少なくともほぼ等しい距離にある。言い換えれば、本開示は、互いに同軸のセンサ構造を導入する。ここで、サブ画像センサ８２３は、例えば、図１の３つのパターンのうちの第１パターンの構造化光をイメージングするために使用することができる。次いで、サブ画像センサ８２４は、例えば、図１の３つのパターンのうちの第２パターンの構造化光をイメージングするために使用することができる。言い換えれば、この時に同じ光路長（又は完全に等価な光路）を有するサブ画像センサ８２４は、その場で８２３の代わりに次のパターン構造化光のイメージングを行うと見なすことができる。これにより、隣接する２つのフレームのイメージング間隔は、各画像センサのフレーム間隔に依存せず、より小さな間隔でイメージングすることができる。
同様に、図９は本開示の一実施例に係る深度データ測定装置の構成概略図である。概略的に示された投影ユニットと比較して、画像センサの構成例がより詳細に示されている。
図９に示すように、二眼原理に基づく深度データ測定装置９００は、投影ユニット９１０と、所定の相対位置関係を有する第１画像センサ９２０及び第２画像センサ９３０と、を含む。便宜上図示していないが、測定装置９００は、上記装置を取り囲むハウジングをさらに含むことができ、且つ図９に示す連結構造９４０は、上記装置を固定してハウジングに連結する機構と見なすことができる。いくつかの実施例において、連結構造９４０は、制御回路を含む回路基板であってもよい。なお、他の実施形態において、上記装置９１０～９３０は、他の方法でハウジングに連結され、且つ対応するデータ伝送及びコマンド受け取り動作を実行することができる。
投影ユニット９１０は、撮影領域に対して異なるパターンの１セットの構造化光を走査投影するために用いられ、且つ該１セットの構造化光は少なくとも２つの異なるパターンの構造化光を含む。所定の相対位置関係を有する第１画像センサ９２０及び第２画像センサ９３０は、前記撮影領域を撮影して、前記１セットの構造化光の照射下での、前記撮影領域の１回の深度データ計算に用いられる１セットの画像フレームペアを取得するために用いられる。
例えば、投影ユニット９１０は、図４に示すような３つのパターン（他の実施例において、３つの離散的スポットパターンであってもよい）を順次投影する。これら３つのパターンを１セットとして、且つ画像センサでその中の各パターンをそれぞれイメージングすることにより、３ペア（６フレーム）を含む１セットの画像フレームペアを得る。この６フレーム画像は撮影領域の１回の深度データの計算に共に用いられ、即ち、１フレームの深度画像を計算することができる。
従来の二眼測定装置における第１及び第２画像センサがそれぞれ１つの感光ユニットのみを含み、且つ各感光ユニットがそれぞれ３回イメージングを行って３ペア（６フレーム）が１セットになった画像フレームペアを取得することと異なり、図９に示す第１及び第２画像センサ夫々は少なくとも一部の光路を共有する少なくとも２つのサブ画像センサを含み、前記少なくとも２つのサブ画像センサはそれぞれ前記投影ユニットが相次いで投影した異なるパターンの構造化光をイメージングするために用いられる。
図９は、第１及び第２画像センサがそれぞれ２つのサブ画像センサ（受光ユニット）を含む例を示している。図に示すように、第１画像センサ９２０はサブ画像センサ９２３及び９２４を含み、第２画像センサ９３０はサブ画像センサ９３３及び９３４を含む。サブ画像センサ９２３及び９２４は、ビームスプリッタ９２２のビームスプリッタ面までの光路を共有し、且つ前記ビームスプリッタの領域から等しい距離にある。同様に、サブ画像センサ９３３及び９３４は、ビームスプリッタ９３２のビームスプリッタ面までの光路を共有し、且つ前記ビームスプリッタの領域から等しい距離にある。言い換えれば、本開示は、互いに同軸の複数セットの二眼構造を導入する。ここで、サブ画像センサ９２３及び９３３は、例えば、図４の３つのパターンのうちの第１パターンの構造化光をイメージングするための第１セットの画像センサ（第１セットの二眼）と見なすことができる。次いで、第２セットの画像センサ（第２セットの二眼）と見なすことができるサブ画像センサ９２４及び９３４は、例えば、図４の３つのパターンのうちの第２パターンの構造化光をイメージングするために用いられる。言い換えれば、この時に９２３及び９３３とそれぞれ同軸のサブ画像センサ９２４及び９３４は、その場で９２３及び９３３の代わりに次のパターン構造化光のイメージングを行うと見なすことができる。これにより、隣接する２つのフレームのイメージング間隔は、各画像センサのフレーム間隔に依存せず、より小さな間隔でイメージングすることができる。
測定装置８００又は９００は、前記投影ユニットが前記サブ画像センサのフレームイメージング間隔よりも短い第１間隔で少なくとも２つの異なるパターンの構造化光を投影するのと同時に、それぞれ少なくとも２つのサブ画像センサを含む、画像センサ８２０又は第１画像センサ９２０及び第２画像センサ９３０に、前記第１間隔で前記少なくとも２つの異なるパターンの構造化光をそれぞれ相次いで同期してイメージングさせる同期ユニットをさらに含むことができる。対応して、各サブ画像センサは、前記サブ画像センサのフレームイメージング間隔以上の第２間隔でそれ自体の次のフレームのイメージングを行い（例えば、それ自体のフレーム間隔でイメージングする）、且つ上記イメージング操作は同期ユニットによる同期下で投影ユニットによる投影と同期させることができる。
図１０は同軸による２セットのイメージング及び１セットのイメージングの比較タイミング図である。ここでは説明の便宜上、各感光ユニット（サブ画像センサ）のフレームレートを１００フレーム／ｓとし、フレーム間隔を１０ｍｓとし、且つ各感光ユニットに必要な露光時間を１ｍｓとする。
画像センサ８２０又は第１画像センサ９２０及び第２画像センサ９３０が１つの感光ユニットのみを含む従来の画像センサであり、図４に示すような３つのパターンを利用して深度データ計算を行う場合、図１０の下部に示すように、０、１０、２０ｍｓの所で３回のイメージングを行う必要がある。このため、各深度データ画像を合成するには、撮影対象を２１ｍｓ間静止したままにする必要があり（したがって、運動している対象を撮影することはより困難である）、フレームレートも１００フレーム／ｓから３３．３フレーム／ｓに低下する。
これに対して、画像センサが２つの感光ユニットを含み、図１０の上部に示されるように、例えば３つのパターンを利用して深度データを計算する場合、第１セットの感光ユニットは０ｍｓの所でパターン１のイメージングを実行し、続いて第２セットの感光ユニットは１ｍｓの所でパターン２のイメージングを実行し、１０ｍｓ空けてから、第１セットの感光ユニットは１０ｍｓの所でパターン３のイメージングを実行し、これにより１枚の深度データ画像に必要な３回のイメージングを完了させる。その後、第２セットの感光ユニットは、１１ｍｓの所でパターン１の次のイメージングを開始することができる。２０ｍｓの所で、第１セットの感光ユニットがパターン２のイメージングを行う。２１ｍｓの所で、第２セットの感光ユニットがさらにパターン３のイメージングを行う。このように、異なるセットの感光ユニットがイメージングする間隔は、イメージングに必要な時間（例えば、１ｍｓ）だけ間隔をあければよいが、同じセットの感光ユニットが次にイメージングするまでの間隔は、依然としてフレームレートに対応するフレーム間隔時間（例えば、１０ｍｓ）に従う。この時、２セットの同軸二眼を導入することにより、各深度データ画像を合成するには、撮影対象を１１ｍｓ間静止したままにするだけでよく（したがって、運動している対象を撮影することはより容易である）、且つフレームレートは約６６．６フレーム／ｓに保持することができる。
図８～図１０を参照しながら、２セットの同軸（同一光軸）感光ユニットを有する例を説明したが、他の実施例において、第１及び第２画像センサはそれぞれより多くの感光ユニットを含むこともできる。図１１は同軸３セットの二眼イメージングのタイミング図である。この場合、第１及び第２画像センサはそれぞれ同軸の３つの感光ユニット（サブ画像センサ）を含むことができる。これにより、図１１に示すように、第１セットの感光ユニットは０ｍｓの所でパターン１のイメージングを実行し、その直後に第２セットの感光ユニットは１ｍｓの所でパターン２のイメージングを実行し、その直後に第３セットの感光ユニットは２ｍｓの所でパターン３のイメージングを実行する。その後、１０ｍｓの所で次回の３セットのイメージングが開始され、２０ｍｓの所でさらに次の３セットのイメージングが開始され、以下同様である。この時、３セットの同軸二眼を導入することにより、１枚の深度データ画像を合成するために必要な３ペア（６フレーム）の画像をわずか３ｍｓで取得することができ、すなわち、撮影対象を３ｍｓ間静止したままにするだけでよく、運動対象に対する撮影レベルを大幅に向上させ、且つフレームレートは約１００フレーム／ｓに保持することができる（この例では、１００フレームを撮影するために１００３ｍｓ、即ち１．００３秒が必要である）。
したがって、１セットの追加の同軸二眼構造（又は単眼構造）を導入するだけで、マルチフレームに基づき合成された深度データフレームレートが２倍になり、各フレームのイメージング時間を短縮することが理解できる。理論的には、投影ユニットによって投影される画像の数と同じ数の同軸二眼構造を配置することが可能であり、それにより、各深度フレームのフレーム合成時間は、センサのフレーム間隔と、露光時間の倍数のみに関連付けられる（フレーム間隔が露光時間×同軸構造の数よりも大きい場合）。例えば、４つのパターンに基づいて深度フレームを合成する場合、図３に示されるような２セットの同軸二眼を使用する場合、４フレームを取得するイメージング時間は１２ｍｓとわずかに延びるが、フレームレートは約５０フレーム／ｓまで低下する。しかし、４つの同軸二眼が使用される場合、４フレームを取得するためのイメージング時間はわずか４ｍｓであり、フレームレートは依然として約１００フレーム／ｓに保持される。しかしながら、同軸構造を過剰に導入することで画像センサの構造の難易度が増加するため、コスト、実現可能性、イメージング速度における妥協が求められる。
同一画像センサ内の異なる感光ユニットの同軸配置を実現するために、光路を設計する必要がある。
図９の例において、ビーム分割に基づいて実現される同軸配置を示す（図８の例も類似する構造を有する）。この場合、第１画像センサ９２０を例にすると、入射した戻り構造化光を受け取るためのレンズユニット９２１と、入射した戻り構造化光を少なくとも第１ビームと第２ビームとに分割するためのビームスプリッタ９２２と、第１ビームをイメージングするための第１サブ画像センサ９２３と、異なるパターンの戻り構造化光に対応する第２ビームをイメージングするための第２サブ画像センサ９２４と、を含むことができる。
一実施例において、ビームスプリッタ９２２は、キューブプリズム又は三角プリズムなどの光学プリズムである。これにより、入射光のうち反射された赤外光は第２サブ画像センサ９２４に到達し、入射光のうち反射されなかった可視光は第１サブ画像センサ９２３まで直進する。
図に示すように、プリズム形態のビームスプリッタ９２２は、入射光を、伝搬方向が互いに直交する２つのビームに分割することができる。これに対応して、第１サブ画像センサ９２３及び第２サブ画像センサ９２４も垂直に配置することができ、それにより、入射する可視光及び赤外光ビームはそれぞれ垂直な角度で受光される。
視差を除去し、画素レベル又は画素レベルに近い位置合わせを実現するために、入射光の成分は同じ光路長を有することが必要である。このため、ビームスプリッタ９２２としてキューブプリズムを使用する場合、第１サブ画像センサ９２３及び第２サブ画像センサ９２４は、ビームスプリッタ９２２のビーム分割領域から等しい距離に配置することができる。ビームスプリッタ９２２として三角プリズムを使用する場合、空気とプリズム材料との屈折率の比に基づき、２つの感光ユニットとビーム分割装置９２２、特にビーム分割領域との距離を柔軟に調整することができる。
第１サブ画像センサ９２３と第２サブ画像センサ９２４との間の画素レベルでの位置合わせ又は画素レベルに近い位置合わせは、理論的には入射光が光路の大部分を共有し、且つ同じ光路長を有するようにすることで実現される。しかしながら、画像センサの実際の製造プロセスにおいて、第１サブ画像センサ９２３及び第２サブ画像センサ９２４の実際の配置は、理想的な垂直及び等距離の状態にならないため、両者のイメージングの間に偏差が生じる。この場合、製造された画像センサに対して強制的なソフトウェア補正を行うことができる。例えば、校正ターゲットを導入し、第１サブ画像センサ９２３及び第２サブ画像センサ９２４のイメージングをいずれも校正ターゲットと位置合わせすることによって、確実な画素レベル補正を実現する。
一実施例において、ビームが第１サブ画像センサ９２３及び第２サブ画像センサ９２４に入射する前に、他の波長の光の影響をさらに抑制するために、フィルタを通してもよい。一実施例において、投影ユニットは赤外レーザ光を投影することができ、したがって、画像センサ内に配置されたフィルタは、特定の周波数範囲の赤外光、例えば、本開示における波長７８０～１１００ｎｍの赤外光を透過させるための対応する赤外光透過ユニットであってもよい。他の実施例において、投影ユニットは可視光、例えば、６３５ｎｍ赤色光又は４５０ｎｍ青色光などの赤色レーザ光又は青色レーザ光を投影してもよい。例えば、ＱＥが２０％に過ぎない８３０ｎｍ赤外光と比較して、６３５ｎｍ赤色光のＱＥは９０％～９５％と高い。環境光にも赤色光又は青色光が含まれる可能性があるが、露光時間が短く且つ瞬時のレーザ光が強いため、対応する赤色光又は青色光を透過するフィルタの助けを借りて信号対雑音比が高いイメージングを行うこともできる。投影ユニットが可視光、例えば赤色光を投影する場合、第１及び第２サブ画像センサは、対応する可視光センサとして実現されてもよい。
好ましくは、ビームスプリッタがキューブプリズムである場合、フィルタの片側はキューブプリズムと物理的に直接接触させ、他方の側は感光ユニットと物理的に接触させて、感光ユニット及びキューブプリズムをハウジング内に係止することができ、それにより各素子の相対位置の高度な安定性を確保する。
いくつかの実施例において、特に、第１及び第２サブ画像センサが、投影された赤外光パターンを受光するための赤外光センサである場合、上記のように、画像センサ内に測定対象物体の画像情報を捕捉するために追加の可視光感知ユニット（図示せず）が配置されてもよく、それにより、画像センサによって捕捉される画像は、測定対象物体の画像情報だけでなく深度情報も含む。可視光感知ユニットはグレースケールセンサ又はカラーセンサであってもよい。グレースケールセンサは輝度情報のみを捕捉し、カラーセンサは測定対象物体のカラー情報を捕捉するために用いられ、この場合に可視光感知ユニットは三原色感知ユニットで構成されてもよく、三原色は赤緑青三原色（ＲＧＢ）であってもシアンマゼンタ黄三原色（ＣＭＹ）であってもよい。
なお、図９を参照して第１画像センサ９２０の構造を具体的に説明したが、第２画像センサ９３０も同一の構造を有することができる。また、９２３及び９３３を第１セットの二眼と見なし、９２４及び９３４を第２セットの二眼と見なすことができるが、９２３及び９３４を第１セットの二眼と見なし、９２４及び９３３を第２セットの二眼と見なすこともでき、いずれにしても対応するパターンが入射した後にオンにしてイメージングされるものであればよい。
図９に示すようにビーム分割を利用して光路の共有を実現する場合、各感光ユニットが取得する光量が減少するため、投影輝度を増加させるか又は入射時の絞りを拡径する方法によって、イメージングの感度又は有効距離範囲を確保することができる。
このため、代替として、光路変換に基づいて光路共有を実現することもできる。この場合、画像センサは、入射した戻り構造化光を受光するためのレンズユニットと、入射した戻り構造化光を少なくとも第１サブ経路と第２サブ経路とに伝達するための光路変換装置と、第１サブ経路上で戻り構造化光をイメージングする第１サブ画像センサと、第２サブ経路上で異なるパターンに対応する戻り構造化光をイメージングする第２サブ画像センサと、をそれぞれ含むことができる。一実施例において、光路変換装置は回転ミラーであってもよく、例えば０ｍｓの所で入射光を感光ユニット９２３に反射し、１ｍｓの所で入射光を感光ユニット９２４に反射し、以下同様である。他の実施例において、光路変換装置は他の機械的、化学的又は電気的原理に基づいて光路変換を行う装置であってもよい。
上記スプリッタ又は光路変換装置はいずれも、入射した戻り構造化光を第１サブ画像センサ及び第１サブ画像センサに送るために光路を変換する光路変換装置とみなすことができる。他の実施例において、ファイバライトガイド装置などの他の光路変換装置を利用することもできる。
複数のサブ画像センサを同軸配置する上記形態は、単眼又は二眼のストライプ光投影手段、又は二眼の離散的スポット投影手段として実現することができる。線状光のストライプパターン投影は特にローリングシャッタ型露光と組み合わせることに適し、高い耐干渉性を有する深度データの測定を実現し、特に屋外の太陽光下で目標対象を測定することに適し、例えば自動車の損害判定装置等として実現することができる。離散的スポット測定手段は連続平面に対する深度測定に適し、例えば、材料の取り上げ及び取り下げ又は造船所の溶接継ぎ目の検出等に用いられる。いくつかの実施例において、可視光センサは同軸配置された複数のサブ画像センサに含まれてもよく、例えば、対応する画素が能動的に投影された赤外光によって照射されていないときにオンになり、撮影領域の可視光二次元画像を取得する。
以上から分かるように、本開示の構造化光投影ユニット及び深度データ測定機器は、光路を共有する複数ペアの二眼センサと組み合わせることができ、それによりフレーム間隔をさらに短縮し、深度融合データの品質を向上させる。
本開示の各実施例を説明してきたが、上記の説明は例示的なものであり、全てを網羅しておらず、開示された各実施例に限定されるものでもない。記載された実施例の範囲及び主旨から逸脱しない限り、なされる多くの修正及び変更は当業者にとって自明である。本明細書で使用される用語は、各実施例の原理、実際の応用又は市場における技術に対する改良を最もよく説明するためのものであり、又は当業者が本明細書で開示される各実施例を理解することができるように選択されたものである。

Claims (17)

  1. 撮影対象に構造化光を投影するために用いられる投影ユニットと、
    前記撮影対象を撮影して前記構造化光の照射下での二次元画像フレームを取得するために用いられるイメージングユニットと、を含み、
    前記投影ユニットは、
    レーザ光を生成するために用いられるレーザ発光素子と、
    前記レーザ光を受光し且つ投影に用いる構造化光を生成するために用いられる液晶オンシリコン（ＬＣＯＳ）素子と、
    を含む深度データ測定機器。
  2. 前記レーザ発光素子は、前記レーザ光を生成するための垂直共振器型面発光レーザ（ＶＣＳＥＬ）を含む、請求項１に記載の深度データ測定機器。
  3. 前記ＶＣＳＥＬは偏光を生成し、且つ前記ＬＣＯＳ素子は、各画素に対応する液晶の位相差を調整することによって光の反射を制御する、請求項２に記載の深度データ測定機器。
  4. 前記ＶＣＳＥＬは、複数の発光ユニットからなる発光アレイを含み、且つ前記ＶＣＳＥＬは、レーザ光が放出される時に、投影される構造化光パターンに従って特定の行、列、又は発光ユニットをオフにする、請求項２に記載の深度データ測定機器。
  5. 前記イメージングユニットは、
    前記投影ユニットから固定された相対距離にある１つの画像センサ、又は前記撮影対象を撮影して前記構造化光の照射下での第１及び第２二次元画像フレームを取得するために用いられる、前記投影ユニットから固定された相対距離にある第１画像センサ及び第２画像センサをさらに含み、
    該１つの画像センサによって撮影された前記構造化光の二次元画像フレームは、前記撮影対象の深度データを求めるために基準構造化光画像フレームと比較され、
    前記第１及び第２二次元画像フレームと、前記第１画像センサと前記第２画像センサとの間の所定の相対位置関係とに基づいて前記撮影対象の深度データを求める、請求項１に記載の深度データ測定機器。
  6. 前記投影ユニットが投影した構造化光は赤外構造化光であり、且つ前記深度データ測定機器は、前記撮影対象を撮影して可視光照射下での二次元画像フレームを取得するための可視光センサをさらに含む、請求項１に記載の深度データ測定機器。
  7. 前記ＬＣＯＳ素子は、
    二次元分布を呈し符号化された離散的スポットを投影するために用いられ、
    且つ、前記イメージングユニットは、投影された前記二次元分布を呈する構造化光を同期撮影して前記二次元画像フレームを取得するために用いられる、請求項１に記載の深度データ測定機器。
  8. 前記ＬＣＯＳ素子は、異なるストライプコードを有する１セットの構造化光をそれぞれ投影するために用いられ、
    且つ、前記イメージングユニットは投影された各構造化光を撮影して１セットの二次元画像フレームを取得するために用いられ、該１セットの二次元画像フレームは共に前記撮影対象の深度データを１回求めるために用いられる、請求項１に記載の深度データ測定機器。
  9. 前記ＬＣＯＳ素子は、前記ストライプコードを走査投影するために用いられ、
    且つ前記イメージングユニットは、現在の走査位置に対応するストライプ方向における画素列を同期オンしてイメージングするローリングシャッタセンサを含む、請求項８に記載の深度データ測定機器。
  10. 前記レーザ発光素子は、複数の発光ユニットからなる発光アレイを含むＶＣＳＥＬであり、且つ前記ＶＣＳＥＬの発光ユニット列を部分的に点灯させるために用いられ、
    前記イメージングユニットは、現在点灯している発光ユニット列の照射位置に対応するストライプ方向における画素列を同期オンしてイメージングするローリングシャッタセンサを含む、請求項８に記載の深度データ測定機器。
  11. 前記投影ユニットは、１つのイメージング周期を複数のタイムセグメントに分けてストライプコードパターンを投影するために用いられ、各タイムセグメントは前記パターンの一部を投影し、且つ前記複数のタイムセグメントに投影された前記パターンの一部を１つの完全なストライプコードパターンに組み合わせることができ、
    前記イメージングユニットは、各タイムセグメントにおいて、投影された前記パターンの一部をイメージングするために投影された前記パターンの一部に対応する画素列をオンにして、且つ環境光をイメージングするために他の画素列をオンにするために用いられる、請求項８に記載の深度データ測定機器。
  12. 前記投影ユニットは、撮影領域に対して異なるパターンの１セットの構造化光を投影するために用いられ、
    前記１セットの構造化光は少なくとも２つの異なるパターンの構造化光を含み、
    前記イメージングユニットに含まれる画像センサは、前記撮影対象を撮影して、前記１セットの構造化光の照射下での、前記撮影領域の１回の深度データ計算に用いられる１セットの画像フレームを取得するために用いられ、
    前記画像センサは少なくとも一部の光路を共有する少なくとも２つのサブ画像センサを含み、前記少なくとも２つのサブ画像センサはそれぞれ前記投影ユニットが相次いで投影した異なるパターンの構造化光をイメージングするために用いられる、請求項１に記載の深度データ測定機器。
  13. 前記投影ユニットが前記サブ画像センサのフレームイメージング間隔よりも短い第１間隔で少なくとも２つの異なるパターンの構造化光を投影するのと同時に、前記少なくとも２つのサブ画像センサに前記第１間隔で前記少なくとも２つの異なるパターンの構造化光をそれぞれ相次いで同期してイメージングさせる同期ユニットをさらに含む、請求項１２に記載の深度データ測定機器。
  14. 前記同期ユニットは、各サブ画像センサが、前記サブ画像センサのフレームイメージング間隔以上の第２間隔でそれぞれの次のフレームのイメージングを行い、且つ前記投影ユニットによる投影と同期させるために用いられる、請求項１３に記載の深度データ測定機器。
  15. 前記画像センサは、
    入射した戻り構造化光を受け取るためのレンズユニットと、
    異なる時間に異なるパターンをイメージングするための前記第１サブ画像センサ及び前記第２サブ画像センサと、
    光路を変更することで入射した戻り構造化光を前記第１サブ画像センサ及び前記第２サブ画像センサに送るための光路変換装置と、
    を含む、請求項１２に記載の深度データ測定装置。
  16. レーザ光を生成するための垂直共振器型面発光レーザ（ＶＣＳＥＬ）と、
    前記レーザ光を受光し且つ投影に用いる構造化光を生成するための液晶オンシリコン（ＬＣＯＳ）素子と、
    を含む構造化光投影ユニット。
  17. 前記ＶＣＳＥＬが生成したレーザ光を面光源に変換するために前記レーザ光の伝搬光路内に配置された拡散板と、
    前記拡散板によって生成された面光源を前記ＬＣＯＳ素子に提供するための整形光学アセンブリと、
    前記ＬＣＯＳ素子によって生成された構造化光を外向きに投影するためのレンズ群と、
    をさらに含む請求項１６に記載の構造化光投影ユニット。
JP2023504300A 2020-07-22 2021-07-22 深度データ測定機器及び構造化光投影ユニット Pending JP2023535916A (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
CN202010712929.2 2020-07-22
CN202010712929.2A CN111721239A (zh) 2020-07-22 2020-07-22 深度数据测量设备和结构光投射装置
CN202110423509.7A CN115218820A (zh) 2021-04-20 2021-04-20 结构光投射装置、深度数据测量头、计算设备和测量方法
CN202110423508.2A CN115218812A (zh) 2021-04-20 2021-04-20 深度数据测量头、计算装置及其对应方法
CN202110423509.7 2021-04-20
CN202110423508.2 2021-04-20
PCT/CN2021/107785 WO2022017441A1 (zh) 2020-07-22 2021-07-22 深度数据测量设备和结构光投射装置

Publications (1)

Publication Number Publication Date
JP2023535916A true JP2023535916A (ja) 2023-08-22

Family

ID=79728500

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023504300A Pending JP2023535916A (ja) 2020-07-22 2021-07-22 深度データ測定機器及び構造化光投影ユニット

Country Status (4)

Country Link
US (1) US20230296372A1 (ja)
EP (1) EP4187197A4 (ja)
JP (1) JP2023535916A (ja)
WO (1) WO2022017441A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114363525B (zh) * 2022-03-17 2022-06-28 杭州灵西机器人智能科技有限公司 Hdr快速自动成像方法、结构光相机、电子设备和存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101855902A (zh) * 2007-09-25 2010-10-06 以克斯普雷有限公司 微投影仪
US8717416B2 (en) * 2008-09-30 2014-05-06 Texas Instruments Incorporated 3D camera using flash with structured light
CN102621546B (zh) * 2012-03-28 2013-09-11 浙江大学 基于关联成像的三维信息获取方法
TWI485361B (zh) * 2013-09-11 2015-05-21 Univ Nat Taiwan 三維形貌輪廓量測裝置及其方法
CN103868472B (zh) * 2013-12-23 2016-09-07 黑龙江科技大学 一种用于高反射率零件的面结构光三维测量装置与方法
CN104197861B (zh) * 2014-08-25 2017-03-01 深圳大学 基于结构光灰度向量的三维数字成像方法
CN204902786U (zh) * 2015-05-26 2015-12-23 东莞市盟拓光电科技有限公司 可降低被测物表面反光的三维测量系统
WO2019113445A2 (en) * 2017-12-08 2019-06-13 Arizona Board Of Regents On Behalf Of The University Of Arizona Digital fringe projection and multi-spectral polarization imaging for rapid 3d reconstruction
TWI776898B (zh) * 2018-05-18 2022-09-11 揚明光學股份有限公司 圖案產生裝置及其製造方法
CN108650447B (zh) * 2018-07-06 2024-03-05 上海图漾信息科技有限公司 图像传感器、深度数据测量头及测量系统
CN111721238A (zh) * 2020-07-22 2020-09-29 上海图漾信息科技有限公司 深度数据测量设备和目标对象数据采集方法
CN111721239A (zh) * 2020-07-22 2020-09-29 上海图漾信息科技有限公司 深度数据测量设备和结构光投射装置
CN212779131U (zh) * 2020-07-22 2021-03-23 上海图漾信息科技有限公司 深度数据测量设备
CN212779132U (zh) * 2020-07-22 2021-03-23 上海图漾信息科技有限公司 深度数据测量设备和结构光投射装置

Also Published As

Publication number Publication date
EP4187197A1 (en) 2023-05-31
US20230296372A1 (en) 2023-09-21
EP4187197A4 (en) 2023-12-20
WO2022017441A1 (zh) 2022-01-27

Similar Documents

Publication Publication Date Title
JP7146004B2 (ja) 同期スピニングｌｉｄａｒおよびローリングシャッターカメラシステム
US9998678B2 (en) Camera for acquiring optical properties and spatial structure properties
KR102594058B1 (ko) 광 스캐닝 프로젝터와 함께 눈 움직임을 추적하기 위한 방법 및 시스템
US7078720B2 (en) Range finder for measuring three-dimensional geometry of object and method thereof
JP5281923B2 (ja) 投射型表示装置
KR101799522B1 (ko) 교환렌즈 형태를 채용한 3차원 영상 획득 장치
US20200075652A1 (en) Pixel cell with multiple photodiodes
CN108718406B (zh) 一种可变焦3d深度相机及其成像方法
CN111721239A (zh) 深度数据测量设备和结构光投射装置
US20170003230A1 (en) Wafer image inspection apparatus
CN105981363B (zh) 成像模块以及成像装置
CN111829449A (zh) 深度数据测量头、测量装置和测量方法
JP2023535916A (ja) 深度データ測定機器及び構造化光投影ユニット
JP2010085472A (ja) 画像投影・撮像装置
US11326874B2 (en) Structured light projection optical system for obtaining 3D data of object surface
CN116171459A (zh) 用于使用基于分类器的过滤器确定立体匹配的置信度的设备和方法
CN212779132U (zh) 深度数据测量设备和结构光投射装置
CN216246133U (zh) 结构光投射装置、深度数据测量头和计算设备
EP4328541A1 (en) Depth data measuring head, computing device and measurement method
CN108616698B (zh) 成像装置
KR20210050565A (ko) 광학 검사 시스템들에 대한 멀티모달리티 멀티플렉싱 조명
CN216283296U (zh) 深度数据测量头和深度数据计算设备
EP4328542A1 (en) Depth data measurement head, depth data computing device, and corresponding method
JP2018207446A (ja) 固体撮像素子，当該固体撮像素子を用いた観察装置，固体撮像素子の駆動方法及び駆動用プログラム
JP2023535538A (ja) 構造光を使用した深度マッピングのための赤外線・非赤外線チャネルブレンダ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240227