JP2023509068A - Tof深度センシング・モジュール及び画像生成方法 - Google Patents

Tof深度センシング・モジュール及び画像生成方法 Download PDF

Info

Publication number
JP2023509068A
JP2023509068A JP2022540942A JP2022540942A JP2023509068A JP 2023509068 A JP2023509068 A JP 2023509068A JP 2022540942 A JP2022540942 A JP 2022540942A JP 2022540942 A JP2022540942 A JP 2022540942A JP 2023509068 A JP2023509068 A JP 2023509068A
Authority
JP
Japan
Prior art keywords
target object
light
sensing module
light source
beams
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022540942A
Other languages
English (en)
Other versions
JP7417748B2 (ja
Inventor
グオ,バーンホゥイ
ソーン,シヤオガーン
ガオ,シャオゥルイ
ウー,ジュイシュワイ
リー,シュエン
ルオ,ウエイチュヨン
チウ,ムオン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2023509068A publication Critical patent/JP2023509068A/ja
Application granted granted Critical
Publication of JP7417748B2 publication Critical patent/JP7417748B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/484Transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01SDEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00Semiconductor lasers
    • H01S5/40Arrangement of two or more semiconductor lasers, not provided for in groups H01S5/02 - H01S5/30
    • H01S5/42Arrays of surface emitting lasers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Optics & Photonics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

開示されるものはTOF深度センシング・モジュール及び画像生成方法である。TOF深度センシング・モジュール(100)は、アレイ光源(110)と、ビーム・スプリッタ(130)と、コリメーション・レンズ群(120)と、受信ユニット(140)と、制御ユニット(150)とを含む。アレイ光源(110)はN個の発光領域を含む。N個の発光領域は互いにオーバーラップしていない。各々の発光領域はビームを生成するために使用される。コリメーション・レンズ群(120)はアレイ光源(110)とビーム・スプリッタ(130)との間に位置する。制御ユニット(150)は、アレイ光源(110)のN個の発光領域のうちのM個の発光領域を、発光するように、制御するように構成されている。コリメーション・レンズ群(120)は、M個の発光領域からのビームに関してコリメーション処理を実行するように構成されている。ビーム・スプリッタ(130)は、コリメーション・レンズ群(120)がコリメーション処理を実行した後に得られるビームに関してビーム分割処理を実行するように構成されている。受信ユニット(140)は、ターゲット・オブジェクトの反射ビームを受信するように構成されている。TOF深度センシング・モジュール(100)を利用することにより、ターゲット・オブジェクトを走査するプロセスにおいて、高い空間解像度と高いフレーム・レートを実現することが可能である。

Description

本件は、2020年1月3日に中国国家知識産権局に出願され、「TOF深度センシング・モジュール及び画像生成方法」と題する中国特許出願第202010006472.3号に対する優先権を主張しており、その全体が参照により本件に援用される。
[0001] 技術分野
本件は、TOF技術の分野に関連し、より具体的には、TOF深度センシング・モジュール及び画像生成方法に関連する。
[0002] 飛行時間(time of flight, TOF)技術は、頻繁に使用される深度又は距離測定技術である。その基本原理は次のとおりである:送信端部が連続光又はパルス光を放射し、連続光又はパルス光は、連続光又はパルス光が測定対象に照射された後に反射され、その後、受信端部が測定対象の反射光を受信する。次いで、送信端部から受信端部までの光の飛行時間が決定され、その結果、測定対象からTOFシステムまでの距離又は深度を計算することができる。
[0003] 従来のTOF深度センシング・モジュールは、一般に、シングル・ポイント走査、マルチ・ポイント走査、又はライン走査の方法で走査を実行しており、一般に、従来のTOF深度センシング・モジュールは、走査中に1、8、16、32、64、又は128個の出現ビームを同時に放出する。しかしながら、同じ時点でTOF深度センシング・モジュールによって放射されるビーム量はそれでも制限されており、高い空間分解能と高いフレーム・レートを実現することができない。
[0004] 本件はTOF深度センシング・モジュール及び画像生成方法を提供し、その結果、走査により得られる深度マップは、高い空間解像度と高いフレーム・レートを有する。
[0005] 第1態様によれば、TOF深度センシング・モジュールが提供され、TOF深度センシング・モジュールは、アレイ光源と、ビーム・スプリッタと、コリメーション・レンズ群と、受信ユニットと、制御ユニットとを含み、アレイ光源はN個の発光領域を含み、N個の発光領域は互いにオーバーラップしておらず、各々の発光領域はビームを生成するために使用され、コリメーション・レンズ群はアレイ光源とビーム・スプリッタとの間に位置している。
[0006] TOF深度センシング・モジュールにおける各モジュール又はユニットの機能は具体的には以下のとおりである:
[0007] 制御ユニットは、アレイ光源のN個の発光領域のうちのM個の発光領域を、発光するように、制御するように構成されている。
[0008] コリメーション・レンズ群は、M個の発光領域からのビームに関してコリメーション処理を実行するように構成されている。
[0009] ビーム・スプリッタは、コリメーション・レンズ群がコリメーション処理を実行した後に得られるビームに関してビーム分割処理を実行するように構成されている。
[0010] 受信ユニットは、ターゲット・オブジェクトの反射ビームを受信するように構成されている。
[0011] MはN以下であり、Mは正の整数であり、Nは1より大きな正の整数である。ビーム・スプリッタは、受信した各ビーム光を、複数のビーム光に分割するように具体的に構成されている。ターゲット・オブジェクトの反射ビームは、ビーム・スプリッタからのビームを反射することによって、ターゲット・オブジェクトから得られるビームである。M個の発光領域により放射されるビームは、M個の発光領域からのビームとして言及される場合もある。
[0012] ビーム・スプリッタは、1つの光入射ビームを、複数の光ビームに分割することが可能である。従って、ビーム・スプリッタは、ビーム・リプリケータと言及される場合もある。
[0013] N個の発光領域は、N個の独立した発光領域であってもよく、即ち、N個の発光領域の各々の発光領域は、他の発光領域による影響を受けずに独立して発光することができる。N個の発光領域の各々の発光領域に関し、各々の発光領域は、一般に、複数の発光ユニットを含む。N個の発光領域において、異なる発光領域は異なる発光ユニットを含み、即ち、1つの発光ユニットは1つの発光領域のみに属する。各々の発光領域に関し、制御ユニットが発光領域を発光するように制御する場合、発光領域内の全ての発光ユニットは発光する可能性がある。
[0014] アレイ光源の発光領域の総数量は、Nであってもよい。M=Nである場合、制御ユニットは、アレイ光源の全ての発光領域を、同時に又は時間分割により、発光するように制御することが可能である。
[0015] オプションとして、制御ユニットは、アレイ光源のN個の発光領域のうちのM個の発光領域を、同時に発光するように、制御するように構成されている。
[0016] 例えば、制御ユニットは、アレイ光源のN個の発光領域のうちのM個の発光領域を、時点T0で同時に発光するように制御することが可能である。
[0017] オプションとして、制御ユニットは、アレイ光源のN個の発光領域のうちのM個の発光領域を、M個の異なる時点でそれぞれ発光するように、制御するように構成されている。
[0018] 例えば、M=3である。制御ユニットは、アレイ光源の3つの発光領域を、時点T0、時点T1、及び時点T2でそれぞれ発光するように制御することが可能であり、即ち、3つの発光領域のうちの第1発光領域は時点T0で光を放出し、第2発光領域は時点T1で光を放出し、第3発光領域は時点T2で光を放出する。
[0019] オプションとして、制御ユニットは、アレイ光源のN個の発光領域のうちのM個の発光領域を、M0個の異なる時点で別々に発光するように、制御するように構成されており、ここで、M0は1より大きくMより小さい正の整数である。
[0020] 例えば、M=3及びM0=2である。制御ユニットは、アレイ光源の3つの発光領域のうちの1つの発光領域を、時点T0で発光するように制御し、アレイ光源の3つの発光領域のうちの他の2つの発光領域を、時点T1で発光するように制御することが可能である。
[0021] 本件のこの実施形態では、アレイ光源の異なる発光領域は、時間分割により発光するように制御され、ビーム・スプリッタは、ビームに関してビーム分割処理を実行するように制御され、その結果、ある期間内にTOF深度センシング・モジュールによって放出されるビームの数量を向上させることができ、ターゲット・オブジェクトを走査するプロセスにおいて、高い空間分解能と高いフレーム・レートを実現することができる。
[0022] 第1態様に関し、第1態様の一部の実装において、受信ユニットは、受信レンズ群とセンサーを含み、受信レンズ群は、反射ビームをセンサーに収束させるように構成されている。
[0023] センサーは、センサー・アレイと言及される場合もあり、センサー・アレイは、2次元センサー・アレイであってもよい。
[0024] 第1態様に関し、第1態様の一部の実装において、センサーの分解能はP×Q以上であり、アレイ光源の1つの発光領域からのビームに関してビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qであり、P及びQは双方ともに正の整数である。
[0025] センサーの分解能は、ビーム・スプリッタが、アレイ光源の1つの発光領域からのビームに関してビーム分割を実行した後に得られるビームの数量以上である。従って、センサーは、ビーム・スプリッタからのビームを反射することにより、ターゲット・オブジェクトから得られる反射ビームを受信することができ、その結果、TOF深度センシング・モジュールは、通常的に、反射ビームを受信することができる。
[0026] 第1態様に関し、第1態様の一部の実装において、ビーム・スプリッタのビーム受信面は、アレイ光源のビーム放出面に平行である。
[0027] ビーム・スプリッタのビーム受信面が、アレイ光源のビーム放出面に平行である場合、TOF深度センシング・モジュールを組み立てることに便利であり、ビーム・スプリッタの出現ビームの光パワーを増やすことも可能である。
[0028] 第1態様に関し、第1態様の一部の実装において、ビーム・スプリッタは、円筒レンズ・アレイ、マイクロレンズ・アレイ、及び回折光学デバイスのうちの任意の1つである。
[0029] 第1態様に関し、第1態様の一部の実装において、アレイ光源は、垂直共振器型面発光レーザー(vertical cavity surface emitting laser, VCSEL)である。
[0030] オプションとして、アレイ光源は、ファブリ・ペロー・レーザー(これは、FPレーザーとして略して言及される場合がある)であってもよい。
[0031] 単一のVCSELと比較して、単一のFPレーザーは、より大きなパワーを実現することが可能であり、VCSELよりも高い電気-光学変換効率を有し、そのため、TOF深度センシング・モジュールの走査実効性を改善することができる。
[0032] オプションとして、アレイ光源によって放出されるビームの波長は、900nmより大きい。
[0033] 太陽光の中で900nmを超える光の強度は低い。従って、ビームの波長が900nmより大きい場合、それは太陽光に起因する干渉を低減するのに役立ち、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[0034] オプションとして、アレイ光源によって放出されるビームの波長は、940nm又は1550nmである。
[0035] 太陽光の中で940nm又は1550nm付近の光の強度は低い。従って、ビームの波長が940nm又は1550nmである場合、それは太陽光に起因する干渉を大幅に低減することができ、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[0036] 第1態様に関し、第1態様の一部の実装において、アレイ光源の発光面積は、5×5mm2以下であり;ビーム・スプリッタのビーム入射端面の面積は、5×5mm2以下であり;及びコリメーション・レンズ群の有効開口は、5mm以下である。
[0037] アレイ光源、ビーム・スプリッタ、及びコリメーション・レンズ群のサイズは小さいので、上記のデバイス(アレイ光源、ビーム・スプリッタ、及びコリメーション・レンズ群)を含むTOF深度センシング・モジュールは、端末デバイス内に統合しやすく、そのため、端末デバイス内で占めるスペースをある程度小さくすることができる。
[0038] 第1態様に関し、第1態様の一部の実装において、TOF深度センシング・モジュールの平均出力光パワーは、800mW未満である。
[0039] TOF深度センシング・モジュールの平均出力光パワーが800 mw以下である場合、TOF深度センシング・モジュールの電力消費は小さく、電力消費に敏感なデバイス、例えば端末デバイスに、TOF深度センシング・モジュールを配置することを促す。
[0040] 第2態様によれば、TOF深度センシング・モジュールが提供される。TOF深度センシング・モジュールは、アレイ光源と、ビーム・スプリッタと、コリメーション・レンズ群と、受信ユニットと、制御ユニットとを含み、アレイ光源はN個の発光領域を含み、N個の発光領域は互いにオーバーラップしておらず、各々の発光領域はビームを生成するために使用され、ビーム・スプリッタは前記アレイ光源と前記ビーム・スプリッタとの間に位置している。
[0041] TOF深度センシング・モジュールにおける各モジュール又はユニットの機能は具体的には以下のとおりである:
[0042] 制御ユニットは、アレイ光源のN個の発光領域のうちのM個の発光領域を、発光するように、制御するように構成されており、MはN以下であり、Mは正の整数であり、Nは1より大きな正の整数である。
[0043] ビーム・スプリッタは、M個の発光領域からのビームに関してビーム分割処理を実行するように構成されており、ビーム・スプリッタは、受信した各ビーム光を、複数のビーム光に分割するように具体的に構成されている。
[0044] コリメーション・レンズ群は、ビーム・スプリッタからのビームに関してコリメーション処理を実行するように構成されている。
[0045] 受信ユニットは、ターゲット・オブジェクトの反射ビームを受信するように構成されており、ターゲット・オブジェクトの反射ビームは、コリメーション・レンズ群からのビームを反射することによって、ターゲット・オブジェクトから得られるビームである。
[0046] M個の発光領域により放射されるビームは、M個の発光領域からのビームとして言及される場合もある。
[0047] 本件のこの実施形態では、アレイ光源の異なる発光領域は、時間分割により発光するように制御され、ビーム・スプリッタは、ビームに関してビーム分割処理を実行するように制御され、その結果、ある期間内にTOF深度センシング・モジュールによって放出されるビームの数量を改善することができ、ターゲット・オブジェクトを走査するプロセスにおいて、高い空間分解能と高いフレーム・レートを実現することができる。
[0048] 第2態様におけるTOF深度センシング・モジュールと第1態様におけるTOF深度センシング・モジュールの主な相違は、コリメーション・レンズ群の位置が異なる点である。第1態様のTOF深度センシング・モジュールにおけるコリメーション・レンズ群は、アレイ光源とビーム・スプリッタとの間に配置されており、第2態様のTOF深度センシング・モジュールにおけるビーム・スプリッタは、アレイ光源とコリメーション・レンズ群との間に配置されている(これは、コリメーション・レンズ群が、ビーム・スプリッタの出現ビームの方向に配置されることと等価である)。
[0049] オプションとして、制御ユニットは、アレイ光源のN個の発光領域のうちのM個の発光領域を、同時に発光するように、制御するように構成されている。
[0050] オプションとして、制御ユニットは、アレイ光源のN個の発光領域のうちのM個の発光領域を、M個の異なる時点でそれぞれ発光するように、制御するように構成されている。
[0051] オプションとして、制御ユニットは、アレイ光源のN個の発光領域のうちのM個の発光領域を、M0個の異なる時点で別々に発光するように、制御するように構成されており、ここで、M0は1より大きくMより小さい正の整数である。
[0052] 第2態様に関し、第2態様の一部の実装において、受信ユニットは、受信レンズ群とセンサーを含み、受信レンズ群は、反射ビームをセンサーに収束させるように構成されている。
[0053] センサーは、センサー・アレイと言及される場合もあり、センサー・アレイは、2次元センサー・アレイであってもよい。
[0054] 第2態様に関し、第2態様の一部の実装において、センサーの分解能はP×Q以上であり、アレイ光源の1つの発光領域からのビームに関してビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qであり、P及びQは双方ともに正の整数である。
[0055] センサーの分解能は、ビーム・スプリッタが、アレイ光源の1つの発光領域からのビームに関してビーム分割を実行した後に得られるビームの数量以上である。従って、センサーは、ビーム・スプリッタからのビームを反射することにより、ターゲット・オブジェクトから得られる反射ビームを受信することができ、その結果、TOF深度センシング・モジュールは、通常的に、反射ビームを受信することができる。
[0056] 第2態様に関し、第2態様の一部の実装において、ビーム・スプリッタのビーム受信面は、アレイ光源のビーム放出面に平行である。
[0057] ビーム・スプリッタのビーム受信面が、アレイ光源のビーム放出面に平行である場合、TOF深度センシング・モジュールを組み立てることに便利であり、ビーム・スプリッタの出現ビームの光パワーを増やすことも可能である。
[0058] 第2態様に関し、第2態様の一部の実装において、ビーム・スプリッタは、円筒レンズ・アレイ、マイクロレンズ・アレイ、及び回折光学デバイスのうちの任意の1つである。
[0059] 第2態様に関し、第2態様の一部の実装において、アレイ光源は、垂直共振器型面発光レーザー(vertical cavity surface emitting laser, VCSEL)である。
[0060] オプションとして、アレイ光源は、ファブリ・ペロー・レーザー(これは、FPレーザーとして略して言及される場合がある)。
[0061] 単一のVCSELと比較して、単一のFPレーザーは、より大きなパワーを実現することが可能であり、VCSELよりも高い電気-光学変換効率を有し、そのため、TOF深度センシング・モジュールの走査実効性を改善することができる。
[0062] オプションとして、アレイ光源によって放出されるビームの波長は、900nmより大きい。
[0063] 太陽光の中で900nmを超える光の強度は低い。従って、ビームの波長が900nmより大きい場合、それは太陽光に起因する干渉を低減するのに役立ち、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[0064] オプションとして、アレイ光源によって放出されるビームの波長は、940nm又は1550nmである。
[0065] 太陽光の中で940nm又は1550nm付近の光の強度は低い。従って、ビームの波長が940nm又は1550nmである場合、それは太陽光に起因する干渉を大幅に低減することができ、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[0066] 第2態様に関し、第2態様の一部の実装において、アレイ光源の発光面積は、5×5mm2以下であり;ビーム・スプリッタのビーム入射端面の面積は、5×5mm2以下であり;及びコリメーション・レンズ群の有効開口は、5mm以下である。
[0067] アレイ光源、ビーム・スプリッタ、及びコリメーション・レンズ群のサイズは小さいので、上記のデバイス(アレイ光源、ビーム・スプリッタ、及びコリメーション・レンズ群)を含むTOF深度センシング・モジュールは、端末デバイス内に統合しやすく、そのため、TOF深度センシング・モジュールが端末デバイス内に統合される場合に占める空間を、ある程度小さくすることができる。
[0068] 第2態様に関し、第2態様の一部の実装において、TOF深度センシング・モジュールの平均出力光パワーは、800mW未満である。
[0069] TOF深度センシング・モジュールの平均出力光パワーが800 mw以下である場合、TOF深度センシング・モジュールの電力消費は小さく、電力消費に敏感なデバイス、例えば端末デバイスに、TOF深度センシング・モジュールを配置することを促す。
[0070] 第3態様によれば、画像生成方法が提供され、ここで、画像生成方法は、第1態様におけるTOF深度センシング・モジュールを含む端末デバイスに適用され、画像生成方法は:制御ユニットを使用することにより、アレイ光源のN個の発光領域のうちのM個の発光領域を、M個の異なる時点でそれぞれ発光するように制御するステップ; コリメーション・レンズ群を使用することにより、M個の異なる時点でM個の発光領域によりそれぞれ生成されたビームに関してコリメーション処理を実行し、コリメーション処理が実行された後に得られるビームを取得するステップ;ビーム・スプリッタを使用することにより、コリメーション処理が実行された後に得られるビームに関してビーム分割処理を実行するステップ;受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップ;M個の異なる時点でアレイ光源のM個の発光領域によりそれぞれ放出されたビームに対応するTOFに基づいて、M個の深度マップを生成するステップ;及びM個の深度マップに基づいて、ターゲット・オブジェクトの最終深度マップを取得するステップを含む。
[0071] MはN以下であり、Mは正の整数であり、Nは1より大きな正の整数である。ビーム・スプリッタは、受信した各ビーム光を、複数のビーム光に分割するように具体的に構成されている。ターゲット・オブジェクトの反射ビームは、ビーム・スプリッタからのビームを反射することによって、ターゲット・オブジェクトから得られるビームである。
[0072] 制御ユニットを使用することにより、アレイ光源のN個の発光領域のうちのM個の発光領域を、M個の異なる時点でそれぞれ発光するように制御することは、具体的には、制御ユニットを使用することにより、M個の異なる時点で連続的に発光するように、M個の発光領域をそれぞれ制御することを意味している可能性がある。
[0073] コリメーション・レンズ群を使用することにより、M個の異なる時点でM個の発光領域によりそれぞれ生成されたビームに関してコリメーション処理を実行するステップは、具体的には、コリメーション・レンズ群を使用することにより、M個の異なる時点でM個の発光領域により生成されたビームに関してコリメーション処理をそれぞれ実行することを意味している可能性がある。
[0074] 例えば、制御ユニットは、時点T0で発光するように発光領域1を制御し、時点T1で発光するように発光領域2を制御し、時点T2で発光するように発光領域2を制御する。この場合、コリメーション・レンズ群は、時点T0において、発光領域1によって放出されたビームに関してコリメーション処理を実行し、時点T1において、発光領域2によって放出されたビームに関してコリメーション処理を実行し、時点T2において、発光領域2によって放出されたビームに関してコリメーション処理を実行することが可能である。
[0075] オプションとして、本方法は、M個の異なる時点でM個の発光領域によってそれぞれ放出されたビームに対応するTOFを取得するステップを更に含む。
[0076] オプションとして、M個の異なる時点でM個の発光領域によりそれぞれ放出されたビームに対応するTOFを取得するステップは:M個の異なる時点でM個の発光領域によってそれぞれ放出されたビームの放出時点と、対応する反射ビームの受信時点とに基づいて、M個の異なる時点でM個の発光領域によってそれぞれ放出されたビームに対応するTOFを決定するステップを含む。
[0077] M個の異なる時点でアレイ光源のM個の発光領域によりそれぞれ放出されたビームに対応するTOFは、具体的には、M個の異なる時点でアレイ光源のM個の発光領域によってそれぞれ放出されたビームの放出時点と、対応する反射ビームの受信時点との間の時間差情報であってもよい。
[0078] 例えば、アレイ光源は、3つの発光領域A、B、Cを含み、発光領域Aは時点T0でビームを放出し、発光領域Bは時点T1でビームを放出し、発光領域Cは時点T2でビームを放出する。この場合、時点T0において発光領域Aにより放出されたビームに対応するTOFは、具体的には、時点T0と或る時点の間の時間差情報であってもよく、或る時点は、時点T0で発光領域Aにより放出されたビームが、コリメーション・レンズ群のコリメーション処理とビーム・スプリッタのビーム分割処理を施され、ターゲット・オブジェクトに到達し、ターゲット・オブジェクトによって反射された後に、そのビームが最終的に受信ユニットに到達した(又は受信ユニットにより受信された)時点である。時点T1で発光領域Bにより放出されたビームに対応するTOFや、T2で発光領域Cにより放出されたビームに対応するTOFも、同様な意味を有する。
[0079] オプションとして、M個の深度マップに基づいてターゲット・オブジェクトの最終深度マップを取得することは、M個の深度マップを継ぎ合わせるか又は組み合わせてターゲット・オブジェクトの最終深度マップを取得することであってもよい。
[0080] また、コリメーション・レンズ群を使用してビームに関してコリメーション処理を実行することにより、ほぼ平行なビームを取得することができ、その結果、ビームのパワー密度を向上させることができ、そのビームを用いて以後に実行する走査の実効性を改善することができる。
[0081] 本件のこの実施形態では、アレイ光源の異なる発光領域は、時間分割により発光するように制御され、ビーム・スプリッタは、ビームに関してビーム分割処理を実行するように制御され、その結果、ある期間内にTOF深度センシング・モジュールによって放出されるビームの数量を向上させて、複数の深度マップを取得することができ、複数の深度マップに基づくスプライシングにより取得される最終深度は、高い空間分解能と高いフレーム・レートを有する。
[0082] 第3態様に関し、第3態様の一部の実装において、M個の深度マップは、それぞれ、ターゲット・オブジェクトのM個の領域セットに対応する深度マップであり、M個の領域セット内の何れの2つの領域セット間にもオーバーラップする領域は存在しない。
[0083] 第3態様に関し、第3態様の一部の実装において、受信ユニットは、受信レンズ群とセンサーを含み、受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップは:受信レンズ群を使用することにより、ターゲット・オブジェクトの反射ビームを、センサーに収束させるステップを含む。
[0084] センサーは、センサー・アレイと言及される場合もあり、センサー・アレイは、2次元センサー・アレイであってもよい。
[0085] 第3態様に関し、第3態様の一部の実装において、センサーの分解能はP×Q以上であり、アレイ光源の1つの発光領域からのビームに関してビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qである。
[0086] P及びQは双方ともに正の整数である。センサーの分解能は、ビーム・スプリッタが、アレイ光源の1つの発光領域からのビームに関してビーム分割を実行した後に得られるビームの数量以上である。従って、センサーは、ビーム・スプリッタからのビームを反射することにより、ターゲット・オブジェクトから得られる反射ビームを受信することができ、その結果、TOF深度センシング・モジュールは、通常的に、反射ビームを受信することができる。
[0087] 第3態様に関し、第3態様の一部の実装において、ビーム・スプリッタを使用することにより、コリメーション処理が実行された後に生成されるビームに関してビーム分割処理を実行するステップは:ビーム・スプリッタを使用することにより、コリメーション処理が実行された後に生成されるビームに関して、1次元又は2次元ビーム分割処理を実行するステップを含む。
[0088] 第4態様によれば、画像生成方法が提供され、ここで、画像生成方法は、第3態様におけるTOF深度センシング・モジュールを含む端末デバイスに適用され、画像生成方法は:制御ユニットを使用することにより、アレイ光源のN個の発光領域のうちのM個の発光領域を、M個の異なる時点でそれぞれ発光するように制御するステップ;ビーム・スプリッタを使用することにより、M個の異なる時点でM個の発光領域によりそれぞれ生成されたビームに関してビーム分割処理を実行するステップ;コリメーション・レンズ群を使用することにより、ビーム・スプリッタからのビームに関してコリメーション処理を実行するステップ;受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップであって、反射ビームは、コリメーション・レンズ群からのビームを反射することによって得られるターゲット・オブジェクトからのビームである、ステップ;M個の異なる時点でアレイ光源のM個の発光領域によりそれぞれ放出されたビームに対応するTOFに基づいて、M個の深度マップを生成するステップ;及びM個の深度マップに基づいて、ターゲット・オブジェクトの最終深度マップを取得するステップを含む。
[0089] N個の発光領域は互いにオーバーラップしておらず、MはN以下であり、Mは正の整数であり、Nは1より大きな正の整数である。ビーム・スプリッタは、受信した各ビーム光を、複数のビーム光に分割するように具体的に構成されている。
[0090] 制御ユニットを使用することにより、アレイ光源のN個の発光領域のうちのM個の発光領域を、M個の異なる時点でそれぞれ発光するように制御することは、具体的には、制御ユニットを使用することにより、M個の異なる時点で連続的に発光するように、M個の発光領域をそれぞれ制御することを意味している可能性がある。
[0091] ビーム・スプリッタを使用することにより、M個の異なる時点でM個の発光領域によりそれぞれ生成されたビームに関してビーム分割処理を実行することは、具体的には、ビーム・スプリッタを使用することにより、M個の異なる時点でM個の発光領域により生成されたビームに関してビーム分割処理をそれぞれ実行することを意味している可能性がある。
[0092] 例えば、制御ユニットは、アレイ光源の3つの発光領域を、時点T0、時点T1、及び時点T2でそれぞれ発光するように制御する。具体的には、発光領域1は時点T0で発光し、発光領域2は時点T1で発光し、発光領域2は時点T2で発光する。この場合、ビーム・スプリッタは、時点T0において、発光領域1によって放出されたビームに関してビーム分割処理を実行し、時点T1において、発光領域2によって放出されたビームに関してビーム分割処理を実行し、時点T2において、発光領域3によって放出されたビームに関してビーム分割処理を実行することが可能である。
[0093] オプションとして、本方法は、M個の異なる時点でM個の発光領域によってそれぞれ放出されるビームに対応するTOFを取得するステップを更に含む。
[0094] オプションとして、M個の異なる時点でM個の発光領域によりそれぞれ放出されたビームに対応するTOFを取得するステップは:M個の異なる時点でM個の発光領域によってそれぞれ放出されたビームの放出時点と、対応する反射ビームの受信時点とに基づいて、M個の異なる時点でM個の発光領域によってそれぞれ放出されたビームに対応するTOFを決定するステップを含む。
[0095] M個の異なる時点でアレイ光源のM個の発光領域によりそれぞれ放出されたビームに対応するTOFは、具体的には、M個の異なる時点でアレイ光源のM個の発光領域によってそれぞれ放出されたビームの放出時点と、対応する反射ビームの受信時点との間の時間差情報であってもよい。
[0096] 例えば、アレイ光源は、3つの発光領域A、B、Cを含み、発光領域Aは時点T0でビームを放出し、発光領域Bは時点T1でビームを放出し、発光領域Cは時点T2でビームを放出する。この場合、時点T0において発光領域Aにより放出されたビームに対応するTOFは、具体的には、時点T0と或る時点の間の時間差情報であってもよく、或る時点は、時点T0で発光領域Aにより放出されたビームが、コリメーション・レンズ群のコリメーション処理とビーム・スプリッタのビーム分割処理を施され、ターゲット・オブジェクトに到達し、ターゲット・オブジェクトによって反射された後に、そのビームが最終的に受信ユニットに到達した(又は受信ユニットにより受信された)時点である。時点T1で発光領域Bにより放出されたビームに対応するTOFや、T2で発光領域Cにより放出されたビームに対応するTOFも、同様な意味を有する。
[0097] 本件のこの実施形態では、アレイ光源の異なる発光領域は、時間分割により発光するように制御され、ビーム・スプリッタは、ビームに関してビーム分割処理を実行するように制御され、その結果、ある期間内にTOF深度センシング・モジュールによって放出されるビームの数量を向上させて、複数の深度マップを取得することができ、複数の深度マップに基づくスプライシングにより取得される最終深度は、高い空間分解能と高いフレーム・レートを有する。
[0098] 第4態様に関し、第4態様の一部の実装において、M個の深度マップは、それぞれ、ターゲット・オブジェクトのM個の領域セットに対応する深度マップであり、M個の領域セット内の何れの2つの領域セット間にもオーバーラップする領域は存在しない。
[0099] 第4態様に関し、第4態様の一部の実装において、受信ユニットは、受信レンズ群とセンサーを含み、受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップは:受信レンズ群を使用することにより、ターゲット・オブジェクトの反射ビームを、センサーに収束させるステップを含む。
[0100] センサーは、センサー・アレイと言及される場合もあり、センサー・アレイは、2次元センサー・アレイであってもよい。
[0101] 第4態様に関し、第4態様の一部の実装において、センサーの分解能はP×Q以上であり、アレイ光源の1つの発光領域からのビームに関してビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qである。
[0102] P及びQは双方ともに正の整数である。センサーの分解能は、ビーム・スプリッタが、アレイ光源の1つの発光領域からのビームに関してビーム分割を実行した後に得られるビームの数量以上である。従って、センサーは、ビーム・スプリッタからのビームを反射することにより、ターゲット・オブジェクトから得られる反射ビームを受信することができ、その結果、TOF深度センシング・モジュールは、通常的に、反射ビームを受信することができる。
[0103] 第4態様に関し、第4態様の一部の実装において、ビーム・スプリッタを使用することにより、M個の時点でM個の発光領域により生成されたビームに関してビーム分割処理をそれぞれ実行するステップは:ビーム・スプリッタを使用することにより、M個の時点でM個の発光領域により生成されたビームに関して、1次元又は2次元ビーム分割処理を実行するステップを含む。
[0104] 第5態様によれば、画像生成方法が提供され、ここで、画像生成方法は、第1態様におけるTOF深度センシング・モジュールを含む端末デバイスに適用され、画像生成方法は:端末デバイスの動作モードを決定するステップであって、端末デバイスの動作モードは第1動作モードと第2動作モードを含む、ステップを含む。
[0105] 端末デバイスが第1動作モードで動作する場合、画像生成方法は:アレイ光源のN個の発光領域のうちのL個の発光領域を、同時に発光するように制御するステップ;コリメーション・レンズ群を使用することにより、L個の発光領域により放出されたビームに関してコリメーション処理を実行するステップ;ビーム・スプリッタを使用することにより、コリメーション・レンズ群がコリメーション処理を実行した後に生成されるビームに関してビーム分割処理を実行するステップ;受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップ;及びL個の発光領域により放出されたビームに対応するTOFに基づいて、ターゲット・オブジェクトの最終深度マップを取得するステップを更に含む。
[0106] LはN以下であり、Lは正の整数であり、Nは1より大きな正の整数である。ビーム・スプリッタは、受信した各ビーム光を、複数のビーム光に分割するように具体的に構成されている。ターゲット・オブジェクトの反射ビームは、ビーム・スプリッタからのビームを反射することによって、ターゲット・オブジェクトから得られるビームである。
[0107] オプションとして、端末デバイスが第2動作モードで動作する場合、本方法は:L個の発光領域により放出されたビームに対応するTOFを取得するステップを更に含む。
[0108] オプションとして、L個の発光領域により放出されたビームに対応するTOFを取得するステップは:L個の発光領域によって放出されたビームの放出時点と、対応する反射ビームの受信時点とに基づいて、L個の発光領域によって放出されたビームに対応するTOFを決定するステップを含む。
[0109] L個の発光領域により放出されたビームに対応するTOFは、具体的には、アレイ光源のL個の発光領域によって放出されたビームの放出時点と、対応する反射ビームの受信時点との間の時間差情報であってもよい。
[0110] 端末デバイスが第2動作モードで動作する場合、画像生成方法は:アレイ光源のN個の発光領域のうちのM個の発光領域を、M個の異なる時点で発光するように制御するステップ;コリメーション・レンズ群を使用することにより、M個の異なる時点でM個の発光領域によりそれぞれ生成されたビームに関してコリメーション処理を実行し、コリメーション処理が実行された後に得られるビームを取得するステップ;ビーム・スプリッタを使用することにより、コリメーション処理が実行された後に得られるビームに関してビーム分割処理を実行するステップ;受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップ;M個の異なる時点でM個の発光領域によりそれぞれ放出されたビームに対応するTOFに基づいて、M個の深度マップを生成するステップ;及びM個の深度マップに基づいて、ターゲット・オブジェクトの最終深度マップを取得するステップを更に含む。
[0111] MはN以下であり、M及びNは両方とも正の整数である。ビーム・スプリッタは、受信した各ビーム光を、複数のビーム光に分割するように具体的に構成されている。ターゲット・オブジェクトの反射ビームは、ビーム・スプリッタからのビームを反射することによって、ターゲット・オブジェクトから得られるビームである。
[0112] 第2動作モードでは、コリメーション・レンズ群を使用することにより、M個の異なる時点でM個の発光領域によりそれぞれ生成されたビームに関してコリメーション処理を実行することは、具体的には、コリメーション・レンズ群を使用することにより、M個の異なる時点でM個の発光領域により生成されたビームに関してコリメーション処理をそれぞれ実行することを意味している可能性がある。
[0113] 例えば、制御ユニットは、時点T0で発光するように発光領域1を制御し、時点T1で発光するように発光領域2を制御し、時点T2で発光するように発光領域2を制御する。この場合、コリメーション・レンズ群は、時点T0において、発光領域1によって放出されたビームに関してコリメーション処理を実行し、時点T1において、発光領域2によって放出されたビームに関してコリメーション処理を実行し、時点T2において、発光領域3によって放出されたビームに関してコリメーション処理を実行することが可能である。
[0114] M個の異なる時点でアレイ光源のM個の発光領域によりそれぞれ放出されたビームに対応するTOFは、具体的には、M個の異なる時点でアレイ光源のM個の発光領域によってそれぞれ放出されたビームの放出時点と、対応する反射ビームの受信時点との間の時間差情報であってもよい。
[0115] また、コリメーション・レンズ群を使用してビームに関してコリメーション処理を実行することにより、ほぼ平行なビームを取得することができ、その結果、ビームのパワー密度を向上させることができ、そのビームを用いて以後に実行する走査の実効性を改善することができる。
[0116] 本件のこの実施態様において、画像生成方法は、異なる動作モードを有する。従って、異なるケースに基づいて、第1動作モード又は第2動作モードを選択することにより、ターゲット・オブジェクトの深度マップを生成ことができ、その結果、ターゲット・オブジェクトの深度マップを生成する柔軟性を向上させることが可能になり、2つの動作モードにおいて、ターゲット・オブジェクトの高い分解能の深度マップを取得することができる。
[0117] 第5態様に関し、第5態様の一部の実装において、M個の深度マップは、それぞれ、ターゲット・オブジェクトのM個の領域セットに対応する深度マップであり、M個の領域セット内の何れの2つの領域セット間にもオーバーラップする領域は存在しない。
[0118] 第5態様に関し、第5態様の一部の実装において、受信ユニットは、受信レンズ群とセンサーを含み、第1動作モード又は第2動作モードにおいて、受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップは:受信レンズ群を使用することにより、ターゲット・オブジェクトの反射ビームを、センサーに収束させるステップを含む。
[0119] センサーは、センサー・アレイと言及される場合もあり、センサー・アレイは、2次元センサー・アレイであってもよい。
[0120] 第5態様に関し、第5態様の一部の実装において、センサーの分解能はP×Q以上であり、アレイ光源の1つの発光領域からのビームに関してビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qである。
[0121] P及びQは双方ともに正の整数である。センサーの分解能は、ビーム・スプリッタが、アレイ光源の1つの発光領域からのビームに関してビーム分割を実行した後に得られるビームの数量以上である。従って、センサーは、ビーム・スプリッタからのビームを反射することにより、ターゲット・オブジェクトから得られる反射ビームを受信することができ、その結果、TOF深度センシング・モジュールは、通常的に、反射ビームを受信することができる。
[0122] 第5態様に関し、第5態様の一部の実装では、第1動作モードにおいて、L個の発光領域により放出されたビームに対応するTOFに基づいて、ターゲット・オブジェクトの最終深度マップを取得するステップは:L個の発光領域により放出されたビームに対応するTOFに基づいて、ターゲット・オブジェクトのL個の領域の深度マップを生成するステップ;及びターゲット・オブジェクトのL個の領域の深度マップに基づいて、ターゲット・オブジェクトの深度マップを合成するステップを含む。
[0123] 第5態様に関し、第5態様の一部の実装では、第2動作モードにおいて、M個の異なる時点でM個の発光領域によってそれぞれ放出されたビームに対応するTOFに基づいて、ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離が決定され;ターゲット・オブジェクトのM個の領域の深度マップは、ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離に基づいて生成され;及びターゲット・オブジェクトの深度マップは、ターゲット・オブジェクトのM個の領域の深度マップに基づいて合成される。
[0124] 第5態様に関し、第5態様の一部の実装において、端末デバイスの動作モードを決定するステップは:ユーザーの動作モード選択情報に基づいて、端末デバイスの動作モードを決定するステップを含む。
[0125] ユーザーの動作モード選択情報は、第1動作モード及び第2動作モードのうちの1つを、端末デバイスの動作モードとして選択するために使用される。
[0126] 具体的には、画像生成方法が端末デバイスによって実行される場合に、端末デバイスは、ユーザーの動作モード選択情報をユーザーから取得することが可能である。例えば、ユーザーは、端末デバイスの操作インターフェースを使用することにより、ユーザーの動作モード選択情報を入力することができる。
[0127] 端末デバイスの動作モードは、ユーザーの動作モード選択情報に基づいて決定され、その結果、ユーザーは端末デバイスの動作モードを柔軟に選択して決定することができる。
[0128] 第5態様に関し、第5態様の一部の実装において、端末デバイスの動作モードを決定するステップは:端末デバイスとターゲット・オブジェクトとの間の距離に基づいて、端末デバイスの動作モードを決定するステップを含む。
[0129] 第5態様に関し、第5態様の一部の実装において、端末デバイスの動作モードを決定するステップは:ターゲット・オブジェクトが配置されている状況に基づいて、端末デバイスの動作モードを決定するステップを含む。
[0130] 端末デバイスの動作モードは、端末デバイスとターゲット・オブジェクトとの距離、又はターゲット・オブジェクトが位置するシナリオ、に基づいて柔軟に決定することが可能であり、その結果、端末デバイスは適切な動作モードで動作する。
[0131] 第5態様に関し、第5態様の一部の実装において、端末デバイスとターゲット・オブジェクトとの間の距離に基づいて、端末デバイスの動作モードを決定するステップは:端末デバイスとターゲット・オブジェクトとの間の距離が、事前に設定された距離以下である場合には、端末デバイスは第1動作モードで動作する、と決定するステップ;又は端末デバイスとターゲット・オブジェクトとの間の距離が、事前に設定された距離より大きい場合には、端末デバイスは第2動作モードで動作する、と決定するステップを含む。
[0132] 端末デバイスとターゲット・オブジェクトとの間の距離が小さい場合、アレイ光源は、ターゲット・オブジェクトに到達する複数のビームを同時に放出するのに十分な発光パワーを有する。そこで、端末デバイスとターゲット・オブジェクトとの間の距離が小さい場合には、第1動作モードが使用され、その結果、アレイ光源の複数の発光領域は同時に発光して、ターゲット・オブジェクトのより多くの領域の深度情報を取得することを支援し、ターゲット・オブジェクトの深度マップの分解能が固定されている場合に、ターゲット・オブジェクトの深度マップのフレーム・レートを改善することが可能である。
[0133] 端末デバイスとターゲット・オブジェクトとの間の距離が大きい場合、アレイ光源の総パワーは限られているので、第2動作モードを使用することにより、ターゲット・オブジェクトの深度マップを取得することができる。具体的には、アレイ光源は、時間分割によりビームを放出するように制御され、その結果、時間分割によりアレイ光源によって放出されたビームも、ターゲット・オブジェクトに到達することができる。従って、端末デバイスがターゲット・オブジェクトから遠く離れている場合には、ターゲット・オブジェクトの様々な領域の深度情報も時間分割により取得され、ターゲット・オブジェクトの深度マップを取得することが可能である。
[0134] 第5態様に関し、第5態様の一部の実装において、ターゲット・オブジェクトが配置されている状況に基づいて端末デバイスの動作モードを決定するステップは:端末デバイスが屋内の状況にある場合には、端末デバイスは第1動作モードで動作する、と決定するステップ;又は端末デバイスが屋外の状況にある場合には、端末デバイスは第2動作モードで動作する、と決定するステップを含む。
[0135] 端末デバイスが屋内の状況にある場合、端末デバイスとターゲット・オブジェクトとの間の距離は小さく、外部ノイズは弱いので、アレイ光源は、ターゲット・オブジェクトに到達する複数のビームを同時に放出するのに十分な発光パワーを有する。そこで、端末デバイスとターゲット・オブジェクトとの間の距離が小さい場合には、第1動作モードが使用され、その結果、アレイ光源の複数の発光領域は同時に発光して、ターゲット・オブジェクトのより多くの領域の深度情報を取得することを支援し、ターゲット・オブジェクトの深度マップの分解能が固定されている場合に、ターゲット・オブジェクトの深度マップのフレーム・レートを改善することが可能である。
[0136] 端末デバイスが屋外の状況にある場合、端末デバイスとターゲット・オブジェクトとの間の距離は大きく、外部ノイズは大きく、アレイ光源の総パワーは限られているので、第2動作モードを使用することにより、ターゲット・オブジェクトの深度マップを取得することができる。具体的には、アレイ光源は、時間分割によりビームを放出するように制御され、その結果、時間分割によりアレイ光源によって放出されたビームも、ターゲット・オブジェクトに到達することができる。従って、端末デバイスがターゲット・オブジェクトから遠く離れている場合には、ターゲット・オブジェクトの様々な領域の深度情報も時間分割により取得され、ターゲット・オブジェクトの深度マップを取得することが可能である。
[0137] 第6態様によれば、画像生成方法が提供され、ここで、画像生成方法は、第2態様におけるTOF深度センシング・モジュールを含む端末デバイスに適用され、画像生成方法は:端末デバイスの動作モードを決定するステップであって、端末デバイスの動作モードは第1動作モードと第2動作モードを含む、ステップを含む。
[0138] 端末デバイスが第1動作モードで動作する場合、画像生成方法は:アレイ光源のN個の発光領域のうちのL個の発光領域を、同時に発光するように制御するステップ;ビーム・スプリッタを使用することにより、L個の発光領域からのビームに関してビーム分割処理を実行するステップ;コリメーション・レンズ群を使用することにより、ビーム・スプリッタからのビームに関してコリメーション処理を実行して、コリメーション処理が実行された後に得られるビームを取得するステップ;受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップ;及びL個の発光領域により放出されたビームに対応するTOFに基づいて、ターゲット・オブジェクトの最終深度マップを生成するステップを更に含む。
[0139] LはN以下であり、Lは正の整数であり、Nは1より大きな正の整数である。ビーム・スプリッタは、受信した各ビーム光を、複数のビーム光に分割するように具体的に構成されている。ターゲット・オブジェクトの反射ビームは、コリメーション処理が実行された後に得られるビームを反射することによって、ターゲット・オブジェクトから得られるビームである。
[0140] オプションとして、端末デバイスが第2動作モードで動作する場合、本方法は:L個の発光領域により放出されたビームに対応するTOFを取得するステップを更に含む。
[0141] オプションとして、L個の発光領域により放出されたビームに対応するTOFを取得するステップは:L個の発光領域によって放出されたビームの放出時点と、対応する反射ビームの受信時点とに基づいて、L個の発光領域によって放出されたビームに対応するTOFを決定するステップを含む。
[0142] L個の発光領域により放出されたビームに対応するTOFは、具体的には、アレイ光源のL個の発光領域によって放出されたビームの放出時点と、対応する反射ビームの受信時点との間の時間差情報であってもよい。
[0143] 端末デバイスが第2動作モードで動作する場合、画像生成方法は:アレイ光源のN個の発光領域のうちのM個の発光領域を、M個の異なる時点で発光するように制御するステップ;ビーム・スプリッタを使用することにより、M個の異なる時点でM個の発光領域によりそれぞれ生成されたビームに関してビーム分割処理を実行するステップ;コリメーション・レンズ群を使用することにより、ビーム・スプリッタからのビームに関してコリメーション処理を実行するステップ;受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップ;M個の異なる時点でM個の発光領域によりそれぞれ放出されたビームに対応するTOFに基づいて、M個の深度マップを生成するステップ;及びM個の深度マップに基づいて、ターゲット・オブジェクトの最終深度マップを取得するステップを更に含む。
[0144] MはN以下であり、M及びNは双方ともに正の整数である。ビーム・スプリッタは、受信した各ビーム光を、複数のビーム光に分割するように具体的に構成されている。ターゲット・オブジェクトの反射ビームは、コリメーション・レンズ群からのビームを反射することによって、ターゲット・オブジェクトから得られるビームである。
[0145] 第2動作モードにおいて、ビーム・スプリッタを使用することにより、M個の異なる時点でM個の発光領域によりそれぞれ生成されたビームに関してビーム分割処理を実行することは、具体的には、ビーム・スプリッタを使用することにより、M個の異なる時点でM個の発光領域により生成されたビームに関してビーム分割処理をそれぞれ実行することを意味している可能性がある。
[0146] 例えば、制御ユニットは、アレイ光源の3つの発光領域を、時点T0、時点T1、及び時点T2でそれぞれ発光するように制御する。具体的には、発光領域1は時点T0で発光し、発光領域2は時点T1で発光し、発光領域3は時点T2で発光する。この場合、ビーム・スプリッタは、時点T0において、発光領域1によって放出されたビームに関してビーム分割処理を実行し、時点T1において、発光領域2によって放出されたビームに関してビーム分割処理を実行し、時点T2において、発光領域3によって放出されたビームに関してビーム分割処理を実行することが可能である。
[0147] M個の異なる時点でアレイ光源のM個の発光領域によりそれぞれ放出されたビームに対応するTOFは、具体的には、M個の異なる時点でアレイ光源のM個の発光領域によってそれぞれ放出されたビームの放出時点と、対応する反射ビームの受信時点との間の時間差情報であってもよい。
[0148] また、コリメーション・レンズ群を使用してビームに関してコリメーション処理を実行することにより、ほぼ平行なビームを取得することができ、その結果、ビームのパワー密度を向上させることができ、そのビームを用いて以後に実行する走査の実効性を改善することができる。
[0149] 本件のこの実施態様において、画像生成方法は、異なる動作モードを有する。従って、異なるケースに基づいて、第1動作モード又は第2動作モードを選択することにより、ターゲット・オブジェクトの深度マップを生成ことができ、その結果、ターゲット・オブジェクトの深度マップを生成する柔軟性を向上させることが可能になる。
[0150] 第6態様に関し、第6態様の一部の実装において、M個の深度マップは、それぞれ、ターゲット・オブジェクトのM個の領域セットに対応する深度マップであり、M個の領域セット内の何れの2つの領域セット間にもオーバーラップする領域は存在しない。
[0151] 第6態様に関し、第6態様の一部の実装において、受信ユニットは、受信レンズ群とセンサーを含み、第1動作モード又は第2動作モードにおいて、受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップは:受信レンズ群を使用することにより、ターゲット・オブジェクトの反射ビームを、センサーに収束させるステップを含む。
[0152] センサーは、センサー・アレイと言及される場合もあり、センサー・アレイは、2次元センサー・アレイであってもよい。
[0153] 第6態様に関し、第6態様の一部の実装において、センサーの分解能はP×Q以上であり、アレイ光源の1つの発光領域からのビームに関してビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qである。
[0154] P及びQは双方ともに正の整数である。センサーの分解能は、ビーム・スプリッタが、アレイ光源の1つの発光領域からのビームに関してビーム分割を実行した後に得られるビームの数量以上である。従って、センサーは、ビーム・スプリッタからのビームを反射することにより、ターゲット・オブジェクトから得られる反射ビームを受信することができ、その結果、TOF深度センシング・モジュールは、通常的に、反射ビームを受信することができる。
[0155] 第6態様に関し、第6態様の一部の実装では、第1動作モードにおいて、L個の発光領域により放出されたビームに対応するTOFに基づいて、ターゲット・オブジェクトの最終深度マップを取得するステップは:L個の発光領域により放出されたビームに対応するTOFに基づいて、ターゲット・オブジェクトのL個の領域の深度マップを生成するステップ;及びターゲット・オブジェクトのL個の領域の深度マップに基づいて、ターゲット・オブジェクトの深度マップを合成するステップを含む。
[0156] 第6態様に関し、第6態様の一部の実装では、第2動作モードにおいて、M個の異なる時点でM個の発光領域によってそれぞれ放射されたビームに対応するTOFに基づいて、ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離が決定され;ターゲット・オブジェクトのM個の領域の深度マップは、ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離に基づいて生成され;及びターゲット・オブジェクトの深度マップは、ターゲット・オブジェクトのM個の領域の深度マップに基づいて合成される。
[0157] 第6態様に関し、第6態様の一部の実装において、端末デバイスの動作モードを決定するステップは:ユーザーの動作モード選択情報に基づいて、端末デバイスの動作モードを決定するステップを含む。
[0158] ユーザーの動作モード選択情報は、第1動作モード及び第2動作モードのうちの1つを、端末デバイスの動作モードとして選択するために使用される。
[0159] 具体的には、画像生成方法が端末デバイスによって実行される場合に、端末デバイスは、ユーザーの動作モード選択情報をユーザーから取得することが可能である。例えば、ユーザーは、端末デバイスの操作インターフェースを使用することにより、ユーザーの動作モード選択情報を入力することができる。
[0160] 端末デバイスの動作モードは、ユーザーの動作モード選択情報に基づいて決定され、その結果、ユーザーは端末デバイスの動作モードを柔軟に選択して決定することができる。
[0161] 第6態様に関し、第6態様の一部の実装において、端末デバイスの動作モードを決定するステップは:端末デバイスとターゲット・オブジェクトとの間の距離に基づいて、端末デバイスの動作モードを決定するステップを含む。
[0162] 第6態様に関し、第6態様の一部の実装において、端末デバイスの動作モードを決定するステップは:ターゲット・オブジェクトが配置されている状況に基づいて、端末デバイスの動作モードを決定するステップを含む。
[0163] 端末デバイスの動作モードは、端末デバイスとターゲット・オブジェクトとの間の距離、又はターゲット・オブジェクトが位置するシナリオ、に基づいて柔軟に決定することが可能であり、その結果、端末デバイスは適切な動作モードで動作する。
[0164] 第6態様に関し、第6態様の一部の実装において、端末デバイスとターゲット・オブジェクトとの間の距離に基づいて、端末デバイスの動作モードを決定するステップは:端末デバイスとターゲット・オブジェクトとの間の距離が、事前に設定された距離以下である場合には、端末デバイスは第1動作モードで動作する、と決定するステップ;又は端末デバイスとターゲット・オブジェクトとの間の距離が、事前に設定された距離より大きい場合には、端末デバイスは第2動作モードで動作する、と決定するステップを含む。
[0165] 端末デバイスとターゲット・オブジェクトとの間の距離が小さい場合、アレイ光源は、ターゲット・オブジェクトに到達する複数のビームを同時に放出するのに十分な発光パワーを有する。そこで、端末デバイスとターゲット・オブジェクトとの間の距離が小さい場合には、第1動作モードが使用され、その結果、アレイ光源の複数の発光領域は同時に発光して、ターゲット・オブジェクトのより多くの領域の深度情報を取得することを支援し、ターゲット・オブジェクトの深度マップの分解能が固定されている場合に、ターゲット・オブジェクトの深度マップのフレーム・レートを改善することが可能である。
[0166] 端末デバイスとターゲット・オブジェクトとの間の距離が大きい場合、アレイ光源の総パワーは限られているので、第2動作モードを使用することにより、ターゲット・オブジェクトの深度マップを取得することができる。具体的には、アレイ光源は、時間分割によりビームを放出するように制御され、その結果、時間分割によりアレイ光源によって放出されたビームも、ターゲット・オブジェクトに到達することができる。従って、端末デバイスがターゲット・オブジェクトから遠く離れている場合には、ターゲット・オブジェクトの様々な領域の深度情報も時間分割により取得され、ターゲット・オブジェクトの深度マップを取得することが可能である。
[0167] 第6態様に関し、第6態様の一部の実装において、ターゲット・オブジェクトが配置されている状況に基づいて端末デバイスの動作モードを決定するステップは:端末デバイスが屋内の状況にある場合には、端末デバイスは第1動作モードで動作する、と決定するステップ;又は端末デバイスが屋外の状況にある場合には、端末デバイスは第2動作モードで動作する、と決定するステップを含む。
[0168] 端末デバイスが屋内の状況にある場合、端末デバイスとターゲット・オブジェクトとの間の距離は小さく、外部ノイズは弱いので、アレイ光源は、ターゲット・オブジェクトに到達する複数のビームを同時に放出するのに十分な発光パワーを有する。そこで、端末デバイスとターゲット・オブジェクトとの間の距離が小さい場合には、第1動作モードが使用され、その結果、アレイ光源の複数の発光領域は同時に発光して、ターゲット・オブジェクトのより多くの領域の深度情報を取得することを支援し、ターゲット・オブジェクトの深度マップの分解能が固定されている場合に、ターゲット・オブジェクトの深度マップのフレーム・レートを改善することが可能である。
[0169] 端末デバイスが屋外の状況にある場合、端末デバイスとターゲット・オブジェクトとの間の距離は大きく、外部ノイズは大きく、アレイ光源の総パワーは限られているので、第2動作モードを使用することにより、ターゲット・オブジェクトの深度マップを取得することができる。具体的には、アレイ光源は、時間分割によりビームを放出するように制御され、その結果、時間分割によりアレイ光源によって放出されたビームも、ターゲット・オブジェクトに到達することができる。従って、端末デバイスがターゲット・オブジェクトから遠く離れている場合には、ターゲット・オブジェクトの様々な領域の深度情報も時間分割により取得され、ターゲット・オブジェクトの深度マップを取得することが可能である。
[0170] 第7態様によれば、端末デバイスが提供され、ここで、端末デバイスは第1態様におけるTOF深度センシング・モジュールを含む。
[0171] 第7態様における端末デバイスは、第3態様又は第5態様の画像生成方法を実行することができる。
[0172] 第8態様によれば、端末デバイスが提供され、ここで、端末デバイスは第2態様におけるTOF深度センシング・モジュールを含む。
[0173] 第8態様における端末デバイスは、第4態様又は第6態様の画像生成方法を実行することができる。
[0174] 第7態様又は第8態様の端末デバイスは、具体的には、スマートフォン、タブレット、コンピュータ、ゲーム・デバイス等であってもよい。
[0175] 図1は、レーザー・レーダーの距離測定原理の概略図である。 [0176] 図2は、本件の実施形態によるTOF深度センシング・モジュールを用いて距離測定を行う概略図である。 [0177] 図3は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。 [0178] 図4は、VCSELの概略図である。 [0179] 図5は、アレイ光源の概略図である。 [0180] 図6は、ビーム・スプリッタを使用することにより、アレイ光源によって放出されたビームに関してビーム分割を実行する際の概略図である。 [0181] 図7は、ビーム・スプリッタを使用することにより、アレイ光源によって放出されたビームに関してビーム分割を実行することで得られる投影領域の概略図である。 [0182] 図8は、ビーム・スプリッタを使用することにより、アレイ光源によって放出されたビームに関してビーム分割を実行することで得られる投影領域の概略図である。 [0183] 図9は、ビーム・スプリッタを使用することにより、アレイ光源によって放出されたビームに関してビーム分割を実行することで得られる投影領域の概略図である。 [0184] 図10は、ビーム・スプリッタを使用することにより、アレイ光源によって放出されたビームに関してビーム分割を実行することで得られる投影領域の概略図である。 [0185] 図11は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0186] 図12は、ビーム・スプリッタを使用することにより、ビーム分割処理を実行する際の概略図である。 [0187] 図13は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0188] 図14は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0189] 図15は、本件の実施形態によるTOF深度センシング・モジュールの動作概略図である。 [0190] 図16は、アレイ光源の発光領域の概略図である。 [0191] 図17は、ビーム・スプリッタを使用することにより、図16に示すアレイ光源によって放出されたビームに関してビーム分割処理を実行する際の概略図である。 [0192] 図18は、本件の実施形態による画像生成方法の概略フローチャートである。 [0193] 図19は、時点t0ないしt3におけるターゲット・オブジェクトの深度マップを示す。 [0194] 図20は、本件の実施形態による画像生成方法の概略フローチャートである。 [0195] 図21は、本件の実施形態による画像生成方法の概略フローチャートである。 [0196] 図22は、第1動作モードでターゲット・オブジェクトの最終深度マップを取得する際の概略フローチャートである。 [0197] 図23は、第1動作モードでターゲット・オブジェクトの最終深度マップを取得する際の概略フローチャートである。 [0198] 図24は、第2動作モードでターゲット・オブジェクトの最終深度マップを取得する際の概略フローチャートである。 [0199] 図25は、第2動作モードでターゲット・オブジェクトの最終深度マップを取得する際の概略フローチャートである。 [0200] 図26は、本件の実施形態によるTOF深度センシング・モジュールを使用することにより、距離測定を実行する際の概略図である。 [0201] 図27は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。 [0202] 図28は、ビームの空間角度の概略図である。 [0203] 図29は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。 [0204] 図30は、本件の実施形態によるTOF深度センシング・モジュールによりターゲット・オブジェクトを走査する際の概略図である。 [0205] 図31は、本件の実施形態によるTOF深度センシング・モジュールの走査トラックの概略図である。 [0206] 図32は、本件の実施形態によるTOF深度センシング・モジュールの走査方法の概略図である。 [0207] 図33は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。 [0208] 図34は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。 [0209] 図35は、本件の実施形態による液晶偏光格子の構造の概略図である。 [0210] 図36は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0211] 図37は、周期的な制御信号を使用することによって、液晶偏光格子の物理特性を変化させる際の概略図である。 [0212] 図38は、液晶偏光格子によって入力ビームの方向を制御する際の概略図である。 [0213] 図39は、液晶偏光格子に印加される電圧信号の概略図である。 [0214] 図40は、本件の実施形態によるTOF深度センシング・モジュールの走査トラックの概略図である。 [0215] 図41は、走査対象領域の概略図である。 [0216] 図42は、走査対象領域の概略図である。 [0217] 図43は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0218] 図44は、電気-光学結晶によるビームの方向の制御する際の概略図である [0219] 図45は、電気-光学結晶に印加される電圧信号の概略図である。 [0220] 図46は、本件の実施形態によるTOF深度センシング・モジュールの走査トラックの概略図である。 [0221] 図47は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0222] 図48は、音響-光学デバイスによってビームの方向を制御する際の概略図である。 [0223] 図49は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0224] 図50は、OPAデバイスによるビームの方向を制御する際の概略図である。 [0225] 図51は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0226] 図52は、本件の実施形態による画像生成方法の概略フローチャートである。 [0227] 図53は、本件の実施形態によるTOF深度センシング・モジュールを使用することにより、距離測定を実行する際の概略図である。 [0228] 図54は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0229] 図55は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。 [0230] 図56は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。 [0241] 図57は、本件の実施形態による画像生成方法の概略フローチャートである。 [0232] 図58は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。 [0233] 図59は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。 [0234] 図60は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。 [0235] 図61は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0236] 図62は、本件の実施形態による画像生成方法の概略フローチャートである。 [0237] 図63は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0238] 図64は、本件の実施形態による液晶偏光デバイスの構造の概略図である。 [0239] 図65は、制御時間シーケンスの概略図である。 [0240] 図66は、電圧駆動信号の時間シーケンス図である。 [0241] 図67は、異なる時点におけるTOF深度センシング・モジュールの走査領域の概略図である。 [0242] 図68は、ターゲット・オブジェクトの深度マップであって時点t0ないしt3に対応するものの概略図である。 [0243] 図69は、ターゲット・オブジェクトの最終深度マップの概略図である。 [0244] 図70は、本件の実施形態によるTOF深度センシング・モジュールの動作概略図である。 [0245] 図71は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0246] 図72は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0247] 図73は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0248] 図74は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0249] 図75は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0250] 図76は、本件の実施形態によるTOF深度センシング・モジュール500の構造の概略図である。 [0251] 図77は、マイクロレンズ・ディフューザーの形態の概略図である [0252] 図78は、本件の実施形態による画像生成方法の概略フローチャートである。 [0253] 図79は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0254] 図80は、本件の実施形態によるTOF深度センシング・モジュールの特定の構造の概略図である。 [0255] 図81は、本件の実施形態によるTOF深度センシング・モジュールの特定の構造の概略図である。 [0256] 図82は、本件の実施形態によるTOF深度センシング・モジュールの特定の構造の概略図である。 [0257] 図83は、本件の実施形態によるTOF深度センシング・モジュールの特定の構造の概略図である。 [0258] 図84は、本件の実施形態によるTOF深度センシング・モジュール600の構造の概略図である。 [0259] 図85は、本件の実施形態によるTOF深度センシング・モジュール600の構造の概略図である。 [0260] 図86は、本件の実施形態によるTOF深度センシング・モジュール600の構造の概略図である。 [0261] 図87は、偏光フィルタの受信偏光ビームの概略図である。 [0262] 図88は、本件の実施形態による画像生成方法の概略フローチャートである。 [0263] 図89は、本件の実施形態によるTOF深度センシング・モジュールの特定の構造の概略図である。 [0264] 図90は、本件の実施形態によるTOF深度センシング・モジュールの特定の構造の概略図である。 [0265] 図91は、本件の実施形態によるTOF深度センシング・モジュールの特定の構造の概略図である。 [0266] 図92は、本件の実施形態によるTOF深度センシング・モジュールの特定の構造の概略図である。 [0267] 図93は、本件の実施形態によるTOF深度センシング・モジュールの特定の構造の概略図である。 [0268] 図94は、本件の実施形態によるTOF深度センシング・モジュールの駆動信号及び受信信号の概略図である。 [0269] 図95は、本件の実施形態によるTOF深度センシング・モジュールによって放出されるビームの角度及び状態の概略図である。 [0270] 図96は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0271] 図97は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0272] 図98は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0273] 図99は、平坦な液晶セルのビーム偏向原理の概略図である。 [0274] 図100は、平坦な液晶セルのビーム偏向原理の概略図である。 [0275] 図101は、本件の実施形態による画像生成方法の概略フローチャートである。 [0276] 図102は、第1ビームのFOVの概略図である。 [0277] 図103は、M個の方向で出現ビームによってカバーされる全FOVの概略図である。 [0278] 図104は、本件の実施形態によるTOF深度センシング・モジュールにより、M個の異なる方向で走査を実行する際の概略図である。 [0279] 図105は、本件の実施形態による解決策の設計全体の概略フローチャートである。
[0280] 以下、添付の図面を参照しながら本件の技術的解決策を説明する。
[0281] 図1は、レーザー・レーダーの距離測定原理の概略図である。
[0282] 図1に示すように、レーザー・レーダーの送信器は、レーザー・パルスを放出する(パルス幅は、ナノ秒ないしピコ秒のオーダーであってもよい)。同時に、タイマーが計時を開始する。レーザー・パルスがターゲット領域に照射されると、ターゲット領域の表面の反射に起因して、反射されたレーザー・パルスが生じる。レーザー・レーダーの検出器が、反射レーザー・パルスを受信すると、タイマーは計時を停止して、飛行時間(time of flight, TOF)を求める。次に、TOFに基づいて、レーザー・レーダーとターゲット領域との間の距離を計算することが可能である。
[0283] 具体的には、式(1)に従ってレーザー・レーダーとターゲット領域との間の距離を決定することができる:
L=c*T/2 (1)
[0284] 前述の式(1)において、Lは、レーザー・レーダーとターゲット領域との間の距離であり、cは光の速度であり、Tは光の伝搬時間である。
[0285] 本件の実施形態におけるTOF深度センシング・モジュールでは、光源がビームを放出した後、ビームはTOF深度センシング・モジュール内の別の要素(例えば、コリメーション・レンズ群、及びビーム・スプリッタ)によって処理されることを必要とし、その結果、ビームは最終的に送信端部から放出される、ということが理解されるべきである。このプロセスにおいて、TOF深度センシング・モジュール内の要素からのビームは、要素によって放出されたビームと言及される場合がある。
[0286] 例えば、光源はビームを放出し、ビームはコリメーション・レンズ群のコリメーション処理を受けた後に放出される。コリメーション・レンズ群によって放出されるビームは、実際には、コリメーション・レンズ群からのビームと言及される場合がある。本件におけるコリメーション・レンズ群によって放出されるビームは、コリメーション・レンズ群によって放出されたビームではなく、前述の要素を経て伝搬したビームが処理された後に放出されるビームである。
[0287] オプションとして、本件の実施形態において、光源は、レーザー光源、発光ダイオード(light emitting diode, LED)光源、又は別の形態の光源であってもよい。これは、本発明において網羅的に説明されてはない。
[0288] オプションとして、光源はレーザー光源であり、レーザー光源は具体的にはアレイ光源であってもよい。
[0289] 更に、本件では、レーザー光源又はアレイ光源によって放出されるビームは、レーザー光源又はアレイ光源からのビームとして言及される場合がある。レーザー光源からのビームもまた、レーザー・ビームと言及される場合があることは理解されるべきである。説明の簡明化のために、レーザー・ビームは、本件ではまとめてビームとして言及される。
[0290] 以下、先ず図2を参照しながら、本件の実施形態におけるTOF深度センシング・モジュールを簡単に説明する。
[0291] 図2は、本件の実施形態によるTOF深度センシング・モジュールを用いて距離測定を実行する際の概略図である。
[0292] 図2に示されるように、TOF深度センシング・モジュールは、送信端部(又は、投影端部と言及されてもよい)、受信端部、及び制御ユニットを含む可能性がある。送信端部は、出現ビーム(emergent beam)を生成するように構成されている。受信端部は、ターゲット・オブジェクトの反射ビーム(反射ビームは、出現ビームを反射することによってターゲット・オブジェクトから得られるビームである)を受信するように構成されている。制御ユニットは、送信端部と受信端部のそれぞれを、ビームを放出及び受信するように制御することができる。
[0293] 図2において、送信端部は、一般に、光源、ビーム・スプリッタ、コリメーション・レンズ群、及び投影レンズ群(オプション)を含む可能性があり、受信端部は、一般に、受信レンズ群及びセンサーを含む可能性があり、受信レンズ群及びセンサーは、まとめて受信ユニットと言及される場合がある。
[0294] 図2において、出現ビームに対応するTOFは、タイミング装置を用いて記録され、TOF深度センシング・モジュールとターゲット領域との間の距離を計算し、ターゲット・オブジェクトの最終的な深度マップを取得することができる。出現ビームに対応するTOFは、反射ビームが受信ユニットによって受信される時点と、出現ビームの発生時点との間の時間差情報であってもよい。
[0295] 図2における光源は、レーザー光源であってもよく、レーザー光源は、特にアレイ光源であってもよい。
[0296] 本件のこの実施形態におけるTOF深度センシング・モジュールは、3次元(3 dimensions, 3D)画像を取得するように構成されてもよい。本件のこの実施形態におけるTOF深度センシング・モジュールは、インテリジェント端末(例えば、携帯電話、タブレット、及びウェアラブル・デバイス)内に配置されてもよく、深度画像又は3D画像を取得するように構成されるものであり、3Dゲーム又はモーション・センシング・ゲーム用のジェスチャ及び身体認識をもたらす可能性がある。
[0297] 以下、図3を参照しながら、本件の実施形態におけるTOF深度センシング・モジュールを詳細に説明する。
[0298] 図3は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。
[0299] 図3に示されるTOF深度センシング・モジュール100は、アレイ光源110、コリメーション・レンズ群120、ビーム・スプリッタ130、受信ユニット140、及び制御ユニット150を含む。以下、TOF深度センシング・モジュール100内のモジュール又はユニットを詳細に説明する。
[0300] アレイ光源110:
[0301] アレイ光源110は、ビームを生成(放出)するように構成されている。
[0302] アレイ光源110は、N個の発光領域を含み、各々の発光領域は、独立してビームを生成することが可能であり、Nは1より大きな正の整数である。
[0303] オプションとして、各々の発光領域は、独立してレーザー・ビームを生成することが可能である。
[0304] 制御ユニット150は、アレイ光源110のN個の発光領域のうちのM個の発光領域を、発光するように、制御するように構成されている。
[0305] コリメーション・レンズ群120は、M個の発光領域によって放出されたビームに関してコリメーション処理を実行するように構成されている。
[0306] ビーム・スプリッタ130は、コリメーション・レンズ群がコリメーション処理を実行した後に得られるビームに関してビーム分割処理を実行するように構成されている。
[0307] 受信ユニット140は、ターゲット・オブジェクトの反射ビームを受信するように構成されている。
[0308] MはN以下であり、Mは正の整数であり、Nは1より大きな正の整数である。ビーム・スプリッタは、具体的には、受信した各ビーム光を、複数のビーム光に分割するように構成されている。ターゲット・オブジェクトの反射ビームは、ビーム・スプリッタからのビームを反射することによってターゲット・オブジェクトから得られるビームである。M個の発光領域によって放出されるビームは、M個の発光領域からのビームとして言及される場合がある。
[0309] MはN以下であるので、制御ユニット150は、アレイ光源110のうちの全部又は一部の発光領域を、発光するように制御することが可能である。
[0310] N個の発光領域は、N個の独立した発光領域であってもよく、即ち、N個の発光領域の各々の発光領域は、他の発光領域の影響を受けずに独立して発光することが可能である。N個の発光領域の各々の発光領域について、各々の発光領域は、一般に、複数の発光ユニットを含む。N個の発光領域において、異なる発光領域は、異なる発光ユニットを含み、即ち、1つの発光ユニットは唯1つの発光領域に属する。各々の発光領域に関し、制御ユニットが発光領域を発光するように制御する場合に、発光領域内の全ての発光ユニットが発光する可能性がある。
[0311] アレイ光源の発光領域の総量は、Nであってもよい。M=Nである場合、制御ユニットは、アレイ光源の全ての発光領域を、同時に又は時間分割で発光するように制御することが可能である。
[0312] オプションとして、制御ユニットは、アレイ光源のN個の発光領域のうちのM個の発光領域を、同時に発光するように、制御するように構成されている。
[0313] 例えば、制御ユニットは、アレイ光源のN個の発光領域のうちのM個の発光領域を、時点T0で同時に発光するように、制御することが可能である。
[0314] オプションとして、制御ユニットは、アレイ光源のN個の発光領域のうちのM個の発光領域を、M個の異なる時点でそれぞれ発光するように、制御するように構成されている。
[0315] 例えば、M=3である。制御ユニットは、アレイ光源の3つの発光領域を、時点T0、時点T1、及び時点T2でそれぞれ発光するように制御することが可能であり、即ち、3つの発光領域のうちの第1発光領域は時点T0で光を放出し、第2発光領域は時点T1で光を放出し、第3発光領域は時点T2で光を放出する。
[0316] オプションとして、制御ユニットは、アレイ光源のN個の発光領域のうちのM個の発光領域を、M0個の異なる時点で別々に発光するように、制御するように構成されており、ここで、M0は1より大きくMより小さい正の整数である。
[0317] 例えば、M=3及びM0=2である。制御ユニットは、アレイ光源の3つの発光領域のうちの1つの発光領域を、時点T0で発光するように制御し、アレイ光源の3つの発光領域のうちの他の2つの発光領域を、時点T1で発光するように制御することが可能である。
[0318] 本件のこの実施形態では、アレイ光源の異なる発光領域は、時間分割により発光するように制御され、ビーム・スプリッタは、ビームに関してビーム分割処理を実行するように制御され、その結果、ある期間内にTOF深度センシング・モジュールによって放出されるビームの数量を向上させることができ、ターゲット・オブジェクトを走査するプロセスにおいて、高い空間分解能と高いフレーム・レートを実現することができる。
[0319] オプションとして、アレイ光源110の発光領域は、5×5mm2以下である。
[0320] アレイ光源110の発光面積が5×5mm2以下である場合、アレイ光源110の面積は小さく、TOF深度センシング・モジュール100が占めるスペースを小さくすることが可能であり、その結果、TOF深度センシング・モジュール100は、限られたスペースを伴う端末デバイス内に簡便に取り付けられる。
[0321] オプションとして、アレイ光源110は半導体レーザー光源であってもよい。
[0322] アレイ光源110は、垂直共振器型面発光レーザー(vertical cavity surface emitting laser, VCSEL)であってもよい。
[0323] 図5は、VCSELの概略図である。図5に示されるように、VCSELは、複数の発光点(図5における黒い点の領域)を含み、各々の発光点は、制御ユニットの制御下で発光することが可能である。
[0324] オプションとして、光源は、ファブリ・ペロー・レーザー(これは、FPレーザーと略称される場合がある)であってもよい。
[0325] 単一のVCSELと比較して、単一のFPレーザーは、より大きなパワーを実現することが可能であり、VCSELよりも高い電気-光学変換効率を有し、そのため、走査実効性を改善することができる。
[0326] オプションとして、アレイ光源110によって放出されるビームの波長は、900nmより大きい。
[0327] 太陽光の中で900nmを超える光の強度は低い。従って、ビームの波長が900nmより大きい場合、それは太陽光に起因する干渉を低減するのに役立ち、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[0328] オプションとして、アレイ光源によって放出されるビームの波長は、940nm又は1550nmである。
[0329] 太陽光の中で940nm又は1550nm付近の光の強度は低い。従って、ビームの波長が940nm又は1550nmである場合、それは太陽光に起因する干渉を大幅に低減することができ、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[0330] 図5に関し、以下、アレイ光源110が複数の独立した発光領域を含む場合を詳細に説明する。
[0331] 図5に示されるように、アレイ光源110は、相互に独立した発光領域111、112、113、及び114を含み、各領域には、幾つかの発光ユニット1001が存在する。各領域内の幾つかの発光ユニット1001は、共通電極1002を使用することによって互いに接続され、異なる発光領域内の発光ユニットは異なる電極に接続され、その結果、異なる領域は、相互に独立している。
[0332] 図5に示されるアレイ光源110の場合、制御ユニット150は、独立した発光領域111、112、113、及び114をそれぞれ制御して、異なる時点で独立して発光させることができる。例えば、制御ユニット150は、発光領域111、112、113、及び114を、時点t0、時点t1、時点t2、及び時点t3でそれぞれ発光するように制御することができる。
[0333] オプションとして、コリメーション・レンズ群120がコリメーション処理を実行した後に得られるビームは準平行光であり、その準平行光の発散角度は1度未満である。
[0334] コリメーション・レンズ群120は、1つ以上のレンズを含んでもよい。コリメーション・レンズ群120が複数のレンズを含む場合、コリメーション・レンズ群120は、コリメーション処理プロセスで生じる収差を効果的に減らすことができる。
[0335] コリメーション・レンズ群120は、プラスチック材料、ガラス材料、又はプラスチック材料とガラス材料の両方で作ることが可能である。コリメーション・レンズ群120がガラス材料で構成される場合、コリメーション・レンズ群120は、ビームにコリメーション処理を実行するプロセスにおいて、コリメーション・レンズ群120の後方焦点距離に対する温度の影響を低減することができる。
[0336] 具体的には、ガラス材料の熱膨張係数は小さいので、ガラス材料がコリメーション・レンズ群120に使用される場合、コリメーション・レンズ群120の後方焦点距離に対する温度の影響を低減することができる。
[0337] オプションとして、コリメーション・レンズ群120の有効開口は、5mm以下である。
[0338] コリメーション・レンズ群120の有効開口が5mm以下である場合、コリメーション・レンズ群120の面積は小さく、TOF深度センシング・モジュール100によって占められるスペースを小さくすることができ、その結果、TOF深度センシング・モジュール100は、限られたスペースを伴う端末デバイスに好都合に取り付けられる。
[0339] 図3に示すように、受光ユニット140は、受光レンズ群141及びセンサー142を含むことが可能であり、受光レンズ群141は、反射ビームをセンサー142に収束させるように構成される。
[0340] センサー142は、センサー・アレイと言及される場合があり、センサー・アレイは、2次元センサー・アレイであってもよい。
[0341] オプションとして、センサー142の分解能はP×Q以上であり、アレイ光源110の1つの発光領域からのビームに関してビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qであり、P及びQは双方ともに正の整数である。
[0342] センサーの分解能は、ビーム・スプリッタ130が、アレイ光源の1つの発光領域からのビームに関してビーム分割を実行した後に得られるビームの数量以上である。従って、センサー142は、ビーム・スプリッタからのビームを反射することにより、ターゲット・オブジェクトから得られる反射ビームを受信することができ、その結果、TOF深度センシング・モジュールは、通常的に、反射ビームを受信することができる。
[0343] オプションとして、ビーム・スプリッタ130は、1次元ビーム分割デバイス又は2次元ビーム分割デバイスであってもよい。
[0344] 実際のアプリケーションでは、1次元ビーム分割デバイス又は2次元ビーム分割デバイスは必要に応じて選択されることが可能である。
[0345] 具体的に、実際のアプリケーションでは、1次元ビーム分割デバイス又は2次元ビーム分割デバイスは必要に応じて選択されることが可能である。1次元においてのみ出現ビームに関してビーム分割が実行されることを必要とする場合、1次元ビーム分割デバイスが使用されてもよい。2次元において出現ビームに関してビーム分割が実行されることを必要とする場合、2次元ビーム分割デバイスを使用する必要がある。
[0346] ビーム・スプリッタ130が1次元ビーム分割デバイスである場合、ビーム・スプリッタ130は、具体的には円筒レンズ・アレイ又は1次元格子であってもよい。
[0347] ビーム・スプリッタ130が2次元ビーム分割デバイスである場合、ビーム・スプリッタ130は、具体的にはマイクロレンズ・アレイ又は2次元回折光学素子(diffractive optical element, DOE)であってもよい。
[0348] ビーム・スプリッタ130は、樹脂材料又はガラス材料で構成されていてもよく、又は樹脂材料とガラス材料の両方で構成されていてもよい。
[0349] ビーム・スプリッタ130の構成要素がガラス材料を含む場合、ビーム・スプリッタ130のパフォーマンスに関する温度の影響を効果的に低減することができ、その結果、ビーム・スプリッタ130は安定したパフォーマンスを維持する。具体的には、温度が変化する場合に、ガラスの熱膨張係数は樹脂の熱膨張係数より小さい。従って、ガラス材料がビーム・スプリッタ130に使用される場合、ビーム・スプリッタのパフォーマンスは安定している。
[0350] オプションとして、ビーム・スプリッタ130のビーム入射端面の面積は、5×5mm2未満である。
[0351] ビーム・スプリッタ130のビーム入射端面の面積が5×5mm2未満である場合、ビーム・スプリッタ130の面積は小さく、TOF深度センシング・モジュール100が占めるスペースを小さくすることが可能であり、その結果、TOF深度センシング・モジュール100は、限られたスペースを伴う端末デバイス内に簡便に取り付けられる。
[0352] オプションとして、ビーム・スプリッタ130のビーム受信面は、アレイ光源110のビーム放出面に平行である。
[0353] ビーム・スプリッタ130のビーム受信面が、アレイ光源110のビーム放出面に平行である場合、ビーム・スプリッタ130は、アレイ光源110により放出されたビームをより効果的に受信することができ、ビーム・スプリッタ130によるビームの受信効率を改善することが可能である。
[0354] 図3に示されるように、受信ユニット140は、受信レンズ群141及びセンサー142を含む可能性がある。受信ユニットがビームを受信する仕方を説明するために、以下では具体的な例が使用されている。
[0355] 例えば、アレイ光源110は、4つの発光領域を含む。この場合、受光レンズ群141は:4つの異なる時点(t4、t5、t6、t7)でビーム・スプリッタ130によりそれぞれ生成されたビームを反射することによって、ターゲット・オブジェクトから得られた反射ビーム1、反射ビーム2、反射ビーム3、反射ビーム4を受信し、反射ビーム1、反射ビーム2、反射ビーム3、反射ビーム4をセンサー142へ伝搬させるように、個々に構成することが可能である。
[0356] オプションとして、受信レンズ群141は、1つ以上のレンズを含んでもよい。
[0357] 受信レンズ群141が複数のレンズを含む場合、受信レンズ群141は、受信レンズ群141がビームを受信する場合に生じる収差を効果的に減らすことができる。
[0358] 更に、受信レンズ群141は、樹脂材料、ガラス材料、又は樹脂材料とガラス材料の両方で作ることが可能である。
[0359] 受光レンズ群141がガラス材料を含む場合、受信レンズ群141の後方焦点距離に対する温度の影響を効果的に低減することができる。
[0360] センサー142は、レンズ群141から伝搬されるビームを受信し、受信レンズ群141から伝搬されたビームに対して光-電気変換を実行し、光信号を電気信号に変換するように構成されることが可能である。これは、以後、送信端部がビームを放出する時点と、受信端部がビームを受信する時点との間の時間差(時間差は、ビームの飛行時間と言及される場合がある)を計算し、時間差に基づいて、ターゲット・オブジェクトとTOF深度センシング・モジュールとの間の距離を計算して、ターゲット・オブジェクトの深度画像を取得するのに役立つ。
[0361] センサー142は、単一光子アバランシェ・ダイオード(single-photon avalanche diode, SPAD)アレイであってもよい。
[0362] SPADはアバランシェ・フォトダイオードであり、これは、ガイガー・モードで動作し(バイアス電圧が破壊電圧よりも高い)、単一の光子が受信された後にアバランシェ効果の可能性を有し、光子の到達時間を検出するためにパルス電流信号を瞬時に生成する。TOF深度センシング・モジュールで使用されるSPADアレイは、複雑な消光回路、タイミング回路、記憶及び読み込みユニットを必要とするので、TOF深度センシングに使用される既存のSPADアレイの分解能は制限される。
[0363] ターゲット・オブジェクトとTOF深度センシング・モジュールとの間の距離が大きい場合、ターゲット・オブジェクトの反射光であって、受信レンズ群によってセンサーへ伝搬される反射光の強度は、一般に、非常に弱い。センサーは非常に高い検出感度を有することを必要とし、SPADは、ピコ秒のオーダーで単一光子検出感度と応答時間を有する。従って、本件では、SPADは、TOF深度センシング・モジュールの感度を改善するためにセンサー142として使用される。
[0364] アレイ光源110を制御することに加えて、制御ユニット150は、センサー142を更に制御してもよい。
[0365] 制御ユニット150は、アレイ光源110とセンサー142を制御するために、アレイ光源110及びセンサー142への電気的接続を保持することができる。
[0366] 具体的には、制御ユニット150は、センサー142の動作の仕方を制御することが可能であり、その結果、M個の異なる時点において、センサーの対応する領域は、アレイ光源110の対応する発光領域によって放出されたビームを反射することでターゲット・オブジェクトから得られる反射ビームを、それぞれ受信することができる。
[0367] 具体的には、ターゲット・オブジェクトの反射ビームの一部であって、受信レンズ群の開口数に位置する部分が、受信レンズ群により受信され、センサーに伝搬される。受信レンズ群は、センサーの各ピクセルがターゲット・オブジェクトの異なる領域の反射ビームを受信できるように設計されている。
[0368] 本件では、アレイ光源は、パーティション化により、発光するように制御され、ビーム分割は、ビーム・スプリッタを用いて実行され、TOF深度センシング・モジュールにより同時に放出されるビームの数量を増加させることができ、最終的に得られるターゲット・オブジェクトの深度マップの空間分解能及び高いフレーム・レートを向上させることができる。
[0369] 図2に示されるように、本件のこの実施形態におけるTOF深度センシング・モジュールについては、TOF深度センシング・モジュールにおける投影端部と受信端部の両方が、ターゲット・オブジェクトの同じ側に配置されてもよいことは理解されるべきである。
[0370] オプションとして、TOF深度センシング・モジュール100の出力光パワーは、800 mw以下である。
[0371] 具体的には、TOF深度センシング・モジュール100の最大出力光パワー又は平均出力パワーは、800 mw以下である。
[0372] TOF深度センシング・モジュール100の出力光パワーが800 mw以下である場合、TOF深度センシング・モジュール100の電力消費は小さく、電力消費に敏感なデバイス、例えば端末デバイスにTOF深度センシング・モジュールを配置するのことに役立つ。
[0373] 図6から図10を参照しながら、以下、本件のこの実施形態におけるTOF深度センシング・モジュール100が、ターゲット・オブジェクトの深度マップを取得するプロセスを詳細に説明する。
[0374] 図6に示されるように、左図は、アレイ光源110の発光領域の概略図である。アレイ光源110は、4つの発光領域A、B、C、及びD(発光パーティションと言及される場合もある)を含み、4つの発光領域は時点t0、時点t1、時点t2、及び時点t3においてそれぞれ点灯される。右図は、ビームがビーム・スプリッタ130のビーム分割を受けた後に、アレイ光源110によって生成されたビームが投射されたターゲット・オブジェクトの表面の概略図である。各点は、投影された光スポットを表し、各々の黒い実線ボックスによって囲まれた領域は、センサー142の1つのピクセルに対応するターゲット領域である。図6において、ビーム・スプリッタ130の対応する複製順序は、4×4である。具体的には、各時点において、アレイ光源の1つの領域で発生した発光スポットは、ビーム・スプリッタ130によって複製された後、4×4スポットとなる。従って、同じ時点で投影される光スポットの数量は、ビーム・スプリッタ130を使用することによって大幅に増加させることが可能である。
[0375] 図6では、アレイ光源110の4つの発光領域は、時点t0、時点t1、時点t2、及び時点t3の時点でそれぞれ点灯され、その結果、異なる位置におけるターゲット・オブジェクトの深度マップを取得することが可能である。
[0376] 具体的には、図7は、時点t0においてアレイ光源110の発光領域Aによって放出されたビームが、ビーム・スプリッタ130のビーム分割処理を受けた後に、そのビームが投射されたターゲット・オブジェクトの表面の概略図である。
[0377] 図8は、時点t1においてアレイ光源110の発光領域Bによって放出されたビームが、ビーム・スプリッタ130のビーム分割処理を受けた後に、そのビームが投射されたターゲット・オブジェクトの表面の概略図である。
[0378] 図9は、時点t2においてアレイ光源110の発光領域Cによって放出されたビームが、ビーム・スプリッタ130のビーム分割処理を受けた後に、そのビームが投射されたターゲット・オブジェクトの表面の概略図である。
[0379] 図10は、時点t3においてアレイ光源110の発光領域Dによって放出されたビームが、ビーム・スプリッタ130のビーム分割処理を受けた後に、そのビームが投射されたターゲット・オブジェクトの表面の概略図である。
[0380] 図7ないし図10に示されるビーム投影のケースに基づいて、時点t0、時点t1、時点t2、時点t3におけるターゲット・オブジェクトに対応する深度マップを取得することが可能であり、時点t0、時点t1、時点t2、時点t3におけるターゲット・オブジェクトに対応する深度マップは重畳され、その結果、ターゲット・オブジェクトのより高い分解能の深度マップを取得することができる。
[0381] 図3に示されるTOF深度センシング・モジュール100では、コリメーション・レンズ群120は、アレイ光源110とビーム・スプリッタ130との間に配置されることが可能である。コリメーション・レンズ群120は、先ず、アレイ光源110によって放出されたビームに対してコリメーション処理を実行することを必要とし、次いで、ビーム・スプリッタは、コリメーション処理が実行された後に得られるビームを処理する。
[0382] オプションとして、TOF深度センシング・モジュール100に関し、ビーム・スプリッタ130は、アレイ光源110によって生成されたビームに関してビーム分割処理を直接的に実行してもよく、次いで、コリメーション・レンズ群120は、ビーム分割処理が実行された後に得られるビームに関してコリメーション処理を実行する。
[0383] 以下、図11を参照しながら詳細に説明する。図11に示されるTOF深度センシング・モジュール100では、各モジュール又はユニットの特定の機能は具体的には以下のとおりである:
[0384] 制御ユニット150は、アレイ光源110のN個の発光領域のうちのM個の発光領域を、発光するように、制御するように構成されている。
[0385] ビーム・スプリッタ130は、M個の発光領域により放出されたビームに関してビーム分割処理を実行するように構成されている。
[0386] コリメーション・レンズ群120は、ビーム・スプリッタ130により放出されたビームに関してコリメーション処理を実行するように構成されている。
[0387] 受信ユニット140は、ターゲット・オブジェクトの反射ビームを受信するように構成されている。
[0388] MはN以下であり、Mは正の整数であり、Nは1より大きな正の整数である。ビーム・スプリッタ130は、受信した各ビーム光を、複数のビーム光に分割するように具体的に構成されている。ターゲット・オブジェクトの反射ビームは、コリメーション・レンズ群120により放出されたビームを反射することによって、ターゲット・オブジェクトから得られるビームである。M個の発光領域により放射されるビームは、M個の発光領域からのビームとして言及される場合もある。
[0389] 図11に示されるTOF深度センシング・モジュールと図3に示されるTOF深度センシング・モジュールとの間の主な相違は、コリメーション・レンズ群の位置が異なる点である。図3に示されるTOF深度センシング・モジュールにおけるコリメーション・レンズ群は、アレイ光源とビーム・スプリッタとの間に配置されており、図11に示されるTOF深度センシング・モジュールにおけるビーム・スプリッタは、アレイ光源とコリメーション・レンズ群との間に配置されている(これは、コリメーション・レンズ群が、ビーム・スプリッタの出現ビームの方向に配置されることと等価である)。
[0390] 図11に示されるTOF深度センシング・モジュール100と、図3に示されるTOF深度センシング・モジュール100とは、アレイ光源110によって放出されるビームを処理する方法が若干異なる。図3に示されるTOF深度センシング・モジュール100では、アレイ光源110がビームを放出した後に、コリメーション・レンズ群120とビーム・スプリッタ130は、コリメーション処理及びビーム分割処理を連続的に実行する。図11に示されるTOF深度センシング・モジュール100では、アレイ光源110がビームを放出した後に、ビーム・スプリッタ130とコリメーション・レンズ群120は、ビーム分割処理及びコリメーション処理を連続的に実行する。
[0391] 添付図面を参照しながら、以下、ビーム・スプリッタ130が、アレイ光源によって放出されたビームに関してビーム分割処理を実行するプロセスを説明する。
[0392] 図12に示されるように、ビーム・スプリッタ130は、アレイ光源110によって生成された複数のビームに対してビーム分割処理を実行した後、アレイ光源110によって生成された各ビームは、複数のビームに分割されることが可能であり、ビーム分割が実行された後に、より多い数量のビームが最終的に得られる。
[0393] 図11に示されるTOF深度センシング・モジュールに基づいて、本件のこの実施形態におけるTOF深度センシング・モジュール100は、光学素子を更に含むことが可能である。光学素子の屈折率は、制御可能である。光学素子の屈折率が変わると、光学素子は、単一の変更状態にあるビームを異なる方向へ調整することができ、その結果、機械的な回転や振動を伴うことなく、異なるビームを異なる方向に照射することによって、関心のある走査領域を迅速に位置決めすることができる。
[0394] 図13は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。
[0395] 図13に示されるTOF深度センシング・モジュール100では、各モジュール又はユニットの特定の機能は具体的には以下のとおりである:
[0396] 制御ユニット150は、アレイ光源110のN個の発光領域のうちのM個の発光領域を、発光するように、制御するように構成されている。
[0397] 制御ユニット150は、更に、光学素子160の複屈折パラメータを制御して、M個の発光領域によって放出されるビームの伝搬方向を変更するように構成されている。
[0398] ビーム・スプリッタ130は:光学素子160によって放出されたビームを受信し、光学素子160によって放出されたビームに対してビーム分割処理を実行するように構成されている。
[0399] オプションとして、ビーム・スプリッタ130は、受信した各々の光ビームを、複数の光ビームに分割するように具体的に構成されており、アレイ光源110の1つの発光領域によって放出されたビームに関してビーム・スプリッタ130がビーム分割を実行することができるビームの数量は、P×Qである。
[0400] コリメーション・レンズ群120は、ビーム・スプリッタ130により放出されたビームに関してコリメーション処理を実行するように構成されている。
[0401] 受信ユニット140は、ターゲット・オブジェクトの反射ビームを受信するように構成されている。
[0402] ターゲット・オブジェクトの反射ビームは、ビーム・スプリッタ130により放出されたビームを反射することによって、ターゲット・オブジェクトから得られるビームである。M個の発光領域により放射されるビームは、M個の発光領域からのビームとして言及される場合もある。
[0403] 図13において、光学素子160は、アレイ光源110とビーム・スプリッタ130との間に配置されている。実際には、光学素子160は、コリメーション・レンズ群120とビーム・スプリッタ130との間に配置されてもよい。以下、図14を参照しながら説明する。
[0404] 図14は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。
[0405] 図14に示されるTOF深度センシング・モジュール100では、各モジュール又はユニットの特定の機能は具体的には以下のとおりである:
[0406] 制御ユニット150は、アレイ光源110のN個の発光領域のうちのM個の発光領域を、発光するように、制御するように構成されている。
[0407] コリメーション・レンズ群120は、M個の発光領域によって放出されたビームに関してコリメーション処理を実行するように構成されている。
[0408] 制御ユニット150は、更に、光学素子160の複屈折パラメータを制御して、コリメーション・レンズ群120がコリメーション処理を行った後に得られるビームの伝搬方向を変更するように構成されている。
[0409] ビーム・スプリッタ130は:光学素子160によって放出されたビームを受信し、光学素子160によって放出されたビームに関してビーム分割処理を実行するように構成される。
[0410] オプションとして、ビーム・スプリッタ130は、受信した各々の光ビームを、複数の光ビームに分割するように具体的に構成されており、アレイ光源110の1つの発光領域によって放出されたビームに関してビーム・スプリッタ130がビーム分割を実行することができるビームの数量は、P×Qである。
[0411] コリメーション・レンズ群120は、ビーム・スプリッタ130により放出されたビームに関してコリメーション処理を実行するように構成されている。
[0412] 受信ユニット140は、ターゲット・オブジェクトの反射ビームを受信するように構成されている。
[0413] ターゲット・オブジェクトの反射ビームは、ビーム・スプリッタ130により放出されたビームを反射することによって、ターゲット・オブジェクトから得られるビームである。M個の発光領域により放射されるビームは、M個の発光領域からのビームとして言及される場合もある。
[0414] 以下、図15を参照しながら、本件の実施形態におけるTOF深度センシング・モジュール100の動作プロセスを詳細に説明する。
[0415] 図15は、本件の実施形態によるTOF深度センシング・モジュールの動作概略図である。
[0416] 図15に示されるように、TOF深度センシング・モジュールは、投影端部、受信端部、及び制御ユニットを含む。制御ユニットは、出現ビームを外方に放出してターゲット領域を走査するために、投射端部を制御するように構成されている。制御ユニットは、ターゲット走査領域によって反射することで得られる反射ビームを受信するように、受信端部を制御するように更に構成されている。
[0417] 投影端部は、アレイ光源110、コリメーション・レンズ群120、光学素子160、ビーム・スプリッタ130、及び投影レンズ群(オプション)を含む。受信端部は、受信レンズ群141及びセンサー142を含む。制御ユニット150は、同期されるべきアレイ光源110、光学素子160、及びセンサー142の時間シーケンスを制御するように更に構成されている。
[0418] 図15に示されるTOF深度センシング・モジュール内のコリメーション・レンズ群140は、1ないし4個のレンズを含む可能性があり、コリメーション・レンズ群140は、アレイ光源110によって生成される第1ビームを、ほぼ平行な光に変換するように構成されている。
[0419] 図15に示されるTOF深度センシング・モジュールの動作プロセスは、以下のとおりである:
[0420] (1)コリメーション・レンズ群120が、アレイ光源110から放出されたビームに関してコリメーション処理を行った後、コリメーションを経たビームが形成され、光学素子160に到達する。
[0421] (2)放出された偏向ビームの角度が2次元走査を実現するように、光学素子160は、制御ユニットの時間シーケンス制御に基づいて、ビームを順序正しく偏向させる。
[0422] (3)光学素子160によって放出された偏向ビームは、ビーム・スプリッタ130に到達する。
[0423] (4)ビーム・スプリッタ130は、それぞれの角度で偏向ビームを複製して、複数の角度で出現ビームを取得し、ビームの二次元複製を実施する。
[0424] (5) 各々の走査期間において、受信端部は、光スポットによって照明されたターゲット領域に対してのみ撮像を実行することができる。
[0425] (6)光学素子が、S×T回の走査を全て完了した後、受信端部の2次元アレイ・センサーはS×T個の画像を生成し、プロセッサは最終的にそれらの画像を高解像度画像に継ぎ合わせる。
[0426] 本件のこの実施形態におけるTOF深度センシング・モジュールにおけるアレイ光源は、複数の発光領域を含む可能性があり、各々の発光領域は、独立して発光することが可能である。図16を参照しながら、以下、本件のこの実施形態におけるTOF深度センシング・モジュールにおけるアレイ光源が複数の発光領域を含む場合のTOF深度センシング・モジュールの動作プロセスを詳細に説明する。
[0427] 図16は、アレイ光源の発光領域の概略図である。
[0428] アレイ光源110が複数の発光領域を含む場合、本件のこの実施形態におけるTOF深度センシング・モジュールの動作プロセスは、以下のとおりである:
[0429] (1)コリメーション・レンズ群120が、アレイ光源110の異なる発光領域によって放出されたビームを時間分割で処理し、コリメートされたビームが形成され、ビーム・スプリッタ130に到達した後、ビーム・スプリッタ130は、制御ユニットの時間シーケンス信号によって、ビームを順序正しく偏向させるように制御され、その結果、出現ビームの角度は2次元走査を実現する。
[0430] (2)コリメーション・レンズ群120がコリメーション処理を実行した後に得られるビームは、ビーム・スプリッタ130に到達し、ビーム・スプリッタ130は、入射ビームをそれぞれの角度で複製し、複数の角度で出現ビームを同時に生成し、ビームの2次元複製を実現する。
[0431] (3)各々の走査期間において、受信端部は、光スポットによって照明されたターゲット領域に対してのみ撮像を実行する。
[0432] (4)光学素子が、S×T回の走査を全て完了した後、受信端部の2次元アレイ・センサーはS×T個の画像を生成し、プロセッサは最終的にそれらの画像を高解像度画像に継ぎ合わせる。
[0433] 以下、図16及び図17を参照しながら、本件のこの実施形態におけるTOF深度センシング・モジュールの走査の動作原理を説明する。
[0434] 図16に示されるように、111、112、113、及び114は、アレイ光源の独立した発光領域であり、時間分割により点灯されてもよく、115、116、117、及び118は、アレイ光源の異なる独立した動作領域における発光孔である。
[0435] 図17は、図16に示されるアレイ光源によって放出されたビームに関するビーム分割処理を、ビーム・スプリッタを使用することにより実行する際の概略図である。
[0436] 図17に示すように、120は、ビーム・スプリッタによって生じる複製順序であり(図17の左上隅の黒い実線のボックス)、121は、2次元アレイ・センサーの1ピクセルに対応するターゲット領域であり(121は、122、123、124、125を含む)、122は、ビーム及びビーム・スプリッタを使用することにより、発光孔115が走査を実行した後に生成される光スポットであり、123は、ビーム及び光学素子を使用することにより、発光孔116が走査を実行した後に生成される光スポットであり、124は、ビーム及び光学素子を使用することにより、発光孔117が走査を実行した後に生成される光スポットであり、125は、ビーム及び光学素子を使用することにより、発光孔118が走査を実行した後に生成される光スポットである。
[0437] 図16に示されるアレイ光源を有するTOF深度センシング・モジュールの具体的な走査プロセスは、以下のとおりである:
[0438] 115のみが点灯され、光学素子は、ビームを使用することによって走査を別々に実行して、光スポット122を実現し;
115が消灯されて、116が点灯され、光学素子は、ビームを使用することによって走査を別々に実行して、光スポット123を実現し;
116が消灯されて、117が点灯され、光学素子は、ビームを使用することによって走査を別々に実行して、光スポット124を実現し;且つ
117が消灯されて、118が点灯され、光学素子は、ビームを使用することによって走査を別々に実行して、光スポット125を実現する。
[0439] 2次元アレイ・センサーの1ピクセルに対応するターゲット領域の光スポットは、前述の4つのステップを使用することによって走査されることが可能である。
[0450] 図13ないし図15における光学素子160は、液晶偏光格子、電気-光学デバイス、音響-光学デバイス、及びオプティカル・フェーズド・アレイ・デバイスのようなデバイスのうちの任意の1つであってもよい。液晶偏光格子、電気-光学デバイス、音響-光学デバイス、オプティカル・フェーズド・アレイ・デバイスのようなデバイスの詳細な説明については、以下のケース1ないしケース4の説明を参照されたい。
[0441] 上記は、添付図面を参照しながら、本件の実施形態におけるTOF深度センシング・モジュールを詳細に説明している。以下、添付図面を参照しながら、本件の実施形態における画像生成方法を説明する。
[0442] 図18は、本件の実施形態による画像生成方法の概略フローチャートである。図18に示される方法は、本件の実施形態におけるTOF深度センシング・モジュールを含む端末デバイスによって実行されてもよい。具体的には、図18に示される方法は、図3に示されるTOF深度センシング・モジュールを含む端末デバイスによって実行されてもよい。図18に示される方法は、ステップ2001ないしステップ2006を含む。以下、ステップを詳細に別々に説明する。
[0443] 2001.制御ユニットを使用することにより、アレイ光源のN個の発光領域のうちのM個の発光領域を、M個の異なる時点でそれぞれ発光するように制御する。
[0444] MはN以下であり、Mは正の整数であり、Nは1より大きな正の整数である。
[0445] 前述のステップ2001において、制御ユニットは、アレイ光源を発光するように制御することができる。
[0446] 具体的には、制御ユニットは、制御信号をアレイ光源のM個の発光領域へM個の異なる時点でそれぞれ送信して、M個の発光領域をM個の異なる時点でそれぞれ独立して発光するように制御することが可能である。
[0447] 例えば、図6に示されるように、アレイ光源110は、4つの独立した発光領域A、B、C、Dを含む。この場合、制御ユニットは、4つの独立した発光領域A、B、C、Dへ、時点t0、時点t1、時点t2、時点t3で制御信号をそれぞれ送信することが可能であり、その結果、4つの独立した発光領域A、B、C、Dは、時点t0、時点t1、時点t2、時点t3でそれぞれ発光する。
[0448] 2002.コリメーション・レンズ群を使用することにより、M個の異なる時点でM個の発光領域によりそれぞれ生成されたビームに関してコリメーション処理を実行し、コリメーション処理が実行された後に得られるビームを取得する。
[0449] 図6を説明のための例として更に使用する。アレイ光源の4つの独立した発光領域A、B、C、Dは、時点t0、時点t1、時点t2、時点t3でそれぞれビームを放出する場合に、コリメーション・レンズ群は、時点t0、時点t1、時点t2、時点t3で発光領域A、B、C、Dによりそれぞれ放出されたビームに関してコリメーション処理を実行し、コリメーション処理が実行された後のビームを取得することができる。
[0450] 2003.ビーム・スプリッタを使用することにより、コリメーション処理が実行された後に得られるビームに関してビーム分割処理を実行する。
[0451] ビーム・スプリッタは、具体的には、受信した各ビームを、複数の光ビームに分割することができ、アレイ光源の1つの発光領域からのビームに関してビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qである可能性がある。
[0452] 図6に示すように、アレイ光源の発光領域A、B、C、Dは、時点t0、時点t1、時点t2、時点t3においてビームをそれぞれ放出する。この場合、時点t0、時点t1、時点t2、時点t3で発光領域A、B、C、Dからそれぞれ放出されるビームが、コリメーション・レンズ群で処理された後、ビームは、処理のためにビーム・スプリッタに入射される。ビーム・スプリッタが発光領域A、B、C、Dに関してビーム分割処理を実行した後に得られた結果は、図6の右側に示されるものであってもよい。
[0453] オプションとして、前述のステップ2003におけるビーム分割処理は、具体的には:ビーム・スプリッタを使用することにより、コリメーション処理が実行された後に生成されたビームに関して1次元又は2次元ビーム分割処理を実行することを含む。
[0454] 2004.受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信する。
[0455] ターゲット・オブジェクトの反射ビームは、ビーム・スプリッタからのビームを反射することによってターゲット・オブジェクトによって得られるビームである。
[0456] オプションとして、前述のステップ2004における受信ユニットは、受信レンズ群とセンサーを含む。受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップ2004は:受信レンズ群を使用することにより、ターゲット・オブジェクトの反射ビームを、センサーに収束させるステップを含む。センサーは、センサー・アレイと言及される場合もあり、センサー・アレイは、2次元センサー・アレイであってもよい。
[0457] オプションとして、センサーの分解能はP×Q以上であり、アレイ光源の1つの発光領域からのビームに関してビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qである。
[0458] P及びQは双方ともに正の整数である。センサーの分解能は、ビーム・スプリッタが、アレイ光源の1つの発光領域からのビームに関してビーム分割を実行した後に得られるビームの数量以上である。従って、センサーは、ビーム・スプリッタからのビームを反射することにより、ターゲット・オブジェクトから得られる反射ビームを受信することができ、その結果、TOF深度センシング・モジュールは、通常的に、反射ビームを受信することができる。
[0459] 2005.M個の異なる時点でアレイ光源のM個の発光領域によりそれぞれ放出されたビームに対応するTOFに基づいて、M個の深度マップを生成する。
[0460] M個の異なる時点でアレイ光源のM個の発光領域によりそれぞれ放出されたビームに対応するTOFは、具体的には、M個の異なる時点でアレイ光源のM個の発光領域によってそれぞれ放出されたビームの放出時点と、対応する反射ビームの受信時点との間の時間差情報であってもよい。
[0461] 例えば、アレイ光源は、3つの発光領域A、B、Cを含み、発光領域Aは時点T0でビームを放出し、発光領域Bは時点T1でビームを放出し、発光領域Cは時点T2でビームを放出する。この場合、時点T0において発光領域Aにより放出されたビームに対応するTOFは、具体的には、時点T0と或る時点の間の時間差情報であってもよく、或る時点は、時点T0で発光領域Aにより放出されたビームが、コリメーション・レンズ群のコリメーション処理とビーム・スプリッタのビーム分割処理を施され、ターゲット・オブジェクトに到達し、ターゲット・オブジェクトによって反射された後に、そのビームが最終的に受信ユニットに到達した(又は受信ユニットにより受信された)時点である。時点T1で発光領域Bにより放出されたビームに対応するTOFや、T2で発光領域Cにより放出されたビームに対応するTOFも、同様な意味を有する。オプションとして、M個の深度マップは、それぞれ、ターゲット・オブジェクトのM個の領域セットに対応する深度マップであり、M個の領域セット内の何れの2つの領域セット間にもオーバーラップする領域は存在しない。
[0462] オプションとして、ターゲット・オブジェクトのM個の深度マップを生成する前述のステップ2005は、具体的には以下を含む:
[0463] 2005a.M個の異なる時点でM個の発光領域によってそれぞれ放出されたビームに対応するTOFに基づいて、ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離を決定する。
[0464] 2005b.ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離に基づいて、ターゲット・オブジェクトのM個の領域の深度マップを生成する。
[0465] 2006.M個の深度マップに基づいて、ターゲット・オブジェクトの最終深度マップを取得する。
[0466] 具体的には、ステップ2006において、M個の深度マップが継ぎ合わされて、ターゲット・オブジェクトの深度マップが取得されてもよい。
[0467] 例えば、ステップ2001ないしステップ2005を使用することによって、時点t0ないしt3におけるターゲット・オブジェクトの深度マップが取得される。4つの時点における深度マップが図19に示されている。ターゲット・オブジェクトの最終的な深度マップであって、時点t0ないしt3における図19に示される深度マップを継ぎ合わせることによって得られものは、図69に示されるものであってもよい。
[0468] TOF深度センシング・モジュールが異なる構造を有する場合、対応する画像生成方法のプロセスも異なる。以下、図20を参照しながら本件の実施態様における画像生成方法を説明する。
[0469] 図20は、本件の実施形態による画像生成方法の概略フローチャートである。図20に示される方法は、本件の実施形態におけるTOF深度センシング・モジュールを含む端末デバイスによって実行されてもよい。具体的には、図20に示される方法は、図11に示されるTOF深度センシング・モジュールを含む端末デバイスによって実行されてもよい。図20に示される方法は、ステップ3001ないしステップ3006を含む。以下、ステップを詳細に別々に説明する。
[0470] 3001.制御ユニットを使用することにより、アレイ光源のN個の発光領域のうちのM個の発光領域を、M個の異なる時点でそれぞれ発光するように制御する。
[0471] N個の発光領域は互いにオーバーラップせず、MはN以下であり、Mは正の整数であり、Nは1より大きな正の整数である。
[0472] 制御ユニットを使用することにより、アレイ光源のN個の発光領域のうちのM個の発光領域を、M個の異なる時点でそれぞれ発光するように制御することは、具体的には、制御ユニットを使用することにより、M個の異なる時点で連続的に発光するように、M個の発光領域をそれぞれ制御することを意味している可能性がある。
[0473] 例えば、図16に示されるように、アレイ光源は、4つの発光領域111、112、113、及び114を含む。この場合、制御ユニットは、111、112、及び113を、時点T0、時点T1、及び時点T2でそれぞれ発光するように制御することができる。代替的に、制御ユニットは、111、112、113、及び114を、時点T0、時点T1、時点T2、及び時点T3でそれぞれ発光するように制御することができる。
[0474] 3002.ビーム・スプリッタを使用することにより、M個の異なる時点でM個の発光領域によりそれぞれ生成されたビームに関してビーム分割処理を実行する。
[0475] ビーム・スプリッタは、具体的には、受信した各光ビームを、複数の光ビームに分割するように構成されている。
[0476] ビーム・スプリッタを使用することにより、M個の異なる時点でM個の発光領域によりそれぞれ生成されたビームに関してビーム分割処理を実行することは、具体的には、ビーム・スプリッタを使用することにより、M個の異なる時点でM個の発光領域により生成されたビームに関してビーム分割処理をそれぞれ実行することを意味している可能性がある。
[0477] 例えば、図16に示されるように、アレイ光源は、4つの発光領域111、112、113、及び114を含む。制御ユニットは、111、112、及び113を、時点T0、時点T1、及び時点T2でそれぞれ発光するように制御することができる。この場合、ビーム・スプリッタは、時点T0において、111によって放出されたビームに関してビーム分割処理を実行し、現時点T1において、112によって放出されたビームに関してビーム分割処理を実行し、現時点T2において、113によって放出されたビームに関してビーム分割処理を実行する(ビームが発光領域からビーム・スプリッタへ到達するまでに要する時間はここでは無視されていることが理解されるべきである)。
[0478] オプションとして、前述のステップ3002におけるビーム分割処理は、具体的には、ビーム・スプリッタを使用することによって、M個の異なる時点でM個の発光領域によって生成されたビームに関して1次元又は2次元ビーム分割処理をそれぞれ実行することを含む。
[0479] 3003.コリメーション・レンズ群を使用することにより、ビーム・スプリッタからのビームに関してコリメーション処理を実行する。
[0480] 例えば、図16を一例として更に使用する。ビーム・スプリッタは、時点T0、時点T1、及び時点T2において、111、112、及び113によって放出されたビームに関してビーム分割処理をそれぞれ実行する。この場合、コリメーション・レンズ群は、時点T0において、ビーム・スプリッタが111に関してビーム分割処理を実行した後に得られるビームに関してコリメーション処理を実行し;時点T1において、ビーム・スプリッタが112に関してビーム分割処理を実行した後に得られるビームに対してコリメーション処理を実行し;及び時点T2において、ビーム・スプリッタが113に関してビーム分割処理を実行した後に得られるビームに対してコリメーション処理を実行することができる。
[0481] 3004.受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信する。
[0482] ターゲット・オブジェクトの反射ビームは、コリメーション・レンズ群からのビームを反射することによってターゲット・オブジェクトから得られるビームである。
[0483] オプションとして、ステップ3004における受信ユニットは、受信レンズ群とセンサーを含む。受光ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信する際の前述のステップ3004は:受信レンズ群を使用することにより、ターゲット・オブジェクトの反射ビームを、センサーに収束させるステップを含む。本件におけるセンサーは、センサー・アレイと言及される場合があり、センサー・アレイは2次元センサー・アレイであってもよい。
[0484] オプションとして、センサーの分解能はP×Q以上であり、アレイ光源の1つの発光領域からのビームに関してビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qである。
[0485] P及びQは双方ともに正の整数である。センサーの分解能は、ビーム・スプリッタが、アレイ光源の1つの発光領域からのビームに関してビーム分割を実行した後に得られるビームの数量以上である。従って、センサーは、ビーム・スプリッタからのビームを反射することにより、ターゲット・オブジェクトから得られる反射ビームを受信することができ、その結果、TOF深度センシング・モジュールは、通常的に、反射ビームを受信することができる。
[0486] 3005.M個の異なる時点でアレイ光源のM個の発光領域によりそれぞれ放出されたビームに対応するTOFに基づいて、M個の深度マップを生成する。
[0487] M個の異なる時点でアレイ光源のM個の発光領域によりそれぞれ放出されたビームに対応するTOFは、具体的には、M個の異なる時点でアレイ光源のM個の発光領域によってそれぞれ放出されたビームの放出時点と、対応する反射ビームの受信時点との間の時間差情報であってもよい。
[0488] 例えば、アレイ光源は、3つの発光領域A、B、Cを含み、発光領域Aは時点T0でビームを放出し、発光領域Bは時点T1でビームを放出し、発光領域Cは時点T2でビームを放出する。この場合、時点T0において発光領域Aにより放出されたビームに対応するTOFは、具体的には、時点T0と或る時点の間の時間差情報であってもよく、或る時点は、時点T0で発光領域Aにより放出されたビームが、コリメーション・レンズ群のコリメーション処理とビーム・スプリッタのビーム分割処理を施され、ターゲット・オブジェクトに到達し、ターゲット・オブジェクトによって反射された後に、そのビームが最終的に受信ユニットに到達した(又は受信ユニットにより受信された)時点である。時点T1で発光領域Bにより放出されたビームに対応するTOFや、T2で発光領域Cにより放出されたビームに対応するTOFも、同様な意味を有する。
[0489] M個の深度マップは、それぞれ、ターゲット・オブジェクトのM個の領域セットに対応する深度マップであり、M個の領域セット内の何れの2つの領域セット間にもオーバーラップする領域は存在しない。
[0490] オプションとして、M個の深度マップを生成する際の前述のステップ3005は、具体的には以下を含む:
[0491] 3005a.M個の異なる時点でM個の発光領域によってそれぞれ放出されたビームに対応するTOFに基づいて、ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離を決定する。
[0492] 3005b.ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離に基づいて、ターゲット・オブジェクトのM個の領域の深度マップを生成する。
[0493] 3006.M個の深度マップに基づいて、ターゲット・オブジェクトの最終深度マップを取得する。
[0494] オプションとして、ターゲット・オブジェクトの最終深度マップを取得する際の前述のステップ3006は、M個の深度マップを継ぎ合わせて、ターゲット・オブジェクトの深度マップを取得するステップを含む。
[0495] 例えば、ステップ3001ないしステップ3005を使用することによって得られる深度マップは、図68に示されるものであってもよい。図68は、時点t0ないしt3に対応する深度マップを示す。ターゲット・オブジェクトの最終深度マップであって、図69に示されるものは、時点t0ないしt3に対応する深度マップを継ぎ合わせることによって取得されることが可能である。
[0496] 本件のこの実施形態では、アレイ光源の異なる発光領域は、時間分割により光を放出するように制御され、ビーム・スプリッタは、ビームに関してビーム分割処理を実行するように制御され、その結果、ある期間においてTOF深度センシング・モジュールにより放出されるビームの数量を向上させ、複数の深度マップを取得することが可能であり、複数の深度マップに基づく継ぎ合わせにより得られる最終深度マップは、高い空間分解能と高いフレーム・レートを有する。
[0497] 図20に示される方法と図18に示される方法の主な処理プロセスは類似している。主な相違は以下のとおりである:図20に示される方法では、先ず、ビーム・スプリッタを使用することにより、アレイ光源から放出されたビームに関してビーム分割処理が実行され、次いで、コリメーション・レンズ群を使用することにより、ビーム分割処理が実行された後に得られるビームに関してコリメーション処理が実行される。図18に示される方法では、先ず、コリメーション・レンズ群を使用することにより、アレイ光源から放出されたビームに関してコリメーション処理が実行され、次いで、ビーム・スプリッタを使用することにより、コリメーション処理が実行された後に得られるビームに関してビーム分割処理が実行される。
[0498] 本願の実施形態における画像生成方法が端末デバイスによって実行される場合、端末デバイスは、異なる動作モードを有する可能性があり、異なる動作モードにおけるアレイ光源の発光方法や、ターゲット・オブジェクトの最終的な深度マップを以後に生成する方法は相違する。添付図面を参照して、以下、異なる動作モードにおけるターゲット・オブジェクトの最終深度マップを取得する方法を詳細に説明する。
[0499] 図21は、本件の実施形態による画像生成方法の概略フローチャートである。
[0500] 図21に示される方法は、ステップ4001ないしステップ4003を含む。以下、ステップを別々に詳細に説明する。
[0501] 4001.端末デバイスの動作モードを決定する。
[0502] 端末デバイスは第1動作モードと第2動作モードを含む。第1動作モードでは、制御ユニットは、アレイ光源のN個の発光領域のうちのL個の発光領域を、同時に発光するように制御することができる。第2動作モードでは、制御ユニットは、アレイ光源のN個の発光領域のうちのM個の発光領域を、M個の異なる時点で発光するように制御することができる。
[0503] 前述のステップ4001において、端末デバイスが第1動作モードで動作すると決定された場合、ステップ4002が実行されること;又は前述のステップ4001において、端末デバイスが第2動作モードで動作すると決定された場合、ステップ4003が実行されることが理解されるべきである。
[0504] 以下、ステップ4001において、端末デバイスの動作モードを決定する具体的なプロセスを詳細に説明する。
[0505] オプションとして、端末デバイスの動作モードを決定する上述のステップ4001は:ユーザーの動作モード選択情報に基づいて、端末デバイスの動作モードを決定するステップを含む。
[0506] ユーザーの動作モード選択情報は、第1動作モード及び第2動作モードのうちの1つを、端末デバイスの動作モードとして選択するために使用される。
[0507] 具体的には、画像生成方法が端末デバイスによって実行される場合に、端末デバイスは、ユーザーの動作モード選択情報をユーザーから取得することが可能である。例えば、ユーザーは、端末デバイスの操作インターフェースを使用することにより、ユーザーの動作モード選択情報を入力することができる。
[0508] 端末デバイスの動作モードは、ユーザーの動作モード選択情報に基づいて決定され、その結果、ユーザーは端末デバイスの動作モードを柔軟に選択して決定することができる。
[0509] オプションとして、端末デバイスの動作モードを決定する前述のステップ4001は:端末デバイスとターゲット・オブジェクトとの間の距離に基づいて、端末デバイスの動作モードを決定するステップを含む。
[0510] 具体的には、端末デバイスとターゲット・オブジェクトとの間の距離が、事前に設定された距離以下である場合、端末デバイスは第1動作モードで動作する、と決定されてもよい。端末デバイスとターゲット・オブジェクトとの間の距離が、事前に設定された距離より大きい場合には、端末デバイスは第2動作モードで動作する、と決定されてもよい。
[0511] 端末デバイスとターゲット・オブジェクトとの間の距離が小さい場合、アレイ光源は、ターゲット・オブジェクトに到達する複数のビームを同時に放出するのに十分な発光パワーを有する。そこで、端末デバイスとターゲット・オブジェクトとの間の距離が小さい場合には、第1動作モードが使用され、その結果、アレイ光源の複数の発光領域は同時に発光して、ターゲット・オブジェクトのより多くの領域の深度情報を取得することを支援し、ターゲット・オブジェクトの深度マップの分解能が固定されている場合に、ターゲット・オブジェクトの深度マップのフレーム・レートを改善することが可能である。
[0512] 端末デバイスとターゲット・オブジェクトとの間の距離が大きい場合、アレイ光源の総パワーは限られているので、第2動作モードを使用することにより、ターゲット・オブジェクトの深度マップを取得することができる。具体的には、アレイ光源は、時間分割によりビームを放出するように制御され、その結果、時間分割によりアレイ光源によって放出されたビームも、ターゲット・オブジェクトに到達することができる。従って、端末デバイスがターゲット・オブジェクトから遠く離れている場合には、ターゲット・オブジェクトの様々な領域の深度情報も時間分割により取得され、ターゲット・オブジェクトの深度マップを取得することが可能である。
[0513] オプションとして、端末デバイスの動作モードを決定する前述のステップ4001は:ターゲット・オブジェクトが配置されている状況に基づいて、端末デバイスの動作モードを決定するステップを含む。
[0514] 具体的には、端末デバイスが屋内の状況にある場合には、端末デバイスは第1動作モードで動作する、と決定されてもよい。端末デバイスが屋外の状況にある場合には、端末デバイスは第2動作モードで動作する、と決定されてもよい。
[0515] 端末デバイスが屋内の状況にある場合、端末デバイスとターゲット・オブジェクトとの間の距離は小さく、外部ノイズは弱いので、アレイ光源は、ターゲット・オブジェクトに到達する複数のビームを同時に放出するのに十分な発光パワーを有する。そこで、端末デバイスとターゲット・オブジェクトとの間の距離が小さい場合には、第1動作モードが使用され、その結果、アレイ光源の複数の発光領域は同時に発光して、ターゲット・オブジェクトのより多くの領域の深度情報を以後に取得することを支援し、ターゲット・オブジェクトの深度マップの分解能が固定されている場合に、ターゲット・オブジェクトの深度マップのフレーム・レートを改善することが可能である。
[0516] 端末デバイスが屋外の状況にある場合、端末デバイスとターゲット・オブジェクトとの間の距離は大きく、外部ノイズは大きく、アレイ光源の総パワーは限られているので、第2動作モードを使用することにより、ターゲット・オブジェクトの深度マップを取得することができる。具体的には、アレイ光源は、時間分割によりビームを放出するように制御され、その結果、時間分割によりアレイ光源によって放出されたビームも、ターゲット・オブジェクトに到達することができる。従って、端末デバイスがターゲット・オブジェクトから遠く離れている場合には、ターゲット・オブジェクトの様々な領域の深度情報も時間分割により取得され、ターゲット・オブジェクトの深度マップを取得することが可能である。
[0517] 端末デバイスの動作モードは、端末デバイスとターゲット・オブジェクトとの距離や、ターゲット・オブジェクトが位置する状況に基づいて柔軟に決定することができ、その結果、端末デバイスは適切な動作モードで動作することができる 。
[0518] 4002.第1動作モードでターゲット・オブジェクトの最終深度マップを取得する。
[0519] 4003.第2動作モードでターゲット・オブジェクトの最終深度マップを取得する。
[0520] 本件のこの実施態様において、画像生成方法は、異なる動作モードを有する。従って、異なるケースに基づいて、第1動作モード又は第2動作モードを選択することにより、ターゲット・オブジェクトの深度マップを生成ことができ、その結果、ターゲット・オブジェクトの深度マップを生成する柔軟性を向上させることが可能になり、2つの動作モードにおいて、ターゲット・オブジェクトの高い分解能の深度マップを取得することができる。
[0521] 図22を参照しながら、以下、第1動作モードにおけるターゲット・オブジェクトの最終深度マップを取得するプロセスを詳細に説明する。
[0522] 図22は、第1動作モードにおけるターゲット・オブジェクトの最終深度マップを取得する際の概略フローチャートである。図22に示されるプロセスは、ステップ4002Aないしステップ4002Eを含む。以下、ステップを別々に詳細に説明する。
[0523] 4002A.アレイ光源のN個の発光領域のうちのL個の発光領域を、同時に発光するように制御する。
[0524] LはN以下であり、Lは正の整数であり、Nは1より大きな正の整数である。
[0525] ステップ4002Aにおいて、制御ユニットは、アレイ光源のN個の発光領域のうちのL個の発光領域を、同時に発光するように制御することができる。具体的には、制御ユニットは、ある時点Tにおいて、アレイ光源のN個の発光領域のうちのL個の発光領域へ制御信号を送信して、L個の発光領域を、時点Tにおいて同時に発光するように制御することができる。
[0526] 例えば、アレイ光源は、4つの独立した発光領域A、B、C、及びDを含む。この場合、制御ユニットは、時点Tにおいて、4つの独立した発光領域A、B、C、及びDへ制御信号を送信することができ、その結果、4つの独立した発光領域A、B、C、及びDは、時点Tで同時に発光する。
[0527] 4002B.コリメーション・レンズ群を使用することにより、L個の発光領域により放出されたビームに関してコリメーション処理を実行する。
[0528] アレイ光源は、4つの独立した発光領域A、B、C、Dを含むものと仮定する。この場合、コリメーション・レンズ群は、時点Tにおいてアレイ光源の発光領域A、B、C、Dによって放出されるビームに関してコリメーション処理を実行し、コリメーション処理が実行された後に得られるビームを取得することが可能である。
[0529] ステップ4002Bにおいて、コリメーション・レンズ群を使用してビームに関してコリメーション処理を実行することによって、ほぼ平行なビームを取得することができ、その結果、ビームのパワー密度を改善することができ、ビームを使用することにより以後に実行する走査の実効性を改善することができる。
[0530] 4002C.コリメーション・レンズ群がコリメーション処理を実行した後に生成されたビームに関して、ビーム・スプリッタを使用することにより、ビーム分割処理を実行する。
[0531] ビーム・スプリッタは、具体的には、受信した各ビーム光を、複数のビーム光に分割するように構成される。
[0532] 4002D.受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信する。
[0533] ターゲット・オブジェクトの反射ビームは、ビーム・スプリッタからのビームを反射することによって、ターゲット・オブジェクトから得られるビームである。
[0534] 4002E.L個の発光領域から放出されるビームに対応するTOFに基づいて、ターゲット・オブジェクトの最終深度マップを取得する。
[0535] L個の発光領域により放出されたビームに対応するTOFは、具体的には、時点Tと、時点Tにおいてアレイ光源のL個の発光領域によって別々に放出されたビームに対応する反射ビームの受信時点との間の時間差情報であってもよい。
[0536] オプションとして、受信ユニットは、受信レンズ群とセンサーを含む。受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信する前述のステップ4002Dは:受信レンズ群を使用することにより、ターゲット・オブジェクトの反射ビームを、センサーに収束させるステップを含む。
[0537] センサーは、センサー・アレイと言及される場合もあり、センサー・アレイは、2次元センサー・アレイであってもよい。
[0538] オプションとして、センサーの分解能はP×Qより大きく、アレイ光源の1つの発光領域からのビームに関してビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qである。
[0539] P及びQは双方ともに正の整数である。センサーの分解能は、ビーム・スプリッタが、アレイ光源の1つの発光領域からのビームに関してビーム分割を実行した後に得られるビームの数量より大きい。従って、センサーは、ビーム・スプリッタからのビームを反射することにより、ターゲット・オブジェクトから得られる反射ビームを受信することができ、その結果、TOF深度センシング・モジュールは、通常的に、反射ビームを受信することができる。
[0540] オプションとして、ターゲット・オブジェクトの最終深度マップを生成する前述のステップ4002Eは、具体的には以下を含む:
[0541](1)L個の発光領域から放出されるビームに対応するTOFに基づいて、ターゲット・オブジェクトのL個の領域の深度マップを生成する。
[0542](2)ターゲット・オブジェクトのL個の領域の深度マップに基づいて、ターゲット・オブジェクトの深度マップを合成する。
[0543] 図22に示される方法は、図3に示されるTOF深度センシング・モジュール又は図3に示されるTOF深度センシング・モジュールを含む端末デバイス、によって実行される可能性がある。
[0544] 第1動作モードにおいてターゲット・オブジェクトの最終深度マップを取得するプロセスは、TOF深度センシング・モジュールにおけるコリメーション・レンズ群とビーム・スプリッタの間の位置関係によって異なる。図23を参照しながら、以下、第1動作モードにおけるターゲット・オブジェクトの最終深度マップを取得するプロセスを詳細に説明する。
[0545] 図23は、第1動作モードにおけるターゲット・オブジェクトの最終深度マップを取得する際の概略フローチャートである。図23に示されるプロセスは、ステップ4002aないしステップ4002eを含む。以下、ステップを別々に詳細に説明する。
[0546] 4002a.アレイ光源のN個の発光領域のうちのL個の発光領域を、同時に発光するように制御する。
[0547] LはN以下であり、Lは正の整数であり、Nは1より大きな正の整数である。
[0548] ステップ4002aにおいて、制御ユニットは、アレイ光源のN個の発光領域のうちのL個の発光領域を、同時に発光するように制御してもよい。具体的には、制御ユニットは、ある時点Tにおいて、アレイ光源のN個の発光領域のうちのL個の発光領域へ制御信号を送信して、L個の発光領域を、時点Tにおいて同時に発光するように制御してもよい。
[0549] 例えば、アレイ光源は、4つの独立した発光領域A、B、C、及びDを含む。この場合、制御ユニットは、時点Tにおいて、4つの独立した発光領域A、B、C、及びDへ制御信号を送信することができ、その結果、4つの独立した発光領域A、B、C、及びDは、時点Tで同時に発光する。
[0550] 4002b.ビーム・スプリッタを使用することにより、L個の発光領域からのビームに関してビーム分割処理を実行する。
[0551] ビーム・スプリッタは、具体的には、受信した各ビーム光を、複数のビーム光に分割するように構成される。
[0552] 4002c.コリメーション処理が実行された後に得られるビームを取得するために、コリメーション・レンズ群を使用することにより、ビーム・スプリッタからのビームに関してコリメーション処理を実行する。
[0553] 4002d.受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信する。
[0554] ターゲット・オブジェクトの反射ビームは、コリメーション処理が実行された後に得られるビームを反射することによって、ターゲット・オブジェクトから得られるビームである。
[0555] 4002e.L個の発光領域から放出されるビームに対応するTOFに基づいて、ターゲット・オブジェクトの最終深度マップを取得する。
[0556] L個の発光領域により放出されたビームに対応するTOFは、具体的には、時点Tと、時点Tにおいてアレイ光源のL個の発光領域によって別々に放出されたビームに対応する反射ビームの受信時点との間の時間差情報であってもよい。
[0557] オプションとして、受信ユニットは、受信レンズ群とセンサーを含む。受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信する前述のステップ4002dは:受信レンズ群を使用することにより、ターゲット・オブジェクトの反射ビームを、センサーに収束させるステップを含む。
[0558] センサーは、センサー・アレイと言及される場合もあり、センサー・アレイは、2次元センサー・アレイであってもよい。
[0559] オプションとして、センサーの分解能はP×Qより大きく、アレイ光源の1つの発光領域からのビームに関してビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qである。
[0560] P及びQは双方ともに正の整数である。センサーの分解能は、ビーム・スプリッタが、アレイ光源の1つの発光領域からのビームに関してビーム分割を実行した後に得られるビームの数量より大きい。従って、センサーは、ビーム・スプリッタからのビームを反射することにより、ターゲット・オブジェクトから得られる反射ビームを受信することができ、その結果、TOF深度センシング・モジュールは、通常的に、反射ビームを受信することができる。
[0561] オプションとして、ターゲット・オブジェクトの最終深度マップを生成する前述のステップ4002eは、具体的には以下を含む:
[0562](1)L個の発光領域から放出されるビームに対応するTOFに基づいて、ターゲット・オブジェクトのL個の領域の深度マップを生成する。
[0563](2)ターゲット・オブジェクトのL個の領域の深度マップに基づいて、ターゲット・オブジェクトの深度マップを合成する。
[0564] 図23に示されるプロセスと図22に示されるプロセスは両方とも、第1動作モードにおけるターゲット・オブジェクトの最終深度マップを取得する方法である。主な相違は以下のとおりである:図23においては、先ず、ビーム・スプリッタを使用することにより、アレイ光源から放出されたビームに関してビーム分割処理が実行され、次いで、コリメーション・レンズ群を使用することにより、ビーム分割処理が実行された後に得られるビームに関してコリメーション処理が実行される。図22においては、先ず、コリメーション・レンズ群を使用することにより、アレイ光源から放出されたビームに関してコリメーション処理が実行され、次いで、ビーム・スプリッタを使用することにより、コリメーション処理が実行された後に得られるビームに関してビーム分割処理が実行される。
[0565] 図24を参照しながら、以下、第2動作モードにおけるターゲット・オブジェクトの最終深度マップを取得するプロセスを詳細に説明する。
[0566] 図24は、第2動作モードにおけるターゲット・オブジェクトの最終深度マップを取得する際の概略フローチャートである。図24に示されるプロセスは、ステップ4003Aないしステップ4003Eを含む。以下、ステップを別々に詳細に説明する。
[0567] 4003A.アレイ光源のN個の発光領域のうちのM個の発光領域を、M個の異なる時点で発光するように制御する。
[0568] MはN以下であり、M及びNは両方とも正の整数である。
[0569] ステップ4003Aにおいて、制御ユニットは、アレイ光源を発光するように制御することができる。具体的には、制御ユニットは、M個の時点において、アレイ光源のM個の発光領域へそれぞれ制御信号を送信して、M個の発光領域を、M個の異なる時点でそれぞれ発光するように制御することができる。
[0570] 例えば、アレイ光源は、4つの独立した発光領域A、B、C、及びDを含む。この場合、制御ユニットは、4つの独立した発光領域A、B、Cへ、時点t0、時点t1、時点t2において制御信号をそれぞれ送信することが可能であり、その結果、3つの独立した発光領域A、B、Cは、時点t0、時点t1、時点t2でそれぞれ発光する。
[0571] 4003B.コリメーション・レンズ群を使用することにより、M個の異なる時点でM個の発光領域からそれぞれ発生したビームに関してコリメーション処理を実行し、コリメーション処理が実行された後のビームを取得する。
[0572] コリメーション・レンズ群を使用することにより、M個の異なる時点でM個の発光領域からそれぞれ発生したビームに関してコリメーション処理を実行する前述のステップ4003Bは、具体的には、コリメーション・レンズ群を使用することにより、M個の異なる時点でM個の発光領域からそれぞれ発生したビームに関してコリメーション処理をそれぞれ実行するステップを意味している可能性がある。
[0573] アレイ光源は、4つの独立した発光領域A、B、C、Dを含み、アレイ光源のうちの3つの独立した発光領域A、B、Cは、制御ユニットの制御の下で、時点t0、時点t1、及び時点t2でそれぞれ発光するものと仮定する。この場合、コリメーション・レンズ群は、時点t0、時点t1、及び時点t2において、発光領域A、B、及びCによってそれぞれ放出されるビームに関してコリメーション処理を実行することができる。
[0574] コリメーション・レンズ群を使用してビームに関してコリメーション処理を実行することにより、ほぼ平行なビームを取得することができ、その結果、ビームのパワー密度を向上させることができ、そのビームを用いて以後に実行する走査の実効性を改善することができる。
[0575] 4003C.ビーム・スプリッタを使用することにより、コリメーション処理が実行された後に得られるビームに関してビーム分割処理を実行する。
[0576] 4003D.受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信する。
[0577] ビーム・スプリッタは、具体的には、受信した各ビーム光を、複数のビーム光に分割するように構成される。ターゲット・オブジェクトの反射ビームは、ビーム・スプリッタからのビームを反射することによって、ターゲット・オブジェクトから得られるビームである。
[0578] 4003E.M個の異なる時点でM個の発光領域からそれぞれ放出されるビームに対応するTOFに基づいて、M個の深度マップを生成する。
[0579] M個の異なる時点でM個の発光領域からそれぞれ放出されるビームに対応するTOF は、具体的には、M個の異なる時点でアレイ光源のM個の発光領域からそれぞれ放出されるビームの放出時点と、対応する反射ビームの受信時点との間の時間差情報であってもよい。
[0580] 4003F.M個の深度マップに基づいて、ターゲット・オブジェクトの最終深度マップを取得する。
[0581] オプションとして、M個の深度マップは、それぞれ、ターゲット・オブジェクトのM個の領域セットに対応する深度マップであり、M個の領域セット内の何れの2つの領域セット間にもオーバーラップする領域は存在しない。
[0582] オプションとして、受信ユニットは、受信レンズ群とセンサーを含む。受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信する際の前述のステップ4003Dは:受信レンズ群を使用することにより、ターゲット・オブジェクトの反射ビームを、センサーに収束させるステップを含む。
[0583] センサーは、センサー・アレイと言及される場合もあり、センサー・アレイは、2次元センサー・アレイであってもよい。
[0584] オプションとして、センサーの分解能はP×Q以上であり、アレイ光源の1つの発光領域からのビームに関してビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qである。
[0585] P及びQは双方ともに正の整数である。センサーの分解能は、ビーム・スプリッタが、アレイ光源の1つの発光領域からのビームに関してビーム分割を実行した後に得られるビームの数量以上である。従って、センサーは、ビーム・スプリッタからのビームを反射することにより、ターゲット・オブジェクトから得られる反射ビームを受信することができ、その結果、TOF深度センシング・モジュールは、通常的に、反射ビームを受信することができる。
[0586] オプションとして、M個の最終深度マップを生成する際の前述のステップ4003Eは、具体的には以下を含む:
[0587] (1)M個の異なる時点でM個の発光領域からそれぞれ放出されるビームに対応するTOFに基づいて、ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離を決定する。
[0588] (2)ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離に基づいて、ターゲット・オブジェクトのM個の領域の深度マップを生成する。
[0598] (3)ターゲット・オブジェクトのM個の領域の深度マップに基づいて、ターゲット・オブジェクトの深度マップを合成する。
[0590] 図24に示される方法は、図3に示されるTOF深度センシング・モジュール又は図3に示されるTOF深度センシング・モジュールを含む端末デバイス、によって実行される可能性がある。
[0591] 第2動作モードにおいてターゲット・オブジェクトの最終深度マップを取得するプロセスは、TOF深度センシング・モジュールにおけるコリメーション・レンズ群とビーム・スプリッタの間の位置関係によって異なる。図25を参照しながら、以下、第2動作モードにおけるターゲット・オブジェクトの最終深度マップを取得するプロセスを詳細に説明する。
[0592] 図25は、第2動作モードにおけるターゲット・オブジェクトの最終深度マップを取得する際の概略フローチャートである。図25に示されるプロセスは、ステップ4003aないしステップ4003fを含む。以下、ステップを別々に詳細に説明する。
[0593] 4003a.アレイ光源のN個の発光領域のうちのM個の発光領域を、M個の異なる時点で発光するように制御する。
[0594] MはN以下であり、M及びNは両方とも正の整数である。
[0595] ステップ4003aにおいて、制御ユニットは、アレイ光源を発光するように制御することができる。具体的には、制御ユニットは、M個の時点において、アレイ光源のM個の発光領域へそれぞれ制御信号を送信して、M個の発光領域を、M個の異なる時点でそれぞれ発光するように制御することができる。
[0596] 例えば、アレイ光源は、4つの独立した発光領域A、B、C、及びDを含む。この場合、制御ユニットは、4つの独立した発光領域A、B、Cへ、時点t0、時点t1、時点t2において制御信号をそれぞれ送信することが可能であり、その結果、3つの独立した発光領域A、B、Cは、時点t0、時点t1、時点t2でそれぞれ発光する。
[0597] 4003b.ビーム・スプリッタを使用することにより、M個の異なる時点でM個の発光領域によってそれぞれ生成されたビームに関してビーム分割処理を実行する。
[0598] ビーム・スプリッタは、具体的には、受信した各ビーム光を複数のビーム光に分割するように構成されている。
[0599] ビーム・スプリッタを使用することにより、M個の異なる時点でM個の発光領域によりそれぞれ生成されたビームに関してビーム分割処理を実行することは、具体的には、ビーム・スプリッタを使用することにより、M個の異なる時点でM個の発光領域により生成されたビームに関してビーム分割処理をそれぞれ実行することを意味している可能性がある。
[0600] 例えば、アレイ光源は、4つの発光領域111、112、113、及び114を含む。制御ユニットの制御の下で、発光領域Aは時点T0で光を放出し、発光領域Bは時点T1で光を放出し、発光領域Cは時点T2で光を放出する。この場合、ビーム・スプリッタは、時点T0において、発光領域Aによって放出されたビームに関してビーム分割処理を実行し、時点T1において、発光領域Bによって放出されたビームに関してビーム分割処理を実行し、時点T2において、発光領域Cによって放出されたビームに関してビーム分割処理を実行することができる。
[0601] 4003c.コリメーション・レンズ群を使用することにより、ビーム・スプリッタからのビームに関してコリメーション処理を実行する。
[0602] コリメーション・レンズ群を使用してビームに関してコリメーション処理を実行することにより、ほぼ平行なビームを取得することができ、その結果、ビームのパワー密度を向上させることができ、そのビームを用いて以後に実行する走査の実効性を改善することができる。
[0603] 4003d.受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信する。
[0604] ターゲット・オブジェクトの反射ビームは、コリメーション・レンズ群からのビームを反射することによって、ターゲット・オブジェクトから得られるビームである
[0605] 4003e.M個の異なる時点でM個の発光領域からそれぞれ放出されるビームに対応するTOFに基づいて、M個の深度マップを生成する。
[0606] M個の異なる時点でアレイ光源のM個の発光領域からそれぞれ放出されるビームに対応するTOF は、具体的には、M個の異なる時点でアレイ光源のM個の発光領域からそれぞれ放出されるビームの放出時点と、対応する反射ビームの受信時点との間の時間差情報であってもよい。
[0607] 4003f.M個の深度マップに基づいて、ターゲット・オブジェクトの最終深度マップを取得する。
[0608] オプションとして、M個の深度マップは、それぞれ、ターゲット・オブジェクトのM個の領域セットに対応する深度マップであり、M個の領域セット内の何れの2つの領域セット間にもオーバーラップする領域は存在しない。
[0609] オプションとして、受信ユニットは、受信レンズ群とセンサーを含む。受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信する際の前述のステップ4003dは:受信レンズ群を使用することにより、ターゲット・オブジェクトの反射ビームを、センサーに収束させるステップを含む。
[0610] センサーは、センサー・アレイと言及される場合もあり、センサー・アレイは、2次元センサー・アレイであってもよい。
[0611] オプションとして、センサーの分解能はP×Q以上であり、アレイ光源の1つの発光領域からのビームに関してビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qである。
[0612] P及びQは双方ともに正の整数である。センサーの分解能は、ビーム・スプリッタが、アレイ光源の1つの発光領域からのビームに関してビーム分割を実行した後に得られるビームの数量以上である。従って、センサーは、ビーム・スプリッタからのビームを反射することにより、ターゲット・オブジェクトから得られる反射ビームを受信することができ、その結果、TOF深度センシング・モジュールは、通常的に、反射ビームを受信することができる。
[0613] オプションとして、M個の深度マップを生成する際の前述のステップ4002eは、具体的には以下を含む:
[0614] (1)M個の異なる時点でM個の発光領域からそれぞれ放出されるビームに対応するTOFに基づいて、ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離を決定する。
[0615] (2)ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離に基づいて、ターゲット・オブジェクトのM個の領域の深度マップを生成する。
[0616] (3)ターゲット・オブジェクトのM個の領域の深度マップに基づいて、ターゲット・オブジェクトの深度マップを合成する。
[0617] 図25に示されるプロセスと図24に示されるプロセスは両方とも、第2動作モードにおけるターゲット・オブジェクトの最終深度マップを取得する方法である。主な相違は以下のとおりである:図25においては、先ず、ビーム・スプリッタを使用することにより、アレイ光源から放出されたビームに関してビーム分割処理が実行され、次いで、コリメーション・レンズ群を使用することにより、ビーム分割処理が実行された後に得られるビームに関してコリメーション処理が実行される。図24においては、先ず、コリメーション・レンズ群を使用することにより、アレイ光源から放出されたビームに関してコリメーション処理が実行され、次いで、ビーム・スプリッタを使用することにより、コリメーション処理が実行された後に得られるビームに関してビーム分割処理が実行される。
[0618] 上記は、図1ないし図25を参照しながら本件の実施形態におけるTOF深度センシング・モジュール及び画像生成方法を詳細に説明している。以下は、図26ないし図52を参照しながら本件の実施形態における別のTOF深度センシング・モジュール及び別の画像生成方法を詳細に説明している。
[0619] 従来のTOF深度センシング・モジュールは、一般に、光学的構造(例えば、リフレクタ、レンズ、及びプリズム)を駆動するために構成要素を機械的に回転又は振動させたり、又は発光源を回転又は振動させたりして、ターゲット・オブジェクトの様々な領域を走査する仕方で、ビームの伝搬方向を変化させている。しかしながら、TOF深度センシング・モジュールは、大きなサイズを有し、限られたスペースを有する一部のデバイス(例えば、移動端末)に取り付けるのに適していない。更に、TOF深度センシング・モジュールは、一般に、連続的な走査の仕方で走査を実行する。一般に、生成される走査トラックも連続的である。ターゲット・オブジェクトが走査される場合に、柔軟性は乏しく、関心領域(region of interest, ROI)を迅速に特定することはできない。従って、本件の実施形態はTOF深度センシング・モジュールを提供し、その結果、機械的な回転や振動なしに異なるビームを異なる方向に照射することにより、関心のある走査領域を、様々な方向で迅速に特定することができるようになる。以下、添付の図面を参照しながら具体的に説明する。
[0620] 以下、先ず図26を参照しながら、本件の実施形態におけるTOF深度センシング・モジュールを簡単に説明する。
[0621] 図26は、本件の実施形態によるTOF深度センシング・モジュールを用いて距離測定を実行する際の概略図である。
[0622] 図26に示されるように、TOF深度センシング・モジュールは、送信端部(又は、投影端部と言及されてもよい)、受信端部、及び制御ユニットを含む可能性がある。送信端部は、出現ビームを生成するように構成されている。受信端部は、ターゲット・オブジェクトの反射ビーム(反射ビームは、出現ビームを反射することによってターゲット・オブジェクトから得られるビームである)を受信するように構成されている。制御ユニットは、送信端部と受信端部のそれぞれを、ビームを放出及び受信するように制御することができる。
[0623] 図2において、送信端部は、一般に、光源、コリメーション・レンズ群(オプション)、偏光フィルタリング・デバイス、光学素子、及び投影レンズ群(オプション)を含む可能性があり、受信端部は、一般に、受信レンズ群及びセンサーを含む可能性があり、受信レンズ群及びセンサーは、まとめて受信ユニットと言及される場合がある。
[0624] 図26において、出現ビームに対応するTOFは、タイミング装置を用いて記録され、TOF深度センシング・モジュールとターゲット領域との間の距離を計算し、ターゲット・オブジェクトの最終深度マップを取得することができる。出現ビームに対応するTOFは、反射ビームが受信ユニットによって受信される時点と、出現ビームの発生時点との間の時間差情報であってもよい。
[0625] 本件のこの実施形態におけるTOF深度センシング・モジュールは、3D画像を取得するように構成されてもよい。本件のこの実施形態におけるTOF深度センシング・モジュールは、インテリジェント端末(例えば、携帯電話、タブレット、及びウェアラブル・デバイス)内に配置されてもよく、深度画像又は3D画像を取得するように構成されるものであり、3Dゲーム又はモーション・センシング・ゲーム用のジェスチャ及び身体認識をもたらす可能性がある。
[0626] 以下、図27を参照しながら、本件の実施形態におけるTOF深度センシング・モジュールを詳細に説明する。
[0627] 図27は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。
[0628] 図27に示されるTOF深度センシング・モジュール200は、光源210、偏光フィルタリング・デバイス220、光学素子230、受信ユニット240、及び制御ユニット250を含む。偏光フィルタリング・デバイス220は、光源210と光学素子230との間に位置している。以下、TOF深度センシング・モジュール200内のモジュール又はユニットを詳細に説明する。
[0629] 光源210:
[0630] 光源210は、ビームを生成するように構成されている。具体的には、光源210は複数の偏光状態において光を生成することができる。
[0631] オプションとして、光源210により放出されるビームは、準平行光の単一ビームであり、光源210によって放出されるビームの発散角度は1°未満である。
[0632] オプションとして、光源210は半導体レーザー光源であってもよい。
[0633] 光源は、垂直共振器型面発光レーザー(vertical cavity surface emitting laser, VCSEL)であってもよい。
[0634] オプションとして、光源は、ファブリ・ペロー・レーザー(これは、FPレーザーと略称される場合がある)であってもよい。
[0635] 単一のVCSELと比較して、単一のFPレーザーは、より大きなパワーを実現することが可能であり、VCSELよりも高い電気-光学変換効率を有し、そのため、走査実効性を改善することができる。
[0636] オプションとして、光源210によって放出されるビームの波長は、900nmより大きい。
[0637] 太陽光の中で900nmを超える光の強度は低い。従って、ビームの波長が900nmより大きい場合、それは太陽光に起因する干渉を低減するのに役立ち、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[0638] オプションとして、光源210によって放出されるビームの波長は、940nm又は1550nmである。
[0639] 太陽光の中で940nm又は1550nm付近の光の強度は低い。従って、ビームの波長が940nm又は1550nmである場合、それは太陽光に起因する干渉を大幅に低減することができ、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[0640] 偏光フィルタリング・デバイス220:
[0641] 偏光フィルタリング・デバイス220は、単一の偏光状態においてビームを得るためにビームをフィルタリングするように構成されている。
[0642] 単一の偏光状態にあるビームであって、フィルタリングを経て偏光フィルタリング・デバイス220によって得られるビームは、複数の偏光状態のうちにあり且つ光源210によって生成されるビームの1つである。
[0643] 例えば、光源210によって生成されるビームは、直線偏光、左旋円偏光、及び右旋円偏光を異なる方向において含む。この場合、偏光フィルタリング・デバイス220は、ビーム内の左旋円偏光と右旋偏光を遮蔽して、特定の方向において偏光状態が直線偏光であるビームを取得することができる。
[0644] 光学素子230:
[0645] 光学素子230は、単一の偏光状態でビームの方向を調整するように構成されている。
[0646] 光学素子230の屈折率パラメータは、制御可能である。光学素子230の屈折率が変化する場合、光学素子230は、単一の偏光状態におけるビームを様々な方向に調整することが可能である。
[0647] 以下、添付図面を参照しながらビームの伝搬方向を説明する。ビームの伝搬方向は、空間角度を使用することにより定義されてもよい。図28に示されるように、ビームの空間角度は、出現表面の矩形座標系においてビームとZ軸の方向との間の角度θと、平面XY上のビームの投影とX軸の方向との間の角度φとを含む。ビームの空間角度θ又はφは、ビームが走査に使用される場合に変化する。
[0648] 制御ユニット250:
[0649] 制御ユニット250は、光学素子230の屈折率パラメータを制御して、単一の偏光状態におけるビームの伝搬方向を変更するように構成されている。
[0650] 制御ユニット250は、制御信号を生成することが可能である。制御信号は、電圧信号であってもよいし、又は無線周波数駆動信号であってもよい。光学素子230の屈折率パラメータは、制御信号を使用することによって変更されてもよく、その結果、単一の偏光状態にあるビームであって光学素子20によって受信されるビームの出現方向を変化させることができる。
[0651] 受信ユニット240:
[0652] 受信ユニット240は、ターゲット・オブジェクトの反射ビームを受信するように構成されている。
[0653] ターゲット・オブジェクトの反射ビームは、単一の偏光状態においてビームを反射することによって、ターゲット・オブジェクトから得られるビームである。
[0654] 具体的には、光学素子230を通過した後、単一の偏光状態のビームは、ターゲット・オブジェクトの表面に照射される。ターゲット・オブジェクトの表面の反射に起因して、反射ビームが生成され、反射ビームは受信ユニット240によって受信されることが可能である。
[0655] 受信ユニット240は、具体的には、受信レンズ群241及びセンサー242を含む可能性がある。受信レンズ群241は、反射ビームを受信し、反射ビームをセンサー242に収束させるように構成されている。
[0656] 本件のこの実施形態において、光学素子の複屈折が変化する場合、ビームを様々な方向に調節することができる。従って、光学素子の複屈折パラメータを制御することにより、ビームの伝搬方向を調整することができ、その結果、非-機械的な回転によりビームの伝搬方向を調整することができ、ビームを用いて離散的な走査を行うことができ、また、ターゲット・オブジェクトの周囲環境、深度、又は距離を、より柔軟に測定することができる。
[0657] 換言すれば、本件のこの実施形態では、光学素子230の屈折率パラメータを制御することによって、単一の偏光状態におけるビームの空間角度を変更することができ、その結果、光学素子230は、単一の偏光状態におけるビームの伝搬方向を偏向することができ、要件を充足している走査方向及び走査角度の出現ビームを出力し、離散走査を実行することができ、走査中の柔軟性は高く、ROIを迅速に位置決めすることができる。
[0658] オプションとして、制御ユニット250は、ビームに対応するTOFに基づいて、ターゲット・オブジェクトの深度マップを生成するように更に構成されている。
[0659] ビームに対応するTOFは、具体的には、ビームに対応する反射ビームが受信ユニットによって受信される時点と、光源がビームを放出する時点との間の時間差情報であってもよい。ビームに対応する反射ビームは、具体的には、偏光フィルタリング・デバイスと光学素子によってビームが処理され、その後にターゲット・オブジェクトに到達し、ターゲット・オブジェクトによって反射された後に生じたビームであってもよい。
[0660] 図29は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。
[0661] 図29に示されるように、TOF深度センシング・モジュール200は、コリメーション・レンズ群260を更に含む。コリメーション・レンズ群260は、光源210と偏光フィルタリング・デバイス220との間に配置され、コリメーション・レンズ群260は、ビームに関してコリメーション処理を実行するように構成されている。偏光フィルタリング・デバイス220は、コリメーション・レンズ群がコリメーション処理を実行した後に得られるビームをフィルタリングし、単一の偏光状態のビームを取得するように構成されている。
[0662] オプションとして、光源210の発光領域は、5×5mm2以下である。
[0663] オプションとして、コリメーション・レンズ群120の有効開口は、5mm以下である。
[0664] 光源及びコリメーション・レンズ群のサイズは小さいので、上記のデバイス(光源及びコリメーション・レンズ群)を含むTOF深度センシング・モジュールは、端末デバイス内に統合しやすく、そのため、端末デバイス内で占めるスペースをある程度小さくすることができる。
[0665] オプションとして、TOF深度センシング・モジュール200の平均出力光パワーは、800mW未満である。
[0666] TOF深度センシング・モジュールの平均出力光パワーが800 mw以下である場合、TOF深度センシング・モジュールの電力消費は小さく、電力消費に敏感なデバイス、例えば端末デバイスに、TOF深度センシング・モジュールを配置することを促す。
[0667] 図30は、本件の実施形態によるTOF深度センシング・モジュールによりターゲット・オブジェクトを走査する際の概略図である。
[0668] 図30に示されるように、光学素子230は時点T0で出現ビーム1を放出することが可能である。走査方向及び走査角度が時点T1で変更されることを必要とする場合、光学素子は、時点T1で出現ビーム2を放出するように直接的に制御されてもよい。走査方向及び走査角度が時点T2で更に変更されることを必要とする場合、時点T2で出現ビーム3を放出するように光学素子に制御信号が送信されてもよい。TOF深度センシング・モジュール200は、ターゲット・オブジェクトを走査するために、異なる時点で異なる方向に出現ビームを直接的に出力することが可能である。
[0669] 以下、図31を参照しながら、TOF深度センシング・モジュール200により離散走査を実施する際の効果を詳細に説明する。
[0670] 図31は、本件の実施形態によるTOF深度センシング・モジュールの走査トラックの概略図である。
[0671] 図31に示すように、TOF深度センシング・モジュールは、走査点Aから走査を開始してもよい。走査が走査点Aから走査点Bへ切り替えられることを必要とする場合、光学素子230は、制御ユニット250を使用することにより直接的に制御されてもよく、その結果、出現ビームは走査点Bに直接的に照射され、走査点Aから走査点Bへ徐々に移動させる必要はない(図中のAとBの間の破線に沿ってAからBへ移動させる必要はない)。同様に、走査が走査点Bから走査点Cへ切り替えられることを必要とする場合、光学素子230はまた、制御ユニット250を使用することにより直接的に制御されてもよく、その結果、出現ビームは走査点Cに直接的に照射され、走査点Bから走査点Cへ徐々に移動させる必要はない(図中のBとCの間の破線に沿ってBからCへ移動させる必要はない)。
[0672] 従って、TOF深度センシング・モジュール200は、離散走査を実施することができ、高い走査柔軟性を有し、走査されることを必要とする領域を迅速に特定することができる。
[0673] TOF深度センシング・モジュール200は、離散走査を実施することができるので、走査中に、TOF深度センシング・モジュール200は、複数の走査トラックを使用することによって領域を走査することができ、その結果、走査方法はより柔軟に選択され、また、TOF深度センシング・モジュール200の時間シーケンス制御を設計することにも役立つ。
[0674] 図32を参照しながら、以下、3×3の2次元ドット・マトリクスを一例として使用して、TOF深度センシング・モジュール200の走査方法を説明する。
[0675] 図32は、本件の実施形態によるTOF深度センシング・モジュールの走査方法の概略図である。
[0676] 図32に示されるように、TOF深度センシング・モジュール200は、2次元ドット・マトリクスの左上隅の点から走査を開始し、2次元ドット・マトリクスの右下隅の点で走査を終了する可能性がある。このような走査方法は、走査方法Aないし走査方法Fを含む。2次元ドット・マトリクスの左上隅の点から走査を開始することに加えて、TOF深度センシング・モジュール200は、更に、2次元ドット・マトリクスの中心点から開始して、2次元ドット・マトリクスの全ての点が走査されるまで走査し、2次元ドット・マトリクスの全ての走査を完了してもよい。このような走査方法は、走査方法Gないし走査方法Jを含む。
[0677] 更に、TOF深度センシング・モジュール200は、2次元アレイの任意の点から開始して、2次元アレイの全ての点の走査が完了するまで走査してもよい。図32の走査方法Kによって示されるように、走査は、2次元アレイの第1行第2列にある点から開始して、2次元アレイの中心点が走査されるまで走査し、2次元アレイ・ドット・マトリクスの全ての走査を完了するしてもよい。
[0678] オプションとして、光学素子230は、液晶偏光格子、光学フェーズド・アレイ、電気-光学デバイス、及び音響-光学素子のうちの任意の1つである。
[0679] 添付図面を参照しながら、以下、様々なケースを用いて光学素子230の具体的な構成を詳細に説明する。
[0680] ケース1:光学素子230は、液晶偏光格子(liquid crystal polarization grating, LCPG)である。ケース1において、光学素子230の複屈折率は制御可能である。光学素子の複屈折率が変化する場合、光学素子は、単一の偏光状態におけるビームを、様々な方向に調整することができる。
[0681] 液晶偏光格子は、幾何学的な位相の原理に基づく新規な格子デバイスである。液晶偏光格子は、円偏光に作用し、電気-光学同調性及び偏光同調性を有する。
[0682] 液晶偏光格子は、液晶分子の周期的な配列を用いて形成された格子であり、その製造方法は、一般に、光配向技術を使用することにより、液晶分子のディレクター(液晶分子の長軸方向)を、一方向で直線的かつ周期的に変化させるように制御している。円偏光は、入射光の偏光状態を制御することにより、+1オーダー又は-1オーダーに回折させることが可能であり、ビームは、追加された回折オーダーと0オーダーとの間の切り替えにより偏向させることができる。
[0683] 図33は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。
[0684] 図33に示すように、光学素子230は、液晶偏光格子であり、制御ユニット250は、ビームを液晶偏光格子へ放出するように光源を制御し、制御信号を使用することにより、液晶偏光格子を制御して、ビームの方向を偏向させ、出現ビームを取得することができる。
[0685] オプションとして、液晶偏光格子は、水平LCPG構成要素と垂直LCPG構成要素を含む。
[0686] 図34は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。
[0687] 図34に示すように、液晶偏光格子は、水平LCPG構成要素と垂直LCPG構成要素を含む。離散ランダム走査は、水平LCPG構成要素を使用することによって水平方向に実施されることが可能であり、離散ランダム走査は、垂直LCPG構成要素を使用することによって垂直方向に実施されることが可能である。水平LCPG構成要素と垂直LCPG構成要素が組み合わせられる場合、水平方向と垂直方向で2次元離散ランダム走査を実現することができる。
[0688] 図34は、水平LCPGが前面にあり、垂直LCPGが後面にあるケースのみを示していることが理解されるべきである(水平LCPGと光源の間の距離は、垂直LCPGと光源との間の距離より小さい)。実際には、本件では、液晶変更格子において、垂直LCPGが前面にあってもよく、水平LCPGが後面にあってもよい(垂直LCPGと光源の間の距離は、水平LCPGと光源との間の距離より小さい)。
[0689] 本件において、液晶偏光格子が水平LCPG構成要素と垂直LCPG構成要素を含む場合には、水平方向及び垂直方向で2次元離散ランダム走査を実施することが可能である。
[0690] オプションとして、ケース1において、液晶偏光格子は、更に、水平偏光制御シート及び垂直偏光制御シートを含んでもよい。
[0691] 液晶偏光格子が偏光制御シートを含む場合、ビームの偏光状態を制御することができる。
[0692] 図35は、本件の実施形態による液晶偏光格子の構造の概略図である。
[0693] 図35に示されるように、液晶偏光格子は、水平LCPG及び垂直LCPGを含み、また、水平偏光制御シート及び垂直偏光制御シートを含む。図35において、水平LCPGは、水平偏光制御シートと垂直偏光制御シートとの間に位置し、垂直偏光制御シートは、水平LCPGと垂直LCPGとの間に位置する。
[0694] 図36は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。
[0695] 図36に示されるように、TOF深度センシング・モジュールにおける液晶偏光格子の構造は図35に示されており、水平偏光制御シート、水平LCPG、垂直偏光制御シート、及び垂直LCPGの全てと光源との間の距離は順次増えている。
[0696] オプションとして、図35に示される液晶偏光格子内の構成要素は、以下の組み合わせ方式を有する可能性がある:
組み合わせ方式1:124;
組み合わせ方式2:342;及び
組み合わせ方式3:3412。
[0697] 前述の組み合わせ方式1において、1は、水平偏光制御シート及び垂直偏光制御シートであって密着しているものを表していてもよい。この場合、密着した2つの偏光制御シートは、1つの偏光制御シートと同等である。従って、組み合わせ方法1において、1は、水平偏光制御シート及び垂直偏光制御シートであって密着しているものを表すために使用される。同様に、前述の組み合わせ方式2において、3は、水平偏光制御シート及び垂直偏光制御シートであって密着したものを表していてもよい。この場合、密着した2つの偏光制御シートは、1つの偏光制御シートと同等である。従って、組み合わせ方法2において、3は、水平偏光制御シート及び垂直偏光制御シートであって密着しているものを表すために使用される。
[0698] 組み合わせ方式1又は組み合わせ方式2における光学素子230がTOF深度センシング・モジュールに配置される場合、水平偏光制御シート及び垂直偏光制御シートの両方が光源に近い側に配置され、水平LCPG及び垂直LCPGの両方が光源から遠い側に配置される。
[0699] 組み合わせ方式3における光学素子230がTOF深度センシング・モジュールに配置される場合、垂直偏光制御シート、垂直LCPG、水平偏光制御シート、及び水平LCPGの全てと光源との間の距離は順次増えている。
[0700] 液晶偏光格子の前述の3つの組み合わせ方式と、図35における組み合わせ方法は、単なる例であることが理解されるべきである。実際には、本件の光学素子の構成要素は、更に、異なる組み合わせを有する可能性があり、但し、水平偏光制御シートと光源との間の距離が、水平LCPGと光源との間の距離よりも小さく、水平偏光制御シートと光源との間の距離が、水平LCPGと光源との間の距離よりも小さいものと仮定する。
[0701] 図37に示されるように、液晶偏光格子の物理的特性は、周期的な制御信号(図37では、制御信号の周期はΛである)を液晶偏光格子に入力することによって周期的に変化させることができる。具体的には、液晶偏光格子内の液晶分子の配列の仕方が、ビームの方向を偏向させるように変えることが可能である(液晶分子は概ね棒状であり、液晶分子の方向は、制御信号の影響に起因して変化する)。
[0702] 液晶偏光格子と偏光子を組み合わせると、ビームの様々な方向を制御することができる。
[0703] 図38に示されるように、入射光は、左旋円偏光子、右旋円偏光子、及びLCPGの電圧を用いて制御することができ、その結果、3つの異なる方向におけるビームを制御することができる。出現光の偏向角度は、以下の回折格子方程式に基づいて決定することができる:
Figure 2023509068000002
[0704] 前述の回折格子方程式において、θmはm次の出現光の方向角度であり、λはビームの波長であり、ΛはLCPGの周期であり、θは入射光の入射角度である。偏向角θmの値は、LCPG格子の周期の値、波長、及び入射角の値に依存し、mの値はここでは0及び±1だけであってもよいことが、回折格子方程式から知ることができる。mの値が0である場合、方向は偏向されず、変わらないことを示す。mの値が1である場合、方向は、入射方向に対して左又は反時計回りに独立に偏向されることを示す。mの値が-1である場合、方向は、入射方向に対して右又は時計回りに独立に偏向されることを示す(mの値が+1であることとmの値が-1であることは反転されてもよいという意味が存在する)。
[0705] 3つの角度における偏向は、単一のLCPGを使用して3つの角度で出現ビームを得ることによって、実現することができる。従って、複数のLCPGをカスケード接続することによって、より多くの角度で出現ビームを得ることができる。従って、N個の偏光制御シート(偏光制御シートは、入射光の偏光を制御して、左旋偏光と右旋偏光の間の変換を実現するように構成される)と、N個のLCPGとを組み合わせることによって、理論上、3N個の偏光角を実現することができる
[0706] 例えば、図35に示されるように、TOF深度センシング・モジュールの光学素子は、デバイス1、2、3、及び4を含む。デバイス1、2、3及び4は、それぞれ、水平偏光制御シート、水平LCPG、垂直偏光制御シート、及び垂直LCPGを表す。偏光制御シート及びLCPGのそれぞれのグループの電圧を制御することにより、ビームの偏向方向及び角度を制御することができる。
[0707] 3×3点スキャンを一例として使用する。図39に示される電圧信号は、図36に示されるデバイス1、2、3、及び4にそれぞれ印加され(図39の1、2、3、及び4は図36に示されるデバイス1、2、3、及び4に印加される電圧信号をそれぞれ示す)、その結果、光源によって放出されたビームは、図40に示される走査トラックを実現するように制御されることが可能である。
[0708] 具体的には、入射光は左旋円偏光であり、水平LCPGは左旋入射光に起因して左に偏向され、垂直LCPGは、左旋入射光に起因して下方に偏向されることが想定されている。以下、各時点におけるビームの偏向方向を詳細に説明する。
[0709] 高電圧信号が水平偏光制御シートの両端に印加されると、水平偏光制御シートを通過するビームの偏光状態は変化しない。低電圧信号が水平偏波制御シートの両端に印加されると、水平偏光制御シートを通過するビームの偏光状態は変化する。同様に、高電圧信号が垂直偏光制御シートの両端に印加されると、垂直偏光制御シートを通過するビームの偏光状態は変化しない。同様に、低電圧信号が垂直偏光制御シートの両端に印加されると、垂直偏光制御シートを通過するビームの偏光状態は変化する。
[0710] 時点0において、デバイス1の入射光は、左旋円偏光である。低電圧がデバイス1に印加されているので、入射光がデバイス1を通過した後、右旋円偏光が放出される。デバイス2の入射光は、右旋円偏光である。高電圧がデバイス2に印加されているので、入射光がデバイス2を通過した後も、右旋円偏光が依然として放出される。デバイス3の入射光は、右旋円偏光である。低電圧がデバイス3に印加されているので、入射光がデバイス3を通過した後、左旋円偏光が放出される。デバイス4の入射光は、左旋円偏光である。高電圧がデバイス4に印加されているので、入射光がデバイス4を通過した後も、左旋円偏光が依然として放出される。従って、時点0において、入射光がデバイス1ないしデバイス4を通った後、入射光の方向は変化せず、偏光状態も変化しない。図40に示されるように、時点0に対応する走査点は、図40における中心t0によって示される位置である。
[0711] 時点t0において、デバイス1の入射光は、左旋円偏光である。高電圧がデバイス1に印加されているので、入射光がデバイス1を通過した後も、左旋円偏光が依然として放出される。デバイス2の入射光は、左旋円偏光である。低電圧がデバイス2に印加されているので、入射光がデバイス2を通過した後、左に偏向された右旋円偏光が放出される。デバイス3の入射光は、左に偏向された右旋円偏光である。低電圧がデバイス3に印加されているので、入射光がデバイス3を通過した後、左に偏向された左旋円偏光が放出される。デバイス4の入射光は、左に偏向された左旋円偏光である。高電圧がデバイス4に印加されているので、入射光がデバイス4を通過した後も、左に偏向された左旋円偏光が依然として放出される。換言すれば、時点0に対して、時点t0においてデバイス4によって放出されるビームは左に偏向され、図40における対応する走査点は、t0によって示される位置である。
[0712] 時点t1において、デバイス1の入射光は、左旋円偏光である。高電圧がデバイス1に印加されているので、入射光がデバイス1を通過した後も、左旋円偏光が依然として放出される。デバイス2の入射光は、左旋円偏光である。低電圧がデバイス2に印加されているので、入射光がデバイス2を通過した後、左に偏向された右旋円偏光が放出される。デバイス3の入射光は、左に偏向された右旋円偏光である。高電圧がデバイス3に印加されているので、入射光がデバイス3を通過した後、左に偏向された右旋円偏光が放出される。デバイス4の入射光は、左に偏向された右旋円偏光である。低電圧がデバイス4に印加されているので、入射光がデバイス4を通過した後、左に偏向され且つ上方に偏向された左旋円偏光が放出される。換言すれば、時点0に対して、時点t1においてデバイス4によって放出されるビームは左に偏向され且つ上方に偏向され、図40における対応する走査点は、t1によって示される位置である。
[0713] 時点t2において、デバイス1の入射光は、左旋円偏光である。低電圧がデバイス1に印加されているので、入射光がデバイス1を通過した後、右旋円偏光がとして放出される。デバイス2の入射光は、右旋円偏光である。高電圧がデバイス2に印加されているので、入射光がデバイス2を通過した後、右旋円偏光が放出される。デバイス3の入射光は、右旋円偏光である。高電圧がデバイス3に印加されているので、入射光がデバイス3を通過した後も、右旋円偏光が依然として放出される。デバイス4の入射光は、右旋円偏光である。低電圧がデバイス4に印加されているので、入射光がデバイス4を通過した後、上方に偏向された左旋円偏光が放出される。換言すれば、時点0に対して、時点t2においてデバイス4によって放出されるビームは上方に偏向され、図40における対応する走査点は、t2によって示される位置である。
[0714] 時点t3において、デバイス1の入射光は、左旋円偏光である。低電圧がデバイス1に印加されているので、入射光がデバイス1を通過した後、右旋円偏光が放出される。デバイス2の入射光は、右旋円偏光である。低電圧がデバイス2に印加されているので、入射光がデバイス2を通過した後、右に偏向された右旋円偏光が放出される。デバイス3の入射光は、右に偏向された右旋円偏光である。低電圧がデバイス3に印加されているので、入射光がデバイス3を通過した後、右に偏向された左旋円偏光が放出される。デバイス4の入射光は、右に偏向された左旋円偏光である。低電圧がデバイス4に印加されているので、入射光がデバイス4を通過した後、右に偏向され且つ上方に偏向された左旋円偏光が放出される。換言すれば、時点0に対して、時点t3においてデバイス4によって放出されるビームは右に偏向され且つ上方に偏向され、図40における対応する走査点は、t3によって示される位置である。
[0715] 時点t4において、デバイス1の入射光は、左旋円偏光である。低電圧がデバイス1に印加されているので、入射光がデバイス1を通過した後、右旋円偏光が放出される。デバイス2の入射光は、右旋円偏光である。低電圧がデバイス2に印加されているので、入射光がデバイス2を通過した後、右に偏向された左旋円偏光が放出される。デバイス3の入射光は、右に偏向された左旋円偏光である。低電圧がデバイス3に印加されているので、入射光がデバイス3を通過した後、右に偏向された右旋円偏光が放出される。デバイス4の入射光は、右に偏向された右旋円偏光である。高電圧がデバイス4に印加されているので、入射光がデバイス4を通過した後、右に偏向され右旋円偏光が依然として放出される。換言すれば、時点0に対して、時点t4においてデバイス4によって放出されるビームは右に偏向され、図40における対応する走査点は、t4によって示される位置である。
[0716] 時点t5において、デバイス1の入射光は、左旋円偏光である。低電圧がデバイス1に印加されているので、入射光がデバイス1を通過した後、右旋円偏光が放出される。デバイス2の入射光は、右旋円偏光である。低電圧がデバイス2に印加されているので、入射光がデバイス2を通過した後、右に偏向された右旋円偏光が放出される。デバイス3の入射光は、右に偏向された右旋円偏光である。高電圧がデバイス3に印加されているので、入射光がデバイス3を通過した後、右に偏向された右旋円偏光が放出される。デバイス4の入射光は、右に偏向された右旋円偏光である。低電圧がデバイス4に印加されているので、入射光がデバイス4を通過した後、右に偏向され且つ下方に偏向された左旋円偏光が放出される。換言すれば、時点0に対して、時点t5においてデバイス4によって放出されるビームは右に偏向され且つ下方に偏向され、図40における対応する走査点は、t5によって示される位置である。
[0717] 時点t6において、デバイス1の入射光は、左旋円偏光である。低電圧がデバイス1に印加されているので、入射光がデバイス1を通過した後、右旋円偏光が放出される。デバイス2の入射光は、右旋円偏光である。高電圧がデバイス2に印加されているので、入射光がデバイス2を通過した後も、右旋円偏光が依然として放出される。デバイス3の入射光は、右旋円偏光である。低電圧がデバイス3に印加されているので、入射光がデバイス3を通過した後、左旋円偏光が放出される。デバイス4の入射光は、左旋円偏光である。低電圧がデバイス4に印加されているので、入射光がデバイス4を通過した後、下方に偏向された右旋円偏光が放出される。換言すれば、時点0に対して、時点t6においてデバイス4によって放出されるビームは下方に偏向され、図40における対応する走査点は、t6によって示される位置である。
[0718] 時点t7において、デバイス1の入射光は、左旋円偏光である。高電圧がデバイス1に印加されているので、入射光がデバイス1を通過した後、左旋円偏光が放出される。デバイス2の入射光は、左旋円偏光である。低電圧がデバイス2に印加されているので、入射光がデバイス2を通過した後、左に偏向された右旋円偏光が放出される。デバイス3の入射光は、左に偏向された右旋円偏光である。低電圧がデバイス3に印加されているので、入射光がデバイス3を通過した後、左に偏向された左旋円偏光が放出される。デバイス4の入射光は、左に偏向された左旋円偏光である。低電圧がデバイス4に印加されているので、入射光がデバイス4を通過した後、左に偏向され且つ下方に偏向された右旋円偏光が放出される。換言すれば、時点0に対して、時点t7においてデバイス4によって放出されるビームは左に偏向され且つ下方に偏向され、図40における対応する走査点は、t7によって示される位置である。
[0719] TOF深度センシング・モジュールの可能な走査トラックは、ここでは図39及び図40を参照しながら説明されているだけであり、任意の個別のランダムな走査が、偏光制御シート及びLCPGの各グループの電圧を変更及び制御することによって実現されてもよいことが理解されるべきである。
[0720] 例えば、図32に示される種々の走査トラックは、偏光制御シート及びLCPGの各グループの電圧を変更及び制御することによって実現することができる。
[0721] ターゲット・オブジェクトが、従来のレーザー・レーダーを用いて走査される場合、通常、ターゲット領域に関して粗い走査(Coarse scan)が実行されることを必要とし、次いで、関心領域(ROI)が発見された後に、より高い分解能に対応する細かい走査(Fine scan)が実行される。しかしながら、本件のこの実施形態におけるTOF深度センシング・モジュールは、離散走査を実施することができる。従って、細かい走査を行うために、関心領域を直接的に特定することができ、その結果、細かい走査に要する時間を大幅に短縮することができる。
[0722] 例えば、図41に示されるように、走査対象領域(身体の輪郭を含む矩形領域全体)の点の総数量はMであり、ROI(図41では身体の輪郭画像内の画像領域)は、走査対象領域の総面積の1/Nを占める。
[0723] 図41に示される走査対象領域が走査される場合に、従来のレーザー・レーダー及び本件のこの実施形態におけるレーザー走査レーダーの両方の点走査速度はK点/秒であり、ROI領域を走査する場合には細かい走査が実行されることを必要とし、細かい走査の間に存在する解像度は、元の値の4倍(即ち、4K点/秒)に増加させる必要があるものと仮定する。従って、本件のこの実施形態では、TOF深度センシング・モジュールを使用することによりROIに関して細かい走査を完了するために必要な時間はt1であり、従来のレーザー・レーダーを使用することによりROIに関して細かい走査を完了するために必要な時間はt2である。本件のこの実施形態におけるTOF深度センシング・モジュールは、離散走査を実行することができるので、ROIを直接的に位置決めすることができ、ROIに対して細かい走査を実行することができ、必要な走査時間は短い。しかしながら、従来のレーザー・レーダーは直線的な走査を行い、ROIを正確に位置決めすることは困難である。その結果、従来のレーザー・レーダーは、走査対象領域の全体に対して細かい走査を実行することを必要とし、走査時間は大幅に増加する。図42に示すように、本件のこの実施形態におけるTOF深度センシング・モジュールは、ROIを直接的に位置決めし、ROIに関して細かい走査を実行することができる(ROI内の走査点の密度は、ROI外の走査点の密度よりも著しく大きいことを、図42から知ることができる)。
[0724] 更に、t1及びt2は以下の式(2)及び式(3)に従ってそれぞれ計算することが可能である:
Figure 2023509068000003
[0725] 本件の本実施形態におけるTOF深度センシング・モジュールを使用することによりROIに関して細かい走査を実行するのに必要な時間は、従来のレーザー・レーダーを使用することにより細かい走査を実行するのに必要な時間の1/Nだけであることを、上記の式(2)及び式(3)から知ることができる。これは、ROIに関して細かい走査を実行するのに必要な時間を大幅に短縮する。
[0726] 本件のこの実施形態におけるTOF深度センシング・モジュールは、離散走査を実行することができるので、本件のこの実施形態におけるTOF深度センシング・モジュールは、任意の形状、特に何らかの非対称な領域及び離散的なROIブロックにおいて、ROI領域(車両、人物、建物、及びランダムなブロック)に関して細かい走査を実行することができる。更に、本件のこの実施形態におけるTOF深度センシング・モジュールは、走査領域内の点の均一な分布又は不均一な分布を実現することも可能である。
[0727] ケース2:光学素子230は、電気-光学デバイスである。
[0728] ケース2において、光学素子230が電気-光学デバイスである場合、制御信号は電圧信号であってもよく、電圧信号は電気-光学デバイスの屈折率を変化させるために使用されてもよい。従って、光源に対する電気-光学デバイスの位置が変化しない場合に、走査方向が制御信号に合致する出現ビームを取得するために、ビームは様々な異なる方向に偏向される。
[0729] オプションとして、図43に示されるように、前述の電気-光学デバイスは、水平の電気-光学結晶(水平に偏向される電気-光学結晶)及び垂直の電気-光学結晶(垂直に偏向される電気-光学結晶)を含む可能性がある。水平電気-光学結晶は、水平方向にビームを偏向させることができ、垂直電気-光学結晶は、垂直方向にビームを偏向させることができる。
[0730] オプションとして、電気-光学結晶は、具体的には、タンタル酸ニオブ酸カリウム(potassium tantalate niobate, KTN)結晶、重水素化リン酸二水素カリウム(deuterated potassium dihydrogen phosphate, DKDP)結晶、及びニオブ酸リチウム(lithium niobate, LN)結晶のうちの何れか1つであってもよい。
[0731] 以下、添付図面を参照しながら、電気-光学結晶の動作原理を簡単に説明する。
[0732] 図44に示されるように、電圧信号が電気-光学結晶に印加されると、電気-光学結晶の二次光電効果に起因して、電気-光学結晶に屈折率差が生じ(即ち、電気-光学結晶内で異なる領域の屈折率が相違する)、その結果、入射ビームは偏向させられる。図44に示されるように、出現ビームは、入射ビームの方向に対して偏向させられる。
[0733] 入射ビームに対する出現ビームの偏向角は、以下の式(4)に従って計算することができる:
Figure 2023509068000004
[0734] 前述の式(4)において、θmaxは入射ビームに対する出現ビームの最大偏向角を表し、nは電気-光学結晶の屈折率であり、g11yは二次の電気-光学係数勾配を表 し、Emaxは電気-光学結晶に印加することが可能な最大電界強度を表し、dg11y/dyは方向yにおける二次の電気-光学係数勾配である。
[0735] ビームの偏向角は、ターゲット領域を走査するために、印加される電界強度を調整することによって(即ち、電気-光学結晶に印加される電圧を調整することによって)、制御されてもよいことが、前述の式(4)から知ることができる。更に、より大きな偏向角を実現するために、複数の電気-光学結晶がカスケード接続されてもよい。
[0736] 図43に示されるように、光学素子は、水平方向に偏向される電気-光学結晶及び垂直方向に偏向される電気-光学結晶を含む。2つの電気-光学結晶は、水平方向及び垂直方向にビームをそれぞれ偏向させる原因となる。図45に示される制御電圧信号が印加された後、図46に示される3×3スキャニングを実施することができる。具体的には、図45において、1及び2は水平方向に偏向される電気-光学結晶及び垂直方向に偏向される電気-光学結晶に印加される制御電圧信号をそれぞれ示す。
[0737] ケース3:光学素子230は、音響-光学デバイスである。
[0738] 図47に示されるように、光学素子230は音響-光学デバイスである。音響-光学デバイスは、トランスデューサを含んでもよい。光学素子230が音響-光学デバイスである場合、制御信号は、具体的には、無線周波数制御信号であってもよく、無線周波数制御信号は、トランスデューサを制御して、異なる周波数を有する音波を生成し、音響-光学デバイスの屈折率を変化させるために使用されることが可能である。従って、光源に対する音響-光学デバイスの位置が変化しない場合に、走査方向が制御信号に合致する出現ビームを取得するために、ビームは様々な方向に偏向される。
[0739] 図48に示されるように、音響-光学デバイスは、吸音体、石英、及び圧電トランスデューサを含む。音響-光学デバイスが電気信号を受信した後、圧電トランスデューサは、電気信号の作用の下で音波信号を生成することができる。音波信号が音響-光学デバイスで伝送される場合に、石英の屈折率分布は変化して格子を形成し、その結果、石英は入射ビームをある角度で偏向することができるようになる。異なる時点で入力された制御信号が異なる場合、音響-光学デバイスは、異なる時点で異なる方向に出現ビームを生成することができる。図48に示されるように、異なる時点(T0、T1、T2、T3、及びT4)における石英の出現ビームの偏向方向は、異なる可能性がある。
[0740] 音響-光学デバイスに入射する信号が周期的な信号である場合、音響-光学デバイス内の石英の屈折率分布が周期的に変化するので、周期的な格子が形成され、入射ビームは周期的な格子を使用することによって周期的に偏向させられることが可能である。
[0741] 更に、音響-光学デバイスの出現光の強度は、音響-光学デバイスに入力される無線周波数制御信号のパワーに直接的に関連付けられ、入射ビームの回折角は、無線周波数制御信号の周波数にも直接的に関連付けられる。また、出現ビームの角度は、無線周波数制御信号の周波数を変更することによって相応に調整されることが可能である。具体的には、入射ビームに対する出現ビームの偏向角は、以下の式(5)に従って決定されてもよい:
Figure 2023509068000005
[0742] 上記の式(5)において、θは入射ビームに対する出現ビームの偏向角であり、λは入射ビームの波長であり、fsは無線周波数制御信号の周波数であり、νsは音波の速度である。従って、光偏向器は、ビームが広い角度範囲で走査を実行できるようにし、ビームの出現角を正確に制御することができる。
[0743] ケース4:光学素子230は、光学フェーズド・アレイ(optical phase array, OPA)デバイスである。
[0744] 図49及び図50を参照しながら、以下、光学素子230がOPAデバイスであるケースを詳細に説明する。
[0745] 図49に示されるように、光学素子230はOPAデバイスであり、入射ビームは、OPAデバイスを使用することによって偏向され、走査方向が制御信号に合致する出現ビームを取得することができる。
[0746] OPAデバイスは、一般に、1次元又は2次元の位相シフタ・アレイを含む。位相シフタ間に位相差がない場合、光は同時に等位相面に到達し、光は干渉によらず順方向に伝搬し、その結果、ビーム偏向は生じない。
[0747] しかしながら、位相差が位相シフタに付加された後(例えば、一様な位相差が各光信号に割り振られ、第2ウェーブガイドと第1ウェーブガイドとの間の位相差がΔであり、第3ウェーブガイドと第1ウェーブガイドとの間の位相差が2Δであり、以下同様である場合)、等位相面はウェーブガイド方向に対して垂直ではなく、ある程度偏向させられる。等位相関係を満たすビームはコヒーレントで建設的であり、等位相条件を満たさないビームは破壊的である。従って、ビームの方向は、常に、等位相面に垂直である。
[0748] 図50に示されるように、隣接するウェーブガイド間の距離はdであると仮定されている。この場合、隣接するウェーブガイドから出力されたビームが等位相面に到達した後に辿る光路間の差は、ΔR=d・sinθであり、ここで、θはビームの偏向角を表す。光路間の差は、アレイ素子間の位相差によるので、ΔR=Δ・λ/2πとなる。従って、ビームは、アレイ素子に位相差を導入することによって、偏向させることが可能である。これはOPAのビーム偏向原理である。
[0749] 従って、偏向角θ=arcsin(Δ・λ/(2π*d))となる。隣接する位相シフタ間の位相差は、例えばπ/12又はπ/6のように制御され、その結果、ビームの偏向角は、arcsin(λ/(24d))及びarcsin(λ/(12d))であるようになる。このようにして、位相シフタ・アレイの位相を制御することにより、任意の2次元方向の偏向を実現することができる。位相シフタは、液晶材料から構成されてもよく、異なる電圧を印加することによって、液晶間に異なる位相差が生じる。
[0750] オプションとして、図51に示されるように、TOF深度センシング・モジュール200は、更に、コリメーション・レンズ群260を含む:
コリメーション・レンズ群260は、光源210と偏光フィルタリング・デバイス220との間に配置され、コリメーション・レンズ群260は、ビームに関してコリメーション処理を実行するように構成され、偏光フィルタリング・デバイス220は、コリメーション・レンズ群260が処理を実行した後に得られるビームをフィルタリングして、単一の偏光状態のビームを取得するように構成されている。
[0751] なお、コリメーション・レンズ群260は、偏光フィルタリング・デバイス220と光学素子230との間に配置されてもよい。この場合、偏光フィルタリング・デバイス220は、先ず、光源によって生成されたビームに関して偏光フィルタリングを行い、単一の偏光状態のビームを取得する。次いで、コリメーション・レンズ群260は、単一の偏光状態におけるビームに関してコリメーション処理を実行する。
[0752] オプションとして、コリメーション・レンズ群260は、光学素子230の右側に配置されてもよい(コリメーション・レンズ群260と光源210との間の距離は、光学素子230と光源210との間の距離よりも大きい)。この場合、光学素子230が単一の偏光状態におけるビームの方向を調整した後、コリメーション・レンズ群260は、単一の偏光状態にあり且つその方向が調整されたビームに関してコリメーション処理を実行する。
[0753] 上記は、図26ないし図51を参照しながら本件の実施形態におけるTOF深度センシング・モジュール200を詳細に説明している。以下、図52を参照しながら本件の実施形態における画像生成方法を説明する。
[0754] 図52は、本件の実施形態による画像生成方法の概略フローチャートである。
[0755] 図52に示される方法は、本件の実施形態において示されるTOF深度センシング・モジュール、又は本件の実施形態におけるTOF深度センシング・モジュールを含む端末デバイスによって実行されてもよい。具体的には、図52に示される方法は、図27に示されるTOF深度センシング・モジュール200、又は図27に示されるTOF深度センシング・モジュール200を含む端末デバイスによって実行することができる。図52に示される方法は、ステップ4001ないしステップ4005を含む。以下、ステップを別々に詳細に説明する。
[0756] 5001.ビームを生成するように光源を制御する。
[0757] 光源は、複数の偏光状態における光を生成することができる。
[0758] 例えば、光源は、直線偏光、左旋円偏光、及び右旋円偏光のような複数の偏光状態における光を生成することができる。
[0759] 5002.偏光フィルタリング・デバイスを用いてビームをフィルタリングし、単一の偏光状態のビームを取得する。
[0760] 単一の偏光状態は、直線偏光、左旋円偏光、及び右旋円偏光のうちの任意の1つであってもよい。
[0761] 例えば、ステップ5001において、光源によって生成されるビームは、直線偏光、左旋円偏光、及び右旋円偏光を含む。この場合、ステップ5002において、ビーム内の左旋円偏光と右旋円偏光を遮蔽してもよく、特定の方向における直線偏光のみが確保される。オプションとして、偏光フィルタリング・デバイスは、更に、1/4波長板を含んでもよく、その結果、スクリーニングによって得られた直線偏光は、左旋円偏光(又は右旋円偏光)に変換される。
[0762] 5003.M個の異なる時点で異なる複屈折パラメータを個々に有するように光学素子を制御し、M個の異なる方向で出現ビームを取得する。
[0763] 光学素子の複屈折パラメータは制御可能である。光学素子の複屈折が変化する場合、光学素子は、単一の偏光状態におけるビームを、異なる方向に調整することが可能である。Mは1より大きな正の整数である。前述のM個の反射ビームは、M個の異なる方向で出現ビームを反射することによってターゲット・オブジェクトから得られるビームである。
[0764] この場合、光学素子は液晶偏光格子であってよい。液晶偏光格子の具体的なケースについては、上記のケース1の説明を参照されたい。
[0765] オプションとして、光学素子がM個の時点において異なる複屈折パラメータを別々に有することは、具体的には、以下の2つのケースを含む可能性がある:
[0766] ケース1:M個の時点のうちの任意の2つの時点における光学素子の複屈折パラメータは異なる。
[0767] ケース2:光学素子のM個の時点において少なくとも2つの時点があり、少なくともその2つの時点における光学素子の複屈折パラメータは異なる。
[0768] ケース1において、M=5であると仮定する。この場合、光学素子は、5つの時点における5つの異なる複屈折パラメータにそれぞれ対応している。
[0769] ケース2において、M=5であると仮定する。この場合、光学素子は、5つの時点における2つの時点においてのみ、異なる複屈折パラメータに対応している。
[0770] 5004.受信ユニットを使用することによって、M個の反射ビームを受信する。
[0771] 5005.M個の異なる方向における出現ビームに対応するTOFに基づいて、ターゲット・オブジェクトの深度マップを生成する。
[0772] M個の異なる方向における出現ビームに対応するTOFは、具体的には、M個の異なる方向における出現ビームに対応する反射ビームが受信ユニットによって受信される時点と、M個の異なる方向における出現ビームの出現時点との間の時間差情報であってもよい。
[0773] M個の異なる方向における出現ビームは、出現ビーム1を含むと仮定する。この場合、出現ビーム1に対応する反射ビームは、出現ビーム1がターゲット・オブジェクトに到達し、ターゲット・オブジェクトによって反射された後に生じるビームであってもよい。
[0774] 本件のこの実施形態では、光学素子の複屈折率が変化する場合、ビームを様々な方向に調節することができる。従って、光学素子の複屈折パラメータを制御することにより、ビームの伝搬方向を調整することができ、その結果、非-機械的な回転によりビームの伝搬方向を調整し、離散的な走査を行うことができ、また、ターゲット・オブジェクトの周囲環境、深度、又は距離を、より柔軟に測定することができる。
[0775] オプションとして、ターゲット・オブジェクトの深度マップを生成する際の前述のステップ5005は、具体的には以下を含む:
[0776] 5005a.M個の方向における出現ビームに対応するTOFに基づいて、ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離を決定する。
[0777] 5005b.ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離に基づいて、ターゲット・オブジェクトのM個の領域の深度マップを生成し、ターゲット・オブジェクトのM個の領域の深度マップに基づいて、ターゲット・オブジェクトの深度マップを合成する。
[0778] 図52に示される方法において、更に、コリメーション処理は、ビームに対して実行されてもよい。
[0779] オプションとして、ステップ5002の前に、図52に示される方法は、更に以下を含む:
[0780] ビームに関してコリメーション処理を実行し、コリメーション処理が実行された後に得られるビームを取得する。
[0781] ビームに関してコリメーション処理が実行された後に、単一の偏光状態におけるビームを取得する際の前述のステップ5002は、具体的には:偏光フィルタリング・デバイスを使用することにより、コリメーション処理が実行された後に得られるビームをフィルタリングして、単一の偏光状態における光を取得することを含む。
[0782] 偏光フィルタリング・デバイスを用いてビームをフィルタリングする前に、単一の偏光状態におけるビームを得るために、ビームに関してコリメーション処理を実行することにより、ほぼ平行なビームを取得することができ、その結果、ビームのパワー密度を向上させることができ、そのビームを用いて以後に実行する走査の実効性を改善することができる。
[0783] コリメーション処理が実行された後に得られるビームは準平行光であり、その発散角度は1°未満である。
[0784] 図52に示される方法では、コリメーション処理は、単一の偏光状態におけるビームに関して実行されてもよいことが理解されるべきである。具体的には、図52に示される方法は、更に、以下を含む:
[0785] 5007.コリメーション処理が実行された後に得られるビームを取得するために、単一の偏光状態におけるビームに関してコリメーション処理を実行する。
[0786] ステップ5007は、ステップ5002とステップ5003との間に位置してもよく、又はステップ5007は、ステップ5003とステップ5004との間に位置してもよい。
[0787] ステップ5007がステップ5002とステップ5003の間に位置する場合、光源によって生成されたビームが偏光フィルタリング装置を用いてフィルタリングされた後に、単一の偏光状態のビームが得られる。次いで、コリメーション・レンズ群を使用することにより、単一の偏光状態におけるビームに関してコリメーション処理が実行され、コリメーション処理が実行された後に得られるビームを取得する。次いで、光学素子を使用することによって、単一の偏光状態におけるビームの伝搬方向が制御される。
[0788] ステップ5007がステップ5003とステップ5004の間に位置する場合、光学素子が単一の偏光状態におけるビームの伝搬方向を変更した後に、コリメーション・レンズ群を使用することにより、単一の偏光状態におけるビームに関してコリメーション処理が実行され、コリメーション処理が実行された後に得られるビームを取得する。
[0789] 図52に示される方法では、ステップ5006及びステップ5007はオプションのステップであり、ステップ5006又はステップ5007の何れかが実行されてもよいことが、理解されるべきである。
[0790] 上記は、図26ないし図52を参照しながら本件の実施形態におけるTOF深度センシング・モジュール及び画像生成方法を詳細に説明している。以下、図53ないし図69を参照しながら、本件の実施形態における別のTOF深度センシング・モジュール及び別の画像生成方法を詳細に説明する。
[0791] 従来のTOF深度センシング・モジュールは、一般に、パルス型TOF技術を使用して走査を実行する。しかしながら、パルス型TOF技術では、単一光子検出能力を実現するために、光電検出器は十分に高い感度を有するように要求される。単一光子アバランシェダイオード(SPAD)は、頻繁に使用される光電検出器に一般的に使用されている。SPADの複雑なインターフェース及び処理回路に起因して、頻繁に使用されるSPADセンサーの解像度は低く、深度センシングの高い空間解像度の要求を満たすには不十分である。従って、本件の実施形態は、ブロック照明及び時分割多重化により、深度センシングの空間分解能を改善するために、TOF深度センシング・モジュール及び画像生成方法を提供する。以下、添付図面を参照しながら、このタイプのTOF深度センシング・モジュール及び画像生成方法を詳細に説明する。
[0792] 以下、図53を参照しながら本件の実施形態におけるTOF深度センシング・モジュールを先ず簡単に説明する。
[0793] 図53は、本件の実施形態によるTOF深度センシング・モジュールを用いて距離測定を行う際の概略図である。
[0794] 図53に示されるように、TOF深度センシング・モジュールは、送信端部(又は、投影端部と言及される場合がある)、受信端部、及び制御ユニットを含む可能性がある。送信端部は、出現ビームを放出するように構成されている。受信端部は、ターゲット・オブジェクトの反射ビーム(反射ビームは、出現ビームを反射することによってターゲット・オブジェクトから得られるビームである)を受信するように構成されている。制御ユニットは、送信端部及び受信端部を、ビームを放出及び受信するようにそれぞれ制御することができる。
[0795] 図53において、送信端部は、一般に、光源、偏光フィルタリング・デバイス、コリメーション・レンズ群(オプション)、第1光学素子、及び投影レンズ群(オプション)を含む可能性があり、受信端部は、一般に、受信レンズ群、第2光学素子、及びセンサーを含む可能性がある。図53において、出現ビームに対応するTOFは、タイミング装置を使用することによって記録され、TOF深度センシング・モジュールとターゲット領域との間の距離を計算し、ターゲット・オブジェクトの最終深度マップを取得する。出現ビームに対応するTOFは、反射ビームが受信ユニットによって受信された時点と出現ビームの出現時点との間の時間差情報であってもよい。
[0796] 図53に示されるように、ビームのFOVは、ビーム整形デバイス及び第1光学素子を使用することによって調節することが可能であり、その結果、異なる走査ビームが、時点t0ないしt17において放出されることが可能である。ターゲットFOVは、時点t0ないしt17で放出されるビームのFOVを継ぎ合わせることによって取得することが可能であり、その結果、TOF深度センシング・モジュールの分解能を向上させることができる。
[0797] 本件のこの実施形態におけるTOF深度センシング・モジュールは、3D画像を得るように構成されてもよい。本件のこの実施形態におけるTOF深度センシング・モジュールは、インテリジェント端末(例えば、携帯電話、タブレット、及びウェアラブル・デバイス)内に配置されてもよく、深度画像又は3D画像を取得するように構成され、3Dゲーム又はモーション・センシング・ゲーム用のジェスチャ及び身体認識を提供することも可能である。
[0798] 以下、図54を参照しながら本件の実施形態におけるTOF深度センシング・モジュールを詳細に説明する。
[0799] 図54は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。
[0800] 図54に示されるTOF深度センシング・モジュール300は、光源310、偏光フィルタリング・デバイス320、ビーム整形デバイス330、第1光学素子340、第2光学素子350、受信ユニット360、及び制御ユニット370を含む。図54に示されるように、TOF深度センシング・モジュール300の送信端部は、光源310、偏光フィルタリング・デバイス320、ビーム整形デバイス330、及び第1光学素子340を含む。TOF深度センシング・モジュール300の受信端部は、第2光学素子350及び受信ユニット360を含む。第1光学素子340及び第2光学素子350は、TOF深度センシング・モジュール300の送信端部及び受信端部にそれぞれ位置する素子である。第1光学素子は主に送信端部のビーム方向を制御して出現ビームを取得し、第2光学素子は主に反射ビームの方向を制御し、その結果、反射ビームが受信ユニットの方へ偏向させられる。
[0801] 以下、TOF深度センシング・モジュール300におけるモジュール又はユニットを詳細に説明する。
[0802] 光源310:
[0803] 光源310は、ビームを生成するように構成されている。具体的には、光源310は、複数の偏光状態の光を生成することができる。
[0804] オプションとして、光源310は、レーザー光源、発光ダイオード(light emitting diode, LED)光源、又は別の形態の光源であってもよい。これは、本発明において網羅的に説明されてはいない。
[0805] オプションとして、光源310はレーザー光源である。レーザー光源からのビームもまた、レーザー・ビームと言及される場合もあることが、理解されるべきである。説明を容易にするために、レーザー・ビームは、本件のこの実施形態では、まとめてビームと称される。
[0806] オプションとして、光源310により放出されるビームは、準平行光の単一ビームであり、光源310によって放出されるビームの発散角度は1°未満である。
[0807] オプションとして、光源310は半導体レーザー光源であってもよい。
[0808] 光源は、垂直共振器型面発光レーザー(vertical cavity surface emitting laser, VCSEL)であってもよい。
[0809] オプションとして、光源310は、ファブリ・ペロー・レーザー(これは、FPレーザーと略称される場合がある)である。
[0810] 単一のVCSELと比較して、単一のFPレーザーは、より大きなパワーを実現することが可能であり、VCSELよりも高い電気-光学変換効率を有し、そのため、走査実効性を改善することができる。
[0811] オプションとして、光源310によって放出されるビームの波長は、900nmより大きい。
[0812] 太陽光の中で900nmを超える光の強度は低い。従って、ビームの波長が900nmより大きい場合、それは太陽光に起因する干渉を低減するのに役立ち、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[0813] オプションとして、光源310によって放出されるビームの波長は、940nm又は1550nmである。
[0814] 太陽光の中で940nm又は1550nm付近の光の強度は低い。従って、ビームの波長が940nm又は1550nmである場合、それは太陽光に起因する干渉を大幅に低減することができ、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[0815] 光源310の発光面積は5×5mm2以下である。
[0816] 光源のサイズは小さいので、光源を含むTOF深度センシング・モジュール310は、端末デバイス内に統合しやすく、そのため、端末デバイス内で占めるスペースをある程度小さくすることができる。
[0817] オプションとして、TOF深度センシング・モジュールの平均出力光パワーは、800mW未満である。
[0818] TOF深度センシング・モジュールの平均出力光パワーが800 mw以下である場合、TOF深度センシング・モジュールの電力消費は小さく、電力消費に敏感なデバイス、例えば端末デバイスに、TOF深度センシング・モジュールを配置することを促す。
[0819] 偏光フィルタリング・デバイス320:
[0820] 偏光フィルタリング・デバイス320は、単一の偏光状態においてビームを得るためにビームをフィルタリングするように構成されている。
[0821] 単一の偏光状態にあるビームであって、フィルタリングを経て偏光フィルタリング・デバイス320によって得られるビームは、複数の偏光状態のうちにあり且つ光源310によって生成されるビームの1つである。
[0822] 例えば、光源310によって生成されるビームは、直線偏光、左旋円偏光、及び右旋円偏光を含む。この場合、偏光フィルタリング・デバイス320は、ビーム内の左旋円偏光と右旋偏光を遮蔽して、特定の方向におけて直線的に偏光した光のみを確保することができる。オプションとして、偏光フィルタリング・デバイスは1/4波長板を更に含んでもよく、その結果、遮蔽によって得られた直線偏光の光は、左旋円偏光(又は右旋円偏光)に変換される。
[0823] ビーム整形デバイス330:
[0824] ビーム整形デバイス330は、第1ビームを取得するためにビームを調整するように構成されている。
[0825] 本件のこの実施形態では、ビーム整形デバイス330は、ビームの視野FOVを増やすように具体的に構成されることが理解されるべきである。
[0826] 第1ビームのFOVは、第1プリセット範囲に適合している。
[0827] 好ましくは、第1プリセット範囲は、[5°×5°,20°×20°]であってもよい。
[0828] 第1ビームのFOVの水平方向のFOVは5°ないし20°(5°及び20°を含む)であってもよく、第1ビームのFOVの垂直方向のFOVは5°ないし20°(5°及び20°を含む)であってもよいことが理解されるべきである。
[0829] なお、5°×5°より小さい又は20°×20°より大きい別の範囲も、本件の保護範囲に該当することが理解されるべきであり、但し、その範囲が本件の発明概念に適合していることを仮定している。しかしながら、説明を容易にするために、これは本件で網羅的には説明されていない。
[0830] 制御ユニット370:
[0831] 制御ユニット370は、第1光学素子を制御して、M個の異なる時点で第1ビームの方向を個々に制御し、M個の異なる方向における出現ビームを取得するように構成されている。
[0832] M個の異なる方向における出現ビームによってカバーされるFOV全体は、第2プリセット範囲に適合している。
[0833] 好ましくは、第2プリセット範囲は、[50°×50°,80°×80°]であってもよい。
[0834] 同様に、なお、50°×50°より小さい又は80°×80°より大きい別の範囲も、本件の保護範囲に該当することが理解されるべきであり、但し、その範囲が本件の発明概念に適合していることを仮定している。しかしながら、説明を容易にするために、これは本件で網羅的には説明されていない。
[0835] 制御ユニット370は、M個の異なる方向において出現ビームを反射することによって、ターゲット・オブジェクトから得られるM個の反射ビームを、受信ユニットの方へ個々に偏向させるように、第2光学素子を制御するように更に構成されている。
[0836] 図102及び図104に関連して、以下、処理を経てTOF深度センシング・モジュール300内のビーム整形デバイスによって得られる第1ビームのFOVと、M個の異なる方向における走査によって得られるトータルFOVとを説明していることが理解されるべきである。本件において詳細は説明されていない。
[0837] 本件のこの実施形態では、ビーム整形デバイスは、第1ビームが大きなFOVを有するように、ビームのFOVを調整する。更に、走査は時分割多重化によって行われ(第1光学素子は、異なる時点で異なる方向に出現ビームを放出する)、その結果、最終的に得られるターゲット・オブジェクトの深度マップの空間分解能を改善することができる。
[0838] 図55は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。
[0839] 図55に示すように、TOF深度センシング・モジュールは、コリメーション・レンズ群380を更に含む。コリメーション・レンズ群380は、光源310と偏光フィルタリング・デバイス320との間に配置され、コリメーション・レンズ群380は、ビームに関してコリメーション処理を実行するように構成されている。偏光フィルタリング・デバイス320は、コリメーション・レンズ群380がコリメーション処理を実行した後に得られるビームをフィルタリングして、単一の偏光状態のビームを取得するように構成されている。
[0840] 図56は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。図56において、コリメーション・レンズ群380は、偏光フィルタリング・デバイス320とビーム整形デバイス330との間に配置されてもよい。コリメーション・レンズ群380は、単一の偏光状態におけるビームに関してコリメーション処理を実行するように構成されている。ビーム整形デバイス330は、コリメーション・レンズ群380がコリメーション処理を行った後に得られるビームのFOVを調整して、第1ビームを取得するように構成されている。
[0841] コリメーション・レンズ群を使用してビームに関してコリメーション処理を実行することにより、ほぼ平行なビームを取得することができ、その結果、ビームのパワー密度を向上させることができ、そのビームを用いて以後に実行する走査の実効性を改善することができる。
[0842] オプションとして、コリメーション・レンズ群の有効開口は、5mm以下である。
[0843] コリメーション・レンズ群のサイズは小さいので、コリメーション・レンズ群を含むTOF深度センシング・モジュールは、端末デバイス内に統合しやすく、そのため、端末デバイス内で占めるスペースをある程度小さくすることができる。
[0844] コリメーション・レンズ群は、光学整形デバイス330と第1光学素子340との間に配置されてもよいことが理解されるべきである。この場合、コリメーション・レンズ群は、ビーム整形デバイス330が整形処理を実行した後に得られるビームに関してコリメーション処理を実行し、コリメーション処理が実行された後に得られるビームは、第1光学素子によって処理される。
[0845] 更に、コリメーション・レンズ群380は、TOF深度センシング・モジュール300内の任意の可能な位置に配置され、任意の可能なプロセスにおいてビームに関してコリメーション処理を実行することができる。
[0846] オプションとして、第1光学素子と第2光学素子との間の水平距離は、1cm以下である。
[0847] オプションとして、第1光学素子及び/又は第2光学素子は、単一/複数の回転ミラー・デバイスである。
[0848] 回転ミラー・デバイスは、回転を通じて出現ビームの出現方向を制御する。
[0849] 回転ミラー・デバイスは、具体的には、マイクロエレクトロメカニカル・システム検流計又は多面回転ミラーであってもよい。
[0850] 第1光学素子は、液晶偏光格子、電気-光学デバイス、音響-光学デバイス、及びオプティカル・フェーズド・アレイ・デバイスのようなデバイスのうちの任意の1つであってもよく、第2光学素子も、液晶偏光格子、電気-光学デバイス、音響-光学デバイス、及びオプティカル・フェーズド・アレイ・デバイスのようなデバイスのうちの任意の1つであってもよい。液晶偏光格子、電気-光学デバイス、音響-光学デバイス、オプティカル・フェーズド・アレイ・デバイスのようなデバイスの具体的な内容については、ケース1ないしケース4の説明を参照されたい。
[0851] 図35に示されるように、液晶偏光格子は水平LCPGと垂直LCPGを含み、また、水平偏光制御シートと垂直偏光制御シートを含む。図35において、水平LCPGは、水平偏光制御シートと垂直偏光制御シートとの間に位置し、垂直偏光制御シートは、水平LCPGと垂直LCPGとの間に位置する。
[0852] オプションとして、図35に示される液晶偏光格子内の構成要素は、以下の組み合わせ方式を有する可能性がある:
組み合わせ方式1:124;
組み合わせ方式2:342;及び
組み合わせ方式3:3412。
[0853] 前述の組み合わせ方式1において、1は、水平偏光制御シート及び垂直偏光制御シートであって密着しているものを表していてもよい。前述の組み合わせ方式2において、3は、水平偏光制御シート及び垂直偏光制御シートであって密着したものを表していてもよい。
[0854] 組み合わせ方式1又は組み合わせ方式2における第1光学素子330又は第2光学素子350がTOF深度センシング・モジュールに配置される場合、水平偏光制御シート及び垂直偏光制御シートの両方が光源に近い側に配置され、水平LCPG及び垂直LCPGの両方が光源から遠い側に配置される。
[0855] 組み合わせ方式3における第1光学素子340又は第2光学素子350がTOF深度センシング・モジュールに配置される場合、垂直偏光制御シート、垂直LCPG、水平偏光制御シート、及び水平LCPGの全てと光源との間の距離は順次増えている。
[0856] 液晶偏光格子の前述の3つの組み合わせ方式と、図35における組み合わせ方法は、単なる例であることが理解されるべきである。実際には、本件の光学素子の構成要素は、更に、異なる組み合わせを有する可能性があり、但し、水平偏光制御シートと光源との間の距離が、水平LCPGと光源との間の距離よりも小さく、水平偏光制御シートと光源との間の距離が、水平LCPGと光源との間の距離よりも小さいものと仮定する。
[0857] オプションとして、第2光学素子は、水平偏光制御シート、水平液晶偏光格子、垂直偏光制御シート、及び垂直液晶偏光格子を含む。
[0858] オプションとして、ビーム整形デバイスは、拡散レンズ群及び矩形開口を含む。
[0859] 上記は、図53ないし図56を参照しながら本件の実施形態におけるTOF深度センシング・モジュールを説明している。以下、図57を参照しながら本件の実施形態における画像生成方法を詳細に説明する。
[0860] 図57は、本件の実施形態による画像生成方法の概略フローチャートである。
[0861] 図57に示される方法は、本件の実施形態におけるTOF深度センシング・モジュール又はTOF深度センシング・モジュールを含む端末デバイスによって実行されてもよい。具体的には、図57に示される方法は、図54に示されるTOF深度センシング・モジュール又は図54に示されるTOF深度センシング・モジュールを含む端末デバイスによって実行されてもよい。図57に示される方法は、ステップ5001ないしステップ5006を含む。以下、ステップを別々に詳細に説明する。
[0862] 5001.ビームを生成するように光源を制御する。
[0863] 5002.偏光フィルタリング・デバイスを用いてビームをフィルタリングし、単一の偏光状態のビームを取得する。
[0864] 単一の偏光状態は、複数の偏光状態のうちの1つである。
[0865] 例えば、複数の偏光状態は、直線偏光、左旋円偏光、及び右旋円偏光を含む可能性がある。単一の偏光状態は、直線偏光、左旋円偏光、及び右旋円偏光のうちの任意の1つであってもよい。
[0866] 5003.ビーム整形デバイスを用いてビームを調整し、第1ビームを取得する。
[0867] オプションとして、前述のステップ5003は、具体的には:ビーム整形デバイスを使用することによって、単一の偏光状態におけるビームの角度空間強度分布を調整し、第1ビームを取得することを含む。
[0868] 本件のこの実施形態において、ビーム整形デバイスを用いてビームを調整することは、具体的には、ビーム整形デバイスを用いてビームの視野FOVを増やすことである、ということが理解されるべきである。
[0869] これは、前述のステップ5003が、具体的には:ビーム整形デバイスを使用することによって、単一の偏光状態におけるビームの角度空間強度分布を増加させ、第1ビームを取得することを含んでもよい、ということを意味する。
[0870] 第1ビームのFOVは、第1プリセット範囲に適合している。
[0871] 好ましくは、第1プリセット範囲は、[5°×5°,20°×20°]であってもよい。
[0872] 5004.第1光学素子を制御して、M個の異なる時点でビーム整形デバイスからの第1ビームの方向を個々に制御し、M個の異なる方向における出現ビームを取得する。
[0873] M個の異なる方向における出現ビームによってカバーされるFOV全体は、第2プリセット範囲に適合している。
[0874] 好ましくは、第2プリセット範囲は、[50°×50°,80°×80°]であってもよい。
[0875] 5005.M個の異なる方向において出現ビームを反射することによって、ターゲット・オブジェクトから得られるM個の反射ビームを、受信ユニットの方へ個々に偏向させるように、第2光学素子を制御する。
[0876] 5006.M個の方向における出現ビームにそれぞれ対応するTOFに基づいて、ターゲット・オブジェクトの深度マップを生成する。
[0877] 本件のこの実施形態では、ビーム整形デバイスは、第1ビームが大きなFOVを有するように、ビームのFOVを調整する。更に、走査は時分割多重化によって行われ(第1光学素子は、異なる時点で異なる方向に出現ビームを放出する)、その結果、最終的に得られるターゲット・オブジェクトの深度マップの空間分解能を改善することができる。
[0878] オプションとして、前述のステップ5006は、具体的には:ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離に基づいて、ターゲット・オブジェクトのM個の領域の深度マップを生成するステップと、ターゲット・オブジェクトのM個の領域の深度マップに基づいて、ターゲット・オブジェクトの深度マップを合成するステップとを含む。
[0879] オプションとして、前述のステップ5004は、具体的には:制御ユニットが第1電圧信号を生成するステップを含み、第1電圧信号は、第1光学素子を制御して、M個の異なる時点で第1ビームの方向を個々に制御し、M個の異なる方向で出現ビームを取得するために使用される。前述のステップ5005は:制御ユニットが第2電圧信号を生成するステップを含み、第2電圧信号は、第2光学素子を個々に制御して、M個の異なる方向において出現ビームを反射することによって、ターゲット・オブジェクトから得られるM個の反射ビームを、受信ユニットの方へ個々に偏向させるために使用される。
[0880] 第1電圧信号と第2電圧信号の電圧値は、同じ時点では同じである。
[0881] 図54に示されるTOF深度センシング・モジュール300では、送信端部及び受信端部は、異なる光学素子を使用することによって、ビームの放出及び受信を個々に制御する。オプションとして、本件の実施形態におけるTOF深度センシング・モジュールでは、送信端部及び受信端部は、同一の光学素子を使用することによってビームの放出及び受信を制御することが可能である。
[0882] 図58を参照しながら、以下、送信端部及び受信端部が同一の光学素子を使用することによってビームの反射及び受信を実施するケースを詳細に説明する。
[0883] 図58は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。
[0884] 図58に示されるTOF深度センシング・モジュール400は、光源410、偏光フィルタリング・デバイス420、ビーム整形デバイス430、光学素子440、受信ユニット450、及び制御ユニット460を含む。図58に示されるように、TOF深度センシング・モジュール400の送信端部は、光源410、偏光フィルタリング・デバイス420、ビーム整形デバイス430、及び光学素子440を含む。TOF深度センシング・モジュール400の受信端部は、光学素子440及び受信ユニット450を含む。TOF深度センシング・モジュール400の送信端部及び受信端部は、光学素子440を共有する。光学素子440は、出現ビームを取得するために送信端部においてビームを制御することが可能であり、また反射ビームを制御することも可能であり、その結果、反射ビームは受信ユニット450の方へ偏向させられる。
[0885] 以下、TOF深度センシング・モジュール400におけるモジュール又はユニットを詳細に説明する。
[0886] 光源410:
[0887] 光源410は、ビームを生成するように構成されている。
[0888] オプションとして、光源410により放出されるビームは、準平行光の単一ビームであり、光源410によって放出されるビームの発散角度は1°未満である。
[0889] オプションとして、光源410は半導体レーザー光源であってもよい。
[0890] 光源410は、垂直共振器型面発光レーザー(vertical cavity surface emitting laser, VCSEL)であってもよい。
[0891] オプションとして、光源410は、ファブリ・ペロー・レーザー(これは、FPレーザーと略称される場合がある)である。
[0892] 単一のVCSELと比較して、単一のFPレーザーは、より大きなパワーを実現することが可能であり、VCSELよりも高い電気-光学変換効率を有し、そのため、走査実効性を改善することができる。
[0893] オプションとして、光源410によって放出されるビームの波長は、900nmより大きい。
[0894] 太陽光の中で900nmを超える光の強度は低い。従って、ビームの波長が900nmより大きい場合、それは太陽光に起因する干渉を低減するのに役立ち、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[0895] オプションとして、光源410によって放出されるビームの波長は、940nm又は1550nmである。
[0896] 太陽光の中で940nm又は1550nm付近の光の強度は低い。従って、ビームの波長が940nm又は1550nmである場合、それは太陽光に起因する干渉を大幅に低減することができ、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[0897] 光源410の発光面積は5×5mm2以下である。
[0898] 光源のサイズは小さいので、光源を含むTOF深度センシング・モジュール410は、端末デバイス内に統合しやすく、そのため、端末デバイス内で占めるスペースをある程度小さくすることができる。
[0899] オプションとして、TOF深度センシング・モジュールの平均出力光パワーは、800mW未満である。
[0900] TOF深度センシング・モジュールの平均出力光パワーが800 mw以下である場合、TOF深度センシング・モジュールの電力消費は小さく、電力消費に敏感なデバイス、例えば端末デバイスに、TOF深度センシング・モジュールを配置することを促す。
[0901] 偏光フィルタリング・デバイス420は、単一の偏光状態においてビームを得るためにビームをフィルタリングするように構成されている。
[0902] ビーム整形デバイス430は、第1ビームを取得するために、単一の偏光状態におけるビームのFOVを増やすように構成されている。
[0903] 制御ユニット460は、光学素子440を制御して、M個の異なる時点で第1ビームの方向を個々に制御し、M個の異なる方向における出現ビームを取得するように構成されている。
[0904] 制御ユニット460は、M個の異なる方向において出現ビームを反射することによって、ターゲット・オブジェクトから得られるM個の反射ビームを、受信ユニットの方へ個々に偏向させるように、光学素子440を制御するように更に構成されている。
[0905] 単一の偏光状態は、複数の偏光状態のうちの1つである。
[0906] 例えば、複数の偏光状態は、直線偏光、左旋円偏光、及び右旋円偏光を含む可能性がある。単一の偏光状態は、直線偏光、左旋円偏光、及び右旋円偏光のうちの任意の1つであってもよい。
[0907] 第1ビームのFOVは、第1プリセット範囲に適合している。M個の異なる方向における出現ビームによってカバーされるFOV全体は、第2プリセット範囲に適合している。より具体的には、第2プリセット範囲は、第1プリセット範囲より大きい。より一般的には、第1プリセット範囲におけるFOVはA°であり、A°*A°の視野をカバーしてもよく、範囲Aは3より小さくはなく且つ40より大きくはない。第2プリセット範囲におけるFOVはB°であり、B°*B°の視野をカバーしてもよく、範囲Bは50より小さくはなく且つ120より大きくはない。当技術分野におけるデバイスの特定の製造プロセスにおいは適切な逸脱が存在してもよいことが、理解されるべきである。
[0908] オプションとして、第1プリセット範囲は、[5°×5°,20°×20°]を含んでもよく、即ち範囲Aは5より小さくはなく且つ20より大きくはない。第2プリセット範囲は、[50°×50°,80°×80°]を含んでもよく、即ち範囲Bは50より小さくはなく且つ80より大きくはない。
[0909] 本件のこの実施形態では、ビーム整形デバイスは、第1ビームが大きなFOVを有するように、ビームのFOVを調整する。更に、走査は時分割多重化によって行われ(光学素子は、異なる時点で異なる方向に出現ビームを放出する)、その結果、最終的に得られるターゲット・オブジェクトの深度マップの空間分解能を改善することができる。
[0910] オプションとして、制御ユニット460は、M個の異なる方向における出現ビームにそれぞれ対応するTOFに基づいて、ターゲット・オブジェクトの深度マップを生成するように更に構成されている。
[0911] M個の異なる方向における出現ビームに対応するTOFは、具体的には、M個の異なる方向における出現ビームに対応する反射ビームが受信ユニットによって受信される時点と、M個の異なる方向における出現ビームの出現時点との間の時間差情報であってもよい。
[0912] M個の異なる方向における出現ビームは、出現ビーム1を含むと仮定する。この場合、出現ビーム1に対応する反射ビームは、出現ビーム1がターゲット・オブジェクトに到達し、ターゲット・オブジェクトによって反射された後に生じるビームであってもよい。
[0913] オプションとして、TOF深度センシング・モジュール300内の光源310、偏光フィルタリング・デバイス320、及びビーム整形デバイス330に関する前述の制限は、TOF深度センシング・モジュール400内の光源410、偏光フィルタリング・デバイス420、及びビーム整形デバイス430にも適用可能である。
[0914] オプションとして、光学素子は回転ミラー・デバイスである。
[0915] 回転ミラー・デバイスは、回転を通じて出現ビームの出現方向を制御する。
[0916] オプションとして、回転ミラー・デバイスは、マイクロエレクトロメカニカル・システム検流計又は多面回転ミラーであってもよい。
[0917] 添付図面を参照しながら、以下、光学素子が回転ミラー・デバイスであるケースを説明する。
[0918] 図59は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。
[0919] 図59に示されるように、TOF深度センシング・モジュールは、コリメーション・レンズ群470を更に含む。コリメーション・レンズ群470は、光源410と偏光フィルタリング・デバイス420との間に配置され、コリメーション・レンズ群470は、ビームに関してコリメーション処理を実行するように構成されている。偏光フィルタリング・デバイス420は、コリメーション・レンズ群470がコリメーション処理を実行した後に得られるビームをフィルタリングして、単一の偏光状態におけるビームを取得するように構成されている。
[0920] 図60は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。図60において、コリメーション・レンズ群470は、偏光フィルタリング・デバイス420とビーム整形デバイス430との間に配置されてもよい。コリメーション・レンズ群470は、単一の偏光状態におけるビームに関してコリメーション処理を実行するように構成されている。ビーム整形デバイス430は、コリメーション・レンズ群470がコリメーション処理を実行した後に得られるビームのFOVを調整して、第1ビームを取得するように構成されている。
[0921] コリメーション・レンズ群を使用してビームに関してコリメーション処理を実行することにより、ほぼ平行なビームを取得することができ、その結果、ビームのパワー密度を向上させることができ、そのビームを用いて以後に実行する走査の実効性を改善することができる。
[0922] オプションとして、コリメーション・レンズ群の有効開口は、5mm以下である。
[0923] コリメーション・レンズ群のサイズは小さいので、コリメーション・レンズ群を含むTOF深度センシング・モジュールは、端末デバイス内に統合しやすく、そのため、端末デバイス内で占めるスペースをある程度小さくすることができる。
[0924] コリメーション・レンズ群は、光学整形デバイス430と光学素子440との間に配置されてもよいことが理解されるべきである。この場合、コリメーション・レンズ群は、ビーム整形デバイス430が整形処理を実行した後に得られるビームに関してコリメーション処理を実行し、コリメーション処理が実行された後に得られるビームは、光学素子440によって処理される。
[0925] 更に、コリメーション・レンズ群470は、TOF深度センシング・モジュール400内の任意の可能な位置に配置され、任意の可能なプロセスにおいてビームに関してコリメーション処理を実行することができる。
[0926] 図61に示されるように、TOF深度センシング・モジュールは、光源、ホモジナイザー、ビーム・スプリッタ、マイクロエレクトロメカニカル・システム(microelectromechanical systems, MEMS)検流計、受信レンズ群、及びセンサーを含む。図中のMEMSは、静電検流計、電磁検流計、多面回転鏡などを含む。全ての回転ミラー・デバイスは反射方式で動作するので、TOF深度センシング・モジュール内の光路は反射光路であり、放出及び受信光路は同軸光路である。偏光デバイス及びレンズ群は、ビーム・スプリッタを使用することによって共有されていてもよい。図61において、偏光デバイスは、具体的にはMEMS検流計である。
[0927] オプションとして、光学素子440は液晶偏光素子である。
[0928] オプションとして、光学素子440は、水平偏光制御シート、水平液晶偏光格子、垂直偏光制御シート、及び垂直液晶偏光格子を含む。
[0929] オプションとして、光学素子440において、水平偏光制御シート、水平液晶偏光格子、垂直偏光制御シート、及び垂直液晶偏光格子の全てと光源との間の距離は順次増えているか、又は垂直偏光制御シート、垂直液晶偏光格子、水平偏光制御シート、及び水平液晶偏光格子の全てと光源との間の距離は順次増えている。
[0930] オプションとして、ビーム整形デバイス430は、拡散レンズ群及び矩形開口を含む。
[0931] 光学素子は、液晶偏光格子、電気-光学素子、音響-光学素子、及び光学フェーズド・アレイ素子のようなデバイスのうちの任意の1つであってもよい。液晶偏光格子、電気-光学デバイス、音響-光学デバイス、オプティカル・フェーズド・アレイ・デバイスのようなデバイスの具体的な内容については、ケース1ないしケース4の説明を参照されたい。
[0932] 図62は、本件の実施形態による画像生成方法の概略フローチャートである。
[0933] 図62に示される方法は、本件の実施形態におけるTOF深度センシング・モジュール又はTOF深度センシング・モジュールを含む端末デバイスによって実行されてもよい。具体的には、図62に示される方法は、図58に示されるTOF深度センシング・モジュール又は図58に示されるTOF深度センシング・モジュールを含む端末デバイスによって実行されてもよい。図62に示される方法は、ステップ6001ないしステップ6006を含む。以下、ステップを別々に詳細に説明する。
[0934] 6001.ビームを生成するように光源を制御する。
[0935] 6002.偏光フィルタリング・デバイスを用いてビームをフィルタリングし、単一の偏光状態のビームを取得する。
[0936] 単一の偏光状態は、複数の偏光状態のうちの1つである。
[0937] 例えば、複数の偏光状態は、直線偏光、左旋円偏光、及び右旋円偏光を含む可能性がある。単一の偏光状態は、直線偏光、左旋円偏光、及び右旋円偏光のうちの任意の1つであってもよい。
[0938] 6003.ビーム整形デバイスを用いて単一の偏光状態におけるビームを調整し、第1ビームを取得する。
[0939] 本件のこの実施形態において、ビーム整形デバイスを用いてビームを調整することは、具体的には、ビーム整形デバイスを用いてビームの視野FOVを増やすことである、ということが理解されるべきである。
[0940] オプションとして、第1ビームのFOVは、第1プリセット範囲に適合している。
[0941] 好ましくは、第1プリセット範囲は、[5°×5°,20°×20°]であってもよい。
[0942] 6004.光学素子を制御して、M個の異なる時点でビーム整形デバイスからの第1ビームの方向を個々に制御し、M個の異なる方向における出現ビームを取得する。
[0943] M個の異なる方向における出現ビームによってカバーされるFOV全体は、第2プリセット範囲に適合している。
[0944] 第2プリセット範囲は、[50°×50°,80°×80°]であってもよい。
[0945] 6005.M個の異なる方向において出現ビームを反射することによって、ターゲット・オブジェクトから得られるM個の反射ビームを、受信ユニットの方へ個々に偏向させるように、第2光学素子を制御する。
[0946] 6006.M個の方向における出現ビームにそれぞれ対応するTOFに基づいて、ターゲット・オブジェクトの深度マップを生成する。
[0947] 本件のこの実施形態では、ビーム整形デバイスは、第1ビームが大きなFOVを有するように、ビームのFOVを調整する。更に、走査は時分割多重化によって行われ(光学素子は、異なる時点で異なる方向に出現ビームを放出する)、その結果、最終的に得られるターゲット・オブジェクトの深度マップの空間分解能を改善することができる。
[0948] オプションとして、前述のステップ6006は、具体的には:M個の異なる方向における出現ビームにそれぞれ対応するTOFに基づいて、ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離を決定するステップ;ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離に基づいて、ターゲット・オブジェクトのM個の領域の深度マップを生成するステップ;及びターゲット・オブジェクトのM個の領域の深度マップに基づいて、ターゲット・オブジェクトの深度マップを合成するステップを含む。
[0949] オプションとして、前述のステップ6003は、具体的には:第1ビームを取得するために、ビーム整形デバイスを使用することによって、単一の偏光状態におけるビームの角度空間強度分布を調整するステップを含む。
[0950] 以下、図63を参照しながら、本件の実施形態におけるTOF深度センシング・モジュール400の特定の動作プロセスを詳細に説明する。
[0951] 図63は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。
[0952] 図63に示されるTOF深度センシング・モジュールの各々の構成要素の具体的な実装及び機能は、以下の通りである:
[0953] (1)光源はVCSELアレイである。
[0954] VCSEL光源は、良い指向性を有するビームを放出することが可能なビーム・アレイである。
[0955] (2)偏光子は偏光フィルタリング・デバイスであり、偏光子はホモジナイザーの前面(下)又は背面(上)に配置されてもよい。
[0956] (3)ホモジナイザーは、回折光学素子(diffractive optical element, DOE)又は光学ディフューザー(ディフューザーと言及される場合もある)であってもよい。
[0957] ビーム・アレイがホモジナイザーによって処理された後に、ビーム・アレイは実質的に均一なビーム・ブロック内に並べられる。
[0958] (3)光学素子は、複数のLCPG(liquid crystal polarization gratings)である。
[0959] 図63では、ホモジナイザーの下に偏光子が位置するケースのみが反映されている、ということが理解されるべきである。実際には、偏光子は、ホモジナイザーの上方に配置されてもよい。
[0960] 液晶偏光格子によるビームの方向制御の具体的な原理については、図37及び図38で説明した関連する内容を参照されたい。
[0961] 図63において、複数の液晶偏光格子と1/4波長板との協働によって、放出された光がターゲットによって反射されて偏光子に戻る場合に、光は、正確に1/2波長である追加的な光路を通過する。この設計では、偏光子に起因して、反射された光は、放出された光とは反対方向に正確に偏向させられる。準同軸近似の場合、斜めに放出された光が反射された後に、光は元の経路に沿って戻り、放出された光に平行な方向でずれて返され、受信レンズ群に到達する。受信端部は、ビーム偏向デバイスを使用することによって、全受信機(SPADアレイ)、即ち、放出された光が照明するように選択するターゲット・ブロックに撮像することができる。ターゲットがブロックによって照明される場合、各ブロックは受信機全体によって受信され、各々の時点における画像をつなぎ合わせることによって、完全な画像を取得することができる。このようにして、受信機の時間分割多重化が実現され、分解能が増される。
[0962] (4)受信レンズ群は、受信機において受信した光を撮像するために、共通レンズによって完成される。
[0963] (5)受信機はSPADアレイである。
[0964] SPADは、単一光子を検出することができ、SPADによって検出された単一光子パルスの時間は正確に記録されることが可能である。VCSELが発光するたびに、SPADは開始される。VCSELは周期的にビームを放出し、SPADアレイは、各ピクセルが各周期で反射光を受信する時点に関する統計を収集することが可能である。反射信号の時間分布に関する統計が収集され、その結果、反射信号パルスは、遅延時間を計算するためにフィッティングされる。
[0965] この実施形態における主要なデバイスは、投影端部と受信端部により共有されるビーム偏向デバイス、即ち液晶偏光デバイスである。この実施形態では、ビーム偏向デバイスは、複数のLCPGを含み、また、電気的に制御された液晶偏光デバイスとも呼ばれる。
[0966] 図64は、本件の実施形態による液晶偏光デバイスの構造の概略図である。
[0967] 液晶偏光デバイスのオプションによる具体的な構造が図64に示されている。図64において、1は水平の単一角度LCPGを表し、2は水平の二重角度LCPGを表し、3は垂直の単一角度LCPGを表し、4は垂直の二重角度LCPGを表し、5は偏光制御シートである。図64に示される4つのLCPGの左側にそれぞれ配置され、且つそれぞれ5.1,5.2,5.3,5.4と付番された合計5つの偏光制御シートが存在する。
[0968] 図64に示される液晶偏光デバイスは、制御ユニットを使用して制御されることが可能であり、制御時間シーケンスは図65に示されるものであってもよい(走査は、時点t0で開始し、時点t15まで継続する)。図66は、制御ユニットによって生成される駆動信号の時間シーケンス図である。
[0969] 図66は、デバイスの偏光制御シート5.1,5.2,5.3,5.4の、時点t0からt15までの電圧駆動信号を示す。電圧駆動信号は、低レベル信号と高レベル信号という2種類の信号を含み、低レベル信号は0で表され、高レベル信号は1で表されている。この場合、偏光制御シート5.1,5.2,5.3,5.4の、時点t0からt15までの電圧駆動信号は、具体的には表1に示されている。
[0970] 例えば、表1では、t0の時間間隔において、偏光制御シート5.1の電圧駆動信号は低レベル信号であり、偏光制御シート5.2ないし5.4の電圧駆動信号は高レベル信号である。従って、時点t0に対応する電圧信号は0111となる。
表1
Figure 2023509068000006
表2
Figure 2023509068000007
[0971] 図64に示されるように、電気的に制御される液晶偏光デバイスは、LCPGと偏光制御シートを含む。4×4走査を実現するための電圧駆動信号は図66に示されており、ここで、5.1,5.2,5.3,及び5.4はそれぞれ4つの偏光制御シートに印加される電圧駆動信号を表し、FOV全体は4×4ブロックに分割され、t0ないしt15はそれぞれブロックを照射するための時間間隔である。図66に示される電圧駆動信号が印加され、ビームが液晶偏光デバイスを通過する場合、各デバイスを通過するビームの状態は表2に示されている。
[0972] 以下、表2に示されている意味を説明する。表2内の全てのアイテムにおいて、括弧内の値は電圧信号であり、Lは左旋回転を表し、Rは右旋回転を表し、1や3のような値はビームの偏向角度を表し、3によって表される偏向角度は1によって表される偏向角度よりも大きい。
[0973] 例えば、R1-1の場合、Rは右旋回転を表し、最初の1は左を意味し(-1の場合は右を意味する)、2番目の-1は上側を意味する(1の場合は下側を意味する)。
[0974] 別の例に関し、L3-3の場合、Lは左旋回転を表し、最初の3は右端を意味し(-3の場合は左端を意味する)、2番目の-3は最上端を意味する(3の場合は最下端を意味する)。
[0975] 図66に示される電圧駆動信号が液晶偏光デバイスに印加される場合に、異なる時点におけるTOF深度センシング・モジュールの走査領域は図67に示されている。
[0976] 以下、添付図面を参照しながら、本件のこの実施形態において取得される深度マップを説明する。図68に示されるように、時点t0ないしt3におけるターゲット・オブジェクトに対応する深度マップが、時間分割走査により得られるものと仮定する。時点t0ないしt3に対応する深度マップの分解能は160×120である。ターゲット・オブジェクトの最終深度マップであって、図69に示されているものは、時点t0ないしt3に対応する深度マップを継ぎ合わせることによって取得することが可能である。ターゲット・オブジェクトの最終深度マップの分解能は320×240である。最終的に得られる深度マップの分解能は、異なる時点で得られた深度マップを継ぎ合わせることによって改善できることが、図68及び図69から知ることができる。
[0977] 上記は図53ないし図69を参照しながら本件の実施形態におけるTOF深度センシング・モジュール及び画像生成方法を詳細に説明している。以下、図70ないし図78を参照しながら本件の実施形態における別のTOF深度センシング・モジュール及び別の画像生成方法を詳細に説明する。
[0978] TOF深度センシング・モジュールでは、ビームの方向を調整するために液晶デバイスを使用することが可能である。更に、TOF深度センシング・モジュールでは、一般に、偏光された光を放出するために、偏光子が送信端部に付加される。しかしながら、偏光子の偏光選択機能に起因して、偏光された光を放出するプロセスにおいて、ビームが放出され場合にエネルギーの半分が失われる。損失エネルギーの一部は、偏光子によって吸収されるか、又は散乱されて熱に変換される。その結果、TOF深度センシング・モジュールの温度は上昇し、TOF深度センシング・モジュールの安定性に影響が及ぶ。従って、TOF深度センシング・モジュールの熱損失を如何にして低減するかは、解決されるべき問題である。
[0979] 具体的には、本件の実施形態におけるTOF深度センシング・モジュールでは、TOF深度センシング・モジュールの熱損失は、偏光子を送信端部から受信端部へ移すことによって低減させることが可能である。以下、添付図面を参照しながら、本件の実施形態におけるTOF深度センシング・モジュールを詳細に説明する。
[0980] 以下、図70を参照しながら本件の実施形態におけるTOF深度センシング・モジュールを先ず簡単に説明する。
[0981] 図70は、本件の実施形態によるTOF深度センシング・モジュールの動作概略図である。図70に示されるように、TOF深度センシング・モジュールは、送信端部(又は、投影端部と言及される場合がある)、受信端部、及び制御ユニットを含む可能性がある。送信端部は、出現ビームを放出するように構成されている。受信端部は、ターゲット・オブジェクトの反射ビーム(反射ビームは、出現ビームを反射することによってターゲット・オブジェクトから得られるビームである)を受信するように構成されている。制御ユニットは、送信端部及び受信端部を、ビームを放出及び受信するようにそれぞれ制御することができる。
[0982] 図70において、送信端部は、一般に、光源、コリメーション・レンズ群(オプション)、ホモジナイザー、光学素子、及び投影レンズ群(オプション)を含む可能性がある。受信端部は、一般に、ビーム選択デバイスと受信ユニットを含み、受信ユニットは、具体的には受信レンズ群とセンサーを含んでもよい。
[0983] 図70に示されるTOF深度センシング・モジュールは、2つ以上の異なる状態(状態A及び状態B)の投影光を同時に投影する。2つの異なる状態の投影光が反射されて受信端部に到達した後、ビーム選択デバイスは、指示に基づく時間分割により、反射光をセンサーに入る状態で選択し、特定の状態における光に関して深度撮像を実行する。次いで、ビーム偏向デバイスは、ターゲットFOVのカバレッジを実現するために、異なる方向における走査を実行することができる。
[0984] 図70に示されるTOF深度センシング・モジュールは、3D画像を取得するように構成されてもよい。本件のこの実施形態におけるTOF深度センシング・モジュールは、インテリジェント端末(例えば、携帯電話、タブレット、及びウェアラブル・デバイス)内に配置されてもよく、深度画像又は3D画像を取得するように構成され、3Dゲーム又はモーション・センシング・ゲーム用のジェスチャ及び身体認識を提供することも可能である。
[0985] 以下、図71を参照しながら本件の実施形態におけるTOF深度センシング・モジュールを詳細に説明する。
[0986] 図71に示されるTOF深度センシング・モジュール500は、光源510、光学素子520、ビーム選択デバイス530、受信ユニット540、及び制御ユニット550を含む。
[0987] 以下、TOF深度センシング・モジュール500におけるモジュール又はユニットを詳細に説明する。
[0988] 光源310:
[0989] 光源310は、ビームを生成するように構成されている。
[0990] オプションとして、光源は、半導体レーザー光源であってもよい。
[0991] 光源は、垂直共振器型面発光レーザー(vertical cavity surface emitting laser, VCSEL)であってもよい
[0992] オプションとして、光源は、ファブリ・ペロー・レーザー(これは、FPレーザーと略称される場合がある)であってもよい。
[0993] 単一のVCSELと比較して、単一のFPレーザーは、より大きなパワーを実現することが可能であり、VCSELよりも高い電気-光学変換効率を有し、そのため、走査実効性を改善することができる。
[0994] オプションとして、光源510によって放出されるビームの波長は、900nmより大きい。
[0995] 太陽光の中で900nmを超える光の強度は低い。従って、ビームの波長が900nmより大きい場合、それは太陽光に起因する干渉を低減するのに役立ち、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[0996] オプションとして、光源510によって放出されるビームの波長は、940nm又は1550nmである。
[0997] 太陽光の中で940nm又は1550nm付近の光の強度は低い。従って、ビームの波長が940nm又は1550nmである場合、それは太陽光に起因する干渉を大幅に低減することができ、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[0998] オプションとして、光源510の発光面積は5×5mm2以下である。
[0999] 光源のサイズは小さいので、光源を含むTOF深度センシング・モジュールは、端末デバイス内に統合しやすく、そのため、端末デバイス内で占めるスペースをある程度小さくすることができる。
[1000] オプションとして、TOF深度センシング・モジュールの平均出力光パワーは、800mW未満である。
[1001] TOF深度センシング・モジュールの平均出力光パワーが800 mw以下である場合、TOF深度センシング・モジュールの電力消費は小さく、電力消費に敏感なデバイス、例えば端末デバイスに、TOF深度センシング・モジュールを配置することを促す。
[1002] 光学素子520:
[1003] 光学素子520は、ビームの出現方向に配置され、光学素子520は、ビームの方向を制御して、第1出現ビームと第2出現ビームを取得するように構成される。第1出現ビームの出現方向は、第2出現ビームの出現方向とは異なり、第1出現ビームの偏光方向は、第2出現ビームの偏光方向に直交している。
[1004] オプションとして、図35に示されるように、光学素子520は、水平偏光制御シート、水平液晶偏光格子、垂直偏光制御シート、及び垂直液晶偏光格子を含む可能性があり、水平偏光制御シート、水平液晶偏光格子、垂直偏光制御シート、及び垂直液晶偏光格子の全てと光源との間の距離は順次増加している。
[1005] 代替的に、光学素子520において、垂直偏光制御シート、垂直液晶偏光格子、水平偏光制御シート、及び水平液晶偏光格子の全てと光源との間の距離は順次増加している。
[1006] 受信ユニット540:
[1007] 受信ユニット540は、受信レンズ群541及びセンサー542を含む可能性がある。
[1008] 制御ユニット550及びビーム選択装置530:
[1009] 制御ユニット550は、制御信号を使用することによって、ビーム選択デバイス530の動作を制御するように構成されている。具体的には、制御ユニット550は、制御信号を生成してもよい。制御信号は、ビーム選択デバイス530を制御して、第3反射ビームと第4反射ビームをセンサーに異なる時間間隔で別々に伝搬させるために使用される。第3反射ビームは、第1出現ビームを反射することによってターゲット・オブジェクトから得られるビームであり、第4反射ビームは、第2出現ビームを反射することによって得られるターゲット・オブジェクトからのビームである。
[1010] ビーム選択デバイス530は、制御ユニット550の制御の下で、異なる偏光状態のビームを異なる時点で受信ユニットへ別々に伝搬させることができる。ここで、ビーム選択デバイス530は、受信した反射ビームを時間分割モードで受信ユニット540へ伝搬させる。以下のTOF深度センシング・モジュール600におけるビーム・スプリッタ630と比較して、受信ユニット540の受信分解能はより完全に活用されることが可能であり、最終的に得られる深度マップの解像度は高い。
[1011] オプションとして、制御ユニット550によって生成される制御信号は、ビーム選択デバイス530を制御して、第3反射ビーム及び第4反射ビームを異なる時間間隔でセンサーへ別々に伝搬させるために使用される。
[1012] 換言すれば、制御ユニット550によって生成される制御信号の制御の下で、ビーム選択デバイスは、第3反射ビームと第4反射ビームを受信ユニットへ異なる時点で別々に伝搬させることができる。
[1013] オプションとして、一実施形態では、ビーム選択デバイス530は、1/4波長板、1/2波長板、及び偏光子を含む。
[1014] 図72に示されるように、TOF深度センシング・モジュール500は、コリメーション・レンズ群560を更に含んでもよく:
コリメーション・レンズ群560は、ビームの出現方向に配置され、コリメーション・レンズ群は、光源と光学素子との間に配置され、コリメーション・レンズ群560は、ビームに関してコリメーション処理を実行して、コリメーション処理が実行された後に得られるビームを取得するように構成され、光学素子520は、コリメーション処理を実行した後に得られるビームの方向を制御して、第1出現ビームと第2出現ビームを取得するように構成されている。
[1015] コリメーション・レンズ群を使用してビームに関してコリメーション処理を実行することにより、ほぼ平行なビームを取得することができ、その結果、ビームのパワー密度を向上させることができ、そのビームを用いて以後に実行する走査の実効性を改善することができる。
[1016] オプションとして、コリメーション・レンズ群の有効開口は、5mm以下である。
[1017] コリメーション・レンズ群のサイズは小さいので、コリメーション・レンズ群を含むTOF深度センシング・モジュールは、端末デバイス内に統合しやすく、そのため、端末デバイス内で占めるスペースをある程度小さくすることができる。
[1018] 図73に示されるように、TOF深度センシング・モジュール500は、ホモジナイザー570を更に含んでもよく:
ホモジナイザー570は、ビームの出現方向に配置され、コリメーション・レンズ群が光源510と光学素子520との間に配置され、ホモジナイザー570は、均質化されたビームを得るためにビームのエネルギー分布を調整するように構成され、光学素子は、均質化されたビームの方向を制御して、第1出現ビームと第2出現ビームを取得するように構成されている。
[1019] オプションとして、ホモジナイザーは、マイクロレンズ・ディフューザー又は回折光学素子ディフューザー(DOE Diffuser)である。
[1020] TOF深度センシング・モジュール500は、コリメーション・レンズ群560とホモジナイザー570の両方を含んでもよいことが理解されるべきである。コリメーション・レンズ群560とホモジナイザー570の両方が、光源510と光学素子520の間に配置される。コリメーション・レンズ群560とホモジナイザー570については、コリメーション・レンズ群560が光源により近いか、又はホモジナイザー570が光源により近いかのいずれかである。
[1021] 図74に示されるように、コリメーション・レンズ群560と光源510との間の距離は、ホモジナイザー570と光源510との間の距離よりも小さい。
[1022] 図74に示されるTOF深度センシング・モジュール500では、光源510によって放出されたビームは、先ずコリメーション・レンズ群560のコリメーション処理を施され、ホモジナイザー570の均質化処理を施され、その後に、処理のために光学素子520へ伝搬される。
[1023] 本件のこの実施形態では、均質化処理を通じて、ビームの光パワーは、より均一に又は特定のルールに従って角度空間内に分布させられ、ローカルな光パワーが過度に小さくなるのことを防止し、最終的に得られるターゲット・オブジェクトの深度マップにおけるブラインド・スポットを回避することが可能である。
[1024] 図75に示されるように、コリメーション・レンズ群560と光源510との間の距離は、ホモジナイザー570と光源510との間の距離よりも大きい。
[1025] 図74に示されるTOF深度センシング・モジュール500では、光源510によって放出されたビームは、先ずホモジナイザー570の均質化処理を施され、コリメーション・レンズ群560のコリメーション処理を施され、その後に、処理のために光学素子520へ伝搬される。
[1026] 以下、図76を参照しながらTOF深度センシング・モジュール500の特定の構造を詳細に説明する。
[1027] 図76は、本件の実施形態によるTOF深度センシング・モジュール500の特定の構造の概略図である。
[1028] 図76に示されるように、TOF深度センシング・モジュール500は、投影端部、制御ユニット、及び受信端部を含む。投影端部は、光源、ホモジナイザー、及びビーム偏向デバイスを含む。受信端部は、ビーム偏向デバイス、ビーム(ダイナミック)選択デバイス、受信レンズ群、及び2次元センサーを含む。制御ユニットは、投影端部と受信端部を制御して、ビーム走査を完了するように構成されている。更に、図76のビーム偏向デバイスは図71の光学素子に対応し、図76のビーム(ダイナミック)選択デバイスは図71のビーム選択装置に対応する。
[1029] 以下、各モジュール又はユニットに具体的に使用されるデバイスを詳細に説明する。
[1030] 光源は、垂直共振器型面発光レーザー(VCSEL)アレイ光源であってもよい。
[1031] ホモジナイザーは、回折光学素子ディフューザーであってもよい。
[1032] ビーム偏向デバイスは、複数のLCPG及び1/4波長板であってもよい。
[1033] 電気的に制御されるLCPGは、電気的に制御される水平LCPGデバイスと、電気的に制御される垂直LCPGデバイスとを含む。
[1034] 水平方向及び垂直方向における2次元ブロック走査は、カスケード接続された複数の電気的に制御されるLCPGを使用することによって実施されてもよい。1/4波長板は、LCPGからの円偏光を直線偏光に変換し、送信端部と受信端部との間の準同軸効果を実現するように構成されている。
[1035] VCSELアレイ光源の波長は、900nmより大きくてもよい。具体的には、VCSELアレイ光源の波長は、940nm又は1550nmである。
[1036] 940nmのバンドにおける太陽スペクトルの強度は弱い。これは、屋外の状況で太陽光に起因するノイズを減らすことに役立つ。更に、VCSELアレイ光源によって放出されるレーザー・ビームは、連続光又はパルス光であってもよい。また、VCSELアレイ光源は、時間分割による制御を実行するために、幾つかのブロックに分割されていてもよく、その結果、異なる領域が時間分割を通じて照明される。
[1037] 回折光学素子ディフューザーは、VCSELアレイ光源によって放出されたビームを、特定のFOV(例えば、5°×5°のFOV)を有する均一な正方形又は長方形の光源に整形するために使用される。
[1038] 複数のLCPG及び1/4波長板は、ビーム走査を実施するために使用される。
[1039] 受信端部と送信端部は、複数のLCPGと1/4波長板を共有する。受信端部のビーム選択デバイスは、1/4波長板、電気的に制御された1/2波長板、及び偏光子を含む。受信端部の受信レンズ群は、単一レンズ、又は複数のレンズの組み合わせであってもよい。受信端部のセンサーは、単一光子アバランシェ・ダイオード(SPAD)アレイである。SPADは単一光子検出感度を有するので、ライダー・システムの検出距離を増加させることができる。
[1040] TOF深度センシング・モジュール500では、送信端部の偏光選択デバイスが受信端部に移される。図76に示されるように、共通VCSELアレイ光源によって放出されるレーザー・ビームは、固定偏光状態におけるものではなく、紙面に平行な直線偏光レーザー・ビームと紙面に垂直な直線偏光レーザー・ビームに分解されることが可能である。LCPGを通過した後、直線偏光レーザー・ビームは、異なる偏光状態(左旋円偏光及び右旋円偏光)にある2つのレーザー・ビームであって異なる放出角度をそれぞれ有する2つのレーザー・ビームに分割される。1/4波長板を通過した後、2つのレーザー・ビームの対応する偏光状態は、紙面に平行な直線偏光と紙面に垂直な直線偏光とに変換される。異なる偏光状態における2つのレーザー・ビームがターゲット領域内のオブジェクトに照射された後に生成される反射ビームは、送信端部と共有される1/4波長板及びLCPGによって受信され、次いで、同じ発散角度を有するが異なる偏光状態を有するレーザー・ビーム、即ち左旋円偏光と右旋円偏光になる。受信端部のビーム選択デバイスは、1/4波長板、電気的に制御される1/2波長板、及び偏光子を含む。受光した光が1/4波長板を通過した後、受光した光の偏光状態は、紙面に平行な直線偏光と紙面に垂直な直線偏光に変換される。このように、電気的に制御される半波長板は、時間分割によって制御され、その結果、直線偏光の偏光状態は90度回転させられ、又は半波長板を通過した偏光状態は変更されず、紙面に平行な直線偏光と紙面に垂直な直線偏光とは時間分割によって伝送される。更に、別の偏光状態の光は吸収又は散乱される。
[1041] 偏光選択デバイスが送信端部に配置されている既存のTOF深度センシング・モジュールと比較して、本件では、偏光選択デバイスが受信端部に配置されているので、偏光子によって吸収又は散乱されるエネルギーは著しく減少する。検出距離がRメートルであり、ターゲット・オブジェクトの反射率がρであり、受信システムの入射瞳孔径がDであると仮定する。この場合において、受信FOVが同じである場合、本件のこの実施形態のTOF深度センシング・モジュール500における偏光選択デバイスの入射エネルギーPtは、以下のとおりである:
Figure 2023509068000008
[1042] Pは送信端部により放出されるエネルギーであり、エネルギーは1mの距離で約104倍だけ減少する可能性がある。
[1043] 更に、本件のこの実施形態におけるTOF深度センシング・モジュール500及び従来のTOF深度センシング・モジュールに関し、同じパワーの非偏光・光源が使用されるものと仮定する。本件のこの実施形態におけるTOF深度センシング・モジュール500の光は、屋外では非偏光であり、受光検出器に入射する光のうちの半分は吸収又は散乱される。屋外にある従来の解決策におけるTOF深度センシング・モジュールの光は、全て検出器に入る。従って、本件のこの実施態様における信号_対_ノイズ比は、同じケースで2倍になる。
[1044] 図76に示されるTOF深度センシング・モジュール500に基づいて、VCSELアレイ光源に続く回折光学素子ディフューザー(DOE Diffuser)は、マイクロレンズ・ディフューザー(Diffuser)に変更することも可能である。マイクロレンズ・ディフューザーは、幾何学的光学系に基づいて均質化を実施するので、マイクロレンズ・ディフューザーの伝送効率は、少なくとも80%である可能性があり、従来の回折光学素子ディフューザー(DOE Diffuser)の伝送効率は、約70%であるに過ぎない。マイクロレンズ・ディフューザーの形態は図77に示されている。マイクロレンズ・ディフューザーは、一連のランダムに分布したマイクロレンズを含む。各マイクロレンズの位置と形態は、シミュレーション及び最適化を通じて設計され、その結果、整形されたビームは可能な限り均一であり、伝送効率は高い。
[1045] 図78は、本件の実施形態による画像生成方法の概略フローチャートである。
[1046] 図78に示される方法は、本件の実施形態におけるTOF深度センシング・モジュール又はTOF深度センシング・モジュールを含む端末デバイスによって実行されてもよい。具体的には、図78に示される方法は、図71に示されるTOF深度センシング・モジュール又は図71に示されるTOF深度センシング・モジュールを含む端末デバイスによって実行することができる。図78に示される方法は、ステップ7001ないしステップ7006を含む。以下、ステップを別々に詳細に説明する。
[1047] 7001.ビームを生成するように光源を制御する。
[1048] 7002.ビームの方向を制御し、同じ時点で第1出現ビームと第2出現ビームを取得するように、光学素子を制御する。
[1049] 7003.第1出現ビームを反射することによってターゲット・オブジェクトから得られる第3反射ビームと、第2出現ビームを反射することによってターゲット・オブジェクトから得られる第4反射ビームとを、受信ユニットの異なる領域へ伝搬させるように、ビーム選択デバイスを制御する。
[1050] 7004.第1出現ビームに対応するTOFに基づいて、ターゲット・オブジェクトの第1深度マップを生成する。
[1051] 7005.第2出現ビームに対応するTOFに基づいて、ターゲット・オブジェクトの第2深度マップを生成する。
[1052] 第1出現ビームの出現方向と第2出現ビームの出現方向は異なり、第1出現ビームの偏光方向は、第2出現ビームの偏光方向に直交している。
[1053] 本件のこの実施形態では、送信端部は偏光フィルタリング・デバイスを有しないので、光源から放出されるビームは、損失なく光学素子に到達する可能性があり(偏光フィルタリング・デバイスは、一般に、多くの光エネルギーを吸収し、熱損失を発生する)、その結果、端末デバイスの熱損失を低減することができる。
[1054] オプションとして、図78に示される方法は、ターゲット・オブジェクトの深度マップを得るために、第1深度マップと第2深度マップを継ぎ合わせるステップを更に含む。
[1055] 図78に示される方法では、第3深度マップ、第4深度マップなどが、同様な方法で更に生成されてもよいことが、理解されるべきである。次いで、ターゲット・オブジェクトの最終深度マップを取得するために、全ての深度マップは継ぎ合わせられる又は結合されることが可能である。
[1056] オプションとして、端末デバイスは、コリメーション・レンズ群を更に含む。コリメーション・レンズ群は、光源と光学素子の間に配置される。図78に示される方法は、更に以下を含む:
[1057] 7006.コリメーション・レンズ群を使用することにより、ビームに関してコリメーション処理を実行し、コリメーション処理が実行された後に得られるビームを取得する。
[1058] 前述のステップ7002は、具体的には:コリメーション処理が実行された後に得られるビームの方向を制御して、第1出現ビーム及び第2出現ビームを取得するように、光学素子を制御するステップを含む。
[1059] また、コリメーション・レンズ群を使用してビームに関してコリメーション処理を実行することにより、ほぼ平行なビームを取得することができ、その結果、ビームのパワー密度を向上させることができ、そのビームを用いて以後に実行する走査の実効性を改善することができる。
[1060] オプションとして、端末デバイスは、ホモジナイザーを更に含む。ホモジナイザーは、光源と光学素子の間に配置される。図78に示される方法は、更に以下を含む:
[1061] 7007.ホモジナイザーを用いてビームのエネルギー分布を調整し、均質化処理が実行された後に得られるビームを取得する。
[1062] 前述のステップ7002は、具体的には:均質化処理が実施された後に得られるビームの方向を制御して、第1出現ビームと第2出現ビームを取得するように、光学素子を制御するステップを含む。
[1063] 均質化処理を通じて、ビームの光パワーは、より均一に又は特定のルールに従って角度空間内に分布させられ、ローカルな光パワーが過度に小さくなるのことを防止し、最終的に得られるターゲット・オブジェクトの深度マップにおけるブラインド・スポットを回避することが可能である。
[1064] 前述のステップ7001ないしステップ7005に基づいて、図78に示される方法は、ステップ7006又はステップ7007を更に含んでもよい。
[1065] 代替的に、前述のステップ7001ないしステップ7005に基づいて、図78に示される方法は、ステップ7006及びステップ7007を更に含んでもよい。この場合、ステップ7001が実行された後に、ステップ7006がステップ7007の前に実行され、次いで、ステップ7002が実行されてもよい。代替的に、ステップ7007は、ステップ7006の前に実行されてもよく、次いで、ステップ7002が実行される。換言すれば、ステップ7001における光源がビームを生成した後、先ず、コリメーション処理と均質化処理が、連続的にビームに関して実行されることが可能であり(ビームのエネルギー分布はホモジナイザーを使用することによって調整される)、次いで、光学素子はビームの方向を制御するために制御される。代替的に、ステップ7001において光源がビームを生成した後、先ず、均質化処理とコリメーション処理が、連続的にビームに関して実行されることが可能であり(ビームのエネルギー分布はホモジナイザーを使用することによって調整される)、次いで、光学素子はビームの方向を制御するために制御される。
[1066] 上記は、図70ないし図78を参照しながら本件の実施形態におけるTOF深度センシング・モジュール及び画像生成方法を詳細に説明している。以下、図79ないし図88を参照しながら本件の実施形態における別のTOF深度センシング・モジュール及び別の画像生成方法を詳細に説明する。
[1067] 液晶デバイスの優れた偏光及び位相調整能力に起因して、液晶デバイスは、ビーム偏向を実現するためにTOF深度センシング・モジュールにおいて広く使用されている。しかしながら、液晶材料の複屈折特性により、液晶デバイスが使用される既存のTOF深度センシング・モジュールでは、一般に、偏光された光を放出するために、送信端部に偏光子が付加されている。偏光された光を放出するプロセスにおいて、偏光子の偏光選択機能に起因して、ビームが放出される場合にエネルギーの半分が失われる。損失エネルギーの一部は、偏光子によって吸収されるか、又は散乱されて熱に変換される。その結果、TOF深度センシング・モジュールの温度は上昇し、TOF深度センシング・モジュールの安定性に影響が及ぶ。従って、如何にしてTOF深度センシング・モジュールの熱損失を低減し、TOF深度センシング・モジュールの信号_対_雑音比を改善するかは、解決されることを必要とする問題である。
[1068] 本件は、送信端部から受信端部へ偏光子を移すことによってシステムの熱損失を低減し、バックグラウンド迷光に対するシステムの信号_対_雑音比を改善するための新規なTOF深度センシング・モジュールを提供する。
[1069] 以下、図79を参照しながら本件の実施形態におけるTOF深度センシング・モジュールを先ず簡単に説明する。
[1070] 図79に示されるTOF深度センシング・モジュール600は、光源610、光学素子620、ビーム・スプリッタ630、受信ユニット640、及び制御ユニット650を含む。
[1071] 以下、TOF深度センシング・モジュール600内のモジュール又はユニットを詳細に説明する。
[1072] 光源610:
[1073] 光源610は、ビームを生成するように構成されている。
[1074] オプションとして、光源610は、垂直共振器型面発光レーザー(vertical cavity surface emitting laser, VCSEL)であってもよい。
[1075] オプションとして、光源610は、ファブリ・ペロー・レーザー(これは、FPレーザーと略称される場合がある)である。
[1076] 単一のVCSELと比較して、単一のFPレーザーは、より大きなパワーを実現することが可能であり、VCSELよりも高い電気-光学変換効率を有し、そのため、TOF深度センシング・モジュールの走査実効性を改善することができる。
[1077] オプションとして、光源610によって放出されるビームの波長は、900nmより大きい。
[1078] 太陽光の中で900nmを超える光の強度は低い。従って、ビームの波長が900nmより大きい場合、それは太陽光に起因する干渉を低減するのに役立ち、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[1079] オプションとして、光源610によって放出されるビームの波長は、940nm又は1550nmである。
[1080] 太陽光の中で940nm又は1550nm付近の光の強度は低い。従って、ビームの波長が940nm又は1550nmである場合、太陽光に起因する干渉を大幅に低減することができ、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[1081] オプションとして、光源610の発光面積は5×5mm2以下である。
[1082] 光源のサイズは小さいので、光源を含むTOF深度センシング・モジュールは、端末デバイス内に統合しやすく、そのため、端末デバイス内で占めるスペースをある程度小さくすることができる。
[1083] 光学素子620:
[1084] 光学素子620は、ビームの出現方向に配置され、光学素子620は、ビームの方向を制御して、第1出現ビームと第2出現ビームを取得するように構成される。第1出現ビームの出現方向は、第2出現ビームの出現方向とは異なり、第1出現ビームの偏光方向は、第2出現ビームの偏光方向に直交している。
[1085] オプションとして、図35に示されるように、光学素子620は、水平偏光制御シート、水平液晶偏光格子、垂直偏光制御シート、及び垂直液晶偏光格子を含む可能性がある。水平偏光制御シート、水平液晶偏光格子、垂直偏光制御シート、及び垂直液晶偏光格子の全てと光源との間の距離は順次増加している。
[1086] 代替的に、光学素子620において、垂直偏光制御シート、垂直液晶偏光格子、水平偏光制御シート、及び水平液晶偏光格子の全てと光源との間の距離は順次増加している。
[1087] 受信ユニット640:
[1088] 受信ユニット640は、受信レンズ群641及びセンサー642を含む可能性がある。
[1089] ビーム・スプリッタ630:
[1090] ビーム・スプリッタ630は、第1出現ビームを反射することによってターゲット・オブジェクトから得られる第3反射ビームと、第2出現ビームを反射することによってターゲット・オブジェクトから得られる第4反射ビームとを、センサーの異なる領域へ送信するように構成されている。
[1091] ビーム・スプリッタは、受動選択デバイスであり、一般に、制御ユニットによっては制御されず、ハイブリッド偏光状態でビーム内の異なる偏光状態のビームを、受信ユニットの異なる領域の方へそれぞれ伝搬させることができる。
[1092] オプションとして、ビーム・スプリッタは、液晶偏光格子LCPG、偏光ビーム・スプリッタPBS、及び偏光フィルタのうちの任意の1つに基づいて実現される。
[1093] 本件では、偏光子が送信端部から受信端部へ移され、その結果、システムの熱損失を低減することができる。更に、ビーム・スプリッタは、受信端部に配置され、その結果、TOF深度センシング・モジュールの信号_対_ノイズ比を改善することができる。
[1094] 図80に示されるように、TOF深度センシング・モジュール600は、コリメーション・レンズ群660を更に含む可能性があり、コリメーション・レンズ群660は、ビームの出現方向に配置され、コリメーション・レンズ群660は、光源610と光学素子620との間に配置され、コリメーション・レンズ群660は、コリメーション処理が実行された後に得られるビームを得るためにビームに関してコリメーション処理を実行するように構成され、コリメーション・レンズ群660が光源610と光学素子620との間に配置される場合、光学素子620は、コリメーション処理が実行された後に得られるビームの方向を制御して、第1出現ビームと第2出現ビームを取得するように構成される。
[1095] コリメーション・レンズ群を使用してビームに関してコリメーション処理を実行することにより、ほぼ平行なビームを取得することができ、その結果、ビームのパワー密度を向上させることができ、そのビームを用いて以後に実行する走査の実効性を改善することができる。
[1096] オプションとして、コリメーション・レンズ群の有効開口は、5mm以下である。
[1097] コリメーション・レンズ群のサイズは小さいので、コリメーション・レンズ群を含むTOF深度センシング・モジュールは、端末デバイス内に統合しやすく、そのため、端末デバイス内で占めるスペースをある程度小さくすることができる。
[1098] 図81に示されるように、TOF深度センシング・モジュール600は、ホモジナイザー670を更に含んでもよく:
ホモジナイザー670は、ビームの出現方向に配置され、コリメーション・レンズ群が光源と光学素子との間に配置され、ホモジナイザー670は、均質化されたビームを得るためにビームのエネルギー分布を調整するように構成され、ホモジナイザー670が光源610と光学素子620の間に配置される場合、光学素子620は、均質化されたビームの方向を制御して、第1出現ビームと第2出現ビームを取得するように構成されている。
[1099] オプションとして、ホモジナイザーは、マイクロレンズ・ディフューザーであってもよい。
[1100] TOF深度センシング・モジュール600は、コリメーション・レンズ群660とホモジナイザー670の両方を含んでもよいことが理解されるべきである。コリメーション・レンズ群660とホモジナイザー670の両方が、光源610と光学素子620の間に配置される。コリメーション・レンズ群660とホモジナイザー670については、コリメーション・レンズ群660が光源により近いか、又はホモジナイザー670が光源により近いかのいずれかである。
[1101] 図82に示されるように、コリメーション・レンズ群660と光源610との間の距離は、ホモジナイザー670と光源610との間の距離よりも小さい。
[1102] 図82に示されるTOF深度センシング・モジュール600では、光源610によって放出されたビームは、先ずコリメーション・レンズ群660のコリメーション処理を施され、ホモジナイザー670の均質化処理を施され、その後に、処理のために光学素子620へ伝搬される。
[1103] 図83に示されるように、コリメーション・レンズ群660と光源610との間の距離は、ホモジナイザー670と光源610との間の距離よりも大きい。
[1104] 図83に示されるTOF深度センシング・モジュール600では、光源610によって放出されたビームは、先ずホモジナイザー670の均質化処理を施され、コリメーション・レンズ群660のコリメーション処理を施され、その後に、処理のために光学素子620へ伝搬される。
[1105] 以下、添付図面を参照しながらTOF深度センシング・モジュール600の特定の構造を詳細に説明する。
[1106] 図84は、本件の実施形態によるTOF深度センシング・モジュール600の構造の概略図である。
[1107] 図84に示されるように、TOF深度センシング・モジュール600は、投影端部と受信端部を含む。投影端部の光源はVCSEL光源である。ホモジナイザーは回折光学素子ディフューザー(DOE Diffuser)である。ビーム素子は、複数のLCPGと1/4波長板である。各LCPGは、電気的に制御される水平LCPG装置と電気的に制御される垂直LCPG装置とを含む。水平方向及び垂直方向における2次元ブロック走査は、カスケード接続された複数のLCPGを使用することにより実施することができる。
[1108] VCSELアレイ光源の波長は、900nmより大きくてもよい。具体的には、VCSELアレイ光源の波長は、940nm又は1650nmである。
[1109] VCSELアレイ光源の波長が940nm又は1650nmである可能性がある場合、太陽スペクトルの強度は低い。これは、屋外の状況で太陽光により生じるノイズを低減することに役立つ。
[1110] VCSELアレイ光源によって放出されるレーザー・ビームは、連続光又はパルス光であってもよい。また、VCSELアレイ光源は、時間分割による制御を実現するために、幾つかのブロックに分割されてもよく、その結果、異なる領域は時間分割により照明される。
[1111] 回折光学素子ディフューザーは、VCSELアレイ光源によって放出されたビームを、特定のFOV(例えば、5°×5°のFOV)を有する均一な正方形又は長方形の光源に整形するために使用される。
[1112] 複数のLCPG及び1/4波長板は、ビーム走査を実施するために使用される。
[1113] 受信端部と送信端部は、複数のLCPGと1/4波長板を共有する。受信端部の受信レンズ群は、単一レンズ、又は複数のレンズの組み合わせであってもよい。受信端部のセンサーは、単一光子アバランシェ・ダイオード(SPAD)アレイである。SPADは単一光子検出感度を有するので、TOF深度センシング・モジュール600の検出距離を増加させることができる。受信端部は、ビーム・スプリッタを含む。ビーム・スプリッタは、単一のLCPGを使用することにより実現される。と同時に、投影端部は、2つの偏光状態における光を、異なるFOV範囲に投影し、その後、光は、受信端部における複数のLCPGを通過して、同一の光ビームに収束させられれる。次いで、光ビームは、ビーム・スプリッタによって、異なる偏光状態に基づいて、異なる方向における2つの光ビームに分割され、SPADアレイの異なる位置に投影される。
[1114] 図85は、本件の実施形態によるTOF深度センシング・モジュール600の構造の概略図である。
[1115] 図85に示されるTOF深度センシング・モジュール600と図84に示されるTOF深度センシング・モジュール600との間の相違は、図84においては、ビーム・スプリッタが単一のLCPGを使用して実施されているが、図85においては、ビーム・スプリッタは偏光ビーム・スプリッタを使用して実施されており、偏光ビーム・スプリッタは概してコーティングのエッジ及びアングルを接着することによって形成される点にある。偏光ビーム・スプリッタは、既存の製品であるので、偏光ビーム・スプリッタは、ビーム・スプリッタとして使用される場合に、特別なコスト的な利点をもたらす。
[1116] 図85に示されるように、2つの直交する偏光状態にあるビームであって反射によって得られるビームは、偏光ビーム・スプリッタによって分割される。一方のビームは、SPADアレイ・センサーに直接的に伝送され、他方のビームは、反射された後に、別の反射器によってSPADアレイ・センサーの方へ反射される。
[1117] 図86は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。
[1118] 図84に示されるTOF深度センシング・モジュール600との相違は、図86においては、ビーム・スプリッタが偏光フィルタを使用することによって実現されている点にある。例えば、図86においては、ビーム・スプリッタは、1/4波長板を使用することにより実現されてもよい。
[1119] 偏光フィルタは、ピクセル描画と同様な処理を実行する。隣接するピクセルにおいて伝達可能な偏光状態は異なり、各々はSPADピクセルに対応する。このようにして、SPADセンサーは2つの偏光状態で情報を同時に受信することができる。
[1120] 図87は、偏光フィルタの受信偏光ビームの概略図である。
[1121] 図87に示されるように、偏光フィルタの異なる領域は、H偏光又はV偏光を可能にしており、ここで、H偏光は水平方向の偏光を表し、V偏光は垂直方向の偏光を表す。図87において、偏光フィルタの異なる領域は、対応する偏光状態のビームのみが、センサーの対応する位置に到達することを可能にする。例えば、H偏光は、水平に偏光したビームのみが、センサーの対応する位置に到達することを可能にし、V偏光は、垂直に偏光したビームのみが、センサーの対応する位置に到達することを可能にする。
[1122] 偏光フィルタを使用することによりビーム・スプリッタが実現される場合、偏光フィルタは薄くて小さなサイズであるので、偏光フィルタを、小型サイズの端末デバイスに一体化することに好都合である。
[1123] 図88は、本件の実施形態による画像生成方法の概略フローチャートである。
[1124] 図88に示される方法は、本件の実施形態におけるTOF深度センシング・モジュール又はTOF深度センシング・モジュールを含む端末デバイスによって実行されてもよい。具体的には、図88に示される方法は、図79に示されるTOF深度センシング・モジュール又は図79に示されるTOF深度センシング・モジュールを含む端末デバイスによって実行することができる。図88に示される方法は、ステップ8001ないしステップ8006を含む。以下、ステップを別々に詳細に説明する。
[1125] 8001.ビームを生成するように光源を制御する。
[1126] 8002.ビームの方向を制御し、同じ時点で第1出現ビームと第2出現ビームを取得するように、光学素子を制御する。
[1127] 第1出現ビームの出現方向と第2出現ビームの出現方向は異なり、第1出現ビームの偏光方向は、第2出現ビームの偏光方向に直交している。
[1128] 8003.第1出現ビームを反射することによってターゲット・オブジェクトから得られる第3反射ビームと、第2出現ビームを反射することによってターゲット・オブジェクトから得られる第4反射ビームとを、受信ユニットの異なる領域へ伝搬させるように、ビーム・スプリッタを制御する。
[1129] 8004.第1出現ビームに対応するTOFに基づいて、ターゲット・オブジェクトの第1深度マップを生成する。
[1130] 8005.第2出現ビームに対応するTOFに基づいて、ターゲット・オブジェクトの第2深度マップを生成する。
[1131] 図88に示される方法のプロセスは、図78に示される方法の基本プロセスと同じであり、主な相違は、図78に示される方法のステップ7003においは、第3反射ビームと第4反射ビームが、ビーム選択デバイスを使用することによって、受信ユニットの異なる領域へ伝搬されている点にある。しかしながら、図88に示される方法のステップ8003においては、第3反射ビーム及び第4反射ビームは、ビーム・スプリッタを使用することによって、受信ユニットの異なる領域へ伝搬される。
[1132] 本件のこの実施形態では、送信端部は偏光フィルタリング・デバイスを有しないので、光源から放出されるビームは、損失なく光学素子に到達する可能性があり(偏光フィルタリング・デバイスは、一般に、多くの光エネルギーを吸収し、熱損失を発生する)、その結果、端末デバイスの熱損失を低減することができる。
[1133] オプションとして、図88に示される方法は、ターゲット・オブジェクトの深度マップを得るために、第1深度マップと第2深度マップを継ぎ合わせるステップを更に含む。
[1134] 図88に示される方法では、第3深度マップ、第4深度マップなどが、同様な方法で更に生成されてもよいことが、理解されるべきである。次いで、ターゲット・オブジェクトの最終深度マップを取得するために、全ての深度マップは継ぎ合わせられる又は結合されることが可能である。
[1135] オプションとして、端末デバイスは、コリメーション・レンズ群を更に含む。コリメーション・レンズ群は、光源と光学素子の間に配置される。図88に示される方法は、更に以下を含む:
[1136] 8006.コリメーション・レンズ群を使用することにより、ビームに関してコリメーション処理を実行し、コリメーション処理が実行された後に得られるビームを取得する。
[1137] 前述のステップ8002は、具体的には:コリメーション処理が実行された後に得られるビームの方向を制御して、第1出現ビーム及び第2出現ビームを取得するように、光学素子を制御するステップを含む。
[1138] また、コリメーション・レンズ群を使用してビームに関してコリメーション処理を実行することにより、ほぼ平行なビームを取得することができ、その結果、ビームのパワー密度を向上させることができ、そのビームを用いて以後に実行する走査の実効性を改善することができる。
[1139] オプションとして、端末デバイスは、ホモジナイザーを更に含む。ホモジナイザーは、光源と光学素子の間に配置される。図88に示される方法は、更に以下を含む:
[1140] 8007.ホモジナイザーを用いてビームのエネルギー分布を調整し、均質化処理が実行された後に得られるビームを取得する。
[1141] ビームの方向を制御し、第1出現ビームと第2出現ビームを取得するように、光学素子を制御する際の前述のステップ8002は、具体的には:均質化処理が実施された後に得られるビームの方向を制御して、第1出現ビームと第2出現ビームを取得するように、光学素子を制御するステップを含む。
[1142] 均質化処理を通じて、ビームの光パワーは、より均一に又は特定のルールに従って角度空間内に分布させられ、ローカルな光パワーが過度に小さくなるのことを防止し、最終的に得られるターゲット・オブジェクトの深度マップにおけるブラインド・スポットを回避することが可能である。
[1143] 前述のステップ8001ないしステップ8005に基づいて、図88に示される方法は、ステップ8006又はステップ8007を更に含んでもよい。
[1144] 代替的に、前述のステップ8001ないしステップ8005に基づいて、図88に示される方法は、ステップ8006及びステップ8007を更に含んでもよい。この場合、ステップ8001が実行された後に、ステップ8006がステップ8007の前に実行され、次いで、ステップ8002が実行されてもよい。代替的に、ステップ8007は、ステップ8006の前に実行されてもよく、次いで、ステップ7002が実行される。換言すれば、ステップ8001における光源がビームを生成した後、先ず、コリメーション処理と均質化処理が、連続的にビームに関して実行されることが可能であり(ビームのエネルギー分布はホモジナイザーを使用することによって調整される)、次いで、光学素子はビームの方向を制御するために制御される。代替的に、ステップ8001において光源がビームを生成した後、先ず、均質化処理とコリメーション処理が、連続的にビームに関して実行されることが可能であり(ビームのエネルギー分布はホモジナイザーを使用することによって調整される)、次いで、光学素子はビームの方向を制御するために制御される。
[1145] 上記は、図79ないし図88を参照しながら本件の実施形態におけるTOF深度センシング・モジュール及び画像生成方法を詳細に説明している。以下、図89ないし図101を参照しながら本件の実施形態における別のTOF深度センシング・モジュール及び別の画像生成方法を詳細に説明する。
[1146] 液晶デバイスの優れた偏光及び位相調整能力に起因して、液晶デバイスは、ビームを制御するためにTOF深度センシング・モジュールにおいて通常使用されている。しかしながら、液晶材料の制限に起因して、液晶デバイスの応答時間はある程度制限され、通常、ミリ秒オーダーである。従って、液晶デバイスを用いるTOF深度センシング・モジュールの走査周波数は低い(通常1kHz未満である)。
[1147] 本件は新しいTOF深度センシング・モジュールを提供する。送信端部及び受信端部の電子的に制御される液晶の駆動信号の時間シーケンスは、システムの走査周波数を増加させるために、特定の時間だけ(例えば、半周期だけ)ずらされるように制御される。
[1148] 以下、図89を参照しながら本件の実施形態におけるTOF深度センシング・モジュールを先ず簡単に説明する。
[1149] 図89に示されるTOF深度センシング・モジュール700は、光源710、光学素子720、ビーム選択デバイス730、受信ユニット740、及び制御ユニット750を含む。
[1150] TOF深度センシング・モジュール600内の各モジュールの機能は次のとおりである:
[1151] 光源710:
[1152] 光源710は、ビームを生成するように構成されている。
[1153] オプションとして、光源710は、垂直共振器型面発光レーザー(vertical cavity surface emitting laser, VCSEL)である。
[1154] オプションとして、光源710は、ファブリ・ペロー・レーザー(これは、FPレーザーと略称される場合がある)である。
[1155] 単一のVCSELと比較して、単一のFPレーザーは、より大きなパワーを実現することが可能であり、VCSELよりも高い電気-光学変換効率を有し、そのため、TOF深度センシング・モジュールの走査実効性を改善することができる。
[1156] オプションとして、光源710によって放出されるビームの波長は、900nmより大きい。
[1157] 太陽光の中で900nmを超える光の強度は低い。従って、ビームの波長が900nmより大きい場合、それは太陽光に起因する干渉を低減するのに役立ち、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[1158] オプションとして、光源710によって放出されるビームの波長は、940nm又は1550nmである。
[1159] 太陽光の中で940nm又は1550nm付近の光の強度は低い。従って、ビームの波長が940nm又は1550nmである場合、太陽光に起因する干渉を大幅に低減することができ、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[1160] オプションとして、光源710の発光面積は5×5mm2以下である。
[1161] 光源のサイズは小さいので、光源を含むTOF深度センシング・モジュールは、端末デバイス内に統合しやすく、そのため、端末デバイス内で占めるスペースをある程度小さくすることができる。
[1162] オプションとして、TOF深度センシング・モジュール700の平均出力光パワーは、800mW未満である。
[1163] TOF深度センシング・モジュールの平均出力光パワーが800 mw以下である場合、TOF深度センシング・モジュールの電力消費は小さく、電力消費に敏感なデバイス、例えば端末デバイスに、TOF深度センシング・モジュールを配置することを促す。
[1164] 光学素子720:
[1165] 光学素子720は、光源がビームを放出する方向に配置されている。光学素子720は、制御ユニット750の制御の下でビームを偏向させ、出現ビームを取得するように構成されている。
[1166] ビーム選択デバイス730:
[1167] ビーム選択デバイス730は、制御ユニット750の制御の下で、ターゲット・オブジェクトの反射ビームの各周期でビームから少なくとも2つの偏光状態におけるビームを選択して、受信ビームを取得し、受信ビームを受信ユニット740へ送るように構成されている。
[1168] 出現ビームは周期的に変化するビームである。出現ビームの変更周期の値は、第1時間インターバルである。出現ビームにおいて、隣接する周期内のビームは異なるチルト角を有し、同じ周期内のビームは少なくとも2つの偏光状態を有し、同じ周期内のビームは同じチルト角と異なる方位角を有する。
[1169] 本件のこの実施形態では、光源によって放出されるビームの方向及び偏光状態は、光学素子及びビーム選択デバイスを使用することにより調節され、その結果、隣接する周期内の出現ビームは異なるチルト角を有し、同じ周期内のビームは少なくとも2つの偏光状態を有し、TOF深度センシング・モジュールの走査周波数を増加させる。
[1170] 本件では、送信端部及び受信端部の制御信号の時間シーケンスは、TOF深度センシング・モジュールの走査周波数を増加させるために、特定の時間によりスタッガード状にされるように、制御ユニットにより制御される。
[1171] オプションとして、図35に示されるように、光学素子720は、水平偏光制御シート、水平液晶偏光格子、垂直偏光制御シート、及び垂直液晶偏光格子を含む。水平偏光制御シート、水平液晶偏光格子、垂直偏光制御シート、及び垂直液晶偏光格子の全てと光源との間の距離は順次増えている。
[1172] 代替的に、垂直偏光制御シート、垂直液晶偏光格子、水平偏光制御シート、及び水平液晶偏光格子の全てと光源との間の距離は順次増えている。
[1173] オプションとして、ビーム選択デバイスは、1/4波長板、電気的に制御される1/2波長板、及び偏光子を含む。
[1174] 図90に示されるように、TOF深度センシング・モジュールは、コリメーション・レンズ群760を更に含んでもよい。コリメーション・レンズ群760は、光源710と光学素子720の間に配置される。コリメーション・レンズ群760は、ビームに関してコリメーション処理を実行するように構成される。光学素子720は、コリメーション・レンズ群がコリメーション処理を実行した後に得られるビームを、制御ユニット750の制御の下で制御して、出現ビームを取得するように構成されている。
[1175] TOF深度センシング・モジュールがコリメーション・レンズ群を含む場合、コリメーション・レンズ群を使用することにより、光源から放出されたビームに関してコリメーション処理を実行することによって、ほぼ平行なビームを取得することができ、その結果、ビームのパワー密度を向上させることができ、そのビームを用いて以後に実行する走査の実効性を改善することができる。
[1176] オプションとして、コリメーション・レンズ群の有効開口は、5mm以下である。
[1177] コリメーション・レンズ群のサイズは小さいので、コリメーション・レンズ群を含むTOF深度センシング・モジュールは、端末デバイス内に統合しやすく、そのため、端末デバイス内で占めるスペースをある程度小さくすることができる。
[1178] 図91に示されるように、TOF深度センシング・モジュール700は、ホモジナイザー770を更に含む。ホモジナイザー770は、光源710と光学素子720の間に配置される。ホモジナイザー770は、ビームの角度空間強度分布を調整するように構成されている。光学素子720は、ホモジナイザー720が均質化処理を実行した後に得られるビームの方向を制御して、出現ビームを取得するように構成されている。
[1179] オプションとして、ホモジナイザー770は、マイクロレンズ・ディフューザー又は回折光学素子ディフューザーである。
[1180] 均質化処理を通じて、ビームの光パワーは、より均一に又は特定のルールに従って角度空間内に分布させられ、ローカルな光パワーが過度に小さくなるのことを防止し、最終的に得られるターゲット・オブジェクトの深度マップにおけるブラインド・スポットを回避することが可能である。
[1181] TOF深度センシング・モジュール700は、コリメーション・レンズ群760とホモジナイザー770の両方を含んでもよいことが理解されるべきである。コリメーション・レンズ群760とホモジナイザー770の両方が、光源710と光学素子720の間に配置されてもよい。コリメーション・レンズ群760とホモジナイザー770については、コリメーション・レンズ群760が光源により近くてもよいし、又はホモジナイザー770が光源により近くてもよい。
[1182] 図92は、本件の実施形態によるTOF深度センシング・モジュールの概略図である。
[1183] 図92に示されるように、コリメーション・レンズ群760と光源710との間の距離は、ホモジナイザー770と光源710との間の距離よりも小さい。
[1184] 図92に示されるTOF深度センシング・モジュール700では、光源710によって放出されたビームは、先ずコリメーション・レンズ群760のコリメーション処理を施され、ホモジナイザー770の均質化処理を施され、その後に、処理のために光学素子720へ伝搬される。
[1185] 図93は、本件の実施形態によるTOF深度センシング・モジュールの特定の構造の概略図である。
[1186] 図93に示されるように、コリメーション・レンズ群760と光源710との間の距離は、ホモジナイザー770と光源710との間の距離よりも大きい。
[1187] 図93に示されるTOF深度センシング・モジュール700では、光源710によって放出されたビームは、先ずホモジナイザー770の均質化処理を施され、コリメーション・レンズ群760のコリメーション処理を施され、その後に、処理のために光学素子720へ伝搬される。
[1188] 以下、図94及び図95を参照しながら、TOF深度センシング・モジュール700の動作プロセスを説明する。
[1189] 図94に示されるように、TOF深度センシング・モジュール700の送信端部及び受信端部の電気的に制御されるデバイスの最も高い周波数は両方とも1/Tであると仮定すると、送信端部及び受信端部の制御時間シーケンスは、制御ユニットによって半周期だけ(0.5T)ずれている。この場合、受信端部のセンサーは、0.5Tのインターバルで異なる空間位置におけるビームを受信することができる。
[1190] 図95に示されるように、0Tないし0.5Tでは、受信端部のセンサーは角度1で状態Aのビームを受信し;
0.5TないしTでは、受信端部のセンサーは角度1で状態Bのビームを受信し;Tないし1.5Tでは、受信端部のセンサーは角度2で状態Aのビームを受信し;1.5Tないし2Tでは、受信端部のセンサーは角度2で状態Bのビームを受信する。このようにして、システムの走査周波数は1/Tから2/Tに倍増する。
[1191] 以下、添付図面を参照しながら、TOF深度センシング・モジュール700の具体的な構造を詳細に説明する。
[1192] 図96は、本件の実施形態によるTOF深度センシング・モジュール700の構造の概略図である。
[1193] 図96に示されるように、TOF深度センシング・モジュール700は、投影端部、受信端部、及び制御ユニットを含む。投影端部は、光源、ホモジナイザー、及び光学素子を含む。受信端部は、光学素子、ビーム選択デバイス、受信レンズ群、及び2次元センサーを含む。制御ユニットは、投影端部及び受信端部を制御してビーム走査を完了するように構成されている。
[1194] 投影端部の光源はVCSEL光源である。ホモジナイザーは回折光学素子ディフューザー(DOE Diffuser)である。ビーム素子は、複数のLCPGと1/4波長板である。各LCPGは、電気的に制御される水平LCPG装置と電気的に制御される垂直LCPG装置とを含む。水平方向及び垂直方向における2次元ブロック走査は、カスケード接続された複数のLCPGを使用することにより実施することができる
[1195] VCSELアレイ光源の波長は、900nmより大きくてもよい。具体的には、VCSELアレイ光源の波長は、940nm又は1650nmであってもよい。
[1196] VCSELアレイ光源の波長が940nm又は1650nmである可能性がある場合、太陽スペクトルの強度は低い。これは、屋外の状況で太陽光により生じるノイズを低減することに役立つ。
[1197] VCSELアレイ光源によって放出されるレーザー・ビームは、連続光又はパルス光であってもよい。また、VCSELアレイ光源は、時間分割による制御を実現するために、幾つかのブロックに分割されてもよく、その結果、異なる領域は時間分割により照明される。
[1198] 回折光学素子ディフューザーは、VCSELアレイ光源によって放出されたビームを、特定のFOV(例えば、5°×5°のFOV)を有する均一な正方形又は長方形の光源に整形するために使用される。
[1199] 複数のLCPG及び1/4波長板は、ビーム走査を実施するために使用される。
[1200] 本件では、異なる角度及び異なる状態の光は、送信端部及び受信端部の時間分割制御によってセンサーに入射するように動的に選択されることが可能である。図96に示されるように、共通VCSELアレイ光源によって放出されるレーザー・ビームは、固定偏光状態を有するのではなく、紙面に平行な直線偏光レーザー・ビームと紙面に垂直な直線偏光レーザー・ビームに分解されることが可能である。LCPGを通過した後、直線偏光レーザー・ビームは、異なる偏光状態(左旋円偏光及び右旋円偏光)にある2つのレーザー・ビームであって異なる放出角度をそれぞれ有する2つのレーザー・ビームに分割される。1/4波長板を通過した後、2つのレーザー・ビームに対応する偏光状態は、紙面に平行な直線偏光と紙面に垂直な直線偏光とに変換される。異なる偏光状態における2つのレーザー・ビームがターゲット領域内のオブジェクトに照射された後に生成される反射ビームは、送信端部と共有される1/4波長板及びLCPGによって受信され、次いで、同じ発散角度を有するが異なる偏光状態を有するレーザー・ビーム、即ち左旋円偏光と右旋円偏光になる。受信端部のビーム選択デバイスは、1/4波長板、電気的に制御される1/2波長板、及び偏光子を含む。受光した光が1/4波長板を通過した後、受光した光の偏光状態は、紙面に平行な直線偏光と紙面に垂直な直線偏光に変換される。このように、電気的に制御される半波長板は、時間分割によって制御され、その結果、反波長板は、直線偏光の偏光状態を90度回転させるか、又は半波長板を通過する偏光状態を変更しない。従って、紙面に平行な直線偏光と紙面に垂直な直線偏光とは、時間分割によって伝送される。更に、別の偏光状態の光は吸収又は散乱される。
[1201] 図96において、送信端部及び受信端部の時間分割制御信号は図94に示されるものであってもよい。送信端部の電気的に制御されたLCPGの制御時間シーケンスと、受信端部の電気的に制御された半波長プレートの制御時間シーケンスとを半周期(0.5T)だけずらすことによって、システムの走査周波数を2倍にすることができる。
[1202] 図97は、本件の実施形態によるTOF深度センシング・モジュール700の構造の概略図である。
[1203] 図97に示されるように、図96に示されるTOF深度センシング・モジュールに基づいて、VCSELアレイ光源の背後にある回折光学素子拡散器(DOE Diffuser)は、マイクロレンズ拡散器(Diffuser)に変更される。マイクロレンズ・ディフューザーは、幾何学的光学系に基づいて均質化を実施するので、マイクロレンズ・ディフューザーの伝送効率は、少なくとも80%である可能性があり、従来の回折光学素子ディフューザー(DOE Diffuser)の伝送効率は、約70%であるに過ぎない。マイクロレンズ・ディフューザーの形態は図77に示されている。マイクロレンズ・ディフューザーは、一連のランダムに分布したマイクロレンズを含む。各マイクロレンズの位置と形態は、シミュレーション及び最適化を通じて設計され、その結果、整形されたビームは可能な限り均一であり、伝送効率は高い。
[1204] 図97に示されるTOF深度センシング・モジュールの駆動原理は、図96に示されるTOF深度センシング・モジュールにおけるものと同様であるが、図96に示されるTOF深度センシング・モジュールにおける回折光学素子拡散器(DOE Diffuser)が、送信端部の伝送効率を改善するために光拡散器に置き換えられる点で異なる。その他の詳細は再び説明しない。
[1205] 図97に示されるTOF深度センシング・モジュールに関し、送信端部及び受信端部の時間分割制御信号は図94に示されるものであってもよい。送信端部の電気的に制御されたLCPGの制御時間シーケンスと、受信端部の電気的に制御された半波長プレートの制御時間シーケンスとを半周期(0.5T)だけずらすことによって、システムの走査周波数を2倍にすることができる。
[1206] 図98は、本件の実施形態によるTOF深度センシング・モジュール700の構造の概略図である。
[1207] 図96又は図97に示されるTOF深度センシング・モジュールに基づいて、光学素子は、図98に示されるように、複数のLCPG及び1/4波長板から、平坦な液晶セルによる複数の層に変更されてもよい。平坦な液晶セルの複数の層は、複数の角度で、水平及び垂直方向におけるビーム偏向を実施するために使用される。受信端部のビーム選択デバイスは、電気的に制御された半波長板と偏光子とを含む。
[1208] 平坦な液晶セルのビーム偏向原理は図99及び図100に示されている。ビーム偏向は、楔状ポリマー(Polymer)の界面を利用することにより実現される。楔状ポリマー材料の屈折率は、液晶の通常光の屈折率n0に等しいものであることを必要とする。このように、図99に示されるように、液晶分子の光軸がx方向に平行である場合、紙面に平行な入射光は特定の角度で偏向する。偏向角の値は、液晶分子に印加される電圧を制御することによって制御されることが可能であり、紙面に垂直な入射光は直線に沿って伝搬する。このように、異なる配向を有する平坦な液晶セルの複数の層を重ね合わせることによって(光軸はx方向又はy方向に平行である)、偏向された入射光は異なる角度に同時に投影されることが可能である。
[1209] 同様に、送信端部における平坦な液晶セルの駆動電圧と受信端部における電気的に制御された半波長板の駆動電圧とを制御することによって、2つの駆動電圧の制御時間シーケンスは半周期(0.5T)だけずらされて、液晶の走査周波数を増加させる。
[1210] 図101は、本件の実施形態による画像生成方法の概略フローチャートである。
[1211] 図101に示される方法は、本件の実施形態におけるTOF深度センシング・モジュール又はTOF深度センシング・モジュールを含む端末デバイスによって実行されてもよい。具体的には、図101に示される方法は、図89に示されるTOF深度センシング・モジュール又は図89に示されるTOF深度センシング・モジュールを含む端末デバイスによって実行することができる。図101に示される方法は、ステップ9001ないしステップ9004を含む。以下、ステップを別々に詳細に説明する。
[1212] 9001.ビームを生成するように光源を制御する。
[1213] 9002.ビームを偏向させて出現ビームを取得するように、光学素子を制御する。
[1214] 9003.ターゲット・オブジェクトの反射ビームの各周期におけるビームから、少なくとも2つの偏光状態のビームを選択し、受信ビームを取得し、受信ビームを受信ユニットへ送るように、ビーム選択デバイスを制御する。
[1215] 9004.出現ビームに対応するTOFに基づいて、ターゲット・オブジェクトの深度マップを生成する。
[1216] 出現ビームは周期的に変化するビームである。出現ビームの変更周期の値は、第1時間インターバルである。出現ビームにおいて、隣接する周期内のビームは異なるチルト角を有し、同じ周期内のビームは少なくとも2つの偏光状態を有し、同じ周期内のビームは同じチルト角と異なる方位角を有する
[1217] 出現ビームに対応するTOFは、具体的には、出現ビームに対応する反射ビームが受信ユニットによって受信される時点と、光源の発光時点との間の時間差に関する情報であってもよい。出現ビームに対応する反射ビームは、具体的には、出現ビームが光学素子とビーム選択デバイスによって処理され、次いでターゲット・オブジェクトに到達し、ターゲット・オブジェクトによって反射されたビームであってもよい。
[1218] 本件のこの実施形態では、光源によって放出されるビームの方向及び偏光状態は、光学素子及びビーム選択デバイスを使用することにより調節され、その結果、隣接する周期内の出現ビームは異なるチルト角を有し、同じ周期内のビームは少なくとも2つの偏光状態を有し、TOF深度センシング・モジュールの走査周波数を増加させる。
[1219] オプションとして、端末デバイスは、コリメーション・レンズ群を更に含む。コリメーション・レンズ群は、光源と光学素子の間に配置される。この場合、図101に示される方法は更に以下を含む:
[1220] 9005.コリメーション処理が実行された後に得られるビームを取得するために、コリメーション・レンズ群を使用することにより、ビームに関してコリメーション処理を実行する。
[1221] ビームが偏向されて出現ビームを取得する前述のステップ9002は、具体的には、コリメーション処理が実行された後に得られるビームの方向を制御して、出現ビームを取得するように、光学素子を制御するステップを含む。
[1222] コリメーション・レンズ群を使用することにより、ビームに関してコリメーション処理を実行することによって、ほぼ平行なビームを取得することができ、その結果、ビームのパワー密度を向上させることができ、そのビームを用いて以後に実行する走査の実効性を改善することができる。
[1223] オプションとして、端末デバイスは、ホモジナイザーを更に含む。ホモジナイザーは、光源と光学素子の間に配置される。この場合、図101に示される方法は更に以下を含む:
[1224] 9006.ホモジナイザーを使用することにより、ビームのエネルギー分布を調整し、均質化処理が実行された後に得られるビームを取得する。
[1225] ビームが偏向されて出現ビームを取得する上述のステップ9002は、具体的には、均質化処理が実行された後に得られるビームの方向を制御して、出現ビームを得るように、光学素子を制御することを含む。
[1226] 均質化処理を通じて、ビームの光パワーは、より均一に又は特定のルールに従って角度空間内に分布させられ、ローカルな光パワーが過度に小さくなるのことを防止し、最終的に得られるターゲット・オブジェクトの深度マップにおけるブラインド・スポットを回避することが可能である。
[1227] 図102ないし図104を参照しながら、以下、第1ビームのFOVであってTOF深度センシング・モジュール300内のビーム整形デバイスによる処理を経て取得されるFOVと、M個の異なる方向の走査によって得られる全FOVとを説明する。更に、図105を参照しながら、全体的な解決策が説明される。
[1228] TOF深度センシング・モジュール300内のビーム整形デバイス330は、第1ビームを得るためにビームを調整する、ということが理解されるべきである。第1ビームのFOVは、第1プリセット範囲に適合している。
[1229] オプションとして、第1プリセット範囲は、[5°×5°,20°×20°]であってもよい。
[1230] 図102は、第1ビームのFOVの概略図である。
[1231] 図102に示されるように、第1ビームは、点Oから放出される。垂直方向における第1ビームのFOVは、角度Aである。水平方向における第1ビームのFOVは、角度Bである。矩形Eは、第1ビームがターゲット・オブジェクト上に投影される領域である(第1ビームがターゲット・オブジェクト上に投影される領域は矩形領域であってもよいし、又は確かに他の形状によるものであってもよい)。角度Aの値は、5°ないし20°の範囲にわたる(5°及び20°を含んでもよい)。同様に、角度Bの値は、5°ないし20°の範囲にわたる(5°及び20°を含んでもよい)。
[1232] TOF深度センシング・モジュール300では、制御ユニット370は、第1光学素子を制御して、M個の異なる時点で第1ビームの方向を別々に制御し、M個の異なる方向で出現ビームを取得するように構成されることが可能である。M個の異なる方向における出現ビームによってカバーされるFOV全体は、第2プリセット範囲に適合している。
[1233] オプションとして、第2プリセット範囲は、[50°×50°,80°×80°]であってもよい。
[1234] 図103は、M個の方向において出現ビームによってカバーされるFOV全体の概略図である。
[1235] 具体的には、図103に示されるように、M個の方向の出現ビームは点Oから放出され、ターゲット・オブジェクト上でカバーされる領域は矩形Fである。角度Cは、垂直方向におけるM個の方向における出現ビームのFOVについての重ね合わせた値である。角度Dは、水平方向におけるM個の方向における出現ビームのFOVについての重ね合わせた値である。角度Cの値は50°ないし80°(50°及び80°を含んでもよい)の範囲にわたる。同様に、角度Dの値は50°ないし80°(50°及び80°を含んでもよい)の範囲にわたる。
[1236] M個の方向における出現ビームによってカバーされる全FOVは、M個の方向における第1ビームを使用することにより走査が実行された後に得られる、ということが理解されるべきである。例えば、図104は、本件の実施形態によるTOF深度センシング・モジュールによって、M個の異なる方向で走査を実行する概略図である。
[1237] この例では、図104に示されるように、第1ビームのFOVは、E×Fである。TOF深度センシング・モジュールによってカバーされる全FOVはU×Vである。走査回数は6回である。言い換えれば、走査は6個の方向で実行される。
[1238] 6回の走査は、以下の方法で実行される。走査は2つの行に対して別々に実行され、3回の走査が各行に関して実行される(即ち、走査される列の数は3であり、走査される行の数は2である)。従って、走査回数は、3×2によって表現されてもよい。
[1239] この例では、走査トラックは、先ず、第1行を左から右へ3回走査し、第2行の方へ偏向し、第2行を右から左へ3回走査して、完全なFOV範囲をカバーしている。
[1240] この例における走査トラック及び走査回数は、一例として使用されるに過ぎず、本件に関する限定を構成するはずはない、ということは理解されるべきである。
[1241] なお、実際の動作において、2つの隣接する方向で走査が実行される場合、ある方向から他の隣接する方向への変換は、特定の偏向角を設定することによって実行されてもよい、ということは理解されるべきである。
[1242] 更に、実際の走査の前に、偏向角の値は、適切な範囲内で制御されるべき実際の状況に基づいて決定されることを更に必要とし、その結果、第1ビームは、複数回の走査の後に走査対象領域全体をカバーする、ということが、更に理解されるべきである。以下、図105を参照しながら、本件の実施形態の全体的な解決策設計を説明する。
[1243] 図105は、本件の実施形態による全体的な解決策設計の概略フローチャートである。図105に示されるように、全体的な解決策設計は、ステップS10510ないしS10540を含む。前述の一連のステップは、本件において限定されないことが理解されるべきである。前述のステップの組み合わせによって本件を実現する可能性のある如何なる解決策も、本件の保護範囲内に該当する。以下、前述のステップを詳細に説明する。
[1244] S10510.TOF深度センシング・モジュールのカバレッジ能力を決定する。
[1245] 解決策設計の中で、TOF深度センシング・モジュールのカバレッジ能力が先ず決定されることを必要とし、次いで、適切な偏向角が、走査回数に関連して決定されることが可能である、ということが理解されるべきである。
[1246] TOF深度センシング・モジュールのカバレッジ能力は、TOF深度センシング・モジュールのFOVによってカバーされることが可能な範囲である、ということが理解されるべきである。
[1247] オプションとして、本件のこの実施形態では、TOF深度センシング・モジュールは、主に、正面顔認識のために設計されている。異なるシナリオにおけるユーザーのロック解除要件を確実にするために、TOF深度センシング・モジュールのFOVは、50×50より大きくすべきである。また、TOF深度センシング・モジュールのFOVレンジは、大きすぎないものであるべきである。FOVレンジが大きすぎる場合、収差や歪が増加する。従って、TOF深度センシング・モジュールのFOV範囲は、一般に、50×50ないし80×80の範囲にある可能性がある。
[1248] この例では、TOF深度センシング・モジュールによってカバーされることが可能な決定された全FOVは、U×Vで表現されてもよい。
[1249] S10520.走査回数を決定する。
[1250] 走査回数の上限は、第1光学素子のパフォーマンスによって決定される、ということが理解されるべきである。例えば、第1光学素子は、液晶偏光格子(LCPG)である。液晶分子の応答時間は近似的にS ms(ミリ秒)である。この場合、第1光学素子は、1S内で最大1000/S回の走査を実行する。TOF深度センシング・モジュールによって生成される深度マップのフレーム・レートがT fpsであることを考慮すると、ピクチャの各フレームは、最大1000/(S×T)回走査される可能性がある。
[1251] 同一の条件下において、ピクチャの各フレームを走査するより多くの回数は、走査ビームのより高い強度密度を示し、より長い走査距離を実現できる、ということが理解されるべきである。
[1252] なお、走査回数が上限を超えないことが保証される条件の下で、実際の動作における走査回数は、決定された走査回数の上限に基づいて決定されることが可能である、ということが理解されるべきである。これは、本件において更に限定されない。
[1253] この例では、決定された走査回数は、X×Yで表現されてもよいことが理解されるべきである。Yは走査される行の数量がYであることを示し、Xは走査される列の数量がXであることを示す。換言すれば、走査はY個の行に対して実行され、各行に関してX回の走査が実行される。
[1254] S10530.偏向角の値を決定する。
[1255] 本件のこの実施形態では、偏向角の値は、TOF深度センシング・モジュールのFOVカバレッジ能力と、前述の2つのステップで決定される走査回数とに基づいて、決定されてもよいことが理解されるべきである。
[1256] 具体的には、TOF深度センシング・モジュールによってカバーされることが可能な全FOVが、U×Vである場合、走査回数はX×Yである。従って、水平方向(即ち、各々の行)の走査プロセスにおける偏向角はU/X以上であるべきであり、垂直方向(即ち、ある行から他の行への偏向を示す列方向)の走査プロセスにおける偏向角はV/Y以上であるべきである。
[1257] 偏向角が小さい場合、TOF深度センシング・モジュールの全FOVが、予め設定された回数の走査によってはカバーできない、ということが理解されるべきである。
[1258] S10540.第1ビームのFOVを決定する。
[1259] 偏向角の値が決定された後、第1ビームのFOVは偏向角の値に基づいて決定される、ということが理解されるべきである。この例では、第1ビームのFOVは、E×Fによって表現されてもよい。
[1260] 第1ビームのFOVは、隣接する走査領域にスリット(即ち、走査されない欠落領域)が存在しないことを確実にするために、偏向角の値以上であるべきである、ということが理解されるべきである。この場合、Eは水平偏向角の値以上であるべきであり、Fは垂直偏向角の値以上であるべきである。
[1261] オプションとして、第1ビームのFOVは、偏向角の値よりも僅かに、例えば5%だけ、大きくてもよい。これは本件で限定されない。
[1262] TOF深度センシング・モジュールのカバレッジ能力、走査回数、第1ビームのFOV、及び偏向角の値は、適切な範囲内で制御されるように、実際の動作における相互協調によって決定されてもよい、ということが理解されるべきである。これは本件において限定されない。
[1263] 図102ないし図104を参照しながら、TOF深度センシング・モジュール300によって生成される第1ビーム、及びM個の異なる方向における出現ビームのFOVの前述の説明は、TOF深度センシング・モジュール400によって生成された第1ビーム、及びM個の異なる方向における出現ビームにも適用可能である、ということが理解されるべきである。詳細はここで再び説明されない。
[1264] 当業者は、本明細書で開示された実施形態で説明された実施例との組み合わせにおいて、ユニット及びアルゴリズム・ステップは、電子ハードウェア又はコンピュータ・ソフトウェアと電子ハードウェアの組み合わせによって実施されてもよいことを認識するであろう。機能がハードウェア又はソフトウェアによって実行されるかどうかは、特定のアプリケーションや技術的解決策の設計制約条件に依存する。当業者は、特定のアプリケーションの各々に対して、説明済みの機能を実現するために様々な方法を使用することが可能であるが、その実現が本件の範囲を超えて行くものであると考えるべきではない。
[1265] 当業者であれば、便利で簡単な説明の目的のために、前述のシステム、装置、及びユニットの詳細な動作プロセスについては、前述の方法の実施形態における対応するプロセスを参照されたい、ということを明確に理解することが可能であり、詳細はここで再び説明されない。
[1266] 本件で提供される幾つかの実施形態において、開示されるシステム、装置、及び方法は、他の仕方で実施されてもよい、ということが理解されるべきである。例えば、説明された装置の実施形態は、単なる一例である。例えば、ユニットへの分割は、単に論理な機能分割であり、実際の実装においては他の分割であってもよい。例えば、複数のユニット又は構成要素は、別のシステムに結合又は統合されてもよいし、或いは幾つかの特徴は、無視され又は実行されなくてもよい。更に、図示又は説明された相互結合、直接的な結合、又は通信接続は、何らかのインターフェースを使用することによって実現されてもよい。装置又はユニット間の間接的な結合又は通信接続は、電子的、機械的、又は他の形態で実施されてもよい。
[1267] 別個のパーツとして説明されているユニットは、物理的に分離されていてもされていなくてもよく、ユニットとして表示されているパーツは、物理的ユニットであってもなくてもよく、一カ所に配置されていてもよく、又は複数のネットワーク・ユニット上に分散されていてもよい。全部又は一部のユニットは、実施形態の解決策の目的を達成するために、実際の要件に基づいて選択されてもよい。
[1268] 更に、本件の実施形態における機能ユニットは、1つの処理ユニットに統合されてもよいし、又は各ユニットは、物理的に単独で存在してもよいし、又は2つ以上のユニットが1つのユニットに統合されてもよい。
[1269] 機能がソフトウェア機能単位の形態で実装され、独立した製品として販売又は使用される場合、機能は、コンピュータ読み取り可能な記憶媒体に記憶されてもよい。このような理解に基づいて、本質的に本件の技術的解決策、又は先行技術に寄与する部分、又は技術的解決策の一部は、ソフトウェア製品の形態で実施されてもよい。ソフトウェア製品は、記憶媒体に記憶され、演算デバイス(パーソナル・コンピュータ、サーバー、又はネットワーク・デバイスであってもよい)に、本件の実施形態で説明される方法の全部又は一部のステップを実行するように指示するための幾つかの命令を含む。前述の記憶媒体は、USBフラッシュ・ドライブ、リムーバブル・ハード・ディスク、リード・オンリ・メモリ(read-only memory, ROM)、ランダム・アクセス・メモリ(random access memory, RAM)、磁気ディスク、又は光ディスクのような、プログラム・コードを記憶することが可能な任意の媒体を含む。
[1270] 前述の説明は、本件の単なる特定の実装に過ぎず、本件の保護範囲を制限するようには意図されていない。本件で開示された技術的範囲内で、当業者により容易に理解される如何なる変形又は置換も、本件の保護範囲に該当するものとする。従って、本願の保護範囲は、クレームの保護範囲に従うものとする。
[0001] 技術分野
本件は、TOF技術の分野に関連し、より具体的には、TOF深度センシング・モジュール及び画像生成方法に関連する。
[0002] 飛行時間(time of flight, TOF)技術は、頻繁に使用される深度又は距離測定技術である。その基本原理は次のとおりである:送信端部が連続光又はパルス光を放射し、連続光又はパルス光は、連続光又はパルス光が測定対象に照射された後に反射され、その後、受信端部が測定対象の反射光を受信する。次いで、送信端部から受信端部までの光の飛行時間が決定され、その結果、測定対象からTOFシステムまでの距離又は深度を計算することができる。
[0003] 従来のTOF深度センシング・モジュールは、一般に、シングル・ポイント走査、マルチ・ポイント走査、又はライン走査の方法で走査を実行しており、一般に、従来のTOF深度センシング・モジュールは、走査中に1、8、16、32、64、又は128個の出現ビームを同時に放出する。しかしながら、同じ時点でTOF深度センシング・モジュールによって放射されるビーム量はそれでも制限されており、高い空間分解能と高いフレーム・レートを実現することができない。
[0004] 本件はTOF深度センシング・モジュール及び画像生成方法を提供し、その結果、走査により得られる深度マップは、高い空間解像度と高いフレーム・レートを有する。
[0005] 第1態様によれば、TOF深度センシング・モジュールが提供され、TOF深度センシング・モジュールは、アレイ光源と、ビーム・スプリッタと、コリメーション・レンズ群と、受信ユニットと、制御ユニットとを含み、アレイ光源はN個の発光領域を含み、N個の発光領域は互いにオーバーラップしておらず、各々の発光領域はビームを生成するために使用され、コリメーション・レンズ群はアレイ光源とビーム・スプリッタとの間に位置している。
[0006] TOF深度センシング・モジュールにおける各モジュール又はユニットの機能は具体的には以下のとおりである:
[0007] 制御ユニットは、アレイ光源のN個の発光領域のうちのM個の発光領域を、発光するように、制御するように構成されている。
[0008] コリメーション・レンズ群は、M個の発光領域からのビームに関してコリメーション処理を実行するように構成されている。
[0009] ビーム・スプリッタは、コリメーション・レンズ群がコリメーション処理を実行した後に得られるビームに関してビーム分割処理を実行するように構成されている。
[0010] 受信ユニットは、ターゲット・オブジェクトの反射ビームを受信するように構成されている。
[0011] MはN以下であり、Mは正の整数であり、Nは1より大きな正の整数である。ビーム・スプリッタは、受信した各ビーム光を、複数のビーム光に分割するように具体的に構成されている。ターゲット・オブジェクトの反射ビームは、ビーム・スプリッタからのビームを反射することによって、ターゲット・オブジェクトから得られるビームである。M個の発光領域により放射されるビームは、M個の発光領域からのビームとして言及される場合もある。
[0012] ビーム・スプリッタは、1つの光入射ビームを、複数の光ビームに分割することが可能である。従って、ビーム・スプリッタは、ビーム・リプリケータと言及される場合もある。
[0013] N個の発光領域は、N個の独立した発光領域であってもよく、即ち、N個の発光領域の各々の発光領域は、他の発光領域による影響を受けずに独立して発光することができる。N個の発光領域の各々の発光領域に関し、各々の発光領域は、一般に、複数の発光ユニットを含む。N個の発光領域において、異なる発光領域は異なる発光ユニットを含み、即ち、1つの発光ユニットは1つの発光領域のみに属する。各々の発光領域に関し、制御ユニットが発光領域を発光するように制御する場合、発光領域内の全ての発光ユニットは発光する可能性がある。
[0014] アレイ光源の発光領域の総数量は、Nであってもよい。M=Nである場合、制御ユニットは、アレイ光源の全ての発光領域を、同時に又は時間分割により、発光するように制御することが可能である。
[0015] オプションとして、制御ユニットは、アレイ光源のN個の発光領域のうちのM個の発光領域を、同時に発光するように、制御するように構成されている。
[0016] 例えば、制御ユニットは、アレイ光源のN個の発光領域のうちのM個の発光領域を、時点T0で同時に発光するように制御することが可能である。
[0017] オプションとして、制御ユニットは、アレイ光源のN個の発光領域のうちのM個の発光領域を、M個の異なる時点でそれぞれ発光するように、制御するように構成されている。
[0018] 例えば、M=3である。制御ユニットは、アレイ光源の3つの発光領域を、時点T0、時点T1、及び時点T2でそれぞれ発光するように制御することが可能であり、即ち、3つの発光領域において、第1発光領域は時点T0で光を放出し、第2発光領域は時点T1で光を放出し、第3発光領域は時点T2で光を放出する。
[0019] オプションとして、制御ユニットは、アレイ光源のN個の発光領域のうちのM個の発光領域を、M0個の異なる時点で別々に発光するように、制御するように構成されており、ここで、M0は1より大きくMより小さい正の整数である。
[0020] 例えば、M=3及びM0=2である。制御ユニットは、アレイ光源の3つの発光領域のうちの1つの発光領域を、時点T0で発光するように制御し、アレイ光源の3つの発光領域のうちの他の2つの発光領域を、時点T1で発光するように制御することが可能である。
[0021] 本件のこの実施形態では、アレイ光源の異なる発光領域は、時間分割により発光するように制御され、ビーム・スプリッタは、ビームに関してビーム分割処理を実行するように制御され、その結果、ある期間内にTOF深度センシング・モジュールによって放出されるビームの数量を向上させることができ、ターゲット・オブジェクトを走査するプロセスにおいて、高い空間分解能と高いフレーム・レートを実現することができる。
[0022] 第1態様に関し、第1態様の一部の実装において、受信ユニットは、受信レンズ群とセンサーを含み、受信レンズ群は、反射ビームをセンサーに収束させるように構成されている。
[0023] センサーは、センサー・アレイと言及される場合もあり、センサー・アレイは、2次元センサー・アレイであってもよい。
[0024] 第1態様に関し、第1態様の一部の実装において、センサーの分解能はP×Q以上であり、アレイ光源の1つの発光領域からのビームに関してビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qであり、P及びQは双方ともに正の整数である。
[0025] センサーの分解能は、ビーム・スプリッタが、アレイ光源の1つの発光領域からのビームに関してビーム分割を実行した後に得られるビームの数量以上である。従って、センサーは、ビーム・スプリッタからのビームを反射することにより、ターゲット・オブジェクトから得られる反射ビームを受信することができ、その結果、TOF深度センシング・モジュールは、通常的に、反射ビームを受信することができる。
[0026] 第1態様に関し、第1態様の一部の実装において、ビーム・スプリッタのビーム受信面は、アレイ光源のビーム放出面に平行である。
[0027] ビーム・スプリッタのビーム受信面が、アレイ光源のビーム放出面に平行である場合、TOF深度センシング・モジュールを組み立てることに便利であり、ビーム・スプリッタの出現ビームの光パワーを増やすことも可能である。
[0028] 第1態様に関し、第1態様の一部の実装において、ビーム・スプリッタは、円筒レンズ・アレイ、マイクロレンズ・アレイ、及び回折光学デバイスのうちの任意の1つである。
[0029] 第1態様に関し、第1態様の一部の実装において、アレイ光源は、垂直共振器型面発光レーザー(vertical cavity surface emitting laser, VCSEL)である。
[0030] オプションとして、アレイ光源は、ファブリ・ペロー・レーザー(これは、FPレーザーとして略して言及される場合がある)であってもよい。
[0031] 単一のVCSELと比較して、単一のFPレーザーは、より大きなパワーを実現することが可能であり、VCSELよりも高い電気-光学変換効率を有し、そのため、TOF深度センシング・モジュールの走査実効性を改善することができる。
[0032] オプションとして、アレイ光源によって放出されるビームの波長は、900nmより大きい。
[0033] 太陽光の中で900nmを超える光の強度は低い。従って、ビームの波長が900nmより大きい場合、それは太陽光に起因する干渉を低減するのに役立ち、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[0034] オプションとして、アレイ光源によって放出されるビームの波長は、940nm又は1550nmである。
[0035] 太陽光の中で940nm又は1550nm付近の光の強度は低い。従って、ビームの波長が940nm又は1550nmである場合、それは太陽光に起因する干渉を大幅に低減することができ、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[0036] 第1態様に関し、第1態様の一部の実装において、アレイ光源の発光面積は、5×5mm2以下であり;ビーム・スプリッタのビーム入射端面の面積は、5×5mm2以下であり;及びコリメーション・レンズ群の有効開口は、5mm以下である。
[0037] アレイ光源、ビーム・スプリッタ、及びコリメーション・レンズ群のサイズは小さいので、上記のデバイス(アレイ光源、ビーム・スプリッタ、及びコリメーション・レンズ群)を含むTOF深度センシング・モジュールは、端末デバイス内に統合しやすく、そのため、端末デバイス内で占めるスペースをある程度小さくすることができる。
[0038] 第1態様に関し、第1態様の一部の実装において、TOF深度センシング・モジュールの平均出力光パワーは、800mW以下である。
[0039] TOF深度センシング・モジュールの平均出力光パワーが800 mw以下である場合、TOF深度センシング・モジュールの電力消費は小さく、電力消費に敏感なデバイス、例えば端末デバイスに、TOF深度センシング・モジュールを配置することを促す。
[0040] 第2態様によれば、TOF深度センシング・モジュールが提供される。TOF深度センシング・モジュールは、アレイ光源と、ビーム・スプリッタと、コリメーション・レンズ群と、受信ユニットと、制御ユニットとを含み、アレイ光源はN個の発光領域を含み、N個の発光領域は互いにオーバーラップしておらず、各々の発光領域はビームを生成するために使用され、ビーム・スプリッタは前記アレイ光源と前記ビーム・スプリッタとの間に位置している。
[0041] TOF深度センシング・モジュールにおける各モジュール又はユニットの機能は具体的には以下のとおりである:
[0042] 制御ユニットは、アレイ光源のN個の発光領域のうちのM個の発光領域を、発光するように、制御するように構成されており、MはN以下であり、Mは正の整数であり、Nは1より大きな正の整数である。
[0043] ビーム・スプリッタは、M個の発光領域からのビームに関してビーム分割処理を実行するように構成されており、ビーム・スプリッタは、受信した各ビーム光を、複数のビーム光に分割するように具体的に構成されている。
[0044] コリメーション・レンズ群は、ビーム・スプリッタからのビームに関してコリメーション処理を実行するように構成されている。
[0045] 受信ユニットは、ターゲット・オブジェクトの反射ビームを受信するように構成されており、ターゲット・オブジェクトの反射ビームは、コリメーション・レンズ群からのビームを反射することによって、ターゲット・オブジェクトから得られるビームである。
[0046] M個の発光領域により放射されるビームは、M個の発光領域からのビームとして言及される場合もある。
[0047] 本件のこの実施形態では、アレイ光源の異なる発光領域は、時間分割により発光するように制御され、ビーム・スプリッタは、ビームに関してビーム分割処理を実行するように制御され、その結果、ある期間内にTOF深度センシング・モジュールによって放出されるビームの数量を改善することができ、ターゲット・オブジェクトを走査するプロセスにおいて、高い空間分解能と高いフレーム・レートを実現することができる。
[0048] 第2態様におけるTOF深度センシング・モジュールと第1態様におけるTOF深度センシング・モジュールの主な相違は、コリメーション・レンズ群の位置が異なる点である。第1態様のTOF深度センシング・モジュールにおけるコリメーション・レンズ群は、アレイ光源とビーム・スプリッタとの間に配置されており、第2態様のTOF深度センシング・モジュールにおけるビーム・スプリッタは、アレイ光源とコリメーション・レンズ群との間に配置されている(これは、コリメーション・レンズ群が、ビーム・スプリッタの出現ビームの方向に配置されることと等価である)。
[0049] オプションとして、制御ユニットは、アレイ光源のN個の発光領域のうちのM個の発光領域を、同時に発光するように、制御するように構成されている。
[0050] オプションとして、制御ユニットは、アレイ光源のN個の発光領域のうちのM個の発光領域を、M個の異なる時点でそれぞれ発光するように、制御するように構成されている。
[0051] オプションとして、制御ユニットは、アレイ光源のN個の発光領域のうちのM個の発光領域を、M0個の異なる時点で別々に発光するように、制御するように構成されており、ここで、M0は1より大きくMより小さい正の整数である。
[0052] 第2態様に関し、第2態様の一部の実装において、受信ユニットは、受信レンズ群とセンサーを含み、受信レンズ群は、反射ビームをセンサーに収束させるように構成されている。
[0053] センサーは、センサー・アレイと言及される場合もあり、センサー・アレイは、2次元センサー・アレイであってもよい。
[0054] 第2態様に関し、第2態様の一部の実装において、センサーの分解能はP×Q以上であり、アレイ光源の1つの発光領域からのビームに関してビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qであり、P及びQは双方ともに正の整数である。
[0055] センサーの分解能は、ビーム・スプリッタが、アレイ光源の1つの発光領域からのビームに関してビーム分割を実行した後に得られるビームの数量以上である。従って、センサーは、コリメーション・レンズ群からのビームを反射することにより、ターゲット・オブジェクトから得られる反射ビームを受信することができ、その結果、TOF深度センシング・モジュールは、通常的に、反射ビームを受信することができる。
[0056] 第2態様に関し、第2態様の一部の実装において、ビーム・スプリッタのビーム受信面は、アレイ光源のビーム放出面に平行である。
[0057] ビーム・スプリッタのビーム受信面が、アレイ光源のビーム放出面に平行である場合、TOF深度センシング・モジュールを組み立てることに便利であり、ビーム・スプリッタの出現ビームの光パワーを増やすことも可能である。
[0058] 第2態様に関し、第2態様の一部の実装において、ビーム・スプリッタは、円筒レンズ・アレイ、マイクロレンズ・アレイ、及び回折光学デバイスのうちの任意の1つである。
[0059] 第2態様に関し、第2態様の一部の実装において、アレイ光源は、垂直共振器型面発光レーザー(vertical cavity surface emitting laser, VCSEL)である。
[0060] オプションとして、アレイ光源は、ファブリ・ペロー・レーザー(これは、FPレーザーとして略して言及される場合がある)。
[0061] 単一のVCSELと比較して、単一のFPレーザーは、より大きなパワーを実現することが可能であり、VCSELよりも高い電気-光学変換効率を有し、そのため、TOF深度センシング・モジュールの走査実効性を改善することができる。
[0062] オプションとして、アレイ光源によって放出されるビームの波長は、900nmより大きい。
[0063] 太陽光の中で900nmを超える光の強度は低い。従って、ビームの波長が900nmより大きい場合、それは太陽光に起因する干渉を低減するのに役立ち、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[0064] オプションとして、アレイ光源によって放出されるビームの波長は、940nm又は1550nmである。
[0065] 太陽光の中で940nm又は1550nm付近の光の強度は低い。従って、ビームの波長が940nm又は1550nmである場合、それは太陽光に起因する干渉を大幅に低減することができ、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[0066] 第2態様に関し、第2態様の一部の実装において、アレイ光源の発光面積は、5×5mm2以下であり;ビーム・スプリッタのビーム入射端面の面積は、5×5mm2以下であり;及びコリメーション・レンズ群の有効開口は、5mm以下である。
[0067] アレイ光源、ビーム・スプリッタ、及びコリメーション・レンズ群のサイズは小さいので、上記のデバイス(アレイ光源、ビーム・スプリッタ、及びコリメーション・レンズ群)を含むTOF深度センシング・モジュールは、端末デバイス内に統合しやすく、そのため、TOF深度センシング・モジュールが端末デバイス内に統合される場合に占める空間を、ある程度小さくすることができる。
[0068] 第2態様に関し、第2態様の一部の実装において、TOF深度センシング・モジュールの平均出力光パワーは、800mW以下である。
[0069] TOF深度センシング・モジュールの平均出力光パワーが800 mw以下である場合、TOF深度センシング・モジュールの電力消費は小さく、電力消費に敏感なデバイス、例えば端末デバイスに、TOF深度センシング・モジュールを配置することを促す。
[0070] 第3態様によれば、画像生成方法が提供され、ここで、画像生成方法は、第1態様におけるTOF深度センシング・モジュールを含む端末デバイスに適用され、画像生成方法は:制御ユニットを使用することにより、アレイ光源のN個の発光領域のうちのM個の発光領域を、M個の異なる時点でそれぞれ発光するように制御するステップ; コリメーション・レンズ群を使用することにより、M個の異なる時点でM個の発光領域によりそれぞれ生成されたビームに関してコリメーション処理を実行し、コリメーション処理が実行された後に得られるビームを取得するステップ;ビーム・スプリッタを使用することにより、コリメーション処理が実行された後に得られるビームに関してビーム分割処理を実行するステップ;受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップ;M個の異なる時点でアレイ光源のM個の発光領域によりそれぞれ放出されたビームに対応するTOFに基づいて、M個の深度マップを生成するステップ;及びM個の深度マップに基づいて、ターゲット・オブジェクトの最終深度マップを取得するステップを含む。
[0071] MはN以下であり、Mは正の整数であり、Nは1より大きな正の整数である。ビーム・スプリッタは、受信した各ビーム光を、複数のビーム光に分割するように具体的に構成されている。ターゲット・オブジェクトの反射ビームは、ビーム・スプリッタからのビームを反射することによって、ターゲット・オブジェクトから得られるビームである。
[0072] 制御ユニットを使用することにより、アレイ光源のN個の発光領域のうちのM個の発光領域を、M個の異なる時点でそれぞれ発光するように制御することは、具体的には、制御ユニットを使用することにより、M個の異なる時点で連続的に発光するように、M個の発光領域をそれぞれ制御することを意味している可能性がある。
[0073] コリメーション・レンズ群を使用することにより、M個の異なる時点でM個の発光領域によりそれぞれ生成されたビームに関してコリメーション処理を実行するステップは、具体的には、コリメーション・レンズ群を使用することにより、M個の異なる時点でM個の発光領域により生成されたビームに関してコリメーション処理をそれぞれ実行することを意味している可能性がある。
[0074] 例えば、制御ユニットは、時点T0で発光するように発光領域1を制御し、時点T1で発光するように発光領域2を制御し、時点T2で発光するように発光領域2を制御する。この場合、コリメーション・レンズ群は、時点T0において、発光領域1によって放出されたビームに関してコリメーション処理を実行し時点T1において、発光領域2によって放出されたビームに関してコリメーション処理を実行し時点T2において、発光領域3によって放出されたビームに関してコリメーション処理を実行することが可能である。
[0075] オプションとして、本方法は、M個の異なる時点でM個の発光領域によってそれぞれ放出されたビームに対応するTOFを取得するステップを更に含む。
[0076] オプションとして、M個の異なる時点でM個の発光領域によりそれぞれ放出されたビームに対応するTOFを取得するステップは:M個の異なる時点でM個の発光領域によってそれぞれ放出されたビームの放出時点と、対応する反射ビームの受信時点とに基づいて、M個の異なる時点でM個の発光領域によってそれぞれ放出されたビームに対応するTOFを決定するステップを含む。
[0077] M個の異なる時点でアレイ光源のM個の発光領域によりそれぞれ放出されたビームに対応するTOFは、具体的には、M個の異なる時点でアレイ光源のM個の発光領域によってそれぞれ放出されたビームの放出時点と、対応する反射ビームの受信時点との間の時間差に関する情報であってもよい。
[0078] 例えば、アレイ光源は、3つの発光領域A、B、Cを含み、発光領域Aは時点T0でビームを放出し、発光領域Bは時点T1でビームを放出し、発光領域Cは時点T2でビームを放出する。この場合、時点T0において発光領域Aにより放出されたビームに対応するTOFは、具体的には、時点T0と或る時点の間の時間差に関する情報であってもよく、或る時点は、時点T0で発光領域Aにより放出されたビームが、コリメーション・レンズ群のコリメーション処理とビーム・スプリッタのビーム分割処理を施され、ターゲット・オブジェクトに到達し、ターゲット・オブジェクトによって反射された後に、そのビームが最終的に受信ユニットに到達した(又は受信ユニットにより受信された)時点である。時点T1で発光領域Bにより放出されたビームに対応するTOFや、T2で発光領域Cにより放出されたビームに対応するTOFも、同様な意味を有する。
[0079] オプションとして、M個の深度マップに基づいてターゲット・オブジェクトの最終深度マップを取得することは、M個の深度マップを継ぎ合わせるか又は組み合わせてターゲット・オブジェクトの最終深度マップを取得することであってもよい。
[0080] また、コリメーション・レンズ群を使用してビームに関してコリメーション処理を実行することにより、ほぼ平行なビームを取得することができ、その結果、ビームのパワー密度を向上させることができ、そのビームを用いて以後に実行する走査の実効性を改善することができる。
[0081] 本件のこの実施形態では、アレイ光源の異なる発光領域は、時間分割により発光するように制御され、ビーム・スプリッタは、ビームに関してビーム分割処理を実行するように制御され、その結果、ある期間内にTOF深度センシング・モジュールによって放出されるビームの数量を向上させて、複数の深度マップを取得することができ、複数の深度マップに基づくスプライシングにより取得される最終深度は、高い空間分解能と高いフレーム・レートを有する。
[0082] 第3態様に関し、第3態様の一部の実装において、M個の深度マップは、それぞれ、ターゲット・オブジェクトのM個の領域セットに対応する深度マップであり、M個の領域セット内の何れの2つの領域セット間にもオーバーラップする領域は存在しない。
[0083] 第3態様に関し、第3態様の一部の実装において、受信ユニットは、受信レンズ群とセンサーを含み、受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップは:受信レンズ群を使用することにより、ターゲット・オブジェクトの反射ビームを、センサーに収束させるステップを含む。
[0084] センサーは、センサー・アレイと言及される場合もあり、センサー・アレイは、2次元センサー・アレイであってもよい。
[0085] 第3態様に関し、第3態様の一部の実装において、センサーの分解能はP×Q以上であり、アレイ光源の1つの発光領域からのビームに関してビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qである。
[0086] P及びQは双方ともに正の整数である。センサーの分解能は、ビーム・スプリッタが、アレイ光源の1つの発光領域からのビームに関してビーム分割を実行した後に得られるビームの数量以上である。従って、センサーは、ビーム・スプリッタからのビームを反射することにより、ターゲット・オブジェクトから得られる反射ビームを受信することができ、その結果、TOF深度センシング・モジュールは、通常的に、反射ビームを受信することができる。
[0087] 第3態様に関し、第3態様の一部の実装において、ビーム・スプリッタを使用することにより、コリメーション処理が実行された後に生成されるビームに関してビーム分割処理を実行するステップは:ビーム・スプリッタを使用することにより、コリメーション処理が実行された後に生成されるビームに関して、1次元又は2次元ビーム分割処理を実行するステップを含む。
[0088] 第4態様によれば、画像生成方法が提供され、ここで、画像生成方法は、第3態様におけるTOF深度センシング・モジュールを含む端末デバイスに適用され、画像生成方法は:制御ユニットを使用することにより、アレイ光源のN個の発光領域のうちのM個の発光領域を、M個の異なる時点でそれぞれ発光するように制御するステップ;ビーム・スプリッタを使用することにより、M個の異なる時点でM個の発光領域によりそれぞれ生成されたビームに関してビーム分割処理を実行するステップ;コリメーション・レンズ群を使用することにより、ビーム・スプリッタからのビームに関してコリメーション処理を実行するステップ;受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップであって、反射ビームは、コリメーション・レンズ群からのビームを反射することによって得られるターゲット・オブジェクトからのビームである、ステップ;M個の異なる時点でアレイ光源のM個の発光領域によりそれぞれ放出されたビームに対応するTOFに基づいて、M個の深度マップを生成するステップ;及びM個の深度マップに基づいて、ターゲット・オブジェクトの最終深度マップを取得するステップを含む。
[0089] N個の発光領域は互いにオーバーラップしておらず、MはN以下であり、Mは正の整数であり、Nは1より大きな正の整数である。ビーム・スプリッタは、受信した各ビーム光を、複数のビーム光に分割するように具体的に構成されている。
[0090] 制御ユニットを使用することにより、アレイ光源のN個の発光領域のうちのM個の発光領域を、M個の異なる時点でそれぞれ発光するように制御することは、具体的には、制御ユニットを使用することにより、M個の異なる時点で連続的に発光するように、M個の発光領域をそれぞれ制御することを意味している可能性がある。
[0091] ビーム・スプリッタを使用することにより、M個の異なる時点でM個の発光領域によりそれぞれ生成されたビームに関してビーム分割処理を実行することは、具体的には、ビーム・スプリッタを使用することにより、M個の異なる時点でM個の発光領域により生成されたビームに関してビーム分割処理をそれぞれ実行することを意味している可能性がある。
[0092] 例えば、制御ユニットは、アレイ光源の3つの発光領域を、時点T0、時点T1、及び時点T2でそれぞれ発光するように制御する。具体的には、発光領域1は時点T0で発光し、発光領域2は時点T1で発光し、発光領域3は時点T2で発光する。この場合、ビーム・スプリッタは、時点T0において、発光領域1によって放出されたビームに関してビーム分割処理を実行し時点T1において、発光領域2によって放出されたビームに関してビーム分割処理を実行し時点T2において、発光領域3によって放出されたビームに関してビーム分割処理を実行することが可能である。
[0093] オプションとして、本方法は、M個の異なる時点でM個の発光領域によってそれぞれ放出されるビームに対応するTOFを取得するステップを更に含む。
[0094] オプションとして、M個の異なる時点でM個の発光領域によりそれぞれ放出されたビームに対応するTOFを取得するステップは:M個の異なる時点でM個の発光領域によってそれぞれ放出されたビームの放出時点と、対応する反射ビームの受信時点とに基づいて、M個の異なる時点でM個の発光領域によってそれぞれ放出されたビームに対応するTOFを決定するステップを含む。
[0095] M個の異なる時点でアレイ光源のM個の発光領域によりそれぞれ放出されたビームに対応するTOFは、具体的には、M個の異なる時点でアレイ光源のM個の発光領域によってそれぞれ放出されたビームの放出時点と、対応する反射ビームの受信時点との間の時間差に関する情報であってもよい。
[0096] 例えば、アレイ光源は、3つの発光領域A、B、Cを含み、発光領域Aは時点T0でビームを放出し、発光領域Bは時点T1でビームを放出し、発光領域Cは時点T2でビームを放出する。この場合、時点T0において発光領域Aにより放出されたビームに対応するTOFは、具体的には、時点T0と或る時点の間の時間差に関する情報であってもよく、或る時点は、時点T0で発光領域Aにより放出されたビームが、コリメーション・レンズ群のコリメーション処理とビーム・スプリッタのビーム分割処理を施され、ターゲット・オブジェクトに到達し、ターゲット・オブジェクトによって反射された後に、そのビームが最終的に受信ユニットに到達した(又は受信ユニットにより受信された)時点である。時点T1で発光領域Bにより放出されたビームに対応するTOFや、T2で発光領域Cにより放出されたビームに対応するTOFも、同様な意味を有する。
[0097] 本件のこの実施形態では、アレイ光源の異なる発光領域は、時間分割により発光するように制御され、ビーム・スプリッタは、ビームに関してビーム分割処理を実行するように制御され、その結果、ある期間内にTOF深度センシング・モジュールによって放出されるビームの数量を向上させて、複数の深度マップを取得することができ、複数の深度マップに基づくスプライシングにより取得される最終深度は、高い空間分解能と高いフレーム・レートを有する。
[0098] 第4態様に関し、第4態様の一部の実装において、M個の深度マップは、それぞれ、ターゲット・オブジェクトのM個の領域セットに対応する深度マップであり、M個の領域セット内の何れの2つの領域セット間にもオーバーラップする領域は存在しない。
[0099] 第4態様に関し、第4態様の一部の実装において、受信ユニットは、受信レンズ群とセンサーを含み、受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップは:受信レンズ群を使用することにより、ターゲット・オブジェクトの反射ビームを、センサーに収束させるステップを含む。
[0100] センサーは、センサー・アレイと言及される場合もあり、センサー・アレイは、2次元センサー・アレイであってもよい。
[0101] 第4態様に関し、第4態様の一部の実装において、センサーの分解能はP×Q以上であり、アレイ光源の1つの発光領域からのビームに関してビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qである。
[0102] P及びQは双方ともに正の整数である。センサーの分解能は、ビーム・スプリッタが、アレイ光源の1つの発光領域からのビームに関してビーム分割を実行した後に得られるビームの数量以上である。従って、センサーは、ビーム・スプリッタからのビームを反射することにより、ターゲット・オブジェクトから得られる反射ビームを受信することができ、その結果、TOF深度センシング・モジュールは、通常的に、反射ビームを受信することができる。
[0103] 第4態様に関し、第4態様の一部の実装において、ビーム・スプリッタを使用することにより、M個の時点でM個の発光領域により生成されたビームに関してビーム分割処理をそれぞれ実行するステップは:ビーム・スプリッタを使用することにより、M個の時点でM個の発光領域により生成されたビームに関して、1次元又は2次元ビーム分割処理を実行するステップを含む。
[0104] 第5態様によれば、画像生成方法が提供され、ここで、画像生成方法は、第1態様におけるTOF深度センシング・モジュールを含む端末デバイスに適用され、画像生成方法は:端末デバイスの動作モードを決定するステップであって、端末デバイスの動作モードは第1動作モードと第2動作モードを含む、ステップを含む。
[0105] 端末デバイスが第1動作モードで動作する場合、画像生成方法は:アレイ光源のN個の発光領域のうちのL個の発光領域を、同時に発光するように制御するステップ;コリメーション・レンズ群を使用することにより、L個の発光領域により放出されたビームに関してコリメーション処理を実行するステップ;ビーム・スプリッタを使用することにより、コリメーション・レンズ群がコリメーション処理を実行した後に生成されるビームに関してビーム分割処理を実行するステップ;受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップ;及びL個の発光領域により放出されたビームに対応するTOFに基づいて、ターゲット・オブジェクトの最終深度マップを取得するステップを更に含む。
[0106] LはN以下であり、Lは正の整数であり、Nは1より大きな正の整数である。ビーム・スプリッタは、受信した各ビーム光を、複数のビーム光に分割するように具体的に構成されている。ターゲット・オブジェクトの反射ビームは、ビーム・スプリッタからのビームを反射することによって、ターゲット・オブジェクトから得られるビームである。
[0107] オプションとして、端末デバイスが第2動作モードで動作する場合、本方法は:L個の発光領域により放出されたビームに対応するTOFを取得するステップを更に含む。
[0108] オプションとして、L個の発光領域により放出されたビームに対応するTOFを取得するステップは:L個の発光領域によって放出されたビームの放出時点と、対応する反射ビームの受信時点とに基づいて、L個の発光領域によって放出されたビームに対応するTOFを決定するステップを含む。
[0109] L個の発光領域により放出されたビームに対応するTOFは、具体的には、アレイ光源のL個の発光領域によって放出されたビームの放出時点と、対応する反射ビームの受信時点との間の時間差に関する情報であってもよい。
[0110] 端末デバイスが第2動作モードで動作する場合、画像生成方法は:アレイ光源のN個の発光領域のうちのM個の発光領域を、M個の異なる時点で発光するように制御するステップ;コリメーション・レンズ群を使用することにより、M個の異なる時点でM個の発光領域によりそれぞれ生成されたビームに関してコリメーション処理を実行し、コリメーション処理が実行された後に得られるビームを取得するステップ;ビーム・スプリッタを使用することにより、コリメーション処理が実行された後に得られるビームに関してビーム分割処理を実行するステップ;受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップ;M個の異なる時点でM個の発光領域によりそれぞれ放出されたビームに対応するTOFに基づいて、M個の深度マップを生成するステップ;及びM個の深度マップに基づいて、ターゲット・オブジェクトの最終深度マップを取得するステップを更に含む。
[0111] MはN以下であり、M及びNは両方とも正の整数である。ビーム・スプリッタは、受信した各ビーム光を、複数のビーム光に分割するように具体的に構成されている。ターゲット・オブジェクトの反射ビームは、ビーム・スプリッタからのビームを反射することによって、ターゲット・オブジェクトから得られるビームである。
[0112] 第2動作モードでは、コリメーション・レンズ群を使用することにより、M個の異なる時点でM個の発光領域によりそれぞれ生成されたビームに関してコリメーション処理を実行することは、具体的には、コリメーション・レンズ群を使用することにより、M個の異なる時点でM個の発光領域により生成されたビームに関してコリメーション処理をそれぞれ実行することを意味している可能性がある。
[0113] 例えば、制御ユニットは、時点T0で発光するように発光領域1を制御し、時点T1で発光するように発光領域2を制御し、時点T2で発光するように発光領域2を制御する。この場合、コリメーション・レンズ群は、時点T0において、発光領域1によって放出されたビームに関してコリメーション処理を実行し、時点T1において、発光領域2によって放出されたビームに関してコリメーション処理を実行し、時点T2において、発光領域3によって放出されたビームに関してコリメーション処理を実行することが可能である。
[0114] M個の異なる時点でアレイ光源のM個の発光領域によりそれぞれ放出されたビームに対応するTOFは、具体的には、M個の異なる時点でアレイ光源のM個の発光領域によってそれぞれ放出されたビームの放出時点と、対応する反射ビームの受信時点との間の時間差に関する情報であってもよい。
[0115] また、コリメーション・レンズ群を使用してビームに関してコリメーション処理を実行することにより、ほぼ平行なビームを取得することができ、その結果、ビームのパワー密度を向上させることができ、そのビームを用いて以後に実行する走査の実効性を改善することができる。
[0116] 本件のこの実施態様において、画像生成方法は、異なる動作モードが存在する。従って、異なるケースに基づいて、第1動作モード又は第2動作モードを選択することにより、ターゲット・オブジェクトの深度マップを生成ことができ、その結果、ターゲット・オブジェクトの深度マップを生成する柔軟性を向上させることが可能になり、2つの動作モードにおいて、ターゲット・オブジェクトの高い分解能の深度マップを取得することができる。
[0117] 第5態様に関し、第5態様の一部の実装において、M個の深度マップは、それぞれ、ターゲット・オブジェクトのM個の領域セットに対応する深度マップであり、M個の領域セット内の何れの2つの領域セット間にもオーバーラップする領域は存在しない。
[0118] 第5態様に関し、第5態様の一部の実装において、受信ユニットは、受信レンズ群とセンサーを含み、第1動作モード又は第2動作モードにおいて、受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップは:受信レンズ群を使用することにより、ターゲット・オブジェクトの反射ビームを、センサーに収束させるステップを含む。
[0119] センサーは、センサー・アレイと言及される場合もあり、センサー・アレイは、2次元センサー・アレイであってもよい。
[0120] 第5態様に関し、第5態様の一部の実装において、センサーの分解能はP×Q以上であり、アレイ光源の1つの発光領域からのビームに関してビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qである。
[0121] P及びQは双方ともに正の整数である。センサーの分解能は、ビーム・スプリッタが、アレイ光源の1つの発光領域からのビームに関してビーム分割を実行した後に得られるビームの数量以上である。従って、センサーは、ビーム・スプリッタからのビームを反射することにより、ターゲット・オブジェクトから得られる反射ビームを受信することができ、その結果、TOF深度センシング・モジュールは、通常的に、反射ビームを受信することができる。
[0122] 第5態様に関し、第5態様の一部の実装では、第1動作モードにおいて、L個の発光領域により放出されたビームに対応するTOFに基づいて、ターゲット・オブジェクトの最終深度マップを取得するステップは:L個の発光領域により放出されたビームに対応するTOFに基づいて、ターゲット・オブジェクトのL個の領域の深度マップを生成するステップ;及びターゲット・オブジェクトのL個の領域の深度マップに基づいて、ターゲット・オブジェクトの深度マップを合成するステップを含む。
[0123] 第5態様に関し、第5態様の一部の実装では、第2動作モードにおいて、M個の異なる時点でM個の発光領域によってそれぞれ放出されたビームに対応するTOFに基づいて、ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離が決定され;ターゲット・オブジェクトのM個の領域の深度マップは、ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離に基づいて生成され;及びターゲット・オブジェクトの深度マップは、ターゲット・オブジェクトのM個の領域の深度マップに基づいて合成される。
[0124] 第5態様に関し、第5態様の一部の実装において、端末デバイスの動作モードを決定するステップは:ユーザーの動作モード選択情報に基づいて、端末デバイスの動作モードを決定するステップを含む。
[0125] ユーザーの動作モード選択情報は、第1動作モード及び第2動作モードのうちの1つを、端末デバイスの動作モードとして選択するために使用される。
[0126] 具体的には、画像生成方法が端末デバイスによって実行される場合に、端末デバイスは、ユーザーの動作モード選択情報をユーザーから取得することが可能である。例えば、ユーザーは、端末デバイスの操作インターフェースを使用することにより、ユーザーの動作モード選択情報を入力することができる。
[0127] 端末デバイスの動作モードは、ユーザーの動作モード選択情報に基づいて決定され、その結果、ユーザーは端末デバイスの動作モードを柔軟に選択して決定することができる。
[0128] 第5態様に関し、第5態様の一部の実装において、端末デバイスの動作モードを決定するステップは:端末デバイスとターゲット・オブジェクトとの間の距離に基づいて、端末デバイスの動作モードを決定するステップを含む。
[0129] 第5態様に関し、第5態様の一部の実装において、端末デバイスの動作モードを決定するステップは:ターゲット・オブジェクトが配置されている状況に基づいて、端末デバイスの動作モードを決定するステップを含む。
[0130] 端末デバイスの動作モードは、端末デバイスとターゲット・オブジェクトとの距離、又はターゲット・オブジェクトが位置するシナリオ、に基づいて柔軟に決定することが可能であり、その結果、端末デバイスは適切な動作モードで動作する。
[0131] 第5態様に関し、第5態様の一部の実装において、端末デバイスとターゲット・オブジェクトとの間の距離に基づいて、端末デバイスの動作モードを決定するステップは:端末デバイスとターゲット・オブジェクトとの間の距離が、事前に設定された距離以下である場合には、端末デバイスは第1動作モードで動作する、と決定するステップ;又は端末デバイスとターゲット・オブジェクトとの間の距離が、事前に設定された距離より大きい場合には、端末デバイスは第2動作モードで動作する、と決定するステップを含む。
[0132] 端末デバイスとターゲット・オブジェクトとの間の距離が小さい場合、アレイ光源は、ターゲット・オブジェクトに到達する複数のビームを同時に放出するのに十分な発光パワーを有する。そこで、端末デバイスとターゲット・オブジェクトとの間の距離が小さい場合には、第1動作モードが使用され、その結果、アレイ光源の複数の発光領域は同時に発光して、ターゲット・オブジェクトのより多くの領域の深度情報を取得することを支援し、ターゲット・オブジェクトの深度マップの分解能が固定されている場合に、ターゲット・オブジェクトの深度マップのフレーム・レートを改善することが可能である。
[0133] 端末デバイスとターゲット・オブジェクトとの間の距離が大きい場合、アレイ光源の総パワーは限られているので、第2動作モードを使用することにより、ターゲット・オブジェクトの深度マップを取得することができる。具体的には、アレイ光源は、時間分割によりビームを放出するように制御され、その結果、時間分割によりアレイ光源によって放出されたビームも、ターゲット・オブジェクトに到達することができる。従って、端末デバイスがターゲット・オブジェクトから遠く離れている場合には、ターゲット・オブジェクトの様々な領域の深度情報も時間分割により取得され、ターゲット・オブジェクトの深度マップを取得することが可能である。
[0134] 第5態様に関し、第5態様の一部の実装において、ターゲット・オブジェクトが配置されている状況に基づいて端末デバイスの動作モードを決定するステップは:端末デバイスが屋内の状況にある場合には、端末デバイスは第1動作モードで動作する、と決定するステップ;又は端末デバイスが屋外の状況にある場合には、端末デバイスは第2動作モードで動作する、と決定するステップを含む。
[0135] 端末デバイスが屋内の状況にある場合、端末デバイスとターゲット・オブジェクトとの間の距離は小さく、外部ノイズは弱いので、アレイ光源は、ターゲット・オブジェクトに到達する複数のビームを同時に放出するのに十分な発光パワーを有する。そこで、端末デバイスとターゲット・オブジェクトとの間の距離が小さい場合には、第1動作モードが使用され、その結果、アレイ光源の複数の発光領域は同時に発光して、ターゲット・オブジェクトのより多くの領域の深度情報を取得することを支援し、ターゲット・オブジェクトの深度マップの分解能が固定されている場合に、ターゲット・オブジェクトの深度マップのフレーム・レートを改善することが可能である。
[0136] 端末デバイスが屋外の状況にある場合、端末デバイスとターゲット・オブジェクトとの間の距離は大きく、外部ノイズは大きく、アレイ光源の総パワーは限られているので、第2動作モードを使用することにより、ターゲット・オブジェクトの深度マップを取得することができる。具体的には、アレイ光源は、時間分割によりビームを放出するように制御され、その結果、時間分割によりアレイ光源によって放出されたビームも、ターゲット・オブジェクトに到達することができる。従って、端末デバイスがターゲット・オブジェクトから遠く離れている場合には、ターゲット・オブジェクトの様々な領域の深度情報も時間分割により取得され、ターゲット・オブジェクトの深度マップを取得することが可能である。
[0137] 第6態様によれば、画像生成方法が提供され、ここで、画像生成方法は、第2態様におけるTOF深度センシング・モジュールを含む端末デバイスに適用され、画像生成方法は:端末デバイスの動作モードを決定するステップであって、端末デバイスの動作モードは第1動作モードと第2動作モードを含む、ステップを含む。
[0138] 端末デバイスが第1動作モードで動作する場合、画像生成方法は:アレイ光源のN個の発光領域のうちのL個の発光領域を、同時に発光するように制御するステップ;ビーム・スプリッタを使用することにより、L個の発光領域からのビームに関してビーム分割処理を実行するステップ;コリメーション・レンズ群を使用することにより、ビーム・スプリッタからのビームに関してコリメーション処理を実行して、コリメーション処理が実行された後に得られるビームを取得するステップ;受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップ;及びL個の発光領域により放出されたビームに対応するTOFに基づいて、ターゲット・オブジェクトの最終深度マップを生成するステップを更に含む。
[0139] LはN以下であり、Lは正の整数であり、Nは1より大きな正の整数である。ビーム・スプリッタは、受信した各ビーム光を、複数のビーム光に分割するように具体的に構成されている。ターゲット・オブジェクトの反射ビームは、コリメーション処理が実行された後に得られるビームを反射することによって、ターゲット・オブジェクトから得られるビームである。
[0140] オプションとして、端末デバイスが第2動作モードで動作する場合、本方法は:L個の発光領域により放出されたビームに対応するTOFを取得するステップを更に含む。
[0141] オプションとして、L個の発光領域により放出されたビームに対応するTOFを取得するステップは:L個の発光領域によって放出されたビームの放出時点と、対応する反射ビームの受信時点とに基づいて、L個の発光領域によって放出されたビームに対応するTOFを決定するステップを含む。
[0142] L個の発光領域により放出されたビームに対応するTOFは、具体的には、アレイ光源のL個の発光領域によって放出されたビームの放出時点と、対応する反射ビームの受信時点との間の時間差に関する情報であってもよい。
[0143] 端末デバイスが第2動作モードで動作する場合、画像生成方法は:アレイ光源のN個の発光領域のうちのM個の発光領域を、M個の異なる時点で発光するように制御するステップ;ビーム・スプリッタを使用することにより、M個の異なる時点でM個の発光領域によりそれぞれ生成されたビームに関してビーム分割処理を実行するステップ;コリメーション・レンズ群を使用することにより、ビーム・スプリッタからのビームに関してコリメーション処理を実行するステップ;受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップ;M個の異なる時点でM個の発光領域によりそれぞれ放出されたビームに対応するTOFに基づいて、M個の深度マップを生成するステップ;及びM個の深度マップに基づいて、ターゲット・オブジェクトの最終深度マップを取得するステップを更に含む。
[0144] MはN以下であり、M及びNは双方ともに正の整数である。ビーム・スプリッタは、受信した各ビーム光を、複数のビーム光に分割するように具体的に構成されている。ターゲット・オブジェクトの反射ビームは、コリメーション・レンズ群からのビームを反射することによって、ターゲット・オブジェクトから得られるビームである。
[0145] 第2動作モードにおいて、ビーム・スプリッタを使用することにより、M個の異なる時点でM個の発光領域によりそれぞれ生成されたビームに関してビーム分割処理を実行することは、具体的には、ビーム・スプリッタを使用することにより、M個の異なる時点でM個の発光領域により生成されたビームに関してビーム分割処理をそれぞれ実行することを意味している可能性がある。
[0146] 例えば、制御ユニットは、アレイ光源の3つの発光領域を、時点T0、時点T1、及び時点T2でそれぞれ発光するように制御する。具体的には、発光領域1は時点T0で発光し、発光領域2は時点T1で発光し、発光領域3は時点T2で発光する。この場合、ビーム・スプリッタは、時点T0において、発光領域1によって放出されたビームに関してビーム分割処理を実行し、時点T1において、発光領域2によって放出されたビームに関してビーム分割処理を実行し、時点T2において、発光領域3によって放出されたビームに関してビーム分割処理を実行することが可能である。
[0147] M個の異なる時点でアレイ光源のM個の発光領域によりそれぞれ放出されたビームに対応するTOFは、具体的には、M個の異なる時点でアレイ光源のM個の発光領域によってそれぞれ放出されたビームの放出時点と、対応する反射ビームの受信時点との間の時間差に関する情報であってもよい。
[0148] また、コリメーション・レンズ群を使用してビームに関してコリメーション処理を実行することにより、ほぼ平行なビームを取得することができ、その結果、ビームのパワー密度を向上させることができ、そのビームを用いて以後に実行する走査の実効性を改善することができる。
[0149] 本件のこの実施態様において、画像生成方法は、異なる動作モードが存在する。従って、異なるケースに基づいて、第1動作モード又は第2動作モードを選択することにより、ターゲット・オブジェクトの深度マップを生成ことができ、その結果、ターゲット・オブジェクトの深度マップを生成する柔軟性を向上させることが可能になる。
[0150] 第6態様に関し、第6態様の一部の実装において、M個の深度マップは、それぞれ、ターゲット・オブジェクトのM個の領域セットに対応する深度マップであり、M個の領域セット内の何れの2つの領域セット間にもオーバーラップする領域は存在しない。
[0151] 第6態様に関し、第6態様の一部の実装において、受信ユニットは、受信レンズ群とセンサーを含み、第1動作モード又は第2動作モードにおいて、受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップは:受信レンズ群を使用することにより、ターゲット・オブジェクトの反射ビームを、センサーに収束させるステップを含む。
[0152] センサーは、センサー・アレイと言及される場合もあり、センサー・アレイは、2次元センサー・アレイであってもよい。
[0153] 第6態様に関し、第6態様の一部の実装において、センサーの分解能はP×Q以上であり、アレイ光源の1つの発光領域からのビームに関してビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qである。
[0154] P及びQは双方ともに正の整数である。センサーの分解能は、ビーム・スプリッタが、アレイ光源の1つの発光領域からのビームに関してビーム分割を実行した後に得られるビームの数量以上である。従って、センサーは、コリメーション・レンズ群からのビームを反射することにより、ターゲット・オブジェクトから得られる反射ビームを受信することができ、その結果、TOF深度センシング・モジュールは、通常的に、反射ビームを受信することができる。
[0155] 第6態様に関し、第6態様の一部の実装では、第1動作モードにおいて、L個の発光領域により放出されたビームに対応するTOFに基づいて、ターゲット・オブジェクトの最終深度マップを取得するステップは:L個の発光領域により放出されたビームに対応するTOFに基づいて、ターゲット・オブジェクトのL個の領域の深度マップを生成するステップ;及びターゲット・オブジェクトのL個の領域の深度マップに基づいて、ターゲット・オブジェクトの深度マップを合成するステップを含む。
[0156] 第6態様に関し、第6態様の一部の実装では、第2動作モードにおいて、M個の異なる時点でM個の発光領域によってそれぞれ放射されたビームに対応するTOFに基づいて、ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離が決定され;ターゲット・オブジェクトのM個の領域の深度マップは、ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離に基づいて生成され;及びターゲット・オブジェクトの深度マップは、ターゲット・オブジェクトのM個の領域の深度マップに基づいて合成される。
[0157] 第6態様に関し、第6態様の一部の実装において、端末デバイスの動作モードを決定するステップは:ユーザーの動作モード選択情報に基づいて、端末デバイスの動作モードを決定するステップを含む。
[0158] ユーザーの動作モード選択情報は、第1動作モード及び第2動作モードのうちの1つを、端末デバイスの動作モードとして選択するために使用される。
[0159] 具体的には、画像生成方法が端末デバイスによって実行される場合に、端末デバイスは、ユーザーの動作モード選択情報をユーザーから取得することが可能である。例えば、ユーザーは、端末デバイスの操作インターフェースを使用することにより、ユーザーの動作モード選択情報を入力することができる。
[0160] 端末デバイスの動作モードは、ユーザーの動作モード選択情報に基づいて決定され、その結果、ユーザーは端末デバイスの動作モードを柔軟に選択して決定することができる。
[0161] 第6態様に関し、第6態様の一部の実装において、端末デバイスの動作モードを決定するステップは:端末デバイスとターゲット・オブジェクトとの間の距離に基づいて、端末デバイスの動作モードを決定するステップを含む。
[0162] 第6態様に関し、第6態様の一部の実装において、端末デバイスの動作モードを決定するステップは:ターゲット・オブジェクトが配置されている状況に基づいて、端末デバイスの動作モードを決定するステップを含む。
[0163] 端末デバイスの動作モードは、端末デバイスとターゲット・オブジェクトとの間の距離、又はターゲット・オブジェクトが位置するシナリオ、に基づいて柔軟に決定することが可能であり、その結果、端末デバイスは適切な動作モードで動作する。
[0164] 第6態様に関し、第6態様の一部の実装において、端末デバイスとターゲット・オブジェクトとの間の距離に基づいて、端末デバイスの動作モードを決定するステップは:端末デバイスとターゲット・オブジェクトとの間の距離が、事前に設定された距離以下である場合には、端末デバイスは第1動作モードで動作する、と決定するステップ;又は端末デバイスとターゲット・オブジェクトとの間の距離が、事前に設定された距離より大きい場合には、端末デバイスは第2動作モードで動作する、と決定するステップを含む。
[0165] 端末デバイスとターゲット・オブジェクトとの間の距離が小さい場合、アレイ光源は、ターゲット・オブジェクトに到達する複数のビームを同時に放出するのに十分な発光パワーを有する。そこで、端末デバイスとターゲット・オブジェクトとの間の距離が小さい場合には、第1動作モードが使用され、その結果、アレイ光源の複数の発光領域は同時に発光して、ターゲット・オブジェクトのより多くの領域の深度情報を取得することを支援し、ターゲット・オブジェクトの深度マップの分解能が固定されている場合に、ターゲット・オブジェクトの深度マップのフレーム・レートを改善することが可能である。
[0166] 端末デバイスとターゲット・オブジェクトとの間の距離が大きい場合、アレイ光源の総パワーは限られているので、第2動作モードを使用することにより、ターゲット・オブジェクトの深度マップを取得することができる。具体的には、アレイ光源は、時間分割によりビームを放出するように制御され、その結果、時間分割によりアレイ光源によって放出されたビームも、ターゲット・オブジェクトに到達することができる。従って、端末デバイスがターゲット・オブジェクトから遠く離れている場合には、ターゲット・オブジェクトの様々な領域の深度情報も時間分割により取得され、ターゲット・オブジェクトの深度マップを取得することが可能である。
[0167] 第6態様に関し、第6態様の一部の実装において、ターゲット・オブジェクトが配置されている状況に基づいて端末デバイスの動作モードを決定するステップは:端末デバイスが屋内の状況にある場合には、端末デバイスは第1動作モードで動作する、と決定するステップ;又は端末デバイスが屋外の状況にある場合には、端末デバイスは第2動作モードで動作する、と決定するステップを含む。
[0168] 端末デバイスが屋内の状況にある場合、端末デバイスとターゲット・オブジェクトとの間の距離は小さく、外部ノイズは弱いので、アレイ光源は、ターゲット・オブジェクトに到達する複数のビームを同時に放出するのに十分な発光パワーを有する。そこで、端末デバイスとターゲット・オブジェクトとの間の距離が小さい場合には、第1動作モードが使用され、その結果、アレイ光源の複数の発光領域は同時に発光して、ターゲット・オブジェクトのより多くの領域の深度情報を取得することを支援し、ターゲット・オブジェクトの深度マップの分解能が固定されている場合に、ターゲット・オブジェクトの深度マップのフレーム・レートを改善することが可能である。
[0169] 端末デバイスが屋外の状況にある場合、端末デバイスとターゲット・オブジェクトとの間の距離は大きく、外部ノイズは大きく、アレイ光源の総パワーは限られているので、第2動作モードを使用することにより、ターゲット・オブジェクトの深度マップを取得することができる。具体的には、アレイ光源は、時間分割によりビームを放出するように制御され、その結果、時間分割によりアレイ光源によって放出されたビームも、ターゲット・オブジェクトに到達することができる。従って、端末デバイスがターゲット・オブジェクトから遠く離れている場合には、ターゲット・オブジェクトの様々な領域の深度情報も時間分割により取得され、ターゲット・オブジェクトの深度マップを取得することが可能である。
[0170] 第7態様によれば、端末デバイスが提供され、ここで、端末デバイスは第1態様におけるTOF深度センシング・モジュールを含む。
[0171] 第7態様における端末デバイスは、第3態様又は第5態様の画像生成方法を実行することができる。
[0172] 第8態様によれば、端末デバイスが提供され、ここで、端末デバイスは第2態様におけるTOF深度センシング・モジュールを含む。
[0173] 第8態様における端末デバイスは、第4態様又は第6態様の画像生成方法を実行することができる。
[0174] 第7態様又は第8態様の端末デバイスは、具体的には、スマートフォン、タブレット、コンピュータ、ゲーム・デバイス等であってもよい。
[0175] 図1は、レーザー・レーダーの距離測定原理の概略図である。 [0176] 図2は、本件の実施形態によるTOF深度センシング・モジュールを用いて距離測定を行う概略図である。 [0177] 図3は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。 [0178] 図4は、VCSELの概略図である。 [0179] 図5は、アレイ光源の概略図である。 [0180] 図6は、ビーム・スプリッタを使用することにより、アレイ光源によって放出されたビームに関してビーム分割を実行する際の概略図である。 [0181] 図7は、ビーム・スプリッタを使用することにより、アレイ光源によって放出されたビームに関してビーム分割を実行することで得られる投影領域の概略図である。 [0182] 図8は、ビーム・スプリッタを使用することにより、アレイ光源によって放出されたビームに関してビーム分割を実行することで得られる投影領域の概略図である。 [0183] 図9は、ビーム・スプリッタを使用することにより、アレイ光源によって放出されたビームに関してビーム分割を実行することで得られる投影領域の概略図である。 [0184] 図10は、ビーム・スプリッタを使用することにより、アレイ光源によって放出されたビームに関してビーム分割を実行することで得られる投影領域の概略図である。 [0185] 図11は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0186] 図12は、ビーム・スプリッタを使用することにより、ビーム分割処理を実行する際の概略図である。 [0187] 図13は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0188] 図14は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0189] 図15は、本件の実施形態によるTOF深度センシング・モジュールの動作概略図である。 [0190] 図16は、アレイ光源の発光領域の概略図である。 [0191] 図17は、ビーム・スプリッタを使用することにより、図16に示すアレイ光源によって放出されたビームに関してビーム分割処理を実行する際の概略図である。 [0192] 図18は、本件の実施形態による画像生成方法の概略フローチャートである。 [0193] 図19は、時点t0ないしt3におけるターゲット・オブジェクトの深度マップを示す。 [0194] 図20は、本件の実施形態による画像生成方法の概略フローチャートである。 [0195] 図21は、本件の実施形態による画像生成方法の概略フローチャートである。 [0196] 図22は、第1動作モードでターゲット・オブジェクトの最終深度マップを取得する際の概略フローチャートである。 [0197] 図23は、第1動作モードでターゲット・オブジェクトの最終深度マップを取得する際の概略フローチャートである。 [0198] 図24は、第2動作モードでターゲット・オブジェクトの最終深度マップを取得する際の概略フローチャートである。 [0199] 図25は、第2動作モードでターゲット・オブジェクトの最終深度マップを取得する際の概略フローチャートである。 [0200] 図26は、本件の実施形態によるTOF深度センシング・モジュールを使用することにより、距離測定を実行する際の概略図である。 [0201] 図27は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。 [0202] 図28は、ビームの空間角度の概略図である。 [0203] 図29は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。 [0204] 図30は、本件の実施形態によるTOF深度センシング・モジュールによりターゲット・オブジェクトを走査する際の概略図である。 [0205] 図31は、本件の実施形態によるTOF深度センシング・モジュールの走査トラックの概略図である。 [0206] 図32は、本件の実施形態によるTOF深度センシング・モジュールの走査方法の概略図である。 [0207] 図33は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。 [0208] 図34は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。 [0209] 図35は、本件の実施形態による液晶偏光格子の構造の概略図である。 [0210] 図36は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0211] 図37は、周期的な制御信号を使用することによって、液晶偏光格子の物理特性を変化させる際の概略図である。 [0212] 図38は、液晶偏光格子によって入力ビームの方向を制御する際の概略図である。 [0213] 図39は、液晶偏光格子に印加される電圧信号の概略図である。 [0214] 図40は、本件の実施形態によるTOF深度センシング・モジュールの走査トラックの概略図である。 [0215] 図41は、走査対象領域の概略図である。 [0216] 図42は、走査対象領域の概略図である。 [0217] 図43は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0218] 図44は、電気-光学結晶によるビームの方向の制御する際の概略図である [0219] 図45は、電気-光学結晶に印加される電圧信号の概略図である。 [0220] 図46は、本件の実施形態によるTOF深度センシング・モジュールの走査トラックの概略図である。 [0221] 図47は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0222] 図48は、音響-光学デバイスによってビームの方向を制御する際の概略図である。 [0223] 図49は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0224] 図50は、OPAデバイスによるビームの方向を制御する際の概略図である。 [0225] 図51は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0226] 図52は、本件の実施形態による画像生成方法の概略フローチャートである。 [0227] 図53は、本件の実施形態によるTOF深度センシング・モジュールを使用することにより、距離測定を実行する際の概略図である。 [0228] 図54は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0229] 図55は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。 [0230] 図56は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。 [0241] 図57は、本件の実施形態による画像生成方法の概略フローチャートである。 [0232] 図58は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。 [0233] 図59は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。 [0234] 図60は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。 [0235] 図61は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0236] 図62は、本件の実施形態による画像生成方法の概略フローチャートである。 [0237] 図63は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0238] 図64は、本件の実施形態による液晶偏光デバイスの構造の概略図である。 [0239] 図65は、制御時間シーケンスの概略図である。 [0240] 図66は、電圧駆動信号の時間シーケンス図である。 [0241] 図67は、異なる時点におけるTOF深度センシング・モジュールの走査領域の概略図である。 [0242] 図68は、時点t0ないしt3におけるターゲット・オブジェクトに対応する深度マップの概略図である。 [0243] 図69は、ターゲット・オブジェクトの最終深度マップの概略図である。 [0244] 図70は、本件の実施形態によるTOF深度センシング・モジュールの動作概略図である。 [0245] 図71は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0246] 図72は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0247] 図73は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0248] 図74は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0249] 図75は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0250] 図76は、本件の実施形態によるTOF深度センシング・モジュール500の構造の概略図である。 [0251] 図77は、マイクロレンズ・ディフューザーの形態の概略図である [0252] 図78は、本件の実施形態による画像生成方法の概略フローチャートである。 [0253] 図79は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0254] 図80は、本件の実施形態によるTOF深度センシング・モジュールの特定の構造の概略図である。 [0255] 図81は、本件の実施形態によるTOF深度センシング・モジュールの特定の構造の概略図である。 [0256] 図82は、本件の実施形態によるTOF深度センシング・モジュールの特定の構造の概略図である。 [0257] 図83は、本件の実施形態によるTOF深度センシング・モジュールの特定の構造の概略図である。 [0258] 図84は、本件の実施形態によるTOF深度センシング・モジュール600の構造の概略図である。 [0259] 図85は、本件の実施形態によるTOF深度センシング・モジュール600の構造の概略図である。 [0260] 図86は、本件の実施形態によるTOF深度センシング・モジュール600の構造の概略図である。 [0261] 図87は、偏光フィルタの受信偏光ビームの概略図である。 [0262] 図88は、本件の実施形態による画像生成方法の概略フローチャートである。 [0263] 図89は、本件の実施形態によるTOF深度センシング・モジュールの特定の構造の概略図である。 [0264] 図90は、本件の実施形態によるTOF深度センシング・モジュールの特定の構造の概略図である。 [0265] 図91は、本件の実施形態によるTOF深度センシング・モジュールの特定の構造の概略図である。 [0266] 図92は、本件の実施形態によるTOF深度センシング・モジュールの特定の構造の概略図である。 [0267] 図93は、本件の実施形態によるTOF深度センシング・モジュールの特定の構造の概略図である。 [0268] 図94は、本件の実施形態によるTOF深度センシング・モジュールの駆動信号及び受信信号の概略図である。 [0269] 図95は、本件の実施形態によるTOF深度センシング・モジュールによって放出されるビームの角度及び状態の概略図である。 [0270] 図96は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0271] 図97は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0272] 図98は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。 [0273] 図99は、平坦な液晶セルのビーム偏向原理の概略図である。 [0274] 図100は、平坦な液晶セルのビーム偏向原理の概略図である。 [0275] 図101は、本件の実施形態による画像生成方法の概略フローチャートである。 [0276] 図102は、第1ビームのFOVの概略図である。 [0277] 図103は、M個の方向で出現ビームによってカバーされる全FOVの概略図である。 [0278] 図104は、本件の実施形態によるTOF深度センシング・モジュールにより、M個の異なる方向で走査を実行する際の概略図である。 [0279] 図105は、本件の実施形態による解決策の設計全体の概略フローチャートである。
[0280] 以下、添付の図面を参照しながら本件の技術的解決策を説明する。
[0281] 図1は、レーザー・レーダーの距離測定原理の概略図である。
[0282] 図1に示すように、レーザー・レーダーの送信器は、レーザー・パルスを放出する(パルス幅は、ナノ秒ないしピコ秒のオーダーであってもよい)。同時に、タイマーが計時を開始する。レーザー・パルスがターゲット領域に照射されると、ターゲット領域の表面の反射に起因して、反射されたレーザー・パルスが生じる。レーザー・レーダーの検出器が、反射レーザー・パルスを受信すると、タイマーは計時を停止して、飛行時間(time of flight, TOF)を求める。次に、TOFに基づいて、レーザー・レーダーとターゲット領域との間の距離を計算することが可能である。
[0283] 具体的には、式(1)に従ってレーザー・レーダーとターゲット領域との間の距離を決定することができる:
L=c*T/2 (1)
[0284] 前述の式(1)において、Lは、レーザー・レーダーとターゲット領域との間の距離であり、cは光の速度であり、Tは光の伝搬時間である。
[0285] 本件の実施形態におけるTOF深度センシング・モジュールでは、光源がビームを放出した後、ビームはTOF深度センシング・モジュール内の別の要素(例えば、コリメーション・レンズ群、及びビーム・スプリッタ)によって処理されることを必要とし、その結果、ビームは最終的に送信端部から放出される、ということが理解されるべきである。このプロセスにおいて、TOF深度センシング・モジュール内の要素からのビームは、要素によって放出されたビームと言及される場合がある。
[0286] 例えば、光源はビームを放出し、ビームはコリメーション・レンズ群のコリメーション処理を受けた後に放出される。コリメーション・レンズ群によって放出されるビームは、実際には、コリメーション・レンズ群からのビームと言及される場合がある。本件におけるコリメーション・レンズ群によって放出されるビームは、コリメーション・レンズ群自身によって放出されたビームではなく、前述の要素を経て伝搬したビームが処理された後に放出されるビームである。
[0287] オプションとして、本件の実施形態において、光源は、レーザー光源、発光ダイオード(light emitting diode, LED)光源、又は別の形態の光源であってもよい。これは、本発明において網羅的に説明されてはない。
[0288] オプションとして、光源はレーザー光源であり、レーザー光源は具体的にはアレイ光源であってもよい。
[0289] 更に、本件では、レーザー光源又はアレイ光源によって放出されるビームは、レーザー光源又はアレイ光源からのビームとして言及される場合がある。レーザー光源からのビームもまた、レーザー・ビームと言及される場合があることは理解されるべきである。説明の簡明化のために、レーザー・ビームは、本件ではまとめてビームとして言及される。
[0290] 以下、先ず図2を参照しながら、本件の実施形態におけるTOF深度センシング・モジュールを簡単に説明する。
[0291] 図2は、本件の実施形態によるTOF深度センシング・モジュールを用いて距離測定を実行する際の概略図である。
[0292] 図2に示されるように、TOF深度センシング・モジュールは、送信端部(又は、投影端部と言及されてもよい)、受信端部、及び制御ユニットを含む可能性がある。送信端部は、出現ビーム(emergent beam)を生成するように構成されている。受信端部は、ターゲット・オブジェクトの反射ビーム(反射ビームは、出現ビームを反射することによってターゲット・オブジェクトから得られるビームである)を受信するように構成されている。制御ユニットは、送信端部と受信端部のそれぞれを、ビームを放出及び受信するように制御することができる。
[0293] 図2において、送信端部は、一般に、光源、ビーム・スプリッタ、コリメーション・レンズ群、及び投影レンズ群(オプション)を含む可能性がある。受信端部は、一般に、受信レンズ群及びセンサーを含む可能性がある。受信レンズ群及びセンサーは、まとめて受信ユニットと言及される場合がある。
[0294] 図2において、出現ビームに対応するTOFは、タイミング装置を用いて記録され、TOF深度センシング・モジュールとターゲット領域との間の距離を計算し、ターゲット・オブジェクトの最終的な深度マップを取得することができる。出現ビームに対応するTOFは、反射ビームが受信ユニットによって受信される時点と、出現ビームの発生時点との間の時間差に関する情報であってもよい。
[0295] 図2における光源は、レーザー光源であってもよく、レーザー光源は、特にアレイ光源であってもよい。
[0296] 本件のこの実施形態におけるTOF深度センシング・モジュールは、3次元( three-dimensions, 3D)画像を取得するように構成されてもよい。本件のこの実施形態におけるTOF深度センシング・モジュールは、インテリジェント端末(例えば、携帯電話、タブレット、及びウェアラブル・デバイス)内に配置されてもよく、深度画像又は3D画像を取得するように構成されるものであり、3Dゲーム又はモーション・センシング・ゲーム用のジェスチャ及び身体認識をもたらす可能性がある。
[0297] 以下、図3を参照しながら、本件の実施形態におけるTOF深度センシング・モジュールを詳細に説明する。
[0298] 図3は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。
[0299] 図3に示されるTOF深度センシング・モジュール100は、アレイ光源110、コリメーション・レンズ群120、ビーム・スプリッタ130、受信ユニット140、及び制御ユニット150を含む。以下、TOF深度センシング・モジュール100内のモジュール又はユニットを詳細に説明する。
[0300][0301] アレイ光源110は、ビームを生成(放出)するように構成されている。
[0302] アレイ光源110は、N個の発光領域を含み、各々の発光領域は、独立してビームを生成することが可能であり、Nは1より大きな正の整数である。
[0303] オプションとして、各々の発光領域は、独立してレーザー・ビームを生成することが可能である。
[0304] 制御ユニット150は、アレイ光源110のN個の発光領域のうちのM個の発光領域を、発光するように、制御するように構成されている。
[0305] コリメーション・レンズ群120は、M個の発光領域によって放出されたビームに関してコリメーション処理を実行するように構成されている。
[0306] ビーム・スプリッタ130は、コリメーション・レンズ群がコリメーション処理を実行した後に得られるビームに関してビーム分割処理を実行するように構成されている。
[0307] 受信ユニット140は、ターゲット・オブジェクトの反射ビームを受信するように構成されている。
[0308] MはN以下であり、Mは正の整数であり、Nは1より大きな正の整数である。ビーム・スプリッタは、具体的には、受信した各ビーム光を、複数のビーム光に分割するように構成されている。ターゲット・オブジェクトの反射ビームは、ビーム・スプリッタからのビームを反射することによってターゲット・オブジェクトから得られるビームである。M個の発光領域によって放出されるビームは、M個の発光領域からのビームとして言及される場合がある。
[0309] MはN以下であるので、制御ユニット150は、アレイ光源110のうちの全部又は一部の発光領域を、発光するように制御することが可能である。
[0310] N個の発光領域は、N個の独立した発光領域であってもよく、即ち、N個の発光領域の各々の発光領域は、他の発光領域の影響を受けずに独立して発光することが可能である。N個の発光領域の各々の発光領域について、各々の発光領域は、一般に、複数の発光ユニットを含む。N個の発光領域において、異なる発光領域は、異なる発光ユニットを含み、即ち、1つの発光ユニットは唯1つの発光領域に属する。各々の発光領域に関し、制御ユニットが発光領域を発光するように制御する場合に、発光領域内の全ての発光ユニットが発光する可能性がある。
[0311] アレイ光源の発光領域の総量は、Nであってもよい。M=Nである場合、制御ユニットは、アレイ光源の全ての発光領域を、同時に又は時間分割で発光するように制御することが可能である。
[0312] オプションとして、制御ユニットは、アレイ光源のN個の発光領域のうちのM個の発光領域を、同時に発光するように、制御するように構成されている。
[0313] 例えば、制御ユニットは、アレイ光源のN個の発光領域のうちのM個の発光領域を、時点T0で同時に発光するように、制御することが可能である。
[0314] オプションとして、制御ユニットは、アレイ光源のN個の発光領域のうちのM個の発光領域を、M個の異なる時点でそれぞれ発光するように、制御するように構成されている。
[0315] 例えば、M=3である。制御ユニットは、アレイ光源の3つの発光領域を、時点T0、時点T1、及び時点T2でそれぞれ発光するように制御することが可能であり、即ち、3つの発光領域において、第1発光領域は時点T0で光を放出し、第2発光領域は時点T1で光を放出し、第3発光領域は時点T2で光を放出する。
[0316] オプションとして、制御ユニットは、アレイ光源のN個の発光領域のうちのM個の発光領域を、M0個の異なる時点で別々に発光するように、制御するように構成されており、ここで、M0は1より大きくMより小さい正の整数である。
[0317] 例えば、M=3及びM0=2である。制御ユニットは、アレイ光源の3つの発光領域のうちの1つの発光領域を、時点T0で発光するように制御し、アレイ光源の3つの発光領域のうちの他の2つの発光領域を、時点T1で発光するように制御することが可能である。
[0318] 本件のこの実施形態では、アレイ光源の異なる発光領域は、時間分割により発光するように制御され、ビーム・スプリッタは、ビームに関してビーム分割処理を実行するように制御され、その結果、ある期間内にTOF深度センシング・モジュールによって放出されるビームの数量を向上させることができ、ターゲット・オブジェクトを走査するプロセスにおいて、高い空間分解能と高いフレーム・レートを実現することができる。
[0319] オプションとして、アレイ光源110の発光領域は、5×5mm2以下である。
[0320] アレイ光源110の発光面積が5×5mm2以下である場合、アレイ光源110の面積は小さく、TOF深度センシング・モジュール100が占めるスペースを小さくすることが可能であり、TOF深度センシング・モジュール100、限られたスペースを伴う端末デバイス内に取り付けることに役立つる。
[0321] オプションとして、アレイ光源110は半導体レーザー光源であってもよい。
[0322] アレイ光源110は、垂直共振器型面発光レーザー(vertical cavity surface emitting laser, VCSEL)であってもよい。
[0323] 図4は、VCSELの概略図である。図5に示されるように、VCSELは、複数の発光点(図5における黒い点の領域)を含み、各々の発光点は、制御ユニットの制御下で発光することが可能である。
[0324] オプションとして、光源は、ファブリ・ペロー・レーザー(これは、FPレーザーと略称される場合がある)であってもよい。
[0325] 単一のVCSELと比較して、単一のFPレーザーは、より大きなパワーを実現することが可能であり、VCSELよりも高い電気-光学変換効率を有し、そのため、走査実効性を改善することができる。
[0326] オプションとして、アレイ光源110によって放出されるビームの波長は、900nmより大きい。
[0327] 太陽光の中で900nmを超える光の強度は低い。従って、ビームの波長が900nmより大きい場合、それは太陽光に起因する干渉を低減するのに役立ち、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[0328] オプションとして、アレイ光源によって放出されるビームの波長は、940nm又は1550nmである。
[0329] 太陽光の中で940nm又は1550nm付近の光の強度は低い。従って、ビームの波長が940nm又は1550nmである場合、それは太陽光に起因する干渉を大幅に低減することができ、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[0330] 図5に関し、以下、アレイ光源110が複数の独立した発光領域を含む場合を詳細に説明する。
[0331] 図5に示されるように、アレイ光源110は、相互に独立した発光領域111、112、113、及び114を含み、各領域には、幾つかの発光ユニット1001が存在する。各領域内の幾つかの発光ユニット1001は、共通電極1002を使用することによって互いに接続され、異なる発光領域内の発光ユニットは異なる電極に接続され、その結果、異なる領域は、相互に独立している。
[0332] 図5に示されるアレイ光源110の場合、制御ユニット150は、独立した発光領域111、112、113、及び114をそれぞれ制御して、異なる時点で独立して発光させることができる。例えば、制御ユニット150は、発光領域111、112、113、及び114を、時点t0、時点t1、時点t2、及び時点t3でそれぞれ発光するように制御することができる。
[0333] オプションとして、コリメーション・レンズ群120がコリメーション処理を実行した後に得られるビームは準平行光であり、その準平行光の発散角度は1度未満である。
[0334] コリメーション・レンズ群120は、1つ以上のレンズを含んでもよい。コリメーション・レンズ群120が複数のレンズを含む場合、コリメーション・レンズ群120は、コリメーション処理プロセスで生じる収差を効果的に減らすことができる。
[0335] コリメーション・レンズ群120は、プラスチック材料、ガラス材料、又はプラスチック材料とガラス材料の両方で作ることが可能である。コリメーション・レンズ群120がガラス材料で構成される場合、コリメーション・レンズ群120は、ビームにコリメーション処理を実行するプロセスにおいて、コリメーション・レンズ群120の後方焦点距離に対する温度の影響を低減することができる。
[0336] 具体的には、ガラス材料の熱膨張係数は小さいので、ガラス材料がコリメーション・レンズ群120に使用される場合、コリメーション・レンズ群120の後方焦点距離に対する温度の影響を低減することができる。
[0337] オプションとして、コリメーション・レンズ群120の有効開口は、5mm以下である。
[0338] コリメーション・レンズ群120の有効開口が5mm以下である場合、コリメーション・レンズ群120の面積は小さく、TOF深度センシング・モジュール100によって占められるスペースを小さくすることができ、TOF深度センシング・モジュール100、限られたスペースを伴う端末デバイスに取り付けることに役立つ
[0339] 図3に示すように、受光ユニット140は、受光レンズ群141及びセンサー142を含むことが可能であり、受光レンズ群141は、反射ビームをセンサー142に収束させるように構成される。
[0340] センサー142は、センサー・アレイと言及される場合があり、センサー・アレイは、2次元センサー・アレイであってもよい。
[0341] オプションとして、センサー142の分解能はP×Q以上であり、アレイ光源110の1つの発光領域からのビームに関してビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qであり、P及びQは双方ともに正の整数である。
[0342] センサーの分解能は、ビーム・スプリッタ130が、アレイ光源の1つの発光領域からのビームに関してビーム分割を実行した後に得られるビームの数量以上である。従って、センサー142は、ビーム・スプリッタからのビームを反射することにより、ターゲット・オブジェクトから得られる反射ビームを受信することができ、その結果、TOF深度センシング・モジュールは、通常的に、反射ビームを受信することができる。
[0343] オプションとして、ビーム・スプリッタ130は、1次元ビーム分割デバイス又は2次元ビーム分割デバイスであってもよい。
[0344] 実際のアプリケーションでは、1次元ビーム分割デバイス又は2次元ビーム分割デバイスは必要に応じて選択されることが可能である。
[0345] 具体的に、実際のアプリケーションでは、1次元ビーム分割デバイス又は2次元ビーム分割デバイスは必要に応じて選択されることが可能である。1次元においてのみ出現ビームに関してビーム分割が実行されることを必要とする場合、1次元ビーム分割デバイスが使用されてもよい。2次元において出現ビームに関してビーム分割が実行されることを必要とする場合、2次元ビーム分割デバイスを使用する必要がある。
[0346] ビーム・スプリッタ130が1次元ビーム分割デバイスである場合、ビーム・スプリッタ130は、具体的には円筒レンズ・アレイ又は1次元格子であってもよい。
[0347] ビーム・スプリッタ130が2次元ビーム分割デバイスである場合、ビーム・スプリッタ130は、具体的にはマイクロレンズ・アレイ又は2次元回折光学素子(diffractive optical element, DOE)であってもよい。
[0348] ビーム・スプリッタ130は、樹脂材料ガラス材料、又は樹脂材料とガラス材料の両方で構成されていてもよい。
[0349] ビーム・スプリッタ130の構成要素がガラス材料を含む場合、ビーム・スプリッタ130のパフォーマンスに関する温度の影響を効果的に低減することができ、その結果、ビーム・スプリッタ130は安定したパフォーマンスを維持する。具体的には、温度が変化する場合に、ガラスの熱膨張係数は樹脂の熱膨張係数より小さい。従って、ガラス材料がビーム・スプリッタ130に使用される場合、ビーム・スプリッタのパフォーマンスは安定している。
[0350] オプションとして、ビーム・スプリッタ130のビーム入射端面の面積は、5×5mm2未満である。
[0351] ビーム・スプリッタ130のビーム入射端面の面積が5×5mm2未満である場合、ビーム・スプリッタ130の面積は小さく、TOF深度センシング・モジュール100が占めるスペースを小さくすることが可能であり、TOF深度センシング・モジュール100、限られたスペースを伴う端末デバイス内に取り付けることに役立つ
[0352] オプションとして、ビーム・スプリッタ130のビーム受信面は、アレイ光源110のビーム放出面に平行である。
[0353] ビーム・スプリッタ130のビーム受信面が、アレイ光源110のビーム放出面に平行である場合、ビーム・スプリッタ130は、アレイ光源110により放出されたビームをより効果的に受信することができ、ビーム・スプリッタ130ビーム受信効率を改善することが可能である。
[0354] 図3に示されるように、受信ユニット140は、受信レンズ群141及びセンサー142を含む可能性がある。受信ユニットがビームを受信する仕方を説明するために、以下では具体的な例が使用されている。
[0355] 例えば、アレイ光源110は、4つの発光領域を含む。この場合、受光レンズ群141は:4つの異なる時点(t4、t5、t6、t7)でビーム・スプリッタ130によりそれぞれ生成されたビームを反射することによって、ターゲット・オブジェクトから得られた反射ビーム1、反射ビーム2、反射ビーム3、反射ビーム4を受信し、反射ビーム1、反射ビーム2、反射ビーム3、反射ビーム4をセンサー142へ伝搬させるように、個々に構成することが可能である。
[0356] オプションとして、受信レンズ群141は、1つ以上のレンズを含んでもよい。
[0357] 受信レンズ群141が複数のレンズを含む場合、受信レンズ群141は、受信レンズ群141がビームを受信する場合に生じる収差を効果的に減らすことができる。
[0358] 更に、受信レンズ群141は、樹脂材料、ガラス材料、又は樹脂材料とガラス材料の両方で作ることが可能である。
[0359] 受光レンズ群141がガラス材料を含む場合、受信レンズ群141の後方焦点距離に対する温度の影響を効果的に低減することができる。
[0360] センサー142は、レンズ群141から伝搬されるビームを受信し、受信レンズ群141から伝搬されたビームに対して光-電気変換を実行し、光信号を電気信号に変換するように構成されることが可能である。これは、以後、送信端部がビームを放出する時点と、受信端部がビームを受信する時点との間の時間差(時間差は、ビームの飛行時間と言及される場合がある)を計算し、時間差に基づいて、ターゲット・オブジェクトとTOF深度センシング・モジュールとの間の距離を計算して、ターゲット・オブジェクトの深度画像を取得するのに役立つ。
[0361] センサー142は、単一光子アバランシェ・ダイオード(single-photon avalanche diode, SPAD)アレイであってもよい。
[0362] SPADはアバランシェ・フォトダイオードであり、これは、ガイガー・モードで動作し(バイアス電圧が破壊電圧よりも高い)、単一の光子が受信された後にアバランシェ効果の可能性を有し、光子の到達時間を検出するためにパルス電流信号を瞬時に生成する。TOF深度センシング・モジュールで使用されるSPADアレイは、複雑な消光回路、タイミング回路、記憶及び読み込みユニットを必要とするので、TOF深度センシングに使用される既存のSPADアレイの分解能は制限される。
[0363] ターゲット・オブジェクトとTOF深度センシング・モジュールとの間の距離が大きい場合、ターゲット・オブジェクトの反射光であって、受信レンズ群によってセンサーへ伝搬される反射光の強度は、一般に、非常にい。センサーは非常に高い検出感度を有することを必要とし、SPADは、ピコ秒のオーダーで単一光子検出感度と応答時間を有する。従って、本件では、SPADは、TOF深度センシング・モジュールの感度を改善するためにセンサー142として使用される。
[0364] アレイ光源110を制御することに加えて、制御ユニット150は、センサー142を更に制御してもよい。
[0365] 制御ユニット150は、アレイ光源110とセンサー142を制御するために、アレイ光源110及びセンサー142への電気的接続を保持することができる。
[0366] 具体的には、制御ユニット150は、センサー142の動作の仕方を制御することが可能である。従って、M個の異なる時点において、センサーの対応する領域は、アレイ光源110の対応する発光領域によって放出されたビームを反射することでターゲット・オブジェクトから得られる反射ビームを、それぞれ受信することができる。
[0367] 具体的には、ターゲット・オブジェクトの反射ビームの一部であって、受信レンズ群の開口数に位置する部分が、受信レンズ群により受信され、センサーに伝搬される。受信レンズ群は、センサーの各ピクセルがターゲット・オブジェクトの異なる領域の反射ビームを受信できるように設計されている。
[0368] 本件では、アレイ光源は、パーティション化により、発光するように制御され、ビーム分割は、ビーム・スプリッタを用いて実行され、その結果、TOF深度センシング・モジュールにより同時に放出されるビームの数量を増加させることができ、最終的に得られるターゲット・オブジェクトの深度マップの空間分解能及び高いフレーム・レートを向上させることができる。
[0369] 図2に示されるように、本件のこの実施形態におけるTOF深度センシング・モジュールについては、TOF深度センシング・モジュール投影端部と受信端部の両方が、ターゲット・オブジェクトの同じ側に配置されてもよいことは理解されるべきである。
[0370] オプションとして、TOF深度センシング・モジュール100の出力光パワーは、800 mw以下である。
[0371] 具体的には、TOF深度センシング・モジュール100の最大出力光パワー又は平均出力パワーは、800 mw以下である。
[0372] TOF深度センシング・モジュール100の出力光パワーが800 mw以下である場合、TOF深度センシング・モジュール100の電力消費は小さく、電力消費に敏感なデバイス、例えば端末デバイスにTOF深度センシング・モジュールを配置するのことに役立つ。
[0373] 図6から図10を参照しながら、以下、本件のこの実施形態におけるTOF深度センシング・モジュール100が、ターゲット・オブジェクトの深度マップを取得するプロセスを詳細に説明する。
[0374] 図6に示されるように、左図は、アレイ光源110の発光領域の概略図である。アレイ光源110は、4つの発光領域A、B、C、及びD(発光パーティションと言及される場合もある)を含み、4つの発光領域は時点t0、時点t1、時点t2、及び時点t3においてそれぞれ点灯される。右図は、ビームがビーム・スプリッタ130のビーム分割を受けた後に、アレイ光源110によって生成されたビームが投射されたターゲット・オブジェクトの表面の概略図である。各点は、投影された光スポットを表し、各々の黒い実線ボックスによって囲まれた領域は、センサー142の1つのピクセルに対応するターゲット領域である。図6において、ビーム・スプリッタ130の対応する複製順序は、4×4である。具体的には、各時点において、アレイ光源の1つの領域で発生した発光スポットは、ビーム・スプリッタ130によって複製された後、4×4スポットとなる。従って、同じ時点で投影される光スポットの数量は、ビーム・スプリッタ130を使用することによって大幅に増加させることが可能である。
[0375] 図6では、アレイ光源110の4つの発光領域は、時点t0、時点t1、時点t2、及び時点t3の時点でそれぞれ点灯され、その結果、異なる位置におけるターゲット・オブジェクトの深度マップを取得することが可能である。
[0376] 具体的には、図7は、時点t0においてアレイ光源110の発光領域Aによって放出されたビームが、ビーム・スプリッタ130のビーム分割処理を受けた後に、そのビームが投射されたターゲット・オブジェクトの表面の概略図である。
[0377] 図8は、時点t1においてアレイ光源110の発光領域Bによって放出されたビームが、ビーム・スプリッタ130のビーム分割処理を受けた後に、そのビームが投射されたターゲット・オブジェクトの表面の概略図である。
[0378] 図9は、時点t2においてアレイ光源110の発光領域Cによって放出されたビームが、ビーム・スプリッタ130のビーム分割処理を受けた後に、そのビームが投射されたターゲット・オブジェクトの表面の概略図である。
[0379] 図10は、時点t3においてアレイ光源110の発光領域Dによって放出されたビームが、ビーム・スプリッタ130のビーム分割処理を受けた後に、そのビームが投射されたターゲット・オブジェクトの表面の概略図である。
[0380] 図7ないし図10に示されるビーム投影のケースに基づいて、時点t0、時点t1、時点t2、時点t3におけるターゲット・オブジェクトに対応する深度マップを取得することが可能であり、時点t0、時点t1、時点t2、時点t3におけるターゲット・オブジェクトに対応する深度マップは重畳され、その結果、ターゲット・オブジェクトのより高い分解能の深度マップを取得することができる。
[0381] 図3に示されるTOF深度センシング・モジュール100では、コリメーション・レンズ群120は、アレイ光源110とビーム・スプリッタ130との間に配置されることが可能である。コリメーション・レンズ群120は、先ず、アレイ光源110によって放出されたビームに対してコリメーション処理を実行することを必要とし、次いで、ビーム・スプリッタは、コリメーション処理が実行された後に得られるビームを処理する。
[0382] オプションとして、TOF深度センシング・モジュール100に関し、ビーム・スプリッタ130は、先ず、アレイ光源110によって生成されたビームに関してビーム分割処理を直接的に実行してもよく、次いで、コリメーション・レンズ群120は、ビーム分割処理が実行された後に得られるビームに関してコリメーション処理を実行する。
[0383] 以下、図11を参照しながら詳細に説明する。図11に示されるTOF深度センシング・モジュール100では、各モジュール又はユニットの特定の機能は具体的には以下のとおりである:
[0384] 制御ユニット150は、アレイ光源110のN個の発光領域のうちのM個の発光領域を、発光するように、制御するように構成されている。
[0385] ビーム・スプリッタ130は、M個の発光領域により放出されたビームに関してビーム分割処理を実行するように構成されている。
[0386] コリメーション・レンズ群120は、ビーム・スプリッタ130により放出されたビームに関してコリメーション処理を実行するように構成されている。
[0387] 受信ユニット140は、ターゲット・オブジェクトの反射ビームを受信するように構成されている。
[0388] MはN以下であり、Mは正の整数であり、Nは1より大きな正の整数である。ビーム・スプリッタ130は、受信した各ビーム光を、複数のビーム光に分割するように具体的に構成されている。ターゲット・オブジェクトの反射ビームは、コリメーション・レンズ群120により放出されたビームを反射することによって、ターゲット・オブジェクトから得られるビームである。M個の発光領域により放射されるビームは、M個の発光領域からのビームとして言及される場合もある。
[0389] 図11に示されるTOF深度センシング・モジュールと図3に示されるTOF深度センシング・モジュールとの間の主な相違は、コリメーション・レンズ群の位置が異なる点である。図3に示されるTOF深度センシング・モジュールにおけるコリメーション・レンズ群は、アレイ光源とビーム・スプリッタとの間に配置されており、図11に示されるTOF深度センシング・モジュールにおけるビーム・スプリッタは、アレイ光源とコリメーション・レンズ群との間に配置されている(これは、コリメーション・レンズ群が、ビーム・スプリッタの出現ビームの方向に配置されることと等価である)。
[0390] 図11に示されるTOF深度センシング・モジュール100と、図3に示されるTOF深度センシング・モジュール100とは、アレイ光源110によって放出されるビームを処理する方法の観点において若干異なる。図3に示されるTOF深度センシング・モジュール100では、アレイ光源110がビームを放出した後に、コリメーション・レンズ群120とビーム・スプリッタ130は、コリメーション処理及びビーム分割処理を連続的に実行する。図11に示されるTOF深度センシング・モジュール100では、アレイ光源110がビームを放出した後に、ビーム・スプリッタ130とコリメーション・レンズ群120は、ビーム分割処理及びコリメーション処理を連続的に実行する。
[0391] 添付図面を参照しながら、以下、ビーム・スプリッタ130が、アレイ光源によって放出されたビームに関してビーム分割処理を実行するプロセスを説明する。
[0392] 図12に示されるように、ビーム・スプリッタ130は、アレイ光源110によって生成された複数のビームに対してビーム分割処理を実行した後、アレイ光源110によって生成された各ビームは、複数のビームに分割されることが可能であり、ビーム分割が実行された後に、より多い数量のビームが最終的に得られる。
[0393] 図11に示されるTOF深度センシング・モジュールに基づいて、本件のこの実施形態におけるTOF深度センシング・モジュール100は、光学素子を更に含むことが可能である。光学素子の屈折率は、制御可能である。光学素子の屈折率が変わると、光学素子は、単一の変更状態にあるビームを異なる方向へ調整することができ、その結果、機械的な回転や振動を伴うことなく、異なるビーム異なる方向照射されることが可能になり、関心のある走査対象領域を迅速に位置決めすることができる。
[0394] 図13は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。
[0395] 図13に示されるTOF深度センシング・モジュール100では、各モジュール又はユニットの特定の機能は具体的には以下のとおりである:
[0396] 制御ユニット150は、アレイ光源110のN個の発光領域のうちのM個の発光領域を、発光するように、制御するように構成されている。
[0397] 制御ユニット150は、更に、光学素子160の複屈折パラメータを制御して、M個の発光領域によって放出されるビームの伝搬方向を変更するように構成されている。
[0398] ビーム・スプリッタ130は:光学素子160によって放出されたビームを受信し、光学素子160によって放出されたビームに対してビーム分割処理を実行するように構成されている。
[0399] オプションとして、ビーム・スプリッタ130は、受信した各々の光ビームを、複数の光ビームに分割するように具体的に構成されており、アレイ光源110の1つの発光領域によって放出されたビームに関してビーム・スプリッタ130がビーム分割を実行することができるビームの数量は、P×Qである。
[0400] コリメーション・レンズ群120は、ビーム・スプリッタ130により放出されたビームに関してコリメーション処理を実行するように構成されている。
[0401] 受信ユニット140は、ターゲット・オブジェクトの反射ビームを受信するように構成されている。
[0402] ターゲット・オブジェクトの反射ビームは、コリメーション・レンズ群120により放出されたビームを反射することによって、ターゲット・オブジェクトから得られるビームである。M個の発光領域により放射されるビームは、M個の発光領域からのビームとして言及される場合もある。
[0403] 図13において、光学素子160は、アレイ光源110とビーム・スプリッタ130との間に配置されている。実際には、光学素子160は、コリメーション・レンズ群120とビーム・スプリッタ130との間に配置されてもよい。以下、図14を参照しながら説明する。
[0404] 図14は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。
[0405] 図14に示されるTOF深度センシング・モジュール100では、各モジュール又はユニットの特定の機能は具体的には以下のとおりである:
[0406] 制御ユニット150は、アレイ光源110のN個の発光領域のうちのM個の発光領域を、発光するように、制御するように構成されている。
[0407] コリメーション・レンズ群120は、M個の発光領域によって放出されたビームに関してコリメーション処理を実行するように構成されている。
[0408] 制御ユニット150は、更に、光学素子160の複屈折パラメータを制御して、コリメーション・レンズ群120がコリメーション処理を行った後に得られるビームの伝搬方向を変更するように構成されている。
[0409] ビーム・スプリッタ130は:光学素子160によって放出されたビームを受信し、光学素子160によって放出されたビームに関してビーム分割処理を実行するように構成される。
[0410] オプションとして、ビーム・スプリッタ130は、受信した各々の光ビームを、複数の光ビームに分割するように具体的に構成されており、アレイ光源110の1つの発光領域によって放出されたビームに関してビーム・スプリッタ130がビーム分割を実行することができるビームの数量は、P×Qである。
[0412] 受信ユニット140は、ターゲット・オブジェクトの反射ビームを受信するように構成されている。
[0413] ターゲット・オブジェクトの反射ビームは、ビーム・スプリッタ130により放出されたビームを反射することによって、ターゲット・オブジェクトから得られるビームである。M個の発光領域により放射されるビームは、M個の発光領域からのビームとして言及される場合もある。
[0414] 以下、図15を参照しながら、本件の実施形態におけるTOF深度センシング・モジュール100の動作プロセスを詳細に説明する。
[0415] 図15は、本件の実施形態によるTOF深度センシング・モジュールの動作概略図である。
[0416] 図15に示されるように、TOF深度センシング・モジュールは、投影端部、受信端部、及び制御ユニットを含む。制御ユニットは、出現ビームを放出してターゲット領域を走査するために、投射端部を制御するように構成されている。制御ユニットは、走査されるターゲット領域によって反射することで得られる反射ビームを受信するように、受信端部を制御するように更に構成されている。
[0417] 投影端部は、アレイ光源110、コリメーション・レンズ群120、光学素子160、ビーム・スプリッタ130、及び投影レンズ群(オプション)を含む。受信端部は、受信レンズ群141及びセンサー142を含む。制御ユニット150は、同期されるべきアレイ光源110、光学素子160、及びセンサー142の時間シーケンスを制御するように更に構成されている。
[0418] 図15に示されるTOF深度センシング・モジュール内のコリメーション・レンズ群120は、1ないし4個のレンズを含む可能性があり、コリメーション・レンズ群120は、アレイ光源110によって生成される第1ビームを、ほぼ平行な光に変換するように構成されている。
[0419] 図15に示されるTOF深度センシング・モジュールの動作プロセスは、以下のとおりである:
[0420] (1)コリメーション・レンズ群120が、アレイ光源110から放出されたビームに関してコリメーション処理を行った後、コリメーションを経たビームが形成され、光学素子160に到達する。
[0421] (2)放出された偏向ビームの角度が2次元走査を実現するように、光学素子160は、制御ユニットの時間シーケンス制御に基づいて、ビームを順序正しく偏向させる。
[0422] (3)光学素子160によって放出された偏向ビームは、ビーム・スプリッタ130に到達する。
[0423] (4)ビーム・スプリッタ130は、それぞれの角度で偏向ビームを複製して、複数の角度で出現ビームを取得し、ビームの二次元複製を実施する。
[0424] (5) 各々の走査期間において、受信端部は、光スポットによって照明されたターゲット領域にしてのみ撮像を実行することができる。
[0425] (6)光学素子が、S×T回の走査を全て完了した後、受信端部の2次元アレイ・センサーはS×T個の画像を生成し、プロセッサは最終的にそれらの画像を高解像度画像を得るために継ぎ合わせる。
[0426] 本件のこの実施形態におけるTOF深度センシング・モジュールにおけるアレイ光源は、複数の発光領域を含む可能性があり、各々の発光領域は、独立して発光することが可能である。図16を参照しながら、以下、本件のこの実施形態におけるTOF深度センシング・モジュールにおけるアレイ光源が複数の発光領域を含む場合のTOF深度センシング・モジュールの動作プロセスを詳細に説明する。
[0427] 図16は、アレイ光源の発光領域の概略図である。
[0428] アレイ光源110が複数の発光領域を含む場合、本件のこの実施形態におけるTOF深度センシング・モジュールの動作プロセスは、以下のとおりである:
[0429] (1)コリメーション・レンズ群120が、アレイ光源110の異なる発光領域によって放出されたビームを時間分割で処理し、コリメートされたビームが形成され、ビーム・スプリッタ130に到達した後、ビーム・スプリッタ130は、制御ユニットの時間シーケンス信号による制御の下で、ビームを順序正しく偏向させることが可能であり、その結果、出現ビームの角度は2次元走査を実現する。
[0430] (2)コリメーション・レンズ群120がコリメーション処理を実行した後に得られるビームは、ビーム・スプリッタ130に到達し、ビーム・スプリッタ130は、入射ビームをそれぞれの角度で複製し、複数の角度で出現ビームを同時に生成し、ビームの2次元複製を実現する。
[0431] (3)各々の走査期間において、受信端部は、光スポットによって照明されたターゲット領域にしてのみ撮像を実行する。
[0432] (4)光学素子が、S×T回の走査を全て完了した後、受信端部の2次元アレイ・センサーはS×T個の画像を生成し、プロセッサは最終的にそれらの画像を高解像度画像を得るために継ぎ合わせる。
[0433] 以下、図16及び図17を参照しながら、本件のこの実施形態におけるTOF深度センシング・モジュールの走査の動作原理を説明する。
[0434] 図16に示されるように、111、112、113、及び114は、アレイ光源の独立した発光領域であり、時間分割により点灯されてもよく、115、116、117、及び118は、アレイ光源の異なる独立した動作領域における発光孔である。
[0435] 図17は、図16に示されるアレイ光源によって放出されたビームに関するビーム分割処理を、ビーム・スプリッタを使用することにより実行する際の概略図である。
[0436] 図17に示すように、120は、ビーム・スプリッタによって生じる複製順序であり(図17の左上隅の黒い実線のボックス)、121は、2次元アレイ・センサーの1ピクセルに対応するターゲット領域であり(121は、122、123、124、125を含む)、122は、ビーム・スプリッタ発光孔115に関してビーム走査を実行した後に生成される光スポットであり、123は、光学素子発光孔116に関してビーム走査を実行した後に生成される光スポットであり、124は、光学素子発光孔117に関してビーム走査を実行した後に生成される光スポットであり、125は、光学素子発光孔118に関してビーム走査を実行した後に生成される光スポットである。
[0437] 図16に示されるアレイ光源を有するTOF深度センシング・モジュールの具体的な走査プロセスは、以下のとおりである:
[0438] 115のみが点灯され、光学素子は、ビームを使用することによってビーム走査を別々に実行して、光スポット122を実現し;
115が消灯されて、116が点灯され、光学素子は、ビームを使用することによってビーム走査を別々に実行して、光スポット123を実現し;
116が消灯されて、117が点灯され、光学素子は、ビームを使用することによってビーム走査を別々に実行して、光スポット124を実現し;且つ
117が消灯されて、118が点灯され、光学素子は、ビームを使用することによってビーム走査を別々に実行して、光スポット125を実現する。
[0439] 2次元アレイ・センサーの1ピクセルに対応するターゲット領域の光スポットは、前述の4つのステップを使用することによって走査されることが可能である。
[0450] 図13ないし図15における光学素子160は、液晶偏光格子、電気-光学デバイス、音響-光学デバイス、及びオプティカル・フェーズド・アレイ・デバイスのようなデバイスのうちの任意の1つであってもよい。液晶偏光格子、電気-光学デバイス、音響-光学デバイス、オプティカル・フェーズド・アレイ・デバイスのようなデバイスの詳細な説明については、以下のケース1ないしケース4の説明を参照されたい。
[0441] 上記は、添付図面を参照しながら、本件の実施形態におけるTOF深度センシング・モジュールを詳細に説明している。以下、添付図面を参照しながら、本件の実施形態における画像生成方法を説明する。
[0442] 図18は、本件の実施形態による画像生成方法の概略フローチャートである。図18に示される方法は、本件の実施形態におけるTOF深度センシング・モジュールを含む端末デバイスによって実行されてもよい。具体的には、図18に示される方法は、図3に示されるTOF深度センシング・モジュールを含む端末デバイスによって実行されてもよい。図18に示される方法は、ステップ2001ないしステップ2006を含む。以下、ステップを詳細に別々に説明する。
[0443] 2001.制御ユニットを使用することにより、アレイ光源のN個の発光領域のうちのM個の発光領域を、M個の異なる時点でそれぞれ発光するように制御する。
[0444] MはN以下であり、Mは正の整数であり、Nは1より大きな正の整数である。
[0445] 前述のステップ2001において、制御ユニットは、アレイ光源を発光するように制御することができる。
[0446] 具体的には、制御ユニットは、制御信号をアレイ光源のM個の発光領域へM個の異なる時点でそれぞれ送信して、M個の発光領域をM個の異なる時点でそれぞれ独立して発光するように制御することが可能である。
[0447] 例えば、図6に示されるように、アレイ光源110は、4つの独立した発光領域A、B、C、Dを含む。この場合、制御ユニットは、4つの独立した発光領域A、B、C、Dへ、時点t0、時点t1、時点t2、時点t3で制御信号をそれぞれ送信することが可能であり、その結果、4つの独立した発光領域A、B、C、Dは、時点t0、時点t1、時点t2、時点t3でそれぞれ発光する。
[0448] 2002.コリメーション・レンズ群を使用することにより、M個の異なる時点でM個の発光領域によりそれぞれ生成されたビームに関してコリメーション処理を実行し、コリメーション処理が実行された後に得られるビームを取得する。
[0449] 図6を説明のための例として更に使用する。アレイ光源の4つの独立した発光領域A、B、C、Dは、時点t0、時点t1、時点t2、時点t3でそれぞれビームを放出する場合に、コリメーション・レンズ群は、時点t0、時点t1、時点t2、時点t3で発光領域A、B、C、Dによりそれぞれ放出されたビームに関してコリメーション処理を実行し、コリメーション処理が実行された後のビームを取得することができる。
[0450] 2003.ビーム・スプリッタを使用することにより、コリメーション処理が実行された後に得られるビームに関してビーム分割処理を実行する。
[0451] ビーム・スプリッタは、具体的には、受信した各ビームを、複数の光ビームに分割することができ、アレイ光源の1つの発光領域からのビームに関してビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qである可能性がある。
[0452] 図6に示すように、アレイ光源の発光領域A、B、C、Dは、時点t0、時点t1、時点t2、時点t3においてビームをそれぞれ放出する。この場合、時点t0、時点t1、時点t2、時点t3で発光領域A、B、C、Dからそれぞれ放出されるビームが、コリメーション・レンズ群で処理された後、ビームは、処理のためにビーム・スプリッタに入射される。ビーム・スプリッタが発光領域A、B、C、Dに関してビーム分割処理を実行した後に得られた結果は、図6の右側に示されるものであってもよい。
[0453] オプションとして、前述のステップ2003におけるビーム分割処理は、具体的には:ビーム・スプリッタを使用することにより、コリメーション処理が実行された後に生成されたビームに関して1次元又は2次元ビーム分割処理を実行することを含む。
[0454] 2004.受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信する。
[0455] ターゲット・オブジェクトの反射ビームは、ビーム・スプリッタからのビームを反射することによってターゲット・オブジェクトによって得られるビームである。
[0456] オプションとして、前述のステップ2004における受信ユニットは、受信レンズ群とセンサーを含む。受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップ2004は:受信レンズ群を使用することにより、ターゲット・オブジェクトの反射ビームを、センサーに収束させるステップを含む。センサーは、センサー・アレイと言及される場合もあり、センサー・アレイは、2次元センサー・アレイであってもよい。
[0457] オプションとして、センサーの分解能はP×Q以上であり、アレイ光源の1つの発光領域からのビームに関してビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qである。
[0458] P及びQは双方ともに正の整数である。センサーの分解能は、ビーム・スプリッタが、アレイ光源の1つの発光領域からのビームに関してビーム分割を実行した後に得られるビームの数量以上である。従って、センサーは、ビーム・スプリッタからのビームを反射することにより、ターゲット・オブジェクトから得られる反射ビームを受信することができ、その結果、TOF深度センシング・モジュールは、通常的に、反射ビームを受信することができる。
[0459] 2005.M個の異なる時点でアレイ光源のM個の発光領域によりそれぞれ放出されたビームに対応するTOFに基づいて、M個の深度マップを生成する。
[0460] M個の異なる時点でアレイ光源のM個の発光領域によりそれぞれ放出されたビームに対応するTOFは、具体的には、M個の異なる時点でアレイ光源のM個の発光領域によってそれぞれ放出されたビームの放出時点と、対応する反射ビームの受信時点との間の時間差に関する情報であってもよい。
[0461] 例えば、アレイ光源は、3つの発光領域A、B、Cを含み、発光領域Aは時点T0でビームを放出し、発光領域Bは時点T1でビームを放出し、発光領域Cは時点T2でビームを放出する。この場合、時点T0において発光領域Aにより放出されたビームに対応するTOFは、具体的には、時点T0と或る時点の間の時間差に関する情報であってもよく、或る時点は、時点T0で発光領域Aにより放出されたビームが、コリメーション・レンズ群のコリメーション処理とビーム・スプリッタのビーム分割処理を施され、ターゲット・オブジェクトに到達し、ターゲット・オブジェクトによって反射された後に、そのビームが最終的に受信ユニットに到達した(又は受信ユニットにより受信された)時点である。時点T1で発光領域Bにより放出されたビームに対応するTOFや、T2で発光領域Cにより放出されたビームに対応するTOFも、同様な意味を有する。オプションとして、M個の深度マップは、それぞれ、ターゲット・オブジェクトのM個の領域セットに対応する深度マップであり、M個の領域セット内の何れの2つの領域セット間にもオーバーラップする領域は存在しない。
[0462] オプションとして、ターゲット・オブジェクトのM個の深度マップを生成する前述のステップ2005は、具体的には以下を含む:
[0463] 2005a.M個の異なる時点でM個の発光領域によってそれぞれ放出されたビームに対応するTOFに基づいて、ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離を決定する。
[0464] 2005b.ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離に基づいて、ターゲット・オブジェクトのM個の領域の深度マップを生成する。
[0465] 2006.M個の深度マップに基づいて、ターゲット・オブジェクトの最終深度マップを取得する。
[0466] 具体的には、ステップ2006において、M個の深度マップが継ぎ合わされて、ターゲット・オブジェクトの深度マップが取得されてもよい。
[0467] 例えば、ステップ2001ないしステップ2005を使用することによって、時点t0ないしt3におけるターゲット・オブジェクトの深度マップが取得される。4つの時点における深度マップが図19に示されている。ターゲット・オブジェクトの最終的な深度マップであって、時点t0ないしt3における図19に示される深度マップを継ぎ合わせることによって得られものは、図69に示されるものであってもよい。
[0468]像生成方法の対応するプロセスは、TOF深度センシング・モジュールの構造によって異なる。以下、図20を参照しながら本件の実施態様における画像生成方法を説明する。
[0469] 図20は、本件の実施形態による画像生成方法の概略フローチャートである。図20に示される方法は、本件の実施形態におけるTOF深度センシング・モジュールを含む端末デバイスによって実行されてもよい。具体的には、図20に示される方法は、図11に示されるTOF深度センシング・モジュールを含む端末デバイスによって実行されてもよい。図20に示される方法は、ステップ3001ないしステップ3006を含む。以下、ステップを詳細に別々に説明する。
[0470] 3001.制御ユニットを使用することにより、アレイ光源のN個の発光領域のうちのM個の発光領域を、M個の異なる時点でそれぞれ発光するように制御する。
[0471] N個の発光領域は互いにオーバーラップせず、MはN以下であり、Mは正の整数であり、Nは1より大きな正の整数である。
[0472] 制御ユニットを使用することにより、アレイ光源のN個の発光領域のうちのM個の発光領域を、M個の異なる時点でそれぞれ発光するように制御することは、具体的には、制御ユニットを使用することにより、M個の異なる時点で連続的に発光するように、M個の発光領域をそれぞれ制御することを意味している可能性がある。
[0473] 例えば、図16に示されるように、アレイ光源は、4つの発光領域111、112、113、及び114を含む。この場合、制御ユニットは、111、112、及び113を、時点T0、時点T1、及び時点T2でそれぞれ発光するように制御することができる。代替的に、制御ユニットは、111、112、113、及び114を、時点T0、時点T1、時点T2、及び時点T3でそれぞれ発光するように制御することができる。
[0474] 3002.ビーム・スプリッタを使用することにより、M個の異なる時点でM個の発光領域によりそれぞれ生成されたビームに関してビーム分割処理を実行する。
[0475] ビーム・スプリッタは、具体的には、受信した各光ビームを、複数の光ビームに分割するように構成されている。
[0476] ビーム・スプリッタを使用することにより、M個の異なる時点でM個の発光領域によりそれぞれ生成されたビームに関してビーム分割処理を実行することは、具体的には、ビーム・スプリッタを使用することにより、M個の異なる時点でM個の発光領域により生成されたビームに関してビーム分割処理をそれぞれ実行することを意味している可能性がある。
[0477] 例えば、図16に示されるように、アレイ光源は、4つの発光領域111、112、113、及び114を含む。制御ユニットは、111、112、及び113を、時点T0、時点T1、及び時点T2でそれぞれ発光するように制御することができる。この場合、ビーム・スプリッタは、時点T0において、111によって放出されたビームに関してビーム分割処理を実行し、現時点T1において、112によって放出されたビームに関してビーム分割処理を実行し、現時点T2において、113によって放出されたビームに関してビーム分割処理を実行する(ビームが発光領域からビーム・スプリッタへ到達するまでに要する時間はここでは無視されていることが理解されるべきである)。
[0478] オプションとして、前述のステップ3002におけるビーム分割処理は、具体的には、ビーム・スプリッタを使用することによって、M個の異なる時点でM個の発光領域によって生成されたビームに関して1次元又は2次元ビーム分割処理をそれぞれ実行することを含む。
[0479] 3003.コリメーション・レンズ群を使用することにより、ビーム・スプリッタからのビームに関してコリメーション処理を実行する。
[0480] 例えば、図16を一例として更に使用する。ビーム・スプリッタは、時点T0、時点T1、及び時点T2において、111、112、及び113によって放出されたビームに関してビーム分割処理をそれぞれ実行する。この場合、コリメーション・レンズ群は、時点T0において、ビーム・スプリッタが111により放出されたビームに関してビーム分割処理を実行した後に得られるビームに関してコリメーション処理を実行し;時点T1において、ビーム・スプリッタが112により放出されたビームに関してビーム分割処理を実行した後に得られるビームに対してコリメーション処理を実行し;及び時点T2において、ビーム・スプリッタが113により放出されたビームに関してビーム分割処理を実行した後に得られるビームに対してコリメーション処理を実行することができる。
[0481] 3004.受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信する。
[0482] ターゲット・オブジェクトの反射ビームは、コリメーション・レンズ群からのビームを反射することによってターゲット・オブジェクトから得られるビームである。
[0483] オプションとして、ステップ3004における受信ユニットは、受信レンズ群とセンサーを含む。受光ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信する際の前述のステップ3004は:受信レンズ群を使用することにより、ターゲット・オブジェクトの反射ビームを、センサーに収束させるステップを含む。本件におけるセンサーは、センサー・アレイと言及される場合があり、センサー・アレイは2次元センサー・アレイであってもよい。
[0484] オプションとして、センサーの分解能はP×Q以上であり、アレイ光源の1つの発光領域からのビームに関してビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qである。
[0485] P及びQは双方ともに正の整数である。センサーの分解能は、ビーム・スプリッタが、アレイ光源の1つの発光領域からのビームに関してビーム分割を実行した後に得られるビームの数量以上である。従って、センサーは、コリメーション・レンズ群からのビームを反射することにより、ターゲット・オブジェクトから得られる反射ビームを受信することができ、その結果、TOF深度センシング・モジュールは、通常的に、反射ビームを受信することができる。
[0486] 3005.M個の異なる時点でアレイ光源のM個の発光領域によりそれぞれ放出されたビームに対応するTOFに基づいて、M個の深度マップを生成する。
[0487] M個の異なる時点でアレイ光源のM個の発光領域によりそれぞれ放出されたビームに対応するTOFは、具体的には、M個の異なる時点でアレイ光源のM個の発光領域によってそれぞれ放出されたビームの放出時点と、対応する反射ビームの受信時点との間の時間差に関する情報であってもよい。
[0488] 例えば、アレイ光源は、3つの発光領域A、B、Cを含み、発光領域Aは時点T0でビームを放出し、発光領域Bは時点T1でビームを放出し、発光領域Cは時点T2でビームを放出する。この場合、時点T0において発光領域Aにより放出されたビームに対応するTOFは、具体的には、時点T0と或る時点の間の時間差に関する情報であってもよく、或る時点は、時点T0で発光領域Aにより放出されたビームが、コリメーション・レンズ群のコリメーション処理とビーム・スプリッタのビーム分割処理を施され、ターゲット・オブジェクトに到達し、ターゲット・オブジェクトによって反射された後に、そのビームが最終的に受信ユニットに到達した(又は受信ユニットにより受信された)時点である。時点T1で発光領域Bにより放出されたビームに対応するTOFや、T2で発光領域Cにより放出されたビームに対応するTOFも、同様な意味を有する。
[0489] M個の深度マップは、それぞれ、ターゲット・オブジェクトのM個の領域セットに対応する深度マップであり、M個の領域セット内の何れの2つの領域セット間にもオーバーラップする領域は存在しない。
[0490] オプションとして、M個の深度マップを生成する際の前述のステップ3005は、具体的には以下を含む:
[0491] 3005a.M個の異なる時点でM個の発光領域によってそれぞれ放出されたビームに対応するTOFに基づいて、ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離を決定する。
[0492] 3005b.ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離に基づいて、ターゲット・オブジェクトのM個の領域の深度マップを生成する。
[0493] 3006.M個の深度マップに基づいて、ターゲット・オブジェクトの最終深度マップを取得する。
[0494] オプションとして、ターゲット・オブジェクトの最終深度マップを取得する際の前述のステップ3006は、M個の深度マップを継ぎ合わせて、ターゲット・オブジェクトの深度マップを取得するステップを含む。
[0495] 例えば、ステップ3001ないしステップ3005を使用することによって得られる深度マップは、図68に示されるものであってもよい。図68は、時点t0ないしt3に対応する深度マップを示す。ターゲット・オブジェクトの最終深度マップであって、図69に示されるものは、時点t0ないしt3に対応する深度マップを継ぎ合わせることによって取得されることが可能である。
[0496] 本件のこの実施形態では、アレイ光源の異なる発光領域は、時間分割により光を放出するように制御され、ビーム・スプリッタは、ビームに関してビーム分割処理を実行するように制御され、その結果、ある期間においてTOF深度センシング・モジュールにより放出されるビームの数量を向上させ、複数の深度マップを取得することが可能であり、複数の深度マップに基づく継ぎ合わせにより得られる最終深度マップは、高い空間分解能と高いフレーム・レートを有する。
[0497] 図20に示される方法と図18に示される方法の主な処理プロセスは類似している。主な相違は以下のとおりである:図20に示される方法では、先ず、ビーム・スプリッタを使用することにより、アレイ光源から放出されたビームに関してビーム分割処理が実行され、次いで、コリメーション・レンズ群を使用することにより、ビーム分割処理が実行された後に得られるビームに関してコリメーション処理が実行される。図18に示される方法では、先ず、コリメーション・レンズ群を使用することにより、アレイ光源から放出されたビームに関してコリメーション処理が実行され、次いで、ビーム・スプリッタを使用することにより、コリメーション処理が実行された後に得られるビームに関してビーム分割処理が実行される。
[0498] 本願の実施形態における画像生成方法が端末デバイスによって実行される場合、端末デバイスは、異なる動作モードを有する可能性があり、アレイ光源の発光方法や、ターゲット・オブジェクトの最終的な深度マップを以後に生成する方法は異なる動作モードでは相違する。添付図面を参照して、以下、異なる動作モードにおけるターゲット・オブジェクトの最終深度マップを取得する方法を詳細に説明する。
[0499] 図21は、本件の実施形態による画像生成方法の概略フローチャートである。
[0500] 図21に示される方法は、ステップ4001ないしステップ4003を含む。以下、ステップを別々に詳細に説明する。
[0501] 4001.端末デバイスの動作モードを決定する。
[0502] 端末デバイスは第1動作モードと第2動作モードを含む。第1動作モードでは、制御ユニットは、アレイ光源のN個の発光領域のうちのL個の発光領域を、同時に発光するように制御することができる。第2動作モードでは、制御ユニットは、アレイ光源のN個の発光領域のうちのM個の発光領域を、M個の異なる時点で発光するように制御することができる。
[0503] 前述のステップ4001において、端末デバイスが第1動作モードで動作すると決定された場合、ステップ4002が実行されること;又は前述のステップ4001において、端末デバイスが第2動作モードで動作すると決定された場合、ステップ4003が実行されることが理解されるべきである。
[0504] 以下、ステップ4001において、端末デバイスの動作モードを決定する具体的なプロセスを詳細に説明する。
[0505] オプションとして、端末デバイスの動作モードを決定する上述のステップ4001は:ユーザーの動作モード選択情報に基づいて、端末デバイスの動作モードを決定するステップを含む。
[0506] ユーザーの動作モード選択情報は、第1動作モード及び第2動作モードのうちの1つを、端末デバイスの動作モードとして選択するために使用される。
[0507] 具体的には、画像生成方法が端末デバイスによって実行される場合に、端末デバイスは、ユーザーの動作モード選択情報をユーザーから取得することが可能である。例えば、ユーザーは、端末デバイスの操作インターフェースを使用することにより、ユーザーの動作モード選択情報を入力することができる。
[0508] 端末デバイスの動作モードは、ユーザーの動作モード選択情報に基づいて決定され、その結果、ユーザーは端末デバイスの動作モードを柔軟に選択して決定することができる。
[0509] オプションとして、端末デバイスの動作モードを決定する前述のステップ4001は:端末デバイスとターゲット・オブジェクトとの間の距離に基づいて、端末デバイスの動作モードを決定するステップを含む。
[0510] 具体的には、端末デバイスとターゲット・オブジェクトとの間の距離が、事前に設定された距離以下である場合、端末デバイスは第1動作モードで動作する、と決定されてもよい。端末デバイスとターゲット・オブジェクトとの間の距離が、事前に設定された距離より大きい場合には、端末デバイスは第2動作モードで動作する、と決定されてもよい。
[0511] 端末デバイスとターゲット・オブジェクトとの間の距離が小さい場合、アレイ光源は、ターゲット・オブジェクトに到達する複数のビームを同時に放出するのに十分な発光パワーを有する。そこで、端末デバイスとターゲット・オブジェクトとの間の距離が小さい場合には、第1動作モードが使用され、その結果、アレイ光源の複数の発光領域は同時に発光して、ターゲット・オブジェクトのより多くの領域の深度情報を取得することを支援し、ターゲット・オブジェクトの深度マップの分解能が固定されている場合に、ターゲット・オブジェクトの深度マップのフレーム・レートを改善することが可能である。
[0512] 端末デバイスとターゲット・オブジェクトとの間の距離が大きい場合、アレイ光源の総パワーは限られているので、第2動作モードを使用することにより、ターゲット・オブジェクトの深度マップを取得することができる。具体的には、アレイ光源は、時間分割によりビームを放出するように制御され、その結果、時間分割によりアレイ光源によって放出されたビームも、ターゲット・オブジェクトに到達することができる。従って、端末デバイスがターゲット・オブジェクトから遠く離れている場合には、ターゲット・オブジェクトの様々な領域の深度情報も時間分割により取得され、ターゲット・オブジェクトの深度マップを取得することが可能である。
[0513] オプションとして、端末デバイスの動作モードを決定する前述のステップ4001は:ターゲット・オブジェクトが配置されている状況に基づいて、端末デバイスの動作モードを決定するステップを含む。
[0514] 具体的には、端末デバイスが屋内の状況にある場合には、端末デバイスは第1動作モードで動作する、と決定されてもよい。端末デバイスが屋外の状況にある場合には、端末デバイスは第2動作モードで動作する、と決定されてもよい。
[0515] 端末デバイスが屋内の状況にある場合、端末デバイスとターゲット・オブジェクトとの間の距離は小さく、外部ノイズは弱いので、アレイ光源は、ターゲット・オブジェクトに到達する複数のビームを同時に放出するのに十分な発光パワーを有する。そこで、端末デバイスとターゲット・オブジェクトとの間の距離が小さい場合には、第1動作モードが使用され、その結果、アレイ光源の複数の発光領域は同時に発光して、ターゲット・オブジェクトのより多くの領域の深度情報を以後に取得することを支援し、ターゲット・オブジェクトの深度マップの分解能が固定されている場合に、ターゲット・オブジェクトの深度マップのフレーム・レートを改善することが可能である。
[0516] 端末デバイスが屋外の状況にある場合、端末デバイスとターゲット・オブジェクトとの間の距離は大きく、外部ノイズは大きく、アレイ光源の総パワーは限られているので、第2動作モードを使用することにより、ターゲット・オブジェクトの深度マップを取得することができる。具体的には、アレイ光源は、時間分割によりビームを放出するように制御され、その結果、時間分割によりアレイ光源によって放出されたビームも、ターゲット・オブジェクトに到達することができる。従って、端末デバイスがターゲット・オブジェクトから遠く離れている場合には、ターゲット・オブジェクトの様々な領域の深度情報も時間分割により取得され、ターゲット・オブジェクトの深度マップを取得することが可能である。
[0517] 端末デバイスの動作モードは、端末デバイスとターゲット・オブジェクトとの距離や、ターゲット・オブジェクトが位置する状況に基づいて柔軟に決定することができ、その結果、端末デバイスは適切な動作モードで動作することができる 。
[0518] 4002.第1動作モードでターゲット・オブジェクトの最終深度マップを取得する。
[0519] 4003.第2動作モードでターゲット・オブジェクトの最終深度マップを取得する。
[0520] 本件のこの実施態様において、画像生成方法は、異なる動作モードが存在する。従って、異なるケースに基づいて、第1動作モード又は第2動作モードを選択することにより、ターゲット・オブジェクトの深度マップを生成ことができ、その結果、ターゲット・オブジェクトの深度マップを生成する柔軟性を向上させることが可能になり、2つの動作モードにおいて、ターゲット・オブジェクトの高い分解能の深度マップを取得することができる。
[0521] 図22を参照しながら、以下、第1動作モードにおけるターゲット・オブジェクトの最終深度マップを取得するプロセスを詳細に説明する。
[0522] 図22は、第1動作モードにおけるターゲット・オブジェクトの最終深度マップを取得する際の概略フローチャートである。図22に示されるプロセスは、ステップ4002Aないしステップ4002Eを含む。以下、ステップを別々に詳細に説明する。
[0523] 4002A.アレイ光源のN個の発光領域のうちのL個の発光領域を、同時に発光するように制御する。
[0524] LはN以下であり、Lは正の整数であり、Nは1より大きな正の整数である。
[0525] ステップ4002Aにおいて、制御ユニットは、アレイ光源のN個の発光領域のうちのL個の発光領域を、同時に発光するように制御することができる。具体的には、制御ユニットは、ある時点Tにおいて、アレイ光源のN個の発光領域のうちのL個の発光領域へ制御信号を送信して、L個の発光領域を、時点Tにおいて同時に発光するように制御することができる。
[0526] 例えば、アレイ光源は、4つの独立した発光領域A、B、C、及びDを含む。この場合、制御ユニットは、時点Tにおいて、4つの独立した発光領域A、B、C、及びDへ制御信号を送信することができ、その結果、4つの独立した発光領域A、B、C、及びDは、時点Tで同時に発光する。
[0527] 4002B.コリメーション・レンズ群を使用することにより、L個の発光領域により放出されたビームに関してコリメーション処理を実行する。
[0528] アレイ光源は、4つの独立した発光領域A、B、C、Dを含むものと仮定する。この場合、コリメーション・レンズ群は、時点Tにおいてアレイ光源の発光領域A、B、C、Dによって放出されるビームに関してコリメーション処理を実行し、コリメーション処理が実行された後に得られるビームを取得することが可能である。
[0529] ステップ4002Bにおいて、コリメーション・レンズ群を使用してビームに関してコリメーション処理を実行することによって、ほぼ平行なビームを取得することができ、その結果、ビームのパワー密度を改善することができ、ビームを使用することにより以後に実行する走査の実効性を改善することができる。
[0530] 4002C.コリメーション・レンズ群がコリメーション処理を実行した後に生成されたビームに関して、ビーム・スプリッタを使用することにより、ビーム分割処理を実行する。
[0531] ビーム・スプリッタは、具体的には、受信した各ビーム光を、複数のビーム光に分割するように構成される。
[0532] 4002D.受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信する。
[0533] ターゲット・オブジェクトの反射ビームは、ビーム・スプリッタからのビームを反射することによって、ターゲット・オブジェクトから得られるビームである。
[0534] 4002E.L個の発光領域から放出されるビームに対応するTOFに基づいて、ターゲット・オブジェクトの最終深度マップを取得する。
[0535] L個の発光領域により放出されたビームに対応するTOFは、具体的には、時点Tと、時点Tにおいてアレイ光源のL個の発光領域によって別々に放出されたビームに対応する反射ビームの受信時点との間の時間差に関する情報であってもよい。
[0536] オプションとして、受信ユニットは、受信レンズ群とセンサーを含む。受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信する前述のステップ4002Dは:受信レンズ群を使用することにより、ターゲット・オブジェクトの反射ビームを、センサーに収束させるステップを含む。
[0537] センサーは、センサー・アレイと言及される場合もあり、センサー・アレイは、2次元センサー・アレイであってもよい。
[0538] オプションとして、センサーの分解能はP×Q以上であり、アレイ光源の1つの発光領域からのビームに関してビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qである。
[0539] P及びQは双方ともに正の整数である。センサーの分解能は、ビーム・スプリッタが、アレイ光源の1つの発光領域からのビームに関してビーム分割を実行した後に得られるビームの数量より大きい。従って、センサーは、ビーム・スプリッタからのビームを反射することにより、ターゲット・オブジェクトから得られる反射ビームを受信することができ、その結果、TOF深度センシング・モジュールは、通常的に、反射ビームを受信することができる。
[0540] オプションとして、ターゲット・オブジェクトの最終深度マップを取得する前述のステップ4002Eは、具体的には以下を含む:
[0541](1)L個の発光領域から放出されるビームに対応するTOFに基づいて、ターゲット・オブジェクトのL個の領域の深度マップを生成する。
[0542](2)ターゲット・オブジェクトのL個の領域の深度マップに基づいて、ターゲット・オブジェクトの深度マップを合成する。
[0543] 図22に示される方法は、図3に示されるTOF深度センシング・モジュール又は図3に示されるTOF深度センシング・モジュールを含む端末デバイス、によって実行される可能性がある。
[0544] 第1動作モードにおいてターゲット・オブジェクトの最終深度マップを取得するプロセスは、TOF深度センシング・モジュールにおけるコリメーション・レンズ群とビーム・スプリッタの間の相対的な位置関係によって異なる。図23を参照しながら、以下、第1動作モードにおけるターゲット・オブジェクトの最終深度マップを取得するプロセスを詳細に説明する。
[0545] 図23は、第1動作モードにおけるターゲット・オブジェクトの最終深度マップを取得する際の概略フローチャートである。図23に示されるプロセスは、ステップ4002aないしステップ4002eを含む。以下、ステップを別々に詳細に説明する。
[0546] 4002a.アレイ光源のN個の発光領域のうちのL個の発光領域を、同時に発光するように制御する。
[0547] LはN以下であり、Lは正の整数であり、Nは1より大きな正の整数である。
[0548] ステップ4002aにおいて、制御ユニットは、アレイ光源のN個の発光領域のうちのL個の発光領域を、同時に発光するように制御してもよい。具体的には、制御ユニットは、ある時点Tにおいて、アレイ光源のN個の発光領域のうちのL個の発光領域へ制御信号を送信して、L個の発光領域を、時点Tにおいて同時に発光するように制御してもよい。
[0549] 例えば、アレイ光源は、4つの独立した発光領域A、B、C、及びDを含む。この場合、制御ユニットは、時点Tにおいて、4つの独立した発光領域A、B、C、及びDへ制御信号を送信することができ、その結果、4つの独立した発光領域A、B、C、及びDは、時点Tで同時に発光する。
[0550] 4002b.ビーム・スプリッタを使用することにより、L個の発光領域からのビームに関してビーム分割処理を実行する。
[0551] ビーム・スプリッタは、具体的には、受信した各ビーム光を、複数のビーム光に分割するように構成される。
[0552] 4002c.コリメーション処理が実行された後に得られるビームを取得するために、コリメーション・レンズ群を使用することにより、ビーム・スプリッタからのビームに関してコリメーション処理を実行する。
[0553] 4002d.受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信する。
[0554] ターゲット・オブジェクトの反射ビームは、コリメーション処理が実行された後に得られるビームを反射することによって、ターゲット・オブジェクトから得られるビームである。
[0555] 4002e.L個の発光領域から放出されるビームに対応するTOFに基づいて、ターゲット・オブジェクトの最終深度マップを取得する。
[0556] L個の発光領域により放出されたビームに対応するTOFは、具体的には、時点Tと、時点Tにおいてアレイ光源のL個の発光領域によって別々に放出されたビームに対応する反射ビームの受信時点との間の時間差に関する情報であってもよい。
[0557] オプションとして、受信ユニットは、受信レンズ群とセンサーを含む。受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信する前述のステップ4002dは:受信レンズ群を使用することにより、ターゲット・オブジェクトの反射ビームを、センサーに収束させるステップを含む。
[0558] センサーは、センサー・アレイと言及される場合もあり、センサー・アレイは、2次元センサー・アレイであってもよい。
[0559] オプションとして、センサーの分解能はP×Q以上であり、アレイ光源の1つの発光領域からのビームに関してビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qである。
[0560] P及びQは双方ともに正の整数である。センサーの分解能は、ビーム・スプリッタが、アレイ光源の1つの発光領域からのビームに関してビーム分割を実行した後に得られるビームの数量より大きい。従って、センサーは、コリメーション・レンズ群からのビームを反射することにより、ターゲット・オブジェクトから得られる反射ビームを受信することができ、その結果、TOF深度センシング・モジュールは、通常的に、反射ビームを受信することができる。
[0561] オプションとして、ターゲット・オブジェクトの最終深度マップを取得する前述のステップ4002eは、具体的には以下を含む:
[0562](1)L個の発光領域から放出されるビームに対応するTOFに基づいて、ターゲット・オブジェクトのL個の領域の深度マップを生成する。
[0563](2)ターゲット・オブジェクトのL個の領域の深度マップに基づいて、ターゲット・オブジェクトの深度マップを合成する。
[0564] 図23に示されるプロセスと図22に示されるプロセスは両方とも、第1動作モードにおけるターゲット・オブジェクトの最終深度マップを取得する方法である。主な相違は以下のとおりである:図23においては、先ず、ビーム・スプリッタを使用することにより、アレイ光源から放出されたビームに関してビーム分割処理が実行され、次いで、コリメーション・レンズ群を使用することにより、ビーム分割処理が実行された後に得られるビームに関してコリメーション処理が実行される。図22においては、先ず、コリメーション・レンズ群を使用することにより、アレイ光源から放出されたビームに関してコリメーション処理が実行され、次いで、ビーム・スプリッタを使用することにより、コリメーション処理が実行された後に得られるビームに関してビーム分割処理が実行される。
[0565] 図24を参照しながら、以下、第2動作モードにおけるターゲット・オブジェクトの最終深度マップを取得するプロセスを詳細に説明する。
[0566] 図24は、第2動作モードにおけるターゲット・オブジェクトの最終深度マップを取得する際の概略フローチャートである。図24に示されるプロセスは、ステップ4003Aないしステップ4003Fを含む。以下、ステップを別々に詳細に説明する。
[0567] 4003A.アレイ光源のN個の発光領域のうちのM個の発光領域を、M個の異なる時点で発光するように制御する。
[0568] MはN以下であり、M及びNは両方とも正の整数である。
[0569] ステップ4003Aにおいて、制御ユニットは、アレイ光源を発光するように制御することができる。具体的には、制御ユニットは、M個の時点において、アレイ光源のM個の発光領域へそれぞれ制御信号を送信して、M個の発光領域を、M個の異なる時点でそれぞれ発光するように制御することができる。
[0570] 例えば、アレイ光源は、4つの独立した発光領域A、B、C、及びDを含む。この場合、制御ユニットは、4つの独立した発光領域A、B、Cへ、時点t0、時点t1、時点t2において制御信号をそれぞれ送信することが可能であり、その結果、3つの独立した発光領域A、B、Cは、時点t0、時点t1、時点t2でそれぞれ発光する。
[0571] 4003B.コリメーション・レンズ群を使用することにより、M個の異なる時点でM個の発光領域からそれぞれ発生したビームに関してコリメーション処理を実行し、コリメーション処理が実行された後のビームを取得する。
[0572] コリメーション・レンズ群を使用することにより、M個の異なる時点でM個の発光領域からそれぞれ発生したビームに関してコリメーション処理を実行する前述のステップ4003Bは、具体的には、コリメーション・レンズ群を使用することにより、M個の異なる時点でM個の発光領域からそれぞれ発生したビームに関してコリメーション処理をそれぞれ実行するステップを意味している可能性がある。
[0573] アレイ光源は、4つの独立した発光領域A、B、C、Dを含み、アレイ光源のうちの3つの独立した発光領域A、B、Cは、制御ユニットの制御の下で、時点t0、時点t1、及び時点t2でそれぞれ発光するものと仮定する。この場合、コリメーション・レンズ群は、時点t0、時点t1、及び時点t2において、発光領域A、B、及びCによってそれぞれ放出されるビームに関してコリメーション処理を実行することができる。
[0574] コリメーション・レンズ群を使用してビームに関してコリメーション処理を実行することにより、ほぼ平行なビームを取得することができ、その結果、ビームのパワー密度を向上させることができ、そのビームを用いて以後に実行する走査の実効性を改善することができる。
[0575] 4003C.ビーム・スプリッタを使用することにより、コリメーション処理が実行された後に得られるビームに関してビーム分割処理を実行する。
[0576] 4003D.受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信する。
[0577] ビーム・スプリッタは、具体的には、受信した各ビーム光を、複数のビーム光に分割するように構成される。ターゲット・オブジェクトの反射ビームは、ビーム・スプリッタからのビームを反射することによって、ターゲット・オブジェクトから得られるビームである。
[0578] 4003E.M個の異なる時点でM個の発光領域からそれぞれ放出されるビームに対応するTOFに基づいて、M個の深度マップを生成する。
[0579] M個の異なる時点でM個の発光領域からそれぞれ放出されるビームに対応するTOFは、具体的には、M個の異なる時点でアレイ光源のM個の発光領域からそれぞれ放出されるビームの放出時点と、対応する反射ビームの受信時点との間の時間差に関する情報であってもよい。
[0580] 4003F.M個の深度マップに基づいて、ターゲット・オブジェクトの最終深度マップを取得する。
[0581] オプションとして、M個の深度マップは、それぞれ、ターゲット・オブジェクトのM個の領域セットに対応する深度マップであり、M個の領域セット内の何れの2つの領域セット間にもオーバーラップする領域は存在しない。
[0582] オプションとして、受信ユニットは、受信レンズ群とセンサーを含む。受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信する際の前述のステップ4003Dは:受信レンズ群を使用することにより、ターゲット・オブジェクトの反射ビームを、センサーに収束させるステップを含む。
[0583] センサーは、センサー・アレイと言及される場合もあり、センサー・アレイは、2次元センサー・アレイであってもよい。
[0584] オプションとして、センサーの分解能はP×Q以上であり、アレイ光源の1つの発光領域からのビームに関してビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qである。
[0585] P及びQは双方ともに正の整数である。センサーの分解能は、ビーム・スプリッタが、アレイ光源の1つの発光領域からのビームに関してビーム分割を実行した後に得られるビームの数量以上である。従って、センサーは、ビーム・スプリッタからのビームを反射することにより、ターゲット・オブジェクトから得られる反射ビームを受信することができ、その結果、TOF深度センシング・モジュールは、通常的に、反射ビームを受信することができる。
[0586] オプションとして、M個の最終深度マップを生成する際の前述のステップ4003Eは、具体的には以下を含む:
[0587] (1)M個の異なる時点でM個の発光領域からそれぞれ放出されるビームに対応するTOFに基づいて、ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離を決定する。
[0588] (2)ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離に基づいて、ターゲット・オブジェクトのM個の領域の深度マップを生成する。
[0598] (3)ターゲット・オブジェクトのM個の領域の深度マップに基づいて、ターゲット・オブジェクトの深度マップを合成する。
[0590] 図24に示される方法は、図3に示されるTOF深度センシング・モジュール又は図3に示されるTOF深度センシング・モジュールを含む端末デバイス、によって実行される可能性がある。
[0591] 第2動作モードにおいてターゲット・オブジェクトの最終深度マップを取得するプロセスは、TOF深度センシング・モジュールにおけるコリメーション・レンズ群とビーム・スプリッタの間の相対的な位置関係によって異なる。図25を参照しながら、以下、第2動作モードにおけるターゲット・オブジェクトの最終深度マップを取得するプロセスを詳細に説明する。
[0592] 図25は、第2動作モードにおけるターゲット・オブジェクトの最終深度マップを取得する際の概略フローチャートである。図25に示されるプロセスは、ステップ4003aないしステップ4003fを含む。以下、ステップを別々に詳細に説明する。
[0593] 4003a.アレイ光源のN個の発光領域のうちのM個の発光領域を、M個の異なる時点で発光するように制御する。
[0594] MはN以下であり、M及びNは両方とも正の整数である。
[0595] ステップ4003aにおいて、制御ユニットは、アレイ光源を発光するように制御することができる。具体的には、制御ユニットは、M個の時点において、アレイ光源のM個の発光領域へそれぞれ制御信号を送信して、M個の発光領域を、M個の異なる時点でそれぞれ発光するように制御することができる。
[0596] 例えば、アレイ光源は、4つの独立した発光領域A、B、C、及びDを含む。この場合、制御ユニットは、3つの独立した発光領域A、B、Cへ、時点t0、時点t1、時点t2において制御信号をそれぞれ送信することが可能であり、その結果、3つの独立した発光領域A、B、Cは、時点t0、時点t1、時点t2でそれぞれ発光する。
[0597] 4003b.ビーム・スプリッタを使用することにより、M個の異なる時点でM個の発光領域によってそれぞれ生成されたビームに関してビーム分割処理を実行する。
[0598] ビーム・スプリッタは、具体的には、受信した各ビーム光を複数のビーム光に分割するように構成されている。
[0599] ビーム・スプリッタを使用することにより、M個の異なる時点でM個の発光領域によりそれぞれ生成されたビームに関してビーム分割処理を実行することは、具体的には、ビーム・スプリッタを使用することにより、M個の異なる時点でM個の発光領域により生成されたビームに関してビーム分割処理をそれぞれ実行することを意味している可能性がある。
[0600] 例えば、アレイ光源は、4つの発光領域111、112、113、及び114を含む。制御ユニットの制御の下で、発光領域Aは時点T0で光を放出し、発光領域Bは時点T1で光を放出し、発光領域Cは時点T2で光を放出する。この場合、ビーム・スプリッタは、時点T0において、発光領域Aによって放出されたビームに関してビーム分割処理を実行し、時点T1において、発光領域Bによって放出されたビームに関してビーム分割処理を実行し、時点T2において、発光領域Cによって放出されたビームに関してビーム分割処理を実行することができる。
[0601] 4003c.コリメーション・レンズ群を使用することにより、ビーム・スプリッタからのビームに関してコリメーション処理を実行する。
[0602] コリメーション・レンズ群を使用してビームに関してコリメーション処理を実行することにより、ほぼ平行なビームを取得することができ、その結果、ビームのパワー密度を向上させることができ、そのビームを用いて以後に実行する走査の実効性を改善することができる。
[0603] 4003d.受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信する。
[0604] ターゲット・オブジェクトの反射ビームは、コリメーション・レンズ群からのビームを反射することによって、ターゲット・オブジェクトから得られるビームである
[0605] 4003e.M個の異なる時点でM個の発光領域からそれぞれ放出されるビームに対応するTOFに基づいて、M個の深度マップを生成する。
[0606] M個の異なる時点でアレイ光源のM個の発光領域からそれぞれ放出されるビームに対応するTOFは、具体的には、M個の異なる時点でアレイ光源のM個の発光領域からそれぞれ放出されるビームの放出時点と、対応する反射ビームの受信時点との間の時間差に関する情報であってもよい。
[0607] 4003f.M個の深度マップに基づいて、ターゲット・オブジェクトの最終深度マップを取得する。
[0608] オプションとして、M個の深度マップは、それぞれ、ターゲット・オブジェクトのM個の領域セットに対応する深度マップであり、M個の領域セット内の何れの2つの領域セット間にもオーバーラップする領域は存在しない。
[0609] オプションとして、受信ユニットは、受信レンズ群とセンサーを含む。受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信する際の前述のステップ4003dは:受信レンズ群を使用することにより、ターゲット・オブジェクトの反射ビームを、センサーに収束させるステップを含む。
[0610] センサーは、センサー・アレイと言及される場合もあり、センサー・アレイは、2次元センサー・アレイであってもよい。
[0611] オプションとして、センサーの分解能はP×Q以上であり、アレイ光源の1つの発光領域からのビームに関してビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qである。
[0612] P及びQは双方ともに正の整数である。センサーの分解能は、ビーム・スプリッタが、アレイ光源の1つの発光領域からのビームに関してビーム分割を実行した後に得られるビームの数量以上である。従って、センサーは、コリメーション・レンズ群からのビームを反射することにより、ターゲット・オブジェクトから得られる反射ビームを受信することができ、その結果、TOF深度センシング・モジュールは、通常的に、反射ビームを受信することができる。
[0613] オプションとして、M個の深度マップを生成する際の前述のステップ4002eは、具体的には以下を含む:
[0614] (1)M個の異なる時点でM個の発光領域からそれぞれ放出されるビームに対応するTOFに基づいて、ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離を決定する。
[0615] (2)ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離に基づいて、ターゲット・オブジェクトのM個の領域の深度マップを生成する。
[0616] (3)ターゲット・オブジェクトのM個の領域の深度マップに基づいて、ターゲット・オブジェクトの深度マップを合成する。
[0617] 図25に示されるプロセスと図24に示されるプロセスは両方とも、第2動作モードにおけるターゲット・オブジェクトの最終深度マップを取得する方法である。主な相違は以下のとおりである:図25においては、先ず、ビーム・スプリッタを使用することにより、アレイ光源から放出されたビームに関してビーム分割処理が実行され、次いで、コリメーション・レンズ群を使用することにより、ビーム分割処理が実行された後に得られるビームに関してコリメーション処理が実行される。図24においては、先ず、コリメーション・レンズ群を使用することにより、アレイ光源から放出されたビームに関してコリメーション処理が実行され、次いで、ビーム・スプリッタを使用することにより、コリメーション処理が実行された後に得られるビームに関してビーム分割処理が実行される。
[0618] 上記は、図1ないし図25を参照しながら本件の実施形態におけるTOF深度センシング・モジュール及び画像生成方法を詳細に説明している。以下は、図26ないし図52を参照しながら本件の実施形態における別のTOF深度センシング・モジュール及び別の画像生成方法を詳細に説明している。
[0619] 従来のTOF深度センシング・モジュールは、一般に、光学的構造(例えば、リフレクタ、レンズ、及びプリズム)を駆動するために構成要素を機械的に回転又は振動させたり、又は発光源を回転又は振動させたりして、ターゲット・オブジェクトの様々な領域を走査する仕方で、ビームの伝搬方向を変化させている。しかしながら、TOF深度センシング・モジュールは、大きなサイズを有し、限られたスペースを有する一部のデバイス(例えば、移動端末)に取り付けるのに適していない。更に、TOF深度センシング・モジュールは、一般に、連続的な走査の仕方で走査を実行する。一般に、生成される走査トラックも連続的である。ターゲット・オブジェクトが走査される場合に、柔軟性は乏しく、関心領域(region of interest, ROI)を迅速に特定することはできない。従って、本件の実施形態はTOF深度センシング・モジュールを提供し、その結果、機械的な回転や振動なしに異なるビーム異なる方向に照射されることが可能になり、関心のある走査対象領域を、迅速に特定することができるようになる。以下、添付の図面を参照しながら具体的に説明する。
[0620] 以下、先ず図26を参照しながら、本件の実施形態におけるTOF深度センシング・モジュールを簡単に説明する。
[0621] 図26は、本件の実施形態によるTOF深度センシング・モジュールを用いて距離測定を実行する際の概略図である。
[0622] 図26に示されるように、TOF深度センシング・モジュールは、送信端部(又は、投影端部と言及されてもよい)、受信端部、及び制御ユニットを含む可能性がある。送信端部は、出現ビームを生成するように構成されている。受信端部は、ターゲット・オブジェクトの反射ビーム(反射ビームは、出現ビームを反射することによってターゲット・オブジェクトから得られるビームである)を受信するように構成されている。制御ユニットは、送信端部と受信端部のそれぞれを、ビームを放出及び受信するように制御することができる。
[0623] 図2において、送信端部は、一般に、光源、コリメーション・レンズ群(オプション)、偏光フィルタリング・デバイス、光学素子、及び投影レンズ群(オプション)を含む可能性があり、受信端部は、一般に、受信レンズ群及びセンサーを含む可能性があり、受信レンズ群及びセンサーは、まとめて受信ユニットと言及される場合がある。
[0624] 図26において、出現ビームに対応するTOFは、タイミング装置を用いて記録され、TOF深度センシング・モジュールとターゲット領域との間の距離を計算し、ターゲット・オブジェクトの最終深度マップを取得することができる。出現ビームに対応するTOFは、反射ビームが受信ユニットによって受信される時点と、出現ビームの発生時点との間の時間差に関する情報であってもよい。
[0625] 本件のこの実施形態におけるTOF深度センシング・モジュールは、3D画像を取得するように構成されてもよい。本件のこの実施形態におけるTOF深度センシング・モジュールは、インテリジェント端末(例えば、携帯電話、タブレット、及びウェアラブル・デバイス)内に配置されてもよく、深度画像又は3D画像を取得するように構成されるものであり、3Dゲーム又はモーション・センシング・ゲーム用のジェスチャ及び身体認識をもたらす可能性がある。
[0626] 以下、図27を参照しながら、本件の実施形態におけるTOF深度センシング・モジュールを詳細に説明する。
[0627] 図27は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。
[0628] 図27に示されるTOF深度センシング・モジュール200は、光源210、偏光フィルタリング・デバイス220、光学素子230、受信ユニット240、及び制御ユニット250を含む。偏光フィルタリング・デバイス220は、光源210と光学素子230との間に位置している。以下、TOF深度センシング・モジュール200内のモジュール又はユニットを詳細に説明する。
[0629] 光源210:
[0630] 光源210は、ビームを生成するように構成されている。具体的には、光源210は複数の偏光状態において光を生成することができる。
[0631] オプションとして、光源210により放出されるビームは、準平行光の単一ビームであり、光源210によって放出されるビームの発散角度は1°未満である。
[0632] オプションとして、光源210は半導体レーザー光源であってもよい。
[0633] 光源は、垂直共振器型面発光レーザー(vertical cavity surface emitting laser, VCSEL)であってもよい。
[0634] オプションとして、光源は、ファブリ・ペロー・レーザー(これは、FPレーザーと略称される場合がある)であってもよい。
[0635] 単一のVCSELと比較して、単一のFPレーザーは、より大きなパワーを実現することが可能であり、VCSELよりも高い電気-光学変換効率を有し、そのため、走査実効性を改善することができる。
[0636] オプションとして、光源210によって放出されるビームの波長は、900nmより大きい。
[0637] 太陽光の中で900nmを超える光の強度は低い。従って、ビームの波長が900nmより大きい場合、それは太陽光に起因する干渉を低減するのに役立ち、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[0638] オプションとして、光源210によって放出されるビームの波長は、940nm又は1550nmである。
[0639] 太陽光の中で940nm又は1550nm付近の光の強度は低い。従って、ビームの波長が940nm又は1550nmである場合、それは太陽光に起因する干渉を大幅に低減することができ、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[0640] 偏光フィルタリング・デバイス220:
[0641] 偏光フィルタリング・デバイス220は、単一の偏光状態においてビームを得るためにビームをフィルタリングするように構成されている。
[0642] 単一の偏光状態にあるビームであって、フィルタリングを経て偏光フィルタリング・デバイス220によって得られるビームは、複数の偏光状態のうちにあり且つ光源210によって生成されるビームの1つである。
[0643] 例えば、光源210によって生成されるビームは、直線偏光、左旋円偏光、及び右旋円偏光を異なる方向において含む。この場合、偏光フィルタリング・デバイス220は、ビーム内の左旋円偏光と右旋偏光を遮蔽して、特定の方向において直線偏光であるビームを取得することができる。
[0644] 光学素子230:
[0645] 光学素子230は、単一の偏光状態でビームの方向を調整するように構成されている。
[0646] 光学素子230の屈折率パラメータは、制御可能である。光学素子230の屈折率が変化する場合、光学素子230は、単一の偏光状態におけるビームを様々な方向に調整することが可能である。
[0647] 以下、添付図面を参照しながらビームの伝搬方向を説明する。ビームの伝搬方向は、空間角度を使用することにより定義されてもよい。図28に示されるように、ビームの空間角度は、出現表面の矩形座標系においてビームとZ軸の方向との間の角度θと、平面XY上のビームの投影とX軸の方向との間の角度φとを含む。ビームの空間角度θ又はφは、ビームが走査に使用される場合に変化する。
[0648] 制御ユニット250:
[0649] 制御ユニット250は、光学素子230の屈折率パラメータを制御して、単一の偏光状態におけるビームの伝搬方向を変更するように構成されている。
[0650] 制御ユニット250は、制御信号を生成することが可能である。制御信号は、電圧信号であってもよいし、又は無線周波数駆動信号であってもよい。光学素子230の屈折率パラメータは、制御信号を使用することによって変更されてもよく、その結果、単一の偏光状態にあるビームであって光学素子20によって受信されるビームの出現方向を変化させることができる。
[0651] 受信ユニット240:
[0652] 受信ユニット240は、ターゲット・オブジェクトの反射ビームを受信するように構成されている。
[0653] ターゲット・オブジェクトの反射ビームは、単一の偏光状態においてビームを反射することによって、ターゲット・オブジェクトから得られるビームである。
[0654] 具体的には、光学素子230を通過した後、単一の偏光状態のビームは、ターゲット・オブジェクトの表面に照射される。ターゲット・オブジェクトの表面の反射に起因して、反射ビームが生成され、反射ビームは受信ユニット240によって受信されることが可能である。
[0655] 受信ユニット240は、具体的には、受信レンズ群241及びセンサー242を含む可能性がある。受信レンズ群241は、反射ビームを受信し、反射ビームをセンサー242に収束させるように構成されている。
[0656] 本件のこの実施形態において、光学素子の複屈折が変化する場合、ビームを様々な方向に調節することができる。従って、光学素子の複屈折パラメータを制御することにより、ビームの伝搬方向を調整することができ、その結果、非-機械的な回転によりビームの伝搬方向を調整することができ、ビームは、離散的な走査に使用されることができ、また、ターゲット・オブジェクトの周囲環境度又は距離を、より柔軟に測定することができる。
[0657] 換言すれば、本件のこの実施形態では、光学素子230の屈折率パラメータを制御することによって、単一の偏光状態におけるビームの空間角度を変更することができ、その結果、光学素子230は、単一の偏光状態におけるビームの伝搬方向を変更することができ、要件を充足している走査方向及び走査角度の出現ビームを出力し、離散走査を実行することができ、走査の柔軟性高く、ROIを迅速に位置決めすることができる。
[0658] オプションとして、制御ユニット250は、ビームに対応するTOFに基づいて、ターゲット・オブジェクトの深度マップを生成するように更に構成されている。
[0659] ビームに対応するTOFは、具体的には、ビームに対応する反射ビームが受信ユニットによって受信される時点と、光源がビームを放出する時点との間の時間差に関する情報であってもよい。ビームに対応する反射ビームは、具体的には、偏光フィルタリング・デバイスと光学素子によってビームが処理され、その後にターゲット・オブジェクトに到達し、ターゲット・オブジェクトによって反射された後に生じたビームであってもよい。
[0660] 図29は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。
[0661] 図29に示されるように、TOF深度センシング・モジュール200は、コリメーション・レンズ群260を更に含む。コリメーション・レンズ群260は、光源210と偏光フィルタリング・デバイス220との間に配置される。コリメーション・レンズ群260は、ビームに関してコリメーション処理を実行するように構成されている。偏光フィルタリング・デバイス220は、コリメーション・レンズ群がコリメーション処理を実行した後に得られるビームをフィルタリングし、単一の偏光状態のビームを取得するように構成されている。
[0662] オプションとして、光源210の発光領域は、5×5mm2以下である。
[0663] オプションとして、コリメーション・レンズ群120の有効開口は、5mm以下である。
[0664] 光源及びコリメーション・レンズ群のサイズは小さいので、上記のデバイス(光源及びコリメーション・レンズ群)を含むTOF深度センシング・モジュールは、端末デバイス内に統合しやすく、そのため、端末デバイス内で占めるスペースをある程度小さくすることができる。
[0665] オプションとして、TOF深度センシング・モジュール200の平均出力光パワーは、800mW以下である。
[0666] TOF深度センシング・モジュールの平均出力光パワーが800mw以下である場合、TOF深度センシング・モジュールの電力消費は小さく、電力消費に敏感なデバイス、例えば端末デバイスに、TOF深度センシング・モジュールを配置することを促す。
[0667] 図30は、本件の実施形態によるTOF深度センシング・モジュールによりターゲット・オブジェクトを走査する際の概略図である。
[0668] 図30に示されるように、光学素子230は時点T0で出現ビーム1を放出することが可能である。走査方向及び走査角度が時点T1で変更されることを必要とする場合、光学素子は、時点T1で出現ビーム2を放出するように直接的に制御されてもよい。走査方向及び走査角度が時点T2で更に変更されることを必要とする場合、時点T2で出現ビーム3を放出するように光学素子に制御信号が送信されてもよい。TOF深度センシング・モジュール200は、ターゲット・オブジェクトを走査するために、異なる時点で異なる方向に出現ビームを直接的に出力することが可能である。
[0669] 以下、図31を参照しながら、以下、TOF深度センシング・モジュール200により離散走査を実施する際の効果を詳細に説明する。
[0670] 図31は、本件の実施形態によるTOF深度センシング・モジュールの走査トラックの概略図である。
[0671] 図31に示すように、TOF深度センシング・モジュールは、走査点Aから走査を開始してもよい。走査が走査点Aから走査点Bへ切り替えられることを必要とする場合、光学素子230は、制御ユニット250を使用することにより直接的に制御されてもよく、その結果、出現ビームは走査点Bに直接的に照射され、走査点Aから走査点Bへ徐々に移動させる必要はない(図中のAとBの間の破線に沿ってAからBへ移動させる必要はない)。同様に、走査が走査点Bから走査点Cへ切り替えられることを必要とする場合、光学素子230はまた、制御ユニット250を使用することにより直接的に制御されてもよく、その結果、出現ビームは走査点Cに直接的に照射され、走査点Bから走査点Cへ徐々に移動させる必要はない(図中のBとCの間の破線に沿ってBからCへ移動させる必要はない)。
[0672] 従って、TOF深度センシング・モジュール200は、離散走査を実施することができ、高い走査柔軟性を有し、走査されることを必要とする領域を迅速に特定することができる。
[0673] TOF深度センシング・モジュール200は、離散走査を実施することができるので、走査中に、TOF深度センシング・モジュール200は、複数の走査トラックを使用することによって領域を走査することができ、その結果、走査方法はより柔軟に選択され、また、TOF深度センシング・モジュール200の時間シーケンス制御を設計することにも役立つ。
[0674] 図32を参照しながら、以下、3×3の2次元ドット・マトリクスを一例として使用して、TOF深度センシング・モジュール200の走査方法を説明する。
[0675] 図32は、本件の実施形態によるTOF深度センシング・モジュールの走査方法の概略図である。
[0676] 図32に示されるように、TOF深度センシング・モジュール200は、2次元ドット・マトリクスの左上隅の点から走査を開始することができ、2次元ドット・マトリクスの右下隅の点が走査されるまで走査を終了しない。このような走査方法は、走査方法Aないし走査方法Fを含む。2次元ドット・マトリクスの左上隅の点から走査を開始することに加えて、TOF深度センシング・モジュール200は、更に、2次元ドット・マトリクスの中心点から開始して、2次元ドット・マトリクスの全ての点が走査されるまで走査し、2次元ドット・マトリクスの全ての点の走査を完了してもよい。このような走査方法は、走査方法Gないし走査方法Jを含む。
[0677] 更に、TOF深度センシング・モジュール200は、2次元アレイの任意の点から開始して、2次元アレイの全ての点の走査が完了するまで走査してもよい。図32の走査方法Kによって示されるように、走査は、2次元アレイの第1行第2列にある点から開始して、2次元アレイの中心点が走査されるまで走査し、2次元アレイ・ドット・マトリクスの全ての点の走査を完了するしてもよい。
[0678] オプションとして、光学素子230は、液晶偏光格子、光学フェーズド・アレイ、電気-光学デバイス、及び音響-光学素子のうちの任意の1つである。
[0679] 添付図面を参照しながら、以下、様々なケースを用いて光学素子230の具体的な構成を詳細に説明する。
[0680] ケース1:光学素子230は、液晶偏光格子(liquid crystal polarization grating, LCPG)である。ケース1において、光学素子230の複屈折率は制御可能である。光学素子の複屈折率が変化する場合、光学素子は、単一の偏光状態におけるビームを、様々な方向に調整することができる。
[0681] 液晶偏光格子は、幾何学的な位相の原理に基づく新規な格子デバイスである。液晶偏光格子は、円偏光に作用し、電気-光学同調性及び偏光同調性を有する。
[0682] 液晶偏光格子は、液晶分子周期的配列させることによって形成された格子であり、その製造方法は、一般に、光配向技術を使用することにより、液晶分子のディレクター(液晶分子の長軸方向)を、一方向で直線的かつ周期的に徐々に変化させるように制御している。円偏光は、入射光の偏光状態を制御することにより、+1オーダー又は-1オーダーに回折させることが可能であり、ビームは、様々な回折オーダーと0オーダーとの間の切り替えにより偏向させることができる。
[0683] 図33は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。
[0684] 図33に示すように、光学素子230は、液晶偏光格子であり、制御ユニット250は、ビームを液晶偏光格子へ放出するように光源を制御し、制御信号を使用することにより、液晶偏光格子を制御して、ビームの方向を偏向させ、出現ビームを取得することができる。
[0685] オプションとして、液晶偏光格子は、水平LCPG構成要素と垂直LCPG構成要素を含む。
[0686] 図34は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。
[0687] 図34に示すように、液晶偏光格子は、水平LCPG構成要素と垂直LCPG構成要素を含む。離散ランダム走査は、水平LCPG構成要素を使用することによって水平方向に実施されることが可能であり、離散ランダム走査は、垂直LCPG構成要素を使用することによって垂直方向に実施されることが可能である。水平LCPG構成要素と垂直LCPG構成要素が組み合わせられる場合、水平方向と垂直方向で2次元離散ランダム走査を実現することができる。
[0688] 図34は、水平LCPGが垂直LCPGの前にあるケースのみを示していることが理解されるべきである(水平LCPGと光源の間の距離は、垂直LCPGと光源との間の距離より小さい)。実際には、本件では、液晶変更格子において、垂直LCPGが水平LCPGの前にあってもよい(垂直LCPGと光源の間の距離は、水平LCPGと光源との間の距離より小さい)。
[0689] 本件において、液晶偏光格子が水平LCPG構成要素と垂直LCPG構成要素を含む場合には、水平方向及び垂直方向で2次元離散ランダム走査を実施することが可能である。
[0690] オプションとして、ケース1において、液晶偏光格子は、更に、水平偏光制御シート及び垂直偏光制御シートを含んでもよい。
[0691] 液晶偏光格子が偏光制御シートを含む場合、ビームの偏光状態を制御することができる。
[0692] 図35は、本件の実施形態による液晶偏光格子の構造の概略図である。
[0693] 図35に示されるように、液晶偏光格子は、水平LCPG及び垂直LCPGを含み、また、水平偏光制御シート及び垂直偏光制御シートを含む。図35において、水平LCPGは、水平偏光制御シートと垂直偏光制御シートとの間に位置し、垂直偏光制御シートは、水平LCPGと垂直LCPGとの間に位置する。
[0694] 図36は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。
[0695] 図36に示されるように、TOF深度センシング・モジュールにおける液晶偏光格子の構造は図35に示されており、水平偏光制御シート、水平LCPG、垂直偏光制御シート、及び垂直LCPGの全てと光源との間の距離は順次増えている。
[0696] オプションとして、図35に示される液晶偏光格子内の構成要素は、以下の組み合わせ方式を有する可能性がある:
組み合わせ方式1:124;
組み合わせ方式2:342;及び
組み合わせ方式3:3412。
[0697] 前述の組み合わせ方式1において、1は、水平偏光制御シート及び垂直偏光制御シートであって密着しているものを表していてもよい。この場合、密着した2つの偏光制御シートは、1つの偏光制御シートと同等である。従って、組み合わせ方法1において、1は、水平偏光制御シート及び垂直偏光制御シートであって密着しているものを表すために使用される。同様に、前述の組み合わせ方式2において、3は、水平偏光制御シート及び垂直偏光制御シートであって密着したものを表していてもよい。この場合、密着した2つの偏光制御シートは、1つの偏光制御シートと同等である。従って、組み合わせ方法2において、3は、水平偏光制御シート及び垂直偏光制御シートであって密着しているものを表すために使用される。
[0698] 組み合わせ方式1又は組み合わせ方式2における光学素子230がTOF深度センシング・モジュールに配置される場合、水平偏光制御シート及び垂直偏光制御シートの両方が光源に近い側に配置され、水平LCPG及び垂直LCPGの両方が光源から遠い側に配置される。
[0699] 組み合わせ方式3における光学素子230がTOF深度センシング・モジュールに配置される場合、垂直偏光制御シート、垂直LCPG、水平偏光制御シート、及び水平LCPGの全てと光源との間の距離は順次増えている。
[0700] 液晶偏光格子の前述の3つの組み合わせ方式と、図35における組み合わせ方法は、単なる例であることが理解されるべきである。実際には、本件の光学素子の構成要素は、更に、異なる組み合わせを有する可能性があり、但し、水平偏光制御シートと光源との間の距離が、水平LCPGと光源との間の距離よりも小さく、垂直偏光制御シートと光源との間の距離が、垂直LCPGと光源との間の距離よりも小さいものと仮定する。
[0701] 図37に示されるように、液晶偏光格子の物理的特性は、周期的な制御信号(図37では、制御信号の周期はΛである)を液晶偏光格子に入力することによって周期的に変化させることができる。具体的には、液晶偏光格子内の液晶分子の配列の仕方が、ビームの方向を偏向させるように変えることが可能である(液晶分子は概ね棒状であり、液晶分子の方向は、制御信号の影響に起因して変化する)。
[0702] 液晶偏光格子と偏光子を組み合わせると、ビームの様々な方向を制御することができる。
[0703] 図38に示されるように、入射光に関し3つの異なる方向におけるビームは、左旋円偏光子、右旋円偏光子、及びLCPGの電圧を制御することによって制御することができ。出現光の偏向角度は、以下の回折格子方程式に基づいて決定することができる:
Figure 2023509068000114
[0704] 前述の回折格子方程式において、θmはm次の出現光の回折角度であり、λはビームの波長であり、ΛはLCPGの周期であり、θは入射光の入射角度である。偏向角θmの値は、LCPG格子の周期の値、波長、及び入射角の値に依存し、mの値はここでは0及び±1だけであってもよいことが、回折格子方程式から知ることができる。mの値が0である場合、方向は変わらないことを示す。mの値が1である場合、ビームは、入射方向に対して左又は反時計回りに偏向されることを示す。mの値が-1である場合、ビームは、入射方向に対して右又は時計回りに偏向されることを示す(mの値が+1であることとmの値が-1であることは反転されてもよいという意味が存在する)。
[0705] 3つの角度における偏向は、単一のLCPGを使用して3つの角度で出現ビームを得ることによって、実現することができる。従って、複数のLCPGをカスケード接続することによって、より多くの角度で出現ビームを得ることができる。従って、N個の偏光制御シート(偏光制御シートは、入射光の偏光を制御して、左旋偏光と右旋偏光の間の変換を実現するように構成される)と、N個のLCPGとを組み合わせることによって、理論上、3N個の偏光角を実現することができる
[0706] 例えば、図35に示されるように、TOF深度センシング・モジュールの光学素子は、デバイス1、2、3、及び4を含む。デバイス1、2、3及び4は、それぞれ、水平偏光制御シート、水平LCPG、垂直偏光制御シート、及び垂直LCPGを表す。偏光制御シートのそれぞれのグループ及びLCPGのそれぞれのグループの電圧を制御することにより、ビームの偏向方向及び偏向角度を制御することができる。
[0707] 3×3点スキャンを一例として使用する。図39に示される電圧信号は、図36に示されるデバイス1、2、3、及び4にそれぞれ印加され(図39の1、2、3、及び4は図36に示されるデバイス1、2、3、及び4に印加される電圧信号をそれぞれ示す)、その結果、光源によって放出されたビームは、図40に示される走査トラックを実現するように制御されることが可能である。
[0708] 具体的には、入射光は左旋円偏光であり、水平LCPGは左旋光が入射された場合のへの偏向に使用され、垂直LCPGは、左旋光が入射された場合の下方への偏向に使用されることが想定されている。以下、各時点におけるビームの偏向方向を詳細に説明する。
[0709] 高電圧信号が水平偏光制御シートの両端に印加されると、水平偏光制御シートを通過するビームの偏光状態は変化しない。低電圧信号が水平偏波制御シートの両端に印加されると、水平偏光制御シートを通過するビームの偏光状態は変化する。同様に、高電圧信号が垂直偏光制御シートの両端に印加されると、垂直偏光制御シートを通過するビームの偏光状態は変化しない。同様に、低電圧信号が垂直偏光制御シートの両端に印加されると、垂直偏光制御シートを通過するビームの偏光状態は変化する。
[0710] 時点0において、デバイス1の入射光は、左旋円偏光である。低電圧がデバイス1に印加されているので、入射光がデバイス1を通過した後、右旋円偏光が放出される。デバイス2の入射光は、右旋円偏光である。高電圧がデバイス2に印加されているので、入射光がデバイス2を通過した後も、右旋円偏光が依然として放出される。デバイス3の入射光は、右旋円偏光である。低電圧がデバイス3に印加されているので、入射光がデバイス3を通過した後、左旋円偏光が放出される。デバイス4の入射光は、左旋円偏光である。高電圧がデバイス4に印加されているので、入射光がデバイス4を通過した後も、左旋円偏光が依然として放出される。従って、時点0において、入射光がデバイス1ないしデバイス4を通った後、入射光の方向は変化せず、偏光状態も変化しない。図40に示されるように、時点0に対応する走査点は、図40における中心t0によって示される位置である。
[0711] 時点t0において、デバイス1の入射光は、左旋円偏光である。高電圧がデバイス1に印加されているので、入射光がデバイス1を通過した後も、左旋円偏光が依然として放出される。デバイス2の入射光は、左旋円偏光である。低電圧がデバイス2に印加されているので、入射光がデバイス2を通過した後、左に偏向された右旋円偏光が放出される。デバイス3の入射光は、左に偏向された右旋円偏光である。低電圧がデバイス3に印加されているので、入射光がデバイス3を通過した後、左に偏向された左旋円偏光が放出される。デバイス4の入射光は、左に偏向された左旋円偏光である。高電圧がデバイス4に印加されているので、入射光がデバイス4を通過した後も、左に偏向された左旋円偏光が依然として放出される。換言すれば、時点0に対して、時点t0においてデバイス4によって放出されるビームは左に偏向され、図40における対応する走査点は、t0によって示される位置である。
[0712] 時点t1において、デバイス1の入射光は、左旋円偏光である。高電圧がデバイス1に印加されているので、入射光がデバイス1を通過した後も、左旋円偏光が依然として放出される。デバイス2の入射光は、左旋円偏光である。低電圧がデバイス2に印加されているので、入射光がデバイス2を通過した後、左に偏向された右旋円偏光が放出される。デバイス3の入射光は、左に偏向された右旋円偏光である。高電圧がデバイス3に印加されているので、入射光がデバイス3を通過した後、左に偏向された右旋円偏光が放出される。デバイス4の入射光は、左に偏向された右旋円偏光である。低電圧がデバイス4に印加されているので、入射光がデバイス4を通過した後、左に偏向され且つ上方に偏向された左旋円偏光が放出される。換言すれば、時点0に対して、時点t1においてデバイス4によって放出されるビームは左に偏向され且つ上方に偏向され、図40における対応する走査点は、t1によって示される位置である。
[0713] 時点t2において、デバイス1の入射光は、左旋円偏光である。低電圧がデバイス1に印加されているので、入射光がデバイス1を通過した後、右旋円偏光がとして放出される。デバイス2の入射光は、右旋円偏光である。高電圧がデバイス2に印加されているので、入射光がデバイス2を通過した後、右旋円偏光が放出される。デバイス3の入射光は、右旋円偏光である。高電圧がデバイス3に印加されているので、入射光がデバイス3を通過した後も、右旋円偏光が依然として放出される。デバイス4の入射光は、右旋円偏光である。低電圧がデバイス4に印加されているので、入射光がデバイス4を通過した後、上方に偏向された左旋円偏光が放出される。換言すれば、時点0に対して、時点t2においてデバイス4によって放出されるビームは上方に偏向され、図40における対応する走査点は、t2によって示される位置である。
[0714] 時点t3において、デバイス1の入射光は、左旋円偏光である。低電圧がデバイス1に印加されているので、入射光がデバイス1を通過した後、右旋円偏光が放出される。デバイス2の入射光は、右旋円偏光である。低電圧がデバイス2に印加されているので、入射光がデバイス2を通過した後、右に偏向された旋円偏光が放出される。デバイス3の入射光は、右に偏向された旋円偏光である。低電圧がデバイス3に印加されているので、入射光がデバイス3を通過した後、右に偏向された右旋円偏光が放出される。デバイス4の入射光は、右に偏向された右旋円偏光である。低電圧がデバイス4に印加されているので、入射光がデバイス4を通過した後、右に偏向され且つ上方に偏向された左旋円偏光が放出される。換言すれば、時点0に対して、時点t3においてデバイス4によって放出されるビームは右に偏向され且つ上方に偏向され、図40における対応する走査点は、t3によって示される位置である。
[0715] 時点t4において、デバイス1の入射光は、左旋円偏光である。低電圧がデバイス1に印加されているので、入射光がデバイス1を通過した後、右旋円偏光が放出される。デバイス2の入射光は、右旋円偏光である。低電圧がデバイス2に印加されているので、入射光がデバイス2を通過した後、右に偏向された左旋円偏光が放出される。デバイス3の入射光は、右に偏向された左旋円偏光である。低電圧がデバイス3に印加されているので、入射光がデバイス3を通過した後、右に偏向された右旋円偏光が放出される。デバイス4の入射光は、右に偏向された右旋円偏光である。高電圧がデバイス4に印加されているので、入射光がデバイス4を通過した後、右に偏向され右旋円偏光が依然として放出される。換言すれば、時点0に対して、時点t4においてデバイス4によって放出されるビームは右に偏向され、図40における対応する走査点は、t4によって示される位置である。
[0716] 時点t5において、デバイス1の入射光は、左旋円偏光である。低電圧がデバイス1に印加されているので、入射光がデバイス1を通過した後、右旋円偏光が放出される。デバイス2の入射光は、右旋円偏光である。低電圧がデバイス2に印加されているので、入射光がデバイス2を通過した後、右に偏向された右旋円偏光が放出される。デバイス3の入射光は、右に偏向された右旋円偏光である。高電圧がデバイス3に印加されているので、入射光がデバイス3を通過した後、右に偏向された右旋円偏光が放出される。デバイス4の入射光は、右に偏向された右旋円偏光である。低電圧がデバイス4に印加されているので、入射光がデバイス4を通過した後、右に偏向され且つ下方に偏向された左旋円偏光が放出される。換言すれば、時点0に対して、時点t5においてデバイス4によって放出されるビームは右に偏向され且つ下方に偏向され、図40における対応する走査点は、t5によって示される位置である。
[0717] 時点t6において、デバイス1の入射光は、左旋円偏光である。低電圧がデバイス1に印加されているので、入射光がデバイス1を通過した後、右旋円偏光が放出される。デバイス2の入射光は、右旋円偏光である。高電圧がデバイス2に印加されているので、入射光がデバイス2を通過した後も、右旋円偏光が依然として放出される。デバイス3の入射光は、右旋円偏光である。低電圧がデバイス3に印加されているので、入射光がデバイス3を通過した後、左旋円偏光が放出される。デバイス4の入射光は、左旋円偏光である。低電圧がデバイス4に印加されているので、入射光がデバイス4を通過した後、下方に偏向された右旋円偏光が放出される。換言すれば、時点0に対して、時点t6においてデバイス4によって放出されるビームは下方に偏向され、図40における対応する走査点は、t6によって示される位置である。
[0718] 時点t7において、デバイス1の入射光は、左旋円偏光である。高電圧がデバイス1に印加されているので、入射光がデバイス1を通過した後、左旋円偏光が放出される。デバイス2の入射光は、左旋円偏光である。低電圧がデバイス2に印加されているので、入射光がデバイス2を通過した後、左に偏向された右旋円偏光が放出される。デバイス3の入射光は、左に偏向された右旋円偏光である。低電圧がデバイス3に印加されているので、入射光がデバイス3を通過した後、左に偏向された左旋円偏光が放出される。デバイス4の入射光は、左に偏向された左旋円偏光である。低電圧がデバイス4に印加されているので、入射光がデバイス4を通過した後、左に偏向され且つ下方に偏向された右旋円偏光が放出される。換言すれば、時点0に対して、時点t7においてデバイス4によって放出されるビームは左に偏向され且つ下方に偏向され、図40における対応する走査点は、t7によって示される位置である。
[0719] TOF深度センシング・モジュールの可能な走査トラックは、ここでは図39及び図40を参照しながら説明されているだけであり、任意の個別のランダムな走査が、偏光制御シートの各グループ及びLCPGの各グループの電圧を変更及び制御することによって実現されてもよいことが理解されるべきである。
[0720] 例えば、図32に示される種々の走査トラックは、偏光制御シートの各グループ及びLCPGの各グループの電圧を変更及び制御することによって実現することができる。
[0721] ターゲット・オブジェクトが、従来のレーザー・レーダーを用いて走査される場合、通常、ターゲット領域に関して粗い走査(Coarse scan)が先ず実行されることを必要とし、次いで、関心領域(ROI)が発見された後に、より高い分解能に対応する細かい走査(Fine scan)が実行される。しかしながら、本件のこの実施形態におけるTOF深度センシング・モジュールは、離散走査を実施することができる。従って、細かい走査を行うために、関心領域を直接的に特定することができ、その結果、細かい走査に要する時間を大幅に短縮することができる。
[0722] 例えば、図41に示されるように、走査対象領域(身体の輪郭を含む矩形領域全体)の点の総数量はMであり、ROI(図41では身体の輪郭画像内の画像領域)は、走査対象領域の総面積の1/Nを占める。
[0723] 図41に示される走査対象領域が走査される場合に、従来のレーザー・レーダー及び本件のこの実施形態におけるレーザー走査レーダーの両方の点走査速度はK点/秒であり、ROI領域を走査する場合には細かい走査が実行されることを必要とし、細かい走査の間に存在する解像度は、元の値の4倍である値(即ち、4K点/秒)に増加させる必要があるものと仮定する。従って、本件のこの実施形態では、TOF深度センシング・モジュールを使用することによりROIに関して細かい走査を完了するために必要な時間はt1であり、従来のレーザー・レーダーを使用することによりROIに関して細かい走査を完了するために必要な時間はt2である。本件のこの実施形態におけるTOF深度センシング・モジュールは、離散走査を実行することができるので、TOF深度センシング・モジュールはROIを直接的に位置決めし、ROIに対して細かい走査を実行することができ、必要な走査時間は短い。しかしながら、従来のレーザー・レーダーは直線的な走査を行い、ROIを正確に位置決めすることは困難である。その結果、従来のレーザー・レーダーは、走査対象領域の全体に対して細かい走査を実行することを必要とし、走査時間は大幅に増加する。図42に示すように、本件のこの実施形態におけるTOF深度センシング・モジュールは、ROIを直接的に位置決めし、ROIに関して細かい走査を実行することができる(ROI内の走査点の密度は、ROI外の走査点の密度よりも著しく大きいことを、図42から知ることができる)。
[0724] 更に、t1及びt2は以下の式(2)及び式(3)に従ってそれぞれ計算することが可能である:
Figure 2023509068000115
[0725] 本件の本実施形態におけるTOF深度センシング・モジュールを使用することによりROIに関して細かい走査を実行するのに必要な時間は、従来のレーザー・レーダーを使用することにより細かい走査を実行するのに必要な時間の1/Nだけであることを、上記の式(2)及び式(3)から知ることができる。これは、ROIに関して細かい走査を実行するのに必要な時間を大幅に短縮する。
[0726] 本件のこの実施形態におけるTOF深度センシング・モジュールは、離散走査を実行することができるので、本件のこの実施形態におけるTOF深度センシング・モジュールは、任意の形状、特に何らかの非対称な領域及び離散的なROIブロックにおいて、ROI領域(車両、人物、建物、及びランダムなブロック)に関して細かい走査を実行することができる。更に、本件のこの実施形態におけるTOF深度センシング・モジュールは、走査領域内の点の均一な分布又は不均一な分布を実現することも可能である。
[0727] ケース2:光学素子230は、電気-光学デバイスである。
[0728] ケース2において、光学素子230が電気-光学デバイスである場合、制御信号は電圧信号であってもよく、電圧信号は電気-光学デバイスの屈折率を変化させるために使用されてもよい。従って、光源に対する電気-光学デバイスの位置が変化しない場合に、走査方向が制御信号に合致する出現ビームを取得するために、ビームは様々な異なる方向に偏向される。
[0729] オプションとして、図43に示されるように、電気-光学デバイスは、水平の電気-光学結晶(水平偏のための電気-光学結晶)及び垂直の電気-光学結晶(垂直偏のための電気-光学結晶)を含む可能性がある。水平電気-光学結晶は、水平方向にビームを偏向させることができ、垂直電気-光学結晶は、垂直方向にビームを偏向させることができる。
[0730] オプションとして、電気-光学結晶は、具体的には、タンタル酸ニオブ酸カリウム(potassium tantalate niobate, KTN)結晶、重水素化リン酸二水素カリウム(deuterated potassium dihydrogen phosphate, DKDP)結晶、及びニオブ酸リチウム(lithium niobate, LN)結晶のうちの何れか1つであってもよい。
[0731] 以下、添付図面を参照しながら、電気-光学結晶の動作原理を簡単に説明する。
[0732] 図44に示されるように、電圧信号が電気-光学結晶に印加されると、電気-光学結晶の電気光学的効果に起因して、電気-光学結晶に屈折率差が生じ(即ち、電気-光学結晶内で異なる領域の屈折率が相違する)、その結果、入射ビームは偏向させられる。図44に示されるように、出現ビームは、入射ビームの方向に対して偏向させられる。
[0733] 入射ビームに対する出現ビームの偏向角は、以下の式(4)に従って計算することができる:
Figure 2023509068000116
[0734] 前述の式(4)において、θmaxは入射ビームに対する出現ビームの最大偏向角を表し、nは電気-光学結晶の屈折率であり、g11yは二次の電気-光学係数勾配を表 し、Emaxは電気-光学結晶に印加することが可能な最大電界強度を表し、dg11y/dyは方向yにおける二次の電気-光学係数勾配である。
[0735] ビームの偏向角は、ターゲット領域を走査するために、印加される電界強度を調整することによって(即ち、電気-光学結晶に印加される電圧を調整することによって)、制御されてもよいことが、前述の式(4)から知ることができる。更に、より大きな偏向角を実現するために、複数の電気-光学結晶がカスケード接続されてもよい。
[0736] 図43に示されるように、光学素子は、水平偏のための電気-光学結晶及び垂直偏のための電気-光学結晶を含む。2つの電気-光学結晶は、水平方向にビームを偏向させ及び垂直方向にビームを偏向させる原因となる。図45に示される制御電圧信号が印加された後、図46に示される3×3スキャニングを実施することができる。具体的には、図45において、1及び2は水平偏のための電気-光学結晶及び垂直偏のための電気-光学結晶に印加される制御電圧信号をそれぞれ示す。
[0737] ケース3:光学素子230は、音響-光学デバイスである。
[0738] 図47に示されるように、光学素子230は音響-光学デバイスである。音響-光学デバイスは、トランスデューサを含んでもよい。光学素子230が音響-光学デバイスである場合、制御信号は、具体的には、無線周波数制御信号であってもよく、無線周波数制御信号は、トランスデューサを制御して、異なる周波数を有する音波を生成し、音響-光学デバイスの屈折率を変化させるために使用されることが可能である。従って、光源に対する音響-光学デバイスの位置が変化しない場合に、走査方向が制御信号に合致する出現ビームを取得するために、ビームは様々な方向に偏向される。
[0739] 図48に示されるように、音響-光学デバイスは、吸音体、石英、及び圧電トランスデューサを含む。音響-光学デバイスが電気信号を受信した後、圧電トランスデューサは、電気信号の作用の下で音波信号を生成することができる。音波信号が音響-光学デバイスで伝送される場合に、石英の屈折率分布は変化して格子を形成し、その結果、石英は入射ビームをある角度で偏向することができるようになる。異なる時点で入力された制御信号が異なる場合、音響-光学デバイスは、異なる時点で異なる方向に出現ビームを生成することができる。図48に示されるように、異なる時点(T0、T1、T2、T3、及びT4)における石英の出現ビームの偏向方向は、異なる可能性がある。
[0740] 音響-光学デバイスに入力される信号が周期的な信号である場合、音響-光学デバイス内の石英の屈折率分布が周期的に変化するので、周期的な格子が形成され、入射ビームは周期的な格子を使用することによって周期的に偏向させられることが可能である。
[0741] 更に、音響-光学デバイスの出現光の強度は、音響-光学デバイスに入力される無線周波数制御信号のパワーに直接的に関連付けられ、入射ビームの回折角は、無線周波数制御信号の周波数にも直接的に関連付けられる。また、出現ビームの角度は、無線周波数制御信号の周波数を変更することによって相応に調整されることが可能である。具体的には、入射ビームに対する出現ビームの偏向角は、以下の式(5)に従って決定されてもよい:
Figure 2023509068000117
[0742] 上記の式(5)において、θは入射ビームに対する出現ビームの偏向角であり、λは入射ビームの波長であり、fsは無線周波数制御信号の周波数であり、νsは音波の速度である。従って、光偏向器は、ビームが広い角度範囲で走査を実行できるようにし、ビームの出現角を正確に制御することができる。
[0743] ケース4:光学素子230は、光学フェーズド・アレイ(optical phased array, OPA)デバイスである。
[0744] 図49及び図50を参照しながら、以下、光学素子230がOPAデバイスであるケースを詳細に説明する。
[0745] 図49に示されるように、光学素子230はOPAデバイスであり、入射ビームは、OPAデバイスを使用することによって偏向され、走査方向が制御信号に合致する出現ビームを取得することができる。
[0746] OPAデバイスは、一般に、1次元又は2次元の位相シフタ・アレイを含む。位相シフタ間に位相差がない場合、光は同時に等位相面に到達し、光は干渉によらず順方向に伝搬し、その結果、ビーム偏向は生じない。
[0747] しかしながら、位相差が位相シフタに付加された後(例えば、一様な位相差が各光信号に割り振られる例が使用され、第2ウェーブガイドと第1ウェーブガイドとの間の位相差がΔであり、第3ウェーブガイドと第1ウェーブガイドとの間の位相差が2Δであり、以下同様である場合)、等位相面はウェーブガイド方向に対して垂直ではなく、ある程度偏向させられる。ビームが等位相関係を満たす場合、建設的な干渉が存在しビームが等位相条件を満たさない場合、破壊的な干渉が存在する。従って、ビームの方向は、常に、等位相面に垂直である。
[0748] 図50に示されるように、隣接するウェーブガイド間の距離はdであると仮定されている。この場合、隣接するウェーブガイドから出力されたビームが等位相面に到達した後に辿る光路間の差は、ΔR=d・sinθであり、ここで、θはビームの偏向角を表す。光路間の差は、アレイ素子間の位相差によるので、ΔR=Δ・λ/2πとなる。従って、ビームは、アレイ素子に位相差を導入することによって、偏向させることが可能である。これはOPAのビーム偏向原理である。
[0749] 従って、偏向角θ=arcsin(Δ・λ/(2π*d))となる。隣接する位相シフタ間の位相差は、例えばπ/12又はπ/6のように制御され、その結果、ビームの偏向角は、arcsin(λ/(24d))又はarcsin(λ/(12d))であるようになる。このようにして、位相シフタ・アレイの位相を制御することにより、任意の2次元方向の偏向を実現することができる。位相シフタは、液晶材料から構成されてもよく、異なる電圧を印加することによって、液晶間に異なる位相差が生じる。
[0750] オプションとして、図51に示されるように、TOF深度センシング・モジュール200は、更に、コリメーション・レンズ群260を含む:
コリメーション・レンズ群260は、光源210と偏光フィルタリング・デバイス220との間に配置され、コリメーション・レンズ群260は、ビームに関してコリメーション処理を実行するように構成され、偏光フィルタリング・デバイス220は、コリメーション・レンズ群260が処理を実行した後に得られるビームをフィルタリングして、単一の偏光状態のビームを取得するように構成されている。
[0751] なお、コリメーション・レンズ群260は、偏光フィルタリング・デバイス220と光学素子230との間に配置されてもよい。この場合、偏光フィルタリング・デバイス220は、先ず、光源によって生成されたビームに関して偏光フィルタリングを行い、単一の偏光状態のビームを取得する。次いで、コリメーション・レンズ群260は、単一の偏光状態におけるビームに関してコリメーション処理を実行する。
[0752] オプションとして、コリメーション・レンズ群260は、光学素子230の右側に配置されてもよい(コリメーション・レンズ群260と光源210との間の距離は、光学素子230と光源210との間の距離よりも大きい)。この場合、光学素子230が単一の偏光状態におけるビームの方向を調整した後、コリメーション・レンズ群260は、単一の偏光状態にあり且つその方向が調整されたビームに関してコリメーション処理を実行する。
[0753] 上記は、図26ないし図51を参照しながら本件の実施形態におけるTOF深度センシング・モジュール200を詳細に説明している。以下、図52を参照しながら本件の実施形態における画像生成方法を説明する。
[0754] 図52は、本件の実施形態による画像生成方法の概略フローチャートである。
[0755] 図52に示される方法は、本件の実施形態において示されるTOF深度センシング・モジュール、又は本件の実施形態におけるTOF深度センシング・モジュールを含む端末デバイスによって実行されてもよい。具体的には、図52に示される方法は、図27に示されるTOF深度センシング・モジュール200、又は図27に示されるTOF深度センシング・モジュール200を含む端末デバイスによって実行することができる。図52に示される方法は、ステップ5001ないしステップ5005を含む。以下、ステップを別々に詳細に説明する。
[0756] 5001.ビームを生成するように光源を制御する。
[0757] 光源は、複数の偏光状態における光を生成することができる。
[0758] 例えば、光源は、直線偏光、左旋円偏光、及び右旋円偏光のような複数の偏光状態における光を生成することができる。
[0759] 5002.偏光フィルタリング・デバイスを用いてビームをフィルタリングし、単一の偏光状態のビームを取得する。
[0760] 単一の偏光状態は、直線偏光、左旋円偏光、及び右旋円偏光のうちの任意の1つであってもよい。
[0761] 例えば、ステップ5001において、光源によって生成されるビームは、直線偏光、左旋円偏光、及び右旋円偏光を含む。この場合、ステップ5002において、ビーム内の左旋円偏光と右旋円偏光を遮蔽してもよく、特定の方向における直線偏光のみが確保される。オプションとして、偏光フィルタリング・デバイスは、更に、1/4波長板を含んでもよく、その結果、スクリーニングによって得られた直線偏光は、左旋円偏光(又は右旋円偏光)に変換される。
[0762] 5003.M個の異なる時点で異なる複屈折パラメータを個々に有するように光学素子を制御し、M個の異なる方向で出現ビームを取得する。
[0763] 光学素子の複屈折パラメータは制御可能である。光学素子の複屈折が変化する場合、光学素子は、単一の偏光状態におけるビームを、異なる方向に調整することが可能である。Mは1より大きな正の整数である。M個の反射ビームは、M個の異なる方向で出現ビームを反射することによってターゲット・オブジェクトから得られるビームである。
[0764] この場合、光学素子は液晶偏光格子であってよい。液晶偏光格子の具体的なケースについては、上記のケース1の説明を参照されたい。
[0765] オプションとして、光学素子がM個の時点において異なる複屈折パラメータを別々に有することは、具体的には、以下の2つのケースを含む可能性がある:
[0766] ケース1:M個の時点のうちの任意の2つの時点における光学素子の複屈折パラメータは異なる。
[0767] ケース2:光学素子のM個の時点において少なくとも2つの時点があり、少なくともその2つの時点における光学素子の複屈折パラメータは異なる。
[0768] ケース1において、M=5であると仮定する。この場合、光学素子は、5つの時点における5つの異なる複屈折パラメータにそれぞれ対応している。
[0769] ケース2において、M=5であると仮定する。この場合、光学素子は、5つの時点における2つの時点においてのみ、異なる複屈折パラメータに対応している。
[0770] 5004.受信ユニットを使用することによって、M個の反射ビームを受信する。
[0771] 5005.M個の異なる方向における出現ビームに対応するTOFに基づいて、ターゲット・オブジェクトの深度マップを生成する。
[0772] M個の異なる方向における出現ビームに対応するTOFは、具体的には、M個の異なる方向における出現ビームに対応する反射ビームが受信ユニットによって受信される時点と、M個の異なる方向における出現ビームの出現時点との間の時間差に関する情報であってもよい。
[0773] M個の異なる方向における出現ビームは、出現ビーム1を含むと仮定する。この場合、出現ビーム1に対応する反射ビームは、出現ビーム1がターゲット・オブジェクトに到達し、ターゲット・オブジェクトによって反射された後に生じるビームであってもよい。
[0774] 本件のこの実施形態では、光学素子の複屈折率が変化する場合、ビームを様々な方向に調節することができる。従って、光学素子の複屈折パラメータを制御することにより、ビームの伝搬方向を調整することができ、その結果、非-機械的な回転によりビームの伝搬方向を調整し、ビームは離散的な走査に使用されることができ、また、ターゲット・オブジェクトの周囲環境度又は距離を、より柔軟に測定することができる。
[0775] オプションとして、ターゲット・オブジェクトの深度マップを生成する際の前述のステップ5005は、具体的には以下を含む:
[0776] 5005a.M個の方向における出現ビームに対応するTOFに基づいて、ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離を決定する。
[0777] 5005b.ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離に基づいて、ターゲット・オブジェクトのM個の領域の深度マップを生成し、ターゲット・オブジェクトのM個の領域の深度マップに基づいて、ターゲット・オブジェクトの深度マップを合成する。
[0778] 図52に示される方法において、更に、コリメーション処理は、ビームに対して実行されてもよい。
[0779] オプションとして、ステップ5002の前に、図52に示される方法は、更に以下を含む:
[0780] ビームに関してコリメーション処理を実行し、コリメーション処理が実行された後に得られるビームを取得する。
[0781] ビームに関してコリメーション処理が実行された後に、単一の偏光状態におけるビームを取得する際の前述のステップ5002は、具体的には:偏光フィルタリング・デバイスを使用することにより、コリメーション処理が実行された後に得られるビームをフィルタリングして、単一の偏光状態における光を取得することを含む。
[0782] 偏光フィルタリング・デバイスを用いてビームをフィルタリングする前に、単一の偏光状態におけるビームを得るために、ビームに関してコリメーション処理を実行することにより、ほぼ平行なビームを取得することができ、その結果、ビームのパワー密度を向上させることができ、そのビームを用いて以後に実行する走査の実効性を改善することができる。
[0783] コリメーション処理が実行された後に得られるビームは準平行光であり、その発散角度は1°未満である。
[0784] 図52に示される方法では、コリメーション処理は、単一の偏光状態におけるビームに関して実行されてもよいことが理解されるべきである。具体的には、図52に示される方法は、更に、以下を含む:
[0785] 5007.コリメーション処理が実行された後に得られるビームを取得するために、単一の偏光状態におけるビームに関してコリメーション処理を実行する。
[0786] ステップ5007は、ステップ5002とステップ5003との間に位置してもよく、又はステップ5007は、ステップ5003とステップ5004との間に位置してもよい。
[0787] ステップ5007がステップ5002とステップ5003の間に位置する場合、光源によって生成されたビームが偏光フィルタリング装置を用いてフィルタリングされた後に、単一の偏光状態のビームが得られる。次いで、コリメーション・レンズ群を使用することにより、単一の偏光状態におけるビームに関してコリメーション処理が実行され、コリメーション処理が実行された後に得られるビームを取得する。次いで、光学素子を使用することによって、単一の偏光状態におけるビームの伝搬方向が制御される。
[0788] ステップ5007がステップ5003とステップ5004の間に位置する場合、光学素子が単一の偏光状態におけるビームの伝搬方向を変更した後に、コリメーション・レンズ群を使用することにより、単一の偏光状態におけるビームに関してコリメーション処理が実行され、コリメーション処理が実行された後に得られるビームを取得する。
[0789] 図52に示される方法では、ステップ5006及びステップ5007はオプションのステップであり、ステップ5006又はステップ5007の何れかが実行されてもよいことが、理解されるべきである。
[0790] 上記は、図26ないし図52を参照しながら本件の実施形態におけるTOF深度センシング・モジュール及び画像生成方法を詳細に説明している。以下、図53ないし図69を参照しながら、本件の実施形態における別のTOF深度センシング・モジュール及び別の画像生成方法を詳細に説明する。
[0791] 従来のTOF深度センシング・モジュールは、一般に、パルス型TOF技術を使用して走査を実行する。しかしながら、パルス型TOF技術では、単一光子検出能力を実現するために、光電検出器は十分に高い感度を有するように要求される。単一光子アバランシェダイオード(SPAD)は、頻繁に使用される光電検出器に一般的に使用されている。SPADの複雑なインターフェース及び処理回路に起因して、頻繁に使用されるSPADセンサーの解像度は低く、深度センシングの高い空間解像度の要求を満たすには不十分である。従って、本件の実施形態は、ブロック照明及び時分割多重化により、深度センシングの空間分解能を改善するために、TOF深度センシング・モジュール及び画像生成方法を提供する。以下、添付図面を参照しながら、このタイプのTOF深度センシング・モジュール及び画像生成方法を詳細に説明する。
[0792] 以下、図53を参照しながら本件の実施形態におけるTOF深度センシング・モジュールを先ず簡単に説明する。
[0793] 図53は、本件の実施形態によるTOF深度センシング・モジュールを用いて距離測定を行う際の概略図である。
[0794] 図53に示されるように、TOF深度センシング・モジュールは、送信端部(又は、投影端部と言及される場合がある)、受信端部、及び制御ユニットを含む可能性がある。送信端部は、出現ビームを放出するように構成されている。受信端部は、ターゲット・オブジェクトの反射ビーム(反射ビームは、出現ビームを反射することによってターゲット・オブジェクトから得られるビームである)を受信するように構成されている。制御ユニットは、送信端部及び受信端部を、ビームを放出及び受信するようにそれぞれ制御することができる。
[0795] 図53において、送信端部は、一般に、光源、偏光フィルタリング・デバイス、コリメーション・レンズ群(オプション)、第1光学素子、及び投影レンズ群(オプション)を含む可能性があり、受信端部は、一般に、受信レンズ群、第2光学素子、及びセンサーを含む可能性がある。図53において、出現ビームに対応するTOFは、タイミング装置を使用することによって記録され、TOF深度センシング・モジュールとターゲット領域との間の距離を計算し、ターゲット・オブジェクトの最終深度マップを取得する。出現ビームに対応するTOFは、反射ビームが受信ユニットによって受信された時点と出現ビームの出現時点との間の時間差に関する情報であってもよい。
[0796] 図53に示されるように、ビームのFOVは、ビーム整形デバイス及び第1光学素子を使用することによって調節することが可能であり、その結果、異なる走査ビームが、時点t0ないしt17において放出されることが可能である。ターゲットFOVは、時点t0ないしt17で放出されるビームのFOVを継ぎ合わせることによって取得することが可能であり、その結果、TOF深度センシング・モジュールの分解能を向上させることができる。
[0797] 本件のこの実施形態におけるTOF深度センシング・モジュールは、3D画像を得るように構成されてもよい。本件のこの実施形態におけるTOF深度センシング・モジュールは、インテリジェント端末(例えば、携帯電話、タブレット、及びウェアラブル・デバイス)内に配置されてもよく、深度画像又は3D画像を取得するように構成され、3Dゲーム又はモーション・センシング・ゲーム用のジェスチャ及び身体認識を提供することも可能である。
[0798] 以下、図54を参照しながら本件の実施形態におけるTOF深度センシング・モジュールを詳細に説明する。
[0799] 図54は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。
[0800] 図54に示されるTOF深度センシング・モジュール300は、光源310、偏光フィルタリング・デバイス320、ビーム整形デバイス330、第1光学素子340、第2光学素子350、受信ユニット360、及び制御ユニット370を含む。図54に示されるように、TOF深度センシング・モジュール300の送信端部は、光源310、偏光フィルタリング・デバイス320、ビーム整形デバイス330、及び第1光学素子340を含む。TOF深度センシング・モジュール300の受信端部は、第2光学素子350及び受信ユニット360を含む。第1光学素子340及び第2光学素子350は、TOF深度センシング・モジュール300の送信端部及び受信端部にそれぞれ位置する素子である。第1光学素子は主に送信端部のビーム方向を制御して出現ビームを取得する。第2光学素子は主に反射ビームの方向を制御し、その結果、反射ビームが受信ユニットの方へ偏向させられる。
[0801] 以下、TOF深度センシング・モジュール300におけるモジュール又はユニットを詳細に説明する。
[0802] 光源310:
[0803] 光源310は、ビームを生成するように構成されている。具体的には、光源310は、複数の偏光状態の光を生成することができる。
[0804] オプションとして、光源310は、レーザー光源、発光ダイオード(light emitting diode, LED)光源、又は別の形態の光源であってもよい。これは、本発明において網羅的に説明されてはいない。
[0805] オプションとして、光源310はレーザー光源である。レーザー光源からのビームもまた、レーザー・ビームと言及される場合もあることが、理解されるべきである。説明を容易にするために、レーザー・ビームは、本件のこの実施形態では、まとめてビームと称される。
[0806] オプションとして、光源310により放出されるビームは、準平行光の単一ビームであり、光源310によって放出されるビームの発散角度は1°未満である。
[0807] オプションとして、光源310は半導体レーザー光源であってもよい。
[0808] 光源は、垂直共振器型面発光レーザー(vertical cavity surface emitting laser, VCSEL)であってもよい。
[0809] オプションとして、光源310は、ファブリ・ペロー・レーザー(これは、FPレーザーと略称される場合がある)である。
[0810] 単一のVCSELと比較して、単一のFPレーザーは、より大きなパワーを実現することが可能であり、VCSELよりも高い電気-光学変換効率を有し、そのため、走査実効性を改善することができる。
[0811] オプションとして、光源310によって放出されるビームの波長は、900nmより大きい。
[0812] 太陽光の中で900nmを超える光の強度は低い。従って、ビームの波長が900nmより大きい場合、それは太陽光に起因する干渉を低減するのに役立ち、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[0813] オプションとして、光源310によって放出されるビームの波長は、940nm又は1550nmである。
[0814] 太陽光の中で940nm又は1550nm付近の光の強度は低い。従って、ビームの波長が940nm又は1550nmである場合、それは太陽光に起因する干渉を大幅に低減することができ、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[0815] 光源310の発光面積は5×5mm2以下である。
[0816] 光源のサイズは小さいので、光源を含むTOF深度センシング・モジュール310は、端末デバイス内に統合しやすく、そのため、端末デバイス内で占めるスペースをある程度小さくすることができる。
[0817] オプションとして、TOF深度センシング・モジュールの平均出力光パワーは、800mW未満である。
[0818] TOF深度センシング・モジュールの平均出力光パワーが800 mw以下である場合、TOF深度センシング・モジュールの電力消費は小さく、電力消費に敏感なデバイス、例えば端末デバイスに、TOF深度センシング・モジュールを配置することを促す。
[0819] 偏光フィルタリング・デバイス320:
[0820] 偏光フィルタリング・デバイス320は、単一の偏光状態においてビームを得るためにビームをフィルタリングするように構成されている。
[0821] 単一の偏光状態にあるビームであって、フィルタリングを経て偏光フィルタリング・デバイス320によって得られるビームは、複数の偏光状態のうちにあり且つ光源310によって生成されるビームの1つである。
[0822] 例えば、光源310によって生成されるビームは、直線偏光、左旋円偏光、及び右旋円偏光を含む。この場合、偏光フィルタリング・デバイス320は、ビーム内の左旋円偏光と右旋偏光を遮蔽して、特定の方向におけて直線的に偏光した光のみを確保することができる。オプションとして、偏光フィルタリング・デバイスは1/4波長板を更に含んでもよく、その結果、遮蔽によって得られた直線偏光の光は、左旋円偏光(又は右旋円偏光)に変換される。
[0823] ビーム整形デバイス330:
[0824] ビーム整形デバイス330は、第1ビームを取得するためにビームを調整するように構成されている。
[0825] 本件のこの実施形態では、ビーム整形デバイス330は、ビームの視野FOVを増やすように具体的に構成されることが理解されるべきである。
[0826] 第1ビームのFOVは、第1プリセット範囲に適合している。
[0827] 好ましくは、第1プリセット範囲は、[5°×5°,20°×20°]であってもよい。
[0828] 第1ビームのFOVの水平FOVは5°ないし20°(5°及び20°を含む)であってもよく、第1ビームのFOVの垂直FOVは5°ないし20°(5°及び20°を含む)であってもよいことが理解されるべきである。
[0829] なお、5°×5°より小さい又は20°×20°より大きい別の範囲も、本件の保護範囲に該当することが理解されるべきであり、但し、その範囲が本件の発明概念に適合していることを仮定している。しかしながら、説明を容易にするために、これは本件で網羅的には説明されていない。
[0830] 制御ユニット370:
[0831] 制御ユニット370は、第1光学素子を制御して、M個の異なる時点で第1ビームの方向を個々に制御し、M個の異なる方向における出現ビームを取得するように構成されている。
[0832] M個の異なる方向における出現ビームによってカバーされるFOV全体は、第2プリセット範囲に適合している。
[0833] 好ましくは、第2プリセット範囲は、[50°×50°,80°×80°]であってもよい。
[0834] 同様に、なお、50°×50°より小さい又は80°×80°より大きい別の範囲も、本件の保護範囲に該当することが理解されるべきであり、但し、その範囲が本件の発明概念に適合していることを仮定している。しかしながら、説明を容易にするために、これは本件で網羅的には説明されていない。
[0835] 制御ユニット370は、M個の異なる方向において出現ビームを反射することによって、ターゲット・オブジェクトから得られるM個の反射ビームを、受信ユニットの方へ個々に偏向させるように、第2光学素子を制御するように更に構成されている。
[0836]理を経てTOF深度センシング・モジュール300内のビーム整形デバイスによって得られる第1ビームのFOVと、M個の異なる方向における走査によって得られるトータルFOVとを説明しており、図102及び図104に関連して以下で説明されていることが理解されるべきである。ここで詳細は説明されない。
[0837] 本件のこの実施形態では、ビーム整形デバイスは、第1ビームが大きなFOVを有するように、ビームのFOVを調整する。更に、走査は時分割多重化によって行われ(第1光学素子は、異なる時点で異なる方向に出現ビームを放出する)、その結果、最終的に得られるターゲット・オブジェクトの深度マップの空間分解能を改善することができる。
[0838] 図55は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。
[0839] 図55に示すように、TOF深度センシング・モジュールは、コリメーション・レンズ群380を更に含む。コリメーション・レンズ群380は、光源310と偏光フィルタリング・デバイス320との間に配置される。コリメーション・レンズ群380は、ビームに関してコリメーション処理を実行するように構成されている。偏光フィルタリング・デバイス320は、コリメーション・レンズ群380がコリメーション処理を実行した後に得られるビームをフィルタリングして、単一の偏光状態のビームを取得するように構成されている。
[0840] 図56は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。図56において、コリメーション・レンズ群380は、偏光フィルタリング・デバイス320とビーム整形デバイス330との間に配置されてもよい。コリメーション・レンズ群380は、単一の偏光状態におけるビームに関してコリメーション処理を実行するように構成されている。ビーム整形デバイス330は、コリメーション・レンズ群380がコリメーション処理を行った後に得られるビームのFOVを調整して、第1ビームを取得するように構成されている。
[0841] コリメーション・レンズ群を使用してビームに関してコリメーション処理を実行することにより、ほぼ平行なビームを取得することができ、その結果、ビームのパワー密度を向上させることができ、そのビームを用いて以後に実行する走査の実効性を改善することができる。
[0842] オプションとして、コリメーション・レンズ群の有効開口は、5mm以下である。
[0843] コリメーション・レンズ群のサイズは小さいので、コリメーション・レンズ群を含むTOF深度センシング・モジュールは、端末デバイス内に統合しやすく、そのため、端末デバイス内で占めるスペースをある程度小さくすることができる。
[0844] コリメーション・レンズ群は、光学整形デバイス330と第1光学素子340との間に配置されてもよいことが理解されるべきである。この場合、コリメーション・レンズ群は、ビーム整形デバイス330が整形処理を実行した後に得られるビームに関してコリメーション処理を実行し、コリメーション処理が実行された後に得られるビームは、第1光学素子によって処理される。
[0845] 更に、コリメーション・レンズ群380は、TOF深度センシング・モジュール300内の任意の可能な位置に配置され、任意の可能なプロセスにおいてビームに関してコリメーション処理を実行することができる。
[0846] オプションとして、第1光学素子と第2光学素子との間の水平距離は、1cm以下である。
[0847] オプションとして、第1光学素子及び/又は第2光学素子は、単一/複数の回転ミラー・デバイスである。
[0848] 回転ミラー・デバイスは、回転を通じて出現ビームの出現方向を制御する。
[0849] 回転ミラー・デバイスは、具体的には、マイクロエレクトロメカニカル・システム検流計又は多面回転ミラーであってもよい。
[0850] 第1光学素子は、液晶偏光格子、電気-光学デバイス、音響-光学デバイス、及びオプティカル・フェーズド・アレイ・デバイスのようなデバイスのうちの任意の1つであってもよく、第2光学素子も、液晶偏光格子、電気-光学デバイス、音響-光学デバイス、及びオプティカル・フェーズド・アレイ・デバイスのようなデバイスのうちの任意の1つであってもよい。液晶偏光格子、電気-光学デバイス、音響-光学デバイス、オプティカル・フェーズド・アレイ・デバイスのようなデバイスの具体的な内容については、上記のケース1ないしケース4の説明を参照されたい。
[0851] 図35に示されるように、液晶偏光格子は水平LCPGと垂直LCPGを含み、また、水平偏光制御シートと垂直偏光制御シートを含む。図35において、水平LCPGは、水平偏光制御シートと垂直偏光制御シートとの間に位置し、垂直偏光制御シートは、水平LCPGと垂直LCPGとの間に位置する。
[0852] オプションとして、図35に示される液晶偏光格子内の構成要素は、以下の組み合わせ方式を有する可能性がある:
組み合わせ方式1:124;
組み合わせ方式2:342;及び
組み合わせ方式3:3412。
[0853] 前述の組み合わせ方式1において、1は、水平偏光制御シート及び垂直偏光制御シートであって密着しているものを表していてもよい。前述の組み合わせ方式2において、3は、水平偏光制御シート及び垂直偏光制御シートであって密着したものを表していてもよい。
[0854] 組み合わせ方式1又は組み合わせ方式2における第1光学素子330又は第2光学素子350がTOF深度センシング・モジュールに配置される場合、水平偏光制御シート及び垂直偏光制御シートの両方が光源に近い側に配置され、水平LCPG及び垂直LCPGの両方が光源から遠い側に配置される。
[0855] 組み合わせ方式3における第1光学素子340又は第2光学素子350がTOF深度センシング・モジュールに配置される場合、垂直偏光制御シート、垂直LCPG、水平偏光制御シート、及び水平LCPGの全てと光源との間の距離は順次増えている。
[0856] 液晶偏光格子の前述の3つの組み合わせ方式と、図35における組み合わせ方法は、単なる例であることが理解されるべきである。実際には、本件の光学素子の構成要素は、異なる組み合わせを有する可能性があり、但し、水平偏光制御シートと光源との間の距離が、水平LCPGと光源との間の距離よりも小さく、垂直偏光制御シートと光源との間の距離が、垂直LCPGと光源との間の距離よりも小さいものと仮定する。
[0857] オプションとして、第2光学素子は、水平偏光制御シート、水平液晶偏光格子、垂直偏光制御シート、及び垂直液晶偏光格子を含む。
[0858] オプションとして、ビーム整形デバイスは、拡散レンズ群及び矩形開口を含む。
[0859] 上記は、図53ないし図56を参照しながら本件の実施形態におけるTOF深度センシング・モジュールを説明している。以下、図57を参照しながら本件の実施形態における画像生成方法を詳細に説明する。
[0860] 図57は、本件の実施形態による画像生成方法の概略フローチャートである。
[0861] 図57に示される方法は、本件の実施形態におけるTOF深度センシング・モジュール又はTOF深度センシング・モジュールを含む端末デバイスによって実行されてもよい。具体的には、図57に示される方法は、図54に示されるTOF深度センシング・モジュール又は図54に示されるTOF深度センシング・モジュールを含む端末デバイスによって実行されてもよい。図57に示される方法は、ステップ5001ないしステップ5006を含む。以下、ステップを別々に詳細に説明する。
[0862] 5001.ビームを生成するように光源を制御する。
[0863] 5002.偏光フィルタリング・デバイスを用いてビームをフィルタリングし、単一の偏光状態のビームを取得する。
[0864] 単一の偏光状態は、複数の偏光状態のうちの1つである。
[0865] 例えば、複数の偏光状態は、直線偏光、左旋円偏光、及び右旋円偏光を含む可能性がある。単一の偏光状態は、直線偏光、左旋円偏光、及び右旋円偏光のうちの任意の1つであってもよい。
[0866] 5003.ビーム整形デバイスを用いてビームを調整し、第1ビームを取得する。
[0867] オプションとして、前述のステップ5003は、具体的には:ビーム整形デバイスを使用することによって、単一の偏光状態におけるビームの角度空間強度分布を調整し、第1ビームを取得することを含む。
[0868] 本件のこの実施形態において、ビーム整形デバイスを用いてビームを調整することは、具体的には、ビーム整形デバイスを用いてビームの視野FOVを増やすことである、ということが理解されるべきである。
[0869] これは、前述のステップ5003が、具体的には:ビーム整形デバイスを使用することによって、単一の偏光状態におけるビームの角度空間強度分布を増加させ、第1ビームを取得することを含んでもよい、ということを意味する。
[0870] 第1ビームのFOVは、第1プリセット範囲に適合している。
[0871] 好ましくは、第1プリセット範囲は、[5°×5°,20°×20°]であってもよい。
[0872] 5004.第1光学素子を制御して、M個の異なる時点でビーム整形デバイスからの第1ビームの方向を個々に制御し、M個の異なる方向における出現ビームを取得する。
[0873] M個の異なる方向における出現ビームによってカバーされるFOV全体は、第2プリセット範囲に適合している。
[0874] 好ましくは、第2プリセット範囲は、[50°×50°,80°×80°]であってもよい。
[0875] 5005.M個の異なる方向において出現ビームを反射することによって、ターゲット・オブジェクトから得られるM個の反射ビームを、受信ユニットの方へ個々に偏向させるように、第2光学素子を制御する。
[0876] 5006.M個の方向における出現ビームにそれぞれ対応するTOFに基づいて、ターゲット・オブジェクトの深度マップを生成する。
[0877] 本件のこの実施形態では、ビーム整形デバイスは、第1ビームが大きなFOVを有するように、ビームのFOVを調整する。更に、走査は時分割多重化によって行われ(第1光学素子は、異なる時点で異なる方向に出現ビームを放出する)、その結果、最終的に得られるターゲット・オブジェクトの深度マップの空間分解能を改善することができる。
[0878] オプションとして、前述のステップ5006は、具体的には:ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離に基づいて、ターゲット・オブジェクトのM個の領域の深度マップを生成するステップと、ターゲット・オブジェクトのM個の領域の深度マップに基づいて、ターゲット・オブジェクトの深度マップを合成するステップとを含む。
[0879] オプションとして、前述のステップ5004は、具体的には:制御ユニットが第1電圧信号を生成するステップを含み、第1電圧信号は、第1光学素子を制御して、M個の異なる時点で第1ビームの方向を個々に制御し、M個の異なる方向で出現ビームを取得するために使用される。前述のステップ5005は:制御ユニットが第2電圧信号を生成するステップを含み、第2電圧信号は、第2光学素子を個々に制御して、M個の異なる方向において出現ビームを反射することによって、ターゲット・オブジェクトから得られるM個の反射ビームを、受信ユニットの方へ個々に偏向させるために使用される。
[0880] 第1電圧信号と第2電圧信号の電圧値は、同じ時点では同じである。
[0881] 図54に示されるTOF深度センシング・モジュール300では、送信端部及び受信端部は、異なる光学素子を使用することによって、ビームの放出及び受信を個々に制御する。オプションとして、本件の実施形態におけるTOF深度センシング・モジュールでは、送信端部及び受信端部は、同一の光学素子を使用することによってビームの放出及び受信を制御することが可能である。
[0882] 図58を参照しながら、以下、送信端部及び受信端部が同一の光学素子を使用することによってビームの反射及び受信を実施するケースを詳細に説明する。
[0883] 図58は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。
[0884] 図58に示されるTOF深度センシング・モジュール400は、光源410、偏光フィルタリング・デバイス420、ビーム整形デバイス430、光学素子440、受信ユニット450、及び制御ユニット460を含む。図58に示されるように、TOF深度センシング・モジュール400の送信端部は、光源410、偏光フィルタリング・デバイス420、ビーム整形デバイス430、及び光学素子440を含む。TOF深度センシング・モジュール400の受信端部は、光学素子440及び受信ユニット450を含む。TOF深度センシング・モジュール400の送信端部及び受信端部は、光学素子440を共有する。光学素子440は、出現ビームを取得するために送信端部においてビームを制御することが可能であり、また反射ビームを制御することも可能であり、その結果、反射ビームは受信ユニット450の方へ偏向させられる。
[0885] 以下、TOF深度センシング・モジュール400におけるモジュール又はユニットを詳細に説明する。
[0886] 光源410:
[0887] 光源410は、ビームを生成するように構成されている。
[0888] オプションとして、光源410により放出されるビームは、準平行光の単一ビームであり、光源410によって放出されるビームの発散角度は1°未満である。
[0889] オプションとして、光源410は半導体レーザー光源であってもよい。
[0890] 光源410は、垂直共振器型面発光レーザー(vertical cavity surface emitting laser, VCSEL)であってもよい。
[0891] オプションとして、光源410は、ファブリ・ペロー・レーザー(これは、FPレーザーと略称される場合がある)である。
[0892] 単一のVCSELと比較して、単一のFPレーザーは、より大きなパワーを実現することが可能であり、VCSELよりも高い電気-光学変換効率を有し、そのため、走査実効性を改善することができる。
[0893] オプションとして、光源410によって放出されるビームの波長は、900nmより大きい。
[0894] 太陽光の中で900nmを超える光の強度は低い。従って、ビームの波長が900nmより大きい場合、それは太陽光に起因する干渉を低減するのに役立ち、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[0895] オプションとして、光源410によって放出されるビームの波長は、940nm又は1550nmである。
[0896] 太陽光の中で940nm又は1550nm付近の光の強度は低い。従って、ビームの波長が940nm又は1550nmである場合、それは太陽光に起因する干渉を大幅に低減することができ、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[0897] 光源410の発光面積は5×5mm2以下である。
[0898] 光源のサイズは小さいので、光源を含むTOF深度センシング・モジュール410は、端末デバイス内に統合しやすく、そのため、端末デバイス内で占めるスペースをある程度小さくすることができる。
[0899] オプションとして、TOF深度センシング・モジュールの平均出力光パワーは、800mW未満である。
[0900] TOF深度センシング・モジュールの平均出力光パワーが800 mw以下である場合、TOF深度センシング・モジュールの電力消費は小さく、電力消費に敏感なデバイス、例えば端末デバイスに、TOF深度センシング・モジュールを配置することを促す。
[0901] 偏光フィルタリング・デバイス420は、単一の偏光状態においてビームを得るためにビームをフィルタリングするように構成されている。
[0902] ビーム整形デバイス430は、第1ビームを取得するために、単一の偏光状態におけるビームのFOVを増やすように構成されている。
[0903] 制御ユニット460は、光学素子440を制御して、M個の異なる時点で第1ビームの方向を個々に制御し、M個の異なる方向における出現ビームを取得するように構成されている。
[0904] 制御ユニット460は、M個の異なる方向において出現ビームを反射することによって、ターゲット・オブジェクトから得られるM個の反射ビームを、受信ユニットの方へ個々に偏向させるように、光学素子440を制御するように更に構成されている。
[0905] 単一の偏光状態は、複数の偏光状態のうちの1つである。
[0906] 例えば、複数の偏光状態は、直線偏光、左旋円偏光、及び右旋円偏光を含む可能性がある。単一の偏光状態は、直線偏光、左旋円偏光、及び右旋円偏光のうちの任意の1つであってもよい。
[0907] 第1ビームのFOVは、第1プリセット範囲に適合している。M個の異なる方向における出現ビームによってカバーされるFOV全体は、第2プリセット範囲に適合している。より具体的には、第2プリセット範囲は、第1プリセット範囲より大きい。より一般的には、第1プリセット範囲はAであり、A°*A°の視野をカバーしてもよく、範囲Aは3より小さくはなく且つ40より大きくはない。第2プリセット範囲におけるFOVはB°であり、B°*B°の視野をカバーしてもよく、範囲Bは50より小さくはなく且つ120より大きくはない。当技術分野におけるデバイスの特定の製造プロセスにおいは適切な逸脱が存在してもよいことが、理解されるべきである。
[0908] オプションとして、第1プリセット範囲は、[5°×5°,20°×20°]を含んでもよく、即ち範囲Aは5より小さくはなく且つ20より大きくはない。第2プリセット範囲は、[50°×50°,80°×80°]を含んでもよく、即ち範囲Bは50より小さくはなく且つ80より大きくはない。
[0909] 本件のこの実施形態では、ビーム整形デバイスは、第1ビームが大きなFOVを有するように、ビームのFOVを調整する。更に、走査は時分割多重化によって行われ(光学素子は、異なる時点で異なる方向に出現ビームを放出する)、その結果、最終的に得られるターゲット・オブジェクトの深度マップの空間分解能を改善することができる。
[0910] オプションとして、制御ユニット460は、M個の異なる方向における出現ビームにそれぞれ対応するTOFに基づいて、ターゲット・オブジェクトの深度マップを生成するように更に構成されている。
[0911] M個の異なる方向における出現ビームに対応するTOFは、具体的には、M個の異なる方向における出現ビームに対応する反射ビームが受信ユニットによって受信される時点と、M個の異なる方向における出現ビームの出現時点との間の時間差に関する情報であってもよい。
[0912] M個の異なる方向における出現ビームは、出現ビーム1を含むと仮定する。この場合、出現ビーム1に対応する反射ビームは、出現ビーム1がターゲット・オブジェクトに到達し、ターゲット・オブジェクトによって反射された後に生じるビームであってもよい。
[0913] オプションとして、TOF深度センシング・モジュール300内の光源310、偏光フィルタリング・デバイス320、及びビーム整形デバイス330に関する前述の制限は、TOF深度センシング・モジュール400内の光源410、偏光フィルタリング・デバイス420、及びビーム整形デバイス430にも適用可能である。
[0914] オプションとして、光学素子は回転ミラー・デバイスである。
[0915] 回転ミラー・デバイスは、回転を通じて出現ビームの出現方向を制御する。
[0916] オプションとして、回転ミラー・デバイスは、マイクロエレクトロメカニカル・システム検流計又は多面回転ミラーであってもよい。
[0917] 添付図面を参照しながら、以下、光学素子が回転ミラー・デバイスであるケースを説明する。
[0918] 図59は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。
[0919] 図59に示されるように、TOF深度センシング・モジュールは、コリメーション・レンズ群470を更に含む。コリメーション・レンズ群470は、光源410と偏光フィルタリング・デバイス420との間に配置される。コリメーション・レンズ群470は、ビームに関してコリメーション処理を実行するように構成されている。偏光フィルタリング・デバイス420は、コリメーション・レンズ群470がコリメーション処理を実行した後に得られるビームをフィルタリングして、単一の偏光状態におけるビームを取得するように構成されている。
[0920] 図60は、本件の実施形態によるTOF深度センシング・モジュールの概略ブロック図である。図60において、コリメーション・レンズ群470は、偏光フィルタリング・デバイス420とビーム整形デバイス430との間に配置されてもよい。コリメーション・レンズ群470は、単一の偏光状態におけるビームに関してコリメーション処理を実行するように構成されている。ビーム整形デバイス430は、コリメーション・レンズ群470がコリメーション処理を実行した後に得られるビームのFOVを調整して、第1ビームを取得するように構成されている。
[0921] コリメーション・レンズ群を使用してビームに関してコリメーション処理を実行することにより、ほぼ平行なビームを取得することができ、その結果、ビームのパワー密度を向上させることができ、そのビームを用いて以後に実行する走査の実効性を改善することができる。
[0922] オプションとして、コリメーション・レンズ群の有効開口は、5mm以下である。
[0923] コリメーション・レンズ群のサイズは小さいので、コリメーション・レンズ群を含むTOF深度センシング・モジュールは、端末デバイス内に統合しやすく、そのため、端末デバイス内で占めるスペースをある程度小さくすることができる。
[0924] コリメーション・レンズ群は、光学整形デバイス430と光学素子440との間に配置されてもよいことが理解されるべきである。この場合、コリメーション・レンズ群は、ビーム整形デバイス430が整形処理を実行した後に得られるビームに関してコリメーション処理を実行し、コリメーション処理が実行された後に得られるビームは、光学素子440によって処理される。
[0925] 更に、コリメーション・レンズ群470は、TOF深度センシング・モジュール400内の任意の可能な位置に配置され、任意の可能なプロセスにおいてビームに関してコリメーション処理を実行することができる。
[0926] 図61に示されるように、TOF深度センシング・モジュールは、光源、ホモジナイザー、ビーム・スプリッタ、マイクロエレクトロメカニカル・システム(microelectromechanical systems, MEMS)検流計、受信レンズ群、及びセンサーを含む。図中のMEMS検流計は、静電検流計、電磁検流計、多面回転鏡などを含む。全ての回転ミラー・デバイスは反射を通じて動作するので、TOF深度センシング・モジュール内の光路は反射光路であり、放出及び受信光路は同軸光路である。偏光デバイス及びレンズ群は、ビーム・スプリッタを使用することによって共有されていてもよい。図61において、偏光デバイスは、具体的にはMEMS検流計である。
[0927] オプションとして、光学素子440は液晶偏光素子である。
[0928] オプションとして、光学素子440は、水平偏光制御シート、水平液晶偏光格子、垂直偏光制御シート、及び垂直液晶偏光格子を含む。
[0929] オプションとして、光学素子440において、水平偏光制御シート、水平液晶偏光格子、垂直偏光制御シート、及び垂直液晶偏光格子の全てと光源との間の距離は順次増えているか、又は垂直偏光制御シート、垂直液晶偏光格子、水平偏光制御シート、及び水平液晶偏光格子の全てと光源との間の距離は順次増えている。
[0930] オプションとして、ビーム整形デバイス430は、拡散レンズ群及び矩形開口を含む。
[0931] 光学素子は、液晶偏光格子、電気-光学素子、音響-光学素子、及び光学フェーズド・アレイ素子のようなデバイスのうちの任意の1つであってもよい。液晶偏光格子、電気-光学デバイス、音響-光学デバイス、オプティカル・フェーズド・アレイ・デバイスのようなデバイスの具体的な内容については、上記のケース1ないしケース4の説明を参照されたい。
[0932] 図62は、本件の実施形態による画像生成方法の概略フローチャートである。
[0933] 図62に示される方法は、本件の実施形態におけるTOF深度センシング・モジュール又はTOF深度センシング・モジュールを含む端末デバイスによって実行されてもよい。具体的には、図62に示される方法は、図58に示されるTOF深度センシング・モジュール又は図58に示されるTOF深度センシング・モジュールを含む端末デバイスによって実行されてもよい。図62に示される方法は、ステップ6001ないしステップ6006を含む。以下、ステップを別々に詳細に説明する。
[0934] 6001.ビームを生成するように光源を制御する。
[0935] 6002.偏光フィルタリング・デバイスを用いてビームをフィルタリングし、単一の偏光状態のビームを取得する。
[0936] 単一の偏光状態は、複数の偏光状態のうちの1つである。
[0937] 例えば、複数の偏光状態は、直線偏光、左旋円偏光、及び右旋円偏光を含む可能性がある。単一の偏光状態は、直線偏光、左旋円偏光、及び右旋円偏光のうちの任意の1つであってもよい。
[0938] 6003.ビーム整形デバイスを用いて単一の偏光状態におけるビームを調整し、第1ビームを取得する。
[0939] 本件のこの実施形態において、ビーム整形デバイスを用いてビームを調整することは、具体的には、ビーム整形デバイスを用いてビームの視野FOVを増やすことである、ということが理解されるべきである。
[0940] オプションとして、第1ビームのFOVは、第1プリセット範囲に適合している。
[0941] 好ましくは、第1プリセット範囲は、[5°×5°,20°×20°]であってもよい。
[0942] 6004.光学素子を制御して、M個の異なる時点でビーム整形デバイスからの第1ビームの方向を個々に制御し、M個の異なる方向における出現ビームを取得する。
[0943] M個の異なる方向における出現ビームによってカバーされるFOV全体は、第2プリセット範囲に適合している。
[0944] 第2プリセット範囲は、[50°×50°,80°×80°]であってもよい。
[0945] 6005.M個の異なる方向において出現ビームを反射することによって、ターゲット・オブジェクトから得られるM個の反射ビームを、受信ユニットの方へ個々に偏向させるように、第2光学素子を制御する。
[0946] 6006.M個の方向における出現ビームにそれぞれ対応するTOFに基づいて、ターゲット・オブジェクトの深度マップを生成する。
[0947] 本件のこの実施形態では、ビーム整形デバイスは、第1ビームが大きなFOVを有するように、ビームのFOVを調整する。更に、走査は時分割多重化によって行われ(光学素子は、異なる時点で異なる方向に出現ビームを放出する)、その結果、最終的に得られるターゲット・オブジェクトの深度マップの空間分解能を改善することができる。
[0948] オプションとして、前述のステップ6006は、具体的には:M個の異なる方向における出現ビームにそれぞれ対応するTOFに基づいて、ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離を決定するステップ;ターゲット・オブジェクトのM個の領域とTOF深度センシング・モジュールとの間の距離に基づいて、ターゲット・オブジェクトのM個の領域の深度マップを生成するステップ;及びターゲット・オブジェクトのM個の領域の深度マップに基づいて、ターゲット・オブジェクトの深度マップを合成するステップを含む。
[0949] オプションとして、前述のステップ6003は、具体的には:第1ビームを取得するために、ビーム整形デバイスを使用することによって、単一の偏光状態におけるビームの角度空間強度分布を調整するステップを含む。
[0950] 以下、図63を参照しながら、本件の実施形態におけるTOF深度センシング・モジュール400の特定の動作プロセスを詳細に説明する。
[0951] 図63は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。
[0952] 図63に示されるTOF深度センシング・モジュールの各々の構成要素の具体的な実装及び機能は、以下の通りである:
[0953] (1)光源はVCSELアレイである。
[0954] VCSEL光源は、良い指向性を有するビーム・アレイを放出することが可能である。
[0955] (2)偏光子は偏光フィルタリング・デバイスであり、偏光子はホモジナイザーの前面(下)又は背面(上)に配置されてもよい。
[0956] (3)ホモジナイザーは、回折光学素子(diffractive optical element, DOE)又は光学ディフューザー(ディフューザーと言及される場合もある)であってもよい。
[0957] ビーム・アレイがホモジナイザーによって処理された後に、ビーム・アレイは実質的に均一なビーム・ブロック内に並べられる。
[0958] (4)光学素子は、複数のLCPG(liquid crystal polarization gratings)である。
[0959] 図63では、ホモジナイザーの下に偏光子が位置するケースのみが説明されている、ということが理解されるべきである。実際には、偏光子は、ホモジナイザーの上方に配置されてもよい。
[0960] 液晶偏光格子によるビームの方向制御の具体的な原理については、図37及び図38で説明した関連する内容を参照されたい。
[0961] 図63において、複数の液晶偏光格子と1/4波長板との協働によって、放出された光がターゲットによって反射されて偏光子に戻る場合に、光は、正確に1/2波長である追加的な光路を辿る。この設計では、偏光子に起因して、反射された光は、放出された光とは反対方向に正確に偏向させられる。準同軸近似の場合、斜めに放出された光が反射された後に、光は元の経路に沿って戻り、放出された光に平行な方向で受信レンズ群に到達する。受信端部は、ビーム偏向デバイスを使用することによって、全受信機(SPADアレイ)において、放出された光により照明されるターゲット・ブロック撮像することができる。ターゲットが照明される場合、各ブロックは受信機全体によって受信され、全ての時点における画像をつなぎ合わせることによって、完全な画像を取得することができる。このようにして、受信機の時間分割多重化が実現され、分解能が増される。
[0962] (4)受信レンズ群は、受信機において受信した光を撮像するために、共通レンズを含む
[0963] (5)受信機はSPADアレイである。
[0964] SPADは、単一光子を検出することができ、SPAD単一光子パルスを検出する時点は正確に記録されることが可能である。VCSELが発光するたびに、SPADは開始される。VCSELは周期的にビームを放出し、SPADアレイは、各ピクセルが各周期で反射光を受信する時点に関する統計を収集することが可能である。反射信号の時間分布に関する統計が収集され、その結果、反射信号パルスは、遅延時間を計算するためにフィッティングされる。
[0965] この実施形態における主要なデバイスは、投影端部と受信端部により共有されるビーム偏向デバイス、即ち液晶偏光デバイスである。この実施形態では、ビーム偏向デバイスは、複数のLCPGを含み、また、電気的に制御された液晶偏光デバイスとも呼ばれる。
[0966] 図64は、本件の実施形態による液晶偏光デバイスの構造の概略図である。
[0967] 液晶偏光デバイスのオプションによる具体的な構造が図64に示されている。図64において、1は水平の単一角度LCPGを表し、2は水平の二重角度LCPGを表し、3は垂直の単一角度LCPGを表し、4は垂直の二重角度LCPGを表し、5は偏光制御シートである。図64に示される4つのLCPGの左側にそれぞれ配置され、且つそれぞれ5.1,5.2,5.3,5.4と付番された合計4つの偏光制御シートが存在する。
[0968] 図64に示される液晶偏光デバイスは、制御ユニットを使用して制御されることが可能であり、制御時間シーケンスは図65に示されるものであってもよい(走査は、時点t0で開始し、時点t15まで継続する)。図66は、制御ユニットによって生成される駆動信号の時間シーケンス図である。
[0969] 図66は、デバイスの偏光制御シート5.1,5.2,5.3,5.4の、時点t0からt15までの電圧駆動信号を示す。電圧駆動信号は、低レベル信号と高レベル信号という2種類の信号を含む。低レベル信号は0で表され、高レベル信号は1で表されている。この場合、偏光制御シート5.1,5.2,5.3,5.4の、時点t0からt15までの電圧駆動信号は、具体的には表1に示されている。
[0970] 例えば、表1では、時点t0から時点t1までの時間間隔において、偏光制御シート5.1の電圧駆動信号は低レベル信号であり、偏光制御シート5.2ないし5.4の電圧駆動信号は高レベル信号である。従って、時点t0に対応する電圧信号は0111となる。
表1
Figure 2023509068000118
表2
Figure 2023509068000119
[0971] 図64に示されるように、電気的に制御される液晶偏光デバイスは、LCPGと偏光制御シートを含む。4×4走査を実現するための電圧駆動信号は図66に示されており、ここで、5.1,5.2,5.3,及び5.4はそれぞれ4つの偏光制御シートに印加される電圧駆動信号を表し、FOV全体は4×4ブロックに分割され、t0ないしt15はそれぞれブロックを照射するための時間間隔である。図66に示される電圧駆動信号が印加され、ビームが液晶偏光デバイスを通過する場合、各デバイスを通過するビームの状態は表2に示されている。
[0972] 以下、表2に示されている意味を説明する。表2内の全てのアイテムにおいて、括弧内の値は電圧信号であり、Lは左旋円偏光を表し、Rは右旋円偏光を表し、1や3のような値はビームの偏向角度を表し、3によって表される偏向角度は1によって表される偏向角度よりも大きい。
[0973] 例えば、R1-1の場合、Rは右旋円偏光を表し、最初の1は左を意味し(-1の場合は右を意味する)、2番目の-1は上側を意味する(1の場合は下側を意味する)。
[0974] 別の例に関し、L3-3の場合、Lは左旋円偏光を表し、最初の3は右端を意味し(-3の場合は左端を意味する)、2番目の-3は最上端を意味する(3の場合は最下端を意味する)。
[0975] 図66に示される電圧駆動信号が液晶偏光デバイスに印加される場合に、異なる時点におけるTOF深度センシング・モジュールの走査領域は図67に示されている。
[0976] 以下、添付図面を参照しながら、本件のこの実施形態において取得される深度マップを説明する。図68に示されるように、時点t0ないしt3におけるターゲット・オブジェクトに対応する深度マップが、時間分割走査により得られるものと仮定する。時点t0ないしt3に対応する深度マップの分解能は160×120である。ターゲット・オブジェクトの最終深度マップであって、図69に示されているものは、時点t0ないしt3に対応する深度マップを継ぎ合わせることによって取得することが可能である。ターゲット・オブジェクトの最終深度マップの分解能は320×240である。最終的に得られる深度マップの分解能は、異なる時点で得られた深度マップを継ぎ合わせることによって改善できることが、図68及び図69から知ることができる。
[0977] 上記は図53ないし図69を参照しながら本件の実施形態におけるTOF深度センシング・モジュール及び画像生成方法を詳細に説明している。以下、図70ないし図78を参照しながら本件の実施形態における別のTOF深度センシング・モジュール及び別の画像生成方法を詳細に説明する。
[0978] TOF深度センシング・モジュールでは、ビームの方向を調整するために液晶デバイスを使用することが可能である。更に、TOF深度センシング・モジュールでは、一般に、偏光された光を放出するために、偏光子が送信端部に付加される。しかしながら、偏光子の偏光選択機能に起因して、偏光された光を放出するプロセスにおいて、ビームが放出され場合にエネルギーの半分が失われる。損失エネルギーの一部は、偏光子によって吸収又は散乱されて熱に変換される。その結果、TOF深度センシング・モジュールの温度は上昇し、TOF深度センシング・モジュールの安定性に影響が及ぶ。従って、TOF深度センシング・モジュールの熱損失を如何にして低減するかは、解決されるべき問題である。
[0979] 具体的には、本件の実施形態におけるTOF深度センシング・モジュールでは、TOF深度センシング・モジュールの熱損失は、偏光子を送信端部から受信端部へ移すことによって低減させることが可能である。以下、添付図面を参照しながら、本件の実施形態におけるTOF深度センシング・モジュールを詳細に説明する。
[0980] 以下、図70を参照しながら本件の実施形態におけるTOF深度センシング・モジュールを先ず簡単に説明する。
[0981] 図70は、本件の実施形態によるTOF深度センシング・モジュールの動作概略図である。図70に示されるように、TOF深度センシング・モジュールは、送信端部(又は、投影端部と言及される場合がある)、受信端部、及び制御ユニットを含む可能性がある。送信端部は、出現ビームを放出するように構成されている。受信端部は、ターゲット・オブジェクトの反射ビーム(反射ビームは、出現ビームを反射することによってターゲット・オブジェクトから得られるビームである)を受信するように構成されている。制御ユニットは、送信端部及び受信端部を、ビームを放出及びビームを受信するようにそれぞれ制御することができる。
[0982] 図70において、送信端部は、一般に、光源、コリメーション・レンズ群(オプション)、ホモジナイザー、光学素子、及び投影レンズ群(オプション)を含む可能性がある。受信端部は、一般に、ビーム選択デバイスと受信ユニットを含む。受信ユニットは、具体的には受信レンズ群とセンサーを含んでもよい。
[0983] 図70に示されるTOF深度センシング・モジュールは、2つ以上の異なる状態(状態A及び状態B)の投影光を同時に投影する。2つの異なる状態の投影光が反射されて受信端部に到達した後、ビーム選択デバイスは、指示に基づく時間分割により、反射光をセンサーに入る状態で選択し、特定の状態における光に関して深度撮像を実行する。次いで、ビーム偏向デバイスは、ターゲットFOVのカバレッジを実現するために、異なる方向における走査を実行することができる。
[0984] 図70に示されるTOF深度センシング・モジュールは、3D画像を取得するように構成されてもよい。本件のこの実施形態におけるTOF深度センシング・モジュールは、インテリジェント端末(例えば、携帯電話、タブレット、及びウェアラブル・デバイス)内に配置されてもよく、深度画像又は3D画像を取得するように構成され、3Dゲーム又はモーション・センシング・ゲーム用のジェスチャ及び身体認識を提供することも可能である。
[0985] 以下、図71を参照しながら本件の実施形態におけるTOF深度センシング・モジュールを詳細に説明する。
[0986] 図71に示されるTOF深度センシング・モジュール500は、光源510、光学素子520、ビーム選択デバイス530、受信ユニット540、及び制御ユニット550を含む。
[0987] 以下、TOF深度センシング・モジュール500におけるモジュール又はユニットを詳細に説明する。
[0988] 光源310:
[0989] 光源310は、ビームを生成するように構成されている。
[0990] オプションとして、光源は、半導体レーザー光源であってもよい。
[0991] 光源は、垂直共振器型面発光レーザー(vertical cavity surface emitting laser, VCSEL)であってもよい
[0992] オプションとして、光源は、ファブリ・ペロー・レーザー(これは、FPレーザーと略称される場合がある)であってもよい。
[0993] 単一のVCSELと比較して、単一のFPレーザーは、より大きなパワーを実現することが可能であり、VCSELよりも高い電気-光学変換効率を有し、そのため、走査実効性を改善することができる。
[0994] オプションとして、光源510によって放出されるビームの波長は、900nmより大きい。
[0995] 太陽光の中で900nmを超える光の強度は低い。従って、ビームの波長が900nmより大きい場合、それは太陽光に起因する干渉を低減するのに役立ち、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[0996] オプションとして、光源510によって放出されるビームの波長は、940nm又は1550nmである。
[0997] 太陽光の中で940nm又は1550nm付近の光の強度は低い。従って、ビームの波長が940nm又は1550nmである場合、それは太陽光に起因する干渉を大幅に低減することができ、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[0998] オプションとして、光源510の発光面積は5×5mm2以下である。
[0999] 光源のサイズは小さいので、光源を含むTOF深度センシング・モジュールは、端末デバイス内に統合しやすく、そのため、端末デバイス内で占めるスペースをある程度小さくすることができる。
[1000] オプションとして、TOF深度センシング・モジュールの平均出力光パワーは、800mW未満である。
[1001] TOF深度センシング・モジュールの平均出力光パワーが800 mw以下である場合、TOF深度センシング・モジュールの電力消費は小さく、電力消費に敏感なデバイス、例えば端末デバイスに、TOF深度センシング・モジュールを配置することを促す。
[1002] 光学素子520:
[1003] 光学素子520は、ビームの出現方向に配置され、光学素子520は、ビームの方向を制御して、第1出現ビームと第2出現ビームを取得するように構成される。第1出現ビームの出現方向は、第2出現ビームの出現方向とは異なり、第1出現ビームの偏光方向は、第2出現ビームの偏光方向に直交している。
[1004] オプションとして、図35に示されるように、光学素子520は、水平偏光制御シート、水平液晶偏光格子、垂直偏光制御シート、及び垂直液晶偏光格子を含む可能性がある。水平偏光制御シート、水平液晶偏光格子、垂直偏光制御シート、及び垂直液晶偏光格子の全てと光源との間の距離は順次増加している。
[1005] 代替的に、光学素子520において、垂直偏光制御シート、垂直液晶偏光格子、水平偏光制御シート、及び水平液晶偏光格子の全てと光源との間の距離は順次増加している。
[1006] 受信ユニット540:
[1007] 受信ユニット540は、受信レンズ群541及びセンサー542を含む可能性がある。
[1008] 制御ユニット550及びビーム選択装置530:
[1009] 制御ユニット550は、制御信号を使用することによって、ビーム選択デバイス530の動作を制御するように構成されている。具体的には、制御ユニット550は、制御信号を生成してもよい。制御信号は、ビーム選択デバイス530を制御して、第3反射ビームと第4反射ビームをセンサーに異なる時間間隔で別々に伝搬させるために使用される。第3反射ビームは、第1出現ビームを反射することによってターゲット・オブジェクトから得られるビームであり、第4反射ビームは、第2出現ビームを反射することによって得られるターゲット・オブジェクトからのビームである。
[1010] ビーム選択デバイス530は、制御ユニット550の制御の下で、異なる偏光状態のビームを異なる時点で受信ユニットへ別々に伝搬させることができる。ここで、ビーム選択デバイス530は、受信した反射ビームを時間分割モードで受信ユニット540へ伝搬させる。以下のTOF深度センシング・モジュール600におけるビーム・スプリッタ630と比較して、受信ユニット540の受信分解能はより完全に活用されることが可能であり、最終的に得られる深度マップの解像度高い。
[1011] オプションとして、制御ユニット550によって生成される制御信号は、ビーム選択デバイス530を制御して、第3反射ビーム及び第4反射ビームを異なる時間間隔でセンサーへ別々に伝搬させるために使用される。
[1012] 換言すれば、制御ユニット550によって生成される制御信号の制御の下で、ビーム選択デバイスは、第3反射ビームと第4反射ビームを受信ユニットへ異なる時点で別々に伝搬させることができる。
[1013] オプションとして、一実施形態では、ビーム選択デバイス530は、1/4波長板、1/2波長板、及び偏光子を含む。
[1014] 図72に示されるように、TOF深度センシング・モジュール500は、コリメーション・レンズ群560を更に含んでもよく:
コリメーション・レンズ群560は、ビームの出現方向に配置され、コリメーション・レンズ群は、光源と光学素子との間に配置され、コリメーション・レンズ群560は、ビームに関してコリメーション処理を実行して、コリメーション処理が実行された後に得られるビームを取得するように構成され、光学素子520は、コリメーション処理を実行した後に得られるビームの方向を制御して、第1出現ビームと第2出現ビームを取得するように構成されている。
[1015] コリメーション・レンズ群を使用してビームに関してコリメーション処理を実行することにより、ほぼ平行なビームを取得することができ、その結果、ビームのパワー密度を向上させることができ、そのビームを用いて以後に実行する走査の実効性を改善することができる。
[1016] オプションとして、コリメーション・レンズ群の有効開口は、5mm以下である。
[1017] コリメーション・レンズ群のサイズは小さいので、コリメーション・レンズ群を含むTOF深度センシング・モジュールは、端末デバイス内に統合しやすく、そのため、端末デバイス内で占めるスペースをある程度小さくすることができる。
[1018] 図73に示されるように、TOF深度センシング・モジュール500は、ホモジナイザー570を更に含んでもよく:
ホモジナイザー570は、ビームの出現方向に配置され、ホモジナイザーは光源510と光学素子520との間に配置され、ホモジナイザー570は、均質化されたビームを得るためにビームのエネルギー分布を調整するように構成され、光学素子は、均質化されたビームの方向を制御して、第1出現ビームと第2出現ビームを取得するように構成されている。
[1019] オプションとして、ホモジナイザーは、マイクロレンズ・ディフューザー又は回折光学素子ディフューザー(DOE Diffuser)である。
[1020] TOF深度センシング・モジュール500は、コリメーション・レンズ群560とホモジナイザー570の両方を含んでもよいことが理解されるべきである。コリメーション・レンズ群560とホモジナイザー570の両方が、光源510と光学素子520の間に配置される。コリメーション・レンズ群560とホモジナイザー570については、コリメーション・レンズ群560が光源により近くてもよいか、又はホモジナイザー570が光源により近くてもよいかのいずれかである。
[1021] 図74に示されるように、コリメーション・レンズ群560と光源510との間の距離は、ホモジナイザー570と光源510との間の距離よりも小さい。
[1022] 図74に示されるTOF深度センシング・モジュール500では、光源510によって放出されたビームは、先ずコリメーション・レンズ群560のコリメーション処理を施され、ホモジナイザー570の均質化処理を施され、その後に、処理のために光学素子520へ伝搬される。
[1023] 本件のこの実施形態では、均質化処理を通じて、ビームの光パワーは、より均一に又は特定のルールに従って角度空間内に分布させられ、ローカルな光パワーが過度に小さくなるのことを防止し、最終的に得られるターゲット・オブジェクトの深度マップにおけるブラインド・スポットを回避することが可能である。
[1024] 図75に示されるように、コリメーション・レンズ群560と光源510との間の距離は、ホモジナイザー570と光源510との間の距離よりも大きい。
[1025] 図75に示されるTOF深度センシング・モジュール500では、光源510によって放出されたビームは、先ずホモジナイザー570の均質化処理を施され、コリメーション・レンズ群560のコリメーション処理を施され、その後に、処理のために光学素子520へ伝搬される。
[1026] 以下、図76を参照しながらTOF深度センシング・モジュール500の特定の構造を詳細に説明する。
[1027] 図76は、本件の実施形態によるTOF深度センシング・モジュール500の特定の構造の概略図である。
[1028] 図76に示されるように、TOF深度センシング・モジュール500は、投影端部、制御ユニット、及び受信端部を含む。投影端部は、光源、ホモジナイザー、及びビーム偏向デバイスを含む。受信端部は、ビーム偏向デバイス、ビーム(ダイナミック)選択デバイス、受信レンズ群、及び2次元センサーを含む。制御ユニットは、投影端部と受信端部を制御して、ビーム走査を完了するように構成されている。更に、図76のビーム偏向デバイスは図71の光学素子に対応し、図76のビーム(ダイナミック)選択デバイスは図71のビーム選択装置に対応する。
[1029] 以下、各モジュール又はユニットに具体的に使用されるデバイスを詳細に説明する。
[1030] 光源は、垂直共振器型面発光レーザー(VCSEL)アレイ光源であってもよい。
[1031] ホモジナイザーは、回折光学素子ディフューザーであってもよい。
[1032] ビーム偏向デバイスは、複数のLCPG及び1/4波長板であってもよい。
[1033] 電気的に制御されるLCPGは、電気的に制御される水平LCPGデバイスと、電気的に制御される垂直LCPGデバイスとを含む。
[1034] 水平方向及び垂直方向における2次元ブロック走査は、カスケード接続された複数の電気的に制御されるLCPGを使用することによって実施されてもよい。1/4波長板は、LCPGからの円偏光を直線偏光に変換し、送信端部と受信端部との間の準同軸効果を実現するように構成されている。
[1035] VCSELアレイ光源の波長は、900nmより大きくてもよい。具体的には、VCSELアレイ光源の波長は、940nm又は1550nmである。
[1036] 940nmのバンドにおける太陽スペクトルの強度はい。これは、屋外の状況で太陽光に起因するノイズを減らすことに役立つ。更に、VCSELアレイ光源によって放出されるレーザー・ビームは、連続光又はパルス光であってもよい。また、VCSELアレイ光源は、時間分割による制御を実行するために、幾つかのブロックに分割されていてもよく、その結果、異なる領域が時間分割を通じて照明される。
[1037] 回折光学素子ディフューザーは、VCSELアレイ光源によって放出されたビームを、特定のFOV(例えば、5°×5°のFOV)を有する均一な正方形又は長方形の光源に整形するために使用される。
[1038] 複数のLCPG及び1/4波長板は、ビーム走査を実施するために使用される。
[1039] 受信端部と送信端部は、複数のLCPGと1/4波長板を共有する。受信端部のビーム選択デバイスは、1/4波長板、電気的に制御された1/2波長板、及び偏光子を含む。受信端部の受信レンズ群は、単一レンズ、又は複数のレンズの組み合わせであってもよい。受信端部のセンサーは、単一光子アバランシェ・ダイオード(SPAD)アレイである。SPADは単一光子検出感度を有するので、ライダー・システムの検出距離を増加させることができる。
[1040] TOF深度センシング・モジュール500では、送信端部の偏光選択デバイスが受信端部に移される。図76に示されるように、共通VCSELアレイ光源によって放出されるレーザー・ビームは、固定偏光状態を有するものではなく、紙面に平行な直線偏光レーザー・ビームと紙面に垂直な直線偏光レーザー・ビームに分解されることが可能である。LCPGを通過した後、直線偏光レーザー・ビームは、異なる偏光状態(左旋円偏光及び右旋円偏光)にある2つのレーザー・ビームであって異なる放出角度をそれぞれ有する2つのレーザー・ビームに分割される。1/4波長板を通過した後、2つのレーザー・ビーム、紙面に平行な直線偏光と紙面に垂直な直線偏光とに変換される。異なる偏光状態における2つのレーザー・ビームがターゲット領域内のオブジェクトに照射された後に生成される反射ビームは、送信端部と共有される1/4波長板及びLCPGによって受信され、次いで、同じ発散角度を有するが異なる偏光状態を有するレーザー・ビーム、即ち左旋円偏光と右旋円偏光になる。受信端部のビーム選択デバイスは、1/4波長板、電気的に制御される1/2波長板、及び偏光子を含む。受光した光が1/4波長板を通過した後、受光した光の偏光状態は、紙面に平行な直線偏光と紙面に垂直な直線偏光に変換される。このように、電気的に制御される半波長板は、時間分割によって制御され、その結果、半波長板は、直線偏光の偏光状態90度回転させるか、又は半波長板を通過した偏光状態変更しない。従って、紙面に平行な直線偏光と紙面に垂直な直線偏光とは時間分割によって伝送される。更に、別の偏光状態の光は吸収又は散乱される。
[1041] 偏光選択デバイスが送信端部に配置されている既存のTOF深度センシング・モジュールと比較して、本件では、偏光選択デバイスが受信端部に配置されているので、偏光子によって吸収又は散乱されるエネルギーは著しく減少する。検出距離がRメートルであり、ターゲット・オブジェクトの反射率がρであり、受信システムの入射瞳孔径がDであると仮定する。この場合において、受信FOVが同じである場合、本件のこの実施形態のTOF深度センシング・モジュール500における偏光選択デバイスの入射エネルギーPtは、以下のとおりである:
Figure 2023509068000120
[1042] Pは送信端部により放出されるエネルギーであり、エネルギーは1mの距離で約104倍だけ減少する可能性がある。
[1043] 更に、本件のこの実施形態におけるTOF深度センシング・モジュール500及び従来のTOF深度センシング・モジュールに関し、同じパワーの非偏光・光源が使用されるものと仮定する。本件のこの実施形態におけるTOF深度センシング・モジュール500の光は、屋外では非偏光であり、受光検出器に入射する光のうちの半分は吸収又は散乱される。屋外にある従来の解決策におけるTOF深度センシング・モジュールの光は、全て検出器に入る。従って、本件のこの実施態様における信号_対_ノイズ比は、同じケースで2倍になる。
[1044] 図76に示されるTOF深度センシング・モジュール500に基づいて、VCSELアレイ光源の背面にある回折光学素子ディフューザー(DOE Diffuser)は、マイクロレンズ・ディフューザー(Diffuser)に変更することも可能である。マイクロレンズ・ディフューザーは、幾何学的光学系に基づいて均質化を実施するので、マイクロレンズ・ディフューザーの伝送効率は、少なくとも80%である可能性があり、従来の回折光学素子ディフューザー(DOE Diffuser)の伝送効率は、約70%であるに過ぎない。マイクロレンズ・ディフューザーの形態は図77に示されている。マイクロレンズ・ディフューザーは、一連のランダムに分布したマイクロレンズを含む。各マイクロレンズの位置と形態は、シミュレーション及び最適化を通じて設計され、その結果、整形されたビームは可能な限り均一であり、伝送効率は高い。
[1045] 図78は、本件の実施形態による画像生成方法の概略フローチャートである。
[1046] 図78に示される方法は、本件の実施形態におけるTOF深度センシング・モジュール又はTOF深度センシング・モジュールを含む端末デバイスによって実行されてもよい。具体的には、図78に示される方法は、図71に示されるTOF深度センシング・モジュール又は図71に示されるTOF深度センシング・モジュールを含む端末デバイスによって実行することができる。図78に示される方法は、ステップ7001ないしステップ7005を含む。以下、ステップを別々に詳細に説明する。
[1047] 7001.ビームを生成するように光源を制御する。
[1048] 7002.ビームの方向を制御し、第1出現ビームと第2出現ビームを取得するように、光学素子を制御する。
[1049] 7003.第1出現ビームを反射することによってターゲット・オブジェクトから得られる第3反射ビームと、第2出現ビームを反射することによってターゲット・オブジェクトから得られる第4反射ビームとを、受信ユニットの異なる領域へ伝搬させるように、ビーム選択デバイスを制御する。
[1050] 7004.第1出現ビームに対応するTOFに基づいて、ターゲット・オブジェクトの第1深度マップを生成する。
[1051] 7005.第2出現ビームに対応するTOFに基づいて、ターゲット・オブジェクトの第2深度マップを生成する。
[1052] 第1出現ビームの出現方向と第2出現ビームの出現方向は異なり、第1出現ビームの偏光方向は、第2出現ビームの偏光方向に直交している。
[1053] 本件のこの実施形態では、送信端部は偏光フィルタリング・デバイスを有しないので、光源から放出されるビームは、損失なく光学素子に到達する可能性があり(偏光フィルタリング・デバイスは、一般に、多くの光エネルギーを吸収し、熱損失を発生する)、その結果、端末デバイスの熱損失を低減することができる。
[1054] オプションとして、図78に示される方法は、ターゲット・オブジェクトの深度マップを得るために、第1深度マップと第2深度マップを継ぎ合わせるステップを更に含む。
[1055] 図78に示される方法では、第3深度マップ、第4深度マップなどが、同様な方法で更に生成されてもよいことが、理解されるべきである。次いで、ターゲット・オブジェクトの最終深度マップを取得するために、全ての深度マップは継ぎ合わせられる又は結合されることが可能である。
[1056] オプションとして、端末デバイスは、コリメーション・レンズ群を更に含む。コリメーション・レンズ群は、光源と光学素子の間に配置される。図78に示される方法は、更に以下を含む:
[1057] 7006.コリメーション・レンズ群を使用することにより、ビームに関してコリメーション処理を実行し、コリメーション処理が実行された後に得られるビームを取得する。
[1058] 前述のステップ7002は、具体的には:コリメーション処理が実行された後に得られるビームの方向を制御して、第1出現ビーム及び第2出現ビームを取得するように、光学素子を制御するステップを含む。
[1059] また、コリメーション・レンズ群を使用してビームに関してコリメーション処理を実行することにより、ほぼ平行なビームを取得することができ、その結果、ビームのパワー密度を向上させることができ、そのビームを用いて以後に実行する走査の実効性を改善することができる。
[1060] オプションとして、端末デバイスは、ホモジナイザーを更に含む。ホモジナイザーは、光源と光学素子の間に配置される。図78に示される方法は、更に以下を含む:
[1061] 7007.ホモジナイザーを用いてビームのエネルギー分布を調整し、均質化処理が実行された後に得られるビームを取得する。
[1062] 前述のステップ7002は、具体的には:均質化処理が実施された後に得られるビームの方向を制御して、第1出現ビームと第2出現ビームを取得するように、光学素子を制御するステップを含む。
[1063] 均質化処理を通じて、ビームの光パワーは、より均一に又は特定のルールに従って角度空間内に分布させられ、ローカルな光パワーが過度に小さくなるのことを防止し、最終的に得られるターゲット・オブジェクトの深度マップにおけるブラインド・スポットを回避することが可能である。
[1064] 前述のステップ7001ないしステップ7005に基づいて、図78に示される方法は、ステップ7006又はステップ7007を更に含んでもよい。
[1065] 代替的に、前述のステップ7001ないしステップ7005に基づいて、図78に示される方法は、ステップ7006及びステップ7007を更に含んでもよい。この場合、ステップ7001が実行された後に、ステップ7006がステップ7007の前に実行され、次いで、ステップ7002が実行されてもよい。代替的に、ステップ7007は、ステップ7006の前に実行されてもよく、次いで、ステップ7002が実行される。換言すれば、ステップ7001における光源がビームを生成した後、先ず、コリメーション処理と均質化処理が、連続的にビームに関して実行されることが可能であり(ビームのエネルギー分布はホモジナイザーを使用することによって調整される)、次いで、光学素子はビームの方向を制御するために制御される。代替的に、ステップ7001において光源がビームを生成した後、先ず、均質化処理とコリメーション処理が、連続的にビームに関して実行されることが可能であり(ビームのエネルギー分布はホモジナイザーを使用することによって調整される)、次いで、光学素子はビームの方向を制御するために制御される。
[1066] 上記は、図70ないし図78を参照しながら本件の実施形態におけるTOF深度センシング・モジュール及び画像生成方法を詳細に説明している。以下、図79ないし図88を参照しながら本件の実施形態における別のTOF深度センシング・モジュール及び別の画像生成方法を詳細に説明する。
[1067] 液晶デバイスの優れた偏光及び位相調整能力に起因して、液晶デバイスは、ビーム偏向させるためにTOF深度センシング・モジュールにおいて広く使用されている。しかしながら、液晶材料の複屈折特性により、液晶デバイスが使用される既存のTOF深度センシング・モジュールでは、一般に、偏光された光を放出するために、送信端部に偏光子が付加されている。偏光された光を放出するプロセスにおいて、偏光子の偏光選択機能に起因して、ビームが放出される場合にエネルギーの半分が失われる。損失エネルギーの一部は、偏光子によって吸収又は散乱されて熱に変換される。その結果、TOF深度センシング・モジュールの温度は上昇し、TOF深度センシング・モジュールの安定性に影響が及ぶ。従って、如何にしてTOF深度センシング・モジュールの熱損失を低減し、TOF深度センシング・モジュールの信号_対_雑音比を改善するかは、解決されることを必要とする問題である。
[1068] 本件は、送信端部から受信端部へ偏光子を移すことによってシステムの熱損失を低減し、バックグラウンド迷光に対するシステムの信号_対_雑音比を改善するための新規なTOF深度センシング・モジュールを提供する。
[1069] 以下、図79を参照しながら本件の実施形態におけるTOF深度センシング・モジュールを先ず簡単に説明する。
[1070] 図79に示されるTOF深度センシング・モジュール600は、光源610、光学素子620、ビーム・スプリッタ630、受信ユニット640、及び制御ユニット650を含む。
[1071] 以下、TOF深度センシング・モジュール600内のモジュール又はユニットを詳細に説明する。
[1072] 光源610:
[1073] 光源610は、ビームを生成するように構成されている。
[1074] オプションとして、光源610は、垂直共振器型面発光レーザー(vertical cavity surface emitting laser, VCSEL)であってもよい。
[1075] オプションとして、光源610は、ファブリ・ペロー・レーザー(これは、FPレーザーと略称される場合がある)である。
[1076] 単一のVCSELと比較して、単一のFPレーザーは、より大きなパワーを実現することが可能であり、VCSELよりも高い電気-光学変換効率を有し、そのため、TOF深度センシング・モジュールの走査実効性を改善することができる。
[1077] オプションとして、光源610によって放出されるビームの波長は、900nmより大きい。
[1078] 太陽光の中で900nmを超える光の強度は低い。従って、ビームの波長が900nmより大きい場合、それは太陽光に起因する干渉を低減するのに役立ち、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[1079] オプションとして、光源610によって放出されるビームの波長は、940nm又は1550nmである。
[1080] 太陽光の中で940nm又は1550nm付近の光の強度は低い。従って、ビームの波長が940nm又は1550nmである場合、太陽光に起因する干渉を大幅に低減することができ、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[1081] オプションとして、光源610の発光面積は5×5mm2以下である。
[1082] 光源のサイズは小さいので、光源を含むTOF深度センシング・モジュールは、端末デバイス内に統合しやすく、そのため、端末デバイス内で占めるスペースをある程度小さくすることができる。
[1083] 光学素子620:
[1084] 光学素子620は、ビームの出現方向に配置され、光学素子620は、ビームの方向を制御して、第1出現ビームと第2出現ビームを取得するように構成される。第1出現ビームの出現方向は、第2出現ビームの出現方向とは異なり、第1出現ビームの偏光方向は、第2出現ビームの偏光方向に直交している。
[1085] オプションとして、図35に示されるように、光学素子620は、水平偏光制御シート、水平液晶偏光格子、垂直偏光制御シート、及び垂直液晶偏光格子を含む可能性がある。水平偏光制御シート、水平液晶偏光格子、垂直偏光制御シート、及び垂直液晶偏光格子の全てと光源との間の距離は順次増加している。
[1086] 代替的に、光学素子620において、垂直偏光制御シート、垂直液晶偏光格子、水平偏光制御シート、及び水平液晶偏光格子の全てと光源との間の距離は順次増加している。
[1087] 受信ユニット640:
[1088] 受信ユニット640は、受信レンズ群641及びセンサー642を含む可能性がある。
[1089] ビーム・スプリッタ630:
[1090] ビーム・スプリッタ630は、第1出現ビームを反射することによってターゲット・オブジェクトから得られる第3反射ビームと、第2出現ビームを反射することによってターゲット・オブジェクトから得られる第4反射ビームとを、センサーの異なる領域へ送信するように構成されている。
[1091] ビーム・スプリッタは、受動選択デバイスであり、一般に、制御ユニットによっては制御されず、ハイブリッド偏光状態でビーム内の異なる偏光状態のビームを、受信ユニットの異なる領域の方へそれぞれ伝搬させることができる。
[1092] オプションとして、ビーム・スプリッタは、液晶偏光格子LCPG、偏光ビーム・スプリッタPBS、及び偏光フィルタのうちの任意の1つに基づいて実現される。
[1093] 本件では、偏光子が送信端部から受信端部へ移され、その結果、システムの熱損失を低減することができる。更に、ビーム・スプリッタは、受信端部に配置され、その結果、TOF深度センシング・モジュールの信号_対_ノイズ比を改善することができる。
[1094] 図80に示されるように、TOF深度センシング・モジュール600は、コリメーション・レンズ群660を更に含む可能性があり、コリメーション・レンズ群660は、ビームの出現方向に配置され、コリメーション・レンズ群660は、光源610と光学素子620との間に配置され、コリメーション・レンズ群660は、コリメーション処理が実行された後に得られるビームを得るためにビームに関してコリメーション処理を実行するように構成され、コリメーション・レンズ群660が光源610と光学素子620との間に配置される場合、光学素子620は、コリメーション処理が実行された後に得られるビームの方向を制御して、第1出現ビームと第2出現ビームを取得するように構成される。
[1095] コリメーション・レンズ群を使用してビームに関してコリメーション処理を実行することにより、ほぼ平行なビームを取得することができ、その結果、ビームのパワー密度を向上させることができ、そのビームを用いて以後に実行する走査の実効性を改善することができる。
[1096] オプションとして、コリメーション・レンズ群の有効開口は、5mm以下である。
[1097] コリメーション・レンズ群のサイズは小さいので、コリメーション・レンズ群を含むTOF深度センシング・モジュールは、端末デバイス内に統合しやすく、そのため、端末デバイス内で占めるスペースをある程度小さくすることができる。
[1098] 図81に示されるように、TOF深度センシング・モジュール600は、ホモジナイザー670を更に含んでもよく:
ホモジナイザー670は、ビームの出現方向に配置され、コリメーション・レンズ群が光源と光学素子との間に配置され、ホモジナイザー670は、均質化されたビームを得るためにビームのエネルギー分布を調整するように構成され、ホモジナイザー670が光源610と光学素子620の間に配置される場合、光学素子620は、均質化されたビームの方向を制御して、第1出現ビームと第2出現ビームを取得するように構成されている。
[1099] オプションとして、ホモジナイザーは、マイクロレンズ・ディフューザーであってもよい。
[1100] TOF深度センシング・モジュール600は、コリメーション・レンズ群660とホモジナイザー670の両方を含んでもよいことが理解されるべきである。コリメーション・レンズ群660とホモジナイザー670の両方が、光源610と光学素子620の間に配置される。コリメーション・レンズ群660とホモジナイザー670については、コリメーション・レンズ群660が光源により近いか、又はホモジナイザー670が光源により近いかのいずれかである。
[1101] 図82に示されるように、コリメーション・レンズ群660と光源610との間の距離は、ホモジナイザー670と光源610との間の距離よりも小さい。
[1102] 図82に示されるTOF深度センシング・モジュール600では、光源610によって放出されたビームは、先ずコリメーション・レンズ群660のコリメーション処理を施され、ホモジナイザー670の均質化処理を施され、その後に、処理のために光学素子620へ伝搬される。
[1103] 図83に示されるように、コリメーション・レンズ群660と光源610との間の距離は、ホモジナイザー670と光源610との間の距離よりも大きい。
[1104] 図83に示されるTOF深度センシング・モジュール600では、光源610によって放出されたビームは、先ずホモジナイザー670の均質化処理を施され、コリメーション・レンズ群660のコリメーション処理を施され、その後に、処理のために光学素子620へ伝搬される。
[1105] 以下、添付図面を参照しながらTOF深度センシング・モジュール600の特定の構造を詳細に説明する。
[1106] 図84は、本件の実施形態によるTOF深度センシング・モジュール600の構造の概略図である。
[1107] 図84に示されるように、TOF深度センシング・モジュール600は、投影端部と受信端部を含む。投影端部の光源はVCSEL光源である。ホモジナイザーは回折光学素子ディフューザー(DOE Diffuser)である。ビーム素子は、複数のLCPGと1/4波長板である。各LCPGは、電気的に制御される水平LCPG装置と電気的に制御される垂直LCPG装置とを含む。水平方向及び垂直方向における2次元ブロック走査は、カスケード接続された複数のLCPGを使用することにより実施することができる。
[1108] VCSELアレイ光源の波長は、900nmより大きくてもよい。具体的には、VCSELアレイ光源の波長は、940nm又は1650nmである。
[1109] VCSELアレイ光源の波長が940nm又は1650nmである可能性がある場合、太陽スペクトルの強度は低い。これは、屋外の状況で太陽光により生じるノイズを低減することに役立つ。
[1110] VCSELアレイ光源によって放出されるレーザー・ビームは、連続光又はパルス光であってもよい。また、VCSELアレイ光源は、時間分割による制御を実現するために、幾つかのブロックに分割されてもよく、その結果、異なる領域は時間分割により照明される。
[1111] 回折光学素子ディフューザーは、VCSELアレイ光源によって放出されたビームを、特定のFOV(例えば、5°×5°のFOV)を有する均一な正方形又は長方形の光源に整形するために使用される。
[1112] 複数のLCPG及び1/4波長板は、ビーム走査を実施するために使用される。
[1113] 受信端部と送信端部は、複数のLCPGと1/4波長板を共有する。受信端部の受信レンズ群は、単一レンズ、又は複数のレンズの組み合わせであってもよい。受信端部のセンサーは、単一光子アバランシェ・ダイオード(SPAD)アレイである。SPADは単一光子検出感度を有するので、TOF深度センシング・モジュール600の検出距離を増加させることができる。受信端部は、ビーム・スプリッタを含む。ビーム・スプリッタは、単一のLCPGを使用することにより実現される。と同時に、投影端部は、2つの偏光状態における光を、異なるFOV範囲に投影し、その後、光は、受信端部における複数のLCPGを通過して、同一の光ビームに収束させられれる。次いで、光ビームは、ビーム・スプリッタによって、異なる偏光状態に基づいて、異なる方向における2つの光ビームに分割され、SPADアレイの異なる位置に投影される。
[1114] 図85は、本件の実施形態によるTOF深度センシング・モジュール600の構造の概略図である。
[1115] 図85に示されるTOF深度センシング・モジュール600と図84に示されるTOF深度センシング・モジュール600との間の相違は、図84においては、ビーム・スプリッタが単一のLCPGを使用して実施されているが、図85においては、ビーム・スプリッタは偏光ビーム・スプリッタを使用して実施されており、偏光ビーム・スプリッタは概してコーティングのエッジ及びアングルを接着することによって形成される点にある。偏光ビーム・スプリッタは、既存の製品であるので、偏光ビーム・スプリッタは、ビーム・スプリッタとして使用される場合に、特別なコスト的な利点をもたらす。
[1116] 図85に示されるように、2つの直交する偏光状態にあるビームであって反射によって得られるビームは、偏光ビーム・スプリッタによって分割される。一方のビームは、SPADアレイ・センサーに直接的に伝送され、他方のビームは、反射された後に、別の反射器によってSPADアレイ・センサーの方へ反射される。
[1117] 図86は、本件の実施形態によるTOF深度センシング・モジュールの構造の概略図である。
[1118] 図84に示されるTOF深度センシング・モジュール600との相違は、図86においては、ビーム・スプリッタが偏光フィルタを使用することによって実現されている点にある。例えば、図86においては、ビーム・スプリッタは、1/4波長板を使用することにより実現されてもよい。
[1119] 偏光フィルタは、ピクセル描画と同様な処理を実行する。隣接するピクセルにおいて伝達可能な偏光状態は異なり、各々はSPADピクセルに対応する。このようにして、SPADセンサーは2つの偏光状態で情報を同時に受信することができる。
[1120] 図87は、偏光フィルタの受信偏光ビームの概略図である。
[1121] 図87に示されるように、偏光フィルタの異なる領域は、H偏光又はV偏光を可能にしており、ここで、H偏光は水平方向の偏光を表し、V偏光は垂直方向の偏光を表す。図87において、偏光フィルタの異なる領域は、対応する偏光状態のビームのみが、センサーの対応する位置に到達することを可能にする。例えば、H偏光は、水平に偏光したビームのみが、センサーの対応する位置に到達することを可能にし、V偏光は、垂直に偏光したビームのみが、センサーの対応する位置に到達することを可能にする。
[1122] 偏光フィルタを使用することによりビーム・スプリッタが実現される場合、偏光フィルタは薄くて小さなサイズであるので、偏光フィルタを、小型サイズの端末デバイスに一体化することに好都合である。
[1123] 図88は、本件の実施形態による画像生成方法の概略フローチャートである。
[1124] 図88に示される方法は、本件の実施形態におけるTOF深度センシング・モジュール又はTOF深度センシング・モジュールを含む端末デバイスによって実行されてもよい。具体的には、図88に示される方法は、図79に示されるTOF深度センシング・モジュール又は図79に示されるTOF深度センシング・モジュールを含む端末デバイスによって実行することができる。図88に示される方法は、ステップ8001ないしステップ8006を含む。以下、ステップを別々に詳細に説明する。
[1125] 8001.ビームを生成するように光源を制御する。
[1126] 8002.ビームの方向を制御し、第1出現ビームと第2出現ビームを取得するように、光学素子を制御する。
[1127] 第1出現ビームの出現方向と第2出現ビームの出現方向は異なり、第1出現ビームの偏光方向は、第2出現ビームの偏光方向に直交している。
[1128] 8003.第1出現ビームを反射することによってターゲット・オブジェクトから得られる第3反射ビームと、第2出現ビームを反射することによってターゲット・オブジェクトから得られる第4反射ビームとを、受信ユニットの異なる領域へ伝搬させるように、ビーム・スプリッタを制御する。
[1129] 8004.第1出現ビームに対応するTOFに基づいて、ターゲット・オブジェクトの第1深度マップを生成する。
[1130] 8005.第2出現ビームに対応するTOFに基づいて、ターゲット・オブジェクトの第2深度マップを生成する。
[1131] 図88に示される方法のプロセスは、図78に示される方法の基本プロセスと同じであり、主な相違は、図78に示される方法のステップ7003においは、第3反射ビームと第4反射ビームが、ビーム選択デバイスを使用することによって、受信ユニットの異なる領域へ伝搬されている点にある。しかしながら、図88に示される方法のステップ8003においては、第3反射ビーム及び第4反射ビームは、ビーム・スプリッタを使用することによって、受信ユニットの異なる領域へ伝搬される。
[1132] 本件のこの実施形態では、送信端部は偏光フィルタリング・デバイスを有しないので、光源から放出されるビームは、損失なく光学素子に到達する可能性があり(偏光フィルタリング・デバイスは、一般に、多くの光エネルギーを吸収し、熱損失を発生する)、その結果、端末デバイスの熱損失を低減することができる。
[1133] オプションとして、図88に示される方法は、ターゲット・オブジェクトの深度マップを得るために、第1深度マップと第2深度マップを継ぎ合わせるステップを更に含む。
[1134] 図88に示される方法では、第3深度マップ、第4深度マップなどが、同様な方法で更に生成されてもよいことが、理解されるべきである。次いで、ターゲット・オブジェクトの最終深度マップを取得するために、全ての深度マップは継ぎ合わせられる又は結合されることが可能である。
[1135] オプションとして、端末デバイスは、コリメーション・レンズ群を更に含む。コリメーション・レンズ群は、光源と光学素子の間に配置される。図88に示される方法は、更に以下を含む:
[1136] 8006.コリメーション・レンズ群を使用することにより、ビームに関してコリメーション処理を実行し、コリメーション処理が実行された後に得られるビームを取得する。
[1137] 前述のステップ8002は、具体的には:コリメーション処理が実行された後に得られるビームの方向を制御して、第1出現ビーム及び第2出現ビームを取得するように、光学素子を制御するステップを含む。
[1138] また、コリメーション・レンズ群を使用してビームに関してコリメーション処理を実行することにより、ほぼ平行なビームを取得することができ、その結果、ビームのパワー密度を向上させることができ、そのビームを用いて以後に実行する走査の実効性を改善することができる。
[1139] オプションとして、端末デバイスは、ホモジナイザーを更に含む。ホモジナイザーは、光源と光学素子の間に配置される。図88に示される方法は、更に以下を含む:
[1140] 8007.ホモジナイザーを用いてビームのエネルギー分布を調整し、均質化処理が実行された後に得られるビームを取得する。
[1141] ビームの方向を制御し、第1出現ビームと第2出現ビームを取得するように、光学素子を制御する際の前述のステップ8002は、具体的には:均質化処理が実施された後に得られるビームの方向を制御して、第1出現ビームと第2出現ビームを取得するように、光学素子を制御するステップを含む。
[1142] 均質化処理を通じて、ビームの光パワーは、より均一に又は特定のルールに従って角度空間内に分布させられ、ローカルな光パワーが過度に小さくなるのことを防止し、最終的に得られるターゲット・オブジェクトの深度マップにおけるブラインド・スポットを回避することが可能である。
[1143] 前述のステップ8001ないしステップ8005に基づいて、図88に示される方法は、ステップ8006又はステップ8007を更に含んでもよい。
[1144] 代替的に、前述のステップ8001ないしステップ8005に基づいて、図88に示される方法は、ステップ8006及びステップ8007を更に含んでもよい。この場合、ステップ8001が実行された後に、ステップ8006がステップ8007の前に実行され、次いで、ステップ8002が実行されてもよい。代替的に、ステップ8007は、ステップ8006の前に実行されてもよく、次いで、ステップ7002が実行される。換言すれば、ステップ8001における光源がビームを生成した後、先ず、コリメーション処理と均質化処理が、連続的にビームに関して実行されることが可能であり(ビームのエネルギー分布はホモジナイザーを使用することによって調整される)、次いで、光学素子はビームの方向を制御するために制御される。代替的に、ステップ8001において光源がビームを生成した後、先ず、均質化処理とコリメーション処理が、連続的にビームに関して実行されることが可能であり(ビームのエネルギー分布はホモジナイザーを使用することによって調整される)、次いで、光学素子はビームの方向を制御するために制御される。
[1145] 上記は、図79ないし図88を参照しながら本件の実施形態におけるTOF深度センシング・モジュール及び画像生成方法を詳細に説明している。以下、図89ないし図101を参照しながら本件の実施形態における別のTOF深度センシング・モジュール及び別の画像生成方法を詳細に説明する。
[1146] 液晶デバイスの優れた偏光及び位相調整能力に起因して、液晶デバイスは、ビームを制御するためにTOF深度センシング・モジュールにおいて通常使用されている。しかしながら、液晶材料の制限に起因して、液晶デバイスの応答時間はある程度制限され、通常、ミリ秒オーダーである。従って、液晶デバイスを用いるTOF深度センシング・モジュールの走査周波数は低い(通常1kHz未満である)。
[1147] 本件は新しいTOF深度センシング・モジュールを提供する。送信端部及び受信端部の電子的に制御される液晶の駆動信号の時間シーケンスは、システムの走査周波数を増加させるために、特定の時間だけ(例えば、半周期だけ)ずらされるように制御される。
[1148] 以下、図89を参照しながら本件の実施形態におけるTOF深度センシング・モジュールを先ず簡単に説明する。
[1149] 図89に示されるTOF深度センシング・モジュール700は、光源710、光学素子720、ビーム選択デバイス730、受信ユニット740、及び制御ユニット750を含む。
[1150] TOF深度センシング・モジュール600内の各モジュールの機能は次のとおりである:
[1151] 光源710:
[1152] 光源710は、ビームを生成するように構成されている。
[1153] オプションとして、光源710は、垂直共振器型面発光レーザー(vertical cavity surface emitting laser, VCSEL)である。
[1154] オプションとして、光源710は、ファブリ・ペロー・レーザー(これは、FPレーザーと略称される場合がある)である。
[1155] 単一のVCSELと比較して、単一のFPレーザーは、より大きなパワーを実現することが可能であり、VCSELよりも高い電気-光学変換効率を有し、そのため、TOF深度センシング・モジュールの走査実効性を改善することができる。
[1156] オプションとして、光源710によって放出されるビームの波長は、900nmより大きい。
[1157] 太陽光の中で900nmを超える光の強度は低い。従って、ビームの波長が900nmより大きい場合、それは太陽光に起因する干渉を低減するのに役立ち、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[1158] オプションとして、光源710によって放出されるビームの波長は、940nm又は1550nmである。
[1159] 太陽光の中で940nm又は1550nm付近の光の強度は低い。従って、ビームの波長が940nm又は1550nmである場合、太陽光に起因する干渉を大幅に低減することができ、その結果、TOF深度センシング・モジュールの走査実効性を向上させることができる。
[1160] オプションとして、光源710の発光面積は5×5mm2以下である。
[1161] 光源のサイズは小さいので、光源を含むTOF深度センシング・モジュールは、端末デバイス内に統合しやすく、そのため、端末デバイス内で占めるスペースをある程度小さくすることができる。
[1162] オプションとして、TOF深度センシング・モジュール700の平均出力光パワーは、800mW未満である。
[1163] TOF深度センシング・モジュールの平均出力光パワーが800 mw以下である場合、TOF深度センシング・モジュールの電力消費は小さく、電力消費に敏感なデバイス、例えば端末デバイスに、TOF深度センシング・モジュールを配置することを促す。
[1164] 光学素子720:
[1165] 光学素子720は、光源がビームを放出する方向に配置されている。光学素子720は、制御ユニット750の制御の下でビームを偏向させ、出現ビームを取得するように構成されている。
[1166] ビーム選択デバイス730:
[1167] ビーム選択デバイス730は、制御ユニット750の制御の下で、ターゲット・オブジェクトの反射ビームの各周期でビームから少なくとも2つの偏光状態におけるビームを選択して、受信ビームを取得し、受信ビームを受信ユニット740へ送るように構成されている。
[1168] 出現ビームは周期的に変化するビームである。出現ビームの変更周期の値は、第1時間インターバルである。出現ビームにおいて、隣接する周期内のビームは異なるチルト角を有し、同じ周期内のビームは少なくとも2つの偏光状態を有し、同じ周期内のビームは同じチルト角と異なる方位角を有する。
[1169] 本件のこの実施形態では、光源によって放出されるビームの方向及び偏光状態は、光学素子及びビーム選択デバイスを使用することにより調節され、その結果、隣接する周期内の出現ビームは異なるチルト角を有し、同じ周期内のビームは少なくとも2つの偏光状態を有し、TOF深度センシング・モジュールの走査周波数を増加させる。
[1170] 本件では、送信端部及び受信端部の制御信号の時間シーケンスは、TOF深度センシング・モジュールの走査周波数を増加させるために、特定の時間によりスタッガード状にされるように、制御ユニットにより制御される。
[1171] オプションとして、図35に示されるように、光学素子720は、水平偏光制御シート、水平液晶偏光格子、垂直偏光制御シート、及び垂直液晶偏光格子を含む。水平偏光制御シート、水平液晶偏光格子、垂直偏光制御シート、及び垂直液晶偏光格子の全てと光源との間の距離は順次増えている。
[1172] 代替的に、垂直偏光制御シート、垂直液晶偏光格子、水平偏光制御シート、及び水平液晶偏光格子の全てと光源との間の距離は順次増えている。
[1173] オプションとして、ビーム選択デバイスは、1/4波長板、電気的に制御される1/2波長板、及び偏光子を含む。
[1174] 図90に示されるように、TOF深度センシング・モジュールは、コリメーション・レンズ群760を更に含んでもよい。コリメーション・レンズ群760は、光源710と光学素子720の間に配置される。コリメーション・レンズ群760は、ビームに関してコリメーション処理を実行するように構成される。光学素子720は、コリメーション・レンズ群がコリメーション処理を実行した後に得られるビームを、制御ユニット750の制御の下で制御して、出現ビームを取得するように構成されている。
[1175] TOF深度センシング・モジュールがコリメーション・レンズ群を含む場合、コリメーション・レンズ群を使用することにより、光源から放出されたビームに関してコリメーション処理を実行することによって、ほぼ平行なビームを取得することができ、その結果、ビームのパワー密度を向上させることができ、そのビームを用いて以後に実行する走査の実効性を改善することができる。
[1176] オプションとして、コリメーション・レンズ群の有効開口は、5mm以下である。
[1177] コリメーション・レンズ群のサイズは小さいので、コリメーション・レンズ群を含むTOF深度センシング・モジュールは、端末デバイス内に統合しやすく、そのため、端末デバイス内で占めるスペースをある程度小さくすることができる。
[1178] 図91に示されるように、TOF深度センシング・モジュール700は、ホモジナイザー770を更に含む。ホモジナイザー770は、光源710と光学素子720の間に配置される。ホモジナイザー770は、ビームの角度空間強度分布を調整するように構成されている。光学素子720は、ホモジナイザー770が均質化処理を実行した後に得られるビームの方向を制御して、出現ビームを取得するように構成されている。
[1179] オプションとして、ホモジナイザー770は、マイクロレンズ・ディフューザー又は回折光学素子ディフューザーである。
[1180] 均質化処理を通じて、ビームの光パワーは、より均一に又は特定のルールに従って角度空間内に分布させられ、ローカルな光パワーが過度に小さくなるのことを防止し、最終的に得られるターゲット・オブジェクトの深度マップにおけるブラインド・スポットを回避することが可能である。
[1181] TOF深度センシング・モジュール700は、コリメーション・レンズ群760とホモジナイザー770の両方を含んでもよいことが理解されるべきである。コリメーション・レンズ群760とホモジナイザー770の両方が、光源710と光学素子720の間に配置されてもよい。コリメーション・レンズ群760とホモジナイザー770については、コリメーション・レンズ群760が光源により近くてもよいし、又はホモジナイザー770が光源により近くてもよい。
[1182] 図92は、本件の実施形態によるTOF深度センシング・モジュールの概略図である。
[1183] 図92に示されるように、コリメーション・レンズ群760と光源710との間の距離は、ホモジナイザー770と光源710との間の距離よりも小さい。
[1184] 図92に示されるTOF深度センシング・モジュール700では、光源710によって放出されたビームは、先ずコリメーション・レンズ群760のコリメーション処理を施され、ホモジナイザー770の均質化処理を施され、その後に、処理のために光学素子720へ伝搬される。
[1185] 図93は、本件の実施形態によるTOF深度センシング・モジュールの特定の構造の概略図である。
[1186] 図93に示されるように、コリメーション・レンズ群760と光源710との間の距離は、ホモジナイザー770と光源710との間の距離よりも大きい。
[1187] 図93に示されるTOF深度センシング・モジュール700では、光源710によって放出されたビームは、先ずホモジナイザー770の均質化処理を施され、コリメーション・レンズ群760のコリメーション処理を施され、その後に、処理のために光学素子720へ伝搬される。
[1188] 以下、図94及び図95を参照しながら、TOF深度センシング・モジュール700の動作プロセスを説明する。
[1189] 図94に示されるように、TOF深度センシング・モジュール700の送信端部及び受信端部の電気的に制御されるデバイスの最も高い周波数は両方とも1/Tであると仮定すると、送信端部及び受信端部の制御時間シーケンスは、制御ユニットによって半周期だけ(0.5T)ずれている。この場合、受信端部のセンサーは、0.5Tのインターバルで異なる空間位置におけるビームを受信することができる。
[1190] 図95に示されるように、0Tないし0.5Tでは、受信端部のセンサーは角度1で状態Aのビームを受信し;
0.5TないしTでは、受信端部のセンサーは角度1で状態Bのビームを受信し;Tないし1.5Tでは、受信端部のセンサーは角度2で状態Aのビームを受信し;1.5Tないし2Tでは、受信端部のセンサーは角度2で状態Bのビームを受信する。このようにして、システムの走査周波数は1/Tから2/Tに倍増する。
[1191] 以下、添付図面を参照しながら、TOF深度センシング・モジュール700の具体的な構造を詳細に説明する。
[1192] 図96は、本件の実施形態によるTOF深度センシング・モジュール700の構造の概略図である。
[1193] 図96に示されるように、TOF深度センシング・モジュール700は、投影端部、受信端部、及び制御ユニットを含む。投影端部は、光源、ホモジナイザー、及び光学素子を含む。受信端部は、光学素子、ビーム選択デバイス、受信レンズ群、及び2次元センサーを含む。制御ユニットは、投影端部及び受信端部を制御してビーム走査を完了するように構成されている。
[1194] 投影端部の光源はVCSEL光源である。ホモジナイザーは回折光学素子ディフューザー(DOE Diffuser)である。ビーム素子は、複数のLCPGと1/4波長板である。各LCPGは、電気的に制御される水平LCPG装置と電気的に制御される垂直LCPG装置とを含む。水平方向及び垂直方向における2次元ブロック走査は、カスケード接続された複数のLCPGを使用することにより実施することができる
[1195] VCSELアレイ光源の波長は、900nmより大きくてもよい。具体的には、VCSELアレイ光源の波長は、940nm又は1650nmであってもよい。
[1196] VCSELアレイ光源の波長が940nm又は1650nmである可能性がある場合、太陽スペクトルの強度は低い。これは、屋外の状況で太陽光により生じるノイズを低減することに役立つ。
[1197] VCSELアレイ光源によって放出されるレーザー・ビームは、連続光又はパルス光であってもよい。また、VCSELアレイ光源は、時間分割による制御を実現するために、幾つかのブロックに分割されてもよく、その結果、異なる領域は時間分割により照明される。
[1198] 回折光学素子ディフューザーは、VCSELアレイ光源によって放出されたビームを、特定のFOV(例えば、5°×5°のFOV)を有する均一な正方形又は長方形の光源に整形するために使用される。
[1199] 複数のLCPG及び1/4波長板は、ビーム走査を実施するために使用される。
[1200] 本件では、異なる角度及び異なる状態の光は、送信端部及び受信端部の時間分割制御によってセンサーに入射するように動的に選択されることが可能である。図96に示されるように、共通VCSELアレイ光源によって放出されるレーザー・ビームは、固定偏光状態を有するのではなく、紙面に平行な直線偏光レーザー・ビームと紙面に垂直な直線偏光レーザー・ビームに分解されることが可能である。LCPGを通過した後、直線偏光レーザー・ビームは、異なる偏光状態(左旋円偏光及び右旋円偏光)にある2つのレーザー・ビームであって異なる放出角度をそれぞれ有する2つのレーザー・ビームに分割される。1/4波長板を通過した後、2つのレーザー・ビームに対応する偏光状態は、紙面に平行な直線偏光と紙面に垂直な直線偏光とに変換される。異なる偏光状態における2つのレーザー・ビームがターゲット領域内のオブジェクトに照射された後に生成される反射ビームは、送信端部と共有される1/4波長板及びLCPGによって受信され、次いで、同じ発散角度を有するが異なる偏光状態を有するレーザー・ビーム、即ち左旋円偏光と右旋円偏光になる。受信端部のビーム選択デバイスは、1/4波長板、電気的に制御される1/2波長板、及び偏光子を含む。受光した光が1/4波長板を通過した後、受光した光の偏光状態は、紙面に平行な直線偏光と紙面に垂直な直線偏光に変換される。このように、電気的に制御される半波長板は、時間分割によって制御され、その結果、反波長板は、直線偏光の偏光状態を90度回転させるか、又は半波長板を通過する偏光状態を変更しない。従って、紙面に平行な直線偏光と紙面に垂直な直線偏光とは、時間分割によって伝送される。更に、別の偏光状態の光は吸収又は散乱される。
[1201] 図96において、送信端部及び受信端部の時間分割制御信号は図94に示されるものであってもよい。送信端部の電気的に制御されたLCPGの制御時間シーケンスと、受信端部の電気的に制御された半波長プレートの制御時間シーケンスとを半周期(0.5T)だけずらすことによって、システムの走査周波数を2倍にすることができる。
[1202] 図97は、本件の実施形態によるTOF深度センシング・モジュール700の構造の概略図である。
[1203] 図97に示されるように、図96に示されるTOF深度センシング・モジュールに基づいて、VCSELアレイ光源の背後にある回折光学素子拡散器(DOE Diffuser)は、マイクロレンズ拡散器(Diffuser)に変更される。マイクロレンズ・ディフューザーは、幾何学的光学系に基づいて均質化を実施するので、マイクロレンズ・ディフューザーの伝送効率は、少なくとも80%である可能性があり、従来の回折光学素子ディフューザー(DOE Diffuser)の伝送効率は、約70%であるに過ぎない。マイクロレンズ・ディフューザーの形態は図77に示されている。マイクロレンズ・ディフューザーは、一連のランダムに分布したマイクロレンズを含む。各マイクロレンズの位置と形態は、シミュレーション及び最適化を通じて設計され、その結果、整形されたビームは可能な限り均一であり、伝送効率は高い。
[1204] 図97に示されるTOF深度センシング・モジュールの駆動原理は、図96に示されるTOF深度センシング・モジュールにおけるものと同様であるが、図96に示されるTOF深度センシング・モジュールにおける回折光学素子拡散器(DOE Diffuser)が、送信端部の伝送効率を改善するために光拡散器に置き換えられる点で異なる。その他の詳細は再び説明しない。
[1205] 図97に示されるTOF深度センシング・モジュールに関し、送信端部及び受信端部の時間分割制御信号は図94に示されるものであってもよい。送信端部の電気的に制御されたLCPGの制御時間シーケンスと、受信端部の電気的に制御された半波長プレートの制御時間シーケンスとを半周期(0.5T)だけずらすことによって、システムの走査周波数を2倍にすることができる。
[1206] 図98は、本件の実施形態によるTOF深度センシング・モジュール700の構造の概略図である。
[1207] 図96又は図97に示されるTOF深度センシング・モジュールに基づいて、光学素子は、図98に示されるように、複数のLCPG及び1/4波長板から、平坦な液晶セルによる複数の層に変更されてもよい。平坦な液晶セルの複数の層は、複数の角度で、水平及び垂直方向におけるビーム偏向を実施するために使用される。受信端部のビーム選択デバイスは、電気的に制御された半波長板と偏光子とを含む。
[1208] 平坦な液晶セルのビーム偏向原理は図99及び図100に示されている。ビーム偏向は、楔状ポリマー(Polymer)の界面を利用することにより実現される。楔状ポリマー材料の屈折率は、液晶の通常光の屈折率n0に等しいものであることを必要とする。このように、図99に示されるように、液晶分子の光軸がx方向に平行である場合、紙面に平行な入射光は特定の角度で偏向する。偏向角の値は、液晶分子に印加される電圧を制御することによって制御されることが可能であり、紙面に垂直な入射光は直線に沿って伝搬する。このように、異なる配向を有する平坦な液晶セルの複数の層を重ね合わせることによって(光軸はx方向又はy方向に平行である)、偏向された入射光は異なる角度に同時に投影されることが可能である。
[1209] 同様に、送信端部における平坦な液晶セルの駆動電圧と受信端部における電気的に制御された半波長板の駆動電圧とを制御することによって、2つの駆動電圧の制御時間シーケンスは半周期(0.5T)だけずらされて、液晶の走査周波数を増加させる。
[1210] 図101は、本件の実施形態による画像生成方法の概略フローチャートである。
[1211] 図101に示される方法は、本件の実施形態におけるTOF深度センシング・モジュール又はTOF深度センシング・モジュールを含む端末デバイスによって実行されてもよい。具体的には、図101に示される方法は、図89に示されるTOF深度センシング・モジュール又は図89に示されるTOF深度センシング・モジュールを含む端末デバイスによって実行することができる。図101に示される方法は、ステップ9001ないしステップ9004を含む。以下、ステップを別々に詳細に説明する。
[1212] 9001.ビームを生成するように光源を制御する。
[1213] 9002.ビームを偏向させて出現ビームを取得するように、光学素子を制御する。
[1214] 9003.ターゲット・オブジェクトの反射ビームの各周期におけるビームから、少なくとも2つの偏光状態のビームを選択し、受信ビームを取得し、受信ビームを受信ユニットへ送るように、ビーム選択デバイスを制御する。
[1215] 9004.出現ビームに対応するTOFに基づいて、ターゲット・オブジェクトの深度マップを生成する。
[1216] 出現ビームは周期的に変化するビームである。出現ビームの変更周期の値は、第1時間インターバルである。出現ビームにおいて、隣接する周期内のビームは異なるチルト角を有し、同じ周期内のビームは少なくとも2つの偏光状態を有し、同じ周期内のビームは同じチルト角と異なる方位角を有する
[1217] 出現ビームに対応するTOFは、具体的には、出現ビームに対応する反射ビームが受信ユニットによって受信される時点と、光源の発光時点との間の時間差に関する情報であってもよい。出現ビームに対応する反射ビームは、具体的には、出現ビームが光学素子とビーム選択デバイスによって処理され、次いでターゲット・オブジェクトに到達し、ターゲット・オブジェクトによって反射されたビームであってもよい。
[1218] 本件のこの実施形態では、光源によって放出されるビームの方向及び偏光状態は、光学素子及びビーム選択デバイスを使用することにより調節され、その結果、隣接する周期内の出現ビームは異なるチルト角を有し、同じ周期内のビームは少なくとも2つの偏光状態を有し、TOF深度センシング・モジュールの走査周波数を増加させる。
[1219] オプションとして、端末デバイスは、コリメーション・レンズ群を更に含む。コリメーション・レンズ群は、光源と光学素子の間に配置される。この場合、図101に示される方法は更に以下を含む:
[1220] 9005.コリメーション処理が実行された後に得られるビームを取得するために、コリメーション・レンズ群を使用することにより、ビームに関してコリメーション処理を実行する。
[1221] ビームが偏向されて出現ビームを取得する前述のステップ9002は、具体的には、コリメーション処理が実行された後に得られるビームの方向を制御して、出現ビームを取得するように、光学素子を制御するステップを含む。
[1222] コリメーション・レンズ群を使用することにより、ビームに関してコリメーション処理を実行することによって、ほぼ平行なビームを取得することができ、その結果、ビームのパワー密度を向上させることができ、そのビームを用いて以後に実行する走査の実効性を改善することができる。
[1223] オプションとして、端末デバイスは、ホモジナイザーを更に含む。ホモジナイザーは、光源と光学素子の間に配置される。この場合、図101に示される方法は更に以下を含む:
[1224] 9006.ホモジナイザーを使用することにより、ビームのエネルギー分布を調整し、均質化処理が実行された後に得られるビームを取得する。
[1225] ビームが偏向されて出現ビームを取得する上述のステップ9002は、具体的には、均質化処理が実行された後に得られるビームの方向を制御して、出現ビームを得るように、光学素子を制御することを含む。
[1226] 均質化処理を通じて、ビームの光パワーは、より均一に又は特定のルールに従って角度空間内に分布させられ、ローカルな光パワーが過度に小さくなるのことを防止し、最終的に得られるターゲット・オブジェクトの深度マップにおけるブラインド・スポットを回避することが可能である。
[1227] 図102ないし図104を参照しながら、以下、第1ビームのFOVであってTOF深度センシング・モジュール300内のビーム整形デバイスによる処理を経て取得されるFOVと、M個の異なる方向の走査によって得られる全FOVとを説明する。更に、図105を参照しながら、全体的な解決策が説明される。
[1228] TOF深度センシング・モジュール300内のビーム整形デバイス330は、第1ビームを得るためにビームを調整する、ということが理解されるべきである。第1ビームのFOVは、第1プリセット範囲に適合している。
[1229] オプションとして、第1プリセット範囲は、[5°×5°,20°×20°]であってもよい。
[1230] 図102は、第1ビームのFOVの概略図である。
[1231] 図102に示されるように、第1ビームは、点Oから放出される。垂直方向における第1ビームのFOVは、角度Aである。水平方向における第1ビームのFOVは、角度Bである。矩形Eは、第1ビームがターゲット・オブジェクト上に投影される領域である(第1ビームがターゲット・オブジェクト上に投影される領域は矩形領域であってもよいし、又は確かに他の形状によるものであってもよい)。角度Aの値は、5°ないし20°の範囲にわたる(5°及び20°を含んでもよい)。同様に、角度Bの値は、5°ないし20°の範囲にわたる(5°及び20°を含んでもよい)。
[1232] TOF深度センシング・モジュール300では、制御ユニット370は、第1光学素子を制御して、M個の異なる時点で第1ビームの方向を別々に制御し、M個の異なる方向で出現ビームを取得するように構成されることが可能である。M個の異なる方向における出現ビームによってカバーされるFOV全体は、第2プリセット範囲に適合している。
[1233] オプションとして、第2プリセット範囲は、[50°×50°,80°×80°]であってもよい。
[1234] 図103は、M個の方向において出現ビームによってカバーされるFOV全体の概略図である。
[1235] 具体的には、図103に示されるように、M個の方向の出現ビームは点Oから放出され、ターゲット・オブジェクト上でカバーされる領域は矩形Fである。角度Cは、垂直方向におけるM個の方向における出現ビームのFOVについての重ね合わせた値である。角度Dは、水平方向におけるM個の方向における出現ビームのFOVについての重ね合わせた値である。角度Cの値は50°ないし80°(50°及び80°を含んでもよい)の範囲にわたる。同様に、角度Dの値は50°ないし80°(50°及び80°を含んでもよい)の範囲にわたる。
[1236] M個の方向における出現ビームによってカバーされる全FOVは、M個の方向における第1ビームを使用することにより走査が実行された後に得られる、ということが理解されるべきである。例えば、図104は、本件の実施形態によるTOF深度センシング・モジュールによって、M個の異なる方向で走査を実行する概略図である。
[1237] この例では、図104に示されるように、第1ビームのFOVは、E×Fである。TOF深度センシング・モジュールによってカバーされる全FOVはU×Vである。走査回数は6回である。言い換えれば、走査は6個の方向で実行される。
[1238] 6回の走査は、以下の方法で実行される。走査は2つの行に対して別々に実行され、3回の走査が各行に関して実行される(即ち、走査される列の数は3であり、走査される行の数は2である)。従って、走査回数は、3×2によって表現されてもよい。
[1239] この例では、走査トラックは、先ず、第1行を左から右へ3回走査し、第2行の方へ偏向し、第2行を右から左へ3回走査して、完全なFOV範囲をカバーしている。
[1240] この例における走査トラック及び走査回数は、一例として使用されるに過ぎず、本件に関する限定を構成するはずはない、ということは理解されるべきである。
[1241] なお、実際の動作において、2つの隣接する方向で走査が実行される場合、ある方向から他の隣接する方向への変換は、特定の偏向角を設定することによって実行されてもよい、ということは理解されるべきである。
[1242] 更に、実際の走査の前に、偏向角の値は、適切な範囲内で制御されるべき実際の状況に基づいて決定されることを更に必要とし、その結果、第1ビームは、複数回の走査の後に走査対象領域全体をカバーする、ということが、更に理解されるべきである。以下、図105を参照しながら、本件の実施形態の全体的な解決策設計を説明する。
[1243] 図105は、本件の実施形態による全体的な解決策設計の概略フローチャートである。図105に示されるように、全体的な解決策設計は、ステップS10510ないしS10540を含む。前述の一連のステップは、本件において限定されないことが理解されるべきである。前述のステップの組み合わせによって本件を実現する可能性のある如何なる解決策も、本件の保護範囲内に該当する。以下、前述のステップを詳細に説明する。
[1244] S10510.TOF深度センシング・モジュールのカバレッジ能力を決定する。
[1245] 解決策設計の中で、TOF深度センシング・モジュールのカバレッジ能力が先ず決定されることを必要とし、次いで、適切な偏向角が、走査回数に関連して決定されることが可能である、ということが理解されるべきである。
[1246] TOF深度センシング・モジュールのカバレッジ能力は、TOF深度センシング・モジュールのFOVによってカバーされることが可能な範囲である、ということが理解されるべきである。
[1247] オプションとして、本件のこの実施形態では、TOF深度センシング・モジュールは、主に、正面顔認識のために設計されている。異なるシナリオにおけるユーザーのロック解除要件を確実にするために、TOF深度センシング・モジュールのFOVは、50×50より大きくすべきである。また、TOF深度センシング・モジュールのFOVレンジは、大きすぎないものであるべきである。FOVレンジが大きすぎる場合、収差や歪が増加する。従って、TOF深度センシング・モジュールのFOV範囲は、一般に、50×50ないし80×80の範囲にある可能性がある。
[1248] この例では、TOF深度センシング・モジュールによってカバーされることが可能な決定された全FOVは、U×Vで表現されてもよい。
[1249] S10520.走査回数を決定する。
[1250] 走査回数の上限は、第1光学素子のパフォーマンスによって決定される、ということが理解されるべきである。例えば、第1光学素子は、液晶偏光格子(LCPG)である。液晶分子の応答時間は近似的にS ms(ミリ秒)である。この場合、第1光学素子は、1S内で最大1000/S回の走査を実行する。TOF深度センシング・モジュールによって生成される深度マップのフレーム・レートがT fpsであることを考慮すると、ピクチャの各フレームは、最大1000/(S×T)回走査される可能性がある。
[1251] 同一の条件下において、ピクチャの各フレームを走査するより多くの回数は、走査ビームのより高い強度密度を示し、より長い走査距離を実現できる、ということが理解されるべきである。
[1252] なお、走査回数が上限を超えないことが保証される条件の下で、実際の動作における走査回数は、決定された走査回数の上限に基づいて決定されることが可能である、ということが理解されるべきである。これは、本件において更に限定されない。
[1253] この例では、決定された走査回数は、X×Yで表現されてもよいことが理解されるべきである。Yは走査される行の数量がYであることを示し、Xは走査される列の数量がXであることを示す。換言すれば、走査はY個の行に対して実行され、各行に関してX回の走査が実行される。
[1254] S10530.偏向角の値を決定する。
[1255] 本件のこの実施形態では、偏向角の値は、TOF深度センシング・モジュールのFOVカバレッジ能力と、前述の2つのステップで決定される走査回数とに基づいて、決定されてもよいことが理解されるべきである。
[1256] 具体的には、TOF深度センシング・モジュールによってカバーされることが可能な全FOVが、U×Vである場合、走査回数はX×Yである。従って、水平方向(即ち、各々の行)の走査プロセスにおける偏向角はU/X以上であるべきであり、垂直方向(即ち、ある行から他の行への偏向を示す列方向)の走査プロセスにおける偏向角はV/Y以上であるべきである。
[1257] 偏向角が小さい場合、TOF深度センシング・モジュールの全FOVが、予め設定された回数の走査によってはカバーできない、ということが理解されるべきである。
[1258] S10540.第1ビームのFOVを決定する。
[1259] 偏向角の値が決定された後、第1ビームのFOVは偏向角の値に基づいて決定される、ということが理解されるべきである。この例では、第1ビームのFOVは、E×Fによって表現されてもよい。
[1260] 第1ビームのFOVは、隣接する走査領域にスリット(即ち、走査されない欠落領域)が存在しないことを確実にするために、偏向角の値以上であるべきである、ということが理解されるべきである。この場合、Eは水平偏向角の値以上であるべきであり、Fは垂直偏向角の値以上であるべきである。
[1261] オプションとして、第1ビームのFOVは、偏向角の値よりも僅かに、例えば5%だけ、大きくてもよい。これは本件で限定されない。
[1262] TOF深度センシング・モジュールのカバレッジ能力、走査回数、第1ビームのFOV、及び偏向角の値は、適切な範囲内で制御されるように、実際の動作における相互協調によって決定されてもよい、ということが理解されるべきである。これは本件において限定されない。
[1263] 図102ないし図104を参照しながら、TOF深度センシング・モジュール300によって生成される第1ビーム、及びM個の異なる方向における出現ビームのFOVの前述の説明は、TOF深度センシング・モジュール400によって生成された第1ビーム、及びM個の異なる方向における出現ビームにも適用可能である、ということが理解されるべきである。詳細はここで再び説明されない。
[1264] 当業者は、本明細書で開示された実施形態で説明された実施例との組み合わせにおいて、ユニット及びアルゴリズム・ステップは、電子ハードウェア又はコンピュータ・ソフトウェアと電子ハードウェアの組み合わせによって実施されてもよいことを認識するであろう。機能がハードウェア又はソフトウェアによって実行されるかどうかは、特定のアプリケーションや技術的解決策の設計制約条件に依存する。当業者は、特定のアプリケーションの各々に対して、説明済みの機能を実現するために様々な方法を使用することが可能であるが、その実現が本件の範囲を超えて行くものであると考えるべきではない。
[1265] 当業者であれば、便利で簡単な説明の目的のために、前述のシステム、装置、及びユニットの詳細な動作プロセスについては、前述の方法の実施形態における対応するプロセスを参照されたい、ということを明確に理解することが可能であり、詳細はここで再び説明されない。
[1266] 本件で提供される幾つかの実施形態において、開示されるシステム、装置、及び方法は、他の仕方で実施されてもよい、ということが理解されるべきである。例えば、説明された装置の実施形態は、単なる一例である。例えば、ユニットへの分割は、単に論理な機能分割であり、実際の実装においては他の分割であってもよい。例えば、複数のユニット又は構成要素は、別のシステムに結合又は統合されてもよいし、或いは幾つかの特徴は、無視され又は実行されなくてもよい。更に、図示又は説明された相互結合、直接的な結合、又は通信接続は、何らかのインターフェースを使用することによって実現されてもよい。装置又はユニット間の間接的な結合又は通信接続は、電子的、機械的、又は他の形態で実施されてもよい。
[1267] 別個のパーツとして説明されているユニットは、物理的に分離されていてもされていなくてもよく、ユニットとして表示されているパーツは、物理的ユニットであってもなくてもよく、一カ所に配置されていてもよく、又は複数のネットワーク・ユニット上に分散されていてもよい。全部又は一部のユニットは、実施形態の解決策の目的を達成するために、実際の要件に基づいて選択されてもよい。
[1268] 更に、本件の実施形態における機能ユニットは、1つの処理ユニットに統合されてもよいし、又は各ユニットは、物理的に単独で存在してもよいし、又は2つ以上のユニットが1つのユニットに統合されてもよい。
[1269] 機能がソフトウェア機能単位の形態で実装され、独立した製品として販売又は使用される場合、機能は、コンピュータ読み取り可能な記憶媒体に記憶されてもよい。このような理解に基づいて、本質的に本件の技術的解決策、又は先行技術に寄与する部分、又は技術的解決策の一部は、ソフトウェア製品の形態で実施されてもよい。ソフトウェア製品は、記憶媒体に記憶され、演算デバイス(パーソナル・コンピュータ、サーバー、又はネットワーク・デバイスであってもよい)に、本件の実施形態で説明される方法の全部又は一部のステップを実行するように指示するための幾つかの命令を含む。前述の記憶媒体は、USBフラッシュ・ドライブ、リムーバブル・ハード・ディスク、リード・オンリ・メモリ(read-only memory, ROM)、ランダム・アクセス・メモリ(random access memory, RAM)、磁気ディスク、又は光ディスクのような、プログラム・コードを記憶することが可能な任意の媒体を含む。
[1270] 前述の説明は、本件の単なる特定の実装に過ぎず、本件の保護範囲を制限するようには意図されていない。本件で開示された技術的範囲内で、当業者により容易に理解される如何なる変形又は置換も、本件の保護範囲に該当するものとする。従って、本願の保護範囲は、クレームの保護範囲に従うものとする。

Claims (42)

  1. 飛行時間TOF深度センシング・モジュールであって、前記TOF深度センシング・モジュールは、アレイ光源と、ビーム・スプリッタと、コリメーション・レンズ群と、受信ユニットと、制御ユニットとを含み、前記アレイ光源はN個の発光領域を含み、前記N個の発光領域は互いにオーバーラップしておらず、各々の発光領域はビームを生成するために使用され、前記コリメーション・レンズ群は前記アレイ光源と前記ビーム・スプリッタとの間に位置しており;
    前記制御ユニットは、前記アレイ光源の前記N個の発光領域のうちのM個の発光領域を、発光するように、制御するように構成されており、MはN以下であり、Mは正の整数であり、Nは1より大きな正の整数であり;
    前記コリメーション・レンズ群は、前記M個の発光領域からのビームに関してコリメーション処理を実行するように構成されており;
    前記ビーム・スプリッタは、前記コリメーション・レンズ群がコリメーション処理を実行した後に得られるビームに関してビーム分割処理を実行して出現ビームを取得するように構成されており、前記ビーム・スプリッタは、受信した各ビーム光を、複数のビーム光に分割するように具体的に構成されており;及び
    前記受信ユニットは、ターゲット・オブジェクトの反射ビームを受信するように構成されており、前記ターゲット・オブジェクトの反射ビームは、前記出現ビームを反射することによって、前記ターゲット・オブジェクトから得られるビームである、TOF深度センシング・モジュール。
  2. 請求項1に記載のTOF深度センシング・モジュールにおいて、前記受信ユニットは、受信レンズ群とセンサーを含み、前記受信レンズ群は、前記反射ビームを前記センサーに収束させるように構成されている、TOF深度センシング・モジュール。
  3. 請求項2に記載のTOF深度センシング・モジュールにおいて、前記センサーの分解能はP×Q以上であり、前記アレイ光源の1つの発光領域からのビームに関して前記ビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qであり、P及びQは双方ともに正の整数である、TOF深度センシング・モジュール。
  4. 請求項1ないし3のうちの何れか一項に記載のTOF深度センシング・モジュールにおいて、前記ビーム・スプリッタのビーム受信面は、前記アレイ光源のビーム放出面に平行である、TOF深度センシング・モジュール。
  5. 請求項1ないし4のうちの何れか一項に記載のTOF深度センシング・モジュールにおいて、前記ビーム・スプリッタは、円筒レンズ・アレイ、マイクロレンズ・アレイ、及び回折光学デバイスのうちの任意の1つである、TOF深度センシング・モジュール。
  6. 請求項1ないし5のうちの何れか一項に記載のTOF深度センシング・モジュールにおいて、前記アレイ光源は、垂直共振器型面発光レーザーである、TOF深度センシング・モジュール。
  7. 請求項1ないし6のうちの何れか一項に記載のTOF深度センシング・モジュールにおいて、
    前記アレイ光源の発光面積は、5×5mm2以下であり;
    前記ビーム・スプリッタのビーム入射端面の面積は、5×5mm2以下であり;及び
    前記コリメーション・レンズ群の有効開口は、5mm以下である、TOF深度センシング・モジュール。
  8. 請求項1ないし7のうちの何れか一項に記載のTOF深度センシング・モジュールにおいて、前記TOF深度センシング・モジュールの平均出力光パワーは、800mW未満である、TOF深度センシング・モジュール。
  9. 飛行時間TOF深度センシング・モジュールであって、前記TOF深度センシング・モジュールは、アレイ光源と、ビーム・スプリッタと、コリメーション・レンズ群と、受信ユニットと、制御ユニットとを含み、前記アレイ光源はN個の発光領域を含み、前記N個の発光領域は互いにオーバーラップしておらず、各々の発光領域はビームを生成するために使用され、前記ビーム・スプリッタは前記アレイ光源と前記ビーム・スプリッタとの間に位置しており;
    前記制御ユニットは、前記アレイ光源の前記N個の発光領域のうちのM個の発光領域を、発光するように、制御するように構成されており、MはN以下であり、Mは正の整数であり、Nは1より大きな正の整数であり;
    前記ビーム・スプリッタは、前記M個の発光領域からのビームに関してビーム分割処理を実行するように構成されており、前記ビーム・スプリッタは、受信した各ビーム光を、複数のビーム光に分割するように具体的に構成されており;
    前記コリメーション・レンズ群は、前記ビーム・スプリッタからのビームに関してコリメーション処理を実行して、出現ビームを取得するように構成されており;及び
    前記受信ユニットは、ターゲット・オブジェクトの反射ビームを受信するように構成されており、前記ターゲット・オブジェクトの反射ビームは、前記出現ビームを反射することによって、前記ターゲット・オブジェクトから得られるビームである、TOF深度センシング・モジュール。
  10. 請求項9に記載のTOF深度センシング・モジュールにおいて、前記受信ユニットは、受信レンズ群とセンサーを含み、前記受信レンズ群は、前記反射ビームを前記センサーに収束させるように構成されている、TOF深度センシング・モジュール。
  11. 請求項10に記載のTOF深度センシング・モジュールにおいて、前記センサーの分解能はP×Q以上であり、前記アレイ光源の1つの発光領域からのビームに関して前記ビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qであり、P及びQは双方ともに正の整数である、TOF深度センシング・モジュール。
  12. 請求項9ないし11のうちの何れか一項に記載のTOF深度センシング・モジュールにおいて、前記ビーム・スプリッタのビーム受信面は、前記アレイ光源のビーム放出面に平行である、TOF深度センシング・モジュール。
  13. 請求項9ないし12のうちの何れか一項に記載のTOF深度センシング・モジュールにおいて、前記ビーム・スプリッタは、円筒レンズ・アレイ、マイクロレンズ・アレイ、及び回折光学デバイスのうちの任意の1つである、TOF深度センシング・モジュール。
  14. 請求項9ないし13のうちの何れか一項に記載のTOF深度センシング・モジュールにおいて、前記アレイ光源は、垂直共振器型面発光レーザーである、TOF深度センシング・モジュール。
  15. 請求項9ないし14のうちの何れか一項に記載のTOF深度センシング・モジュールにおいて、
    前記アレイ光源の発光面積は、5×5mm2以下であり;
    前記ビーム・スプリッタのビーム入射端面の面積は、5×5mm2以下であり;及び
    前記コリメーション・レンズ群の有効開口は、5mm以下である、TOF深度センシング・モジュール。
  16. 請求項9ないし15のうちの何れか一項に記載のTOF深度センシング・モジュールにおいて、前記TOF深度センシング・モジュールの平均出力光パワーは、800mW未満である、TOF深度センシング・モジュール。
  17. 画像生成方法であって、前記画像生成方法は、飛行時間TOF深度センシング・モジュールを含む端末デバイスに適用され、前記TOF深度センシング・モジュールは、アレイ光源と、ビーム・スプリッタと、コリメーション・レンズ群と、受信ユニットと、制御ユニットとを含み、前記アレイ光源はN個の発光領域を含み、前記N個の発光領域は互いにオーバーラップしておらず、各々の発光領域はビームを生成するために使用され、前記コリメーション・レンズ群は前記アレイ光源と前記ビーム・スプリッタとの間に位置しており;且つ前記画像生成方法は:
    前記制御ユニットを使用することにより、前記アレイ光源の前記N個の発光領域のうちのM個の発光領域を、M個の異なる時点でそれぞれ発光するように制御するステップであって、MはN以下であり、Mは正の整数であり、Nは1より大きな正の整数である、ステップ;
    前記コリメーション・レンズ群を使用することにより、前記M個の異なる時点で前記M個の発光領域によりそれぞれ生成されたビームに関してコリメーション処理を実行し、コリメーション処理が実行された後に得られるビームを取得するステップ;
    前記ビーム・スプリッタを使用することにより、コリメーション処理が実行された後に得られる前記ビームに関してビーム分割処理を実行して出現ビームを取得するステップであって、前記ビーム・スプリッタは、受信した各ビーム光を、複数のビーム光に分割するように具体的に構成されている、ステップ;
    前記受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップであって、前記ターゲット・オブジェクトの反射ビームは、前記出現ビームを反射することによって、前記ターゲット・オブジェクトから得られるビームである、ステップ;
    前記M個の異なる時点で前記M個の発光領域によりそれぞれ放出された前記ビームに対応するTOFを取得するステップ;
    前記M個の異なる時点で前記M個の発光領域によりそれぞれ放出された前記ビームに対応する前記TOFに基づいて、M個の深度マップを生成するステップ;及び
    前記M個の深度マップに基づいて、前記ターゲット・オブジェクトの最終深度マップを取得するステップ;
    を含む画像生成方法。
  18. 請求項17に記載の画像生成方法において、前記M個の深度マップは、それぞれ、前記ターゲット・オブジェクトのM個の領域セットに対応する深度マップであり、前記M個の領域セット内の何れの2つの領域セット間にもオーバーラップする領域は存在しない、画像生成方法。
  19. 請求項17又は18に記載の画像生成方法において、前記受信ユニットは、受信レンズ群とセンサーを含み、前記受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップは:
    前記受信レンズ群を使用することにより、前記ターゲット・オブジェクトの前記反射ビームを、前記センサーに収束させるステップ;
    を含む、画像生成方法。
  20. 請求項19に記載の画像生成方法において、前記センサーの分解能はP×Q以上であり、前記アレイ光源の1つの発光領域からのビームに関して前記ビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qであり、P及びQは双方ともに正の整数である、画像生成方法。
  21. 請求項17ないし20のうちの何れか一項に記載の画像生成方法において、前記ビーム・スプリッタを使用することにより、コリメーション処理が実行された後に得られる前記ビームに関してビーム分割処理を実行するステップは:
    前記ビーム・スプリッタを使用することにより、コリメーション処理が実行された後に得られる前記ビームに関して、1次元又は2次元ビーム分割処理を実行するステップ;
    を含む、画像生成方法。
  22. 画像生成方法であって、前記画像生成方法は、飛行時間TOF深度センシング・モジュールを含む端末デバイスに適用され、前記TOF深度センシング・モジュールは、アレイ光源と、ビーム・スプリッタと、コリメーション・レンズ群と、受信ユニットと、制御ユニットとを含み、前記アレイ光源はN個の発光領域を含み、前記N個の発光領域は互いにオーバーラップしておらず、各々の発光領域はビームを生成するために使用され、前記ビーム・スプリッタは、前記アレイ光源と前記コリメーション・レンズ群との間に位置しており;且つ前記画像生成方法は:
    前記制御ユニットを使用することにより、前記アレイ光源の前記N個の発光領域のうちのM個の発光領域を、M個の異なる時点でそれぞれ発光するように制御するステップであって、MはN以下であり、Mは正の整数であり、Nは1より大きな正の整数である、ステップ;
    前記ビーム・スプリッタを使用することにより、前記M個の異なる時点で前記M個の発光領域によりそれぞれ生成されたビームに関してビーム分割処理を実行するステップであって、前記ビーム・スプリッタは、受信した各ビーム光を、複数のビーム光に分割するように具体的に構成されている、ステップ;
    前記コリメーション・レンズ群を使用することにより、前記ビーム・スプリッタからのビームに関してコリメーション処理を実行して、出現ビームを取得するステプ;
    前記受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップであって、前記ターゲット・オブジェクトの反射ビームは、前記出現ビームを反射することによって、前記ターゲット・オブジェクトから得られるビームである、ステップ;
    前記M個の異なる時点で前記M個の発光領域によりそれぞれ放出された前記ビームに対応するTOFを取得するステップ;
    前記M個の異なる時点で前記M個の発光領域によりそれぞれ放出された前記ビームに対応する前記TOFに基づいて、M個の深度マップを生成するステップ;及び
    前記M個の深度マップに基づいて、前記ターゲット・オブジェクトの最終深度マップを取得するステップ;
    を含む、画像生成方法。
  23. 請求項22に記載の画像生成方法において、前記M個の深度マップは、それぞれ、前記ターゲット・オブジェクトのM個の領域セットに対応する深度マップであり、前記M個の領域セット内の何れの2つの領域セット間にもオーバーラップする領域は存在しない、画像生成方法。
  24. 請求項22又は23に記載の画像生成方法において、前記受信ユニットは、受信レンズ群とセンサーを含み、前記受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップは:
    前記受信レンズ群を使用することにより、前記ターゲット・オブジェクトの前記反射ビームを、前記センサーに収束させるステップ;
    を含む、画像生成方法。
  25. 請求項24に記載の画像生成方法において、前記センサーの分解能はP×Q以上であり、前記アレイ光源の1つの発光領域からのビームに関して前記ビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qであり、P及びQは双方ともに正の整数である、画像生成方法。
  26. 請求項22ないし25のうちの何れか一項に記載の画像生成方法において、前記ビーム・スプリッタを使用することにより、前記M個の異なる時点で前記M個の発光領域によりそれぞれ放出された前記ビームに関してビーム分割処理を実行するステップは:
    前記ビーム・スプリッタを使用することにより、前記M個の異なる時点で前記M個の発光領域によりそれぞれ放出された前記ビームに関して、1次元又は2次元ビーム分割処理をそれぞれ実行するステップ;
    を含む、画像生成方法。
  27. 画像生成方法であって、前記画像生成方法は、飛行時間TOF深度センシング・モジュールを含む端末デバイスに適用され、前記TOF深度センシング・モジュールは、アレイ光源と、ビーム・スプリッタと、コリメーション・レンズ群と、受信ユニットと、制御ユニットとを含み、前記アレイ光源はN個の発光領域を含み、前記N個の発光領域は互いにオーバーラップしておらず、各々の発光領域はビームを生成するために使用され、前記コリメーション・レンズ群は前記アレイ光源と前記ビーム・スプリッタとの間に位置しており;且つ前記画像生成方法は:
    前記端末デバイスの動作モードを決定するステップであって、前記端末デバイスの動作モードは第1動作モードと第2動作モードを含む、ステップ;
    を含み、前記第1動作モードにおいて、前記画像生成方法は:
    前記アレイ光源の前記N個の発光領域のうちのL個の発光領域を、同時に発光するように制御するステップであって、LはN以下であり、Lは正の整数であり、Nは1より大きな正の整数である、ステップ;
    前記コリメーション・レンズ群を使用することにより、前記L個の発光領域により放出されたビームに関してコリメーション処理を実行するステップ;
    前記ビーム・スプリッタを使用することにより、前記コリメーション・レンズ群がコリメーション処理を実行した後に生成されるビームに関してビーム分割処理を実行して出現ビームを生成するステップであって、前記ビーム・スプリッタは、受信した各ビーム光を、複数のビーム光に分割するように具体的に構成されている、ステップ;
    前記受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップであって、前記ターゲット・オブジェクトの反射ビームは、前記出現ビームを反射することによって、前記ターゲット・オブジェクトから得られるビームである、ステップ;
    前記L個の発光領域により放出された前記ビームに対応するTOFを取得するステップ;及び
    前記L個の発光領域により放出された前記ビームに対応する前記TOFに基づいて、前記ターゲット・オブジェクトの最終深度マップを取得するステップ;
    を更に含むか、又は
    前記第2動作モードにおいて、前記画像生成方法は:
    前記アレイ光源の前記N個の発光領域のうちのM個の発光領域を、M個の異なる時点で発光するように制御するステップであって、MはN以下であり、Mは正の整数であり、Nは1より大きな正の整数である、ステップ;
    前記コリメーション・レンズ群を使用することにより、前記M個の異なる時点で前記M個の発光領域によりそれぞれ生成されたビームに関してコリメーション処理を実行し、コリメーション処理が実行された後に得られるビームを取得するステップ;
    前記ビーム・スプリッタを使用することにより、コリメーション処理が実行された後に得られる前記ビームに関してビーム分割処理を実行して出現ビームを取得するステップであって、前記ビーム・スプリッタは、受信した各ビーム光を、複数のビーム光に分割するように具体的に構成されている、ステップ;
    前記受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップであって、前記ターゲット・オブジェクトの反射ビームは、前記出現ビームを反射することによって、前記ターゲット・オブジェクトから得られるビームである、ステップ;
    前記M個の異なる時点で前記M個の発光領域によりそれぞれ放出された前記ビームに対応するTOFを取得するステップ;
    前記M個の異なる時点で前記M個の発光領域によりそれぞれ放出された前記ビームに対応する前記TOFに基づいて、M個の深度マップを生成するステップ;及び
    前記M個の深度マップに基づいて、前記ターゲット・オブジェクトの最終深度マップを取得するステップ;
    を更に含む画像生成方法。
  28. 請求項27に記載の画像生成方法において、前記M個の深度マップは、それぞれ、前記ターゲット・オブジェクトのM個の領域セットに対応する深度マップであり、前記M個の領域セット内の何れの2つの領域セット間にもオーバーラップする領域は存在しない、画像生成方法。
  29. 請求項27又は28に記載の画像生成方法において、前記受信ユニットは、受信レンズ群とセンサーを含み、前記第1動作モード又は前記第2動作モードにおいて、前記受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップは:
    前記受信レンズ群を使用することにより、前記ターゲット・オブジェクトの前記反射ビームを、前記センサーに収束させるステップ;
    を含む、画像生成方法。
  30. 請求項29に記載の画像生成方法において、前記センサーの分解能はP×Q以上であり、前記アレイ光源の1つの発光領域からのビームに関して前記ビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qであり、P及びQは双方ともに正の整数である、画像生成方法。
  31. 請求項27ないし30のうちの何れか一項に記載の画像生成方法において、前記端末デバイスの動作モードを決定するステップは:
    ユーザーの動作モード選択情報に基づいて、前記端末デバイスの前記動作モードを決定するステップであって、前記ユーザーの前記動作モード選択情報は、前記第1動作モード及び前記第2動作モードのうちの1つを、前記端末デバイスの前記動作モードとして選択するために使用される、ステップを含む、画像生成方法。
  32. 請求項27ないし30のうちの何れか一項に記載の画像生成方法において、前記端末デバイスの動作モードを決定するステップは:
    前記端末デバイスと前記ターゲット・オブジェクトとの間の距離、又は前記ターゲット・オブジェクトが配置されている状況、に基づいて前記端末デバイスの前記動作モードを決定するステップ;
    を含む、画像生成方法。
  33. 請求項32に記載の画像生成方法において、前記端末デバイスと前記ターゲット・オブジェクトとの間の距離、又は前記ターゲット・オブジェクトが配置されている状況、に基づいて前記端末デバイスの前記動作モードを決定するステップは:
    前記端末デバイスと前記ターゲット・オブジェクトとの間の前記距離が、事前に設定された距離以下である場合には、前記端末デバイスは前記第1動作モードで動作する、と決定するステップ;
    前記端末デバイスと前記ターゲット・オブジェクトとの間の前記距離が、事前に設定された距離より大きい場合には、前記端末デバイスは前記第2動作モードで動作する、と決定するステップ;
    前記端末が屋内の状況にある場合には、前記端末デバイスは前記第1動作モードで動作する、と決定するステップ;又は
    前記端末が屋外の状況にある場合には、前記端末デバイスは前記第2動作モードで動作する、と決定するステップ;
    を含む、画像生成方法。
  34. 画像生成方法であって、前記画像生成方法は、飛行時間TOF深度センシング・モジュールを含む端末デバイスに適用され、前記TOF深度センシング・モジュールは、アレイ光源と、ビーム・スプリッタと、コリメーション・レンズ群と、受信ユニットと、制御ユニットとを含み、前記アレイ光源はN個の発光領域を含み、前記N個の発光領域は互いにオーバーラップしておらず、各々の発光領域はビームを生成するために使用され、前記ビーム・スプリッタは前記アレイ光源と前記コリメーション・レンズ群との間に位置しており;且つ前記画像生成方法は:
    前記端末デバイスの動作モードを決定するステップであって、前記端末デバイスの動作モードは第1動作モードと第2動作モードを含む、ステップ;
    を含み、前記第1動作モードにおいて、前記画像生成方法は:
    前記アレイ光源の前記N個の発光領域のうちのL個の発光領域を、同時に発光するように制御するステップであって、LはN以下であり、Lは正の整数であり、Nは1より大きな正の整数である、ステップ;
    前記ビーム・スプリッタを使用することにより、前記L個の発光領域からのビームに関してビーム分割処理を実行するステップであって、前記ビーム・スプリッタは、受信した各ビーム光を、複数のビーム光に分割するように具体的に構成されている、ステップ;
    前記コリメーション・レンズ群を使用することにより、前記ビーム・スプリッタからのビームに関してコリメーション処理を実行して、出現ビームを取得するステップ;
    前記受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップであって、前記ターゲット・オブジェクトの反射ビームは、前記出現ビームを反射することによって、前記ターゲット・オブジェクトから得られるビームである、ステップ;
    前記L個の発光領域により放出された前記ビームに対応するTOFを取得するステップ;及び
    前記L個の発光領域により放出された前記ビームに対応する前記TOFに基づいて、前記ターゲット・オブジェクトの最終深度マップを生成するステップ;
    を更に含むか、又は
    前記第2動作モードにおいて、前記画像生成方法は:
    前記アレイ光源の前記N個の発光領域のうちのM個の発光領域を、M個の異なる時点で発光するように制御するステップであって、MはN以下であり、Mは正の整数であり、Nは1より大きな正の整数である、ステップ;
    前記ビーム・スプリッタを使用することにより、前記M個の異なる時点で前記M個の発光領域によりそれぞれ生成されたビームに関してビーム分割処理を実行するステップであって、前記ビーム・スプリッタは、受信した各ビーム光を、複数のビーム光に分割するように具体的に構成されている、ステップ;
    前記コリメーション・レンズ群を使用することにより、前記ビーム・スプリッタからのビームに関してコリメーション処理を実行して、出現ビームを取得するステップ;
    前記受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップであって、前記ターゲット・オブジェクトの反射ビームは、前記出現ビームを反射することによって、前記ターゲット・オブジェクトから得られるビームである、ステップ;
    前記M個の異なる時点で前記M個の発光領域によりそれぞれ放出された前記ビームに対応するTOFを取得するステップ;
    前記M個の異なる時点で前記M個の発光領域によりそれぞれ放出された前記ビームに対応する前記TOFに基づいて、M個の深度マップを生成するステップ;及び
    前記M個の深度マップに基づいて、前記ターゲット・オブジェクトの最終深度マップを取得するステップ;
    を更に含む画像生成方法。
  35. 請求項34に記載の画像生成方法において、前記M個の深度マップは、それぞれ、前記ターゲット・オブジェクトのM個の領域セットに対応する深度マップであり、前記M個の領域セット内の何れの2つの領域セット間にもオーバーラップする領域は存在しない、画像生成方法。
  36. 請求項34又は35に記載の画像生成方法において、前記受信ユニットは、受信レンズ群とセンサーを含み、前記第1動作モード又は前記第2動作モードにおいて、前記受信ユニットを使用することにより、ターゲット・オブジェクトの反射ビームを受信するステップは:
    前記受信レンズ群を使用することにより、前記ターゲット・オブジェクトの前記反射ビームを、前記センサーに収束させるステップ;
    を含む、画像生成方法。
  37. 請求項36に記載の画像生成方法において、前記センサーの分解能はP×Q以上であり、前記アレイ光源の1つの発光領域からのビームに関して前記ビーム・スプリッタがビーム分割を実行した後に得られるビームの数量は、P×Qであり、P及びQは双方ともに正の整数である、画像生成方法。
  38. 請求項34ないし37のうちの何れか一項に記載の画像生成方法において、前記端末デバイスの動作モードを決定するステップは:
    ユーザーの動作モード選択情報に基づいて、前記端末デバイスの前記動作モードを決定するステップであって、前記ユーザーの前記動作モード選択情報は、前記第1動作モード及び前記第2動作モードのうちの1つを、前記端末デバイスの前記動作モードとして選択するために使用される、ステップを含む、画像生成方法。
  39. 請求項34ないし37のうちの何れか一項に記載の画像生成方法において、前記端末デバイスの動作モードを決定するステップは:
    前記端末デバイスと前記ターゲット・オブジェクトとの間の距離、又は前記ターゲット・オブジェクトが配置されている状況、に基づいて前記端末デバイスの前記動作モードを決定するステップ;
    を含む、画像生成方法。
  40. 請求項39に記載の画像生成方法において、前記端末デバイスと前記ターゲット・オブジェクトとの間の距離、又は前記ターゲット・オブジェクトが配置されている状況、に基づいて前記端末デバイスの前記動作モードを決定するステップは:
    前記端末デバイスと前記ターゲット・オブジェクトとの間の前記距離が、事前に設定された距離以下である場合には、前記端末デバイスは前記第1動作モードで動作する、と決定するステップ;
    前記端末デバイスと前記ターゲット・オブジェクトとの間の前記距離が、事前に設定された距離より大きい場合には、前記端末デバイスは前記第2動作モードで動作する、と決定するステップ;
    前記端末が屋内の状況にある場合には、前記端末デバイスは前記第1動作モードで動作する、と決定するステップ;又は
    前記端末が屋外の状況にある場合には、前記端末デバイスは前記第2動作モードで動作する、と決定するステップ;
    を含む、画像生成方法。
  41. 請求項1ないし8のうちの何れか一項に記載の飛行時間TOF深度センシング・モジュールを含む端末デバイス。
  42. 請求項9ないし16のうちの何れか一項に記載の飛行時間TOF深度センシング・モジュールを含む端末デバイス。


JP2022540942A 2020-01-03 2020-12-31 Tof深度センシング・モジュール及び画像生成方法 Active JP7417748B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010006472.3 2020-01-03
CN202010006472.3A CN113075690B (zh) 2020-01-03 2020-01-03 一种tof深度传感模组和图像生成方法
PCT/CN2020/142433 WO2021136527A1 (zh) 2020-01-03 2020-12-31 一种tof深度传感模组和图像生成方法

Publications (2)

Publication Number Publication Date
JP2023509068A true JP2023509068A (ja) 2023-03-06
JP7417748B2 JP7417748B2 (ja) 2024-01-18

Family

ID=76608440

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022540942A Active JP7417748B2 (ja) 2020-01-03 2020-12-31 Tof深度センシング・モジュール及び画像生成方法

Country Status (6)

Country Link
US (1) US20220342051A1 (ja)
EP (1) EP4080246A4 (ja)
JP (1) JP7417748B2 (ja)
KR (1) KR20220116323A (ja)
CN (2) CN113075690B (ja)
WO (1) WO2021136527A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023153451A1 (ja) * 2022-02-09 2023-08-17 株式会社小糸製作所 測定装置
US11824271B1 (en) * 2022-05-06 2023-11-21 Qualcomm Incorporated Transmit and receive antenna array configuration for radio frequency beamforming

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9398287B2 (en) * 2013-02-28 2016-07-19 Google Technology Holdings LLC Context-based depth sensor control
CN107257931B (zh) * 2015-02-20 2020-09-22 苹果公司 用于光束扫描设备的致动光学元件
JP6942966B2 (ja) 2016-03-16 2021-09-29 株式会社リコー 物体検出装置及び移動体装置
CN107039885B (zh) * 2017-05-04 2023-04-18 奥比中光科技集团股份有限公司 应用于3d成像的激光阵列
CN106990659A (zh) * 2017-05-09 2017-07-28 深圳奥比中光科技有限公司 激光投影装置
CN107026392B (zh) * 2017-05-15 2022-12-09 奥比中光科技集团股份有限公司 Vcsel阵列光源
US10473767B2 (en) 2017-06-19 2019-11-12 Hesai Photonics Technology Co., Ltd. Lidar system and method
SG11201913642VA (en) 2017-07-05 2020-01-30 Ouster Inc Light ranging device with electronically scanned emitter array and synchronized sensor array
US10914823B2 (en) * 2018-05-01 2021-02-09 Qualcomm Incorporated Time of flight ranging with varying fields of emission
CN109343070A (zh) * 2018-11-21 2019-02-15 深圳奥比中光科技有限公司 时间飞行深度相机

Also Published As

Publication number Publication date
EP4080246A1 (en) 2022-10-26
JP7417748B2 (ja) 2024-01-18
CN116626704A (zh) 2023-08-22
EP4080246A4 (en) 2023-01-18
WO2021136527A1 (zh) 2021-07-08
WO2021136527A9 (zh) 2021-10-21
US20220342051A1 (en) 2022-10-27
CN113075690B (zh) 2023-04-28
CN113075690A (zh) 2021-07-06
KR20220116323A (ko) 2022-08-22

Similar Documents

Publication Publication Date Title
US11442151B2 (en) Holographic waveguide LIDAR
CN113156459B (zh) 一种tof深度传感模组和图像生成方法
CN111751836B (zh) 固态光学系统
WO2021136105A1 (zh) 一种tof深度传感模组和图像生成方法
CN115144842B (zh) 发射模组、光电检测装置、电子设备及三维信息检测方法
US20190293954A1 (en) Light source module, sensing device and method for generating superposition structured patterns
KR20200028446A (ko) 고체 상태 광 검출 및 레인징(lidar) 시스템, 그리고 고체 상태 광 검출 및 레이징(lidar) 분해능을 향상시키는 시스템 및 방법
WO2021212915A1 (zh) 一种激光测距装置及方法
US20220342051A1 (en) Tof depth sensing module and image generation method
KR20020062625A (ko) 광학적으로 제어 가능한 증분 시간 지연을 형성시키는 장치
CN110687542A (zh) 一种离轴扫描距离测量系统及方法
US11740534B1 (en) Coupling prisms for tunable optical metasurfaces
WO2018191630A1 (en) Systems and methods for beam steering using a micromirror device
CN113156458A (zh) 一种tof深度传感模组和图像生成方法
CN113075691A (zh) 一种tof深度传感模组和图像生成方法
CN116974053A (zh) 基于空间光调制器的光发射装置及固态激光雷达
CN113075671A (zh) 一种tof深度传感模组和图像生成方法
CN115144840A (zh) 一种扩束透镜、发射模组、光电检测装置及电子设备
CN209821513U (zh) 一种直下式光学投射系统
EP4307005A1 (en) Detection apparatus
CN117214863A (zh) 一种发射模组、光电检测装置及电子设备
CN116859397A (zh) 基于偏振分束器的光束偏转模组、检测装置及电子设备
CN116931337A (zh) 基于液晶偏振光栅的光束扫描模组、测距装置及电子设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220810

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240105

R150 Certificate of patent or registration of utility model

Ref document number: 7417748

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150