JP7450809B2 - Ｄｔｏｆ検知モジュール、端末デバイス、および測距方法 - Google Patents

Ｄｔｏｆ検知モジュール、端末デバイス、および測距方法 Download PDF

Info

Publication number
JP7450809B2
JP7450809B2 JP2023513834A JP2023513834A JP7450809B2 JP 7450809 B2 JP7450809 B2 JP 7450809B2 JP 2023513834 A JP2023513834 A JP 2023513834A JP 2023513834 A JP2023513834 A JP 2023513834A JP 7450809 B2 JP7450809 B2 JP 7450809B2
Authority
JP
Japan
Prior art keywords
gated
photosensitive
units
bins
photosensitive units
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023513834A
Other languages
English (en)
Other versions
JP2023539316A (ja
Inventor
俊▲偉▼ 周
兵 ▲楊▼
▲暁▼▲剛▼ ▲馮▼
▲開▼元 庄
小▲剛▼ 宋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2023539316A publication Critical patent/JP2023539316A/ja
Application granted granted Critical
Publication of JP7450809B2 publication Critical patent/JP7450809B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/14—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein a voltage or current pulse is initiated and terminated in accordance with the pulse transmission and echo reception respectively, e.g. using counters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection

Description

本出願は、検知モジュール技術の分野に関し、特に、dTOF検知モジュール、端末デバイス、および測距方法に関する。
3次元（three dimensional、3D）検知技術は、次世代センサの研究のホットスポットとなっている。現在、3Dセンサに適用可能な技術は、主に、立体画像化、構造化光、飛行時間（time－of－flight、TOF）などを含む。TOFは、長い検出距離および高解像度という利点があり、次世代の3Dセンサの重要な技術である。
測距では、送信機と受信機との間の超短パルスの飛行時間を直接測定することによって深度を計算するために、直接飛行時間（direct time of flight、dTOF）法が使用される。ヒストグラム（histogram）統計に基づいて距離を計算するための一般的な方法が使用される。従来技術におけるdTOF測定では、検出器の記憶空間の制限により、形成される像は低い解像度を有する。
高い画像解像度を形成するために、従来技術では時分割多重化記憶空間が通常使用される。例えば、複数の光源がアレイ状に配置され、視野（field of view、FOV）全体を走査し時分割で記憶空間を再利用するために光源の1つまたは複数の行が時分割で駆動され、次いでスプライシングによって完全な視野（FOV）が得られる。この走査方式は複雑なスプライシングプロセスを有し、長い走査時間を必要とし、異なる検出シナリオに適応することができない。
本出願は、従来技術ではdTOF検知モジュールが異なるシナリオ要件にある程度適用され得ないという問題を解決するために、dTOF検知モジュール、端末デバイス、および測距方法を提供する。
第1の態様によれば、本出願はdTOF検知モジュールを提供する。dTOF検知モジュールは、W個の感光ユニットと、H個のヒストグラムデータ記憶ユニットと、処理制御ユニットとを含む。W個の感光ユニットのうちのK個ごとの感光ユニットが、第1の記憶空間を共有する。第1の記憶空間のサイズは、1つのヒストグラムデータ記憶ユニットに対応する記憶空間のサイズである。処理制御ユニットは、N個の感光ユニットのゲーティングを制御し、各ゲーティングされた感光ユニットにQ個のタイムスライスビンを割り振るように構成される。dTOF検知モジュールは、N個のゲーティングされた感光ユニットおよび各ゲーティングされた感光ユニットに割り振られたQ個のタイムスライスビンに基づいて、第1のモードまたは第2のモードで動作することができる。第1のモードに対応するゲーティングされた感光ユニットの数Nは、第2のモードに対応するゲーティングされた感光ユニットの数Nよりも大きく、かつ／または、第1のモードに対応する各感光ユニットに割り振られたタイムスライスビンの数Qは、第2のモードに対応する各感光ユニットに割り振られたタイムスライスビンの数Qよりも小さい。N個の感光ユニットは、第1の記憶空間を占有する。N個の感光ユニットは、第1の記憶空間を共有するK個の感光ユニットのうちのN個であり、KはW以下であり、WおよびHは両方とも2以上の整数であり、NはK以下の整数であり、Qは正の整数である。
この解決策に基づいて、ゲーティングされた感光ユニットの数および各ゲーティングされた感光ユニットに割り振られたタイムスライスビンの数が制御され、その結果、dTOF検知モジュールは、異なるモード、すなわち、第1のモードまたは第2のモードで動作することができる。さらに、第1のモードに対応するゲーティングされた感光ユニットの数は、第2のモードに対応するゲーティングされた感光ユニットの数よりも多く、ゲーティングされた感光ユニットの数が多いほど、より高い解像度を示す。したがって、dTOF検知モジュールが第1のモードで動作するとき、dTOF検知モジュールは、高解像度を必要とするシナリオに適用され得る。dTOF検知モジュールが第2のモードで動作するとき、dTOF検知モジュールは、低解像度を必要とするシナリオに適用され得る。第1のモードに対応する各感光ユニットに割り振られたタイムスライスビンの数は、第2のモードに対応する各感光ユニットに割り振られたタイムスライスビンの数よりも少ない。したがって、dTOF検知モジュールが第1のモードで動作するとき、dTOF検知モジュールは、検出距離が短いシナリオに適用され得る。dTOF検知モジュールが第2のモードで動作するとき、dTOF検知モジュールは、検出距離が大きいシナリオに適用され得る。換言すれば、ゲーティングされた感光ユニットの数および各ゲーティングされた感光ユニットに割り振られたタイムスライスビンの数が制御され、その結果、同じサイズのヒストグラムデータ記憶ユニットは、異なる数の感光ユニットに対応するヒストグラムデータを記憶することができる。換言すれば、ゲーティングされた感光ユニットの数は、柔軟に制御されることができ、タイムスライスビンの数は、ヒストグラムデータ記憶ユニットの記憶空間を変更することなくゲーティングされた感光ユニットに柔軟に割り振られることができ、その結果、dTOF検知モジュールは様々なシナリオに柔軟に適用可能である。
可能な実装形態では、第1の記憶空間はM個の記憶ブロックを含み、Mは正の整数である。処理制御ユニットは、各ゲーティングされた感光ユニットによって占有される記憶ブロックの第1の数を決定し、記憶ブロックに記憶され得るタイムスライスビンの数および第1の数に基づいて、各ゲーティングされた感光ユニットにQ個のタイムスライスビンを割り振るように特に構成される。
第1の記憶空間はM個の記憶ブロックに分割され、その結果、各感光ユニットによって占有される記憶ブロックの第1の数がさらに決定され得る。これは、各感光ユニットにタイムスライスビンの数を正確に割り振るのに役立つ。
可能な実装形態では、第1の数は、
であり、
であり、Fは、記憶ブロックに記憶され得るタイムスライスビンの数を表す。
可能な実装形態では、記憶ブロックは、少なくとも1つの感光ユニットが第1の距離を検出したときに生成されるデータを記憶するように構成され、第1の距離は、感光ユニットによって検出され得る距離である。
記憶ブロックは、少なくとも1つの感光ユニットによって生成される最大量のデータを記憶することができる。このようにして、各感光ユニットによって生成されるすべてのデータが第1の記憶空間に記憶され得ることが保証され得る。
さらに任意選択的に、感光ユニットによって検出される第1の距離はC／2×T×Qであり、Cは光速であり、Tはタイムスライスビンの周期である。
可能な実装形態では、第1の記憶空間は、H個のヒストグラムデータ記憶ユニットのうちの1つによって提供され、または、第1の記憶空間は、H個のヒストグラムデータ記憶ユニットのうちの少なくとも2つによって提供される。
第1の記憶空間が少なくとも2つのヒストグラムデータ記憶ユニットによって提供される場合、対応する感光ユニットは、第1の記憶空間を並列に提供する少なくとも2つのヒストグラムデータ記憶ユニットの各々に、生成されたデータを記憶することができる。これは、データ記憶効率を向上させるのに役立つ。
可能な実装形態では、W個の感光ユニットは感光ユニットアレイであり、K個の感光ユニットは、感光ユニットアレイの列内のK個の隣接する感光ユニット、または感光ユニットアレイの行内のK個の隣接する感光ユニットである。
感光ユニットアレイの列または行内のK個の隣接する感光ユニットはゲーティングされる。これは、感光ユニットとバスとの間の接続線の複雑さを低減するのに役立つ。
可能な実装形態では、NがK未満である場合、W個の感光ユニットはL回ゲーティングされ、LはKおよびNに基づいて決定される。
すべてのW個の感光ユニットがL回ゲーティングされることで、フル解像度がカバーされ得る。換言すれば、検出距離が大きい場合、感光ユニットの時分割ゲーティングによって高解像度が得られ得る。
可能な実装形態では、N個の感光ユニットの各々のゲーティングを制御する方式は、行イネーブル制御および列イネーブル制御、行イネーブル制御、または列イネーブル制御を含む。
可能な実装形態では、処理制御ユニットは、第1の命令を受信し、第1の命令に従ってN個の感光ユニットのゲーティングを制御し、第1の命令は、目標解像度に基づいて決定され、第2の命令を受信し、第2の命令に従って各ゲーティングされた感光ユニットにQ個のタイムスライスビンを割り当て、第2の命令は、目標解像度および目標距離に基づいて決定されるように特に構成される。
処理制御ユニットは、ゲーティングされた感光ユニットの数を柔軟に制御し、ゲーティングされた感光ユニットにタイムスライスビンの数を柔軟に割り振るために、第1の命令および第2の命令を受信し、その結果、dTOF検知モジュールは様々なシナリオに柔軟に適用可能である。例えば、第1のモードは、高解像度を必要とする短距離検出シナリオに適用可能であることができ、第2のモードは、高解像度を必要としない長距離検出シナリオに適用可能であることができる。
第2の態様によれば、本出願は、プロセッサと、第1の態様または第1の態様の実装形態のいずれか1つにおけるdTOF検知モジュールとを含む端末デバイスを提供する。プロセッサは、dTOF検知モジュールが第1のモードまたは第2のモードで動作するときに得られる情報を処理するように構成される。
第3の態様によれば、本出願は測距方法を提供する。本方法は、目標解像度および目標距離に基づいてN個の感光ユニットのゲーティングを制御し、各ゲーティングされた感光ユニットにQ個のタイムスライスビンを割り振るステップであって、N個の感光ユニットは第1の記憶空間を占有し、N個の感光ユニットは、第1の記憶空間を共有するK個の感光ユニットのうちのN個であり、NはK以下の整数であり、Qは正の整数である、ステップと、N個のゲーティングされた感光ユニットおよび各ゲーティングされた感光ユニットに割り振られたQ個のタイムスライスビンに基づいて第1のモードまたは第2のモードで距離検出を実行するステップであって、第1のモードに対応するゲーティングされた感光ユニットの数Nは、第2のモードに対応するゲーティングされた感光ユニットの数Nよりも大きく、第1のモードに対応する各感光ユニットに割り振られたタイムスライスビンの数Qは、第2のモードに対応する各感光ユニットに割り振られたタイムスライスビンの数Qよりも小さい、ステップとを含む。
本方法は、直接飛行時間dTOF検知モジュールに適用されてもよい。dTOF検知モジュールは、W個の感光ユニットと、H個のヒストグラムデータ記憶ユニットと、処理制御ユニットとを含む。W個の感光ユニットのうちのK個の感光ユニットが、第1の記憶空間を共有する。第1の記憶空間のサイズは、1つのヒストグラムデータ記憶ユニットに対応する記憶空間のサイズである。KはW以下である。WおよびHは両方とも2以上の整数である。
可能な実装形態では、第1の記憶空間はM個の記憶ブロックを含み、Mは正の整数である。本方法は、各ゲーティングされた感光ユニットによって占有される記憶ブロックの第1の数を決定し、記憶ブロックに記憶され得るタイムスライスビンの数および第1の数に基づいて、各ゲーティングされた感光ユニットにQ個のタイムスライスビンを割り振ることができる。
可能な実装形態では、第1の数は、
であり、
であり、Fは、記憶ブロックに記憶され得るタイムスライスビンの数を表す。
可能な実装形態では、記憶ブロックは、少なくとも1つの感光ユニットが第1の距離を検出したときに生成されるデータを記憶するように構成され、第1の距離は、感光ユニットによって検出され得る距離である。
可能な実装形態では、感光ユニットによって検出され得る第1の距離はC／2×T×Qであり、Cは光速であり、Tはタイムスライスビンの周期である。
可能な実装形態では、第1の記憶空間は、H個のヒストグラムデータ記憶ユニットのうちの1つによって提供され、または、第1の記憶空間は、H個のヒストグラムデータ記憶ユニットのうちの少なくとも2つによって提供される。
可能な実装形態では、W個の感光ユニットは感光ユニットアレイであり、K個の感光ユニットは、感光ユニットアレイの列内のK個の隣接する感光ユニット、または感光ユニットアレイの行内のK個の隣接する感光ユニットである。
可能な実装形態では、NがK未満である場合、W個の感光ユニットはL回ゲーティングされ、LはKおよびNに基づいて決定される。
可能な実装形態では、N個の感光ユニットの各々のゲーティングを制御する方式は、行イネーブル制御および列イネーブル制御、行イネーブル制御、または列イネーブル制御を含む。
可能な実装形態では、本方法は、第1の命令を受信し、第1の命令に従ってN個の感光ユニットのゲーティングを制御し、第1の命令は、目標解像度に基づいて決定され、第2の命令を受信し、第2の命令に従って各ゲーティングされた感光ユニットにQ個のタイムスライスビンを割り当てることができ、第2の命令は、目標解像度および目標距離に基づいて決定される。
第4の態様によれば、本出願は、第1の態様または第1の態様の実装形態のいずれか1つにおけるdTOF検知モジュールと、メモリと、プロセッサとを含む端末デバイスを提供する。メモリは、プログラムまたは命令を記憶するように構成される。プロセッサは、第3の態様または第3の態様の可能な実装形態のいずれか1つにおける方法を実行するようにdTOF検知モジュールを制御するためにプログラムまたは命令を呼び出すように構成される。
第5の態様によれば、本出願はコンピュータ可読記憶媒体を提供する。コンピュータ可読記憶媒体は、コンピュータプログラムまたは命令を記憶する。コンピュータプログラムまたは命令が端末デバイスによって実行されると、端末デバイスは、第3の態様または第3の態様の可能な実装形態のいずれか1つにおける方法を実行することが可能とされる。
第6の態様によれば、本願はコンピュータプログラム製品を提供する。コンピュータプログラム製品は、コンピュータプログラムまたは命令を含む。コンピュータプログラムまたは命令が端末デバイスによって実行されると、端末デバイスは、第3の態様または第3の態様の可能な実装形態のいずれか1つにおける方法を実行することが可能とされる。
第2の態様から第6の態様のいずれか1つにおいて達成され得る技術的効果については、第1の態様における有益な効果の説明を参照されたい。詳細はここでは再度説明されない。
本出願の一実施形態による検出器の構造の概略図である。 本出願によるHistogramの概略図である。 本出願によるレーザ測距システムのアーキテクチャの概略図である。 本出願によるdTOF検知モジュールの構造の概略図である。 本出願によるdTOF検知モジュールの構造の概略図である。 本出願による画素と第1の記憶空間との間の構成関係の概略図である。 本出願による画素と第1の記憶空間との間の他の構成関係の概略図である。 本出願による画素アレイとゲーティングされた画素との間の関係の概略図である。 本出願による画素アレイとゲーティングされた画素との間の他の関係の概略図である。 本出願による画素アレイとゲーティングされた画素との間の他の関係の概略図である。 本出願による画素と画素によって占有される記憶ブロックとの間の関係の概略図である。 本出願による画素と画素によって占有される記憶ブロックとの間の他の関係の概略図である。 本出願による画素と画素によって占有される記憶ブロックとの間の他の関係の概略図である。 本出願による画素アレイの概略図である。 本出願による他の画素アレイの概略図である。 本出願による他の画素アレイの概略図である。 本出願による他の画素アレイの概略図である。 本出願による他の画素アレイの概略図である。 本出願による他の画素アレイの概略図である。 本出願による他の画素アレイの概略図である。 本出願による他の画素アレイの概略図である。 本出願による時分割ゲーティングされた画素の概略図である。 本出願による他の時分割ゲーティングされた画素の概略図である。 本出願による他の時分割ゲーティングされた画素の概略図である。 本出願による他の時分割ゲーティングされた画素の概略図である。 本出願による他の時分割ゲーティングされた画素の概略図である。 本出願による測距方法の概略フローチャートである。 本出願による端末デバイスの構造の概略図である。
以下では、添付の図面を参照して本出願の実施形態を詳細に説明する。
1．単一光子アバランシェダイオード（single－photon avalanche diode、SPAD）
単一光子アバランシェダイオードは、単一光子検出器とも呼ばれ、単一光子検出能力を有する光電検出アバランシェダイオードである。SPADは高感度であり、光子が検出されるとトリガされる。SPADがトリガされた後、SPADが初期状態に戻るには通常、特定の期間（例えば、約10ns）がかかる。したがって、SPADは、光子が存在するかどうかを検出するために使用され得る。一般に、センサ内の各検出器には複数のSPADがある。図1aは、可能な検出器の構造の概略図の一例である。検出器は、5＊3 SPADアレイを含むことができる。換言すれば、5＊3 SPADアレイは、検出器の構造の概略図を形成することができる。可能な場合には、5＊3個のSPADすべてが一度にゲーティングされ得る。他の可能な場合には、5＊3個のSPADのうちのいくつかが一度にゲーティングされ得る。例えば、図1aにおけるアクティブなSPADはゲーティングされたSPADである。
SPADの特徴は以下の通りであり、すなわち、逆バイアス電圧下で、SPADは光子を受光し、キャリアを生成する。キャリアは電場の作用下で移動し、半導体材料中の原子と衝突してより多くのキャリアを生成する。このようにして、アバランシェ効果が繰り返しトリガされて、大量のキャリアを生成し、大電流信号を形成する。ダイオードが故障すると、電流検出のためにパルス電流出力が形成される。本出願では、1つのピクセルは1つまたは複数のSPADを含むことができる。
2．タイムスライスビン
タイムスライスビンは、直接飛行時間（direct time of flight、dTOF）検出中の最小時間単位を示し、通常はBinと表記される。最小は、タイムスライスビンがさらに分割され得ないことを意味する。例えば、250psがBinである。他の例では、300psがBinである。Binは、dTOF検知モジュールの最小時間解像度を決定することができる。各Binは、Bin内のカウントを記録する。例えば、パルス発生時刻に対応するBinに1が加算される。
3．タイムスライスビンビット
タイムスライスビンビット（BinBitで表され、すなわちBinのBitの数である）は、dTOF検出中に各Bin内のカウントに使用され得るバイナリビットの最大数を示す。例えば、BinBit＝8は、各Binが最大で2の8乗（すなわち、256）カウントを記憶できることを示す。BinBitは、Binに記憶され得る情報の量を決定する。Binに記憶され得る情報の量はBinBitと表記されることも理解され得る。
4．タイムスライスビンの最大数
タイムスライスビンの最大数（BinNumと表記される）は、dTOF検出中に画素（Pixel）（すなわち、感光ユニット）に対応するヒストグラムで使用され得るBinの最大数を示す。1つの記憶ブロックに記憶され得るタイムスライスビンの数は、その記憶ブロックに対応するタイムスライスビンの最大数として理解され得る。1つの画素が1つの記憶ブロックを占有する場合、1つの画素に割り当てられ得るBinの数がBinNumである。BinNumおよび最下位ビット（least significant bit、LSB）は、dTOF検出中に検出範囲を共同で決定する。換言すれば、BinNum、LSB、および検出範囲は互いに影響を及ぼす。本出願では、LSBは時間単位に対応する。例えば、LSBが250psである場合、最小時間統計単位が250psであることを示す。換言すれば、1つのBinの周期は250psである。
5．ヒストグラム（Histogram）
ヒストグラムは、dTOF検出中の時間相関単一光子カウント（time－correlated single photon counting、TCSPC）データについてのBinの時間単位における各Bin内のカウントに基づいて得られた統計ヒストグラムデータである。図1bは、本出願によるHistogramの概略図である。横座標は、Bin単位の時間を表し、光子がSPAD上のアバランシェをトリガして信号を生成する瞬間が、対応するBinに入り、縦座標はカウント（すなわち、カウント値）を表す。Histogramにおいて、BinNum＝5である。図1bは1つの画素によって出力されたHistogramであることを理解されたい。取得されたヒストグラムに基づいて、どのBinがデッドラインであるかが、重心法、ピーク値法などを使用して決定されることができ、デッドラインに基づいて目標までの距離が決定されることができる。
6．ヒストグラムデータ記憶ユニット
ヒストグラムデータ記憶ユニットは、Histogramを記憶するように構成される。ヒストグラムデータ記憶ユニットは、複数の記憶ブロックを含む。1つの記憶ブロックは、複数のHistogramを記憶してもよい。本出願では、ヒストグラムデータ記憶ユニットに含まれる記憶ブロックの数は画素の数以下である。1つの記憶ブロックが1つのBinNumに対応する。各記憶ブロックに記憶され得る情報量＝BinNum×BinBitである。各記憶ブロックは、1つの画素によって到達される最大検出距離に要求されるデータを記憶するための空間を満たすことができる。
7．画素タイムスライスビン
画素タイムスライスビン（PixelBinで表され得る）は、ゲーティングされた（またはオープンされた、もしくはイネーブルされたと呼ばれる）各画素に割り当てられるBinの数を示す。例えば、各ゲーティングされた（オープンされた）画素は、1つのBinに割り当てられてもよい。他の例では、各ゲーティングされた（オープンされた）画素は、2つ以上のBinに割り当てられてもよい。他の例では、各ゲーティングされた（オープンされた）画素は、すべてのBin（すなわち、BinNum）に割り当てられてもよい。ゲーティングされた画素とは、電気信号を用いて画素の論理スイッチの状態がオフに制御されることを意味することを理解されたい。
8．感光ユニット
感光素子は、光電デバイスの光電変換機能を使用する。感光面上の光信号は、光信号と対応する比例関係で電気信号に変換される。例えば、感光ユニットは、光子検出器（photon detector、PD）、高速フォトダイオード、電荷結合素子（charge coupled device、CCD）、相補型金属酸化物半導体（complementary metal－oxide－semiconductor、CMOS）光電トランジスタ、および単一光子アバランシェダイオードであってもよい。
本出願では、dTOF検知モジュールは、端末デバイス、例えば携帯電話に適用されてもよく、またはレーザレーダ、例えば車載レーザレーダもしくは航空機搭載レーザレーダに適用されてもよい。
dTOF検知モジュールは、距離測定、すなわち距離検出に使用され得る。図2は、本出願が適用され得るレーザ測距システムのアーキテクチャの概略図である。レーザ測距システムは、送信機および受信機を含む。送信機は、主にレーザおよび送信光学部品を含む。受信機は、主にセンサおよび受信光学部品を含む。レーザは、光源として用いられ、レーザ光を放射するように構成される。レーザからのレーザビームは、送信光学部品を使用して目標領域に放射される。レーザビームが目標領域に放射された後（目標領域に放射されたレーザビームは送信ビームと呼ばれ得る）、目標領域内に目標物体が存在する場合があり、レーザビームは目標領域内の目標物体によって反射されてエコー光信号（または受信ビームと呼ばれる）を得る。受信光学部品は、エコー光信号をセンサに伝搬する。センサは、受信されたエコー光信号に基づいてレーザ測距システムと目標物体との間の距離を決定するように構成される。例えば、s＝C×t／2であり、ここで、sはレーザ測距システムと目標物体との間の距離を表し、Cは光速を表し、tは送信機から目標物体まで、次いで目標物体から受信機までの光ビームの持続時間を表す。
本出願で説明されるシステムアーキテクチャおよびアプリケーションシナリオは、本出願における技術的解決策をより明確に説明することを意図しており、本出願で提供される技術的解決策に対する制限を構成するものではないことに留意されたい。
以下では、dTOF測距プロセスを詳細に説明するために、センサが直接飛行時間（direct time of flight、dTOF）検出モジュールである例を使用する。
図3は、本出願によるdTOF検知モジュールの構造の概略図である。dTOF検知モジュールは、ピクセル（Pixel）アレイ、時間デジタル変換器（time to digital converter、TDC）アレイ、およびヒストグラムデータ記憶ユニットを含むことができる。例えば、画素アレイは5×5アレイであってもよく、TDCアレイもまた5×5配列であってもよい。換言すれば、5×5画素アレイは、5×5 TDCアレイに1対1対応する。代替的に、1つのTDCが複数の画素に対応してもよいことを理解されたい。換言すれば、1つのTDCは、代替的に、複数の画素上でアバランシェ信号が発生した回数を記録するように構成されてもよい。画素アレイ内の各画素は、光を検知し、アバランシェ信号を生成するように構成される。TDCアレイ内の各TDCは、アバランシェ信号の発生時間に基づいて、発生時間に対応するBin内の発生回数を記録し、対応するBin内のカウントに1を加算するように構成される。TDCは、アバランシェ信号が異なるBinで発生した回数をカウントしてHistogramを取得し、Histogramをヒストグラムデータ記憶ユニットに出力するようにさらに構成されてもよい。ヒストグラムデータ記憶ユニットは、各画素のHistogramを記憶するように構成される。ヒストグラムデータ記憶ユニットは、複数のHistogramを記憶するとも理解され得る。
図3を参照すると、dTOF測距プロセスは以下の通りであり、すなわち、光子が画素アレイの活性領域（Active area）に入ると、キャリアが生成され、アバランシェ降伏がトリガされて、瞬間的なパルス電流を生成する確率がある。パルス電流を検出した後、TDCは、パルス発生時間に基づいて対応するBin内のカウントに1を加算して、カウントを完了する。異なる瞬間に到達する光子によって引き起こされるアバランシェ降伏信号は、異なるBinに入り、対応するBinのカウントに1が加算される。最後に、Histogramは統計によって取得される。Histogramに基づいて、高精度な深度情報が得られ得る。
dTOF検知モジュールでは、Histogramデータを記憶するために使用され得る物理記憶空間が制限され、メモリの伝送帯域幅も制限される。dTOF検知モジュールに含まれる画素アレイが240＊160である場合、すなわち、解像度が240＊160である場合、1つの画素について記憶される必要がある情報量がBinNum×BinBit＝256×8であると仮定すると、画素アレイ全体によって要求される記憶空間は256×8×240×160＝78．6Mbである。しかしながら、記憶空間が大きい場合、データ伝送帯域幅に対する要件が高い。これは、デジタル回路部品の設計上のボトルネックである。
これを考慮して、本出願はdTOF検知モジュールを提供する。dTOF検知モジュールは、ゲーティングされた感光ユニットの数およびゲーティングされた感光ユニットに割り振られたタイムスライスビンの数を制御することができ、その結果、同じサイズのヒストグラムデータ記憶ユニットは、異なる数の感光ユニットに対応するヒストグラムデータを記憶することができ、dTOF検知モジュールは、異なるシナリオに柔軟に適用可能である。
図4は、本出願によるdTOF検知モジュールの構造の概略図である。検知モジュール400は、W個の感光ユニット401と、H個のヒストグラムデータ記憶ユニット402と、処理制御ユニット403とを含み、W個の感光ユニットのうちのK個ごとの感光ユニットが第1の記憶空間を共有し、第1の記憶空間のサイズは1つのヒストグラムデータ記憶ユニットに対応する記憶空間のサイズであり、KはW以下であり、WおよびHは両方とも2以上の整数である。処理制御ユニットは、N個の感光ユニットのゲーティングを制御し、各ゲーティングされた感光ユニットにQ個のタイムスライスビンを割り振るように構成され、N個の感光ユニットは第1の記憶空間を占有し、N個の感光ユニットは第1の記憶空間を共有するK個の感光ユニットのうちのN個であり、NはK以下の整数であり、Qは正の整数である。dTOF検知モジュールは、N個のゲーティングされた感光ユニットおよび各ゲーティングされた感光ユニットに割り振られたQ個のタイムスライスビンに基づいて第1のモードまたは第2のモードで動作することができ、第1のモードに対応するゲーティングされた感光ユニットの数Nは、第2のモードに対応するゲーティングされた感光ユニットの数Nよりも大きく、第1のモードに対応する各感光ユニットに割り振られたタイムスライスビンの数Qは、第2のモードに対応する各感光ユニットに割り振られたタイムスライスビンの数Qよりも小さい。
可能な実装形態では、タイムスライスビンとQとの間に対応があることが理解されよう。処理制御ユニットがN個のゲーティングされた感光ユニットを一定期間制御するとき、Qの値は、タイムスライスビンの持続時間に反比例し得る。換言すれば、数Qが大きいほど、タイムスライスのビンの持続時間がより短いことを示す。例えば、処理制御ユニットは、N個の感光ユニットのゲーティングを1秒の一定期間で制御する。可能な実装形態では、処理制御ユニットは、各ゲーティングされた感光ユニットに10個のタイムスライスビンを割り振り、各タイムスライスビンは0．1秒である。他の可能な実装形態では、処理制御ユニットは、各ゲーティングされた感光ユニットに20個のタイムスライスビンを割り振り、各タイムスライスビンは0．05秒である。
K個の感光ユニット401が第1の記憶空間を共有することは、第1の記憶空間が最大K個の感光ユニットによって占有され得ることとして理解され得ることに留意されたい。換言すれば、第1の記憶空間を共有するK個の感光ユニットはすべてゲーティングされなくてもよく、N個のゲーティングされた感光ユニットは実際に第1の記憶空間を占有する。
本出願では、処理制御ユニットは、プロセッサ、フィールドプログラマブルゲートアレイ（field programmable gate array、FPGA）、デジタル信号処理（digital signal processing、DSP）回路、特定用途向け集積回路（application specific integrated circuit、ASIC）、または他のプログラマブルロジックデバイスであり得る。これは本出願では限定されない。処理制御ユニットは、感光ユニットのゲーティングを制御し、これらのゲーティングされた感光ユニットに特定の数のタイムスライスビンを割り振ることができる。
上記の解決策に基づいて、ゲーティングされた感光ユニットの数および各ゲーティングされた感光ユニットに割り振られたタイムスライスビンの数が制御され、その結果、dTOF検知モジュールは、異なるモード、すなわち、第1のモードまたは第2のモードで動作することができる。さらに、第1のモードに対応するゲーティングされた感光ユニットの数は、第2のモードに対応するゲーティングされた感光ユニットの数よりも多く、ゲーティングされた感光ユニットの数が多いほど、より高い解像度を示す。したがって、dTOF検知モジュールが第1のモードで動作するとき、dTOF検知モジュールは、高解像度を必要とするシナリオに適用され得る。dTOF検知モジュールが第2のモードで動作するとき、dTOF検知モジュールは、低解像度を必要とするシナリオに適用され得る。第1のモードに対応する各感光ユニットに割り振られたタイムスライスビンの数は、第2のモードに対応する各感光ユニットに割り振られたタイムスライスビンの数よりも少ない。したがって、dTOF検知モジュールが第1のモードで動作するとき、dTOF検知モジュールは、検出距離が短いシナリオに適用され得る。dTOF検知モジュールが第2のモードで動作するとき、dTOF検知モジュールは、検出距離が大きいシナリオに適用され得る。換言すれば、ゲーティングされた感光ユニットの数および各ゲーティングされた感光ユニットに割り振られたタイムスライスビンの数が制御され、その結果、同じサイズのヒストグラムデータ記憶ユニットは、異なる数の感光ユニットに対応するヒストグラムデータを記憶することができる。換言すれば、ゲーティングされた感光ユニットの数は、柔軟に制御されることができ、タイムスライスビンの数は、ヒストグラムデータ記憶ユニットの記憶空間を変更することなくゲーティングされた感光ユニットに柔軟に割り振られることができ、その結果、dTOF検知モジュールは様々なシナリオに柔軟に適用可能である。例えば、dTOF検知モジュールが高解像度および短い検出距離を有するシナリオで使用される場合、多数の感光ユニットがゲーティングされるように制御されてもよく、少数のタイムスライスビンが各感光ユニットに割り振られる。dTOF検知モジュールが低解像度および大きい検出距離を有するシナリオで使用される場合、少数の感光ユニットがゲーティングされるように制御されてもよく、多数のタイムスライスビンが各感光ユニットに割り振られる。
dTOF検知モジュールの適用シナリオを参照すると、ゲーティングされた画素の数および各ゲーティングされた画素に割り振られたタイムスライスビンの数は、異なるシナリオの要件を満たすように柔軟に調整され得る。以下は、dTOF検知モジュールの7つの可能な適用シナリオの例を示す。
シナリオ1：長距離検出が実行される必要がある、例えば、屋外ナビゲーション、目標測位、および物体検出。長距離検出では、多数のタイムスライスビンが各画素に割り振られる必要がある。
シナリオ2：短距離検出が実行される必要がある、例えば、顔モデリングおよび小物体モデリング。短距離検出では、少数のタイムスライスビンが各画素に割り振られる必要がある。
シナリオ3：解像度要件が高い、例えば、顔モデリングおよび小物体モデリング。解像度要件が高い場合、多数のピクセルがゲーティングされる必要がある。
シナリオ4：解像度要件が低い、例えば、目標の検出および測距。解像度要件が低い場合、少数のピクセルがゲーティングされる。
シナリオ5：長距離検出が実行される必要があり、解像度要件が低い。シナリオ5では、少数の画素がゲーティングされる必要があり、多数のタイムスライスビンが各画素に割り振られる。長距離検出は、通常、低解像度要件、低精度、および高フレームレートを有することを理解されたい。
シナリオ6：短距離検出が実行される必要があり、解像度要件が高い。シナリオ6では、多数の画素がゲーティングされる必要があり、少数のタイムスライスビンが各画素に割り振られる。短距離検出は、通常、高解像度要件、高精度、および低フレームレートを有することを理解されたい。
シナリオ7：長距離検出が実行される必要があり、解像度要件が高い。シナリオ7では、多数の画素がゲーティングされる必要があり、多数のタイムスライスビンが各画素に割り振られる。
本出願は、同じ検出距離が存在するときに異なる解像度を実施すること、または同じ解像度が存在するときに異なる距離を検出することにも適用可能であることを理解されたい。
可能な実装形態では、N＝K／mであり、mはゲーティング係数と呼ばれる場合がある。処理制御ユニットは、上位層（例えば、アプリケーション層）から第1の命令を受信し、第1の命令に従って、第1の記憶空間を共有するためにK／m個の感光ユニットのゲーティングを制御することができる。例えば、m＝1は、K個の感光ユニットがゲーティングされることを示す。この場合、K個のゲーティングされた感光ユニットが第1の記憶空間を占有する。他の例では、m＝2は、K／2個の感光ユニットがゲーティングされることを示す。この場合、K／2個のゲーティングされた感光ユニットが第1の記憶空間を占有する。他の例では、m＝4は、K／4個の感光ユニットがゲーティングされることを示す。この場合、K／4個のゲーティングされた感光ユニットが第1の記憶空間を占有する。
さらに任意選択的に、第1の命令は、解像度および／または測距要件に基づいて上位層によって生成されてもよい。例えば、解像度要件が高い場合、mの値は1であり得る。換言すれば、すべてのW個の感光ユニットがゲーティングされる。他の例では、解像度要件が低い場合、mの値は大きな値、例えばm＝4に設定されてもよい。
可能な実装形態では、処理制御ユニットは、上位層から第2の命令を受信し、第2の命令に従って、各ゲーティングされた感光ユニットに割り当てられたタイムスライスビンの数Qを制御することができる。例えば、検出距離が大きい必要がある場合、Qの値は大きい。他の例では、検出距離が短い必要がある場合、Qの値は小さい。
さらに任意選択的に、第2の命令は、解像度および／または検出距離に基づいて上位層によって生成されてもよい。例えば、解像度要件が高く、検出距離が大きい必要がある場合、mの値は小さい値に設定されることができ、nの値は小さい値に設定されることができる。他の例では、解像度要件が低い場合、mの値は大きい値に設定されることができ、nの値は大きい値に設定される。他の例では、nの値が同じである場合、mの値が大きいほど、より小さい解像度と、より大きい検出距離とを示す。詳細については、以下の具体例の説明を参照されたい。
可能な実装形態では、W個の感光ユニットは、感光ユニットアレイであってもよい。
以下の説明では、感光ユニットが画素である例が使用され、dTOF検知モジュールに含まれる画素アレイ内の画素の列の例が使用される。画素の列は、N個のヒストグラムデータ記憶ユニットに対応する。言い換えれば、画素の列は、N個のヒストグラムデータ記憶ユニットを共有するように構成されてもよい。さらに、各画素は1つのスイッチに対応することができ、スイッチは論理スイッチを指す。例えば、相補型金属酸化物半導体（complementary metal－oxide semiconductor、CMOS）における論理回路スイッチは、電気信号を用いて各画素をオンまたはオフであるように制御してもよい。説明を簡単にするために、以下では、バスに接続された画素がスイッチによって表される例を使用する。画素アレイの行の例における処理ロジックは、列の例における処理ロジックと同じであることを理解されたい。
以下は、画素とヒストグラムデータ記憶ユニットとの間の可能な接続方式の一例である。
可能な実装形態では、1つの列はN＊K個の画素を含み、N＊K個の画素は対応するN個のヒストグラムデータ記憶ユニットを共有することができる。換言すれば、列内の最大K個の画素が第1の記憶空間を共有してもよく、K個の画素に第1の記憶空間を提供する1つまたは複数のヒストグラムデータ記憶ユニットがあってもよい。複数のヒストグラムデータ記憶ユニットが、共有される第1の記憶空間をK個の画素に提供する場合、複数のヒストグラムデータ記憶ユニットの提供割合はランダムに設定されてもよい。さらに任意選択的に、各ヒストグラムデータ記憶ユニットはバスのグループに対応し、N個のヒストグラムデータ記憶ユニットはバスのN個のグループに対応し、各画素はバスを通じてヒストグラムデータ記憶ユニットに接続されてもよい。
可能な実装形態では、K個の画素は、1つのヒストグラムデータ記憶ユニットに接続されてもよく、または複数のヒストグラムに接続されてもよい。例えば、画素がヒストグラムデータ記憶ユニットに接続されるかどうかがスイッチを用いて制御されてもよい。例えば、1つのスイッチがバスを通じて1つのヒストグラムデータ記憶ユニットに接続され、K個の画素が1つのスイッチに接続されてもよい。スイッチがオンにされると、そのスイッチに接続されているK個の画素が、そのスイッチに対応するヒストグラムデータ記憶ユニットにバスを通じて接続されてもよい。
列内のK個の隣接する画素が1つのスイッチに接続されてもよく、または間隔を置いたK個の画素が1つのスイッチに接続されてもよいことに留意されたい。これは本出願では限定されない。さらに、K個の隣接画素は、列内の1番目または2番目から開始してもよい。これも本出願では限定されない。
図5aおよび図5bに示されるように、例えば、N×K＝2×4である。換言すれば、列は8つの画素（すなわち、画素1～8）を含み、最大4つの画素が第1の記憶空間を共有する。ヒストグラムデータ記憶ユニット1および／またはヒストグラムデータ記憶ユニット2は、第1の記憶空間を提供することができる。各画素は、スイッチおよびバスを通じて2つのヒストグラムデータ記憶ユニットに接続されてもよい。図5aに示されるように、最初の4つの画素は、スイッチ11およびバス1を通じてヒストグラムデータ記憶ユニット1に接続されてもよく、スイッチ12およびバス2を通じてヒストグラムデータ記憶ユニット2に接続されてもよい。最後の4つの画素は、スイッチ21およびバス1を通じてヒストグラムデータ記憶ユニット1に接続されてもよく、スイッチ22およびバス2を通じてヒストグラムデータ記憶ユニット2に接続されてもよい。換言すれば、最初の4つの画素は、スイッチ11に接続されることができ、スイッチ12に接続されることもできる。最後の4つの画素は、スイッチ21に接続されることができ、スイッチ22に接続されることもできる。
図5aに示されるように、1つのヒストグラムデータ記憶ユニットがK個の画素のための第1の記憶空間を提供する場合、スイッチ11をオンにすることにより、スイッチ11に接続された最初の4つの画素がバス1を通じてヒストグラムデータ記憶ユニット1に接続され得る。スイッチ22に接続された最後の4つの画素は、スイッチ22をオンにすることにより、バス2を通じてヒストグラムデータ記憶ユニット2に接続され得る。代替的に、スイッチ12に接続された最初の4つの画素は、スイッチ12をオンにすることにより、バス2を通じてヒストグラムデータ記憶ユニット2に接続される。スイッチ21に接続された最後の4つの画素は、スイッチ21をオンにすることにより、バス1を通じてヒストグラムデータ記憶ユニット1に接続される。図5bに示されるように、間隔を置いてスイッチ11に接続された4つの画素は、スイッチ11をオンにすることにより、バス1を通じてヒストグラムデータ記憶ユニット1に接続される。間隔を置いてスイッチ22に接続された他の4つの画素は、スイッチ22をオンにすることにより、バス2を通じてヒストグラムデータ記憶ユニット2に接続される。代替的に、間隔を置いてスイッチ21に接続された4つの画素は、スイッチ21をオンにすることにより、バス1を通じてヒストグラムデータ記憶ユニット1に接続される。間隔を置いてスイッチ12に接続された他の4つの画素は、スイッチ12をオンにすることにより、バス2を通じてヒストグラムデータ記憶ユニット2に接続される。
図5aに示されるように、2つのヒストグラムデータ記憶ユニットがK個の画素のための第1の記憶空間を提供する場合、スイッチ11およびスイッチ12をオンにすることにより、スイッチ11に接続された最初の4つの画素がバス1を通じてヒストグラムデータ記憶ユニット1に接続され、4つの画素がバス2を通じてヒストグラムデータ記憶ユニット2に接続され得る。スイッチ21およびスイッチ22をオンにすることにより、スイッチ21に接続された最後の4つの画素がバス1を通じてヒストグラムデータ記憶ユニット1に接続され、スイッチ22に接続された最後の4つの画素がバス2を通じてヒストグラムデータ記憶ユニット2に接続される。
dTOF検知モジュールに含まれる画素アレイがM＊（N＊K）である場合、dTOF検知モジュールは少なくともM＊N個のヒストグラムデータ記憶ユニットを含むことを理解されたい。
以下では、ゲーティング係数mが異なる値に設定されたときのゲーティングされた画素の数（N＝K／m）と第1の記憶空間との間の関係を説明するために例を使用する。
本出願では、最大K個の画素が第1の記憶空間を共有する。実際の使用では、第1の記憶空間を共有するK個の画素はすべてゲーティングされなくてもよく、実際にはK／m個のゲーティングされた画素が第1の記憶空間を占有する。ゲーティングされていない画素は、対応するヒストグラムデータ記憶ユニットに接続されるが、画素は、ヒストグラムデータ記憶ユニットによって提供される記憶空間を占有しない。毎回ゲーティングされる画素の数は整数であることを理解されたい。換言すれば、K／mは整数である。
ゲーティング係数m＝1のとき、K／m＝K個の画素がゲーティングされる。図5aに示されるように、第1の記憶空間を共有する4つの画素はすべてゲーティングされる。この場合、4つのゲーティングされた画素が第1の記憶空間を占有する。図6aに示されるように、列内の8つすべての画素がゲーティングされる。ゲーティング係数m＝1のとき、dTOF検知モジュールは、上記のシナリオ3またはシナリオ6に適用され得ることに留意されたい。
ゲーティング係数m＝2のとき、K／2個の画素がゲーティングされる。図5aに示されるように、第1の記憶空間を共有する4個の画素のうちK／2＝4／2＝2個の画素がゲーティングされる。この場合、2個のゲーティングされた画素が第1の記憶空間を占有する。図6bに示されるように、列について、1つのスイッチに接続された4つの画素のうちの2つがゲーティングされる。
K／2個の画素は、1個の画素の間隔で（図6bに示されるように）ゲーティングされてもよく、または最初のK／2個の画素がゲーティングされてもよく、または最後のK／2個の画素がゲーティングされてもよく、またはK個の画素のうちのK／2個の画素がランダムにゲーティングされてもよいことに留意されたい。これは本出願では限定されない。
ゲーティング係数m＝4のとき、K／4個の画素がゲーティングされる。図5aに示されるように、第1の記憶空間を共有する4個の画素のうちK／4＝4／4＝1個の画素がゲーティングされる。この場合、ゲーティングされた画素が第1の記憶空間を占有する。図6cに示されるように、列について、1つのスイッチに接続された4つの画素のうちの1つがゲーティングされる。ゲーティング係数m＝4のとき、dTOF検知モジュールは、上記のシナリオ4またはシナリオ5に適用され得ることに留意されたい。
K／4個の画素は、代替的に、3個の画素の間隔で（図6cに示されるように）ゲーティングされてもよく、または最初のK／4個の画素がゲーティングされてもよく、または最後のK／4個の画素がゲーティングされてもよく、またはK個の画素のうちのK／4個の画素がランダムにゲーティングされてもよいことに留意されたい。これは本出願では限定されない。
上記のゲーティングされた画素に基づいて、以下で、各ゲーティングされた画素にタイムスライスビンの数Q（PixelBinと呼ばれ得る）を割り振る可能な実装形態を詳細に説明する。
可能な実装形態では、第1の記憶空間はM個の記憶ブロックを含み、F個のタイムスライスビンが各記憶ブロックに記憶されることができ、M＝K／n、N＝K／m、
であり、nは占有係数と呼ばれることができ、FはBinNumである。最大K個の画素が第1の記憶空間を共有し、K／m個のゲーティングされた画素が第1の記憶空間を占有する。この場合、n／m個の画素が1つの記憶ブロックを占有する。換言すれば、各画素は、m／n個の記憶ブロックを占有することができる。
さらに任意選択的に、1つの記憶ブロックに対して1つのBinNumが構成される。換言すれば、1つの記憶ブロックに記憶され得るタイムスライスビンの数は、記憶ブロックに対応するタイムスライスビンの最大数である。各ゲーティングされた画素には、PixelBin＝BinNum×（m／n）が割り振られることができ、各ゲーティングされた画素に割り振られるPixelBinは、nを調整することにより制御され得る。（PixelBinについては、上記の用語7の説明を参照されたく、詳細はここでは再度説明されない。）各ゲーティングされた画素によって検出され得る距離は、その画素によって検出され得る最大距離である。換言すれば、検出され得る距離の限界値が第1の距離と呼ばれる。第1の距離は、C／2×PixelBin×LSB＝C／2×Q×Tであり、LSBは各Binの周期を表し、Cは光速であり、Qはゲーティングされた画素に割り振られたタイムスライスビンの数である。mが固定されている場合、nの値が小さいほど、各画素に割り振られるQがより大きく、各ゲーティングされた画素の検出距離がより大きいことを示すことを理解されたい。
ゲーティング係数m＝1の場合、第1の記憶空間を共有するK個の画素のすべてがゲーティングされる。換言すれば、ゲーティングされたK個の画素は第1の記憶空間を占有し、n個の画素は1つの記憶ブロックを占有し、各画素は記憶ブロックの1／nを占有する。各ゲーティングされた画素に割り振られ得るPixelBin＝BinNum×（1／n）が決定され得る。換言すれば、各ゲーティングされた画素によって検出され得る最大距離＝C／2×PixelBin×LSB＝C／2×BinNum×（1／n）×LSBが決定され得る。
ゲーティング係数m＝2の場合、第1の記憶空間を共有するK個の画素のうちのK／2個の画素がゲーティングされる。換言すれば、K／2個のゲーティングされた画素は第1の記憶空間を占有し、n／2個の画素は1つの記憶ブロックを占有し、各画素は記憶ブロックの2／nを占有する。さらに、PixelBin＝BinNum×（2／n）が各ゲーティングされた画素に割り振られ得る。換言すれば、最大距離＝C／2×PixelBin×LSB＝C／2×BinNum×（2／n）×LSBが各ゲーティングされた画素によって検出され得る。
ゲーティング係数m＝4の場合、第1の記憶空間を共有するK個の画素のうちのK／4個の画素がゲーティングされる。換言すれば、K／4個のゲーティングされた画素は第1の記憶空間を占有し、n／4個の画素は1つの記憶ブロックを占有し、各画素は記憶ブロックの4／nを占有する。さらに任意選択的に、PixelBin＝BinNum×（4／n）が各ゲーティングされた画素に割り振られ得る。最大距離＝C／2×PixelBin×LSB＝C／2×BinNum×（4／n）×LSBが各ゲーティングされた画素によって検出され得る。
表1に示されるように、本出願は、mが異なる値に設定される場合のゲーティングされた画素の数と各画素によって占有される記憶ブロックとの間の関係の一例を示す。
ヒストグラムデータ記憶ユニットを最大限に利用するために、nの値は、mの整数倍およびKの公約数であってもよく、n≦Kであってもよい。
m＝1の場合、図7aは、本出願による画素と画素によって占有される記憶ブロックとの間の関係の概略図である。図7aは、第1の記憶空間がヒストグラムデータ記憶ユニットによって提供される例を使用する。この例では、記憶ブロックがさらに分割されてもよい。換言すれば、記憶ブロックは、4つの記憶サブブロックに分割される。1つのゲーティングされた画素が記憶ブロックのm／nを占有する。n＝4の場合、1つのゲーティングされた画素が記憶ブロックの1／4を占有する。換言すれば、1つのゲーティングされた画素が1つの記憶サブブロックを占有する。4つのゲーティングされた画素は、アドレスデコーダを使用して1つの記憶サブブロックに各々接続され得る。
m＝2の場合、図7bは、本出願による画素と画素によって占有される記憶ブロックとの間の関係の概略図である。図7bは、第1の記憶空間がヒストグラムデータ記憶ユニットによって提供される例を使用する。n＝4の場合、1つのゲーティングされた画素が記憶ブロックのm／n＝2／4＝1／2を占有する。換言すれば、1つのゲーティングされた画素は2つの記憶サブブロックを占有し、各ゲーティングされた画素はアドレスデコーダを使用して2つの記憶サブブロックに接続され得る。例えば、アドレスデコーダは、記憶ブロック1の第1の記憶サブブロックおよび第3の記憶サブブロックを1つのゲーティングされた画素に接続し、記憶ブロック2の第1の記憶サブブロックおよび第3の記憶サブブロックを他のゲーティングされた画素に接続することができる。当然ながら、アドレスデコーダは、代替的に、記憶ブロック1の第2の記憶サブブロックおよび第4の記憶サブブロックを1つの画素に接続し、記憶ブロック2の第2の記憶サブブロックおよび第4の記憶サブブロックを他のゲーティングされた画素に接続してもよく、または、アドレスデコーダは、記憶ブロック1の第1の記憶サブブロックおよび第2の記憶サブブロックを1つのゲーティングされた画素に接続し、記憶ブロック1の第3の記憶サブブロックおよび第4の記憶サブブロックを他のゲーティングされた画素に接続してもよく、または、アドレスデコーダは、記憶ブロック1の第1の記憶サブブロックおよび記憶ブロック2の4つの記憶サブブロックのいずれか1つを1つのゲーティングされた画素に接続し、記憶ブロック1の第2の記憶サブブロックおよび記憶ブロック2の4つの記憶サブブロックのいずれか1つを他のゲーティングされた画素に接続してもよい。
m＝4の場合、図7cは、本出願による画素と画素によって占有される記憶ブロックとの間の関係の概略図である。図7cは、第1の記憶空間がヒストグラムデータ記憶ユニットによって提供される例を使用する。1つのゲーティングされた画素が記憶ブロックのm／nを占有する。n＝4の場合、1つのゲーティングされた画素が記憶ブロックのm／n＝4／4＝1を占有する。換言すれば、1つのゲーティングされた画素が1つの記憶ブロックを占有する。ゲーティングされた画素は、アドレスデコーダを使用して1つの記憶ブロックの4つの記憶サブブロックに別々に接続されてもよく、または、ゲーティングされた画素は、アドレスデコーダを用いて4つの記憶ブロックの4つの記憶サブブロックに別々に接続されてもよく、または、ゲーティングされた画素は、アドレスデコーダを用いて2つの記憶ブロックの各々における2つの記憶サブブロックに別々に接続されてもよい。
上記は、nの値が同じである例を説明していることに留意されたい。異なる適用シナリオでは、nの値は代替的に異なり得る。これは本出願では限定されない。また、mが固定される場合、nの値が小さいほど、各ゲーティングされた画素の検出距離がより大きいことを示す。
ゲーティング係数mおよび占有係数nに基づいて、例えば、LSB＝300psおよびBinNum＝256の場合、表2は、m＝1、2、または4およびn＝4の場合に各画素によって検出され得る最大距離および対応する解像度の例を示す。
上記の内容に基づいて、mおよびnが制御され、その結果、同じサイズのヒストグラムデータ記憶ユニットが異なる画素数に対応するヒストグラムを記憶することができることが分かる。ゲーティングされた画素の数が少ない場合、各画素によって検出される最大距離は大きく、検知モジュールは長距離検出に適用可能である。ゲーティングされた画素の数が多い場合、各画素によって検出される最大距離は小さく、検知モジュールは短距離検出に適用可能である。さらに、ゲーティングされた画素の数が多いほど、より高い解像度を示す。例えば、ゲーティングされた画素の数が320＊240である場合、解像度は320＊240である。他の例では、ゲーティングされた画素の数が160＊120である場合、解像度は160＊120である。他の例では、ゲーティングされた画素の数が80＊60である場合、解像度は80＊60である。換言すれば、ゲーティングされた画素の数が少ない場合、検知モジュールは、測距範囲は大きいが解像度要件が低いシナリオに適用可能である。ゲーティングされた画素の数が多い場合、検知モジュールは、測距範囲は小さいが解像度要件が高いシナリオに適用可能である。
以下の例は、3つの画素ゲーティング方式を示す。
方式1：各画素は、行イネーブル（X＿Enable）制御および列イネーブル（Y＿Enable）制御を有し、行イネーブルおよび列イネーブルを通じて同時に制御され、画素はゲーティングされ、ゲーティングされた画素は動作状態にある。
処理制御ユニットは、電気信号を使用することによって各画素の行イネーブルおよび列イネーブルを制御することができることも理解されよう。例えば、画素の行と列の両方にハイレベル（例えば、1）の電気信号が入力された場合、その画素はゲーティングされてもよい。画素の行および列における通信のための電気信号にローレベル（例えば、0）がある場合、画素はゲーティングされない。
方式2：各画素は行イネーブル（X＿Enable）制御を有し、画素は、行イネーブルが制御されるときにゲーティングされてもよく、ゲーティングされた画素は動作状態にある。
処理制御ユニットは、電気信号を使用することによって各画素の行イネーブルを制御することができることも理解されよう。
方式3：各画素は列イネーブル（Y＿Enable）制御を有し、画素は、列イネーブルが制御されるときにゲーティングされてもよく、ゲーティングされた画素は動作状態にある。
処理制御ユニットは、電気信号を使用することによって各画素の列イネーブルを制御することができることも理解されよう。
上記の3つの画素ゲーティング方式を参照して、以下では、dTOF検知モジュールに含まれる画素アレイが8行および8列を含む例を使用して、画素アレイ内の画素をどのようにゲーティングするかを説明する。
上記の方式1に基づいて、各画素は、行イネーブルおよび列イネーブルを通じて共同で制御される。
図6aにおけるゲーティング方式を参照して、図8aは、画素アレイの概略図の一例を示す。画素アレイ内のすべての画素がゲーティングされる。ゲーティングされた画素アレイに基づいて、解像度は8＊8（320＊240の解像度を実現するために、水平解像度が40倍増加され、垂直解像度が30倍増加される）であり得る。
画素アレイ内のすべての画素は一度にゲーティングされ、すべての画素は同時に動作することに留意されたい。この方式は、面走査方式とも呼ばれ得る。面走査方式は、物体またはシーンを再構成するために使用されることができ、物体またはシーンの完全性に対する高い要件を有する。
画素アレイ内のすべての画素は一度にゲーティングされ、その結果、フレームレートの損失なしに完全なFOVカバレッジが実現され得る。換言すれば、フルFOVの画像のフレームは、1回の走査によって取得され得る。高解像度を実現するために、画素アレイ内のすべての画素がゲーティングされる。
図6bにおけるゲーティング方式を参照して、図8bは、画素アレイの概略図の一例を示す。画素アレイの列においてK／2個の画素がゲーティングされる。ゲーティングされた画素については、図8bの影部分を参照されたい。ゲーティングされた画素アレイに基づいて、解像度は4＊4（160＊120の解像度を実現するために、水平解像度が40倍増加され、垂直解像度が30倍増加される）であり得る。
図6cにおけるゲーティング方式を参照して、図8cは、画素アレイの概略図の一例を示す。画素アレイの列においてK／4個の画素がゲーティングされる。ゲーティングされた画素については、図8bの影部分を参照されたい。ゲーティングされた画素アレイに基づいて、解像度は2＊2（80＊60の解像度を実現するために、水平解像度が40倍増加され、垂直解像度が30倍増加される）であり得る。
画素アレイ内の各画素は、行イネーブルおよび列イネーブルの同時制御によってゲーティングされ得ることを理解されたい。したがって、列内のK／m個の画素がゲーティングされる。m＝2の場合、列内のK／m個の画素が1列の間隔でゲーティングされる。m＝4の場合、列内のK／m個の画素が3列の間隔でゲーティングされる。
上記の方式2に基づいて、各画素が行イネーブル（X＿Enable）制御を有することは、各画素が行イネーブルによって独立して制御され得ることと理解され得る。
図6bにおけるゲーティング方式を参照して、図8dは、画素アレイの概略図の一例を示す。画素アレイの列においてK／2個の画素がゲーティングされる。ゲーティングされた画素については、図8dの影部分を参照されたい。ゲーティングされた画素アレイに基づいて、解像度は8＊4（320＊120の解像度を実現するために、水平解像度が40倍増加され、垂直解像度が30倍増加される）であり得る。
図6cにおけるゲーティング方式を参照して、図8fは、画素アレイの概略図の一例を示す。画素アレイの列においてK／4個の画素がゲーティングされる。ゲーティングされた画素については、図8fの影部分を参照されたい。ゲーティングされた画素アレイに基づいて、解像度は8＊2（320＊60の解像度を実現するために、水平解像度が40倍増加され、垂直解像度が30倍増加される）であり得る。
上記の方式3に基づいて、各画素が列イネーブル（X＿Enable）制御を有することは、各画素が列イネーブルによって独立して制御され得ることと理解され得る。
図6bにおけるゲーティング方式を参照して、図8eは、画素アレイの概略図の一例を示す。画素アレイの列においてK／2個の画素がゲーティングされる。ゲーティングされた画素については、図8eの影部分を参照されたい。ゲーティングされた画素アレイに基づいて、解像度は4＊8（160＊240の解像度を実現するために、水平解像度が40倍増加され、垂直解像度が30倍増加される）であり得る。
図6cにおけるゲーティング方式を参照して、図8gは、画素アレイの概略図の一例を示す。画素アレイの列においてK／4個の画素がゲーティングされる。ゲーティングされた画素については、図8gの影部分を参照されたい。ゲーティングされた画素アレイに基づいて、解像度は2＊8（80＊240の解像度を実現するために、水平解像度が40倍増加され、垂直解像度が30倍増加される）であり得る。
画素が行イネーブル制御または列イネーブル制御によって切り替えられるとき、ストリップ走査モードが実施され得る。ストリップ走査モードは、目標を検出するために、例えば、目標が領域内に存在するかどうかを検出するために使用されることができ、目標の完全性に対する要件は低い。
本出願では、mが1より大きい（換言すれば、NがK未満である）シナリオでは、dTOF検知モジュールは、長距離検出を実施することができるが、解像度は低い。高解像度の深度を実現するために、すべての画素が時分割方式でゲーティングされてもよい。
可能な実装形態では、すべてのW個の感光ユニットはL回ゲーティングされることができ、LはKおよびNに基づいて決定される（N＝K／m）。さらに任意選択的に、Lは、各画素のゲーティング方式にさらに関連する。
上記の3つの画素ゲーティング方式を参照して、以下の例は、フル解像度カバレッジを実現するために、すべての画素が時分割方式でゲーティングされることを示す。
上記の方式1に基づいて、画素は、行イネーブルおよび列イネーブルの同時制御によってゲーティングされ得る。
図8bに示されるように、m＝2の場合、時分割制御によって毎回1／4の画素がゲーティングされ、1／4の解像度がカバーされることができ、画素アレイ内のすべての画素が4回でゲーティングされ、フル解像度のカバレッジを実現する。図8hに示されるように、同じ塗りつぶしは同じゲーティングを示す。
すべての画素の1回のゲーティングにおけるフレームレートが16xに設定される場合、例1のフレームレートは4xであることを理解されたい。
図8cに示されるように、m＝4の場合、時分割制御によって毎回1／16の画素がゲーティングされ、1／16の解像度がカバーされることができ、画素アレイ内のすべての画素が16回でゲーティングされ、フル解像度のカバレッジを実現する。図8iに示されるように、同じ塗りつぶしは同じゲーティングを示す。
すべての画素の1回のゲーティングにおけるフレームレートが16xに設定される場合、例2のフレームレートはxであることを理解されたい。
上記の方式2または方式3に基づいて、画素は、行イネーブルまたは列イネーブルのいずれかの制御によってゲーティングされ得る。
図8dまたは図8eに示されるように、m＝2の場合、時分割制御によって毎回1／2の画素がゲーティングされ、1／2の解像度が毎回カバーされることができ、画素アレイ内のすべての画素が2回でゲーティングされ、フル解像度のカバレッジを実現する。図8jまたは図8kに示されるように、同じ塗りつぶしは同じゲーティングを示す。
すべての画素の1回のゲーティングにおけるフレームレートが16xに設定される場合、例1のフレームレートは2xであることを理解されたい。
図8fまたは図8gに示されるように、m＝4の場合、時分割制御によって毎回1／4の画素がゲーティングされ、1／4の解像度が毎回カバーされることができ、すべての画素が4回でゲーティングされ、フル解像度のカバレッジを実現する。図8lまたは図8mに示されるように、同じ塗りつぶしは同じゲーティングを示す。
一般に、光源アレイ内の光源は、画素アレイ内の画素に1対1対応することに留意されたい。換言すれば、1つの画素が1つの光源に対応する。1／2の画素が毎回ゲーティングされる場合、対応する1／2の光源がオンに（または点灯、ゲーティング、または電源オンと呼ばれる）されることができる。1／4の画素が毎回ゲーティングされる場合、対応する1／4の光源がオンにされることができる。1／16の画素が毎回ゲーティングされる場合、対応する1／16の光源がオンにされることができる。
可能な実装形態では、光源アレイ内の光源は、垂直キャビティ面発光レーザ（vertical cavity surface emitting laser、VCSEL）または端面発光レーザ（edge emitting laser、EEL）であってもよい。EEL光源は、独立したアドレス指定を実施することができる。独立したアドレス指定は、独立したゲーティングを示す。
上記の内容および同じ概念に基づいて、本出願は測距方法を提供する。図9の説明を参照されたい。測距方法は、図2～図8mの実施形態のいずれか1つに示されるdTOF検出モジュールに適用され得る。dTOF検知モジュールは、W個の感光ユニットと、H個のヒストグラムデータ記憶ユニットと、処理制御ユニットとを含み、W個の感光ユニットのうちのK個の感光ユニットが第1の記憶空間を共有し、第1の記憶空間のサイズは1つのヒストグラムデータ記憶ユニットに対応する記憶空間のサイズであり、KはW以下であり、WおよびHは両方とも2以上の整数である。
図9に示されるように、測距方法は以下のステップを含む。
ステップ901：目標解像度および目標距離に基づいてN個の感光ユニットのゲーティングを制御し、各ゲーティングされた感光ユニットにQ個のタイムスライスビンを割り振る。
ゲーティングされたN個の感光ユニットは、第1の記憶空間を占有する。N個の感光ユニットは、第1の記憶空間を共有するK個の感光ユニットのうちのN個であり、NはK以下の整数であり、Qは正の整数である。
可能な実装形態では、最大K個の感光ユニットが第1の貯蔵空間を占有する。換言すれば、実際の使用では、第1の記憶空間を共有するK個の感光ユニットは、すべてがゲーティングされなくてもよい。実際には、N個のゲーティングされた感光ユニットが第1の記憶空間を占有し、ゲーティングされない感光ユニットは第1の記憶空間を占有しない。毎回ゲーティングされる感光ユニットの数は整数であることを理解されたい。換言すれば、Nは整数である。
さらに任意選択的に、第1の命令が、目標解像度および／または目標距離に基づいて生成されてもよく、第1の命令は、N個の感光ユニットのゲーティングを示す。さらに、第2の命令が、目標解像度および目標距離に基づいて生成されてもよく、第2の命令は、各ゲーティングされた感光ユニットに割り振られたタイムスライスビンの数を示す。目標解像度は要求される解像度であってもよく、目標距離は要求される検出距離であってもよいことを理解されたい。
例えば、要求される解像度（すなわち、目標解像度）が高く、要求される検出距離（すなわち、目標距離）が小さい場合、dTOF検知モジュールは、多数の感光ユニットのゲーティングを制御し、各感光ユニットに少数のタイムスライスビンを割り振ることができ、または、要求される解像度（すなわち、目標解像度）が低く、要求される検出距離（すなわち、目標距離）が大きいとき、dTOF検知モジュールは、少数の感光ユニットのゲーティングを制御し、各感光ユニットに多数のタイムスライスビンを割り振ることができる。
表2に示されるように、要求される解像度が320＊240であり、検出距離が288cmである場合、目標解像度は高く、検出距離は小さく、または、解像度が80＊60であり、検出距離が1152cmである場合、目標解像度は低く、検出距離は大きい。
この場合、第1の記憶空間は、M個の記憶ブロックを含む。本方法は、各ゲーティングされた感光ユニットによって占有される記憶ブロックの第1の数を決定し、記憶ブロックに記憶され得るタイムスライスビンの数および第1の数に基づいて、各ゲーティングされた感光ユニットにQ個のタイムスライスビンを割り振ることができる。
上記のステップ901は、処理制御ユニットによって実行されてもよい。具体的なプロセスについては、上記の関連動作を参照されたい。詳細はここでは再度説明されない。
ステップ902：N個のゲーティングされた感光ユニットおよび各ゲーティングされた感光ユニットに割り振られたQ個のタイムスライスビンに基づいて、第1のモードまたは第2のモードで距離検出を実行する。
この場合、第1のモードに対応するゲーティングされた感光ユニットの数Nは、第2のモードに対応するゲーティングされた感光ユニットの数Nよりも大きく、または、第1のモードに対応する各感光ユニットに割り振られたタイムスライスビンの数Qは、第2のモードに対応する各感光ユニットに割り振られたタイムスライスビンの数Qよりも小さい。代替的に、第1のモードに対応するゲーティングされた感光ユニットの数Nは、第2のモードに対応するゲーティングされた感光ユニットの数Nよりも大きく、第1のモードに対応する各感光ユニットに割り振られたタイムスライスビンの数Qは、第2のモードに対応する各感光ユニットに割り振られたタイムスライスビンの数Qよりも小さい。
上記のステップ901およびステップ902から、N個の感光ユニットのゲーティングは、目標解像度および目標距離に基づいて制御されることができ、Q個のタイムスライスビンは、各ゲーティングされた感光ユニットに割り振られることが分かる。同じサイズのヒストグラムデータ記憶ユニットは、異なる数の感光ユニットに対応するヒストグラムデータを記憶するように構成されてもよく、その結果、dTOF検知モジュールは、異なるシナリオに柔軟に適用可能であるように、第1のモードまたは第2のモードで動作する。例えば、dTOF検知モジュールが高解像度および短い検出距離を有するシナリオで使用される場合、多数の感光ユニットがゲーティングされるように制御されてもよく、少数のタイムスライスビンが各感光ユニットに割り振られる。dTOF検知モジュールが低解像度および大きい検出距離を有するシナリオで使用される場合、少数の感光ユニットがゲーティングされるように制御されてもよく、多数のタイムスライスビンが各感光ユニットに割り振られる。
dTOF検知モジュールの上記の構造および機能原理に基づいて、本出願は端末デバイスをさらに提供する。端末デバイスは、上記のdTOF検知モジュールとプロセッサとを含むことができる。プロセッサは、dTOF検知モジュールによって得られた撮像情報を処理するように構成される。当然ながら、端末デバイスは、他の構成要素、例えば、メモリ、無線通信装置、センサ、タッチスクリーン、およびディスプレイをさらに含んでもよい。
本出願では、端末デバイスは、携帯電話、タブレットコンピュータ、ウェアラブルデバイス（例えば、スマートウォッチ）などであってもよい。モバイルデバイスの例示的実施形態は、IOS（登録商標）、Android（登録商標）、Microsoft（登録商標）、または他のオペレーティングシステムがインストールされている端末デバイスを含むが、これらに限定されない。
図10は、本出願の一実施形態による端末デバイスの構造の概略図である。端末デバイス100は、プロセッサ1001、dTOF検知モジュール1002、ディスプレイ1003などを含むことができる。図10に示されるハードウェア構造は一例にすぎないことを理解されたい。本出願が適用可能な端末デバイスは、図10に示される端末デバイス100よりも多いまたは少ない構成要素を有してもよく、2つ以上の構成要素を組み合わせてもよく、または異なる構成要素構成を有してもよい。図に示される構成要素は、1つまたは複数の信号処理および／または特定用途向け集積回路を含むハードウェア、ソフトウェア、またはハードウェアとソフトウェアとの組合せで実装されてもよい。
プロセッサ1001は、1つまたは複数の処理ユニットを含み得る。例えば、プロセッサ1001は、アプリケーションプロセッサ（application processor、AP）、グラフィックス処理ユニット（graphics processing unit、GPU）、画像信号プロセッサ（image signal processor、ISP）、コントローラ、およびデジタル信号プロセッサ（digital signal processor、DSP）を含み得る。異なる処理ユニットは、独立した構成要素であってもよいし、1つまたは複数のプロセッサに統合されてもよい。
dTOF検知モジュール1002については、上記の説明を参照されたい。詳細はここでは再度説明されない。
ディスプレイ1003は、画像などを表示するように構成され得る。ディスプレイ1003は、ディスプレイパネルを含み得る。表示パネルは、液晶ディスプレイ（liquid crystal display、LCD）、有機発光ダイオード（organic light－emitting diode、OLED）、アクティブマトリックス式有機発光ダイオード（active－matrix organic light emitting diode、AMOLED）、フレキシブル発光ダイオード（flex light－emitting diode、FLED）、Miniled、MicroLed、Micro－oLed、量子ドット発光ダイオード（quantum dot light emitting diodes、QLED）などであってもよい。いくつかの実施形態では、端末デバイス100は1つまたはP個のディスプレイ1003を含んでもよく、Pは1より大きい正の整数である。
さらに任意選択的に、複数のアプリケーションが端末デバイスにインストールされてもよく、アプリケーションは異なるシナリオで使用されてもよい。適用可能なシナリオについては、上記の7つの可能なシナリオの説明を参照されたい。詳細はここでは再度説明されない。
以下では、第1のアプリケーションを例として使用する。ユーザ操作に応答して第1のアプリケーションが開始された後、第1のアプリケーションは、検出シナリオ関連パラメータ（例えば、目標解像度および目標距離）を中間層または制御層に送信することができる。中間層または制御層は、検出シナリオ関連パラメータに基づいて第1の命令および第2の命令を生成し、第1の命令および第2の命令をdTOF検知モジュール1002に別々に送信することができる。dTOF検知モジュール1002は、受信された第1の命令に従ってN個の画素をゲーティングし、第2の命令に従ってN個のゲーティングされた画素の各々にQ個のタイムスライスビンを割り当てる。
本出願の実施形態では、特に明記しない限り、または論理的な矛盾がない限り、異なる実施形態間の用語および／または説明は一貫しており、相互に参照されてもよく、異なる実施形態の技術的特徴は、その内部論理的関係に基づいて組み合わされ、新しい実施形態を形成してもよい。
本出願では、本出願における「および／または」という用語は、関連付けられる対象間の関連関係を記述し、3つの関係が存在し得ることを示す。例えば、Aおよび／またはBは、以下の3つのケース、すなわち、Aのみが存在するケース、AとBとの両方が存在するケース、およびBのみが存在するケースを示し得、その場合、AおよびBは単数であっても複数であってもよい。本出願のテキスト記述では、文字「／」は、通常、関連するオブジェクト間の「または」関係を示す。本出願では、「均一性」は絶対的な均一性を意味するのではなく、エンジニアリング誤差が許容され得ることが理解されよう。
本出願の実施形態における様々な番号は、説明を容易にするための区別のために単に使用されているにすぎず、本出願の実施形態の範囲を限定するために使用されているものではない、ということが理解され得る。上記のプロセスの順序番号は実行順序を意味するものではなく、プロセスの実行順序は、プロセスの関数および内部ロジックに基づいて決定されるべきである。「第1の」、「第2の」などの用語は、同様の対象間を区別するために使用され、特定の順序または順番を記述するために使用される必要はない。加えて、「含む」、「有する」、およびそれらの変形形態の用語は、例えば、一連のステップまたはユニットを含む、非排他的な包含をカバーすることが意図されている。方法、システム、製品、またはデバイスは、必ずしも文字通りに列挙されるそのようなステップまたはユニットに限定されず、文字通りに列挙されていない、またはそのようなプロセス、方法、製品、もしくはデバイスに固有の他のステップまたはユニットを含む場合がある。
本出願は、特定の特徴およびその実施形態を参照して説明されているが、本出願の精神および範囲から逸脱することなく、それらに対して様々な修正および組合せが行われ得ることは明らかである。これに対応して、本明細書および添付の図面は、添付された特許請求の範囲によって規定される解決策の説明のための例にすぎず、本出願の範囲を包含する任意のまたはすべての修正例、変形例、組合せ例、または均等例と考えられる。
当業者が、本発明の精神および範囲から逸脱することなく、本出願に対して様々な修正および変形を行うことができることは明らかである。本出願は、これらの修正および変形が以下の特許請求の範囲およびそれらの均等な技術によって規定される保護範囲内に入るならば、それらを包含することを意図している。
100 端末デバイス
400 検知モジュール
401 感光ユニット
402 ヒストグラムデータ記憶ユニット
403 処理制御ユニット
1001 プロセッサ
1002 直接飛行時間（dTOF）検知モジュール
1003 ディスプレイ

Claims (23)

  1. W個の感光ユニットと、H個のヒストグラムデータ記憶ユニットと、処理制御ユニットとを備える直接飛行時間、dTOF、検知モジュールであって、前記W個の感光ユニットのK個ごとの感光ユニットが、第1の記憶空間を共有し、前記第1の記憶空間のサイズは、1つのヒストグラムデータ記憶ユニットに対応する記憶空間のサイズであり、KはW以下であり、WおよびHは両方とも2以上の整数であり、
    前記処理制御ユニットは、N個の感光ユニットのゲーティングを制御するように構成され、前記N個の感光ユニットは、前記第1の記憶空間を占有し、前記N個の感光ユニットは、前記第1の記憶空間を共有する前記K個の感光ユニットのうちのN個であり、NはK以下の整数であり、
    前記処理制御ユニットは、各ゲーティングされた感光ユニットにQ個のタイムスライスビンを割り当てるようにさらに構成され、Qは正の整数であり、
    前記N個のゲーティングされた感光ユニットおよび各ゲーティングされた感光ユニットに割り当てられた前記Q個のタイムスライスビンは、前記dTOF検知モジュールが第1のモードまたは第2のモードで動作するために使用され、前記第1のモードに対応するゲーティングされた感光ユニットの数Nは、前記第2のモードに対応するゲーティングされた感光ユニットの数Nよりも大きく、かつ／または、前記第1のモードに対応する各感光ユニットに割り当てられたタイムスライスビンの数Qは、前記第2のモードに対応する各感光ユニットに割り当てられたタイムスライスビンの数Qよりも小さい、検知モジュール。
  2. 前記第1の記憶空間はM個の記憶ブロックを備え、Mは正の整数であり、
    前記処理制御ユニットは、
    各ゲーティングされた感光ユニットによって占有される記憶ブロックの第1の数を決定し、
    前記記憶ブロックに記憶され得るタイムスライスビンの数および前記第1の数に基づいて、各ゲーティングされた感光ユニットに前記Q個のタイムスライスビンを割り当てる、ように特に構成される、請求項1に記載の検知モジュール。
  3. 前記第1の数は、
    であり、
    であり、
    Fは、前記記憶ブロックに記憶され得る前記タイムスライスビンの前記数を表す、請求項2に記載の検知モジュール。
  4. 前記記憶ブロックは、少なくとも1つの感光ユニットが第1の距離を検出したときに生成されるデータを記憶するように構成され、前記第1の距離は、前記感光ユニットによって検出され得る距離である、請求項2または3に記載の検知モジュール。
  5. 前記第1の距離はC／2×T×Qであり、Cは光速であり、Tは前記タイムスライスビンの周期である、請求項4に記載の検知モジュール。
  6. 前記第1の記憶空間は、前記H個のヒストグラムデータ記憶ユニットのうちの1つによって提供され、または、
    前記第1の記憶空間は、前記H個のヒストグラムデータ記憶ユニットのうちの少なくとも2つによって提供される、請求項1から5のいずれか一項に記載の検知モジュール。
  7. 前記W個の感光ユニットは感光ユニットアレイであり、
    前記K個の感光ユニットは、前記感光ユニットアレイの列内のK個の隣接する感光ユニット、または前記感光ユニットアレイの行内のK個の隣接する感光ユニットである、請求項1から6のいずれか一項に記載の検知モジュール。
  8. NがK未満である場合、前記W個の感光ユニットはL回ゲーティングされ、LはKおよびNに基づいて決定される、請求項1から7のいずれか一項に記載の検知モジュール。
  9. 前記N個の感光ユニットの各々のゲーティングを制御する方式は、以下のもの、すなわち、
    行イネーブル制御および列イネーブル制御、
    行イネーブル制御、または
    列イネーブル制御、のうちのいずれか1つを含む、請求項1から8のいずれか一項に記載の検知モジュール。
  10. 前記処理制御ユニットは、
    第1の命令を受信し、前記第1の命令に従って前記N個の感光ユニットのゲーティングを制御し、前記第1の命令は、目標解像度に基づいて決定され、
    第2の命令を受信し、前記第2の命令に従って各ゲーティングされた感光ユニットに前記Q個のタイムスライスビンを割り当て、前記第2の命令は、前記目標解像度および目標距離に基づいて決定される、ように特に構成される、請求項1から9のいずれか一項に記載の検知モジュール。
  11. プロセッサと、請求項1から10のいずれか一項に記載の直接飛行時間、dTOF、検知モジュールとを備える端末デバイスであって、前記プロセッサは、前記dTOF検知モジュールが第1のモードまたは第2のモードで動作するときに得られる情報を処理するように構成される、端末デバイス。
  12. 直接飛行時間、dTOF、検知モジュールに適用される測距方法であって、前記dTOF検知モジュールは、W個の感光ユニットと、H個のヒストグラムデータ記憶ユニットと、処理制御ユニットとを備え、前記W個の感光ユニットのうちのK個の感光ユニットが、第1の記憶空間を共有し、前記第1の記憶空間のサイズは、1つのヒストグラムデータ記憶ユニットに対応する記憶空間のサイズであり、KはW以下であり、WおよびHは両方とも2以上の整数であり、
    前記方法は、
    目標解像度および目標距離に基づいてN個の感光ユニットのゲーティングを制御し、各ゲーティングされた感光ユニットにQ個のタイムスライスビンを割り当てるステップであって、前記N個の感光ユニットは前記第1の記憶空間を占有し、前記N個の感光ユニットは、前記第1の記憶空間を共有する前記K個の感光ユニットのうちのN個であり、NはK以下の整数であり、Qは正の整数である、ステップと、
    前記N個のゲーティングされた感光ユニットおよび各ゲーティングされた感光ユニットに割り当てられた前記Q個のタイムスライスビンに基づいて第1のモードまたは第2のモードで距離検出を実行するステップであって、前記第1のモードに対応するゲーティングされた感光ユニットの数Nは、前記第2のモードに対応するゲーティングされた感光ユニットの数Nよりも大きく、前記第1のモードに対応する各感光ユニットに割り当てられたタイムスライスビンの数Qは、前記第2のモードに対応する各感光ユニットに割り当てられたタイムスライスビンの数Qよりも小さい、ステップとを含む、方法。
  13. 前記第1の記憶空間はM個の記憶ブロックを含み、Mは正の整数であり、
    各ゲーティングされた感光ユニットにQ個のタイムスライスビンを割り当てる前記ステップは、
    各ゲーティングされた感光ユニットによって占有される記憶ブロックの第1の数を決定するステップと、
    前記記憶ブロックに記憶され得るタイムスライスビンの数および前記第1の数に基づいて、各ゲーティングされた感光ユニットに前記Q個のタイムスライスビンを割り当てるステップとを含む、請求項12に記載の方法。
  14. 前記第1の数は、
    であり、
    であり、
    Fは、前記記憶ブロックに記憶され得る前記タイムスライスビンの前記数を表す、請求項13に記載の方法。
  15. 前記記憶ブロックは、少なくとも1つの感光ユニットが第1の距離を検出したときに生成されるデータを記憶するように構成され、前記第1の距離は、前記感光ユニットによって検出され得る距離である、請求項13または14に記載の方法。
  16. 前記第1の距離はC／2×T×Qであり、Cは光速であり、Tは前記タイムスライスビンの周期である、請求項15に記載の方法。
  17. 前記第1の記憶空間は、前記H個のヒストグラムデータ記憶ユニットのうちの1つによって提供され、または、
    前記第1の記憶空間は、前記H個のヒストグラムデータ記憶ユニットのうちの少なくとも2つによって提供される、請求項12から16のいずれか一項に記載の方法。
  18. 前記W個の感光ユニットは感光ユニットアレイであり、
    前記K個の感光ユニットは、前記感光ユニットアレイの列内のK個の隣接する感光ユニット、または前記感光ユニットアレイの行内のK個の隣接する感光ユニットである、請求項12から17のいずれか一項に記載の方法。
  19. NがK未満である場合、前記W個の感光ユニットはL回ゲーティングされ、LはKおよびNに基づいて決定される、請求項12から18のいずれか一項に記載の方法。
  20. 前記N個の感光ユニットの各々のゲーティングを制御する方式は、以下のもの、すなわち、
    行イネーブル制御および列イネーブル制御、
    行イネーブル制御、または
    列イネーブル制御、のうちのいずれか1つを含む、請求項12から19のいずれか一項に記載の方法。
  21. 目標解像度および目標距離に基づいてN個の感光ユニットのゲーティングを制御する前記ステップは、
    第1の命令を受信し、前記第1の命令に従って前記N個の感光ユニットのゲーティングを制御するステップであって、前記第1の命令は、前記目標解像度に基づいて決定される、ステップと、
    第2の命令を受信し、前記第2の命令に従って各ゲーティングされた感光ユニットに前記Q個のタイムスライスビンを割り当てるステップであって、前記第2の命令は、前記目標解像度および前記目標距離に基づいて決定される、ステップとを含む、請求項12から20のいずれか一項に記載の方法。
  22. 請求項1から10のいずれか一項に記載の直接飛行時間、dTOF、検知モジュールと、メモリと、プロセッサとを備える端末デバイスであって、
    前記メモリは、プログラムまたは命令を記憶するように構成され、
    前記プロセッサは、請求項12から21のいずれか一項に記載の方法を実行するように前記dTOF検知モジュールを制御するために前記プログラムまたは前記命令を呼び出すように構成される、端末デバイス。
  23. コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体は、コンピュータプログラムまたは命令を記憶し、前記コンピュータプログラムまたは前記命令が端末デバイスによって実行されると、前記端末デバイスは、請求項12から21のいずれか一項に記載の方法を実行することが可能とされる、コンピュータ可読記憶媒体。
JP2023513834A 2020-08-31 2021-06-30 Ｄｔｏｆ検知モジュール、端末デバイス、および測距方法 Active JP7450809B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010899620.9 2020-08-31
CN202010899620.9A CN114200479A (zh) 2020-08-31 2020-08-31 一种dTOF传感模组、终端设备及测距方法
PCT/CN2021/103517 WO2022042013A1 (zh) 2020-08-31 2021-06-30 一种dTOF传感模组、终端设备及测距方法

Publications (2)

Publication Number Publication Date
JP2023539316A JP2023539316A (ja) 2023-09-13
JP7450809B2 true JP7450809B2 (ja) 2024-03-15

Family

ID=80352557

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023513834A Active JP7450809B2 (ja) 2020-08-31 2021-06-30 Ｄｔｏｆ検知モジュール、端末デバイス、および測距方法

Country Status (6)

Country Link
US (1) US20230280464A1 (ja)
EP (1) EP4194892A4 (ja)
JP (1) JP7450809B2 (ja)
KR (1) KR20230053685A (ja)
CN (1) CN114200479A (ja)
WO (1) WO2022042013A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115865377B (zh) * 2023-02-16 2023-05-02 长沙驰芯半导体科技有限公司 一种基于时间片的用于超宽带的测距调度方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017520134A (ja) 2014-04-07 2017-07-20 サムスン エレクトロニクス カンパニー リミテッド 光学的イベントを感知する方法とそのための光学的イベントセンサ、及び距離測定モバイル装置
JP2019096642A (ja) 2017-11-17 2019-06-20 シャープ株式会社 発光素子駆動回路、および携帯型電子機器
CN110596722A (zh) 2019-09-19 2019-12-20 深圳奥锐达科技有限公司 直方图可调的飞行时间距离测量系统及测量方法
JP2020091117A (ja) 2018-12-03 2020-06-11 ソニーセミコンダクタソリューションズ株式会社 測距装置及び測距方法
JP2020112443A (ja) 2019-01-11 2020-07-27 ソニーセミコンダクタソリューションズ株式会社 距離測定装置及び距離測定方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6975355B1 (en) * 2000-02-22 2005-12-13 Pixim, Inc. Multiple sampling via a time-indexed method to achieve wide dynamic ranges
US8654195B2 (en) * 2009-11-13 2014-02-18 Fujifilm Corporation Distance measuring apparatus, distance measuring method, distance measuring program, distance measuring system, and image pickup apparatus
US10416293B2 (en) * 2016-12-12 2019-09-17 Sensl Technologies Ltd. Histogram readout method and circuit for determining the time of flight of a photon
GB201622429D0 (en) * 2016-12-30 2017-02-15 Univ Court Of The Univ Of Edinburgh The Photon sensor apparatus
WO2018198729A1 (ja) * 2017-04-28 2018-11-01 シャープ株式会社 ３次元画像素子および光レーダー装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017520134A (ja) 2014-04-07 2017-07-20 サムスン エレクトロニクス カンパニー リミテッド 光学的イベントを感知する方法とそのための光学的イベントセンサ、及び距離測定モバイル装置
JP2019096642A (ja) 2017-11-17 2019-06-20 シャープ株式会社 発光素子駆動回路、および携帯型電子機器
JP2020091117A (ja) 2018-12-03 2020-06-11 ソニーセミコンダクタソリューションズ株式会社 測距装置及び測距方法
JP2020112443A (ja) 2019-01-11 2020-07-27 ソニーセミコンダクタソリューションズ株式会社 距離測定装置及び距離測定方法
CN110596722A (zh) 2019-09-19 2019-12-20 深圳奥锐达科技有限公司 直方图可调的飞行时间距离测量系统及测量方法

Also Published As

Publication number Publication date
EP4194892A1 (en) 2023-06-14
JP2023539316A (ja) 2023-09-13
KR20230053685A (ko) 2023-04-21
CN114200479A (zh) 2022-03-18
US20230280464A1 (en) 2023-09-07
EP4194892A4 (en) 2024-01-24
WO2022042013A1 (zh) 2022-03-03

Similar Documents

Publication Publication Date Title
KR102409952B1 (ko) 고해상도, 고프레임률, 저전력 이미지 센서
KR20200085297A (ko) 방출기들의 어드레스가능 어레이를 사용하는 비행 시간 감지
US20210109224A1 (en) Strobing flash lidar with full frame utilization
CN111971577B (zh) 用于控制激光雷达测量系统的传感器元件的方法
US20210231782A1 (en) Dram-based lidar pixel
CN111819469B (zh) 用于lidar接收单元的改进的近程和远程检测的方法
US20210215807A1 (en) Pipelined histogram pixel
CN112292610A (zh) 执行测量过程的方法
JP7450809B2 (ja) Ｄｔｏｆ検知モジュール、端末デバイス、および測距方法
CN112105944A (zh) 具有使用短脉冲和长脉冲的多模式操作的光学测距系统
US20230132616A1 (en) Laser radar system and detection method
CN112346076A (zh) 电子装置的控制方法、电子装置及计算机可读存储介质
CN211979200U (zh) 传感器
US20230358863A1 (en) Range imaging device and range imaging method
US11849229B2 (en) Image capturing apparatus having photon detection and control method therefor
CN116593997B (zh) 针对激光雷达的抗串扰及抗干扰方法及装置
US20220236387A1 (en) Time of flight sensing
CN113296103A (zh) 一种飞行时间测量方法和飞行时间传感器
JP2023172507A (ja) 測距装置
JP2023174180A (ja) 距離画像生成装置及び距離画像生成方法
JP2024038655A (ja) 光電変換装置
CN117043639A (zh) 一种控制方法、激光雷达及终端设备
CN117939320A (zh) 像素单元、光电传感器、接收模组及光电检测装置
CN117528269A (zh) Dtof芯片、spad像素的输出控制方法及摄像设备
CN115308757A (zh) 一种图像传感器及其驱动方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230407

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230407

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240305

R150 Certificate of patent or registration of utility model

Ref document number: 7450809

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150