JP6847922B2 - 構造化照明のためのコード領域パワー制御 - Google Patents

構造化照明のためのコード領域パワー制御 Download PDF

Info

Publication number
JP6847922B2
JP6847922B2 JP2018509515A JP2018509515A JP6847922B2 JP 6847922 B2 JP6847922 B2 JP 6847922B2 JP 2018509515 A JP2018509515 A JP 2018509515A JP 2018509515 A JP2018509515 A JP 2018509515A JP 6847922 B2 JP6847922 B2 JP 6847922B2
Authority
JP
Japan
Prior art keywords
codeword
code
expected
depth map
processing circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018509515A
Other languages
English (en)
Other versions
JP2018525636A (ja
JP2018525636A5 (ja
Inventor
ジェームズ・ウィルソン・ナッシュ
カリン・ミトコフ・アタナッソフ
アルブレヒト・ヨハネス・リンドナー
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2018525636A publication Critical patent/JP2018525636A/ja
Publication of JP2018525636A5 publication Critical patent/JP2018525636A5/ja
Application granted granted Critical
Publication of JP6847922B2 publication Critical patent/JP6847922B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

様々な特徴は、アクティブ深度感知に関し、より詳細には、コード領域統計値を使用して構造化照明コードワードトランスミッタの出力パワーを制御することに関する。
構造化照明アクティブ感知システムであるイメージングデバイスは、シーンの中の1つまたは複数の物体のイメージングデバイスからの距離を示す深度マップを生成するために、空間コード(または、「コードワード」)に対応するパターンを送信および受信するように構成されるトランスミッタおよびレシーバを含む。シーンの中の物体がトランスミッタおよびレシーバから遠ければ遠いほど、出射コードワードおよび反射された入射コードワードの伝搬経路がより平行になるので、物体から反射される受信コードワードは(送信コードワードと比較して)その元の位置から近くなる。反対に、物体がトランスミッタおよびレシーバに近ければ近いほど、受信コードワードは送信コードワードにおけるその元の位置から遠くなる。したがって、シーンの中の物体の深度を決定するために、受信コードワードの位置と対応する送信コードワードの位置との間の差分が使用されてよい。構造化照明アクティブ感知システムは、決定されたこれらの深度を使用してシーンの深度マップを生成してよく、シーンの深度マップは、シーンの3次元表現であってよい。画像品質向上およびコンピュータビジョン技法を含む多くの適用例が、シーンの深度マップを決定することから恩恵を受けることがある。
各コードワードは、シンボルに対応する強度値の行および列によって表されてよい。たとえば、バイナリ空間コードは、バイナリパターンを表すために、暗い強度値および明るい強度値に対応する0および1を使用してよい。他の空間コードは、3つ以上のシンボルに対応する3つ以上の異なる強度値を使用してよい。他の空間表現も使用されてよい。
深度マップを生成することは、コードワードを検出することに依存する。シンボルのアレイから構成されるコードワードを検出するために、復号フィルタは、コードワードおよびシンボルにとっての空間境界を識別してよく、シンボルをそれらの強度値に基づいて、たとえば、"0"または"1"として分類してよい。復号フィルタは、可能なコードワードのセットを定義するために使用される調和基底関数のセットに対応するマッチドフィルタを使用して入射基底関数を分類してよい。したがって、深度マップ確度は、シンボル、コードワード、および/または基底関数を正確に受信することに依存する。
パターンを投影するために使用される光源(たとえば、レーザー)のパワーレベルが低すぎる場合、明るい方のシンボルに対応するスポットが、暗い方のシンボルと区別されるには暗すぎることがある。光源のパワーレベルが高すぎる場合、明るい方のシンボルに対応するスポットは、飽和することがあり、隣接するスポットの中ににじむ(隣接するスポットと混ざる)ことがある。これが起こると、シンボル、コードワード、および基底関数を正確に分類するのが困難なことがある。最適パワーレベル範囲は、物体深度および表面反射率に少なくとも部分的に依存してよい。最適パワーレベルは、シーン内およびシーン間の両方で変わることがある。
光源パワーを制御するための既存の方法およびシステムは、局所的な変動を考慮しないことがあり、シンボル、コードワード、または基底関数の確度を最大化するのに最適化されていないことがある。したがって、より正確な深度マップ生成のために、構造化照明システム用の光源パワーを制御するための方法およびシステムが必要である。
本開示のサンプルとしての態様の概要は以下のとおりである。便宜上、本開示の1つまたは複数の態様は、単に「いくつかの態様」と本明細書で呼ばれることがある。
本明細書で開示されている方法および装置またはデバイスは各々、いくつかの態様を有し、それらのうちの単一のものがその望ましい属性を単独で担うわけではない。たとえば、以下の特許請求の範囲によって表現されるような本開示の範囲を限定することなく、そのより顕著な特徴がここで簡単に説明される。この説明を考察した後、また特に「発明を実施するための形態」と題するセクションを読んだ後、説明されている特徴が、コード領域統計値を使用して構造化照明コードワードトランスミッタの出力パワーを制御するための効率的な方法を含む利点をどのように提供し、結果として復号エラーがより少なくなることが理解される。
1つの発明は、構造化照明システムである。構造化照明システムは、深度マップを記憶するように構成されるメモリデバイスを含んでよい。構造化照明システムは、コードワードを投影するように構成されるレーザーシステムを含む画像投影デバイスをさらに含んでよい。構造化照明システムは、センサを含むレシーバデバイスをさらに含んでよく、レシーバデバイスは、物体から反射された投影コードワードを感知するように構成される。構造化照明システムは、メモリデバイスに記憶された深度マップの少なくとも一部分を取り出し、深度マップから予想コードワードを計算するように構成される処理回路をさらに含んでよい。構造化照明システムは、感知コードワードおよび予想コードワードに基づいてレーザーシステムの出力パワーを制御するように構成されるフィードバックシステムをさらに含んでよい。
いくつかの実装形態の場合、処理回路は、感知コードワードに基づいて深度マップを更新するようにさらに構成される。いくつかの実装形態の場合、メモリデバイスは、更新された深度マップを記憶するようにさらに構成される。
いくつかの実装形態の場合、フィードバックシステムは、感知コードワードを予想コードワードと比較して、コード領域統計値を決定するように構成される。いくつかの実装形態の場合、フィードバックシステムは、決定されたコード領域統計値に少なくとも部分的に基づいてレーザーシステムの出力を制御する。いくつかの実装形態の場合、コード領域統計値はシンボル分類確度を数量化する。いくつかの実装形態の場合、コード領域統計値は、強度平均値の差の2乗を強度分散の和で除算したものである。
いくつかの実装形態の場合、処理回路は、深度マップおよび/または前に受信されたコードワードから予想受信シンボルを計算するようにさらに構成される。いくつかの実装形態の場合、処理回路は、各受信強度値を対応する予想受信シンボルに割り当てるようにさらに構成される。いくつかの実装形態の場合、処理回路は、シンボルごとに平均強度値を計算するようにさらに構成される。いくつかの実装形態の場合、処理回路は、シンボルごとに分散強度値を計算するようにさらに構成される。いくつかの実装形態の場合、処理回路は、強度平均値の差の2乗を強度分散の和で除算したものとしてコード領域統計値を計算するようにさらに構成される。
いくつかの実装形態の場合、コード領域統計値はコードワード検出確度を数量化する。いくつかの実装形態の場合、コード領域統計値は、予想コードワードに整合する受信コードワードのパーセンテージである。
いくつかの実装形態の場合、処理回路は、受信コードワードを予想コードワードと比較するようにさらに構成される。いくつかの実装形態の場合、処理回路は、正しく受信されたコードワードのパーセンテージを計算するようにさらに構成される。いくつかの実装形態の場合、正しく受信されたコードワードは予想コードワードに対応する。
いくつかの実装形態の場合、コード領域統計値は基底関数確度を数量化する。いくつかの実装形態の場合、コード領域統計値は、予想基底関数に整合する受信基底関数のパーセンテージである。
いくつかの実装形態の場合、処理回路は、深度マップおよび/または前に受信されたコードワードから予想基底関数を計算するように構成される。いくつかの実装形態の場合、処理回路は、受信基底関数を予想基底関数と比較するように構成される。いくつかの実装形態の場合、処理回路は、正しく受信された基底関数のパーセンテージを計算するようにさらに構成される。いくつかの実装形態の場合、正しく受信された基底関数は予想基底関数に対応する。
いくつかの実装形態の場合、フィードバックシステムは、コード領域統計値に対する最大値に収束するようにレーザーシステムの出力パワーを反復的に制御する。
別の発明は、構造化照明システムにおいてレーザーパワーを制御する方法である。本方法は、メモリデバイスを用いて深度マップを記憶するステップを含んでよい。本方法は、レーザーシステムを用いてコードワードを投影するステップを含んでよい。本方法は、物体から反射された投影コードワードをレシーバセンサを用いて感知するステップを含んでよい。本方法は、メモリデバイスから深度マップの一部分を取り出すステップを含んでよい。本方法は、深度マップから予想コードワードを計算するステップを含んでよい。本方法は、感知コードワードおよび予想コードワードに基づいてレーザーシステムの出力パワーを制御するステップを含んでよい。
様々な実施形態では、本方法は、感知コードワードに基づいて深度マップを更新するステップをさらに含んでよい。様々な実施形態では、本方法は、メモリデバイスを用いて更新された深度マップを記憶するステップをさらに含んでよい。
様々な実施形態では、本方法は、感知コードワードを予想コードワードと比較して、コード領域統計値を決定するステップをさらに含んでよい。様々な実施形態では、本方法は、決定されたコード領域統計値に少なくとも部分的に基づいてレーザーシステムの出力パワーを制御するステップをさらに含んでよい。
様々な実施形態では、本方法は、深度マップおよび/または前に受信されたコードワードから予想受信シンボルを計算するステップをさらに含んでよい。様々な実施形態では、本方法は、各受信強度値を対応する予想受信シンボルに割り当てるステップをさらに含んでよい。様々な実施形態では、本方法は、シンボルごとに平均強度値を計算するステップをさらに含んでよい。様々な実施形態では、本方法は、シンボルごとに分散強度値を計算するステップをさらに含んでよい。様々な実施形態では、本方法は、強度平均値の差の2乗を強度分散の和で除算したものとしてコード領域統計値を計算するステップをさらに含んでよい。
様々な実施形態では、本方法は、受信コードワードを予想コードワードと比較するステップをさらに含んでよい。様々な実施形態では、本方法は、正しく受信されたコードワードのパーセンテージを計算するステップをさらに含んでよく、正しく受信されたコードワードは予想コードワードに対応する。
様々な実施形態では、本方法は、深度マップおよび/または前に受信されたコードワードから予想基底関数を計算するステップをさらに含んでよい。様々な実施形態では、本方法は、受信基底関数を予想基底関数と比較するステップをさらに含んでよい。様々な実施形態では、本方法は、正しく受信された基底関数のパーセンテージを計算するステップをさらに含んでよく、正しく受信された基底関数は予想基底関数に対応する。
様々な実施形態では、本方法は、コード領域統計値に対する最大値に収束するようにレーザーシステムの出力パワーを反復的に制御するステップをさらに含んでよい。
別の発明は、構造化照明システムである。構造化照明システムは、深度マップを記憶するための手段を含んでよい。構造化照明システムは、コードワードを投影するための手段を含んでよい。構造化照明システムは、物体から反射された投影コードワードを感知するための手段を含んでよい。構造化照明システムは、深度マップを記憶するための手段から深度マップの一部分を取り出すための手段を含んでよい。構造化照明システムは、深度マップから予想コードワードを計算するための手段を含んでよい。構造化照明システムは、感知コードワードと予想コードワードとの間の比較に基づいて、投影手段の出力パワーを制御するための手段を含んでよい。
様々な実施形態では、記憶手段はメモリデバイスを含んでよい。様々な実施形態では、投影手段はレーザーシステムを含んでよい。様々な実施形態では、感知手段はレシーバセンサを含む。様々な実施形態では、取出し手段は処理回路を含む。様々な実施形態では、計算手段は処理回路を含む。様々な実施形態では、制御手段はフィードバックシステムを含む。
様々な実施形態では、構造化照明システムは、感知コードワードを予想コードワードと比較して、コード領域統計値を決定するための手段をさらに含む。様々な実施形態では、構造化照明システムは、決定されたコード領域統計値に少なくとも部分的に基づいてレーザーシステムの出力パワーを制御するための手段をさらに含む。
別の発明は、実行されたとき、方法をプロセッサに実行させる命令を記憶する非一時的コンピュータ可読媒体である。本方法は、メモリデバイスを用いて深度マップを記憶するステップを含んでよい。本方法は、レーザーシステムを用いてコードワードを投影するステップを含んでよい。本方法は、物体から反射された投影コードワードをレシーバセンサを用いて感知するステップを含んでよい。本方法は、メモリデバイスから深度マップの一部分を取り出すステップを含んでよい。本方法は、深度マップから予想コードワードを計算するステップを含んでよい。本方法は、感知コードワードおよび予想コードワードに基づいてレーザーシステムの出力パワーを制御するステップを含んでよい。
様々な特徴、態様、および利点は、本明細書での説明および本明細書に添付の図面から明らかになり、同様の参照符号は、概して、図面に示された対応する態様または構成要素を識別する。当業者が理解するように、別段に明記されていない限り、一実施形態に対して説明または図示される態様は、そのような実施形態の実装または機能にとって非実用的でない場合、説明または図示される1つまたは複数の他の実施形態の中に含まれてよい。
シーンを照明するとともに2次元(2D)画像および/または情報からそれを用いて3次元(3D)情報を生成する深度情報を取得するために既知のパターンが使用される、アクティブ感知システムの一例を示す概略図である。 2D画像または情報から3Dシーンが構築される、アクティブ感知用システムの別の例を示す図である。 物体またはシーンに対してどのように深度が感知されてよいのかを示す概略図である。 複合コードマスクを生成しかつ/またはそのような複合コードマスクを投影するように構成されてよいトランスミッタデバイスの一例を示すブロック図である。 複合コードマスクから深度情報を取得するように構成されてよいレシーバデバイスの一例を示すブロック図である。 本明細書で開示する誤り訂正方法のうちの1つまたは複数を実行するように構成される装置の一実施形態のブロック図である。 明るいスポットおよび暗いスポットに対応するシンボルのアレイを有するコードマスクの一例を示す写真である。 図7のコードマスクなどのコードマスクを通してレーザーによって投影されるコードワードが重畳された深度マップを生成するために使用されるシーンの画像を示す写真である。 図8のシーンに対する深度マップの一例を示す図である。 最適パワーレベルで照明されるコードワードの一例を示す図である。コードワードは、図7のコードマスクにおいて符号化されたシンボルに対応する"0"シンボルまたは"1"シンボルの4×4アレイを含み、シンボルは、十分に画定された境界、および"0"シンボルと"1"シンボルとの間の強度値の明瞭な分離を有する。 図10において説明するような最適レーザーパワーで図7のコードマスクにおいて符号化された"0"シンボルおよび"1"シンボルに対する強度値の十分に分離された確率分布関数の一例を示す図である。 図10の、ただし明るいスポットが図10ほど明るくないような、図10よりも低いパワーレベルで照明されるコードワードの一例を示す図である。 図12を参照しながら説明するような最適を下回るパワーレベルで図7のコードマスクにおいて符号化された"0"シンボルおよび"1"シンボルに対するシンボルによる強度値の重複する確率分布関数の一例を示す図である。 図10の、ただし明るいスポットが飽和しており、互いの中ににじみ、いくつかの暗いスポットを明るく見えさせるような、図10よりも高いパワーレベルで照明されるコードワードの一例を示す図である。 図14において説明するような最適を上回るレーザーパワーで図7のコードマスクにおいて符号化された"0"シンボルおよび"1"シンボルに対するシンボルによる強度値の重複する確率分布関数の一例を示す図である。 パワーレベルの関数としてのコントラスト、すなわち2つのシンボル間の分離のグラフの一例を示す図である。 例示的な一実施形態において、3つの異なるパワー設定で取られた構造化照明画像を示す図である。 構造化照明システムにおけるレシーバによって感知されるとき、暗すぎて感知および区別されないことも明るすぎて飽和しないこともないコードワードを投影するために、構造化照明システムにおいてレーザーを制御するために使用できるフィードバック制御システムの一例を示す図である。 既存の深度マップ情報およびコードワードの感知された反射画像に基づいて、コード領域統計値を使用して構造化照明トランスミッタのパワーを調整するためのプロセス1900の一例を示す図である。 コード領域統計値の計算を含む、物体から反射される受信コードワードから決定された情報を使用して構造化照明トランスミッタのパワーを制御するためのプロセス2000の一例を示す図である。 コード領域統計値が、強度平均値の差の2乗を強度分散の和で除算したものが尺度となるようなシンボル間のコントラストである、プロセス2000のコード領域統計値を計算するためのプロセス2100の一例を示す図である。 コード領域統計値が、予想コードワードに整合する受信コードワードのパーセンテージである、プロセス2000のコード領域統計値を計算するためのプロセス2200の一例を示す図である。 コード領域統計値が、予想基底関数に整合する受信基底関数のパーセンテージである、プロセス2000のコード領域統計値を計算するためのプロセス2300の一例を示す図である。
以下の発明を実施するための形態は、いくつかの特定の実施形態を対象とする。しかしながら、開示する方法およびシステムは、多数の様々な方法で具現化することができる。本明細書の態様が多種多様な形態で具現化されてよいこと、および本明細書で開示されている任意の特定の構造、機能、または両方が代表的なものにすぎないことは明らかであろう。本明細書で開示する態様は、任意の他の態様とは独立に実施されてよい。これらの態様のうちの2つ以上が、様々な方法で組み合わせられてよい。たとえば、本明細書に記載する任意の数の態様を使用して本装置が実装されてよく、または方法が実践されてよい。加えて、本明細書に記載する態様のうちの1つまたは複数に加えて、あるいは本明細書に記載する態様のうちの1つまたは複数以外の他の構造、機能、または構造および機能を使用してそのような装置が実装されてよく、またはそのような方法が実践されてよい。
さらに、本明細書で説明するシステムおよび方法は、様々な異なるイメージングシステムならびにコンピューティングデバイスおよびコンピューティングシステムにおいて実施されてよい。それらは汎用システムまたは専用システムを使用してよい。
構造化照明システムは、コードワードの受信パターンを復号すること、およびそれらを送信パターンと比較することによって深度マップを生成する。受信シンボルおよび受信コードワードが、異なるシンボル値に対して十分に画定された空間境界および十分に分離された強度レベルを有する場合、受信パターンを正確に復号し正確な深度マップを生成することが可能である。シンボル境界が十分に画定されておらず、かつ/または強度レベルが十分に分離されていない場合、検出確度が下がり、深度マップ確度が悪化する。
構造化照明システムは、制御可能なパワーレベルでマスクを通して光を発することにより、コードワードのパターンを送信する。いくつかの実施形態では、光源は(別のタイプの光源であってもよいが)レーザーであり、マスクは回折性光学要素である。光源のパワーレベルが低すぎると、シンボルは、正確に受信され正しく復号されるには暗すぎることがある。光源のより高いパワーレベルにおいて、送信シンボルは、それらの境界が十分に画成され、パワーが増大し、強度によって十分に分離されるので、復号される可能性が高くなることができる。たとえば、"0"シンボルは暗く見え、"1"シンボルは淡く見え、暗いシンボルと淡いシンボルとの間に大きい強度ギャップがある。光源のパワーレベルが高すぎる場合、シンボルは、シンボルの所期の境界を越えてガードバンドの中に、また隣接するシンボルの中にさえ、にじむように見えることがある。したがって、光源のパワーレベルが高すぎると、シンボルが互いに混ざることがあるのでシンボル境界が不明瞭になることがあり、受信シンボルが、投影されたものとは著しく異なって見えることがあり、検出確度を下げることがある。任意の特定のシーンにおいて、異なる距離における、かつ/または異なる表面特性を有する物体は、正確な復号のために異なるレーザーパワーレベルを必要とすることがある。
開示する技術は、受信画像が正確に復号できるように光源パワーレベルを制御するためのシステムおよび方法を含む。たとえば、異なるシンボル値の間のコントラストすなわち分離を数量化すること、コードワード検出確度を数量化すること、または基底関数検出確度を数量化することによって、受信画像がどれほど効果的に復号できるのかを特徴づけるために、コード領域統計値が使用される。これらの尺度は、復号確度を直接特徴づけ、コード領域統計値をレーザーコントローラに(たとえば、負帰還ループを介して、または適応アルゴリズムを使用して)フィードバックすることによって最適レーザーパワーレベルへの制御収束を可能にする。その結果、得られた深度マップは、より少ない復号エラーしか有しなくてよく、したがって、より正確であってよい。
図1は、2次元画像から深度マップ107などの3次元情報を生成するアクティブ感知システム100の一例を示す。アクティブ感知システム100は、トランスミッタ102およびレシーバ108を含む。トランスミッタ102は、コードマスクを通して光を投影して投影画像104を形成する。投影画像104の部分112は、シーン106の上に投影される固有コードワード120を含む。シーン106の中の物体の表面は、空間パターン116によって照明され、空間パターン116は、レシーバ108によって感知される反射画像の一部を形成する。レシーバ108は、固有コードワード120を含む反射画像110の一部分118(セグメント)を感知し、図3に関して以下で説明するように、シーン106の中の物体の表面の深度マップ107を生成するために、固有コードワード120の相対位置をコードマスクの中の他の固有コードワードと比較して、深度情報を決定する。レシーバ108は、反射画像110の他のセグメントから他の識別可能なコードワードを反射する、シーンの中の物体の表面にわたって、深度推定値に基づいて深度マップ107を形成する。取り込まれる各セグメント118は、レシーバ108、およびコーディングされたマスクの既知のパターンから確認された他のセグメントに対するそのロケーションにおいて、一意に識別可能であってよい。レシーバ108は、ひずみに対処するためのパターンセグメント化技法、コードを識別するための復号技法、ならびに配向および/または深度を確認するための三角測量を使用してよい。
図2は、深度マップを生成するとともにシーンの3次元表現を表示するためのアクティブ感知のためのシステムの別の例を示す。エンコーダ/整形変調器201は、コードマスクを生成してよく、コードマスクは、次いで、トランスミッタデバイス202によって送信チャネル204を介して投影される。コードマスクを通した光は、ターゲット(たとえば、シーン)の上に投影されてよく、反射光は、投影コードマスク画像としてレシーバセンサ205によって取り込まれる。レシーバセンサ205(たとえば、図1におけるレシーバ108)は、ターゲットの反射画像を取り込み、それをセグメント化/デコーダ206がセグメント化および復号して、深度マップ208を生成するために使用される深度情報を決定する。深度マップ208は、次いで、ターゲット、たとえば、ターゲット210a〜eのうちの1つの3D画像バージョンを提示、生成、および/または提供するために使用されてよい。
アクティブ感知は、トランスミッタデバイス202によってシーン上に投影されているコードマスクから空間コード(たとえば、コードワード)を(レシーバセンサ205および/またはセグメント化/デコーダ206において)認識できることに依拠する。シーンがトランスミッタおよびレシーバに近すぎる場合、シーンの表面は角をなすか、または曲げられることがあり、ベースライン基準面が傾斜されることがあり、コードは未知のアフィン変換(たとえば、回転、傾斜、圧縮、伸張など)の下で変形されることがある。本明細書で説明する1つまたは複数の態様または特徴は、図1および図2の例示的な環境内で実施されてよい。
図3は、シーンの中の1つまたは複数の物体に対してどのように深度が感知されてよいのかという一例を示す。図3は、トランスミッタ302およびレシーバ304を含むデバイス300を示す。デバイスは、コードワード投影310としてトランスミッタ302から発せられた構造化照明を用いて2つの物体306および308を照明している。コードワード投影310は、物体306および/または308から反射し、センサ平面307上のレシーバ304によって反射コードワード311として受信される。
図3に示すように、トランスミッタ302は、レシーバ304と同じ基準面(たとえば、レンズ平面305)の上にある。トランスミッタ302は、開口313を通して物体306および308の上にコードワード投影310を投影する。
コードワード投影310は、投影セグメント312'としての物体306を照明し、投影セグメント312''としての物体308を照明する。投影セグメント312'および312''がレシーバ開口315を通してレシーバ304によって受信されると、反射コードワード311は、物体308から生成された反射を第1の距離d1において示してよく、物体306から生成された反射を第2の距離d2において示してよい。
図3によって示されるように、物体306がトランスミッタ302により近く位置するので(たとえば、トランスミッタデバイスからの第1の距離)、投影セグメント312'は、その初期ロケーションから距離d2において現れる。対照的に、物体308がより遠くに位置するので(たとえば、トランスミッタ302からの第2の距離)、投影セグメント312''は、その初期ロケーションから距離d1において現れる(ただし、d1<d2)。すなわち、物体がトランスミッタ/レシーバから遠ければ遠いほど、受信される投影セグメント/部分/ウィンドウは、レシーバ304におけるその元の位置から近くなる(たとえば、出射投影および入射投影がより平行になる)。反対に、物体がトランスミッタ/レシーバから近ければ近いほど、受信される投影セグメント/部分/ウィンドウは、レシーバ304におけるその元の位置から遠くなる。したがって、受信コードワード位置と送信コードワード位置との間の差分が、物体の深度のインジケータとして使用されてよい。一例では、そのような深度(たとえば、相対深度)は、画像の中の各ピクセルまたはグループ化されたピクセル(たとえば、2つ以上のピクセルの領域)によって示される物体に対する深度値を提供してよい。
コードワード投影すなわちコードマスクを生成するために、様々なタイプの変調およびコーディング方式が使用されてよい。これらの変調およびコーディング方式は、たとえば、時間コーディング、空間コーディング、および直接コード化を含む。
時間コーディングでは、パターンは、測定している表面の上に経時的に連続して投影される。この技法は、高い確度および解像度を有するが、動的なシーンにとってさほど好適でない。
空間コーディングでは、情報が、局所近傍において形状およびパターンに基づいて符号化される。擬似ランダムコードはDe-Bruijnに基づいてよく、またはMアレイが、有効なコードワード(たとえば、m値強度または色変調)のコードブックを規定する。パターンセグメント化は、たとえば、形状およびパターンがひずんでいる場合、容易に達成されないことがある。
直接コード化では、水平ピクセル座標と垂直ピクセル座標の両方が符号化される。変調は、単調位相または強度波形によるものであってよい。しかしながら、この方式は、他の方法に対して利用されるコードブックよりも大きいコードブックを利用することがある。大部分の方法では、受信コードワード(感知コードワード)が、可能なコードワードの規定されたセットに対して(たとえば、コードブックの中で)相関されることがある。したがって、コードワードの小さいセット(たとえば、小さいコードブック)の使用は、より大きいコードブックよりも良好な性能をもたらすことがある。また、より大きいコードブックはより短い距離をコードワード間にもたらすので、より大きいコードブックを使用する実装形態によって追加のエラーに遭遇することがある。
構造化照明パターンは、コードマスクを通して光を照らすことによってシーン上に投影されてよい。コードマスクを通して投影された光は、1つまたは複数のモザイク式のコードマスク基本形状を含んでよい。各コードマスク基本形状は、空間コードのアレイを含んでよい。コードブックまたはデータ構造は、コードのセットを含んでよい。空間コード、コードマスク、およびコードマスク基本形状は、基底関数を使用して生成されてよい。基底関数の周期性は、(ゴースト画像を除去し製造を簡略化するための)エルミート対称性の集合パターン、(コードワード当りの最小パワーを確実にするための)最小デューティサイクル、(最適な輪郭解像度、および高解像度を得るためのコードパッキングのための)完全ウィンドウ特性、および(物体境界における改善された検出のための)ランダム化シフティングに対する要件を満たすように選ばれてよい。レシーバは、受信パターンを復調し、復号し、かつ受信パターンにおけるエラーを訂正するときの制約に適合するように意図された設計のコードブックおよび/または属性を利用してよい。
空間コードのサイズおよび対応する解像度は、コードマスク上の空間コードの物理的な空間範囲に対応する。サイズは、各コードワードを表す行列の中の行および列の数に相当してよい。コードワードが小さければ小さいほど、より小さい物体を検出することができる。たとえば、シャツの上のボタンとシャツ生地との間の深度差を検出および決定するために、コードワードは、ボタンのサイズよりも大きくなるべきでない。いくつかの実施形態では、各空間コードは、4行および4列を占有してよい。いくつかの実施形態では、コードは、たとえば、3×3、4×4、4×5、5×5、6×4、または10×10の行および列を占有すべき、より多数またはより少数の行および列(行×列)を占有してよい。
空間コードの空間表現は、どのように各コードワード要素がコードマスク上でパターン化され、次いで、シーン上に投影されるのかに対応する。たとえば、各コードワード要素は、1つまたは複数のドット、1つまたは複数のラインセグメント、1つまたは複数のグリッド、いくつかの他の形状、あるいはそれらのいくつかの組合せを使用して表されてよい。
空間コードの「デューティサイクル」は、コードワードの中でアサートされたビットまたは部分(たとえば、"1")の数のアサート解除されたビットまたは部分(たとえば、"0")の数に対する比に対応する。コードワードを含むコーディングされた光パターンがシーン上に投影されると、値が"1"の各ビットまたは各部分はエネルギー(たとえば、「光エネルギー」)を有してよく、値が"0"の各ビットはエネルギーがなくてよい。コードワードが容易に検出可能であるために、コードワードは、十分なエネルギーを有すべきである。
コードを特徴づける「輪郭解像度」または「完全ウィンドウ」とは、コードワードが所定量、たとえば、1ビット回転だけシフトされると、得られたデータが別のコードワードを表すことを示す。
図4は、複合コードマスクを生成しかつ/またはそのような複合コードマスクを通して光を投影するように構成されてよいトランスミッタデバイスの一例を示すブロック図である。トランスミッタデバイス402は、メモリ/記憶デバイス406(メモリデバイス)、画像投影デバイス408、および/または有形媒体409に結合される処理回路404を含んでよい。いくつかの態様では、トランスミッタデバイス402は、図3に関して上記で説明したトランスミッタ302に相当してよい。

第1の例では、トランスミッタデバイス402は、有形媒体409に結合されてよく、かつ/またはそれを含んでよい。有形媒体は、複合コードマスク414を規定してよく、含んでよく、かつ/または記憶してよい。有形媒体は、レーザーまたは他の光源からの光が、たとえば、近赤外周波数において回折性光学要素(DOE:diffractive optical element)を通して投影されると、コードワードパターン画像がトランスミッタから投影されるような、コードマスクを符号化するDOEであってよい。複合コードマスクは、キャリアレイヤと組み合わせられたコードレイヤを含んでよい。コードレイヤは、複数のシンボルによって規定される一意に識別可能な空間コーディングされたコードワードを含んでよい。キャリアレイヤは、独立に確認可能であってよく、かつコードレイヤとは異なってよい。キャリアレイヤは、投影上のひずみにとってロバストな複数の基準物体を含んでよい。コードレイヤおよびキャリアレイヤのうちの少なくとも一方は、投影の前に合成点広がり関数によって事前整形されてよい。
第2の例では、処理回路(または、プロセッサ)404は、コードレイヤ生成器/選択器416、キャリアレイヤ生成器/選択器418、複合コードマスク生成器/選択器420、および/または事前整形回路422を含んでよい。コードレイヤ生成器/選択器416は、事前記憶されているコードレイヤ410を選択してよく、かつ/またはそのようなコードレイヤを生成してもよい。キャリアレイヤ生成器/選択器418は、事前記憶されているキャリアレイヤ412を選択してよく、かつ/またはそのようなキャリアレイヤを生成してもよい。複合コードマスク生成器/選択器は、事前記憶されている複合コードマスク414を選択してよく、かつ/またはコードレイヤ410とキャリアレイヤ412とを組み合わせて複合コードマスク414を生成してもよい。オプションで、処理回路404は、複合コードマスクがそれを通して投影されるべきチャネルにおいて予想されるひずみを補償するように、複合コードマスク414、コードレイヤ410、および/またはキャリアレイヤ412を事前整形する事前整形回路422を含んでよい。
いくつかの実装形態では、複数の異なるコードレイヤおよび/またはキャリアレイヤが利用可能であってよく、ここで、そのような各キャリアレイヤまたは各コードレイヤは、異なる条件に対して(たとえば、トランスミッタデバイスとレシーバデバイスとの間の異なる距離または異なる構成における物体に対して)構成されてよい。たとえば、第1の距離内または範囲内の物体に対して、第2の距離または範囲における物体の場合とは異なるコードレイヤとキャリアレイヤとの組合せが使用されてよく、ここで、第2の距離は第1の距離よりも大きい。別の例では、コードレイヤとキャリアレイヤとの異なる組合せが、トランスミッタデバイスおよびレシーバデバイスの相対配向に応じて使用されてよい。
画像投影デバイス408は、生成/選択された複合コードマスクを当該物体上に投影するように働いてよい。たとえば、レーザーまたは他の光源が、複合コードマスクを当該物体上に(たとえば、投影チャネルを通して)投影するために使用されてよい。一例では、複合コードマスク414は、赤外スペクトルの中で投影されてよく、そのため、肉眼には見えないことがある。代わりに、赤外スペクトル範囲におけるレシーバセンサが、そのような投影された複合コードマスクを取り込むために使用されてよい。
図5は、物体から反射された複合コードマスクを受信するとともに複合コードマスクから深度情報を決定するように構成されるレシーバデバイス502の一例を示すブロック図である。レシーバデバイス502は、メモリ/記憶デバイスおよびレシーバセンサ508(たとえば、画像キャプチャデバイス508)に結合される処理回路504を含んでよい。いくつかの態様では、図5に示すレシーバデバイス502は、図3に関して上記で説明したレシーバ304に相当してよい。いくつかの実施形態では、レシーバセンサ508は、画像キャプチャデバイス、たとえば、カメラである。
レシーバセンサ508は、物体の表面上に投影された複合コードマスクの少なくとも一部分を取得するように構成されてよい。たとえば、レシーバセンサは、ターゲット物体の表面上に投影された複合コードマスク414の少なくとも一部分の画像を取り込んでよい。複合コードマスク414は、(a)複数のシンボルによって規定される、一意に識別可能な空間コーディングされたコードワードのコードレイヤ、および(b)独立に確認可能であり、コードレイヤとは異なり、投影上のひずみにとってロバストな複数の基準物体を含むキャリアレイヤによって規定されてよい。コードレイヤおよびキャリアレイヤのうちの少なくとも一方は、投影の前に合成点広がり関数によって事前整形されていてよい。一例では、レシーバセンサ508は、赤外スペクトルの中で複合コードマスクを取り込んで(感知して)よい。
引き続き図5を参照すると、いくつかの実施形態では、コードレイヤは、n1×n2のバイナリシンボルを備えてよく、ここでn1およびn2は2よりも大きい整数である。複合コードマスクにおいて、各シンボルは、基準物体とは異なる2つのグレースケール陰影のうちの一方の中のラインセグメントであってよい。コードレイヤのシンボルは、少なくとも1次元において千鳥状であってよい。キャリアレイヤ基準物体は、中間にガードインターバルを有し等しく離間された複数の基準ストライプを備えてよい。基準ストライプおよびガードインターバルは、異なる幅であってよい。ガードインターバル幅に対する各基準ストライプの幅は、トランスミッタデバイスおよび/またはレシーバデバイスの予想される光拡散によって決定されてよい。
処理回路504は、基準ストライプ検出器回路/モジュール512、ひずみ調整回路/モジュール514、コードワード識別器回路/モジュール516、深度検出回路/モジュール518、および/または深度マップ生成回路/モジュール520を含んでよい。
基準ストライプ検出器回路/モジュール512は、複合コードマスクの部分内の基準ストライプを検出するように構成されてよい。ひずみ調整回路/モジュール514は、基準ストライプの実際の配向に対する基準ストライプの予想配向に基づいて、複合コードマスクの部分のひずみを調整するように構成されてよい。コードワード識別器回路/モジュール516は、複合コードマスクの部分内で規定されたウィンドウからコードワードを取得するように構成されてよい。深度検出回路/モジュール518は、(a)複合コードマスクの単一の投影、および(b)既知の基準コードマスクに対するウィンドウの変位に基づいて、ウィンドウに対応するターゲット物体の表面部分に対する深度情報を取得するように構成されてよい。
深度マップ生成回路/モジュール520は、ひずんでいない複合コードマスクの部分内の異なる重複するウィンドウとして検出された複数のコードワードに基づいて、物体に対する深度マップを組み立てるように構成されてよい。
図6は、本明細書で開示する誤り訂正方法のうちの1つまたは複数を実行するように構成される装置の一実施形態を示すブロック図である。装置600は、発光体602、受光要素604、プロセッサ606、およびメモリ608を含む。発光体602、受光要素604、プロセッサ606、およびメモリ608は、バス610を介して動作可能に接続される。いくつかの態様では、受光要素604は、図5に関して上記で説明したレシーバデバイス502に相当してよい。いくつかの態様では、発光体602は、図4に関して上記で説明したトランスミッタデバイス402に相当してよい。
メモリ608は、本明細書で説明する方法の1つまたは複数の機能を実行するようにプロセッサ606を構成する命令を記憶してよい。たとえば、メモリに記憶される命令は、ターゲット物体を照明するために、コードワードとして構造化照明を符号化する光を発するように発光体602を制御するようにプロセッサ606を構成してよい。メモリ608に記憶される命令はさらに、ターゲット物体から反射する光を受信するとともに反射光の中で符号化されたデータを生成するようにプロセッサ606に受光要素604を制御させてよい。メモリに記憶される命令は、以下で説明する方法1500に従って受光要素によって生成されたデータの中のエラーを訂正するようにプロセッサをさらに構成してよい。
図7は、明るいスポットおよび暗いスポットに対応するシンボルのアレイを有するコードマスク700の一例の写真である。明るいスポットは、"1"シンボルに対応する。それらは、行および列をなして整列しており、かつ投影コードに構造を与えるとともに個々のシンボルおよびコードワードの空間境界を決定することを可能にする黒いガードインターバルおよびガードバンドによって分離される。コードワードは、シンボルの行および列を含む長方形の空間エリアを占有する。たとえば、コードワードは、4行および4列をなす16個のシンボルを含んでよい。明るいスポットを伴う"1"シンボルは見えるが、暗いスポットを伴う"0"シンボルはガードインターバルおよびガードバンドの中に混ざる。
図8は、図7のコードマスクなどのコードマスクを通してレーザーによって投影されるコードワードが重畳された深度マップを生成するために使用されるシーンの画像の写真800である。図8の画像は、前景の中にスノーフレークを含み、スノーフレークの右側に広げた手、横顔での彫刻された頭部、親指を立てて閉じた手、一番後ろには親指を立てた手の左側に開いた手が、増大する深度で後に続く。周波数スペクトルの非可視部分の中でコードワードが受信されることがあるので、図8の重畳されたコードワード投影は、それが見えるように図8において偽色彩法で印刷されている。
図9は、上記で説明した構造化照明技法を使用して決定された図8のシーンに対する深度マップ900の一例を示す。最小深度および最大深度の点が各々、図9において示される。いくつかの実施形態では、深度マップ900は、ビデオレートで(たとえば、30フレーム毎秒で)継続的に更新される。前に受信されたフレームから生成された既存の深度マップは、新たな画像フレームごとに予想深度のセットを提供する。画像の中の各ロケーションにおける深度は、各ロケーションにおける予想深度に対応し、そのロケーションにおける予想コードワード、シンボル、および基底関数を決定するために使用されてよい。
図10は、最適パワーレベルで投影されるコードワードの一例を示す。コードワードは、図7のコードマスクにおいて符号化されたシンボルに対応するシンボルの4×4アレイ1000を含む。図10におけるシンボルは、十分に画定された境界、および"0"シンボルと"1"シンボルとの間の強度値の明瞭な分離を有する。シンボル1010、ならびに黒い縁を有しシェーディングのない円として示される他の3つのシンボルは、暗い"0"シンボルドットに対応する。シンボル1020、ならびに各々が暗いハッチングを有する円として示される他の11個のシンボルは、明るい"1"シンボルドットに対応する。図10の例では、パワーレベルが最適である。図10における各シンボルは、飽和を伴わないかまたは縁部を越えてにじんでいない明瞭な境界を有する。図11にさらに示すように、暗いドット1010と明るいドット1020との間に明瞭な強度分離がある。
図11は、それぞれ、図10において説明したような最適レーザーパワーで図7のコードマスクにおいて符号化された"0"シンボルおよび"1"シンボルに対する強度値の十分に分離された確率分布関数1110および1120の一例を示す。図11の水平軸および垂直軸は、それぞれ、強度レベルおよび確率レベルに対応する。暗い"0"シンボルに対する確率分布関数1110はガウス分布に近似し、μ0としての平均強度レベルにピークがあり、標準偏差がσ0である。対応する分散は、
Figure 0006847922
 である。同様に、明るい"1"シンボルに対する確率分布関数1120はガウス分布に近似し、平均がμ1、標準偏差がσ1である。この例では、μ1>μ0かつσ1>σ0である。2つの確率分布関数1110および1120は、十分に分離されているが重複する。
決定境界1130の左側の受信強度レベルは、"1"シンボルよりも"0"シンボルである可能性が高い。2つの確率分布関数1110および1120が等しい確率値を有して交差する決定境界1130において、確率は等しい。決定境界1130の右側の受信強度レベルは、"0"シンボルよりも"1"シンボルである可能性が高い。したがって、決定境界1130の左側の強度値を有する"0"シンボルは正しく分類され、右末尾1150に対応する決定境界の右側の"0"シンボルは誤って"1"シンボルとして分類される。
同様に、決定境界1130の右側の強度値を有する"1"シンボルは正しく分類され、左末尾1140に対応する決定境界の左側の"1"シンボルは誤って"0"シンボルとして分類される。したがって、より小さい分離は、より少ないシンボル分類エラーに対応する。
図11の例では、それらの分散の和によって正規化されたとき確率分布関数1110および1120の平均値の差が比較的大きいので、左末尾1140および右末尾1150は小さい。この関係は、下の式(1)において規定されるように、コントラスト、すなわちクラスタ間からクラスタ内への変動の尺度となるコード領域統計値によって数量化されてよい。シンボル強度レベル間でのより良好な分離は、Λに対するより高い値に対応する。
Figure 0006847922
図12は、図10の、ただしシンボル1220においてもっと淡いハッチングによって示されるような明るいスポットが図10ほど明るくないような、もっと低いパワーレベルで照明されるコードワードの一例を示す。図12におけるシンボルは、十分に画定された境界を有するが、"0"シンボルと"1"シンボルとの間の強度値の明瞭な分離がさほどない。シンボル1210、ならびに黒い縁を有しシェーディングのない円として示される他の3つのシンボルは、暗い"0"シンボルドットに対応する。シンボル1220、ならびに各々が淡いハッチングを有する円として示される他の11個のシンボルは、明るい"1"シンボルドットに対応する。図10の例では、最適を下回るパワーレベル、すなわち、明るい"1"シンボル1220が明るい"1"シンボル1020ほど明るくないことは、暗いドットと明るいドットとの間に、より小さい強度分離しかもたらさない。
図13は、図12において説明したような最適を下回るレーザーパワーで図7のコードマスクにおいて符号化された"0"シンボルおよび"1"シンボルに対するシンボルによる強度値の重複する確率分布関数の一例を示す。図10と比較すると、明るいスポットがより低いレーザーパワーレベルを有して明るくないので、それぞれ、暗い"0"シンボルおよび明るい"1"シンボルに対する確率分布関数1310および1320はより大きく重複する。決定境界1330は、決定境界1130よりも低い強度値にある。確率分布関数1310の右末尾1350は、右末尾1150よりも面積が著しく大きい。同様に、左末尾1340は、左末尾1140よりも面積が著しく大きい。確率分布関数1110および1120の場合に明らかであったことに比べて、最適を下回るレーザーパワーレベルを伴って確率分布関数1310と1320との間の重複の程度がより大きくなって、コントラスト統計値Λは、最適を下回るパワーに対して最適パワーの場合よりも小さくなる。
図14は、図10の、ただし明るいスポットが飽和しており、互いの中ににじみ、いくつかの暗いスポットを明るく見えさせるようにもっと高いパワーレベルで照明されるコードワードの一例を示す。飽和した明るい"1"ビット1420がガードバンド、ガードインターバルの中ににじみ、隣接する"0"シンボル1410に重複することさえあるので、図12におけるシンボルは、もはや送信された境界に対応する十分に画定された境界を有しない。これにより、"0"シンボル値に対する平均強度値が増大するとともに暗い"0"シンボル値の分散が増大するようになることがあり、明るいドットと暗いドットとの間に、より小さい強度分離しかもたらされないことがある。
図15は、図14において説明したような最適を上回るレーザーパワーで図7のコードマスクにおいて符号化された"0"シンボルおよび"1"シンボルに対するシンボルによる強度値の重複する確率分布関数の一例を示す。図10と比較すると、隣接する明るいスポットの中ににじむことまたは混ざること、および暗いスポットに対する強度値の分散の増大に起因して、暗いスポットがより明るく見えるので、確率分布関数1510において示すように、それぞれ、暗い"0"シンボルおよび明るい"1"シンボルに対する確率分布関数1510および1520はより大きく重複する。決定境界1530は、決定境界1130よりも高い強度値にある。確率分布関数1510の右末尾1550は、右末尾1150よりも面積が著しく大きい。同様に、左末尾1540は、左末尾1140よりも面積が著しく大きい。確率分布関数1110および1120の場合に明らかであったことに比べて、最適を上回るレーザーパワーレベルを伴って確率分布関数1510と1520との間の重複の程度がより大きくなって、コントラスト統計値Λは、最適を上回るパワーに対して最適パワーの場合よりも小さくなる。
図16は、光源のパワーレベルの関数としての2つのシンボル間のコントラスト(すなわち、分離)のグラフ1600の一例を示す。水平軸は、光源パワーレベルに対応する。垂直軸は、計算されたコントラスト統計値Λに対応する。この「コントラスト対パワー」曲線1610は、最適パワーレベル1620において最大コントラスト統計値1630を有する。「コントラスト対パワー」曲線1610は、それらを見ることができるように明るいドットを照明するのに不十分な点までパワーが減少するにつれて、最適パワーレベル1620の左側に急な末尾を有し、パワーが飽和に向かって増大するにつれて、最適パワーレベル1620の右側に長い末尾を有する。
図17は、光源の3つの異なるパワーレベル設定で取られた構造化照明画像の例を示す。図17における元の画像としての第1の行では、対応する画像は、第2の行におけるコードコントラスト統計値および第3の行における対応する深度マップから生成される。元の画像としての第1の行は、最適範囲内の定格パワーレベルにおける光源を使用して生成された画像1705、最適範囲を超える170%パワーレベルにおける光源を使用して生成された画像1710、および最適範囲からなお一層十分に200%パワーレベルにおける光源を使用して生成された画像1715を含む。図17における第2の行は、コードコントラスト統計値画像、すなわち、詳細には、元の画像1705に対応する画像1720、元の画像1710に対応する画像1725、および元の画像1715に対応する画像1730を含む。図17における第3の行は、それぞれ、元の構造化照明画像1705、1710、および1715によって生成された深度マップ1735、1740、および1745を含む。したがって、図17は、光源のパワーが100%かつ最適から、最適の170%および最適の200%まで増大するにつれて、深度マップがさほど正確でない情報しか提供しないことを示す。たとえば、円で囲まれたスノーフレーク深度は、深度マップ1735では十分に画定されているが、深度マップ1740ではあまり十分に画定されておらず、深度マップ1745ではさらに十分に画定されていない。
図18は、構造化照明システムにおけるレシーバセンサ508によって感知されるとき、暗すぎて感知および区別されないことも明るすぎて飽和しないこともないコードワードを投影するために、構造化照明システムにおけるレーザー1820を制御するために使用できるフィードバック制御システム1800を示す。フィードバック制御システム1800(フィードバックシステム)は、(光源)レーザー1820、複合コードマスク414、レシーバセンサ508、処理回路504、メモリ/記憶デバイス506(メモリデバイス)、および加算器1830に結合されるコントローラ1810を含む。これらの要素は、レーザー1820(レーザーシステム)の出力を反復的に制御するための図18に示すような負帰還ループを形成するように互いに結合されている。いくつかの実施形態では、コントローラ1810、レーザー1820、および複合コードマスク414は、トランスミッタデバイス402(図4)の要素であってよい。コントローラ1810およびレーザー1820は、画像投影デバイス408(図4)内に収容されている。いくつかの実施形態では、レシーバセンサ508、処理回路504、およびメモリ/記憶デバイス506は、レシーバデバイス502(図5)の要素であってよい。加算器1830は、トランスミッタデバイス402内またはレシーバデバイス502(図5)内のいずれかに組み込まれてよい。上述のようにトランスミッタデバイス402およびレシーバデバイス502は、単一のデバイス内に収容されてよい。さらに、コントローラ1810は、加算器1830を含んでよく、かつ/またはコントローラ1810および処理回路404は、単一の要素内で組み合わせられてよい。処理回路504、加算器1830、コントローラ1810、およびレーザー1820は、互いに結合されており、互いに電子通信している。レシーバセンサ508、処理回路504、およびメモリ/記憶デバイスは、互いに結合されており、かつ互いに電子通信している。
画像投影デバイス408(図4)は、コントローラ1810によって制御されるレーザー1820を含む。レーザー1820は、たとえば、人間の眼に見えないがレシーバセンサ508によって感知されてよい近赤外周波数における光を発する。レーザー1820の出力レベルは、コントローラ1810によって調整することができる。複合コードマスク414、レシーバセンサ508、処理回路504、およびメモリ/記憶デバイス506は、図4および図5に関して上記で説明されている。
図19は、既存の深度マップ情報(たとえば、シーンの前に決定された深度マップまたは前に決定されたコードワード)、およびシーンから受信された(から反射された)コードワードの感知画像を使用するコード領域統計値を使用して構造化照明トランスミッタのパワーを調整するためのプロセス1900の一例を示す。
ブロック1905において、プロセス1900は、レーザーパワーレベルを初期設定する。これは、たとえば、画像投影デバイス408(図4)、コントローラ1810(図18)、または発光体602(図6)によって実行されてよい。レーザーの初期設定は、ブロック1905において、たとえば、前にメモリに記憶されており、次いで、メモリから取り出され、レーザーの出力パワーに対応するレーザーパワーレベルを設定するために使用された前の最適レーザーパワーレベルに基づいて設定されてよい。記憶されているレーザーパワーレベルは、たとえば、所定の「工場設定」値であってよく、またはレーザーの前の使用中にあらかじめ決定されておりメモリに記憶されていてもよい。
ブロック1910において、プロセス1900は、深度マップを生成しそれをメモリに記憶する。これは、たとえば、図5および図18の処理回路504または図6のプロセッサ606によって実行されてよい。プロセス1900は、深度情報を生成するためにコードワード変位が使用される、図3に関して説明したような構造化照明方法を使用してよい。プロセス1900は、単一の構造化照明フレームまたは複数の構造化照明フレームから深度マップ情報を生成してよい。深度マップ情報は、図5および図18のメモリ/記憶デバイス506または図6のメモリ608に記憶されてよい。
円形フローチャート要素1915は、深度マップ更新サイクルにとっての開始点である。更新サイクルごとに、プロセス1900は、ブロック1920〜1955およびフィードバック経路1960において説明するように最適レーザーパワーレベルに収束する。収束されると、プロセス1900は、ブロック1965において、深度マップを更新しそれをメモリに記憶する。更新されると、プロセス1900は、別の深度マップ更新サイクルのために経路1970を経由して円形フローチャート要素1915に戻る。いくつかの実施形態では、レーザー収束および深度マップ更新サイクルは、ビデオレート、たとえば、30サイクル毎秒以上で行われてよい。
ブロック1920において、プロセス1900は、シーンの(または、シーンのいくつかのエリアもしくは部分の)深度マップ情報をメモリから取り出す。これは、図5および図18の処理回路504または図6のプロセッサ606によって実行されてよい。深度マップ情報は、図5および図18のメモリ/記憶デバイス506から、または図6のメモリ608から取り出されてよい。
ブロック1925において、プロセス1900は、予想シンボルを計算すること、予想基底関数を計算すること、および/または予想コードワードを計算することによって、取り出された深度マップ情報に基づいて、エリアに対する予想シンボル、予想コードワード、および/または予想基底関数を生成する。これは、図5および図18の処理回路504または図6のプロセッサ606によって実行されてよい。深度マップ1735は、ロケーションの関数としての深度の図式表現である。
画像の中の各行および各列は、「予想」深度、すなわち、シーンの中の物体の表面との間の距離に対応する深度値を有する。図3に関して説明したように、エリア内でのコードワード変位と固有コードワードに対する深度との間に1対1の対応がある。各コードワードロケーションにおいて、プロセス1900は、取り出された深度マップの中の深度に対応するコードワード変位を計算する。プロセス1900は、次いで、コードワード変位によってコードマスク内を変換して、各コードワードロケーションにおける予想コードワードを決定する。これをエリアにわたって反復することによって、プロセス1900は、ロケーションの関数としての予想コードワードのアレイを決定する。
各コードワードは、シンボルの既知のアレイを備える。各コードワードをそのシンボルに関連付けることによって、プロセス1900は、各シンボルロケーションにおけるシンボルの対応するセットを決定する。
さらに、コードマスクの各部分におけるコードワードは、コードマスクを生成するために使用される調和基底関数に直接マッピングする。各ロケーションを中心としたコードワードを対応する(変位した)コードマスクロケーションにおけるコードマスクを生成するために使用される基底関数に関連付けることによって、プロセス1900は、各基底関数ロケーションにおける基底関数の対応するセットを決定する。
予想コードワード、予想シンボル、および予想基底関数は、レーザーパワーが最適レベルにあり深度マップが正確である場合、プロセス1900が復号するコードワード、シンボル、および基底関数に対応する。したがって、これらの値は、最適レーザーパワーレベルへの収束の助けとなるために使用されてよい。
ブロック1930において、プロセス1900は、コードマスクを通してレーザー光を投影して、コードワードをシーン上に投影する。コードマスクは、同じコードワード、関連するシンボルを有し、ブロック1925に関して上記で説明したコードマスクとして、同じ調和基底関数によって形成される。これは、たとえば画像投影デバイス408(図4)、レーザー1820(図18)、または発光体602(図6)によって実行されてよい。コードワードは、時間区間にわたって継続的に投影される。投影コードワードは、シーン上、またはシーンの中の物体上に投影されてよい。
ブロック1935において、プロセス1900は、コードワードの反射画像を感知する。これは、図5および図18のレシーバセンサ508、または光源と統合されたセンサ、たとえば図6の発光体602と統合された受光要素604によって実行されてよい。受信コードワードは、シーンまたはシーンの中の物体の画像の中で受信されてよい。
ブロック1940において、プロセス1900は、エリアに対する感知シンボルの強度レベル、コードワード、および/または基底関数を感知画像に基づいて決定する。これは、図5および図18の処理回路504または図6のプロセッサ606によって実行されてよい。プロセス1900は、処理回路504ならびにモジュール512、514、516、および518を使用してコードワードを画成および検出するために、図5に関して上記で説明した機能を実行する。プロセス1900は、受信コードワードを決定すると、各コードワードを各コードワードに対応するシンボルの既知の(たとえば、記憶されており先在している)セットに関連付けて、受信コードワードのセットを生成する。コードマスクおよびコードワードが調和基底関数を使用して生成される実施形態では、プロセス1900は、調和基底関数ごとに1つ、入射強度値をマッチドフィルタに適用すること、およびどのマッチドフィルタが最高出力を有するのかを決定することによって受信基底関数を決定してよい。最高出力を有するマッチドフィルタは、そのロケーションにおいて最も可能性が高い基底関数に対応する。
ブロック1945において、プロセス1900は、予想および感知シンボル、コードワード、および/または基底関数に基づいて、少なくとも1つのコード領域統計値を生成する。これは、図5および図18の処理回路504または図6のプロセッサ606によって実行されてよい。コードワード統計値の第1の例は、どれほど十分に受信コードワードを検出することができるのかを数量化するために、上の式(1)において定義されたようなコントラスト統計値Λを使用してシンボル分離を特徴づける。第2のコードワード統計値は、それらの対応する予想コードワードに整合する受信コードワードのパーセンテージを計算することによってコードワード検出確度を特徴づける。第3のコードワード統計値は、それらの対応する予想基底関数に整合する受信基底関数のパーセンテージを計算することによって基底関数確度を特徴づける。コントラスト、コードワード検出確度、および基底関数検出確度の統計値を算出するためのいくつかのプロセスの例が、それぞれ、図21、図22、および図23に関して以下で説明される。
ブロック1950において、プロセス1900は、少なくとも1つのコード領域統計値に応じてレーザーパワーを調整する。これは、図5および図18の処理回路504または図6のプロセッサ606によって実行されてよい。図18を参照すると、レーザーパワーレベルが増大すべきかそれとも減少すべきかを決定するためにコントローラ1810によって使用されるエラー値を決定するために、コード領域統計値は加算器1830によって基準値と合成することができる。コントローラ1810は、次いで、制御信号をレーザー1820へ送信し、それによってコード領域統計値を改善するようにレーザーパワーを調整する。このフィードバック制御システム1800は、継続的に動作してよく、いくつかの実施形態では、ビデオフレームレートで最適パワーレベルに収束してよい。図18は、負帰還ループとしてのレーザー1820の制御を表す。いくつかの実施形態では、レーザー1820は、適応アルゴリズムを使用するかまたは非線形探索技法を使用して制御されてよい。
ブロック1955において、プロセス1900は、レーザーパワーレベルが収束したかどうかを決定する。これは、図18のコントローラ1810、図5および図18の処理回路504、または図6のプロセッサ606によって実行されてよい。プロセス1900は、パワー調整値がしきい値よりも低い場合、レーザーパワーレベルが収束したと決定してよい。レーザーパワーレベルがまだ収束していない場合、プロセス1900は、フィードバック経路1960に沿ってブロック1930に進む。
レーザーパワーレベルが収束している場合、プロセス1900はブロック1965に進む。ブロック1965において、プロセス1900は、深度マップを更新しそれをメモリに記憶する。これは、図5および図18の処理回路504または図6のプロセッサ606によって実行されてよい。更新された深度マップまたは更新された深度マップ情報が、図5および図18のメモリ/記憶デバイス506または図6のメモリ608に記憶されてよい。プロセス1900は、新たな深度マップ更新サイクルを開始するために、経路1970に沿って円形フローチャート要素1915に進む。
図20は、物体から反射される1つまたは複数の受信コードワードから決定される情報を使用して構造化照明トランスミッタのパワーを制御するためのプロセス2000の一例を示す。
ブロック2005において、プロセス2000は、コードワードのパターンを1つまたは複数の物体上に投影する。これは、たとえば、画像投影デバイス408(図4)、レーザー1820(図18)、または発光体602(図6)によって実行されてよい。コードワードは、時間区間にわたって継続的に投影される。投影コードワードは、シーン上、またはシーンの中の物体上に投影されてよい。
ブロック2010において、プロセス2000は、コードワードを受信する。これは、図5および図18のレシーバセンサ508、または光源と統合されたセンサ、たとえば、図6の発光体602と統合された受光要素604によって実行されてよい。受信コードワードは、シーンまたはシーンの中の物体の画像の中で受信されてよい。
ブロック2015において、プロセス2000は、受信コードワードのうちの1つまたは複数からコード領域統計値を計算する。これは、図5および図18の処理回路504または図6のプロセッサ606によって実行されてよい。コード領域統計値は、シンボル分類確度、コードワード復号確度、および/または基底関数復号確度を数量化する。
第1の例では、シンボル分類確度は、シンボル間のコントラストと相関してよい。コントラストの程度は、図11に関して上記で説明したように数量化されてよく、平均値および標準偏差(および/または、対応する分散)が、シンボルごとに受信強度値に対して推定され、式(1)が使用されてコード領域統計値Λを決定する。下の図21は、コード領域統計値を決定するためのプロセス2100を示す。決定されたコード領域統計値は、シンボル分類確度を数量化する。
第2の例では、コード領域統計値は、既存の深度マップまたは前に受信されたコードワードに基づいて、予想コードワードに整合する復号コードワードのパーセンテージを計算することによってコードワード検出確度を数量化してよい。下の図22は、コードワード検出確度を特徴づけるコード領域統計値を決定するためのプロセス2200を示す。
第3の例では、コード領域統計値は、正しく受信された基底関数のパーセンテージを計算することによって基底関数コーディング確度を数量化してよい。下の図23は、コード領域統計値を決定するためのプロセス2300を示す。決定されたコード領域統計値は、基底関数確度を数量化する。
ブロック2020において、プロセス2000は、コード領域統計値に基づいて光源のパワーを調整し、光源の調整されたパワー設定でコードワードをさらに投影するために経路2025を通じてループバックしてよい。プロセス2000は、様々な実装形態で光源のパワーを調整してよい。一例は、図18に関して説明したような閉ループ負帰還実装形態であり、処理回路504によって決定されたコード領域統計値が加算器1830によって基準値と比較されて、レーザー1820のパワーレベルを調整する制御信号を決定するためにコントローラ1810によって使用される差分またはエラー信号を生成する。第2の例では、最適レーザーパワーレベルに収束するために適応アルゴリズムが使用される。第3の例では、1つまたは複数のコード領域統計値を最大化する最適レーザー1820パワーレベルを特定するために非線形探索技法が使用される。
図21は、コード領域統計値が、強度平均値の差の2乗を強度分散の和で除算したものが尺度となるようなシンボル間のコントラストである、プロセス2000のコード領域統計値を計算するためのプロセス2100の一例を示す。
ブロック2105において、プロセス2100は、対応する予想シンボルを深度マップおよび/または前に受信されたコードワードから計算する。「予想」受信シンボルは、最も可能性が高い(最大尤度の)シンボルに対応する。これは、図5および図18の処理回路504または図6のプロセッサ606によって実行されてよい。深度マップおよび/または前に受信されたコードワードは、メモリまたは記憶デバイスに記憶される。これは、図5および図18のメモリ/記憶デバイス506または図6のメモリ608によって実行されてよい。
ブロック2110において、プロセス2100は、各受信強度値を予想シンボルに割り当てる。これは、図5および図18の処理回路504または図6のプロセッサ606によって実行されてよい。これは、"0"シンボルが予想されるロケーションに対する受信強度値、ならびに"1"シンボルが予想されるロケーションに対する強度値を深度マップおよび/または前に受信されたコードワードに基づいて識別することを可能にする。受信強度値は、データ構造の中でシンボルによってラベルがつけられてよく、またはそれぞれのシンボルヒストグラムの中に組み込まれてよい。
ブロック2115において、プロセス2100は、シンボルごとに平均強度値および分散強度値を計算する。これは、図5および図18の処理回路504または図6のプロセッサ606によって実行されてよい。図11に関して上記で説明したように、シンボルごとの強度値の確率分布関数は、正規分布すると見なされる場合、強度値のその平均値および分散(または、対応する標準偏差)によって特徴づけられてよい。
ブロック2120において、プロセス2100は、シンボルごとに平均強度値および分散強度値に基づいてコントラスト統計値を計算する。これは、図5および図18の処理回路504または図6のプロセッサ606によって実行されてよい。たとえば、コントラスト統計値Λは、式1において定義されたように強度平均値の差の2乗を強度分散の和で除算したものである。より高いコントラスト統計値が、より大きいシンボル分離、より小さい重複、およびより高いシンボル検出確度に対応する。
図22は、コード領域統計値が、予想コードワードに整合する受信コードワードのパーセンテージである、プロセス2000のコード領域統計値を計算するためのプロセス2200の一例を示す。プロセス2200のブロック2205、2210、2215、および2220は各々、図5および図18の処理回路504または図6のプロセッサ606によって実行されてよい。
ブロック2205において、プロセス2200は、深度マップおよび/または前に受信されたコードワードから予想コードワードを計算する。深度マップおよび/または前に受信されたコードワードは、たとえば、図5および図18のメモリ/記憶デバイス506または図6のメモリ608に記憶されている。
ブロック2210において、プロセス2200は、誤り訂正の後の各受信コードワードをその予想コードワードと比較する。追加の情報がない場合、予想コードワードは正しいものと想定される。
ブロック2215において、プロセス2200は、正しく受信されたコードワードのパーセンテージを計算する。パーセンテージは、予想コードワードに整合する受信コードワードの比率である。より大きいパーセンテージが、より高いコードワード検出確度に対応する。
図23は、コード領域統計値が、予想基底関数に整合する受信基底関数のパーセンテージである、プロセス2000のコード領域統計値を計算するためのプロセス2300の一例を示す。プロセス2300のブロック2305、2310、および2315は各々、以下で説明されてよく、各々が図5および図18の処理回路504または図6のプロセッサ606によって実行されてよい。
ブロック2305において、プロセス2300は、深度マップおよび/または前に受信されたコードワードから、図3に関して上記で定義されたように予想基底関数を計算する。深度マップおよび/または前に受信されたコードワードは、たとえば、図5および図18のメモリ/記憶デバイス506または図6のメモリ608に記憶されている。
ブロック2310において、プロセス2300は、各受信基底関数をその予想基底関数と比較する。追加の情報がない場合、予想基底関数は正しいものと想定される。
ブロック2315において、プロセス2300は、正しく受信された基底関数のパーセンテージを計算する。パーセンテージは、予想基底関数に整合する受信基底関数の比率である。より大きいパーセンテージが、より高い基底関数検出確度に対応する。より高い基底関数検出確度が、より高いコードワード検出確度に対応する。
たとえば、「第1の」、「第2の」などの呼称を使用する本明細書における要素へのいかなる参照も、一般に、それらの要素の数量または順序を限定しないことを理解されたい。むしろ、これらの呼称は、2つ以上の要素または要素のインスタンスの間を区別する好都合な方法として本明細書で使用されることがある。したがって、第1の要素および第2の要素への参照は、そこで2つの要素だけが採用されてよいこと、または第1の要素が何らかの形で第2の要素に先行しなければならないことを意味しない。また、別段に記載されていない限り、要素のセットは、1つまたは複数の要素を備えてよい。加えて、説明または請求項において使用される「A、B、またはCのうちの少なくとも1つ」という形態の用語は、「AまたはBまたはC、あるいはこれらの要素の任意の組合せ」を意味する。
本明細書で使用する「決定すること」という用語は、多種多様なアクションを包含する。たとえば、「決定すること」は、計算すること、算出すること、処理すること、導出すること、調査すること、ルックアップすること(たとえば、テーブル、たとえば、ルックアップテーブル、データベース、または別のデータ構造の中でルックアップすること)、確認することなどを含んでよい。また、「決定すること」は、受信すること(たとえば、情報を受信すること)、アクセスすること(たとえば、メモリの中のデータにアクセスすること)などを含んでよい。また、「決定すること」は、解決すること、選択すること、選ぶこと、確立することなどを含んでよい。
本明細書で使用するとき、項目のリスト「のうちの少なくとも1つ」を指す句は、単一のメンバーを含むそれらの項目の任意の組合せを指す。一例として、「a、b、またはcのうちの少なくとも1つ」は、a、b、c、a-b、a-c、b-c、およびa-b-cを包含するものとする。
上記で説明した方法の様々な動作は、動作を実行することが可能な任意の好適な手段、たとえば、様々なハードウェアおよび/またはソフトウェア構成要素、回路、および/またはモジュールによって実行されてよい。概して、図に示すいかなる動作も、動作を実行することが可能な対応する機能手段によって実行されてよい。
本開示に関して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブル論理デバイス(PLD)、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、または本明細書で説明した機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行されてよい。汎用プロセッサは、マイクロプロセッサであってよいが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであってもよい。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと連携した1つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成として実装されてよい。
1つまたは複数の態様では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装されてよい。ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されてよく、またはコンピュータ可読媒体を介して送信されてもよい。コンピュータ可読媒体は、コンピュータ記憶媒体と、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスできる任意の利用可能な媒体であってよい。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気記憶デバイス、あるいは命令またはデータ構造の形態で所望のプログラムコードを搬送または記憶するために使用できるとともにコンピュータによってアクセスできる任意の他の媒体を備えることができる。ディスク(disk)およびディスク(disc)は、本明細書で使用するとき、コンパクトディスク(disc)(CD)、レーザーディスク(disc)(登録商標)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)、およびBlu-ray(登録商標)ディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、レーザーを用いてデータを光学的に再生する。したがって、いくつかの態様では、コンピュータ可読媒体は、非一時的コンピュータ可読媒体(たとえば、有形媒体)を備えてよい。
本明細書で開示する方法は、説明した方法を達成するための1つまたは複数のステップまたはアクションを備える。本方法のステップおよび/またはアクションは、特許請求の範囲から逸脱することなく、互いに入れ替えられてよい。言い換えれば、ステップまたはアクションの特定の順序が指定されない限り、特定のステップおよび/またはアクションの順序および/または使用は、特許請求の範囲から逸脱することなく修正されてよい。
さらに、本明細書で説明した方法および技法を実行するためのモジュールおよび/または他の適切な手段は、適用可能な場合、ユーザ端末および/または基地局によってダウンロードおよび/または別の方法で取得できることを諒解されたい。たとえば、そのようなデバイスは、本明細書で説明した方法を実行するための手段の転送を容易にするためにサーバに結合することができる。代替として、本明細書で説明した様々な方法は、ユーザ端末および/または基地局が記憶手段をデバイスに結合または提供すると様々な方法を取得できるように記憶手段(たとえば、RAM、ROM、物理的記憶媒体、たとえば、コンパクトディスク(CD)またはフロッピーディスクなど)を介して提供することができる。その上、本明細書で説明した方法および技法をデバイスに提供するための任意の他の好適な技法を利用することができる。
特許請求の範囲が、上記で示した厳密な構成および構成要素に限定されないことを理解されたい。特許請求の範囲から逸脱することなく、上記で説明した方法および装置の構成、動作、および詳細において、様々な修正、変更、および変形が行われてよい。
100 アクティブ感知システム
102 トランスミッタ
104 投影画像
106 シーン
107 深度マップ
108 レシーバ
110 反射画像
116 空間パターン
120 固有コードワード
201 エンコーダ/整形変調器
202 トランスミッタデバイス
204 送信チャネル
205 レシーバセンサ
206 セグメント化/デコーダ
208 深度マップ
210 ターゲット
300 デバイス
302 トランスミッタ
304 レシーバ
305 レンズ平面
306 物体
307 センサ平面
308 物体
310 コードワード投影
311 反射コードワード
312' 投影セグメント
312'' 投影セグメント
313 トランスミッタ開口
315 レシーバ開口
402 トランスミッタデバイス
404 処理回路
406 メモリ/記憶デバイス
408 画像投影デバイス
409 有形媒体
410 コードレイヤ
412 キャリアレイヤ
414 複合コードマスク
416 コードレイヤ生成器/選択器
418 キャリアレイヤ生成器/選択器
420 複合コードマスク生成器/選択器
422 事前整形回路
502 レシーバデバイス
504 処理回路
506 メモリ/記憶デバイス
508 レシーバセンサ
512 基準ストライプ検出器回路/モジュール
514 ひずみ調整回路/モジュール
516 コードワード識別子回路/モジュール
518 深度検出回路/モジュール
520 深度マップ生成回路/モジュール
600 装置
602 発光体
604 受光要素
606 プロセッサ
608 メモリ
610 バス
1010 暗いドット
1020 明るいドット
1110 確率分布関数
1120 確率分布関数
1130 決定境界
1800 フィードバック制御システム
1810 コントローラ
1820 レーザー
1830 加算器

Claims (15)

  1. 構造化照明システムであって、
    深度マップを記憶するように構成されるメモリデバイスと、
    コードワードを投影するように構成されるレーザーシステムを含む画像投影デバイスと、
    センサを含むレシーバデバイスであって、物体から反射された前記投影コードワードを感知するように構成されるレシーバデバイスと、
    前記メモリデバイスに記憶された前記深度マップの少なくとも一部分を取り出し、かつ前記深度マップから予想コードワードを計算するように構成される処理回路と、
    前記感知コードワードおよび前記予想コードワードに基づいて前記レーザーシステムの出力パワーを制御するように構成されるフィードバックシステムと
    を備える、構造化照明システム。
  2. 前記処理回路が、前記感知コードワードに基づいて前記深度マップを更新するようにさらに構成され、前記メモリデバイスが、前記更新された深度マップを記憶するようにさらに構成される、請求項1に記載の構造化照明システム。
  3. 前記フィードバックシステムが、前記感知コードワードを前記予想コードワードと比較して、コード領域統計値を決定するように構成され、前記フィードバックシステムが、前記決定されたコード領域統計値に少なくとも部分的に基づいて前記レーザーシステムの前記出力パワーを制御する、請求項2に記載の構造化照明システム。
  4. 前記コードワードは、シンボルのアレイから構成され、前記コード領域統計値がシンボル分類精度を数値化したものである、請求項3に記載の構造化照明システム。
  5. 前記コード領域統計値が、シンボルに対応する強度値の平均である平均強度値の差の2乗を強度分散の和で除算したものである、請求項4に記載の構造化照明システム。
  6. 前記処理回路が、前記深度マップおよび/または前に受信されたコードワードから予想シンボルを計算するようにさらに構成され、前記処理回路が、各受信強度値を対応する前記予想シンボルに割り当てるようにさらに構成され、前記処理回路が、シンボルごとに平均強度値を計算するようにさらに構成され、前記処理回路が、シンボルごとに分散強度値を計算するようにさらに構成され、前記処理回路が、平均強度値の差の2乗を強度分散の和で除算したものとして前記コード領域統計値を計算するようにさらに構成される、請求項5に記載の構造化照明システム。
  7. 前記コード領域統計値がコードワード検出精度を数値化したものである、請求項3に記載の構造化照明システム。
  8. 前記コード領域統計値が、予想コードワードに整合する受信コードワードのパーセンテージである、請求項7に記載の構造化照明システム。
  9. 前記処理回路が、受信コードワードを予想コードワードと比較するようにさらに構成され、前記処理回路が、正しく受信されたコードワードのパーセンテージを計算するようにさらに構成され、正しく受信されたコードワードが予想コードワードに対応する、請求項8に記載の構造化照明システム。
  10. 前記コード領域統計値が基底関数の精度を数値化したものである、請求項3に記載の構造化照明システム。
  11. 前記コード領域統計値が、予想される基底関数に整合する受信された基底関数のパーセンテージである、請求項10に記載の構造化照明システム。
  12. 前記処理回路が、前記深度マップおよび/または前に受信されたコードワードから予想される基底関数を計算するようにさらに構成され、前記処理回路が、受信された基底関数を予想される基底関数と比較するようにさらに構成され、前記処理回路が、正しく受信された基底関数のパーセンテージを計算するようにさらに構成され、正しく受信された基底関数が予想される基底関数に対応する、請求項11に記載の構造化照明システム。
  13. 前記フィードバックシステムが、前記コード領域統計値に対する最大値に収束するように前記レーザーシステムの出力パワーを反復的に制御するように構成される、請求項3に記載の構造化照明システム。
  14. 構造化照明システムにおいてレーザーパワーを制御する方法であって、
    メモリデバイスを用いて深度マップを記憶するステップと、
    レーザーシステムを用いてコードワードを投影するステップと、
    レシーバセンサを用いて物体から反射された前記投影コードワードを感知するステップと、
    前記メモリデバイスから前記深度マップの一部分を取り出すステップと、
    前記深度マップから予想コードワードを計算するステップと、
    前記感知コードワードおよび前記予想コードワードに基づいて前記レーザーシステムの出力パワーを制御するステップと
    を備える、方法。
  15. 実行されたとき、構造化照明システムのレーザーシステムの出力パワーを制御する方法をプロセッサおよび前記構造化照明システムに実行させる命令を記憶する、非一時的コンピュータ可読記録媒体であって、前記方法が、
    メモリデバイスを用いて深度マップを記憶するステップと、
    前記レーザーシステムを用いてコードワードを投影するステップと、
    レシーバセンサを用いて物体から反射された前記投影コードワードを感知するステップと、
    前記メモリデバイスから前記深度マップの一部分を取り出すステップと、
    前記深度マップから予想コードワードを計算するステップと、
    前記感知コードワードおよび前記予想コードワードに基づいて前記レーザーシステムの出力パワーを制御するステップと
    を備える、非一時的コンピュータ可読記録媒体。
JP2018509515A 2015-08-31 2016-08-16 構造化照明のためのコード領域パワー制御 Active JP6847922B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562212507P 2015-08-31 2015-08-31
US62/212,507 2015-08-31
US15/060,028 2016-03-03
US15/060,028 US9846943B2 (en) 2015-08-31 2016-03-03 Code domain power control for structured light
PCT/US2016/047179 WO2017040028A1 (en) 2015-08-31 2016-08-16 Code domain power control for structured light

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020196824A Division JP2021051082A (ja) 2015-08-31 2020-11-27 構造化照明のためのコード領域パワー制御

Publications (3)

Publication Number Publication Date
JP2018525636A JP2018525636A (ja) 2018-09-06
JP2018525636A5 JP2018525636A5 (ja) 2020-02-27
JP6847922B2 true JP6847922B2 (ja) 2021-03-24

Family

ID=58095794

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018509515A Active JP6847922B2 (ja) 2015-08-31 2016-08-16 構造化照明のためのコード領域パワー制御
JP2020196824A Pending JP2021051082A (ja) 2015-08-31 2020-11-27 構造化照明のためのコード領域パワー制御

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020196824A Pending JP2021051082A (ja) 2015-08-31 2020-11-27 構造化照明のためのコード領域パワー制御

Country Status (10)

Country Link
US (2) US9846943B2 (ja)
EP (1) EP3344949B1 (ja)
JP (2) JP6847922B2 (ja)
KR (1) KR102168257B1 (ja)
CN (1) CN108419440B (ja)
BR (1) BR112018003954B1 (ja)
CA (1) CA2992598A1 (ja)
ES (1) ES2775512T3 (ja)
HU (1) HUE046551T2 (ja)
WO (1) WO2017040028A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9948920B2 (en) 2015-02-27 2018-04-17 Qualcomm Incorporated Systems and methods for error correction in structured light
US10068338B2 (en) 2015-03-12 2018-09-04 Qualcomm Incorporated Active sensing spatial resolution improvement through multiple receivers and code reuse
US9846943B2 (en) 2015-08-31 2017-12-19 Qualcomm Incorporated Code domain power control for structured light
US10192311B2 (en) * 2016-08-05 2019-01-29 Qualcomm Incorporated Methods and apparatus for codeword boundary detection for generating depth maps
US10620316B2 (en) * 2017-05-05 2020-04-14 Qualcomm Incorporated Systems and methods for generating a structured light depth map with a non-uniform codeword pattern
TWI647661B (zh) * 2017-08-10 2019-01-11 緯創資通股份有限公司 影像深度感測方法與影像深度感測裝置
CN109405749B (zh) * 2018-11-19 2024-03-26 清华大学深圳研究生院 一种激光成像测距方法及系统
CN111174702B (zh) * 2020-01-22 2022-03-15 无锡微视传感科技有限公司 一种自适应结构光投射模组及测量方法
WO2021210086A1 (ja) * 2020-04-15 2021-10-21 三菱電機株式会社 パラメータ調整装置、学習装置、測定システム、パラメータ調整方法及びプログラム

Family Cites Families (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4653104A (en) 1984-09-24 1987-03-24 Westinghouse Electric Corp. Optical three-dimensional digital data acquisition system
US5226084A (en) 1990-12-05 1993-07-06 Digital Voice Systems, Inc. Methods for speech quantization and error correction
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
JPH1145782A (ja) * 1997-07-28 1999-02-16 Matsushita Electric Works Ltd 調光監視制御システム
CA2306515A1 (en) 2000-04-25 2001-10-25 Inspeck Inc. Internet stereo vision, 3d digitizing, and motion capture camera
FI109633B (fi) 2001-01-24 2002-09-13 Gamecluster Ltd Oy Menetelmä videokuvan pakkauksen nopeuttamiseksi ja/tai sen laadun parantamiseksi
US7440590B1 (en) * 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
US7212663B2 (en) 2002-06-19 2007-05-01 Canesta, Inc. Coded-array technique for obtaining depth and other position information of an observed object
JP3660328B2 (ja) * 2002-06-21 2005-06-15 ファナック株式会社 レーザ加工機
DE10232690A1 (de) 2002-07-18 2004-02-12 Siemens Ag Verfahren und Vorrichtung zur dreidimensionalen Erfassung von Objekten sowie Verwendung der Vorrichtung und des Verfahrens
US7146036B2 (en) 2003-02-03 2006-12-05 Hewlett-Packard Development Company, L.P. Multiframe correspondence estimation
CA2435935A1 (en) 2003-07-24 2005-01-24 Guylain Lemelin Optical 3d digitizer with enlarged non-ambiguity zone
US7231578B2 (en) 2004-04-02 2007-06-12 Hitachi Global Storage Technologies Netherlands B.V. Techniques for detecting and correcting errors using multiple interleave erasure pointers
CN100394141C (zh) * 2004-12-28 2008-06-11 陈胜勇 基于领域唯一性的高效结构光的实现方法及其装置
US7916932B2 (en) 2005-02-16 2011-03-29 In-G Co., Ltd. Method and system of structural light-based 3D depth imaging using signal separation coding and error correction thereof
JP2007271530A (ja) * 2006-03-31 2007-10-18 Brother Ind Ltd ３次元形状検出装置及び３次元形状検出方法
JP4856605B2 (ja) 2006-08-31 2012-01-18 パナソニック株式会社 符号化方法、符号化装置、及び送信装置
DE102006048234A1 (de) 2006-10-11 2008-04-17 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zur Bestimmung der 3D-Koordinaten eines Objekts
WO2008062407A2 (en) 2006-11-21 2008-05-29 Mantisvision Ltd. 3d geometric modeling and 3d video content creation
US7950581B2 (en) 2006-12-01 2011-05-31 Intermec Ip Corp. System and method of acquiring a machine-readable symbol
US8326020B2 (en) 2007-02-28 2012-12-04 Sungkyunkwan University Foundation Structural light based depth imaging method and system using signal separation coding, and error correction thereof
US20090322859A1 (en) 2008-03-20 2009-12-31 Shelton Damion M Method and System for 3D Imaging Using a Spacetime Coded Laser Projection System
TWI420401B (zh) 2008-06-11 2013-12-21 Vatics Inc 一種回授式物件偵測演算法
JP4715944B2 (ja) 2009-04-03 2011-07-06 オムロン株式会社 三次元形状計測装置、三次元形状計測方法、および三次元形状計測プログラム
CN101608906B (zh) * 2009-07-21 2012-01-04 西安交通大学 一种时间编码的光学三维轮廓测量方法
US8537200B2 (en) 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
US9030469B2 (en) 2009-11-18 2015-05-12 Industrial Technology Research Institute Method for generating depth maps from monocular images and systems using the same
US20110147620A1 (en) * 2009-12-23 2011-06-23 Imra America, Inc. Laser patterning using a structured optical element and focused beam
WO2011139734A2 (en) 2010-04-27 2011-11-10 Sanjay Nichani Method for moving object detection using an image sensor and structured light
US8933927B2 (en) 2010-09-02 2015-01-13 Samsung Electronics Co., Ltd. Display system with image conversion mechanism and method of operation thereof
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
DE112011102991B4 (de) * 2010-09-08 2016-09-22 Canon Kabushiki Kaisha Verfahren und Vorrichtung zur 3D-Vermessung durch Erfassung eines vorbestimmten Musters
US9013634B2 (en) 2010-09-14 2015-04-21 Adobe Systems Incorporated Methods and apparatus for video completion
WO2012035783A1 (ja) 2010-09-17 2012-03-22 パナソニック株式会社 立体映像作成装置および立体映像作成方法
US20120086803A1 (en) 2010-10-11 2012-04-12 Malzbender Thomas G Method and system for distance estimation using projected symbol sequences
US8429495B2 (en) 2010-10-19 2013-04-23 Mosaid Technologies Incorporated Error detection and correction codes for channels and memories with incomplete error characteristics
US8531535B2 (en) 2010-10-28 2013-09-10 Google Inc. Methods and systems for processing a video for stabilization and retargeting
JP2012141252A (ja) 2011-01-06 2012-07-26 Nikon Corp 三次元形状測定装置
US20140002610A1 (en) * 2011-03-15 2014-01-02 Board Of Trustees Of Michigan State University Real-time 3d shape measurement system
US20120242795A1 (en) 2011-03-24 2012-09-27 Paul James Kane Digital 3d camera using periodic illumination
US8724854B2 (en) 2011-04-08 2014-05-13 Adobe Systems Incorporated Methods and apparatus for robust video stabilization
US9482529B2 (en) 2011-04-15 2016-11-01 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
US9536312B2 (en) 2011-05-16 2017-01-03 Microsoft Corporation Depth reconstruction using plural depth capture units
CA2844602A1 (en) 2011-08-09 2013-02-14 Samsung Electronics Co., Ltd. Method and device for encoding a depth map of multi viewpoint video data, and method and device for decoding the encoded depth map
US9491441B2 (en) 2011-08-30 2016-11-08 Microsoft Technology Licensing, Llc Method to extend laser depth map range
EP2777273B1 (en) 2011-11-11 2019-09-04 GE Video Compression, LLC Efficient multi-view coding using depth-map estimate for a dependent view
US8270465B1 (en) 2011-11-15 2012-09-18 Xw Llc Timing and time information extraction from a phase modulated signal in a radio controlled clock receiver
JP5918984B2 (ja) 2011-12-06 2016-05-18 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
KR20130119380A (ko) 2012-04-23 2013-10-31 삼성전자주식회사 슬라이스 헤더를 이용하는 3차원 비디오 부호화 방법 및 그 장치, 다시점 비디오 복호화 방법 및 그 장치
KR101913321B1 (ko) 2012-05-10 2018-10-30 삼성전자주식회사 깊이 센서 기반 반사 객체의 형상 취득 방법 및 장치
US9448064B2 (en) 2012-05-24 2016-09-20 Qualcomm Incorporated Reception of affine-invariant spatial mask for active depth sensing
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
CN102831582B (zh) 2012-07-27 2015-08-12 湖南大学 一种微软体感装置深度图像增强方法
US20140028801A1 (en) * 2012-07-30 2014-01-30 Canon Kabushiki Kaisha Multispectral Binary Coded Projection
JP6270157B2 (ja) 2012-07-30 2018-01-31 国立研究開発法人産業技術総合研究所 画像処理システムおよび画像処理方法
WO2014044908A1 (en) 2012-09-21 2014-03-27 Nokia Corporation Method and apparatus for video coding
JP6061616B2 (ja) 2012-10-29 2017-01-18 キヤノン株式会社 測定装置及びその制御方法、プログラム
US10368053B2 (en) * 2012-11-14 2019-07-30 Qualcomm Incorporated Structured light active depth sensing systems combining multiple images to compensate for differences in reflectivity and/or absorption
US9071756B2 (en) 2012-12-11 2015-06-30 Facebook, Inc. Systems and methods for digital video stabilization via constraint-based rotation smoothing
KR101995340B1 (ko) 2013-01-02 2019-07-02 엘지이노텍 주식회사 적외선 광원 제어방법
KR20140099098A (ko) 2013-02-01 2014-08-11 한국전자통신연구원 능동 스테레오 매칭 방법 및 그 장치
JP5794240B2 (ja) 2013-02-05 2015-10-14 ソニー株式会社 誤り検出訂正装置、誤り検出訂正方法、情報処理装置、および、プログラム
US10140765B2 (en) 2013-02-25 2018-11-27 Google Llc Staged camera traversal for three dimensional environment
US9142019B2 (en) 2013-02-28 2015-09-22 Google Technology Holdings LLC System for 2D/3D spatial feature processing
US9270386B2 (en) 2013-06-24 2016-02-23 Intel Corporation Error detecting and correcting structured light patterns
JP6248533B2 (ja) 2013-10-22 2017-12-20 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2015065386A1 (en) 2013-10-30 2015-05-07 Intel Corporation Image capture feedback
US9542749B2 (en) 2014-01-06 2017-01-10 Microsoft Technology Licensing, Llc Fast general multipath correction in time-of-flight imaging
CN103796004B (zh) 2014-02-13 2015-09-30 西安交通大学 一种主动结构光的双目深度感知方法
WO2015152829A1 (en) 2014-04-03 2015-10-08 Heptagon Micro Optics Pte. Ltd. Structured-stereo imaging assembly including separate imagers for different wavelengths
US9589359B2 (en) 2014-04-24 2017-03-07 Intel Corporation Structured stereo
US20150381972A1 (en) 2014-06-30 2015-12-31 Microsoft Corporation Depth estimation using multi-view stereo and a calibrated projector
US20160050372A1 (en) 2014-08-15 2016-02-18 Qualcomm Incorporated Systems and methods for depth enhanced and content aware video stabilization
US9507995B2 (en) 2014-08-29 2016-11-29 X Development Llc Combination of stereo and structured-light processing
US9638801B2 (en) 2014-11-24 2017-05-02 Mitsubishi Electric Research Laboratories, Inc Depth sensing using optical pulses and fixed coded aperature
US9500475B2 (en) 2015-01-08 2016-11-22 GM Global Technology Operations LLC Method and apparatus for inspecting an object employing machine vision
US9948920B2 (en) * 2015-02-27 2018-04-17 Qualcomm Incorporated Systems and methods for error correction in structured light
US10068338B2 (en) 2015-03-12 2018-09-04 Qualcomm Incorporated Active sensing spatial resolution improvement through multiple receivers and code reuse
US9530215B2 (en) 2015-03-20 2016-12-27 Qualcomm Incorporated Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology
US9635339B2 (en) 2015-08-14 2017-04-25 Qualcomm Incorporated Memory-efficient coded light error correction
US9846943B2 (en) 2015-08-31 2017-12-19 Qualcomm Incorporated Code domain power control for structured light

Also Published As

Publication number Publication date
HUE046551T2 (hu) 2020-03-30
US20170061634A1 (en) 2017-03-02
JP2018525636A (ja) 2018-09-06
WO2017040028A1 (en) 2017-03-09
CA2992598A1 (en) 2017-03-09
EP3344949A1 (en) 2018-07-11
JP2021051082A (ja) 2021-04-01
US20180068456A1 (en) 2018-03-08
KR20180044415A (ko) 2018-05-02
US9846943B2 (en) 2017-12-19
CN108419440A (zh) 2018-08-17
CN108419440B (zh) 2020-05-26
US10223801B2 (en) 2019-03-05
KR102168257B1 (ko) 2020-10-21
BR112018003954A2 (pt) 2018-09-25
BR112018003954B1 (pt) 2022-09-13
EP3344949B1 (en) 2019-11-27
ES2775512T3 (es) 2020-07-27

Similar Documents

Publication Publication Date Title
JP6847922B2 (ja) 構造化照明のためのコード領域パワー制御
US11509880B2 (en) Dynamic adjustment of light source power in structured light active depth sensing systems
CN107851310B (zh) 节省存储器的经译码光错误校正
US9948920B2 (en) Systems and methods for error correction in structured light
KR101950658B1 (ko) 구조형 광 깊이 맵들의 아웃라이어 검출 및 정정을 위한 방법들 및 장치들
CN109416837B (zh) 使用移位阴影轮廓的视差图中的对象重构
US9769461B2 (en) Adaptive structured light patterns
EP3555855B1 (en) Systems and methods for improved depth sensing
US9998218B2 (en) Apparatus and method for transmitting and receiving visible light data
US20210201519A1 (en) Alternating light distributions for active depth sensing

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190801

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200116

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200116

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200525

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201127

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20201127

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20201207

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20201214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210303

R150 Certificate of patent or registration of utility model

Ref document number: 6847922

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250