JP6449341B2 - コンテンツフィルタリングに基づく構造化光３次元（３ｄ）奥行きマップ - Google Patents

コンテンツフィルタリングに基づく構造化光３次元（３ｄ）奥行きマップ Download PDF

Info

Publication number
JP6449341B2
JP6449341B2 JP2016572239A JP2016572239A JP6449341B2 JP 6449341 B2 JP6449341 B2 JP 6449341B2 JP 2016572239 A JP2016572239 A JP 2016572239A JP 2016572239 A JP2016572239 A JP 2016572239A JP 6449341 B2 JP6449341 B2 JP 6449341B2
Authority
JP
Japan
Prior art keywords
depth
image data
depth value
data
pixel location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016572239A
Other languages
English (en)
Other versions
JP2017524909A (ja
Inventor
ヴィカス・ラマチャンドラ
カリン・ミトコフ・アタナッソフ
ジェームズ・ウィルソン・ナッシュ
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2017524909A publication Critical patent/JP2017524909A/ja
Application granted granted Critical
Publication of JP6449341B2 publication Critical patent/JP6449341B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration by non-spatial domain filtering
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Description

関連出願の相互参照
本出願は、それらの内容がそれら全体において参照により本明細書に明確に組み込まれている、2014年6月19日に出願した本願の譲受人が所有する米国仮特許出願第62/014,652号、および2015年6月18日に出願した米国非仮特許出願第14/743,980号の優先権を主張するものである。
本開示は、全体的には、コンテンツフィルタリングに基づく構造化光(structured light)3次元(3D)奥行きマップに関する。
技術の進歩は、より小型な装置とより強力なコンピューティングデバイスをもたらした。たとえば、小型、軽量で、ユーザによって容易に携帯されるポータブルワイヤレス電話、携帯情報端末(PDA)、およびページングデバイスなどのワイヤレスコンピューティングデバイスを含む、様々なポータブルパーソナルコンピューティングデバイスが現在存在している。より具体的には、セルラー電話、インターネットプロトコル(IP)電話のようなポータブルワイヤレス電話は、ワイヤレスネットワークを通じて音声およびデータパケットを通信することができる。さらに、多くのそのようなワイヤレス電話は、その中に組み込まれた他のタイプのデバイスを含む。たとえば、ワイヤレス電話はまた、デジタルスチルカメラ、デジタルビデオカメラ、デジタルレコーダ、およびオーディオファイルプレーヤを含み得る。また、そのようなワイヤレス電話は、インターネットにアクセスするために使用され得るウェブブラウザアプリケーションのようなソフトウェアアプリケーションを含む、実行可能命令を処理することができる。このように、これらのワイヤレス電話はかなりのコンピューティング能力を含み得る。
ワイヤレス電話などのワイヤレスデバイスは、3次元(3D)奥行きマップを生成するように構成され得る。たとえば、ワイヤレスデバイスは、3次元(3D)オブジェクトを含むシーンに照明パターン(たとえば、縦縞を有するマスク)を投影するように構成された奥行き推定のための構造化光システムを含み得、またはそれに関連付けられ得る。シーン上または3Dオブジェクト上の照明パターンは、典型的には、シーンまたは3Dオブジェクトの奥行き情報を符号化する。構造化光システムはまた、照明されたシーンの画像を取り込むように構成され得る。シーンの画像内の取り込まれたパターンに基づいて、シーン内の異なる奥行きを示す奥行きマップが生成され得る。しかしながら、奥行きマップは、偽陽性(たとえば、物体が存在しない場合に有効な奥行きデータを検出し、復号する)、偽陰性(たとえば、投影されたコード化光のパターンが画像内に検出されない場合、画像の影領域に基づく奥行き値が欠落する)、および/または復号エラー(たとえば、人体から反射された投影光のパターンを不正確に復号すること、および/または画像の処理中に生成されたエラーを復号すること)に基づく1つまたは複数の誤った奥行き値を含む可能性がある。
例示的な例では、方法は、受信機デバイスで、構造化光画像に対応する画像データを受信するステップを含む。方法は、投影されたコード化光のパターンに基づいて奥行き情報を復号するために画像データを処理するステップをさらに含む。奥行き情報は、奥行きマップに対応する。方法はまた、画像データに対して1つまたは複数のフィルタリング動作を実行するステップを含む。1つまたは複数のフィルタリング動作の出力は、フィルタリングされた画像データを含む。方法は、奥行き情報とフィルタリングされた画像データとの間の比較を実行するステップと、修正された奥行きマップを作成するために比較に基づいて奥行き情報を修正するステップとをさらに含む。
別の例示的な例では、デバイスは、投影されたコード化光のパターンに基づいて奥行き情報を復号するために、構造化光画像に対応する画像データを処理するように構成されたプロセッサを含む。プロセッサは、フィルタリングされた画像データを生成するために、画像データに対してフィルタリング動作を実行するようにさらに構成される。プロセッサは、奥行き情報とフィルタリングされた画像データとの間の比較に基づいて奥行き情報を修正するように構成される。デバイスはまた、修正された奥行き情報を記憶するように構成されたメモリを含む。
別の例示的な例では、装置は、構造化光画像に対応する画像データに基づいて、かつ、投影されたコード化光のパターンに基づいて奥行き情報を復号するための手段を含む。装置は、フィルタリングされた画像データを生成するために、画像データに対して1つまたは複数のフィルタリング動作を実行するための手段をさらに含む。装置は、奥行き情報とフィルタリングされた画像データとの間の比較に基づいて奥行き情報を修正するための手段をさらに含む。
別の例示的な例では、非一時的コンピュータ可読媒体は、投影されたコード化光のパターンに基づいて奥行き情報を復号するために、構造化光画像に対応する画像データを処理することを含む動作をプロセッサに実行させるためにプロセッサによって実行可能である命令を記憶する。命令は、フィルタリングされた画像データを生成するために、画像データに対して1つまたは複数のフィルタリング動作を実行することを含む動作をプロセッサにさらに実行させる。命令は、奥行き情報とフィルタリングされた画像データとの間の比較に基づいて奥行き情報を修正することを含む動作をプロセッサにさらに実行させる。
本開示の他の態様、利点、および特徴は、以下の段落、図面の簡単な説明と、詳細な説明と、特許請求の範囲を含む本出願全体の検討後に明らかになるであろう。
構造化光システムの受信機デバイスのブロック図である。 図1の受信機デバイスによって実行される処理段階を示す図である。 例示的な構造化光システムのブロック図である。 オブジェクトまたはシーンに基づいて奥行きを感知することの説明の図である。 奥行きマップを生成するように構成された例示的な構造化光システムのブロック図である。 奥行き情報を修正する方法の第1の例示的な例のフロー図である。 奥行き情報を修正する方法の第2の例示的な例のフロー図である。 図1のシステムを使用して画像内に含まれる線分を検出および/または追跡するために画像データを処理するためのデバイスのブロック図である。
本開示の特定の態様は、図面を参照して以下に説明される。説明では、図面全体を通じて共通の特徴が共通の参照番号によって示される。
モバイルデバイスなどのデバイスは、コンテンツフィルタリングに基づいて、構造化光3次元(3D)奥行きマップを生成するように構成され得る。デバイスは、投影されたコード化光のパターンに基づくピクセル強度値を含む、構造化光画像などの画像を受け取り得る。デバイスは、パターンに基づいて奥行き情報を復号し、奥行きマップ(たとえば、奥行き値)を生成するために画像を処理し得る。デバイスはまた、セグメント化マップなどの、フィルタリングされた画像データを生成するために画像を処理し得る。たとえば、フィルタリングされた画像データは、ぼかし(blurring)フィルタ、ローパスフィルタ、バンドパスフィルタ、および/またはトータルバリエーション(total variation)フィルタを用いることなどによって、画像をフィルタリングすることによって生成され得る。例示するために、1つまたは複数のフィルタリング動作は、画像内に含まれる投影されたコード化光のパターンの存在を低減または排除するために画像に適用され得る。奥行きマップは、奥行きマップに関連付けられた欠落したおよび/または不正確な奥行き値を識別するために、フィルタリングされた画像データと比較され得る。奥行きマップ(たとえば、奥行き値)は、欠落した奥行き値のための奥行き値を生成するため、および/または、不正確な奥行き値を訂正するために、フィルタリングされた画像データと奥行きマップとの間の比較に基づいて修正され得る。
開示された態様の少なくとも1つによって提供される1つの特定の利点は、フィルタリングされた画像データを生成し、フィルタリングされた画像データを奥行き情報と比較することによって、奥行き情報に関連付けられた欠落したおよび/または不正確な奥行き値が識別され得、訂正され得ることである。たとえば、欠落したおよび/または不正確な奥行き値は、偽陽性、偽陰性、および/または復号エラーに基づき得る。欠落したおよび/または不正確な奥行き値を訂正することによって、奥行き情報は、修正され得る(たとえば、訂正され得る)。欠落したおよび/または不正確な奥行き値を訂正することは、オブジェクト検出アプリケーションなどの他のアプリケーションによる、(たとえば、奥行きマップに対応する)修正された奥行き情報の改善された処理を可能にし得る。
図1を参照すると、構造化光システム100の受信機デバイス102の例示的な例が示されている。構造化光システム100は、送信機デバイス(図示せず)と受信機デバイス102とを含み得る。構造化光システム100は、電子デバイスなどの1つまたは複数のデバイス内に含まれ得るおよび/または埋め込まれ得る。具体的な実施態様では、電子デバイス(たとえば、受信機デバイス102)は、画像を取り込むように構成されたカメラなどの画像センサを含むモバイルデバイスであり得る。たとえば、電子デバイスは、画像を取り込み得、対応する画像データ110を生成し得る。
受信機デバイス102は、画像データ110を生成または受信するように構成され得る。画像データ110は、反射されたコードマスクを含む画像に対応し得る。たとえば、送信機デバイス(図示せず)は、1つまたは複数のコードワードを含むコードマスクをオブジェクトまたはシーン上に投影し得る。各コードワードは、構造化光の対応するパターンを有し得、コードマスク内の既知の位置に配置され得る。オブジェクトまたはシーンからのコードマスクの反射は、カメラなどの受信機センサによって画像として取り込まれ得る。投影されたコードマスクと比較した反射されたコードマスクにおける(たとえば、1つまたは複数のコードワードの)コードマスクのシフトは、本明細書でさらに説明するように、投影されたコードマスクを反映したオブジェクトまたはシーンに関連付けられた奥行き情報および/または形状情報を「符号化」し得る(たとえば、それらを決定するために使用され得る)。画像は、複数のピクセルを含み得、または複数のピクセルに対応し得、ここで、各ピクセルは、対応するピクセル強度値を有する。ピクセル強度値は、画像データ110内に含まれ得、受信機デバイス102に提供され得る。いくつかの実施態様では、受信機デバイス102は、画像を取り込み、画像に基づいて画像データ110を生成する受信機センサを含み得る。受信機デバイス102および/または受信機センサは、送信機デバイスによって投影されたコードマスクと、したがって、投影されたコードマスク内に含まれる1つまたは複数のコードワードの位置とを認識し得る(たとえば、知り得る)。
受信機デバイス102は、奥行きマップ生成器120と、フィルタ130と、奥行き修正器140と、メモリ160とを含み得る。受信機デバイス102によって受信された画像データ110は、奥行きマップ生成器120およびフィルタ130に提供され得る。画像データ110はまた、メモリ106に提供され、記憶され得る。
奥行きマップ生成器120は、画像データ110に基づいて奥行き情報122aを生成するように構成され得る。たとえば、奥行きマップ生成器120は、画像データ110(たとえば、画像)に含まれる1つまたは複数のコードワードを識別するために画像データ110を処理し得る。たとえば、特定のコードワードは、ピクセル強度値の特定のグループに対応する構造化光の特定のパターンを含み得る。奥行きマップ生成器120は、画像データ110に含まれるピクセル強度値の特定のグループを識別し得、ピクセル強度値のグループに対応する画像の位置(たとえば、反射されたコードマスクの画像内のコードワードの位置)を決定し得る。
各々の検出されたコードワードについて、奥行きマップ生成器120は、コードワードの決定された位置を、投影されたコードマスク内のコードワードの元の位置と比較し得る。たとえば、奥行きマップ生成器120は、投影されたコードマスクの受信された反射内のコードワードと比較した、投影されたコードマスク内のコードワードの変位(たとえば、距離)を決定し得る。変位に基づいて、奥行きマップ生成器120は、コードワードに対応する1つまたは複数の奥行き値を決定するために、三角測量技法および/または立体画像処理技法などの1つまたは複数の技法を使用し得る。したがって、受信されたコードワード部分と送信されたコードワード部分との間の差は、特定のオブジェクト(または、その一部)の奥行き(たとえば、奥行き値)を決定するために使用され得る。例示するために、コードワードについて決定された各奥行き値は、ピクセル強度値の特定のグループに含まれる異なるピクセル強度値に関連付けられ得、および/またはそれに対応し得る。したがって、各奥行き値は、画像に対応する複数のピクセルの異なるピクセル位置に対応し得る。したがって、奥行きマップ生成器120は、(たとえば、画像データ110内に含まれる1つまたは複数のピクセル強度値について)反射されたコードワードに基づいて画像の1つまたは複数のピクセルのための奥行き値を含む奥行き情報122aを生成し得る。奥行き情報122aは、画像内のオブジェクトまたはシーンに関連付けられた1つまたは複数の奥行き値を示す奥行きマップに対応し得る。
奥行き情報122aは、1つまたは複数の不正確な奥行き値などの不正確な奥行きデータを含み得る。不正確な奥行き値は、偽陽性、偽陰性、復号エラー、またはそれらの組合せに基づき得る。偽陽性は、画像内に含まれるオブジェクトが存在しない場合に深さデータを検出し、復号することに関連し得る。偽陰性は、投影されたコード化光のパターン(たとえば、コードワード)が画像内で検出されない場合に、画像の影領域に基づく奥行き値の欠落に関連し得る。復号エラーは、人体などのオブジェクトから反射された投影光のパターンを不正確に復号すること、および/または、画像データ110の処理中に奥行きマップ生成器120によって生成されたエラーを復号するなど、画像の処理中に生成されたエラーを復号することに関連し得る。
フィルタ130は、画像データ110を受信し、フィルタリングされた画像データ132を生成するように構成され得る。フィルタリングされた画像データ132は、画像データ110内に含まれる各ピクセル強度値に関するフィルタリングされた強度データ値(たとえば、画像に対応する各ピクセルに関するフィルタリングされた強度値)を含み得る。たとえば、フィルタ130は、フィルタリングされた画像データ132を生成するために、画像データ110に対して1つまたは複数のフィルタリング動作を実行し得る。1つまたは複数のフィルタリング動作は、例示的で非限定的な例として、ぼかしフィルタリング動作、ローパスフィルタリング動作、バンドパスフィルタリング動作、および/またはトータルバリエーションフィルタリング動作を含み得る。1つまたは複数のフィルタリング動作は、投影光のパターンに対応する画像データ110の成分を低減または排除するように構成され得る。投影光のパターンに対応する画像データ110の成分をフィルタリング除去することによって、フィルタ130は、画像取込みデバイスの視野内に含まれるオブジェクトまたはシーンを表すフィルタリングされた画像を生成し得る。いくつかの実施態様では、1つまたは複数のフィルタリング動作は、画像内に含まれる同様の反射率を有する1つまたは複数のオブジェクトなどの、同様の反射率を有する画像の部分に対応するピクセル強度値のグループを識別するために使用され得る。たとえば、フィルタ130は、フィルタリングされた画像データ132を生成するために、画像データ110に対して1つまたは複数のフィルタリング動作の1回または複数回の反復を実行し得る。
フィルタリングされた画像データ132は、画像データ110内のピクセル強度値の数と奥行き情報122a内の奥行き値の数と同じ数のフィルタリングされた画像データ値を含み得る。例示するために、画像データ110内に含まれるピクセル強度値の各々は、画像に関連付けられたピクセルに対応し得る。奥行きマップ生成器120は、各奥行き値が画像の異なるピクセルに対応するように、画像データ110内に含まれる各ピクセル強度値に関する奥行き値を生成するために画像データ110を処理し得る。加えて、フィルタ130は、各々のフィルタリングされた画像データ値が画像の異なるピクセルに対応するように、画像データ110内に含まれる各ピクセル強度値に関するフィルタリングされた画像データ値を生成するために画像データ110を処理し得る。
奥行き修正器140は、奥行き情報122aおよびフィルタリングされた画像データ132を受信するように構成され得る。奥行き修正器140は、比較ロジック150を含み得る。比較ロジック150は、(画像の奥行きマップに対応する)奥行き情報122aと、(画像のフィルタリングされたバージョンに対応する)フィルタリングされた画像データ132とを比較するように構成され得る。たとえば、比較ロジック150は、奥行き情報122aとフィルタリングされた画像データ132との間のピクセルごとの比較を実行するように構成され得る。
奥行き情報122aとフィルタリングされた画像データ132との比較に基づいて、比較ロジック150は、奥行き情報122a内に含まれる有効な奥行きデータおよび/または無効な奥行きデータ(たとえば、不正確な奥行きデータ)を識別し得る。たとえば、比較ロジック150は、(画像のピクセル位置に対応する)奥行きデータ値および(画像の同じピクセル位置に対応する)フィルタリングされた画像データ値が、オブジェクトがピクセル位置に存在することを両方とも示すとき、または、オブジェクトがピクセル位置に存在しないことを両方とも示すとき、奥行き情報122a内に含まれる奥行き値を有効であると識別し得る。別の例として、比較ロジック150は、(画像のピクセル位置に対応する)奥行きデータ値および(画像の同じピクセル位置に対応する)フィルタリングされた画像データ値が、オブジェクトがピクセル位置に存在するかどうかの異なる指示を提供するとき、奥行き情報122a内に含まれる奥行き値を無効(たとえば、不正確な奥行きデータ)であると識別し得る。
無効(たとえば、不正確な奥行きデータ)として識別された奥行き値は、不正確な奥行き値および/または欠損した奥行き値を含み得、またはそれに対応し得る。無効な奥行き値は、(画像のピクセル位置に対応する)奥行きデータ値が、オブジェクトがピクセル位置に存在することを示し、(画像のピクセル位置に対応する)フィルタリングされた画像データ値が、オブジェクトがピクセル位置に存在することを示さないとき、識別され得る。欠損した奥行き値は、(画像のピクセル位置に対応する)奥行きデータ値が、オブジェクトがピクセル位置に存在することを示さず、(画像のピクセル位置に対応する)フィルタリングされた画像データ値が、オブジェクトがピクセル位置に存在することを示すとき、識別され得る。
奥行き修正器140は、無効な(不正確な)奥行きデータとして比較ロジック150によって識別された奥行き情報122a内に含まれる1つまたは複数の奥行きデータ値を修正するように構成され得る。たとえば、奥行き修正器140は、無効な奥行き値を識別し得、オブジェクトがピクセル位置に存在しないことを代わりに示すように、(オブジェクトがピクセル位置に存在することを示す)無効な奥行き値を修正(たとえば、変更)し得る。
別の例として、奥行き修正器140は、欠損した奥行き値を識別し得、オブジェクトがピクセル位置に存在することを代わりに示すように、(オブジェクトがピクセル位置に存在しないことを示す)欠損した奥行き値を修正(たとえば、変更)し得る。奥行き修正器140は、フィルタリングされた画像データ132に基づいて欠損した奥行き値を修正し得る。例示するため、奥行き修正器140は、欠損した奥行き値に対応する画像の特定のピクセルを識別し得る。奥行き修正器140は、特定のピクセルに対応する(フィルタリングされた画像データ132内に含まれる)特定のフィルタリングされた画像データ値を識別し得る。フィルタリングされた画像データ値に基づいて、奥行き修正器140は、特定のピクセルに近い(たとえば、特定のピクセルからしきい値距離内の)画像の1つまたは複数のピクセルを識別し得る。1つまたは複数のピクセルの各々は、特定のフィルタリングされた画像データ値と同様のフィルタリングされた画像データ値に対応し得、有効であると識別された奥行き値に対応し得る。奥行き修正器140は、1つまたは複数のピクセルに基づいて特定の奥行き値を決定し得、欠落した奥行き値を特定の奥行き値に修正(たとえば、設定)し得る。たとえば、1つまたは複数のピクセルの各々について、奥行き修正器140は、奥行き情報122内に含まれる対応する奥行き値を決定し得、1つまたは複数のピクセルに対応する奥行き値の中央値として特定の奥行き値を生成し得る。
奥行き情報122aを修正(たとえば、訂正)した後、奥行き修正器140は、奥行き情報122aの訂正されたバージョンを、修正された奥行き情報122bとして出力し得る。修正された奥行き情報122bは、奥行き情報122aよりも正確であり得る。修正された奥行き情報122bは、画像内に含まれる1つまたは複数のオブジェクトの奥行き値を含む(画像の)奥行きマップに対応し得る。奥行き修正器140は、修正された奥行き情報122bをメモリ160に送り得る。メモリ160は、奥行き修正器140から修正された奥行き情報122bを受信し、修正された奥行き情報122bを記憶するように構成され得る。
構造化光システム100の動作中、受信機デバイス102は、画像データ110を生成または受信し得、画像データ110を奥行きマップ生成器120およびフィルタ130に提供し得る。画像データ110は、受信機デバイス102内に含まれる画像取込みセンサなどの、画像を取り込むように構成された画像取込みセンサから受信され得る。画像データ110は、投影されたコードマスクの反射に基づいて「符号化された」奥行き情報を有する画像に対応し得る。
たとえば、投影されたコードマスクは、受信機デバイス102が1つまたは複数のパターンを反映するオブジェクトの奥行きを決定することを可能にする構造化光の1つまたは複数のパターン(たとえば、1つまたは複数のコードワード)に関連付けられ得る。
受信機デバイス102(たとえば、奥行きマップ生成器120)は、奥行き情報122aを生成するために画像データ110を処理し得る。たとえば、奥行きマップ生成器120は、投影されたコード化光のパターン(たとえば、コードワード)に基づいて画像内に含まれる奥行き情報を復号するために画像データ110を処理し得る。奥行き情報122aは、画像に関連付けられた奥行きマップに対応し得る。加えて、受信機デバイス102(たとえば、フィルタ130)は、フィルタリングされた画像データ132を生成するために画像データ110を処理し得る。たとえば、ぼかしフィルタ、トータルバリエーションフィルタ、またはそれらの組合せが、フィルタリングされた画像データを生成するために画像データ110をフィルタリングするために適用され得る。フィルタリングされた画像データは、同様の反射率を有する画像内の領域(または、オブジェクト)に関連付けられ得る。いくつかの実施態様では、フィルタリングされた画像データ132は、画像のセグメント化マップに関連付けられ得る。
奥行き情報122a内に含まれる不正確な奥行きデータ(たとえば、不正確な奥行き値および/または欠落した奥行き値)を識別するために、奥行き情報122aとフィルタリングされた画像データ132との間で比較が実行され得る。たとえば、比較は、奥行き情報122aとフィルタリングされた画像データ132との間のピクセルごとの比較に対応し得る。受信機デバイス102は、修正された奥行き情報122bを生成するために不正確な奥行きデータを修正(たとえば、訂正)し得る。
奥行きマップ生成器120、フィルタ130、および奥行き修正器140は、別々の構成要素として示されているが、奥行きマップ生成器120、フィルタ130、および奥行き修正器140のうちの1つまたは複数は、単一の構成要素内に含まれ得る。比較ロジック150は、奥行き修正器140内に含まれているものとして示されているが、他の実施態様では、比較ロジック150は、奥行き修正器140と別個であり得る。奥行きマップ生成器120、フィルタ130、奥行き修正器140、および/または比較ロジック150の各々は、1つまたは複数のハードウェア構成要素、ソフトウェア、またはそれらの組合せで具体化され得る。
特定の実施態様では、奥行き修正器140は、不正確な奥行きデータに対応する奥行きマップの特定のピクセル位置を識別する。奥行き修正器140は、フィルタリングされた画像データ132に基づいて、特定のピクセル位置に対応する特定のフィルタリングされた画像データ値を決定し得、特定のピクセル位置に基づいて、画像(たとえば、奥行きマップ)に関連付けられた領域を選択し得る。領域は、特定のピクセル位置を含む複数のピクセル位置に関連付けられ得る。受信機デバイス102は、複数のピクセル位置のうちの1つまたは複数のピクセル位置のセットを識別し、1つまたは複数のピクセル位置のセットに対応する奥行きデータに基づいて特定の奥行き値を決定し得る。受信機デバイス102は、修正された奥行き情報122bを生成するために、特定の奥行き値に基づいて特定のピクセル位置に対応する不正確な奥行きデータを更新し得る。
2つの異なる構成要素(たとえば、奥行きマップ生成器120およびフィルタ130)を使用して画像データ110を処理することによって、受信機デバイス102は、受信機デバイス102の単一の画像取込みデバイスによって取り込まれたデータの単一のセット(たとえば、画像データ110)に基づいて、奥行き情報122aおよびフィルタリングされた画像データ132などのデータの2つのセットを生成し得る。したがって、フィルタリングされた画像データ132を生成し、フィルタリングされた画像データ132を奥行き情報122aと比較することによって、奥行き情報122aに関連付けられた欠損した奥行き値および/または不正確な奥行き値は、識別され、訂正され得る。たとえば、欠損した奥行き値および/または不正確な奥行き値は、偽陽性、偽陰性、および/または復号エラーに基づき得る。欠損した奥行き値および/または不正確な奥行き値を訂正することによって、奥行き情報122aは、修正され得る(たとえば、訂正され得る)。欠損した奥行き値および/または不正確な奥行き値を訂正することは、オブジェクト検出アプリケーションなどの他のアプリケーションによる(たとえば、奥行きマップに対応する)修正された奥行き情報122bの改善された処理を可能にし得る。
図2を参照すると、図1の受信機デバイス102によって実行される処理段階を例示する例示的な例が示されている。構造化光画像の一例が示され、全体として200で示されている。構造化光画像は、図1の受信機デバイス102によって受信され、奥行きマップ生成器120およびフィルタ130に提供される画像データ110を含み得、またはそれに対応し得る。構造化光画像200は、3Dオブジェクト上に投影され、3Dオブジェクトから反射された構造化光(たとえば、縦縞に対応する符号化)を検出するカメラによって生成され得る。
典型的な奥行きマップ画像の一例が示され、全体として210で示されている。奥行きマップ画像210では、異なる色は、異なる奥行きを示す。奥行きマップ画像210は、図1の奥行き情報122aに対応し得る。奥行きマップ画像210は、構造化光画像200と同じ数のピクセルを含み得、各ピクセルは、対応する奥行きデータ値を有し得る。奥行きマップ画像210は、構造化光画像200に基づき得る。たとえば、構造化光画像200の光パターン(たとえば、コードマスクの反射)は、奥行きマップ画像210を生成するために復号され得る。たとえば、構造化光画像200は、画像データ110を処理した後、奥行きマップ生成器120によって生成された奥行き情報122aを表し得る。
奥行きマップ画像210は、第1の不正確な値212、第2の不正確な値214、および第3の不正確な値216などの、1つまたは複数の不正確な奥行き値を含む。第1の不正確な値212は、構造化光画像200内の1つまたは複数のオブジェクトの影の領域によって引き起こされる偽陽性(たとえば、なにも存在するべきではない奥行きデータ)に対応し得る。第2の不正確な値214は、不適切に復号されたデータ(たとえば、復号エラー)に基づく欠損した奥行き値に対応し得る。第3の不正確な値216は、偽陰性(たとえば、奥行きデータが存在すべきである場合に奥行きデータがない)に基づく欠損した奥行き値に対応し得る。
典型的なフィルタリングされた画像の一例が示され、全体として220で示されている。フィルタリングされた画像220は、図1のフィルタリングされた画像データ132に対応し得る。フィルタリングされた画像220は、構造化光画像200と同じ数のピクセルを含み得、各ピクセルは、対応するフィルタリングされた画像データ値を有し得る。フィルタリングされた画像220は、構造化光画像200に基づき得る。たとえば、構造化光画像200は、フィルタリングされた画像220を生成するために、同様の反射率を有する画像の部分を識別するために処理され得る(たとえば、ぼかしフィルタおよび/またはトータルバリエーションフィルタを使用することなどによってフィルタリングされ得る)。処理は、エッジ領域にわたる画像の領域をぼかし得ない。したがって、フィルタリングされた画像220は、同様の反射率を有する構造化光画像200の統合された部分を識別し得る。
典型的な中間奥行きマップ画像の一例が示され、全体として230で示されている。中間奥行きマップ画像230は、構造化光画像200と同じ数をピクセルを含み得る。中間奥行きマップ画像230では、異なる色は、異なる奥行きを示すが、奥行きマップ画像210内に含まれる色に直接対応しない。中間奥行きマップ画像230では、本明細書でさらに説明するように、赤色は、奥行きマップ画像210内で識別される不正確な奥行きデータを示す。
中間奥行きマップ画像230は、不正確な奥行きデータを識別するために、奥行きマップ画像210とフィルタリングされた画像220との間の比較に対応し得る。たとえば、比較は、奥行き情報122aとフィルタリングされた画像データ132とを比較するために比較ロジック150によって実行される比較を含み得、またはそれに対応し得る。たとえば、奥行きマップ画像210とフィルタリングされた画像220との間のピクセルごとの比較は、無効な奥行きデータ値(たとえば、影に基づく誤った値)を識別するために実行され得る。例示するために、奥行きマップ画像210は、(第1の不正確な値212に対応する)第1のピクセルが第1の奥行き値を有することを示し得る。しかしながら、第1のピクセルは、第1のピクセルの位置にオブジェクトが存在しないことを示す、フィルタリングされた画像220内のきわめて低い反射率値を有し得る。したがって、第1の奥行き値は、無効であると識別され得る。第1の奥行き値は、中間奥行きマップ画像230内に示されているように、オブジェクトが存在しないことを示すように訂正され得る。
追加で、または代替的に、ピクセルごとの比較は、欠損した奥行きデータ値を識別し得る。例示するために、奥行きマップ画像210は、(第3の不正確な値216に対応する)第2のピクセルが奥行き値を持たないことを示し得るが、フィルタリングされた画像220は、反射オブジェクトが第2のピクセルの位置に存在することを示し得る。したがって、奥行きマップ画像210の一部は、(中間奥行きマップ画像230内で赤色によって示されるように)欠損した奥行きデータを有するとして識別され得る。したがって、ピクセルごとの比較に基づいて、無効な奥行き値は、訂正され得、欠損した奥行き値は、識別され得る。したがって、中間奥行きマップ画像230は、無効な奥行きデータの訂正後、および(栗色領域として示される)欠損した奥行きデータの識別後の奥行きマップ画像210のバージョンを示す。
修正された奥行きマップ画像の一例が示され、全体として240で示されている。修正された奥行きマップ画像240は、図1の修正された奥行き情報122bに対応し得る。修正された奥行きマップ画像240は、構造化光画像200と同じ数のピクセルを含み得る。修正された奥行きマップ画像240では、異なる色は、異なる奥行きを示すが、奥行きマップ画像210内に含まれる色、または中間奥行きマップ画像230に直接対応しない。
修正された奥行きマップ画像240では、ピクセルごとの比較に基づいて識別された欠損した奥行き値は、入力(populate)され、奥行きマップ内に含まれ得る。たとえば、奥行きマップ画像210および/または中間奥行きマップ画像230に対応する奥行き情報は、欠損した奥行き値を含むように修正され得る。奥行きマップ画像210(または、中間奥行きマップ画像230)の特定のピクセルに対応する特定の欠損した奥行き値を入力するために、ウィンドウが、特定のピクセルの周囲の奥行きマップ画像210内に設定され得、有効な奥行きデータを有するウィンドウ内の1つまたは複数のピクセル(たとえば、奥行きデータを欠損していない1つまたは複数のピクセル)が識別され得る。有効な奥行きデータを有するウィンドウ内の1つまたは複数のピクセルの各々について、(フィルタリングされた画像220に基づく)対応する反射率値が決定され得る。(欠損した奥行き値を持たない)特定のピクセルに対応する反射率値と同様の反射率値を有する1つまたは複数のピクセルのセットが識別され得る。中央奥行き値は、ピクセルのセットの有効な奥行き値に基づいて決定され得、特定のピクセルの欠損した奥行き値は、中央奥行き値として設定され得る。したがって、修正された奥行きマップ画像240に示されているように、欠損した奥行き値は、入力されている。たとえば、欠損した指に関する欠損した奥行き値は、入力(たとえば、記入)され得る。加えて、上記で説明したエラー識別技法および奥行き値修正技法に基づいて、鼻、口、および耳などの、顔のより詳細な細部は、奥行きマップ画像210と比較して、修正された奥行きマップ画像240において達成されている。
図3を参照すると、構造化光システム300が示されている。構造化光システム300は、シーンまたはオブジェクトを照明し、2次元(2D)画像および/または2D情報から3次元(3D)情報を生成するための奥行き情報を取得するために既知のパターンを使用し得る。構造化光システム300は、送信機デバイス301および受信機デバイス102を含み得る。
送信機デバイス301は、1つまたは複数のコードワードをオブジェクト306(および/またはシーン)上に投影するために、コードマスク304(たとえば、コードを有する画像)を介してライトフィールドを投影するように構成され得る。たとえば、送信機内に含まれるエンコーダ/形状変調器は、コードマスク304を生成するように構成され得、コードマスク304は、次いで、送信チャネルを介して送信機デバイス301によって投影される(たとえば、チャネルは、複合コードマスクが投影されるべき経路および/または軌道を含む)。コードマスク304は、オブジェクト306(たとえば、ターゲット)上に投影され得る。
受信機デバイス102は、投影されたコードマスク310と、その中の1つまたは複数のコードワードとを取り込むように構成され得る。たとえば、受信機デバイス102に結合された、または受信機デバイス102内に含まれる受信機センサは、オブジェクト306の画像を取り込むなどの、オブジェクト306から反射された光を取り込むように構成され得る。オブジェクト306(たとえば、ターゲット)の形状および/または奥行きは、画像内に「符号化」され得る。たとえば、投影されたコードマスクから投影されたコードマスクの取り込まれた反射への特定のコードワードのシフト(たとえば、変位)は、投影されたコードマスクを反射したオブジェクトの奥行き値を表し得る(たとえば、符号化し得る)。例示するために、画像内で取り込まれた投影されたコードマスク310(たとえば、オブジェクト306からのコードマスク304の反射)は、オブジェクト306の形状および/または奥行きを決定するために受信機デバイス102によって使用され得る。受信機デバイス102は、図4に関連してさらに説明するように、奥行きマップ307(たとえば、図1の奥行き情報122aなどの奥行きデータ)を得るために、取り込まれた画像(たとえば、図1の画像データ110などの画像データ)を「復号」し得る。奥行きマップ307は、オブジェクト306(たとえば、ターゲット)の3Dバージョン(たとえば、3D画像)を生成、提示、および/または提供するために、受信機デバイス102内に含まれるアプリケーションなどによって使用され得る。受信機デバイス102は、偽陽性、偽陰性、および/または復号エラーから生じるエラーなどの奥行きマップデータエラーを訂正する奥行き修正器140を含み得る。たとえば、奥行き修正器140は、修正された奥行きマップを生成するために、奥行きマップ307を修正し得る。
図3に示すように、コードマスク304のセクション/部分/ウィンドウ312は、オブジェクト306の表面(たとえば、投影されたセクション/部分/ウィンドウ316)上に(セクション/部分/ウィンドウ314として)投影される。投影されたセクション/部分/ウィンドウ316は、次いで、取り込まれたセグメント318として受信機デバイス102によって取り込まれ得る。セクション/部分/ウィンドウ312は、一意的に識別され得るコードワードとして使用され得る。したがって、この方法で1つまたは複数の一意的なコードワードでオブジェクト306(および/またはシーン)をカバーすることによって、オブジェクト306(および/またはシーン)のセクション/部分は、識別/タグ付けされ得、1つまたは複数の一意的なコードワードは、受信機デバイス102による奥行き検知のために使用され得る。
受信機デバイス102によって取り込まれた画像から、複数のセグメント(たとえば、複数のコードワード)は、オブジェクト306(または、シーン)上で識別され得る。各セグメント318は、受信機デバイス102において一意的に識別可能であり得、他のセグメントに対する特定のセグメントの位置は、コードマスク304の既知のパターンから確認され得る。各セグメント/部分/ウィンドウからのコード(たとえば、コードワード)の識別は、(たとえば、歪みに対処するための)パターンセグメント化と、対応するコードへの知覚されたセグメント/部分/ウィンドウの復号とを伴い得る。加えて、向きおよび/または奥行きを確認するために、各々の取り込まれたセグメント/部分/ウィンドウにわたって三角測量が適用され得る。複数のそのようなセグメント/部分/ウィンドウは、取り込まれた画像パターンをつなぎ合わせる(stitch together)ために組み合わされ得る。このようにして、奥行きのマップ(たとえば、図1の奥行き情報122aなどの奥行きマップ)が、オブジェクト306(または、シーン)について生成され得る。
図4を参照すると、奥行き(たとえば、奥行きデータ)がオブジェクトまたはシーンに対してどのように感知され得るのかの一例が示されており、全体として400で示されている。送信機デバイス301は、受信機デバイス102と同じベースライン基準面(たとえば、レンズ面405)上に配置され得る。送信機デバイス301および/または受信機デバイス102は、図1の構造化光システム100および/または図3の構造化光システム300内に含まれ得、またはそれらに対応し得る。
送信機デバイス301は、開口部またはレンズを介してシーンまたはオブジェクト上にコードマスク410を投影し得る。たとえば、送信機デバイス301は、コードマスク410を生成するために使用され得る様々なタイプの変調およびコーディング方式を使用し得る。これらの変調およびコーディング方式は、例示的で非限定的な例として、時間コーディングと、空間コーディングと、直接コード化(direct codification)とを含み得る。コードマスク410は、図3のコードマスク304を含み得る、またはそれに対応し得る。例示の目的のため、(コードワードを表す)投影されたセグメント/部分/ウィンドウ412は、送信されるコードマスク410の一部として示されている。このコードセグメント/部分/ウィンドウ412は、送信機デバイス301から第1の距離で第1のシーン(たとえば、第1のオブジェクト406)上に投影され得、および/または、送信機デバイス301から第2の距離で第2のシーン(たとえば、第2のオブジェクト408)上に投影され得る。第1のオブジェクト406または第2のオブジェクト408は、図3のオブジェクト306を含み得、またはそれに対応し得る。
受信機デバイス102内に含まれる、または受信機デバイス102に結合されたセンサ(たとえば、カメラ)は、1つまたは複数のオブジェクトからの投影されたコードマスク410の反射などの、受信機開口部を介して投影されたコードマスク410の画像(たとえば、受信されたコードマスク411)を取り込み得る。例示の目的のために、送信されたコードマスク310は、受信されたコードマスク411と同じセンサ平面407上に示されている。センサによって取り込まれた画像は、図1の画像データ110などの画像データに変換され得(たとえば、画像データとして表され得)、受信機デバイス102に提供される。画像データは、画像に関連付けられたピクセル強度値を含み得、またはそれに対応し得る。受信機デバイス102は、偽陽性、偽陰性、および/または復号エラーから生じたエラーなどの、受信機デバイス102によって生成された奥行きマップ内に含まれる奥行きマップデータエラーを訂正する奥行き修正器140を含み得る。
第1のオブジェクト406が(第2のオブジェクト408と比較して)送信機デバイス301のより近く(たとえば、送信機デバイス301から第1の距離)にあるとき、投影されたセグメント412の反射は、送信機デバイス301によって送信されたようにその初期位置から距離d1に現れる。第2のオブジェクト408が(第1のオブジェクト406と比較して)送信機デバイス301からより遠く(たとえば、送信機デバイスから第2の距離)に位置するとき、投影されたセグメント/部分/ウィンドウ412の反射は、送信機デバイスによって送信されたようにその初期位置から距離d2に現れる(ここで、d2>d1)。したがって、オブジェクトが送信機/受信機から遠ざかるほど、受信される投影されたセグメント/部分/ウィンドウは、受信機デバイス102におけるその元の位置により近づく(たとえば、出て行く投影および入ってくる投影は、より平行になる)。反対に、オブジェクトが送信機/受信機に近づくほど、受信される投影されたセグメント/部分/ウィンドウは、受信機デバイス102におけるその元の位置からより遠ざかる。したがって、受信されたコードワード位置と送信されたコードワード位置との間の差は、特定のオブジェクトの奥行き(たとえば、奥行き値)を決定するために使用され得る。たとえば、奥行き(たとえば、相対的奥行き)は、画像に関連付けられたグループ化されたピクセル(たとえば、2つ以上のピクセルの領域)の各ピクセルまたはサブセットに関する奥行き値を提供し得る。したがって、反射されたコードワードを受信する画像のピクセルに対応する奥行き情報(たとえば、奥行き値)は、投影されたコードマスク内のコードワードの位置に対する反射されたコードワードの変位に基づいて決定され得る。
図5を参照すると、構造化光システムの別の例が示されており、全体として500で示されている。構造化光システム500は、送信機デバイス301および受信機デバイス102を含む。構造化光システム500は、図1の構造化光システム100および/または図3の構造化光システム300を含み得、またはそれらに対応し得る。
送信機デバイス301は、コードマスク(たとえば、構造化光のパターン)を生成するように、および/またはコードマスクを投影するように構成され得る。コードマスクは、1つまたは複数のコードワードを含み得、またはそれに対応し得る。たとえば、コードマスクは、図3のコードマスク304または図4のコードマスク410を含み得る。送信機デバイス301は、メモリ/記憶デバイス510、画像投影デバイス518、および/または記憶媒体526に結合された処理回路520を含み得る。
処理回路520は、コードマスク生成器/選択器522および/または事前整形(pre-shaping)回路524を含み得る。コードマスク生成器/選択器522は、メモリ/記憶デバイス510に記憶された1つまたは複数の予め記憶されたコードマスク512を選択するように構成され得る。たとえば、コードマスク生成器/選択器522は、1つまたは複数の予め記憶されたコードマスク512から、コードマスク528などの特定のコードマスクを選択し得る。処理回路520は、記憶媒体526に記憶されるべき選択されたコードマスク(たとえば、コードマスク528)を送り得る。事前整形回路524は、コードマスク528が投影されるべきチャネルにおける予想される歪みを補償するために、選択された特定のコードマスクを事前整形するように構成され得る(たとえば、チャネルは、複合コードマスクが投影されるべき経路および/または軌道を含む)。事前整形回路524は、記憶媒体526にコードマスク528を記憶する前に、または、記憶媒体526に記憶した後だが、コードマスク528が画像投影デバイス518に提供される前に、コードマスク528を事前整形し得る。
記憶媒体526は、コードマスク528を記憶し得る。コードマスク528は、1つまたは複数の一意的に識別可能な空間的にコード化されたコードワード(たとえば、一意的に識別可能な構造化光のパターン)などの、複数のシンボルによって定義された1つまたは複数のコードワードを含み得る。コードマスク528は、投影の前に合成点像分布関数によって(たとえば、事前整形回路524によって)事前整形され得る。記憶媒体526は、単一のコードマスクを含むように示されているが、記憶媒体526は、複数のコードマスクを含み得る。メモリ/記憶デバイス510および記憶媒体526は、別個の構成要素として示されているが、他の実施態様では、メモリ/記憶デバイス510および記憶媒体526は、単一のメモリ構成要素を含み得る。
画像投影デバイス518は、オブジェクト530などの対象のオブジェクト上に選択された特定のコードマスク(たとえば、コードマスク528)を投影するように構成され得る。たとえば、画像投影デバイス518は、構造化光のパターン531としてオブジェクト530上にコードマスク528を投影し得る。画像投影デバイス518は、(たとえば、投影チャネルを介して)対象のオブジェクト上に選択された特定のコードマスクを投影するレーザまたは別の光源を含み得る。たとえば、コードマスク528は、コードマスク528が肉眼で見えないように、赤外線スペクトルにおいて投影され得る。
受信機デバイス102は、受信された「反射された」コードマスクから、図1の奥行き情報122aなどの奥行き情報を取得し、修正された奥行き情報122bを生成するように構成され得る。受信機デバイス102は、メモリ/記憶デバイス160と受信機センサ570(たとえば、画像取込みデバイス)とに結合された処理回路560を含み得る。受信機デバイス102はまた、オブジェクト検出アプリケーションなどのアプリケーションを含み得、またはそれに結合され得る。
受信機センサ570(たとえば、カメラなど)は、オブジェクト530の表面上に投影されたコードマスクの少なくとも一部を取得(たとえば検出)するように構成され得る。たとえば、受信機センサ570は、オブジェクト530上に投影された(たとえば、そこから反射された)構造化光のパターン531を含む画像を取り込み得る。取り込まれた画像に基づいて、受信機センサ570は、画像に対応する画像データ110(たとえば、ピクセル強度値)を生成し、出力し得る。いくつかの実施態様では、受信機センサ570は、赤外線スペクトルにおける画像(たとえば、反射されたコードマスク)を取り込むように構成され得る。
処理回路560は、歪み調整回路/モジュール562、コードワード識別子回路/モジュール563、フィルタ130、奥行きマップ生成器120、および/または奥行き修正器140を含み得る。歪み調整回路/モジュール562は、受信機センサ570によって検出されたコードマスクの部分の歪み(たとえば、スキュー)を訂正するために画像データ110を調整するように構成され得る。コードワード識別子回路/モジュール563は、画像データ内に含まれるデータ値のグループ(たとえば、受信機センサ570によって検出されたコードマスクの部分内に定義されたウィンドウに対応するデータ値のグループ)からコードワードを検出するように構成され得る。
奥行きマップ生成器120は、歪み調整回路/モジュール562から調整された画像データ110を受信し、コード識別子回路/モジュール563によって検出されたコードワードを受信するように構成され得る。奥行きマップ生成器120は、データ値のグループ(たとえば、ウィンドウ)に対応するオブジェクト530の表面部分に関する奥行き情報を決定するように構成された奥行き検出回路/モジュール565を含み得る。たとえば、奥行き検出回路/モジュール565は、送信機デバイス301によって使用され、投影されるコードマスクなどの、既知の基準コードマスク552に基づいて、コードワードの予想される位置に対する取り込まれた画像内の検出されたコードワードの位置の変位を決定し得る。基準コードマスク552は、受信機デバイス102のメモリ/記憶デバイス160において記憶され得る。奥行きマップ生成器120は、取り込まれた画像に関する奥行き情報を含む奥行きマップを生成するように構成され得る。たとえば、奥行き情報は、オブジェクト530に関する特定の奥行き情報を含み得る。図1の奥行き情報122aなどの奥行き情報は、奥行きマップ生成器120から奥行き修正器140に提供され得る。
フィルタ130は、図1のフィルタリングされた画像データ132などのフィルタリングされた画像データを生成するために画像データ110を処理し得る。たとえば、フィルタ130は、ぼかしフィルタ、トータルバリエーションフィルタ、またはそれらの組合せを含み得、またはそれらに対応し得る。フィルタリングされた画像データは、同様の反射率を有する画像内の領域(またはオブジェクト)に関連付けられ得る。
奥行き修正器140は、奥行きマップ生成器120から奥行き情報を受信し、フィルタ130からフィルタリングされた画像データを受信するように構成され得る。奥行き修正器140は、奥行き情報内に含まれる不正確な奥行きデータを識別し、修正された奥行き情報122bを生成するために不正確な奥行きデータを訂正するように構成され得る。奥行き修正器140は、修正された奥行き情報122bをメモリ/記憶デバイス160に提供し得る。
メモリ/記憶デバイス160は、典型的なコードマスク552などの1つまたは複数のコードマスクと、奥行き修正器140によって生成された修正された奥行き情報122bとを記憶し得る。コードマスク552は、送信機デバイス301のメモリ/記憶デバイス510において記憶されたコードマスク512のうちの1つに対応し得る(たとえば、それと同じであり得る)。
オブジェクト検出アプリケーションなどのアプリケーション556は、受信機デバイス102のメモリ/記憶デバイス160において記憶された修正された奥行き情報122bにアクセスするように構成され得る。たとえば、アプリケーション556は、受信機センサ570によって取り込まれた画像内に含まれる1つまたは複数のオブジェクトを検出するように構成され得る。例示するために、アプリケーション556は、画像内に含まれる手の上で伸ばされた指の数を識別する指検出アプリケーションを含み得る。代替的には、または加えて、アプリケーション556は、受信機デバイスによって処理される一連の画像に対応する修正された奥行き情報に基づいて1つまたは複数のジェスチャを識別するジェスチャ検出アプリケーションを含み得る。
図6を参照すると、奥行き情報を修正する方法600の第1の例示的な例のフロー図が示されている。方法600は、図1、3、4、もしくは5の受信機デバイス102、および/または図3の処理回路360によって実行され得る。
方法600は、602において、受信機デバイスにおいて画像データを受信するステップを含み、ここで、画像データは、構造化光画像に対応する。たとえば、画像データ110は、図1の受信機デバイス102によって受信され得る。方法600は、604において、投影されたコード化光のパターンに基づいて奥行き情報を復号するために画像データを処理するステップをさらに含む。奥行き情報は、奥行きマップに対応し得る。一例として、画像データ110は、奥行き情報122aを生成するために奥行きマップ生成器120によって処理され得る。方法600は、606において、画像データに対して1つまたは複数のフィルタリング動作を実行するステップをさらに含み、ここで、1つまたは複数のフィルタリング動作の出力は、フィルタリングされた画像データを含む。たとえば、画像データ110は、図1に関して説明したように、フィルタリングされた画像データ132などのフィルタリングされた画像データを生成するためにフィルタ130によって処理され得る。方法600は、608において、奥行き情報とフィルタリングされた画像データとの間の比較を実行するステップを含み得る。方法600は、610において、修正された奥行きマップを生成するために比較に基づいて奥行き情報を修正するステップをさらに含む。たとえば、奥行き情報122aは、修正された奥行き情報122bを生成するために奥行き修正器140によって、フィルタリングされた画像データ132に基づいて修正され得る。
特定の例示的な実施形態では、画像データは、画像を取り込むように構成された画像取込みセンサから受信される。たとえば、画像データ110は、カメラ内のセンサなどの画像取込みセンサから受信機デバイス102によって受信され得る。画像データは、ピクセル強度値を含み得、画像データは、コードマスクに関連付けられたフィルタを介して、投影されたコード化光を送信することによって生成された反射画像に関連付けられ得る。たとえば、送信機デバイス301は、図4におけるように、受信機デバイス102に反射される画像に、コードワード投影412を介すなど、フィルタを介して、投影されたコード化光を送信し得る。
画像データは、画像データに基づいてコードワードを識別することと、投影されたコードマスク内のコードワードの位置から画像内のコードワードの位置へのコードワードの変位を決定することとを含む、奥行き情報を復号することによって処理され得、画像は投影されたコードマスクの反射に対応する。奥行きデータは、変位に基づいて生成され得る。
特定の実施態様では、フィルタリングされた画像データを生成するために画像データを処理するステップは、フィルタリングされた画像データを生成するために画像データをフィルタリングするために、ぼかしフィルタ、トータルバリエーションフィルタ、ローパスフィルタ、バンドパスフィルタ、またはそれらの組合せを適用するステップを含む。たとえば、フィルタ130は、ぼかしフィルタ、トータルバリエーションフィルタ、またはそれらの組合せであり得る。フィルタ130は、フィルタリングされた画像データ132を生成するために画像データ110をフィルタリングし得る。画像データを処理する方法は、奥行き情報とフィルタリングされた画像データとの間の比較を実行するステップをさらに含み得る。たとえば、比較は、奥行き情報とフィルタリングされた画像データとの間のピクセルごとの比較を実行することに対応し得る。
図7を参照すると、奥行き情報を修正する方法700の第2の例示的な例のフロー図が示されている。方法700は、図1、3、4、もしくは5の受信機デバイス102、および/または図3の処理回路360によって実行され得る。いくつかの実施態様では、方法700は、図6の方法600の608においてフィルタリングされた画像データに基づいて奥行き情報を修正するステップを含み得、またはそれに対応し得る。
方法700は、702において、構造化光画像に関連付けられた奥行き情報内に含まれる不正確な奥行き値を識別するステップを含み得る。奥行き情報を修正するステップは、奥行き情報内に含まれる不正確な奥行き値を訂正するステップを含み得る。代替的には、奥行き情報を処理するステップは、比較に基づいて、奥行き情報に関連付けられた欠損した奥行き値を識別するステップを含み得る。したがって、欠損した奥行き情報または不正確な奥行き情報のいずれかは、改善された精度を有する修正された奥行き情報を生成するために訂正され得る。奥行き情報に含まれる不正確な奥行きデータは、奥行きマップに関連付けられた1つまたは複数のピクセルに対応し得、奥行き情報を修正するステップは、奥行きマップ内の不正確な奥行きデータを訂正するステップを含み得る。
方法700は、奥行きマップの特定のピクセル位置を識別するステップであって、704において、特定のピクセル位置が不正確な奥行きデータに対応する、ステップと、706において、フィルタリングされた画像データに基づいて特定のピクセル位置に対応する特定のフィルタリングされた画像データ値を決定するステップとを含み得る。たとえば、奥行き修正器140内の比較ロジック150は、図1に関して説明したように、奥行き情報122aとフィルタリングされた画像データ132とを比較し得る。
方法700は、708において、特定のピクセル位置に基づいて奥行きマップに関連付けられた領域を選択するステップであって、領域は、特定のピクセル位置を含む複数のピクセル位置に関連付けられる、ステップと、710において、複数のピクセル位置の1つまたは複数のピクセル位置のセットを識別するステップとをさらに含み得る。加えて、方法700は、712において、1つまたは複数のピクセル位置のセットに対応する奥行きデータに基づいて特定の奥行き値を決定するステップと、714において、特定のピクセル位置に対応する不正確な奥行きデータを更新するステップとを含み得る。不正確な奥行きデータは、更新された奥行きデータを生成するために特定の奥行き値に基づいて更新され得る。
図6〜図7の方法は、フィールドプログラマブルゲートアレイ(FPGA)デバイス、特定用途向け集積回路(ASIC)、グラフィカル処理ユニット(GPU)などの処理ユニット、中央処理ユニット(CPU)、デジタル信号プロセッサ(DSP)、コントローラ、別のハードウェアデバイス、ファームウェアデバイス、またはそれらの任意の組合せによって実施され得る。一例として、図6〜図7の方法は、奥行き情報を修正する命令を実行する1つまたは複数のプロセッサによって実行され得る。
図8を参照すると、ワイヤレス通信デバイス800の特定の例示的な例のブロック図が示されている。デバイス800は、図1の構造化光システム100、図3の構造化光システム300、図4の構造化光システム400、図5の構造化光システム500、またはそれらの組合せの1つまたは複数の構成要素を含み得る。
デバイス800は、デジタル信号プロセッサ(DSP)、グラフィカル処理ユニット(GPU)、および/または中央処理ユニット(CPU)などの、1つまたは複数のプロセッサ810(たとえば、1つまたは複数の処理コア)を含む。1つまたは複数のプロセッサ810は、メモリ832に結合され得る。メモリ832は、コンピュータ可読命令またはプロセッサ可読命令などの命令868(たとえば、実行可能命令)を含む。命令868は、1つまたは複数のプロセッサ810の各々などによって、コンピュータによって実行可能な1つまたは複数の命令を含み得る。
たとえば、1つまたは複数の命令は、1つまたは複数のプロセッサ810に、投影されたコード化光のパターンに基づいて奥行き情報を復号するために画像に対応する画像データを処理することを含む動作を実行させるために、1つまたは複数のプロセッサ810によって実行可能であり得る。例示するために、デバイス800は、投影されたコード化光のパターンの画像を取り込むセンサ884に結合された構造化光受信機886を含み得る。構造化光受信機886は、センサ884の出力に基づいて画像データ110を生成し得る。1つまたは複数のプロセッサ810は、画像データ110に基づいて奥行き情報122aを復号/生成する奥行きマップ生成器120を含み得る。いくつかの実施態様では、投影された構造化光のパターンは、構造化光送信機882に結合されたプロジェクタ880によって投影される。したがって、いくつかの実施態様では、デバイス800は、構造化光システムの送信機デバイスと受信機デバイスの両方として機能するように構成され得る。
動作はまた、フィルタリングされた画像データを生成するために画像データを処理することを含み得、ここで、フィルタリングされた画像データは、同様の反射率を有する画像の領域に関連付けられる。たとえば、1つまたは複数のプロセッサ810は、フィルタリングされた画像データ132を生成するために画像データ110を処理するフィルタ130を含み得る。動作は、フィルタリングされた画像データに基づいて奥行き情報を修正することをさらに含み得る。たとえば、1つまたは複数のプロセッサ810は、修正された奥行き情報122bを生成するために奥行き情報122aを修正し得る奥行き修正器140を含み得る。
図8はまた、1つまたは複数のプロセッサ810およびディスプレイ828に結合されたディスプレイコントローラ826を示す。コーダ/デコーダ(CODEC)834はまた、1つまたは複数のプロセッサ810に結合され得る。スピーカ836およびマイクロフォン838は、CODEC834に結合され得る。1つまたは複数のプロセッサ810はまた、カメラ862に結合されたカメラコントローラ860に結合され得る。いくつかの実施態様では、デバイス800は、単一の画像取込みデバイスを含む(たとえば、カメラ862は、センサ884を含む)。
図8はまた、ワイヤレスコントローラなどのワイヤレスインターフェース840が1つまたは複数のプロセッサ810およびアンテナ842に結合され得ることを示す。いくつかの実施態様では、1つまたは複数のプロセッサ810、ディスプレイコントローラ826、カメラコントローラ860、メモリ832、CODEC834、プロジェクタ880、センサ884、およびワイヤレスインターフェース840は、システムインパッケージまたはシステムオンチップデバイス822内に含まれる。他の実施態様では、入力デバイス830および電源844は、システムオンチップデバイス822に結合される。さらに、図8に示すように、ディスプレイ828、入力デバイス830、スピーカ836、マイクロフォン838、アンテナ842、カメラ862、プロジェクタ880、センサ884、および電源844は、システムオンチップデバイス822の外部にある。しかしながら、ディスプレイ828、カメラ862、プロジェクタ880、センサ884、入力デバイス830、スピーカ836、マイクロフォン838、アンテナ842、および電源844の各々は、インターフェース、コントローラ、送信機(たとえば、送信機回路)、または受信機(たとえば、受信機回路)などの、システムオンチップデバイス822の構成要素に結合され得る。
開示された態様のうちの1つまたは複数は、通信デバイス、固定位置データユニット、モバイル位置データユニット、モバイルフォン、セルラー電話、衛星電話、コンピュータ、タブレット、ポータブルコンピュータ、またはデスクトップコンピュータなどを含むデバイス800などの、システムまたは装置内に実装され得る。代替的に、または加えて、デバイス800は、セットトップボックス、エンターテインメントユニット、ナビゲーションデバイス、携帯情報端末(PDA)、モニタ、コンピュータモニタ、テレビジョン、チューナー、ラジオ、衛星ラジオ、音楽プレーヤ、デジタル音楽プレーヤ、ポータブル音楽プレーヤ、ビデオプレーヤ、デジタルビデオプレーヤ、デジタルビデオディスク(DVD)プレーヤ、ポータブルデジタルビデオプレーヤ、データもしくはコンピュータ命令を記憶するか取り出す任意の他のデバイス、またはそれらの組合せを含み得る。別の説明のための非限定的な例として、システムまたは装置は、携帯電話、ハンドヘルドパーソナル通信システム(PCS)ユニットのような遠隔ユニット、携帯情報端末のようなポータブルデータユニット、全地球測位システム(GPS)対応デバイス、ナビゲーションデバイス、メータ読取り機器のような固定位置データユニット、またはデータもしくはコンピュータ命令を記憶するか取り出す任意の他のデバイス、またはそれらの任意の組合せを含み得る。
本開示の態様は、メモリと、プロセッサと、オンチップ回路とを含む集積回路を含む任意のデバイスにおいて適切に用いられ得る。図1〜図8のうちの1つまたは複数は、本開示の教示によるシステム、装置、および/または方法を示し得るが、本開示は、これらの示されたシステム、装置、および/または方法に限定されない。本明細書において示されたまたは説明された図1〜図8のいずれかの1つまたは複数の機能または構成要素は、図1〜図8のうちの別のものの1つまたは複数の他の部分と組み合わせられ得る。したがって、本明細書に記載の単一の例は、限定として解釈されるべきではなく、開示の態様は、本開示の教示から逸脱することなく適切に組み合わせられ得る。
当業者は、本明細書で開示された様々な例示的な論理ブロック、構成、モジュール、回路、およびアルゴリズムステップが、電子ハードウェア、プロセッサによって実行されるコンピュータソフトウェア、または両方の組合せとして実装され得ることをさらに理解するであろう。種々の例示的な構成要素、ブロック、構成、モジュール、回路、およびステップが、それらの機能の観点から概略的にこれまで説明されてきた。そのような機能が、ハードウェアとして実現されるか、プロセッサ実行可能命令として実現されるかは、特定の用途およびシステム全体に課される設計制約によって決まる。当業者は、特定の適用例ごとに様々な方法で上記の機能を実施してもよいが、そのような実装形態の決定は、本開示の範囲からの逸脱を引き起こすと解釈されるべきではない。
本明細書で開示された態様に関連して説明した方法またはアルゴリズムのステップは、直接ハードウェアにおいて、プロセッサによって実行されるソフトウェアモジュールにおいて、またはそれら2つの組合せにおいて具体化され得る。ソフトウェアモジュールは、ランダムアクセスメモリ(RAM)、フラッシュメモリ、読取り専用メモリ(ROM)、プログラム可能読取り専用メモリ(PROM)、消去可能プログラム可能読取り専用メモリ(EPROM)、電気的消去可能プログラム可能読取り専用メモリ(EEPROM)、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスク読取り専用メモリ(CD-ROM)、または当技術分野において既知の任意の他の形の非一時的記憶媒体内に存在する場合がある。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代替において、記憶媒体は、プロセッサと一体であり得る。プロセッサおよび記憶媒体は特定用途向け集積回路(ASIC)内に存在する場合がある。ASICは、コンピューティングデバイスまたはユーザ端末内に存在し得る。代替において、プロセッサおよび記憶媒体は、コンピューティングデバイスまたはユーザ端末内に別個の構成要素として存在し得る。
先の説明は、開示した態様を当業者が作成または使用することを可能にするように与えられる。これらの態様への様々な変更は当業者にはすぐに明らかになり、本明細書で定義された原理は本開示の範囲から逸脱することなく他の態様に適用され得る。したがって、本開示は、本明細書に示された態様に限定されることを意図するものではなく、以下の特許請求の範囲によって定義される原理および新規な特徴と可能な限り幅広く一致する。
100 構造化光システム
102 受信機デバイス
106 メモリ
110 画像データ
120 奥行きマップ生成器
122a 奥行き情報
122b 修正された奥行き情報
130 フィルタ
132 フィルタリングされた画像データ
140 奥行き修正器
150 比較ロジック
160 メモリ
200 構造化光画像
210 奥行きマップ画像
212 第1の不正確な値
214 第2の不正確な値
216 第3の不正確な値
220 フィルタリングされた画像
230 中間奥行きマップ画像
240 修正された奥行きマップ画像
300 構造化光システム
301 送信機デバイス
304 コードマスク
306 オブジェクト
307 奥行きマップ
310 コードマスク
312 セクション/部分/ウィンドウ
314 セクション/部分/ウィンドウ
316 セクション/部分/ウィンドウ
318 セグメント
400 構造化光システム
405 レンズ面
406 第1のオブジェクト
407 センサ平面
408 第2のオブジェクト
410 コードマスク
412 セグメント/部分/ウィンドウ
500 構造化光システム
510 メモリ/記憶デバイス
512 コードマスク
518 画像投影デバイス
520 処理回路
522 コードマスク生成器/選択器
524 事前整形回路
526 記憶媒体
528 コードマスク
530 オブジェクト
531 パターン
552 基準コードマスク
556 アプリケーション
560 処理回路
562 歪み調整回路/モジュール
563 コードワード識別子回路/モジュール
565 奥行き検出回路/モジュール
570 受信機センサ
800 ワイヤレス通信デバイス
810 プロセッサ
822 システムオンチップデバイス
826 ディスプレイコントローラ
828 ディスプレイ
830 入力デバイス
832 メモリ
834 コーダ/デコーダ(CODEC)
836 スピーカ
838 マイクロフォン
840 ワイヤレスインターフェース
842 アンテナ
844 電源
860 カメラコントローラ
862 カメラ
868 命令
880 プロジェクタ
882 構造化光送信機
884 センサ
886 構造化光受信機

Claims (28)

  1. 受信機デバイスで画像データを受信するステップであって、前記画像データが構造化光画像に対応する、ステップと、
    投影されたコード化光のパターンに基づいて奥行き情報を復号するために前記画像データを処理することによって、奥行き値データを生成するステップであって、前記奥行き値データが、奥行きマップに対応する、ステップと、
    前記画像データに対して1つまたは複数のフィルタリング動作を実行するステップであって、前記1つまたは複数のフィルタリング動作の出力が、フィルタリングされた画像データを含む、ステップと、
    前記奥行き値データと前記フィルタリングされた画像データとの間の比較を実行するステップと、
    前記比較に基づいて、前記奥行きマップと前記フィルタリングされた画像データとの特定のピクセル位置にオブジェクトが存在するか否かに従って、不正確な奥行き値と欠損した奥行き値とのうちの少なくとも1つを識別するステップであって、
    前記不正確な奥行き値の前記識別は、前記奥行きマップの特定のピクセル位置に対応する前記奥行き値データが、オブジェクトが前記特定のピクセル位置に存在することを示し、前記特定のピクセル位置に対応する前記フィルタリングされた画像データが、前記オブジェクトが前記特定のピクセル位置に存在することを示さないことに基づき、
    前記欠損した奥行き値の前記識別は、前記特定のピクセル位置に対応する前記奥行き値データが、前記オブジェクトが前記特定のピクセル位置に存在することを示さず、前記特定のピクセル位置に対応する前記フィルタリングされた画像データが、前記オブジェクトが前記特定のピクセル位置に存在することを示すことに基づく、ステップと、
    修正された奥行きマップを作成するために前記不正確な奥行き値と前記欠損した奥行き値とのうちの前記少なくとも1つを識別することに基づいて前記奥行き値データの少なくとも1つの奥行き値を修正するステップと
    を備える方法。
  2. 前記1つまたは複数のフィルタリング動作が、同様の反射率を有する前記構造化光画像内の領域を識別するために前記画像データを修正する、請求項1に記載の方法。
  3. 前記フィルタリングされた画像データが、異なる反射率を有する2つの隣接する領域間のエッジを決定することなく生成される、請求項1に記載の方法。
  4. 前記フィルタリングされた画像データが、フィルタリングされた構造化光画像に対応する、請求項1に記載の方法。
  5. 前記フィルタリングされた構造化光画像が、セグメント化マップ画像である、請求項4に記載の方法。
  6. 前記奥行き情報を復号するために前記画像データを処理するステップが、
    前記画像データに基づいてコードワードを識別するステップと、
    投影されたコードマスク内の前記コードワードの第1の位置から前記構造化光画像内の前記コードワードの第2の位置へのコードワードの変位を決定するステップであって、前記構造化光画像が、前記投影されたコードマスクの反射に対応する、ステップと、
    前記変位に基づいて奥行きデータを生成するステップと
    を備える、請求項1に記載の方法。
  7. 前記1つまたは複数のフィルタリング動作を実行するステップが、前記フィルタリングされた画像データを生成するために前記画像データをフィルタリングするために、ぼかしフィルタ、トータルバリエーションフィルタ、ローパスフィルタ、またはそれらの組合せを適用するステップを備える、請求項1に記載の方法。
  8. 前記比較が、前記奥行き値データと前記フィルタリングされた画像データとの間のピクセルごとの比較に対応する、請求項1に記載の方法。
  9. 修正するステップが、前記奥行き値データ内に含まれる前記不正確な奥行き値を訂正するステップを含む、請求項8に記載の方法。
  10. 前記修正するステップが、前記奥行き値データ内に含まれるように前記欠損した奥行き値を入力するステップを含む、請求項8に記載の方法。
  11. 前記奥行きマップの特定のピクセル位置を識別するステップであって、前記特定のピクセル位置が、前記奥行き値データ内に含まれる不正確な奥行きデータに対応する、ステップと、
    前記フィルタリングされた画像データに基づいて、前記特定のピクセル位置に対応する前記フィルタリングされた画像データの特定のフィルタリングされたデータ値を決定するステップであって、前記奥行き値データの少なくとも1つの奥行き値を修正するステップが、前記特定のフィルタリングされたデータ値に基づいて前記不正確な奥行きデータを修正するステップを含む、ステップと
    をさらに備える、請求項1に記載の方法。
  12. 前記特定のピクセル位置に基づいて、前記奥行きマップに関連付けられた領域を選択するステップであって、前記領域が、前記特定のピクセル位置を含む複数のピクセル位置に関連付けられる、ステップと、
    前記複数のピクセル位置のうちの1つまたは複数のピクセル位置のセットを識別するステップであって、前記1つまたは複数のピクセル位置のセットに関連付けられた各ピクセルが、前記特定のフィルタリングされたデータ値と同様の前記フィルタリングされた画像データのフィルタリングされたデータ値に対応する、ステップと
    をさらに備える、請求項11に記載の方法。
  13. 前記1つまたは複数のピクセル位置のセットに対応する奥行き値データに基づいて特定の奥行き値を決定するステップと、
    前記特定のピクセル位置に対応する前記不正確な奥行きデータを更新するステップであって、前記不正確な奥行きデータが、前記特定の奥行き値に基づいて更新される、ステップと
    をさらに備える、請求項12に記載の方法。
  14. 投影されたコード化光のパターンに基づいて奥行き情報を復号するために、構造化光画像に対応する画像データを処理し、フィルタリングされた画像データを生成するために、前記画像データに対してフィルタリング動作を実行するように構成されたプロセッサであって、前記プロセッサが、
    前記奥行き情報と前記フィルタリングされた画像データとの間の比較に基づいて、前記奥行き情報と前記フィルタリングされた画像データとの特定のピクセル位置にオブジェクトが存在するか否かに従って、不正確な奥行き値と欠損した奥行き値とのうちの少なくとも1つを識別することであって、
    前記不正確な奥行き値の前記識別は、前記奥行きマップの特定のピクセル位置に対応する前記奥行き値データが、オブジェクトが前記特定のピクセル位置に存在することを示し、前記特定のピクセル位置に対応する前記フィルタリングされた画像データが、前記オブジェクトが前記特定のピクセル位置に存在することを示さないことに基づき、
    前記欠損した奥行き値の前記識別は、前記特定のピクセル位置に対応する前記奥行き値データが、前記オブジェクトが前記特定のピクセル位置に存在することを示さず、前記特定のピクセル位置に対応する前記フィルタリングされた画像データが、前記オブジェクトが前記特定のピクセル位置に存在することを示すことに基づく、識別することと、
    修正された奥行き情報を生成するために前記不正確な奥行き値と前記欠損した奥行き値とのうちの前記少なくとも1つを識別することに基づいて前記奥行き情報に含まれる少なくとも1つの奥行き値を修正すること
    を実行するようにさらに構成された、プロセッサと、
    前記修正された奥行き情報を記憶するように構成されたメモリと
    を備えるデバイス。
  15. 前記デバイスが、前記構造化光画像を取り込み、前記画像データを生成するように構成されたカメラを含む、請求項14に記載のデバイス。
  16. 前記奥行き情報が、奥行き値データを含むとともに、前記構造化光画像に関連付けられた奥行きマップに対応し、前記投影されたコード化光の前記パターンが、コードマスクに関連付けられる、請求項14に記載のデバイス。
  17. 前記画像データが、複数のピクセルに対応し、前記複数のピクセルの各ピクセルについて、前記画像データが、対応するピクセル強度値を含む、請求項14に記載のデバイス。
  18. 前記複数のピクセルの各ピクセルについて、前記奥行き情報が、対応する奥行き値を含み、前記フィルタリングされた画像データが、対応する強度値を含む、請求項17に記載のデバイス。
  19. 前記プロセッサが、前記奥行き情報の奥行き値と前記フィルタリングされた画像データとの間の比較を実行するようにさらに構成され、前記比較が、前記奥行き情報と前記フィルタリングされた画像データとの間のピクセルごとの比較を含む、請求項14に記載のデバイス。
  20. 構造化光画像に対応する画像データに基づいて、かつ、投影されたコード化光のパターンに基づいて奥行き情報を復号するための手段と、
    フィルタリングされた画像データを生成するために、前記画像データに対して1つまたは複数のフィルタリング動作を実行するための手段と、
    前記奥行き情報と前記フィルタリングされた画像データとの間の比較に基づいて、前記奥行き情報と前記フィルタリングされた画像データとの特定のピクセル位置にオブジェクトが存在するか否かに従って、不正確な奥行き値と欠損した奥行き値とのうちの少なくとも1つを識別するための手段であって、
    前記不正確な奥行き値の前記識別は、前記奥行きマップの特定のピクセル位置に対応する前記奥行き値データが、オブジェクトが前記特定のピクセル位置に存在することを示し、前記特定のピクセル位置に対応する前記フィルタリングされた画像データが、前記オブジェクトが前記特定のピクセル位置に存在することを示さないことに基づき、
    前記欠損した奥行き値の前記識別は、前記特定のピクセル位置に対応する前記奥行き値データが、前記オブジェクトが前記特定のピクセル位置に存在することを示さず、前記特定のピクセル位置に対応する前記フィルタリングされた画像データが、前記オブジェクトが前記特定のピクセル位置に存在することを示すことに基づく、手段と、
    前記不正確な奥行き値と前記欠損した奥行き値とのうちの前記少なくとも1つを識別することに基づいて前記奥行き情報に含まれる少なくとも1つの奥行き値を修正するための手段と
    を備える装置。
  21. 前記構造化光画像を取り込むための手段をさらに備える、請求項20に記載の装置。
  22. 前記少なくとも1つの奥行き値が、前記奥行き情報の不正確な奥行きデータを訂正するために修正され、前記不正確な奥行きデータが、不正確な奥行き値、または欠損した奥行き値を含む、請求項20に記載の装置。
  23. プロセッサに動作を実行させるために前記プロセッサによって実行可能である命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記動作が、
    投影されたコード化光のパターンに基づいて奥行き情報を復号するために、構造化光画像に対応する画像データを処理することであって、前記奥行き情報が、奥行きマップに対応する、ことと、
    フィルタリングされた画像データを生成するために、前記画像データに対して1つまたは複数のフィルタリング動作を実行することと、
    前記奥行き情報と前記フィルタリングされた画像データとの間の比較に基づいて、前記奥行き情報と前記フィルタリングされた画像データとの特定のピクセル位置にオブジェクトが存在するか否かに従って、不正確な奥行き値と欠損した奥行き値とのうちの少なくとも1つを識別することであって、
    前記不正確な奥行き値の前記識別は、前記奥行きマップの特定のピクセル位置に対応する前記奥行き値データが、オブジェクトが前記特定のピクセル位置に存在することを示し、前記特定のピクセル位置に対応する前記フィルタリングされた画像データが、前記オブジェクトが前記特定のピクセル位置に存在することを示さないことに基づき、
    前記欠損した奥行き値の前記識別は、前記特定のピクセル位置に対応する前記奥行き値データが、前記オブジェクトが前記特定のピクセル位置に存在することを示さず、前記特定のピクセル位置に対応する前記フィルタリングされた画像データが、前記オブジェクトが前記特定のピクセル位置に存在することを示すことに基づく、識別することと、
    前記不正確な奥行き値と前記欠損した奥行き値とのうちの前記少なくとも1つを識別することに基づいて前記奥行き情報に含まれる少なくとも1つの奥行き値を修正することと
    を含む、非一時的コンピュータ可読記憶媒体。
  24. 前記画像データが、前記構造化光画像を取り込むように構成された画像取り込みセンサから受信される、請求項23に記載の非一時的コンピュータ可読記憶媒体。
  25. 前記1つまたは複数のフィルタリング動作を実行することが、ぼかしフィルタリング動作、トータルバリエーションフィルタリング動作、またはそれらの組合せを実行することを備える、請求項23に記載の非一時的コンピュータ可読記憶媒体。
  26. 修正することが、前記奥行き情報内に含まれる前記不正確な奥行き値を訂正することを含む、請求項23に記載の非一時的コンピュータ可読記憶媒体。
  27. 修正することが、前記奥行き情報内に含まれるように前記欠損した奥行き値を入力することを含む、請求項23に記載の非一時的コンピュータ可読記憶媒体。
  28. 1つまたは複数のフィルタリング動作を実行することが、ローパスフィルタリング動作、バンドパスフィルタリング動作、またはそれらの組合せを実行することを備える、請求項23に記載の非一時的コンピュータ可読記憶媒体。
JP2016572239A 2014-06-19 2015-06-19 コンテンツフィルタリングに基づく構造化光３次元（３ｄ）奥行きマップ Active JP6449341B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462014652P 2014-06-19 2014-06-19
US62/014,652 2014-06-19
US14/743,980 US9582888B2 (en) 2014-06-19 2015-06-18 Structured light three-dimensional (3D) depth map based on content filtering
US14/743,980 2015-06-18
PCT/US2015/036681 WO2015196067A1 (en) 2014-06-19 2015-06-19 Structured light three-dimensional (3d) depth map based on content filtering

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018140084A Division JP6766102B2 (ja) 2014-06-19 2018-07-26 コンテンツフィルタリングに基づく構造化光３次元（３ｄ）奥行きマップ

Publications (2)

Publication Number Publication Date
JP2017524909A JP2017524909A (ja) 2017-08-31
JP6449341B2 true JP6449341B2 (ja) 2019-01-09

Family

ID=54870112

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016572239A Active JP6449341B2 (ja) 2014-06-19 2015-06-19 コンテンツフィルタリングに基づく構造化光３次元（３ｄ）奥行きマップ
JP2018140084A Active JP6766102B2 (ja) 2014-06-19 2018-07-26 コンテンツフィルタリングに基づく構造化光３次元（３ｄ）奥行きマップ

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018140084A Active JP6766102B2 (ja) 2014-06-19 2018-07-26 コンテンツフィルタリングに基づく構造化光３次元（３ｄ）奥行きマップ

Country Status (8)

Country Link
US (1) US9582888B2 (ja)
EP (1) EP3158732B1 (ja)
JP (2) JP6449341B2 (ja)
KR (1) KR101802106B1 (ja)
CN (2) CN116437062A (ja)
BR (1) BR112016029514A2 (ja)
MX (1) MX355938B (ja)
WO (1) WO2015196067A1 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9020189B2 (en) * 2012-12-07 2015-04-28 The Nielsen Company (Us), Llc Methods and apparatus to monitor environments
US9467680B2 (en) 2013-12-12 2016-10-11 Intel Corporation Calibration of a three-dimensional acquisition system
US10169909B2 (en) * 2014-08-07 2019-01-01 Pixar Generating a volumetric projection for an object
US9638801B2 (en) * 2014-11-24 2017-05-02 Mitsubishi Electric Research Laboratories, Inc Depth sensing using optical pulses and fixed coded aperature
WO2016112019A1 (en) * 2015-01-06 2016-07-14 Oculus Vr, Llc Method and system for providing depth mapping using patterned light
US20160366395A1 (en) * 2015-06-12 2016-12-15 Microsoft Technology Licensing, Llc Led surface emitting structured light
EP3314893A1 (en) * 2015-06-30 2018-05-02 Dolby Laboratories Licensing Corporation Real-time content-adaptive perceptual quantizer for high dynamic range images
EP3185208A1 (en) * 2015-12-22 2017-06-28 Thomson Licensing Method for determining missing values in a depth map, corresponding device, computer program product and non-transitory computer-readable carrier medium
JP6752059B2 (ja) * 2016-06-01 2020-09-09 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム並びに記憶媒体
US10659764B2 (en) * 2016-06-20 2020-05-19 Intel Corporation Depth image provision apparatus and method
US10609359B2 (en) 2016-06-22 2020-03-31 Intel Corporation Depth image provision apparatus and method
US10574947B2 (en) 2016-07-15 2020-02-25 Qualcomm Incorporated Object reconstruction in disparity maps using displaced shadow outlines
US10616566B2 (en) * 2016-07-22 2020-04-07 Korea Institute Of Science And Technology 3D image display system and method
US10192311B2 (en) 2016-08-05 2019-01-29 Qualcomm Incorporated Methods and apparatus for codeword boundary detection for generating depth maps
US10451714B2 (en) 2016-12-06 2019-10-22 Sony Corporation Optical micromesh for computerized devices
US10536684B2 (en) 2016-12-07 2020-01-14 Sony Corporation Color noise reduction in 3D depth map
US10178370B2 (en) 2016-12-19 2019-01-08 Sony Corporation Using multiple cameras to stitch a consolidated 3D depth map
US10181089B2 (en) 2016-12-19 2019-01-15 Sony Corporation Using pattern recognition to reduce noise in a 3D map
US10495735B2 (en) 2017-02-14 2019-12-03 Sony Corporation Using micro mirrors to improve the field of view of a 3D depth map
US10360693B2 (en) * 2017-03-01 2019-07-23 Cognex Corporation High speed structured light system
US10795022B2 (en) 2017-03-02 2020-10-06 Sony Corporation 3D depth map
JP6658625B2 (ja) 2017-03-08 2020-03-04 オムロン株式会社 ３次元形状計測装置及び３次元形状計測方法
US10979687B2 (en) 2017-04-03 2021-04-13 Sony Corporation Using super imposition to render a 3D depth map
EP3396949A1 (en) * 2017-04-26 2018-10-31 Koninklijke Philips N.V. Apparatus and method for processing a depth map
US10885714B2 (en) 2017-07-07 2021-01-05 Niantic, Inc. Cloud enabled augmented reality
CN107392874B (zh) * 2017-07-31 2021-04-09 Oppo广东移动通信有限公司 美颜处理方法、装置及移动设备
US10521920B2 (en) * 2017-09-21 2019-12-31 Intel Corporation Reducing textured IR patterns in stereoscopic depth sensor imaging
US10484667B2 (en) 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
US10755426B2 (en) 2018-05-23 2020-08-25 Apple Inc. Efficient scene depth map enhancement for low power devices
CN108563084B (zh) * 2018-05-25 2020-10-23 深圳新亮智能技术有限公司 多结构光图案三维传感系统
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
CN110930547A (zh) * 2019-02-28 2020-03-27 上海商汤临港智能科技有限公司 车门解锁方法及装置、系统、车、电子设备和存储介质
US11574433B2 (en) * 2019-03-19 2023-02-07 Hewlett-Packard Development Company, L.P. Emulating 3D textual patterns
JP7007324B2 (ja) * 2019-04-25 2022-01-24 ファナック株式会社 画像処理装置、画像処理方法、及びロボットシステム
JP2021056164A (ja) * 2019-10-01 2021-04-08 富士ゼロックス株式会社 情報処理装置、発光装置、情報処理システム、及びプログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2372656A (en) 2001-02-23 2002-08-28 Ind Control Systems Ltd Optical position determination
CN1643990A (zh) * 2002-03-19 2005-07-20 皇家飞利浦电子股份有限公司 场致发光灯驱动电路
US7440590B1 (en) * 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
KR20050085355A (ko) * 2002-12-05 2005-08-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 분할된 이미지로부터 폴스 엣지들을 제거하는 방법 및 장치
KR100546383B1 (ko) * 2003-09-29 2006-01-26 삼성전자주식회사 눈에 보이지 않는 프래그먼트를 처리하기 위한 3차원그래픽스 렌더링 엔진 및 그 방법
JP2009500042A (ja) * 2005-07-07 2009-01-08 インジーニアス・ターゲティング・ラボラトリー・インコーポレーテッド ターゲットの運動行動の３ｄのモニタリング及び分析のためのシステム
US20070167837A1 (en) * 2005-12-07 2007-07-19 Seaboard Engineering Corp. (A New Jersey Corporation) Method and apparatus for three dimensional scanning in a visibly lit environment using structured light
US8538166B2 (en) 2006-11-21 2013-09-17 Mantisvision Ltd. 3D geometric modeling and 3D video content creation
JP5615552B2 (ja) * 2006-11-21 2014-10-29 コーニンクレッカ フィリップス エヌ ヴェ 画像の深度マップの生成
US8213711B2 (en) * 2007-04-03 2012-07-03 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Method and graphical user interface for modifying depth maps
US8285025B2 (en) * 2008-03-25 2012-10-09 Electro Scientific Industries, Inc. Method and apparatus for detecting defects using structured light
US20100157079A1 (en) * 2008-12-19 2010-06-24 Qualcomm Incorporated System and method to selectively combine images
US8262229B2 (en) * 2010-03-22 2012-09-11 Seiko Epson Corporation Multi-projector display system calibration
US8406548B2 (en) * 2011-02-28 2013-03-26 Sony Corporation Method and apparatus for performing a blur rendering process on an image
CN102737370B (zh) * 2011-04-02 2015-07-01 株式会社理光 检测图像前景的方法及设备
US9182221B2 (en) 2011-06-13 2015-11-10 Canon Kabushiki Kaisha Information processing apparatus and information processing method
KR101974651B1 (ko) 2011-06-22 2019-05-02 성균관대학교산학협력단 경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템
US8817073B2 (en) * 2011-08-12 2014-08-26 Himax Technologies Limited System and method of processing 3D stereoscopic image
KR101332638B1 (ko) * 2012-02-10 2013-11-25 시모스 미디어텍(주) 깊이 맵 보정 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법
JP6016061B2 (ja) * 2012-04-20 2016-10-26 Ｎｌｔテクノロジー株式会社 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム
KR101913321B1 (ko) 2012-05-10 2018-10-30 삼성전자주식회사 깊이 센서 기반 반사 객체의 형상 취득 방법 및 장치
US9448064B2 (en) * 2012-05-24 2016-09-20 Qualcomm Incorporated Reception of affine-invariant spatial mask for active depth sensing
CN102831582B (zh) * 2012-07-27 2015-08-12 湖南大学 一种微软体感装置深度图像增强方法
US9214013B2 (en) * 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
CN103383776B (zh) * 2013-07-14 2016-06-15 浙江大学 一种基于分段匹配和贝叶斯估计的递进式立体匹配算法

Also Published As

Publication number Publication date
BR112016029514A2 (pt) 2017-08-22
JP2018185862A (ja) 2018-11-22
EP3158732A1 (en) 2017-04-26
KR101802106B1 (ko) 2017-11-27
EP3158732C0 (en) 2023-08-09
JP6766102B2 (ja) 2020-10-07
CN106462745A (zh) 2017-02-22
CN116437062A (zh) 2023-07-14
MX2016016841A (es) 2017-07-28
US20150371393A1 (en) 2015-12-24
KR20170019374A (ko) 2017-02-21
JP2017524909A (ja) 2017-08-31
WO2015196067A1 (en) 2015-12-23
US9582888B2 (en) 2017-02-28
EP3158732B1 (en) 2023-08-09
MX355938B (es) 2018-05-07

Similar Documents

Publication Publication Date Title
JP6449341B2 (ja) コンテンツフィルタリングに基づく構造化光３次元（３ｄ）奥行きマップ
JP6370777B2 (ja) 能動奥行き検知のためのアフィン不変空間マスクの受信
JP6193390B2 (ja) 構造化された光のアクティブ深度検知システムにおける光源電力の動的調整
US9530215B2 (en) Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology
US10282857B1 (en) Self-validating structured light depth sensor system
CN107408306B (zh) 一种产生对象的深度图信息的方法、设备及可读介质
KR101781775B1 (ko) 에르미트 대칭성을 갖는 코딩된 광 패턴

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170724

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171221

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180726

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181205

R150 Certificate of patent or registration of utility model

Ref document number: 6449341

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250