JP6449341B2 - コンテンツフィルタリングに基づく構造化光3次元(3d)奥行きマップ - Google Patents
コンテンツフィルタリングに基づく構造化光3次元(3d)奥行きマップ Download PDFInfo
- Publication number
- JP6449341B2 JP6449341B2 JP2016572239A JP2016572239A JP6449341B2 JP 6449341 B2 JP6449341 B2 JP 6449341B2 JP 2016572239 A JP2016572239 A JP 2016572239A JP 2016572239 A JP2016572239 A JP 2016572239A JP 6449341 B2 JP6449341 B2 JP 6449341B2
- Authority
- JP
- Japan
- Prior art keywords
- depth
- image data
- depth value
- data
- pixel location
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001914 filtration Methods 0.000 title claims description 39
- 238000000034 method Methods 0.000 claims description 56
- 238000012545 processing Methods 0.000 claims description 37
- 230000008569 process Effects 0.000 claims description 13
- 238000006073 displacement reaction Methods 0.000 claims description 9
- 238000002310 reflectometry Methods 0.000 claims description 9
- 239000003607 modifier Substances 0.000 description 12
- 238000001514 detection method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 239000003086 colorant Substances 0.000 description 5
- 238000007493 shaping process Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000002329 infrared spectrum Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241001070941 Castanea Species 0.000 description 1
- 235000014036 Castanea Nutrition 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/514—Depth or shape recovery from specularities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Measurement Of Optical Distance (AREA)
Description
本出願は、それらの内容がそれら全体において参照により本明細書に明確に組み込まれている、2014年6月19日に出願した本願の譲受人が所有する米国仮特許出願第62/014,652号、および2015年6月18日に出願した米国非仮特許出願第14/743,980号の優先権を主張するものである。
たとえば、投影されたコードマスクは、受信機デバイス102が1つまたは複数のパターンを反映するオブジェクトの奥行きを決定することを可能にする構造化光の1つまたは複数のパターン(たとえば、1つまたは複数のコードワード)に関連付けられ得る。
102 受信機デバイス
106 メモリ
110 画像データ
120 奥行きマップ生成器
122a 奥行き情報
122b 修正された奥行き情報
130 フィルタ
132 フィルタリングされた画像データ
140 奥行き修正器
150 比較ロジック
160 メモリ
200 構造化光画像
210 奥行きマップ画像
212 第1の不正確な値
214 第2の不正確な値
216 第3の不正確な値
220 フィルタリングされた画像
230 中間奥行きマップ画像
240 修正された奥行きマップ画像
300 構造化光システム
301 送信機デバイス
304 コードマスク
306 オブジェクト
307 奥行きマップ
310 コードマスク
312 セクション/部分/ウィンドウ
314 セクション/部分/ウィンドウ
316 セクション/部分/ウィンドウ
318 セグメント
400 構造化光システム
405 レンズ面
406 第1のオブジェクト
407 センサ平面
408 第2のオブジェクト
410 コードマスク
412 セグメント/部分/ウィンドウ
500 構造化光システム
510 メモリ/記憶デバイス
512 コードマスク
518 画像投影デバイス
520 処理回路
522 コードマスク生成器/選択器
524 事前整形回路
526 記憶媒体
528 コードマスク
530 オブジェクト
531 パターン
552 基準コードマスク
556 アプリケーション
560 処理回路
562 歪み調整回路/モジュール
563 コードワード識別子回路/モジュール
565 奥行き検出回路/モジュール
570 受信機センサ
800 ワイヤレス通信デバイス
810 プロセッサ
822 システムオンチップデバイス
826 ディスプレイコントローラ
828 ディスプレイ
830 入力デバイス
832 メモリ
834 コーダ/デコーダ(CODEC)
836 スピーカ
838 マイクロフォン
840 ワイヤレスインターフェース
842 アンテナ
844 電源
860 カメラコントローラ
862 カメラ
868 命令
880 プロジェクタ
882 構造化光送信機
884 センサ
886 構造化光受信機
Claims (28)
- 受信機デバイスで画像データを受信するステップであって、前記画像データが構造化光画像に対応する、ステップと、
投影されたコード化光のパターンに基づいて奥行き情報を復号するために前記画像データを処理することによって、奥行き値データを生成するステップであって、前記奥行き値データが、奥行きマップに対応する、ステップと、
前記画像データに対して1つまたは複数のフィルタリング動作を実行するステップであって、前記1つまたは複数のフィルタリング動作の出力が、フィルタリングされた画像データを含む、ステップと、
前記奥行き値データと前記フィルタリングされた画像データとの間の比較を実行するステップと、
前記比較に基づいて、前記奥行きマップと前記フィルタリングされた画像データとの特定のピクセル位置にオブジェクトが存在するか否かに従って、不正確な奥行き値と欠損した奥行き値とのうちの少なくとも1つを識別するステップであって、
前記不正確な奥行き値の前記識別は、前記奥行きマップの特定のピクセル位置に対応する前記奥行き値データが、オブジェクトが前記特定のピクセル位置に存在することを示し、前記特定のピクセル位置に対応する前記フィルタリングされた画像データが、前記オブジェクトが前記特定のピクセル位置に存在することを示さないことに基づき、
前記欠損した奥行き値の前記識別は、前記特定のピクセル位置に対応する前記奥行き値データが、前記オブジェクトが前記特定のピクセル位置に存在することを示さず、前記特定のピクセル位置に対応する前記フィルタリングされた画像データが、前記オブジェクトが前記特定のピクセル位置に存在することを示すことに基づく、ステップと、
修正された奥行きマップを作成するために前記不正確な奥行き値と前記欠損した奥行き値とのうちの前記少なくとも1つを識別することに基づいて前記奥行き値データの少なくとも1つの奥行き値を修正するステップと
を備える方法。 - 前記1つまたは複数のフィルタリング動作が、同様の反射率を有する前記構造化光画像内の領域を識別するために前記画像データを修正する、請求項1に記載の方法。
- 前記フィルタリングされた画像データが、異なる反射率を有する2つの隣接する領域間のエッジを決定することなく生成される、請求項1に記載の方法。
- 前記フィルタリングされた画像データが、フィルタリングされた構造化光画像に対応する、請求項1に記載の方法。
- 前記フィルタリングされた構造化光画像が、セグメント化マップ画像である、請求項4に記載の方法。
- 前記奥行き情報を復号するために前記画像データを処理するステップが、
前記画像データに基づいてコードワードを識別するステップと、
投影されたコードマスク内の前記コードワードの第1の位置から前記構造化光画像内の前記コードワードの第2の位置へのコードワードの変位を決定するステップであって、前記構造化光画像が、前記投影されたコードマスクの反射に対応する、ステップと、
前記変位に基づいて奥行きデータを生成するステップと
を備える、請求項1に記載の方法。 - 前記1つまたは複数のフィルタリング動作を実行するステップが、前記フィルタリングされた画像データを生成するために前記画像データをフィルタリングするために、ぼかしフィルタ、トータルバリエーションフィルタ、ローパスフィルタ、またはそれらの組合せを適用するステップを備える、請求項1に記載の方法。
- 前記比較が、前記奥行き値データと前記フィルタリングされた画像データとの間のピクセルごとの比較に対応する、請求項1に記載の方法。
- 修正するステップが、前記奥行き値データ内に含まれる前記不正確な奥行き値を訂正するステップを含む、請求項8に記載の方法。
- 前記修正するステップが、前記奥行き値データ内に含まれるように前記欠損した奥行き値を入力するステップを含む、請求項8に記載の方法。
- 前記奥行きマップの特定のピクセル位置を識別するステップであって、前記特定のピクセル位置が、前記奥行き値データ内に含まれる不正確な奥行きデータに対応する、ステップと、
前記フィルタリングされた画像データに基づいて、前記特定のピクセル位置に対応する前記フィルタリングされた画像データの特定のフィルタリングされたデータ値を決定するステップであって、前記奥行き値データの少なくとも1つの奥行き値を修正するステップが、前記特定のフィルタリングされたデータ値に基づいて前記不正確な奥行きデータを修正するステップを含む、ステップと
をさらに備える、請求項1に記載の方法。 - 前記特定のピクセル位置に基づいて、前記奥行きマップに関連付けられた領域を選択するステップであって、前記領域が、前記特定のピクセル位置を含む複数のピクセル位置に関連付けられる、ステップと、
前記複数のピクセル位置のうちの1つまたは複数のピクセル位置のセットを識別するステップであって、前記1つまたは複数のピクセル位置のセットに関連付けられた各ピクセルが、前記特定のフィルタリングされたデータ値と同様の前記フィルタリングされた画像データのフィルタリングされたデータ値に対応する、ステップと
をさらに備える、請求項11に記載の方法。 - 前記1つまたは複数のピクセル位置のセットに対応する奥行き値データに基づいて特定の奥行き値を決定するステップと、
前記特定のピクセル位置に対応する前記不正確な奥行きデータを更新するステップであって、前記不正確な奥行きデータが、前記特定の奥行き値に基づいて更新される、ステップと
をさらに備える、請求項12に記載の方法。 - 投影されたコード化光のパターンに基づいて奥行き情報を復号するために、構造化光画像に対応する画像データを処理し、フィルタリングされた画像データを生成するために、前記画像データに対してフィルタリング動作を実行するように構成されたプロセッサであって、前記プロセッサが、
前記奥行き情報と前記フィルタリングされた画像データとの間の比較に基づいて、前記奥行き情報と前記フィルタリングされた画像データとの特定のピクセル位置にオブジェクトが存在するか否かに従って、不正確な奥行き値と欠損した奥行き値とのうちの少なくとも1つを識別することであって、
前記不正確な奥行き値の前記識別は、前記奥行きマップの特定のピクセル位置に対応する前記奥行き値データが、オブジェクトが前記特定のピクセル位置に存在することを示し、前記特定のピクセル位置に対応する前記フィルタリングされた画像データが、前記オブジェクトが前記特定のピクセル位置に存在することを示さないことに基づき、
前記欠損した奥行き値の前記識別は、前記特定のピクセル位置に対応する前記奥行き値データが、前記オブジェクトが前記特定のピクセル位置に存在することを示さず、前記特定のピクセル位置に対応する前記フィルタリングされた画像データが、前記オブジェクトが前記特定のピクセル位置に存在することを示すことに基づく、識別することと、
修正された奥行き情報を生成するために前記不正確な奥行き値と前記欠損した奥行き値とのうちの前記少なくとも1つを識別することに基づいて前記奥行き情報に含まれる少なくとも1つの奥行き値を修正すること
を実行するようにさらに構成された、プロセッサと、
前記修正された奥行き情報を記憶するように構成されたメモリと
を備えるデバイス。 - 前記デバイスが、前記構造化光画像を取り込み、前記画像データを生成するように構成されたカメラを含む、請求項14に記載のデバイス。
- 前記奥行き情報が、奥行き値データを含むとともに、前記構造化光画像に関連付けられた奥行きマップに対応し、前記投影されたコード化光の前記パターンが、コードマスクに関連付けられる、請求項14に記載のデバイス。
- 前記画像データが、複数のピクセルに対応し、前記複数のピクセルの各ピクセルについて、前記画像データが、対応するピクセル強度値を含む、請求項14に記載のデバイス。
- 前記複数のピクセルの各ピクセルについて、前記奥行き情報が、対応する奥行き値を含み、前記フィルタリングされた画像データが、対応する強度値を含む、請求項17に記載のデバイス。
- 前記プロセッサが、前記奥行き情報の奥行き値と前記フィルタリングされた画像データとの間の比較を実行するようにさらに構成され、前記比較が、前記奥行き情報と前記フィルタリングされた画像データとの間のピクセルごとの比較を含む、請求項14に記載のデバイス。
- 構造化光画像に対応する画像データに基づいて、かつ、投影されたコード化光のパターンに基づいて奥行き情報を復号するための手段と、
フィルタリングされた画像データを生成するために、前記画像データに対して1つまたは複数のフィルタリング動作を実行するための手段と、
前記奥行き情報と前記フィルタリングされた画像データとの間の比較に基づいて、前記奥行き情報と前記フィルタリングされた画像データとの特定のピクセル位置にオブジェクトが存在するか否かに従って、不正確な奥行き値と欠損した奥行き値とのうちの少なくとも1つを識別するための手段であって、
前記不正確な奥行き値の前記識別は、前記奥行きマップの特定のピクセル位置に対応する前記奥行き値データが、オブジェクトが前記特定のピクセル位置に存在することを示し、前記特定のピクセル位置に対応する前記フィルタリングされた画像データが、前記オブジェクトが前記特定のピクセル位置に存在することを示さないことに基づき、
前記欠損した奥行き値の前記識別は、前記特定のピクセル位置に対応する前記奥行き値データが、前記オブジェクトが前記特定のピクセル位置に存在することを示さず、前記特定のピクセル位置に対応する前記フィルタリングされた画像データが、前記オブジェクトが前記特定のピクセル位置に存在することを示すことに基づく、手段と、
前記不正確な奥行き値と前記欠損した奥行き値とのうちの前記少なくとも1つを識別することに基づいて前記奥行き情報に含まれる少なくとも1つの奥行き値を修正するための手段と
を備える装置。 - 前記構造化光画像を取り込むための手段をさらに備える、請求項20に記載の装置。
- 前記少なくとも1つの奥行き値が、前記奥行き情報の不正確な奥行きデータを訂正するために修正され、前記不正確な奥行きデータが、不正確な奥行き値、または欠損した奥行き値を含む、請求項20に記載の装置。
- プロセッサに動作を実行させるために前記プロセッサによって実行可能である命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記動作が、
投影されたコード化光のパターンに基づいて奥行き情報を復号するために、構造化光画像に対応する画像データを処理することであって、前記奥行き情報が、奥行きマップに対応する、ことと、
フィルタリングされた画像データを生成するために、前記画像データに対して1つまたは複数のフィルタリング動作を実行することと、
前記奥行き情報と前記フィルタリングされた画像データとの間の比較に基づいて、前記奥行き情報と前記フィルタリングされた画像データとの特定のピクセル位置にオブジェクトが存在するか否かに従って、不正確な奥行き値と欠損した奥行き値とのうちの少なくとも1つを識別することであって、
前記不正確な奥行き値の前記識別は、前記奥行きマップの特定のピクセル位置に対応する前記奥行き値データが、オブジェクトが前記特定のピクセル位置に存在することを示し、前記特定のピクセル位置に対応する前記フィルタリングされた画像データが、前記オブジェクトが前記特定のピクセル位置に存在することを示さないことに基づき、
前記欠損した奥行き値の前記識別は、前記特定のピクセル位置に対応する前記奥行き値データが、前記オブジェクトが前記特定のピクセル位置に存在することを示さず、前記特定のピクセル位置に対応する前記フィルタリングされた画像データが、前記オブジェクトが前記特定のピクセル位置に存在することを示すことに基づく、識別することと、
前記不正確な奥行き値と前記欠損した奥行き値とのうちの前記少なくとも1つを識別することに基づいて前記奥行き情報に含まれる少なくとも1つの奥行き値を修正することと
を含む、非一時的コンピュータ可読記憶媒体。 - 前記画像データが、前記構造化光画像を取り込むように構成された画像取り込みセンサから受信される、請求項23に記載の非一時的コンピュータ可読記憶媒体。
- 前記1つまたは複数のフィルタリング動作を実行することが、ぼかしフィルタリング動作、トータルバリエーションフィルタリング動作、またはそれらの組合せを実行することを備える、請求項23に記載の非一時的コンピュータ可読記憶媒体。
- 修正することが、前記奥行き情報内に含まれる前記不正確な奥行き値を訂正することを含む、請求項23に記載の非一時的コンピュータ可読記憶媒体。
- 修正することが、前記奥行き情報内に含まれるように前記欠損した奥行き値を入力することを含む、請求項23に記載の非一時的コンピュータ可読記憶媒体。
- 1つまたは複数のフィルタリング動作を実行することが、ローパスフィルタリング動作、バンドパスフィルタリング動作、またはそれらの組合せを実行することを備える、請求項23に記載の非一時的コンピュータ可読記憶媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201462014652P | 2014-06-19 | 2014-06-19 | |
US62/014,652 | 2014-06-19 | ||
US14/743,980 | 2015-06-18 | ||
US14/743,980 US9582888B2 (en) | 2014-06-19 | 2015-06-18 | Structured light three-dimensional (3D) depth map based on content filtering |
PCT/US2015/036681 WO2015196067A1 (en) | 2014-06-19 | 2015-06-19 | Structured light three-dimensional (3d) depth map based on content filtering |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018140084A Division JP6766102B2 (ja) | 2014-06-19 | 2018-07-26 | コンテンツフィルタリングに基づく構造化光3次元(3d)奥行きマップ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017524909A JP2017524909A (ja) | 2017-08-31 |
JP6449341B2 true JP6449341B2 (ja) | 2019-01-09 |
Family
ID=54870112
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016572239A Active JP6449341B2 (ja) | 2014-06-19 | 2015-06-19 | コンテンツフィルタリングに基づく構造化光3次元(3d)奥行きマップ |
JP2018140084A Active JP6766102B2 (ja) | 2014-06-19 | 2018-07-26 | コンテンツフィルタリングに基づく構造化光3次元(3d)奥行きマップ |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018140084A Active JP6766102B2 (ja) | 2014-06-19 | 2018-07-26 | コンテンツフィルタリングに基づく構造化光3次元(3d)奥行きマップ |
Country Status (8)
Country | Link |
---|---|
US (1) | US9582888B2 (ja) |
EP (1) | EP3158732B1 (ja) |
JP (2) | JP6449341B2 (ja) |
KR (1) | KR101802106B1 (ja) |
CN (2) | CN106462745A (ja) |
BR (1) | BR112016029514A2 (ja) |
MX (1) | MX355938B (ja) |
WO (1) | WO2015196067A1 (ja) |
Families Citing this family (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9020189B2 (en) * | 2012-12-07 | 2015-04-28 | The Nielsen Company (Us), Llc | Methods and apparatus to monitor environments |
US9467680B2 (en) | 2013-12-12 | 2016-10-11 | Intel Corporation | Calibration of a three-dimensional acquisition system |
US10169909B2 (en) * | 2014-08-07 | 2019-01-01 | Pixar | Generating a volumetric projection for an object |
US9638801B2 (en) * | 2014-11-24 | 2017-05-02 | Mitsubishi Electric Research Laboratories, Inc | Depth sensing using optical pulses and fixed coded aperature |
US20160196657A1 (en) * | 2015-01-06 | 2016-07-07 | Oculus Vr, Llc | Method and system for providing depth mapping using patterned light |
US20160366395A1 (en) * | 2015-06-12 | 2016-12-15 | Microsoft Technology Licensing, Llc | Led surface emitting structured light |
EP3314893A1 (en) * | 2015-06-30 | 2018-05-02 | Dolby Laboratories Licensing Corporation | Real-time content-adaptive perceptual quantizer for high dynamic range images |
EP3185208A1 (en) * | 2015-12-22 | 2017-06-28 | Thomson Licensing | Method for determining missing values in a depth map, corresponding device, computer program product and non-transitory computer-readable carrier medium |
JP6752059B2 (ja) * | 2016-06-01 | 2020-09-09 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム並びに記憶媒体 |
US10659764B2 (en) | 2016-06-20 | 2020-05-19 | Intel Corporation | Depth image provision apparatus and method |
US10609359B2 (en) | 2016-06-22 | 2020-03-31 | Intel Corporation | Depth image provision apparatus and method |
US10574947B2 (en) | 2016-07-15 | 2020-02-25 | Qualcomm Incorporated | Object reconstruction in disparity maps using displaced shadow outlines |
US10616566B2 (en) * | 2016-07-22 | 2020-04-07 | Korea Institute Of Science And Technology | 3D image display system and method |
US10192311B2 (en) | 2016-08-05 | 2019-01-29 | Qualcomm Incorporated | Methods and apparatus for codeword boundary detection for generating depth maps |
US10451714B2 (en) | 2016-12-06 | 2019-10-22 | Sony Corporation | Optical micromesh for computerized devices |
US10536684B2 (en) * | 2016-12-07 | 2020-01-14 | Sony Corporation | Color noise reduction in 3D depth map |
US10181089B2 (en) | 2016-12-19 | 2019-01-15 | Sony Corporation | Using pattern recognition to reduce noise in a 3D map |
US10178370B2 (en) | 2016-12-19 | 2019-01-08 | Sony Corporation | Using multiple cameras to stitch a consolidated 3D depth map |
US10495735B2 (en) | 2017-02-14 | 2019-12-03 | Sony Corporation | Using micro mirrors to improve the field of view of a 3D depth map |
US10360693B2 (en) * | 2017-03-01 | 2019-07-23 | Cognex Corporation | High speed structured light system |
US10795022B2 (en) | 2017-03-02 | 2020-10-06 | Sony Corporation | 3D depth map |
JP6658625B2 (ja) * | 2017-03-08 | 2020-03-04 | オムロン株式会社 | 3次元形状計測装置及び3次元形状計測方法 |
US10979687B2 (en) | 2017-04-03 | 2021-04-13 | Sony Corporation | Using super imposition to render a 3D depth map |
EP3396949A1 (en) * | 2017-04-26 | 2018-10-31 | Koninklijke Philips N.V. | Apparatus and method for processing a depth map |
US10885714B2 (en) | 2017-07-07 | 2021-01-05 | Niantic, Inc. | Cloud enabled augmented reality |
CN107392874B (zh) * | 2017-07-31 | 2021-04-09 | Oppo广东移动通信有限公司 | 美颜处理方法、装置及移动设备 |
US10521920B2 (en) * | 2017-09-21 | 2019-12-31 | Intel Corporation | Reducing textured IR patterns in stereoscopic depth sensor imaging |
US10484667B2 (en) | 2017-10-31 | 2019-11-19 | Sony Corporation | Generating 3D depth map using parallax |
US10755426B2 (en) | 2018-05-23 | 2020-08-25 | Apple Inc. | Efficient scene depth map enhancement for low power devices |
CN108563084B (zh) * | 2018-05-25 | 2020-10-23 | 深圳新亮智能技术有限公司 | 多结构光图案三维传感系统 |
US10549186B2 (en) | 2018-06-26 | 2020-02-04 | Sony Interactive Entertainment Inc. | Multipoint SLAM capture |
CN110930547A (zh) * | 2019-02-28 | 2020-03-27 | 上海商汤临港智能科技有限公司 | 车门解锁方法及装置、系统、车、电子设备和存储介质 |
WO2020190284A1 (en) * | 2019-03-19 | 2020-09-24 | Hewlett-Packard Development Company, L.P. | Emulating 3d textual patterns |
JP7007324B2 (ja) * | 2019-04-25 | 2022-01-24 | ファナック株式会社 | 画像処理装置、画像処理方法、及びロボットシステム |
US20220292703A1 (en) * | 2019-09-10 | 2022-09-15 | Omron Corporation | Image processing device, three-dimensional measurement system, and image processing method |
JP2021056164A (ja) * | 2019-10-01 | 2021-04-08 | 富士ゼロックス株式会社 | 情報処理装置、発光装置、情報処理システム、及びプログラム |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2372656A (en) | 2001-02-23 | 2002-08-28 | Ind Control Systems Ltd | Optical position determination |
US20050104535A1 (en) * | 2002-03-19 | 2005-05-19 | Buthker Henricus C.J. | Driver circuit for an electroluminescent lamp |
US7440590B1 (en) * | 2002-05-21 | 2008-10-21 | University Of Kentucky Research Foundation | System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns |
JP2006509292A (ja) * | 2002-12-05 | 2006-03-16 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | セグメント化されたイメージから偽エッジを除去するための装置及び方法 |
KR100546383B1 (ko) * | 2003-09-29 | 2006-01-26 | 삼성전자주식회사 | 눈에 보이지 않는 프래그먼트를 처리하기 위한 3차원그래픽스 렌더링 엔진 및 그 방법 |
WO2007008715A2 (en) * | 2005-07-07 | 2007-01-18 | Ingenious Targeting Laboratory, Inc. | System for 3d monitoring and analysis of motion behavior of targets |
US20070167837A1 (en) * | 2005-12-07 | 2007-07-19 | Seaboard Engineering Corp. (A New Jersey Corporation) | Method and apparatus for three dimensional scanning in a visibly lit environment using structured light |
EP2087466B1 (en) * | 2006-11-21 | 2020-06-17 | Koninklijke Philips N.V. | Generation of depth map for an image |
SG176440A1 (en) | 2006-11-21 | 2011-12-29 | Mantisvision Ltd | 3d geometric modeling and 3d video content creation |
US8213711B2 (en) * | 2007-04-03 | 2012-07-03 | Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada | Method and graphical user interface for modifying depth maps |
US8285025B2 (en) * | 2008-03-25 | 2012-10-09 | Electro Scientific Industries, Inc. | Method and apparatus for detecting defects using structured light |
US20100157079A1 (en) * | 2008-12-19 | 2010-06-24 | Qualcomm Incorporated | System and method to selectively combine images |
US8262229B2 (en) * | 2010-03-22 | 2012-09-11 | Seiko Epson Corporation | Multi-projector display system calibration |
US8406548B2 (en) * | 2011-02-28 | 2013-03-26 | Sony Corporation | Method and apparatus for performing a blur rendering process on an image |
CN102737370B (zh) * | 2011-04-02 | 2015-07-01 | 株式会社理光 | 检测图像前景的方法及设备 |
US9182221B2 (en) | 2011-06-13 | 2015-11-10 | Canon Kabushiki Kaisha | Information processing apparatus and information processing method |
KR101974651B1 (ko) | 2011-06-22 | 2019-05-02 | 성균관대학교산학협력단 | 경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템 |
US8817073B2 (en) * | 2011-08-12 | 2014-08-26 | Himax Technologies Limited | System and method of processing 3D stereoscopic image |
KR101332638B1 (ko) * | 2012-02-10 | 2013-11-25 | 시모스 미디어텍(주) | 깊이 맵 보정 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법 |
JP6016061B2 (ja) * | 2012-04-20 | 2016-10-26 | Nltテクノロジー株式会社 | 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム |
KR101913321B1 (ko) | 2012-05-10 | 2018-10-30 | 삼성전자주식회사 | 깊이 센서 기반 반사 객체의 형상 취득 방법 및 장치 |
US9207070B2 (en) | 2012-05-24 | 2015-12-08 | Qualcomm Incorporated | Transmission of affine-invariant spatial mask for active depth sensing |
CN102831582B (zh) * | 2012-07-27 | 2015-08-12 | 湖南大学 | 一种微软体感装置深度图像增强方法 |
WO2014043641A1 (en) * | 2012-09-14 | 2014-03-20 | Pelican Imaging Corporation | Systems and methods for correcting user identified artifacts in light field images |
CN103383776B (zh) * | 2013-07-14 | 2016-06-15 | 浙江大学 | 一种基于分段匹配和贝叶斯估计的递进式立体匹配算法 |
-
2015
- 2015-06-18 US US14/743,980 patent/US9582888B2/en active Active
- 2015-06-19 BR BR112016029514A patent/BR112016029514A2/pt active Search and Examination
- 2015-06-19 JP JP2016572239A patent/JP6449341B2/ja active Active
- 2015-06-19 MX MX2016016841A patent/MX355938B/es active IP Right Grant
- 2015-06-19 WO PCT/US2015/036681 patent/WO2015196067A1/en active Application Filing
- 2015-06-19 KR KR1020167035561A patent/KR101802106B1/ko active IP Right Grant
- 2015-06-19 CN CN201580031591.1A patent/CN106462745A/zh active Pending
- 2015-06-19 CN CN202310452034.3A patent/CN116437062A/zh active Pending
- 2015-06-19 EP EP15741649.6A patent/EP3158732B1/en active Active
-
2018
- 2018-07-26 JP JP2018140084A patent/JP6766102B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
CN106462745A (zh) | 2017-02-22 |
WO2015196067A1 (en) | 2015-12-23 |
KR101802106B1 (ko) | 2017-11-27 |
EP3158732A1 (en) | 2017-04-26 |
JP2018185862A (ja) | 2018-11-22 |
EP3158732C0 (en) | 2023-08-09 |
JP6766102B2 (ja) | 2020-10-07 |
US9582888B2 (en) | 2017-02-28 |
BR112016029514A2 (pt) | 2017-08-22 |
CN116437062A (zh) | 2023-07-14 |
EP3158732B1 (en) | 2023-08-09 |
JP2017524909A (ja) | 2017-08-31 |
KR20170019374A (ko) | 2017-02-21 |
MX355938B (es) | 2018-05-07 |
US20150371393A1 (en) | 2015-12-24 |
MX2016016841A (es) | 2017-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6449341B2 (ja) | コンテンツフィルタリングに基づく構造化光3次元(3d)奥行きマップ | |
JP6370777B2 (ja) | 能動奥行き検知のためのアフィン不変空間マスクの受信 | |
JP6193390B2 (ja) | 構造化された光のアクティブ深度検知システムにおける光源電力の動的調整 | |
US10282857B1 (en) | Self-validating structured light depth sensor system | |
US9530215B2 (en) | Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology | |
CN107408306B (zh) | 一种产生对象的深度图信息的方法、设备及可读介质 | |
KR101781775B1 (ko) | 에르미트 대칭성을 갖는 코딩된 광 패턴 | |
US10192311B2 (en) | Methods and apparatus for codeword boundary detection for generating depth maps |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20170710 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170724 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20171024 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171221 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180326 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180726 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20180906 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6449341 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |