JP6276475B2 - カラービデオと深度ビデオとの同期方法、装置、および媒体 - Google Patents
カラービデオと深度ビデオとの同期方法、装置、および媒体 Download PDFInfo
- Publication number
- JP6276475B2 JP6276475B2 JP2017530276A JP2017530276A JP6276475B2 JP 6276475 B2 JP6276475 B2 JP 6276475B2 JP 2017530276 A JP2017530276 A JP 2017530276A JP 2017530276 A JP2017530276 A JP 2017530276A JP 6276475 B2 JP6276475 B2 JP 6276475B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- comparison
- target image
- type
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 44
- 230000001360 synchronised effect Effects 0.000 claims description 33
- 230000003190 augmentative effect Effects 0.000 claims description 23
- 230000004044 response Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 19
- 238000003708 edge detection Methods 0.000 claims description 12
- 230000000052 comparative effect Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 description 10
- 238000012360 testing method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000001934 delay Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000006249 magnetic particle Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/003—Aspects relating to the "2D+depth" image format
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
本出願は、参照により本明細書に組み込まれる、2014年12月12日に出願された「METHOD AND APPARATUS FOR IMAGE PROCESSING IN AUGMENTED REALITY SYSTEMS」という名称の米国特許出願第14/569,549号からの優先権の利益を主張する。
111 センサ
112 ディスプレイ
114 カメラ、カラーカメラ
115 深度センサ
140 トランシーバ
150 ユーザインターフェース
152 キーパッド
154 マイクロフォン
156 スピーカ
160 制御ユニット
161 汎用プロセッサ
162 ハードウェア
163 ファームウェア
164 メモリ
165 ソフトウェア
170 深度およびカラーの出力同期
171 セレクタモジュール
172 マッチングモジュール
173 精密化モジュール
174 マネージャモジュール
175 SLAMモジュール
176 深度プロセッサモジュール
177 バス
205 カラー画像
210 深度画像
305 カラー画像
310 深度画像
330 カラー画像処理時間
405 カラー画像
410 深度画像
425 最良のマッチングペア
430 最良のマッチングペア
505 カラー画像
510 深度画像
520 マッチングによって決定されたペア
530 固定オフセットによって決定されたペア
605 カラー画像
610 深度画像
705 カラー画像
710 第1の深度画像
715 第2の深度画像
750 点「A」
755 点「B」
760 点「A」
765 点「B」
770 点「A」
775 点「B」
Claims (30)
- 深度およびカラーのカメラ画像同期のための方法であって、
第1の画像タイプと前記第1の画像タイプとは異なる第2の画像タイプとを含む複数の入力画像を取得するステップであって、
画像タイプが深度カメラ画像タイプまたはカラーカメラ画像タイプのいずれかであり、
各画像タイプが他のタイプの画像に対して非同期であり、
前記第1の画像タイプと前記第2の画像タイプとの前記複数の入力画像の各々が入力画像の実際の作成時刻の識別情報を有していない、ステップと、
前記第1の画像タイプの入力画像からターゲット画像を選択するステップと、
前記第2の画像タイプの入力画像から比較画像を選択するステップと、
前記比較画像が前記ターゲット画像との同期に適合するかどうかを判定するステップと、
前記比較画像が前記ターゲット画像との同期に適合するという判定に応答して、同期画像ペアとして前記ターゲット画像および前記比較画像を特定するステップと、
拡張現実出力において使用するために、前記第1の画像タイプの前記ターゲット画像と前記第2の画像タイプの前記比較画像とを含む前記同期画像ペアをともに処理するステップと
を含む、方法。 - 前記ターゲット画像がカラーカメラ画像タイプであり、前記比較画像が深度カメラ画像タイプであり、前記比較画像が前記ターゲット画像との同期に適合するかどうかを判定するステップが、
前記カラーカメラ画像タイプの前記複数の入力画像からの3次元(3D)座標を追跡するステップであって、前記3D座標が深度値を含む、ステップと、
前記比較画像内で、前記ターゲット画像内の追跡された前記座標に幾何学的に等価な点を有する各点に関する深度値を判定するステップと、
前記比較画像内の前記深度値を、前記ターゲット画像内の深度値と比較するステップと、
前記ターゲット画像と前記比較画像との間の深度値マッチング部の数に従って適合性スコアを判定するステップと
をさらに含む、請求項1に記載の方法。 - 前記比較画像が前記ターゲット画像との同期に適合するかどうかを判定するステップが、
前記ターゲット画像および前記比較画像上でエッジ検出を実行するステップと、
前記ターゲット画像と前記比較画像との間の同じエッジマッチング部の数に従って適合性スコアを判定するステップと
をさらに含む、請求項1に記載の方法。 - 前記複数の入力画像の各々に関する受信時刻を判定するステップと、
前記複数の入力画像からの画像のサブセットを含む比較待ち行列を作成するステップであって、前記比較待ち行列内の画像の前記サブセットが、前記ターゲット画像の受信からしきい値時間内に受信した前記第2の画像タイプの画像を含み、前記比較画像が前記比較待ち行列から選択される、ステップと
をさらに含む、請求項1に記載の方法。 - 前記比較待ち行列が、前記ターゲット画像の受信の前および後に受信された前記第2の画像タイプのしきい値画像数を含む、請求項4に記載の方法。
- 前記比較画像の受信時刻と、前記ターゲット画像の受信時刻との間のタイミングオフセットを決定するステップと、
次の同期ペアを判定するために前記タイミングオフセットを参照するステップと
をさらに含む、請求項1に記載の方法。 - 経過した時間量または処理された画像数の一方または両方を追跡するステップと、
経過したしきい値時間量または処理されたしきい値画像数の一方または両方が満たされたと判定するステップと、
次のターゲット画像と次の比較画像との間の適合性を判定するステップと、
前記拡張現実出力において使用するために次の同期画像ペアをともに割り当てるステップと
をさらに含む、請求項6に記載の方法。 - 前記ターゲット画像または前記比較画像の一方または両方から抽出されたパラメータに従って前記ターゲット画像または前記比較画像の一方または両方を変換するステップ
をさらに含む、請求項1に記載の方法。 - 深度およびカラーのカメラ画像同期のためのデバイスであって、
メモリと、
前記メモリに結合されたプロセッサであって、
前記メモリから、第1の画像タイプと前記第1の画像タイプとは異なる第2の画像タイプとを含む複数の入力画像を取得することであって、
画像タイプが深度カメラ画像タイプまたはカラーカメラ画像タイプのいずれかであり、
各画像タイプが他のタイプの画像に対して非同期であり、
前記第1の画像タイプと前記第2の画像タイプとの前記複数の入力画像の各々が入力画像の実際の作成時刻の識別情報を有していない、ことと、
前記第1の画像タイプの入力画像からターゲット画像を選択することと、
前記第2の画像タイプの入力画像から比較画像を選択することと、
前記比較画像が前記ターゲット画像との同期に適合するかどうかを判定することと、
前記比較画像が前記ターゲット画像との同期に適合するという判定に応答して、同期画像ペアとして前記ターゲット画像および前記比較画像を特定することと、
拡張現実出力において使用するために、前記第1の画像タイプの前記ターゲット画像と前記第2の画像タイプの前記比較画像とを含む前記同期画像ペアをともに処理することと
を行うように構成されたプロセッサと
を含む、デバイス。 - 前記ターゲット画像がカラーカメラ画像タイプであり、前記比較画像が深度カメラ画像タイプであり、前記比較画像が前記ターゲット画像との同期に適合するかどうかを判定するために、前記プロセッサが、
前記ターゲット画像の前記複数の入力画像からの3次元(3D)座標を追跡することであって、前記3D座標が深度値を含む、ことと、
前記比較画像内で、前記ターゲット画像内の追跡された前記座標に幾何学的に等価な点を有する各点に関する深度値を判定することと、
前記比較画像内の前記深度値を、前記ターゲット画像内の深度値と比較することと、
前記ターゲット画像と前記比較画像との間の深度値マッチング部の数に従って適合性スコアを判定することと
を行うようにさらに構成される、請求項9に記載のデバイス。 - 前記比較画像が前記ターゲット画像との同期に適合するかどうかを判定するために、前記プロセッサが、
前記ターゲット画像および前記比較画像上でエッジ検出を実行することと、
前記ターゲット画像と前記比較画像との間の同じエッジマッチング部の数に従って適合性スコアを判定することと
を行うようにさらに構成される、請求項9に記載のデバイス。 - 前記プロセッサが、
前記複数の入力画像の各々に関する受信時刻を判定することと、
前記複数の入力画像からの画像のサブセットを含む比較待ち行列を作成することであって、前記比較待ち行列内の画像の前記サブセットが、前記ターゲット画像の受信からしきい値時間内に受信した前記第2の画像タイプの画像を含み、前記比較画像が前記比較待ち行列から選択される、ことと
を行うようにさらに構成される、請求項9に記載のデバイス。 - 前記比較待ち行列が、前記ターゲット画像の受信の前および後に受信された前記第2の画像タイプのしきい値画像数を含む、請求項12に記載のデバイス。
- 前記プロセッサが、
前記比較画像の受信時刻と、前記ターゲット画像の受信時刻との間のタイミングオフセットを決定することと、
次の同期ペアを判定するために前記タイミングオフセットを参照することと
を行うようにさらに構成される、請求項9に記載のデバイス。 - 前記プロセッサが、
経過した時間量または処理された画像数の一方または両方を追跡することと、
経過したしきい値時間量または処理されたしきい値画像数の一方または両方が満たされたと判定することと、
次のターゲット画像と次の比較画像との間の適合性を判定することと、
前記拡張現実出力において使用するために次の同期画像ペアをともに割り当てることと
を行うようにさらに構成される、請求項14に記載のデバイス。 - 前記プロセッサが、
前記ターゲット画像または前記比較画像の一方または両方から抽出されたパラメータに従って前記ターゲット画像または前記比較画像の一方または両方を変換すること
を行うようにさらに構成される、請求項9に記載のデバイス。 - 第1の画像タイプと前記第1の画像タイプとは異なる第2の画像タイプとを含む複数の入力画像を取得することであって、
画像タイプが深度カメラ画像タイプまたはカラーカメラ画像タイプのいずれかであり、
各画像タイプが他のタイプの画像に対して非同期であり、
前記第1の画像タイプと前記第2の画像タイプとの前記複数の入力画像の各々が入力画像の実際の作成時刻の識別情報を有していない、ことと、
前記第1の画像タイプの入力画像からターゲット画像を選択することと、
前記第2の画像タイプの入力画像から比較画像を選択することと、
前記比較画像が前記ターゲット画像との同期に適合するかどうかを判定することと、
前記比較画像が前記ターゲット画像との同期に適合するという判定に応答して、同期画像ペアとして前記ターゲット画像および前記比較画像を特定することと、
拡張現実出力において使用するために、前記第1の画像タイプの前記ターゲット画像と前記第2の画像タイプの前記比較画像とを含む前記同期画像ペアをともに処理することと
を行うためにプロセッサによって実行可能なプログラム命令を記憶した機械可読非一時的記憶媒体。 - 前記ターゲット画像がカラーカメラ画像タイプであり、前記比較画像が深度カメラ画像タイプであり、前記比較画像が前記ターゲット画像との同期に適合するかどうかを判定するために、前記プログラム命令が、
前記ターゲット画像の前記複数の入力画像からの3次元(3D)座標を追跡することであって、前記3D座標が深度値を含む、ことと、
前記比較画像内で、前記ターゲット画像内の追跡された前記座標に幾何学的に等価な点を有する各点に関する深度値を判定することと、
前記比較画像内の前記深度値を、前記ターゲット画像内の深度値と比較することと、
前記ターゲット画像と前記比較画像との間の深度値マッチング部の数に従って適合性スコアを判定することと
を行うために前記プロセッサによってさらに実行可能である、請求項17に記載の媒体。 - 前記比較画像が前記ターゲット画像との同期に適合するかどうかを判定するために、前記プログラム命令が、
前記ターゲット画像および前記比較画像上でエッジ検出を実行することと、
前記ターゲット画像と前記比較画像との間の同じエッジマッチング部の数に従って適合性スコアを判定することと
を行うために前記プロセッサによってさらに実行可能である、請求項17に記載の媒体。 - 前記プログラム命令が、
前記複数の入力画像の各々に関する受信時刻を判定することと、
前記複数の入力画像からの画像のサブセットを含む比較待ち行列を作成することであって、前記比較待ち行列内の画像の前記サブセットが、前記ターゲット画像の受信からしきい値時間内に受信した前記第2の画像タイプの画像を含み、前記比較画像が前記比較待ち行列から選択される、ことと
を行うために前記プロセッサによってさらに実行可能である、請求項17に記載の媒体。 - 前記比較待ち行列が、前記ターゲット画像の受信の前および後に受信された前記第2の画像タイプのしきい値画像数を含む、請求項20に記載の媒体。
- 前記プログラム命令が、
前記比較画像の受信時刻と、前記ターゲット画像の受信時刻との間のタイミングオフセットを決定することと、
次の同期ペアを判定するために前記タイミングオフセットを参照することと、
経過した時間量または処理された画像数の一方または両方を追跡することと、
経過したしきい値時間量または処理されたしきい値画像数の一方または両方が満たされたと判定することと、
次のターゲット画像と次の比較画像との間の適合性を判定することと、
前記拡張現実出力において使用するために次の同期画像ペアをともに割り当てることと
を行うために前記プロセッサによってさらに実行可能である、請求項17に記載の媒体。 - 前記プログラム命令が、
前記ターゲット画像または前記比較画像の一方または両方から抽出されたパラメータに従って前記ターゲット画像または前記比較画像の一方または両方を変換すること
を行うために前記プロセッサによってさらに実行可能である、請求項17に記載の媒体。 - 深度およびカラーのカメラ画像を同期させるための装置であって、
第1の画像タイプと前記第1の画像タイプとは異なる第2の画像タイプとを含む複数の入力画像を取得するための手段であって、
画像タイプが深度カメラ画像タイプまたはカラーカメラ画像タイプのいずれかであり、
各画像タイプが他のタイプの画像に対して非同期で受信され、
前記第1の画像タイプと前記第2の画像タイプとの前記複数の入力画像の各々が入力画像の実際の作成時刻の識別情報なしに受信される、手段と、
前記第1の画像タイプの入力画像からターゲット画像を選択するための手段と、
前記第2の画像タイプの入力画像から比較画像を選択するための手段と、
前記比較画像が前記ターゲット画像との同期に適合するかどうかを判定するための手段と、
前記比較画像が前記ターゲット画像との同期に適合するという判定に応答して、同期画像ペアとして前記ターゲット画像および前記比較画像を特定するための手段と、
拡張現実出力において使用するために、前記第1の画像タイプの前記ターゲット画像と前記第2の画像タイプの前記比較画像とを含む前記同期画像ペアをともに処理するための手段と
を含む、装置。 - 前記ターゲット画像がカラーカメラ画像タイプであり、前記比較画像が深度カメラ画像タイプであり、
前記ターゲット画像の前記複数の入力画像からの3次元(3D)座標を追跡するための手段であって、前記3D座標が深度値を含む、手段と、
前記比較画像内で、前記ターゲット画像内の追跡された前記座標に幾何学的に等価な点を有する各点に関する深度値を判定するための手段と、
前記比較画像内の前記深度値を、前記ターゲット画像内の深度値と比較するための手段と、
前記ターゲット画像と前記比較画像との間の深度値マッチング部の数に従って適合性スコアを判定するための手段と
をさらに含む、請求項24に記載の装置。 - 前記ターゲット画像および前記比較画像上でエッジ検出を実行するための手段と、
前記ターゲット画像と前記比較画像との間の同じエッジマッチング部の数に従って適合性スコアを判定するための手段と
をさらに含む、請求項25に記載の装置。 - 前記複数の入力画像の各々に関する受信時刻を判定するための手段と、
前記複数の入力画像からの画像のサブセットを含む比較待ち行列を作成するための手段であって、前記比較待ち行列内の画像の前記サブセットが、前記ターゲット画像の受信からしきい値時間内に受信した前記第2の画像タイプの画像を含み、前記比較画像が前記比較待ち行列から選択される、手段と
をさらに含む、請求項25に記載の装置。 - 前記比較待ち行列が、前記ターゲット画像の受信の前および後に受信された前記第2の画像タイプのしきい値画像数を含む、請求項27に記載の装置。
- 前記比較画像の受信時刻と、前記ターゲット画像の受信時刻との間のタイミングオフセットを決定するための手段と、
次の同期ペアを判定するために前記タイミングオフセットを参照するための手段と、
経過した時間量または処理された画像数の一方または両方を追跡するための手段と、
経過したしきい値時間量または処理されたしきい値画像数の一方または両方が満たされたと判定するための手段と、
次のターゲット画像と次の比較画像との間の適合性を判定するための手段と、
前記拡張現実出力において使用するために次の同期画像ペアをともに割り当てるための手段と
をさらに含む、請求項25に記載の装置。 - 前記ターゲット画像または前記比較画像の一方または両方から抽出されたパラメータに従って前記ターゲット画像または前記比較画像の一方または両方を変換するための手段
をさらに含む、請求項25に記載の装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/569,549 | 2014-12-12 | ||
US14/569,549 US9626803B2 (en) | 2014-12-12 | 2014-12-12 | Method and apparatus for image processing in augmented reality systems |
PCT/US2015/062319 WO2016094081A1 (en) | 2014-12-12 | 2015-11-24 | Method, apparatus and medium for synchronisation of colour and depth videos |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017539169A JP2017539169A (ja) | 2017-12-28 |
JP6276475B2 true JP6276475B2 (ja) | 2018-02-07 |
Family
ID=54838445
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017530276A Expired - Fee Related JP6276475B2 (ja) | 2014-12-12 | 2015-11-24 | カラービデオと深度ビデオとの同期方法、装置、および媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9626803B2 (ja) |
EP (1) | EP3230950B1 (ja) |
JP (1) | JP6276475B2 (ja) |
CN (1) | CN107004273A (ja) |
WO (1) | WO2016094081A1 (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9964409B1 (en) * | 2014-05-27 | 2018-05-08 | Apple Inc. | Localized map generation |
DE102015209143B4 (de) * | 2015-05-19 | 2020-02-27 | Esaote S.P.A. | Verfahren zur Bestimmung einer Abbildungsvorschrift und bildgestützten Navigation sowie Vorrichtung zur bildgestützten Navigation |
US20160349509A1 (en) * | 2015-05-26 | 2016-12-01 | Microsoft Technology Licensing, Llc | Mixed-reality headset |
US10453185B2 (en) * | 2015-11-12 | 2019-10-22 | Aquifi, Inc. | System and method for high dynamic range depth capture using multiple cameras |
JP6775969B2 (ja) * | 2016-02-29 | 2020-10-28 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
DE102016223079B4 (de) * | 2016-11-23 | 2024-03-28 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Ermittlung einer Zuordnung zwischen einem Matrixelement einer Matrix und einem Vergleichsmatrixelement einer Vergleichsmatrix mittels Korrespondenztabelle |
US10664993B1 (en) * | 2017-03-13 | 2020-05-26 | Occipital, Inc. | System for determining a pose of an object |
US10210648B2 (en) * | 2017-05-16 | 2019-02-19 | Apple Inc. | Emojicon puppeting |
CN108228807A (zh) * | 2017-12-29 | 2018-06-29 | 上海与德科技有限公司 | 一种图像处理方法、系统及存储介质 |
KR102523433B1 (ko) * | 2018-01-10 | 2023-04-19 | 삼성전자주식회사 | 깊이 정보를 결정하는 방법 및 광학 시스템 |
CN110415328B (zh) * | 2018-04-26 | 2024-03-26 | 清华大学 | 三维场景图生成方法、装置和机器人 |
CN108419017B (zh) * | 2018-04-28 | 2019-07-30 | Oppo广东移动通信有限公司 | 控制拍摄的方法、装置、电子设备及计算机可读存储介质 |
WO2019205887A1 (zh) | 2018-04-28 | 2019-10-31 | Oppo广东移动通信有限公司 | 控制拍摄的方法、装置、电子设备及计算机可读存储介质 |
CN111640175A (zh) | 2018-06-21 | 2020-09-08 | 华为技术有限公司 | 一种物体建模运动方法、装置与设备 |
JP2020005112A (ja) * | 2018-06-27 | 2020-01-09 | オリンパス株式会社 | 撮像装置、撮像システム、撮像方法およびプログラム |
CN108965732B (zh) * | 2018-08-22 | 2020-04-14 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
CN110312056B (zh) * | 2019-06-10 | 2021-09-14 | 青岛小鸟看看科技有限公司 | 一种同步曝光方法和图像采集设备 |
CN110460824B (zh) * | 2019-07-03 | 2022-10-11 | 青岛小鸟看看科技有限公司 | 一种图像数据的帧同步方法和相机 |
CN111291631B (zh) * | 2020-01-17 | 2023-11-07 | 北京市商汤科技开发有限公司 | 视频分析方法及其相关的模型训练方法、设备、装置 |
CN111739045B (zh) * | 2020-06-19 | 2024-09-27 | 京东方科技集团股份有限公司 | 关键帧检测方法和装置、在线检测系统 |
KR20230029885A (ko) * | 2020-06-30 | 2023-03-03 | 스냅 인코포레이티드 | 말 풍선들 및 번역을 갖는 증강 현실 안경류 |
CA3190568A1 (en) | 2020-08-24 | 2022-03-03 | Brandon Fayette | Previsualization devices and systems for the film industry |
CN112000225B (zh) * | 2020-08-25 | 2021-06-25 | 唯羲科技有限公司 | 一种定位建图优化方法、装置及定位建图优化芯片 |
US11875492B1 (en) | 2023-05-01 | 2024-01-16 | Fd Ip & Licensing Llc | Systems and methods for digital compositing |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060125920A1 (en) * | 2004-12-10 | 2006-06-15 | Microsoft Corporation | Matching un-synchronized image portions |
US8456517B2 (en) * | 2008-07-09 | 2013-06-04 | Primesense Ltd. | Integrated processor for 3D mapping |
US8717417B2 (en) * | 2009-04-16 | 2014-05-06 | Primesense Ltd. | Three-dimensional mapping and imaging |
KR20100138648A (ko) | 2009-06-25 | 2010-12-31 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
US8405680B1 (en) | 2010-04-19 | 2013-03-26 | YDreams S.A., A Public Limited Liability Company | Various methods and apparatuses for achieving augmented reality |
US8576276B2 (en) | 2010-11-18 | 2013-11-05 | Microsoft Corporation | Head-mounted display device which provides surround video |
US8514295B2 (en) * | 2010-12-17 | 2013-08-20 | Qualcomm Incorporated | Augmented reality processing based on eye capture in handheld device |
US20120306850A1 (en) | 2011-06-02 | 2012-12-06 | Microsoft Corporation | Distributed asynchronous localization and mapping for augmented reality |
KR101845231B1 (ko) | 2011-06-14 | 2018-04-04 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
KR102009292B1 (ko) * | 2012-05-11 | 2019-08-12 | 한국전자통신연구원 | 다중 카메라 기반 삼차원 얼굴 복원 장치 및 방법 |
US20150006545A1 (en) * | 2013-06-27 | 2015-01-01 | Kodak Alaris Inc. | System for ranking and selecting events in media collections |
CN104063867B (zh) * | 2014-06-27 | 2017-02-08 | 浙江宇视科技有限公司 | 一种多摄像机视频同步方法和装置 |
-
2014
- 2014-12-12 US US14/569,549 patent/US9626803B2/en active Active
-
2015
- 2015-11-24 JP JP2017530276A patent/JP6276475B2/ja not_active Expired - Fee Related
- 2015-11-24 EP EP15807759.4A patent/EP3230950B1/en not_active Not-in-force
- 2015-11-24 WO PCT/US2015/062319 patent/WO2016094081A1/en active Application Filing
- 2015-11-24 CN CN201580066018.4A patent/CN107004273A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2016094081A1 (en) | 2016-06-16 |
EP3230950A1 (en) | 2017-10-18 |
JP2017539169A (ja) | 2017-12-28 |
US9626803B2 (en) | 2017-04-18 |
CN107004273A (zh) | 2017-08-01 |
EP3230950B1 (en) | 2018-09-26 |
US20160171768A1 (en) | 2016-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6276475B2 (ja) | カラービデオと深度ビデオとの同期方法、装置、および媒体 | |
EP3560195B1 (en) | Stereoscopic omnidirectional imaging | |
JP6258953B2 (ja) | 単眼視覚slamのための高速初期化 | |
CN108028871B (zh) | 移动设备上的无标记的多用户多对象增强现实 | |
EP3189495B1 (en) | Method and apparatus for efficient depth image transformation | |
KR101722654B1 (ko) | 점 특징 및 선 특징을 사용한 강력한 추적 | |
JP6456347B2 (ja) | 平面固有の特徴のターゲットのinsitu生成 | |
JP2018507476A (ja) | コンピュータビジョンに関する遮蔽処理 | |
KR102398478B1 (ko) | 전자 디바이스 상에서의 환경 맵핑을 위한 피쳐 데이터 관리 | |
US12010286B2 (en) | Separable distortion disparity determination | |
US10621730B2 (en) | Missing feet recovery of a human object from an image sequence based on ground plane detection | |
CN105472372A (zh) | 用于生成3d全景图像的图像生成装置及方法 | |
US10896494B1 (en) | Dirty lens image correction | |
WO2018078986A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US10586394B2 (en) | Augmented reality depth sensing using dual camera receiver | |
KR20150121099A (ko) | 시각적 탐색을 위한 자동 이미지 보정 | |
KR20240002559A (ko) | 이미지 표시를 위한 전자 장치 및 그 동작 방법 | |
CN117729320A (zh) | 图像显示方法、设备及存储介质 | |
CN115516524A (zh) | 基于视觉的重定位方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20171212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180111 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6276475 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |