JP6077121B2 - 拡張現実アプリケーションのためのデバイスおよび方法 - Google Patents
拡張現実アプリケーションのためのデバイスおよび方法 Download PDFInfo
- Publication number
- JP6077121B2 JP6077121B2 JP2015531095A JP2015531095A JP6077121B2 JP 6077121 B2 JP6077121 B2 JP 6077121B2 JP 2015531095 A JP2015531095 A JP 2015531095A JP 2015531095 A JP2015531095 A JP 2015531095A JP 6077121 B2 JP6077121 B2 JP 6077121B2
- Authority
- JP
- Japan
- Prior art keywords
- mobile device
- area
- result
- scene
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Description
以下に、出願当初の特許請求の範囲に記載された発明を付記する。
[C1]
モバイルデバイスにおいて、第1の結果を生成するようピクセルの第1のエリアを評価することと、
前記モバイルデバイスにおいて、第2の結果を生成するようピクセルの第2のエリアを評価することと、
しきい値を前記第1の結果と前記第2の結果との間における差異と比較することに基づいてシーンの背景部分および前記シーンの前景部分のうちの1つと、前記ピクセルの第2のエリアが対応することを決定することと
を備える、方法。
[C2]
前記ピクセルの第1のエリアおよび前記ピクセルの第2のエリアは、ピクセル強度値を合計することによって評価される、
[C1]に記載の方法。
[C3]
前記第1の結果は、ピクセル強度値の合計の第1の表を備える第1の積分画像であり、前記第2の結果は、ピクセル強度値の合計の第2の表を備える第2の積分画像である、
[C2]に記載の方法。
[C4]
コンピュータによって生成される仮想オブジェクトを生成することと、
前記シーンの画像を前記モバイルデバイスのディスプレイデバイス上において表示することと
をさらに備え、
前記画像は、前記前景部分、前記背景部分、および前記仮想オブジェクトを含む、
[C1]に記載の方法。
[C5]
前記仮想オブジェクトは、前記モバイルデバイスの拡張現実アプリケーションに関連付けられる、
[C4]に記載の方法。
[C6]
前記モバイルデバイスに関連する地表のロケーションを推定することと、
前記地表の前記推定されるロケーションに基づいて、仮想オブジェクトのロケーションを決定することと
をさらに備える、[C1]に記載の方法。
[C7]
前記地表の前記ロケーションを推定することは、
前記モバイルデバイスのセンサを使用して、前記地表に関して前記モバイルデバイスの縦範囲の角度を決定することと、
前記モバイルデバイスの中心から前記地表への第1の投影に関連付けられる第1の距離を推定することと、ここにおいて、前記第1の投影は、前記モバイルデバイスの前記縦範囲に対して垂直である、
前記角度および前記第1の距離に基づいて、前記モバイルデバイスの前記中心から前記地表への第2の投影に関連付けられる第2の距離を推定することと
を含み、前記第2の投影は、前記地表に対して直角である、[C6]に記載の方法。
[C8]
前記第1の結果を生成する前に、複数の初期画像をキャプチャすることと、
前記複数の初期画像に基づいて初期背景モデルを生成することと
をさらに備える、[C1]に記載の方法。
[C9]
前記第1の結果を複数の部分に区分化することと、
任意の前記複数の部分が前記初期背景モデルと一致するかどうかを決定するよう前記複数の部分を前記初期背景モデルと比較することと
をさらに備える、[C8]に記載の方法。
[C10]
前記複数の部分の各々は、1つの加算動作および2つの減算動作を使用して生成される、
[C9]に記載の方法。
[C11]
前記モバイルデバイスのステレオカメラを使用してシーンに関連付けられる深度プロファイルを生成することと、
前記前景部分の境界を決定することと
をさらに備え、前記境界は、前記深度プロファイルに基づいて決定される、[C1]に記載の方法。
[C12]
前記深度差異を決定することに応じて少なくともいくらかの前記前景部分の解像度を増大させることをさらに備える、
[C11]に記載の方法。
[C13]
第1の結果を生成するようピクセルの第1のエリアを評価するよう構成され、第2の結果を生成するようピクセルの第2のエリアを評価するようさらに構成される評価器と、
しきい値を前記第1の結果と前記第2の結果との間の差異と比較することに基づいてシーンの背景部分および前記シーンの前景部分のうちの1つと前記ピクセルの第2のエリアが対応することを決定するよう構成される論理と
を備える、モバイルデバイス。
[C14]
前記ピクセルの第1のエリアおよび前記ピクセルの第2のエリアは、ピクセル強度値を合計することによって評価される、
[C13]に記載のモバイルデバイス。
[C15]
前記第1の結果は、ピクセル強度値の合計の第1の表を備える第1の積分画像であり、前記第2の結果は、ピクセル強度値の合計の第2の表を備える第2の積分画像である、
[C14]に記載のモバイルデバイス。
[C16]
前記前景部分、前記背景部分、および仮想オブジェクトを含む画像を表示するよう構成されるディスプレイをさらに備える、
[C13]に記載のモバイルデバイス。
[C17]
前記仮想オブジェクトは、前記モバイルデバイスの拡張現実アプリケーションに関連付けられる、
[C16]に記載のモバイルデバイス。
[C18]
地表に関して前記モバイルデバイスの縦範囲の角度を決定するよう構成されるセンサと、
前記モバイルデバイスの中心から前記地表への第1の投影に関連付けられる第1の距離を推定するよう構成され、前記第1の投影は、前記モバイルデバイスの前記縦範囲に対して垂直である、前記角度および前記第1の距離に基づいて、前記モバイルデバイスの前記中心から前記地表への第2の投影に関連付けられる第2の距離を推定するようさらに構成される推定器と
をさらに備え、前記第2の投影は、前記地表に対して直角である、[C13]に記載のモバイルデバイス。
[C19]
複数の初期画像をキャプチャするよう構成されるカメラをさらに備え、前記論理は、前記複数の初期画像に基づいて初期背景モデルを生成するようさらに構成される、
[C13]に記載のモバイルデバイス。
[C20]
前記論理は、前記第1の結果を複数の部分に区分化し、任意の前記複数の部分が前記初期背景モデルと一致するかどうかを決定するよう前記複数の部分を前記初期背景モデルと比較するようさらに構成される、
[C19]に記載のモバイルデバイス。
[C21]
前記論理は、1つの加算動作および2つの減算動作を使用して前記複数の部分の各々を生成するようさらに構成される、
[C20]に記載のモバイルデバイス。
[C22]
シーンに関連付けられる深度データを生成するよう構成されるステレオカメラと、
前記前景部分の境界を決定するよう構成される深度評価器と
をさらに備え、前記境界は、前記深度プロファイルに基づいて決定される、[C13]に記載のモバイルデバイス。
[C23]
前記深度評価器は、前記深度差異を決定することに応じて少なくともいくらかの前記前景部分の解像度を増大させるようさらに構成される、
[C22]に記載のモバイルデバイス。
[C24]
第1の結果を生成するようピクセルの第1のエリアを評価するための、さらに第2の結果を生成するようピクセルの第2のエリアを評価するための手段と、
しきい値を前記第1の結果と前記第2の結果との間の差異と比較することに基づいてシーンの背景部分および前記シーンの前景部分のうちの1つと前記ピクセルの第2のエリアが対応することを決定するための手段と
を備える、モバイルデバイス。
[C25]
前記ピクセルの第1のエリアおよび前記ピクセルの第2のエリアは、ピクセル強度値を合計することによって評価される、
[C24]に記載のモバイルデバイス。
[C26]
前記第1の結果は、ピクセル強度値の合計の第1の表を備える第1の積分画像であり、前記第2の結果は、ピクセル強度値の合計の第2の表を備える第2の積分画像である、
[C25]に記載のモバイルデバイス。
[C27]
前記前景部分、前記背景部分、および仮想オブジェクトを含む画像を表示するよう構成されるディスプレイをさらに備える、
[C24]に記載のモバイルデバイス。
[C28]
前記仮想オブジェクトは、前記モバイルデバイスの拡張現実アプリケーションに関連付けられる、
[C27]に記載のモバイルデバイス。
[C29]
地表に関して前記モバイルデバイスの縦範囲の角度を決定するよう構成されるセンサと、
前記モバイルデバイスの中心から前記地表への第1の投影に関連付けられる第1の距離を推定するよう構成され、前記第1の投影は、前記モバイルデバイスの前記縦範囲に対して垂直である、前記角度および前記第1の距離に基づいて、前記モバイルデバイスの前記中心から前記地表への第2の投影に関連付けられる第2の距離を推定するようさらに構成される推定器と
をさらに備え、前記第2の投影は、前記地表に対して直角である、[C24]に記載のモバイルデバイス。
[C30]
複数の初期画像をキャプチャするよう構成されるカメラをさらに備え、前記決定するための手段は、前記複数の初期画像に基づいて初期背景モデルを生成するようさらに構成される、
[C24]に記載のモバイルデバイス。
[C31]
前記決定するための手段は、前記第1の結果を複数の部分に区分化し、任意の前記複数の部分が前記初期背景モデルと一致するかどうかを決定するよう前記複数の部分を前記初期背景モデルと比較するようさらに構成される、
[C30]に記載のモバイルデバイス。
[C32]
前記決定するための手段は、1つの加算動作および2つの減算動作を使用して前記複数の部分の各々を生成するようさらに構成される、
[C31]に記載のモバイルデバイス。
[C33]
シーンに関連付けられる深度データを生成するよう構成されるステレオカメラと、
前記前景部分の境界を決定するよう構成される深度評価器と
をさらに備え、前記境界は、前記深度プロファイルに基づいて決定される、[C24]に記載のモバイルデバイス。
[C34]
前記深度評価器は、前記深度差異を決定することに応じて少なくともいくらかの前記前景部分の解像度を増大させるようさらに構成される、
[C33]に記載のモバイルデバイス。
[C35]
モバイルデバイスにおいて、第1の結果を生成するようピクセルの第1のエリアを評価することと、
前記モバイルデバイスにおいて、第2の結果を生成するようピクセルの第2のエリアを評価することと、
しきい値を前記第1の結果と前記第2の結果との間の差異と比較することに基づいてシーンの背景部分および前記シーンの前景部分のうちの1つと前記ピクセルの第2のエリアが対応することを決定することと
を行うよう前記モバイルデバイスのプロセッサによって実行可能な命令を記憶する、コンピュータ可読非一時的媒体。
[C36]
前記ピクセルの第1のエリアおよび前記ピクセルの第2のエリアは、ピクセル強度値を合計することによって評価される、
[C35]に記載のコンピュータ可読非一時的媒体。
[C37]
前記第1の結果は、ピクセル強度値の合計の第1の表を備える第1の積分画像であり、前記第2の結果は、ピクセル強度値の合計の第2の表を備える第2の積分画像である、
[C36]に記載のコンピュータ可読非一時的媒体。
[C38]
コンピュータによって生成される仮想オブジェクトを生成することと、
前記シーンの画像を前記モバイルデバイスのディスプレイデバイス上において表示することと
を行うよう前記プロセッサによって実行可能な命令をさらに備え、
前記画像は、前記前景部分、前記背景部分、および前記仮想オブジェクトを含む、[C35]に記載のコンピュータ可読非一時的媒体。
[C39]
前記仮想オブジェクトは、前記モバイルデバイスの拡張現実アプリケーションに関連付けられる、
[C38]に記載のコンピュータ可読非一時的媒体。
[C40]
前記モバイルデバイスに関連する地表のロケーションを推定することと、
前記地表の前記推定されるロケーションに基づいて、仮想オブジェクトのロケーションを決定することと
を行うよう前記プロセッサによって実行可能な命令をさらに備える、[C35]に記載のコンピュータ可読非一時的媒体。
[C41]
前記地表の前記ロケーションを推定することは、
前記モバイルデバイスのセンサを使用して、前記地表に関して前記モバイルデバイスの縦範囲の角度を決定することと、
前記モバイルデバイスの中心から前記地表への第1の投影に関連付けられる第1の距離を推定することと、ここにおいて、前記第1の投影は、前記モバイルデバイスの前記縦範囲に対して垂直である、
前記角度および前記第1の距離に基づいて、前記モバイルデバイスの前記中心から前記地表への第2の投影に関連付けられる第2の距離を推定することと
を含み、前記第2の投影は、前記地表に対して直角である、[C40]に記載のコンピュータ可読非一時的媒体。
[C42]
前記第1の結果を生成する前に、複数の初期画像をキャプチャすることと、
前記複数の初期画像に基づいて初期背景モデルを生成することと
を行うよう前記プロセッサによって実行可能な命令をさらに備える、[C35]に記載のコンピュータ可読非一時的媒体。
[C43]
前記第1の結果を複数の部分に区分化することと、
任意の前記複数の部分が前記初期背景モデルと一致するかどうかを決定するよう前記複数の部分を前記初期背景モデルと比較することと
を行うよう前記プロセッサによって実行可能な命令をさらに備える、[C42]に記載のコンピュータ可読非一時的媒体。
[C44]
前記複数の部分の各々は、1つの加算動作および2つの減算動作を使用して生成される、[C43]に記載のコンピュータ可読非一時的媒体。
[C45]
前記モバイルデバイスのステレオカメラを使用してシーンに関連付けられる深度プロファイルを生成することと、
前記前景部分の境界を決定することと
を行うよう前記プロセッサによって実行可能な命令をさらに備え、前記境界は、前記深度プロファイルに基づいて決定される、[C1]に記載のコンピュータ可読非一時的媒体。
[C46]
前記深度差異を決定することに応じて少なくともいくらかの前記前景部分の解像度を増大させるよう前記プロセッサによって実行可能な命令をさらに備える、
[C45]に記載のコンピュータ可読非一時的媒体。
[C47]
モバイルデバイスのセンサを使用して、地表に関して前記モバイルデバイスの縦範囲の角度を決定することと、
前記モバイルデバイスの中心から前記地表への第1の投影に関連付けられる第1の距離を推定することと、ここにおいて、前記第1の投影は、前記モバイルデバイスの前記縦範囲に対して垂直である、
前記角度および前記第1の距離に基づいて、前記モバイルデバイスの前記中心から前記地表への第2の投影に関連付けられる第2の距離を推定することと
を備え、前記第2の投影は、前記地表に対して直角である、方法。
[C48]
前記第1の距離は、前記モバイルデバイスのステレオカメラを使用して推定される、
[C47]に記載の方法。
[C49]
前記第1の距離は、前記モバイルデバイスの前記カメラのオートフォーカス機能を使用して決定される、
[C47]に記載の方法。
[C50]
前記第2の距離は、前記モバイルデバイスのユーザの身長にさらに基づいて推定される、
[C47]に記載の方法。
[C51]
前記モバイルデバイスのディスプレイにおいて、前記推定される第2の距離によって少なくとも部分的に決定されるロケーションにおいて地表部分をレンダリングされた画像を表示することをさらに備える、
[C47]に記載の方法。
[C52]
前記モバイルデバイスにおいて、第1の結果を生成するようピクセルの第1のエリアを評価することと、
前記モバイルデバイスにおいて、第2の結果を生成するようピクセルの第2のエリアを評価することと、
しきい値を前記第1の結果と前記第2の結果との間の差異と比較することに基づいてシーンの背景部分および前記シーンの前景部分のうちの1つと前記ピクセルの第2のエリアが対応することを決定することと
をさらに備える、[C47]に記載の方法。
[C53]
前記ピクセルの第1のエリアおよび前記ピクセルの第2のエリアは、ピクセル強度値を合計することによって評価される、
[C52]に記載の方法。
[C54]
前記第1の結果は、ピクセル強度値の合計の第1の表を備える第1の積分画像であり、前記第2の結果は、ピクセル強度値の合計の第2の表を備える第2の積分画像である、
[C53]に記載の方法。
[C55]
コンピュータによって生成される仮想オブジェクトを生成することと、
前記シーンの画像を前記モバイルデバイスのディスプレイデバイス上において表示することと
をさらに備え、
前記画像は、前記前景部分、前記背景部分、および前記仮想オブジェクトを含む、[C52]に記載の方法。
[C56]
前記仮想オブジェクトは、前記モバイルデバイスの拡張現実アプリケーションに関連付けられる、
[C55]に記載の方法。
[C57]
前記第1の結果を生成する前に、複数の初期画像をキャプチャすることと、
前記複数の初期画像に基づいて初期背景モデルを生成することと
をさらに備える、[C52]に記載の方法。
[C58]
前記第1の結果を複数の部分に区分化することと、
任意の前記複数の部分が前記初期背景モデルと一致するかどうかを決定するよう前記複数の部分を前記初期背景モデルと比較することと
をさらに備える、[C57]に記載の方法。
[C59]
前記複数の部分の各々は、1つの加算動作および2つの減算動作を使用して生成される、
[C58]に記載の方法。
[C60]
前記モバイルデバイスのステレオカメラを使用してシーンに関連付けられる深度プロファイルを生成することと、
前記前景部分の境界を決定することと
をさらに備え、前記境界は、前記深度プロファイルに基づいて決定される、[C52]に記載の方法。
[C61]
前記深度差異を決定することに応じて少なくともいくらかの前記前景部分の解像度を増大させることをさらに備える、
[C60]に記載の方法。
[C62]
地表に関してモバイルデバイスの縦範囲の角度を決定するよう構成されるセンサと、
前記モバイルデバイスの中心から前記地表への第1の投影に関連付けられる第1の距離を推定するよう構成される推定器と
を備え、前記第1の投影は、前記モバイルデバイスの前記縦範囲に対して垂直であり、前記推定器は、前記角度および前記第1の距離に基づいて、前記モバイルデバイスの前記中心から前記地表への第2の投影に関連付けられる第2の距離を推定するようさらに構成され、前記第2の投影は、前記地表に対して直角である、モバイルデバイス。
[C63]
前記第1の距離は、前記モバイルデバイスのステレオカメラを使用して推定される、
[C62]に記載のモバイルデバイス。
[C64]
前記第1の距離は、前記モバイルデバイスの前記カメラのオートフォーカス機能を使用して決定される、
[C62]に記載のモバイルデバイス。
[C65]
前記第2の距離は、前記モバイルデバイスのユーザの身長にさらに基づいて推定される、
[C62]に記載のモバイルデバイス。
[C66]
前記推定される第2の距離によって少なくとも部分的に決定されるロケーションにおいて地表部分をレンダリングされた画像を表示するよう構成される前記モバイルデバイスのディスプレイをさらに備える、
[C62]に記載のモバイルデバイス。
[C67]
第1の結果を生成するようピクセルの第1のエリアを評価するよう構成され、第2の結果を生成するようピクセルの第2のエリアを評価するようさらに構成される評価器と、
しきい値を前記第1の結果と前記第2の結果との間の差異と比較することに基づいてシーンの背景部分および前記シーンの前景部分のうちの1つと前記ピクセルの第2のエリアが対応することを決定するよう構成される論理と
をさらに備える、[C62]に記載のモバイルデバイス。
[C68]
前記ピクセルの第1のエリアおよび前記ピクセルの第2のエリアは、ピクセル強度値を合計することによって評価される、
[C67]に記載のモバイルデバイス。
[C69]
前記第1の結果は、ピクセル強度値の合計の第1の表を備える第1の積分画像であり、前記第2の結果は、ピクセル強度値の合計の第2の表を備える第2の積分画像である、
[C68]に記載のモバイルデバイス。
[C70]
前記シーンの画像を表示するよう構成されるディスプレイをさらに備え、前記画像は、前記前景部分、前記背景部分、および前記仮想オブジェクトを含む、
[C67]に記載のモバイルデバイス。
[C71]
前記仮想オブジェクトは、前記モバイルデバイスの拡張現実アプリケーションに関連付けられる、
[C70]に記載のモバイルデバイス。
[C72]
複数の初期画像をキャプチャするよう構成されるカメラをさらに備え、前記論理は、前記複数の初期画像に基づいて初期背景モデルを生成するようさらに構成される、
[C67]に記載のモバイルデバイス。
[C73]
前記論理は、前記第1の結果を複数の部分に区分化し、任意の前記複数の部分が前記初期背景モデルと一致するかどうかを決定するよう前記複数の部分を前記初期背景モデルと比較するようさらに構成される、
[C72]に記載のモバイルデバイス。
[C74]
前記複数の部分の各々は、1つの加算動作および2つの減算動作を使用して生成される、
[C67]に記載のモバイルデバイス。
[C75]
前記シーンに関連付けられる深度データを生成するよう構成されるステレオカメラと、
前記前景部分の境界を決定するよう構成される深度評価器と
をさらに備え、前記境界は、前記深度プロファイルに基づいて決定される、[C67]に記載のモバイルデバイス。
[C76]
前記深度評価器は、前記深度差異を決定することに応じて少なくともいくらかの前記前景部分の解像度を増大させるようさらに構成される、
[C75]に記載のモバイルデバイス。
[C77]
地表に関して前記モバイルデバイスの縦範囲の角度を決定するための手段と、
前記モバイルデバイスの中心から前記地表への第1の投影に関連付けられる第1の距離を推定することと、ここにおいて、前記第1の投影は、前記モバイルデバイスの前記縦範囲に対して垂直である、前記角度および前記第1の距離に基づいて、前記モバイルデバイスの前記中心から前記地表への第2の投影に関連付けられる第2の距離を推定することと
を行うための手段を備え、前記第2の投影は、前記地表に対して直角である、モバイルデバイス。
[C78]
前記第1の距離は、前記モバイルデバイスのステレオカメラを使用して推定される、
[C77]に記載のモバイルデバイス。
[C79]
前記第1の距離は、前記モバイルデバイスの前記カメラのオートフォーカス機能を使用して決定される、
[C77]に記載のモバイルデバイス。
[C80]
前記第2の距離は、前記モバイルデバイスのユーザの身長にさらに基づいて推定される、
[C77]に記載のモバイルデバイス。
[C81]
前記推定される第2の距離によって少なくとも部分的に決定されるロケーションにおいて地表部分をレンダリングされた画像を表示するよう構成されるディスプレイをさらに備える、
[C77]に記載のモバイルデバイス。
[C82]
第1の結果を生成するようピクセルの第1のエリアを評価するよう構成され、第2の結果を生成するようピクセルの第2のエリアを評価するようさらに構成される評価器と、
しきい値を前記第1の結果と前記第2の結果との間の差異と比較することに基づいてシーンの背景部分および前記シーンの前景部分のうちの1つと前記ピクセルの第2のエリアが対応することを決定するよう構成される論理と
をさらに備える、[C77]に記載のモバイルデバイス。
[C83]
前記ピクセルの第1のエリアおよび前記ピクセルの第2のエリアは、ピクセル強度値を合計することによって評価される、
[C82]に記載のモバイルデバイス。
[C84]
前記第1の結果は、ピクセル強度値の合計の第1の表を備える第1の積分画像であり、前記第2の結果は、ピクセル強度値の合計の第2の表を備える第2の積分画像である、
[C83]に記載のモバイルデバイス。
[C85]
前記シーンの画像を表示するよう構成されるディスプレイをさらに備え、前記画像は、前記前景部分、前記背景部分、および前記仮想オブジェクトを含む、
[C82]に記載のモバイルデバイス。
[C86]
前記仮想オブジェクトは、前記モバイルデバイスの拡張現実アプリケーションに関連付けられる、[C85]に記載のモバイルデバイス。
[C87]
複数の初期画像をキャプチャするよう構成されるカメラをさらに備え、前記論理は、前記複数の初期画像に基づいて初期背景モデルを生成するようさらに構成される、
[C82]に記載のモバイルデバイス。
[C88]
前記論理は、前記第1の結果を複数の部分に区分化し、任意の前記複数の部分が前記初期背景モデルと一致するかどうかを決定するよう前記複数の部分を前記初期背景モデルと比較するようさらに構成される、
[C82]に記載のモバイルデバイス。
[C89]
前記複数の部分の各々は、1つの加算動作および2つの減算動作を使用して生成される、
[C88]に記載のモバイルデバイス。
[C90]
前記シーンに関連付けられる深度データを生成するよう構成されるステレオカメラと、
前記前景部分の境界を決定するよう構成される深度評価器と
をさらに備え、前記境界は、前記深度プロファイルに基づいて決定される、[C82]に記載のモバイルデバイス。
[C91]
前記深度評価器は、前記深度差異を決定することに応じて少なくともいくらかの前記前景部分の解像度を増大させるようさらに構成される、
[C90]に記載のモバイルデバイス。
[C92]
モバイルデバイスのセンサを使用して、地表に関して前記モバイルデバイスの縦範囲の角度を決定することと、
前記モバイルデバイスの中心から前記地表への第1の投影に関連付けられる第1の距離を推定することと、ここにおいて、前記第1の投影は、前記モバイルデバイスの前記縦範囲に対して垂直である、
前記角度および前記第1の距離に基づいて、前記モバイルデバイスの前記中心から前記地表への第2の投影に関連付けられる第2の距離を推定することと
を行うよう前記モバイルデバイスのプロセッサによって実行可能な命令を記憶し、前記第2の投影は、前記地表に対して直角である、コンピュータ可読非一時的媒体。
[C93]
前記第1の距離は、前記モバイルデバイスのステレオカメラを使用して推定される、
[C92]に記載のコンピュータ可読非一時的媒体。
[C94]
前記第1の距離は、前記モバイルデバイスの前記カメラのオートフォーカス機能を使用して決定される、
[C92]に記載のコンピュータ可読非一時的媒体。
[C95]
前記第2の距離は、前記モバイルデバイスのユーザの身長にさらに基づいて推定される、
[C92]に記載のコンピュータ可読非一時的媒体。
[C96]
前記モバイルデバイスのディスプレイにおいて、前記推定される第2の距離によって少なくとも部分的に決定されるロケーションにおいて地表部分をレンダリングされた画像を表示するよう前記プロセッサによって実行可能な命令をさらに備える、
[C92]に記載のコンピュータ可読非一時的媒体。
[C97]
前記モバイルデバイスにおいて、第1の結果を生成するようピクセルの第1のエリアを評価することと、
前記モバイルデバイスにおいて、第2の結果を生成するようピクセルの第2のエリアを評価することと、
しきい値を前記第1の結果と前記第2の結果との間の差異と比較することに基づいてシーンの背景部分および前記シーンの前景部分のうちの1つと前記ピクセルの第2のエリアが対応することを決定することと
を行うよう前記プロセッサによって実行可能な命令をさらに備える、[C92]に記載のコンピュータ可読非一時的媒体。
[C98]
前記ピクセルの第1のエリアおよび前記ピクセルの第2のエリアは、ピクセル強度値を合計することによって評価される、
[C97]に記載のコンピュータ可読非一時的媒体。
[C99]
前記第1の結果は、ピクセル強度値の合計の第1の表を備える第1の積分画像であり、前記第2の結果は、ピクセル強度値の合計の第2の表を備える第2の積分画像である、
[C98]に記載のコンピュータ可読非一時的媒体。
[C100]
コンピュータによって生成される仮想オブジェクトを生成することと、
前記シーンの画像を前記モバイルデバイスのディスプレイデバイス上において表示することと
を行うよう前記プロセッサによって実行可能な命令をさらに備え、
前記画像は、前記前景部分、前記背景部分、および前記仮想オブジェクトを含む、[C97]に記載のコンピュータ可読非一時的媒体。
[C101]
前記仮想オブジェクトは、前記モバイルデバイスの拡張現実アプリケーションに関連付けられる、
[C100]に記載のコンピュータ可読非一時的媒体。
[C102]
前記第1の結果を生成する前に、複数の初期画像をキャプチャすることと、
前記複数の初期画像に基づいて初期背景モデルを生成することと
を行うよう前記プロセッサによって実行可能な命令をさらに備える、[C97]に記載のコンピュータ可読非一時的媒体。
[C103]
前記第1の結果を複数の部分に区分化することと、
任意の前記複数の部分が前記初期背景モデルと一致するかどうかを決定するよう前記複数の部分を前記初期背景モデルと比較することと
を行うよう前記プロセッサによって実行可能な命令をさらに備える、[C102]に記載のコンピュータ可読非一時的媒体。
[C104]
前記複数の部分の各々は、1つの加算動作および2つの減算動作を使用して生成される、
[C103]に記載のコンピュータ可読非一時的媒体。
[C105]
前記モバイルデバイスのステレオカメラを使用してシーンに関連付けられる深度プロファイルを生成することと、
前記前景部分の境界を決定することと
を行うよう前記プロセッサによって実行可能な命令をさらに備え、前記境界は、前記深度プロファイルに基づいて決定される、[C97]に記載のコンピュータ可読非一時的媒体。
[C106]
前記深度差異を決定することに応じて少なくともいくらかの前記前景部分の解像度を増大させるよう前記プロセッサによって実行可能な命令をさらに備える、
[C105]に記載のコンピュータ可読非一時的媒体。
Claims (52)
- モバイルデバイスにおいて、合計されるピクセル強度値に関連付けられる第1の結果を生成するよう合計されるエリア動作にしたがってピクセルの第1のエリアを評価すること、前記ピクセルの第1のエリアは、第1の時間におけるシーンに対応する、と、
前記モバイルデバイスにおいて、第2の結果を生成するようピクセルの第2のエリアを評価すること、前記ピクセルの第2のエリアは、前記第1の時間の後の第2の時間における前記シーンに対応する、と、
しきい値を前記第1の結果と前記第2の結果との間における差異と比較することに基づいて前記シーンの背景部分または前記シーンの前景部分のうちの1つと、前記ピクセルの第2のエリアが対応することを決定することと
を備える、方法。 - 前記ピクセルの第1のエリアおよび前記ピクセルの第2のエリアは、前記ピクセル強度値を合計することによって評価され、前記シーンは、前景オブジェクトを含む、請求項1に記載の方法。
- 前記第1の結果は、ピクセル強度値の合計の第1の表を備える第1の積分画像であり、前記第2の結果は、ピクセル強度値の合計の第2の表を備える第2の積分画像である、請求項2に記載の方法。
- 前記モバイルデバイスにおいて、仮想オブジェクトを生成することと、
前記シーンの画像を前記モバイルデバイスのディスプレイデバイス上において表示することと
をさらに備え、
前記画像は、前記前景部分、前記背景部分、および前記仮想オブジェクトを含む、請求項1に記載の方法。 - 前記仮想オブジェクトは、前記モバイルデバイスの拡張現実アプリケーションに関連付けられる、請求項4に記載の方法。
- 前記モバイルデバイスに関連する地表のロケーションを推定することと、
前記地表の前記推定されるロケーションに基づいて、仮想オブジェクトのロケーションを決定することと
をさらに備える、請求項1に記載の方法。 - 前記地表の前記ロケーションを推定することは、
前記モバイルデバイスのセンサを使用して、前記地表に関して前記モバイルデバイスの縦範囲の角度を決定することと、
前記モバイルデバイスの中心から前記地表への第1の投影に関連付けられる第1の距離を推定することと、ここにおいて、前記第1の投影は、前記モバイルデバイスの前記縦範囲に対して垂直である、
前記角度および前記第1の距離に基づいて、前記モバイルデバイスの前記中心から前記地表への第2の投影に関連付けられる第2の距離を推定することと
を含み、前記第2の投影は、前記地表に対して直角である、請求項6に記載の方法。 - 前記第1の結果を生成する前に、複数の初期画像をキャプチャすることと、
前記複数の初期画像に基づいて初期背景モデルを生成することと
をさらに備える、請求項1に記載の方法。 - 前記第1の結果を複数の部分に区分化することと、
任意の前記複数の部分が前記初期背景モデルと一致するかどうかを決定するよう前記複数の部分を前記初期背景モデルと比較することとをさらに備える、請求項8に記載の方法。 - 前記複数の部分の各々は、1つの加算動作および2つの減算動作を使用して生成される、請求項9に記載の方法。
- 前記モバイルデバイスのステレオカメラを使用して前記シーンに関連付けられる深度プロファイルを生成することと、
前記前景部分の境界を決定することと
をさらに備え、前記境界は、前記深度プロファイルに基づいて決定される、請求項1に記載の方法。 - 前記深度プロファイルを決定することに応じて少なくともいくらかの前記前景部分の解像度を増大させることをさらに備える、請求項11に記載の方法。
- 前記シーンは、前記前景部分および前記背景部分を含む、請求項1に記載の方法。
- 前記モバイルデバイスによって、前記第1の時間において前記シーンの第1の領域に対応する前記ピクセルの第1のエリアを決定することと、
前記モバイルデバイスによって、前記第2の時間において前記シーンの前記第1の領域に対応する前記ピクセルの第2のエリアを決定することと
をさらに備える、請求項1に記載の方法。 - 前記ピクセルの第1のエリアは、第1の方向付けを有する前記シーンの第1の画像に関連付けられ、前記ピクセルの第2のエリアは、第2の方向付けを有する前記シーンの第2の画像に関連付けられ、前記第1の方向付けは、前記第2の方向付けとは異なる、請求項1に記載の方法。
- マーカから独立している前記仮想オブジェクトの動きを決定することをさらに備え、前記動きは、画像の領域内におけるピクセル強度の変化の程度に基づいて決定される、請求項4に記載の方法。
- 前記合計されるエリア動作にしたがって前記ピクセルの第1のエリアを評価することは、前記第1のエリアのピクセル毎に、前記第1の結果を生成するよう前記ピクセルの左に互いのピクセルの前記ピクセル強度値を合計することを含む、請求項1に記載の方法。
- 前記合計されるエリア動作にしたがって前記ピクセルの第1のエリアを評価することは、前記第1のエリアのピクセル毎に、前記第1の結果を生成するよう前記ピクセルの上、かつ前記ピクセルの左に互いのピクセルの前記ピクセル強度値を合計することを含む、請求項1に記載の方法。
- 合計されるピクセル強度値に関連づけられる第1の結果を生成するよう合計されるエリア動作にしたがってピクセルの第1のエリアを評価するよう構成され、第2の結果を生成するようピクセルの第2のエリアを評価するようさらに構成される評価器、ここにおいて、前記ピクセルの第1のエリアは、第1の時間におけるシーンに対応し、前記ピクセルの第2のエリアは、前記第1の時間の後の第2の時間における前記シーンに対応する、と、
しきい値を前記第1の結果と前記第2の結果との間の差異と比較することに基づいて前記シーンの背景部分または前記シーンの前景部分のうちの1つと前記ピクセルの第2のエリアが対応することを決定するよう構成されるプロセッサと
を備える、モバイルデバイス。 - 前記評価器は、前記ピクセルの第1のエリアの第1のピクセルの前記ピクセル強度値を合計するように、および前記ピクセルの第2のエリアの第2のピクセルの前記ピクセル強度値を合計するようにさらに構成される、請求項19に記載のモバイルデバイス。
- 前記第1の結果は、ピクセル強度値の合計の第1の表を備える第1の積分画像であり、前記第2の結果は、ピクセル強度値の合計の第2の表を備える第2の積分画像である、請求項20に記載のモバイルデバイス。
- 前記前景部分、前記背景部分、および仮想オブジェクトを含む画像を表示するよう構成されるディスプレイをさらに備える、請求項19に記載のモバイルデバイス。
- 前記仮想オブジェクトは、前記プロセッサによって実行される拡張現実アプリケーションに関連付けられる、請求項22に記載のモバイルデバイス。
- 地表に関して前記モバイルデバイスの縦範囲の角度を決定するよう構成されるセンサと、
前記モバイルデバイスの中心から前記地表への第1の投影に関連付けられる第1の距離を推定するよう構成され、前記第1の投影は、前記モバイルデバイスの前記縦範囲に対して垂直である、前記角度および前記第1の距離に基づいて、前記モバイルデバイスの前記中心から前記地表への第2の投影に関連付けられる第2の距離を推定するようさらに構成される推定器と
をさらに備え、前記第2の投影は、前記地表に対して直角である、請求項19に記載のモバイルデバイス。 - 複数の初期画像をキャプチャするよう構成されるカメラをさらに備え、前記プロセッサは、前記複数の初期画像に基づいて初期背景モデルを生成するようさらに構成される、請求項19に記載のモバイルデバイス。
- 前記プロセッサは、前記第1の結果を複数の部分に区分化し、任意の前記複数の部分が前記初期背景モデルと一致するかどうかを決定するよう前記複数の部分を前記初期背景モデルと比較するようさらに構成される、請求項25に記載のモバイルデバイス。
- 前記プロセッサは、1つの加算動作および2つの減算動作を使用して前記複数の部分の各々を生成するようさらに構成される、請求項26に記載のモバイルデバイス。
- 前記シーンに関連付けられる深度データを生成するよう構成されるステレオカメラと、
前記前景部分の境界を決定するよう構成される深度評価器と
をさらに備え、前記境界は、前記深度データに基づいて決定される、請求項19に記載のモバイルデバイス。 - 前記深度評価器は、前記深度データを決定することに応じて少なくともいくらかの前記前景部分の解像度を増大させるようさらに構成される、請求項28に記載のモバイルデバイス。
- 合計されるピクセル強度値に関連付けられる第1の結果を生成するよう合計されるエリア動作にしたがってピクセルの第1のエリアを評価するための、さらに第2の結果を生成するようピクセルの第2のエリアを評価するための手段、ここにおいて、前記ピクセルの第1のエリアは、第1の時間におけるシーンに対応し、前記ピクセルの第2のエリアは、前記第1の時間の後の第2の時間における前記シーンに対応する、と、
しきい値を前記第1の結果と前記第2の結果との間の差異と比較することに基づいて前記シーンの背景部分または前記シーンの前景部分のうちの1つと前記ピクセルの第2のエリアが対応することを決定するための手段と
を備える、モバイルデバイス。 - 前記評価器は、前記ピクセルの第1のエリアの第1のピクセルの前記ピクセル強度値を合計するように、および前記ピクセルの第2のエリアの第2のピクセルの前記ピクセル強度値を合計するようにさらに構成される、請求項30に記載のモバイルデバイス。
- 前記第1の結果は、ピクセル強度値の合計の第1の表を備える第1の積分画像であり、前記第2の結果は、ピクセル強度値の合計の第2の表を備える第2の積分画像である、請求項31に記載のモバイルデバイス。
- 前記前景部分、前記背景部分、および仮想オブジェクトを含む画像を表示するための手段をさらに備える、請求項30に記載のモバイルデバイス。
- 前記仮想オブジェクトは、拡張現実アプリケーションに関連付けられる、請求項33に記載のモバイルデバイス。
- 地表に関して前記モバイルデバイスの縦範囲の角度を決定するための手段と、
前記モバイルデバイスの中心から前記地表への第1の投影に関連付けられる第1の距離を推定し、前記第1の投影は、前記モバイルデバイスの前記縦範囲に対して垂直である、前記角度および前記第1の距離に基づいて、前記モバイルデバイスの前記中心から前記地表への第2の投影に関連付けられる第2の距離を推定するようさらに構成されるための手段と
をさらに備え、前記第2の投影は、前記地表に対して直角である、請求項30に記載のモバイルデバイス。 - 複数の初期画像をキャプチャするための手段をさらに備え、前記決定するための手段は、前記複数の初期画像に基づいて初期背景モデルを生成するよう構成される、請求項30に記載のモバイルデバイス。
- 前記決定するための手段は、前記第1の結果を複数の部分に区分化し、任意の前記複数の部分が前記初期背景モデルと一致するかどうかを決定するよう前記複数の部分を前記初期背景モデルと比較するようさらに構成される、請求項36に記載のモバイルデバイス。
- 前記決定するための手段は、1つの加算動作および2つの減算動作を使用して前記複数の部分の各々を生成するようさらに構成される、請求項37に記載のモバイルデバイス。
- 前記シーンに関連付けられる深度データを生成するための手段と、
前記前景部分の境界を決定するための手段と
をさらに備え、前記境界は、前記深度データに基づいて決定される、請求項30に記載のモバイルデバイス。 - 前記決定するための手段は、前記深度データを決定することに応じて少なくともいくらかの前記前景部分の解像度を増大させるようさらに構成される、請求項39に記載のモバイルデバイス。
- モバイルデバイスにおいて、合計されるピクセル強度値に関連付けられる第1の結果を生成するよう合計されるエリア動作にしたがってピクセルの第1のエリアを評価すること、前記ピクセルの第1のエリアは、第1の時間におけるシーンに対応する、と、
前記モバイルデバイスにおいて、第2の結果を生成するようピクセルの第2のエリアを評価すること、前記ピクセルの第2のエリアは、前記第1の時間の後の第2の時間における前記シーンに対応する、と、
しきい値を前記第1の結果と前記第2の結果との間の差異と比較することに基づいて前記シーンの背景部分または前記シーンの前景部分のうちの1つと前記ピクセルの第2のエリアが対応することを決定することと
をプロセッサに行わせるためにプロセッサによって実行可能な命令を記憶する、コンピュータ可読非一時的媒体。 - 前記ピクセルの第1のエリアおよび前記ピクセルの第2のエリアは、ピクセル強度値を合計することによって評価される、請求項41に記載のコンピュータ可読非一時的媒体。
- 前記第1の結果は、ピクセル強度値の合計の第1の表を備える第1の積分画像であり、前記第2の結果は、ピクセル強度値の合計の第2の表を備える第2の積分画像である、請求項42に記載のコンピュータ可読非一時的媒体。
- 前記命令は、前記プロセッサによって実行されると、さらに、
仮想オブジェクトを生成することと、
前記シーンの画像を前記モバイルデバイスのディスプレイデバイス上において表示することと
を前記プロセッサに行わせ、
前記画像は、前記前景部分、前記背景部分、および前記仮想オブジェクトを含む、請求項41に記載のコンピュータ可読非一時的媒体。 - 前記仮想オブジェクトは、前記モバイルデバイスの拡張現実アプリケーションに関連付けられる、請求項44に記載のコンピュータ可読非一時的媒体。
- 前記命令は、前記プロセッサによって実行されると、さらに、
前記モバイルデバイスに関連する地表のロケーションを推定することと、
前記地表の前記推定されるロケーションに基づいて、仮想オブジェクトのロケーションを決定することと
を前記プロセッサに行わせる、請求項41に記載のコンピュータ可読非一時的媒体。 - 前記地表の前記ロケーションを推定することは、
前記モバイルデバイスのセンサを使用して、前記地表に関して前記モバイルデバイスの縦範囲の角度を決定することと、
前記モバイルデバイスの中心から前記地表への第1の投影に関連付けられる第1の距離を推定することと、ここにおいて、前記第1の投影は、前記モバイルデバイスの前記縦範囲に対して垂直である、
前記角度および前記第1の距離に基づいて、前記モバイルデバイスの前記中心から前記地表への第2の投影に関連付けられる第2の距離を推定することと
を含み、前記第2の投影は、前記地表に対して直角である、請求項46に記載のコンピュータ可読非一時的媒体。 - 前記命令は、前記プロセッサによって実行されると、さらに、
前記第1の結果を生成する前に、複数の初期画像をキャプチャすることと、
前記複数の初期画像に基づいて初期背景モデルを生成することと
を前記プロセッサに行わせる、請求項41に記載のコンピュータ可読非一時的媒体。 - 前記命令は、前記プロセッサによって実行されると、さらに、
前記第1の結果を複数の部分に区分化することと、
任意の前記複数の部分が前記初期背景モデルと一致するかどうかを決定するよう前記複数の部分を前記初期背景モデルと比較することと
を前記プロセッサに行わせる、請求項48に記載のコンピュータ可読非一時的媒体。 - 前記複数の部分の各々は、1つの加算動作および2つの減算動作を使用して生成される、請求項49に記載のコンピュータ可読非一時的媒体。
- 前記命令は、前記プロセッサによって実行されると、さらに、
前記モバイルデバイスのステレオカメラを使用して前記シーンに関連付けられる深度プロファイルを生成することと、
前記前景部分の境界を決定することと
を前記プロセッサに行わせ、前記境界は、前記深度プロファイルに基づいて決定される、請求項41に記載のコンピュータ可読非一時的媒体。 - 前記命令は、前記プロセッサによって実行されると、さらに、前記深度プロファイルに基づいて少なくともいくらかの前記前景部分の解像度を増大させることを前記プロセッサに行わせる、請求項51に記載のコンピュータ可読非一時的媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261699615P | 2012-09-11 | 2012-09-11 | |
US61/699,615 | 2012-09-11 | ||
US13/651,098 US9466121B2 (en) | 2012-09-11 | 2012-10-12 | Devices and methods for augmented reality applications |
US13/651,098 | 2012-10-12 | ||
PCT/US2013/054423 WO2014042795A2 (en) | 2012-09-11 | 2013-08-09 | Device and method for augmented reality applications |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015534165A JP2015534165A (ja) | 2015-11-26 |
JP2015534165A5 JP2015534165A5 (ja) | 2017-01-19 |
JP6077121B2 true JP6077121B2 (ja) | 2017-02-08 |
Family
ID=50232882
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015531095A Expired - Fee Related JP6077121B2 (ja) | 2012-09-11 | 2013-08-09 | 拡張現実アプリケーションのためのデバイスおよび方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US9466121B2 (ja) |
JP (1) | JP6077121B2 (ja) |
KR (1) | KR101788945B1 (ja) |
CN (1) | CN104584079B (ja) |
WO (1) | WO2014042795A2 (ja) |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US9466121B2 (en) | 2012-09-11 | 2016-10-11 | Qualcomm Incorporated | Devices and methods for augmented reality applications |
US9894269B2 (en) | 2012-10-31 | 2018-02-13 | Atheer, Inc. | Method and apparatus for background subtraction using focus differences |
CN104969289B (zh) | 2013-02-07 | 2021-05-28 | 苹果公司 | 数字助理的语音触发器 |
GB201322873D0 (en) * | 2013-12-23 | 2014-02-12 | Tobii Technology Ab | Eye gaze determination |
US20150264357A1 (en) * | 2014-03-11 | 2015-09-17 | Stmicroelectronics S.R.L. | Method and system for encoding digital images, corresponding apparatus and computer program product |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
CN104407696B (zh) * | 2014-11-06 | 2016-10-05 | 北京京东尚科信息技术有限公司 | 移动设备的虚拟球模拟及控制的方法 |
US9804392B2 (en) | 2014-11-20 | 2017-10-31 | Atheer, Inc. | Method and apparatus for delivering and controlling multi-feed data |
US20160182846A1 (en) | 2014-12-22 | 2016-06-23 | Google Inc. | Monolithically integrated rgb pixel array and z pixel array |
US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10261804B2 (en) * | 2015-09-11 | 2019-04-16 | Qualcomm Incorporated | Gradual power wake-up mechanism |
KR102407624B1 (ko) * | 2015-10-06 | 2022-06-10 | 삼성전자주식회사 | 전자 장치의 영상 처리 방법 및 그 전자 장치 |
US10962780B2 (en) * | 2015-10-26 | 2021-03-30 | Microsoft Technology Licensing, Llc | Remote rendering for virtual images |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10269123B2 (en) | 2017-01-09 | 2019-04-23 | Qualcomm Incorporated | Methods and apparatus for video background subtraction |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
DK201770429A1 (en) | 2017-05-12 | 2018-12-14 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
US20180336275A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Intelligent automated assistant for media exploration |
US10405126B2 (en) | 2017-06-30 | 2019-09-03 | Qualcomm Incorporated | Mixed-order ambisonics (MOA) audio data for computer-mediated reality systems |
WO2019111052A2 (en) * | 2017-12-06 | 2019-06-13 | Zyetric One Limited | Inserting virtual objects in between two real objects in an augmented reality environment |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
JP7374582B2 (ja) * | 2018-11-27 | 2023-11-07 | キヤノン株式会社 | 画像処理装置、画像生成方法およびプログラム |
US11227599B2 (en) | 2019-06-01 | 2022-01-18 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
WO2021068799A1 (en) * | 2019-10-07 | 2021-04-15 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Occlusion and collision detection for augmented reality applications |
US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
US11743670B2 (en) | 2020-12-18 | 2023-08-29 | Qualcomm Incorporated | Correlation-based rendering with multiple distributed streams accounting for an occlusion for six degree of freedom applications |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5668605A (en) * | 1994-10-25 | 1997-09-16 | R. T. Set | Object keying in video images based on distance from camera |
US7348963B2 (en) | 2002-05-28 | 2008-03-25 | Reactrix Systems, Inc. | Interactive video display system |
US8094928B2 (en) | 2005-11-14 | 2012-01-10 | Microsoft Corporation | Stereo video for gaming |
IES20060559A2 (en) * | 2006-02-14 | 2006-11-01 | Fotonation Vision Ltd | Automatic detection and correction of non-red flash eye defects |
KR100975488B1 (ko) * | 2006-02-21 | 2010-08-11 | 파나소닉 전공 주식회사 | 영상표시장치 및 영상표시장치의 영상왜곡 보정방법 |
EP1881454A1 (en) * | 2006-07-17 | 2008-01-23 | Mitsubishi Electric Information Technology Centre Europe B.V. | Image processing for change detection |
FR2911211B1 (fr) | 2007-01-05 | 2009-06-12 | Total Immersion Sa | Procede et dispositifs pour inserer en temps reel des objets virtuels dans un flux d'images a partir de donnees issues de la scene reelle representee par ces images |
US8254680B2 (en) * | 2007-01-24 | 2012-08-28 | Samsung Electronics Co., Ltd. | Apparatus and method of segmenting an image in an image coding and/or decoding system |
US7929729B2 (en) * | 2007-04-02 | 2011-04-19 | Industrial Technology Research Institute | Image processing methods |
DE102007045834B4 (de) | 2007-09-25 | 2012-01-26 | Metaio Gmbh | Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung |
DE102007045835B4 (de) | 2007-09-25 | 2012-12-20 | Metaio Gmbh | Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung |
US8896686B2 (en) | 2009-06-23 | 2014-11-25 | Here Global B.V. | Determining a geometric parameter from a single image |
US8436891B2 (en) * | 2009-09-16 | 2013-05-07 | Disney Enterprises, Inc. | Hyperlinked 3D video inserts for interactive television |
US8466980B2 (en) * | 2010-04-06 | 2013-06-18 | Alcatel Lucent | Method and apparatus for providing picture privacy in video |
US20120075440A1 (en) | 2010-09-28 | 2012-03-29 | Qualcomm Incorporated | Entropy based image separation |
CN102123194B (zh) * | 2010-10-15 | 2013-12-18 | 张哲颖 | 利用增强实景技术优化移动导航和人机交互功能的方法 |
US9424371B2 (en) | 2010-11-05 | 2016-08-23 | Autodesk, Inc. | Click to accept as built modeling |
US9292973B2 (en) | 2010-11-08 | 2016-03-22 | Microsoft Technology Licensing, Llc | Automatic variable virtual focus for augmented reality displays |
JP5713398B2 (ja) * | 2011-07-05 | 2015-05-07 | 大学共同利用機関法人情報・システム研究機構 | 画像照合装置、画像照合方法及びコンピュータプログラム |
KR20130022831A (ko) | 2011-08-26 | 2013-03-07 | 유민규 | 이동통신 단말기를 이용한 거리, 높이, 길이 측정 방법 |
US9466121B2 (en) | 2012-09-11 | 2016-10-11 | Qualcomm Incorporated | Devices and methods for augmented reality applications |
-
2012
- 2012-10-12 US US13/651,098 patent/US9466121B2/en active Active
-
2013
- 2013-08-09 WO PCT/US2013/054423 patent/WO2014042795A2/en active Application Filing
- 2013-08-09 CN CN201380044121.XA patent/CN104584079B/zh not_active Expired - Fee Related
- 2013-08-09 JP JP2015531095A patent/JP6077121B2/ja not_active Expired - Fee Related
- 2013-08-09 KR KR1020157004940A patent/KR101788945B1/ko active IP Right Grant
-
2016
- 2016-09-01 US US15/255,121 patent/US10038892B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
KR20150054778A (ko) | 2015-05-20 |
WO2014042795A3 (en) | 2014-08-28 |
KR101788945B1 (ko) | 2017-10-20 |
WO2014042795A2 (en) | 2014-03-20 |
US20140071241A1 (en) | 2014-03-13 |
US9466121B2 (en) | 2016-10-11 |
JP2015534165A (ja) | 2015-11-26 |
US10038892B2 (en) | 2018-07-31 |
CN104584079B (zh) | 2017-12-05 |
CN104584079A (zh) | 2015-04-29 |
US20160373723A1 (en) | 2016-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6077121B2 (ja) | 拡張現実アプリケーションのためのデバイスおよび方法 | |
JP6043856B2 (ja) | Rgbdカメラを用いた頭部ポーズ推定 | |
CN103514432B (zh) | 人脸特征提取方法、设备和计算机程序产品 | |
CN108027884B (zh) | 一种用于监测对象的方法、存储媒体、服务器及设备 | |
WO2019007258A1 (zh) | 相机姿态信息的确定方法、装置、设备及存储介质 | |
US20160224856A1 (en) | Occlusion handling for computer vision | |
CN111582116B (zh) | 一种视频抹除痕迹检测方法、装置、设备和存储介质 | |
CN114651284A (zh) | 轻量级多分支和多尺度人员重识别 | |
CN108712606A (zh) | 提示方法、装置、存储介质及移动终端 | |
JP6908183B2 (ja) | 学習用画像生成装置、学習用画像生成方法及びプログラム | |
US20150095360A1 (en) | Multiview pruning of feature database for object recognition system | |
US10438405B2 (en) | Detection of planar surfaces for use in scene modeling of a captured scene | |
KR102367648B1 (ko) | 전 방향 시차 영상 합성 방법, 장치 및 저장 매체 | |
JP6054771B2 (ja) | 背景モデル構築装置、背景モデル構築方法、およびプログラム | |
JP2007004318A (ja) | 画像処理方法、画像処理を実行するためのプログラム、及び、当該プログラムが記憶された記憶媒体 | |
CN112308977A (zh) | 视频处理方法、视频处理装置和存储介质 | |
CN110309721B (zh) | 视频处理方法、终端和存储介质 | |
JP2018066687A (ja) | 情報処理装置、情報処理方法、および情報処理プログラム | |
KR101117235B1 (ko) | 교통사고 인식 장치 및 방법 | |
US20220270273A1 (en) | Machine learning-based object-centric approach to image manipulation | |
CN114007134B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
CN111597893B (zh) | 一种行人图像的匹配方法、装置、存储介质及终端 | |
JP2022177392A (ja) | 制御プログラム、制御方法、および情報処理装置 | |
CN116486039A (zh) | 点云数据处理方法、装置、电子设备及存储介质 | |
CN114627552A (zh) | 一种行为识别方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160715 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161130 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20161130 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20161214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170111 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6077121 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |