JP6077121B2 - 拡張現実アプリケーションのためのデバイスおよび方法 - Google Patents

拡張現実アプリケーションのためのデバイスおよび方法 Download PDF

Info

Publication number
JP6077121B2
JP6077121B2 JP2015531095A JP2015531095A JP6077121B2 JP 6077121 B2 JP6077121 B2 JP 6077121B2 JP 2015531095 A JP2015531095 A JP 2015531095A JP 2015531095 A JP2015531095 A JP 2015531095A JP 6077121 B2 JP6077121 B2 JP 6077121B2
Authority
JP
Japan
Prior art keywords
mobile device
area
result
scene
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015531095A
Other languages
English (en)
Other versions
JP2015534165A (ja
JP2015534165A5 (ja
Inventor
ヤン、ルイド
ビ、ニン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2015534165A publication Critical patent/JP2015534165A/ja
Publication of JP2015534165A5 publication Critical patent/JP2015534165A5/ja
Application granted granted Critical
Publication of JP6077121B2 publication Critical patent/JP6077121B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Description

関連出願の相互参照
[0001]本出願は、２０１２年９月１１日に出願された「DEVICE AND METHOD FOR AUGMENTED REALITY APPLICATIONS FOR MOBILE DEVICES」と題する米国仮特許出願第６１／６９９，６１５号、および２０１２年１０月１２日に出願された「DEVICES AND METHODS FOR AUGMENTED REALITY APPLICATIONS」と題する米国非仮特許出願第１３／６５１，０９８号からの優先権を主張し、各々の内容は全体において本明細書に組み込まれる。
[0002]本開示は、一般的に、モバイルデバイスのための拡張現実アプリケーションに関する。
[0003]技術における進歩は、より小型で、より強力な計算デバイスをもたらした。例えば、小型で軽量、かつユーザによって容易に持ち運ばれるポータブルワイヤレス電話、携帯情報端末（ＰＤＡ）、およびページングデバイスのような、ワイヤレス計算デバイスを含む、様々なポータブルパーソナル計算デバイスが現在において存在する。より具体的には、セルラ電話およびインターネットプロトコル（ＩＰ）電話のような、ポータブルワイヤレス電話は、ワイヤレスネットワーク上で音声およびデータパケットを通信することができる。さらに、多くのそのようなワイヤレス電話は、そこに組み込まれる他のタイプのデバイスを含む。例えば、ワイヤレス電話はまた、デジタルスチルカメラ、デジタルビデオカメラ、デジタルレコーダ、およびオーディオファイルプレーヤを含むことができる。また、そのようなワイヤレス電話は、インターネットにアクセスするよう使用されることができる、ウェブブラウザアプリケーションのような、ソフトウェアアプリケーションを含む、実行可能命令を処理することができる。そのため、これらのワイヤレス電話は、有意の計算能力を含むことができる。
[0004]いくつかの電子デバイスは、現実に基づく画像またはビデオに対してコンピュータによって生成される画像を追加するよう拡張現実アプリケーションを使用する。例えば、モバイルデバイスのカメラが目標エリアに向けられる場合、ゲームは、コンピュータによって生成される「仮想」オブジェクトを追加することによって画像を拡張する間に、モバイルデバイスのディスプレイ上において目標エリアの画像を再生しうる。そのようなアプリケーションは、電子デバイスの有意な処理リソースを消費し、ユーザと仮想オブジェクトとの間の相互作用の検出についての課題を提示しうる。
[0005]いくつかの電子デバイスは、ロケーション検出を可能にするよう「マーカ」を利用する。例えば、モバイルデバイスのユーザは、モバイルデバイスのアプリケーションによって認識可能なサイズおよびパターンを有する画像を印刷しうる。モバイルデバイスのカメラがマーカに向けられる場合、アプリケーションは、マーカとモバイルデバイスとの間の距離を推定するようマーカを「見」うる。しかしながら、そのようなマーカを使用することは、ユーザにとって不便かつ厄介となりうる。加えて、アプリケーションが処理される間にモバイルデバイスがマーカに関して移動しうるため、モバイルデバイスは、地表または他の表面のロケーションを再推定するようマーカを繰り返し再評価する必要がありうる。
発明の要約
[0006]本開示にしたがったモバイルデバイスは、拡張現実アプリケーションの効率的な処理を可能にするよう１つまたは複数の技法を利用しうる。少なくともいくつかの実施形態において、１つまたは複数の技法は、マーカを利用することなくユーザと「仮想オブジェクト」との間の相互作用を可能にする。例えば、モバイルデバイスは、表示されるべき画像に関連付けられる背景を効率的に分ける（例えば、減算する）よう積分画像技法を使用しうる。別の例として、モバイルデバイスは、モバイルデバイスに関連する地表のロケーションを決定するようセンサデータを利用しえ、したがって、マーカを使用することなく地表上において仮想オブジェクトの配置を可能にする。別の例として、モバイルデバイスは、興味のあるシーンに関連付けられる深度情報（例えば、深度プロファイル）を決定するようステレオカメラを使用しうる。深度情報は、仮想オブジェクトの位置（例えば、仮想オブジェクトが前景オブジェクトの前に表示されるか、または前景オブジェクトによって遮られるかどうか）を決定するよう使用されうる。
[0007]特定の実施形態において、方法は、モバイルデバイスにおいて、第１の結果を生成するようピクセルの第１のエリアを評価することを含む。方法はさらに、モバイルデバイスにおいて、第２の結果を生成するようピクセルの第２のエリアを評価することを含む。しきい値を第１の結果と第２の結果との間の差異と比較することに基づいて、ピクセルの第２のエリアがシーンの背景部分またはシーンの前景部分に対応するという決定がなされる。
[0008]別の特定の実施形態において、モバイルデバイスは、第１の結果を生成するようピクセルの第１のエリアを評価するよう構成される評価器を含む。評価器はさらに、第２の結果を生成するようピクセルの第２のエリアを評価するよう構成される。モバイルデバイスはさらに、しきい値を第１の結果と第２の結果との間の差異と比較することに基づいてピクセルの第２のエリアがシーンの背景部分またはシーンの前景部分に対応することを決定するよう構成される論理を含む。
[0009]別の特定の実施形態において、モバイルデバイスは、第１の結果を生成するようピクセルの第１のエリアを評価するための、さらに第２の結果を生成するようピクセルの第２のエリアを評価するための手段を含む。モバイルデバイスはさらに、しきい値を第１の結果と第２の結果との間の差異と比較することに基づいてピクセルの第２のエリアがシーンの背景部分またはシーンの前景部分に対応することを決定するための手段を含む。
[0010]別の特定の実施形態において、コンピュータ可読非一時的媒体は、モバイルデバイスにおいて、第１の結果を生成するようピクセルの第１のエリアを評価することと、モバイルデバイスにおいて、第２の結果を生成するようピクセルの第２のエリアを評価することとを行うようモバイルデバイスのプロセッサによって実行可能な命令を記憶する。命令はさらに、しきい値を第１の結果と第２の結果との間の差異と比較することに基づいてピクセルの第２のエリアがシーンの背景部分またはシーンの前景部分に対応することを決定するようプロセッサによってさらに実行可能である。
[0011]別の特定の態様において、方法は、モバイルデバイスのセンサを使用して、地表に関してモバイルデバイスの縦範囲の角度を決定することを含む。方法はさらに、地表に関して第１の距離を推定することを含む。第１の距離は、モバイルデバイスの中心から地表への第１の投影に関連付けられ、第１の投影は、モバイルデバイスの縦範囲に対して垂直である。第２の距離は、角度および第１の距離に基づいて推定される。第２の距離は、モバイルデバイスの中心から地表への第２の投影に関連付けられ、第２の投影は、地表に対して垂直である。
[0012]別の特定の態様において、モバイルデバイスは、地表に関してモバイルデバイスの縦範囲の角度を決定するよう構成されるセンサを含む。モバイルデバイスはさらに、推定器を含む。推定器は、モバイルデバイスの中心から地表への第１の投影に関連付けられる第１の距離を推定し、第１の投影は、モバイルデバイスの縦範囲に対して垂直である。推定器はさらに、角度および第１の距離に基づいて、モバイルデバイスの中心から地表への第２の投影に関連付けられる第２の距離を推定する。第２の投影は、地表に対して垂直である。
[0013]別の特定の態様において、モバイルデバイスは、地表に関してモバイルデバイスの縦範囲の角度を決定するための手段を含む。モバイルデバイスはさらに、第１の距離を推定するための、および角度ならびに第１の距離に基づいて第２の距離を推定するための手段を含む。第１の距離は、モバイルデバイスの中心から地表への第１の投影に関連付けられ、第１の投影は、モバイルデバイスの縦範囲に対して垂直である。第２の距離は、モバイルデバイスの中心から地表への第２の投影に関連付けられる。第２の投影は、地表に対して垂直である。
[0014]特定の態様において、コンピュータ可読非一時的媒体は、モバイルデバイスのセンサを使用して、地表に関してモバイルデバイスの縦範囲の角度を決定するようモバイルデバイスのプロセッサによって実行可能な命令を記憶する。命令はさらに、第１の距離を推定するよう、および角度ならびに第１の距離に基づいて第２の距離を推定するようプロセッサによって実行可能である。第１の距離は、モバイルデバイスの中心から地表への第１の投影に関連付けられ、第１の投影は、モバイルデバイスの縦範囲に対して垂直である。第２の距離は、モバイルデバイスの中心から地表への第２の投影に関連付けられる。第２の投影は、地表に対して垂直である。
[0015]開示される実施形態のうちの少なくとも１つによって提供される１つの特定の利点は、画像の前景および背景部分の効率的な識別である。例えば、少なくとも１つの例示的な実施形態にしたがって、モバイルデバイスは、画像の前景および背景部分を効率的に識別するよう、積分画像技法のような、ピクセル強度の合計技法を使用する。さらに、少なくともいくつかの開示される実施形態は、マーカの使用を必要としない拡張現実アプリケーションの使用を可能にし、それにより、ユーザのために拡張現実アプリケーションをより便利にする。
[0016]本開示の他の態様、利点、および特徴は、次のセクションである、図面の簡単な説明、発明を実施するための形態、および特許請求の範囲を含む、本願全体のレビュー後に明らかになるだろう。
シーンの画像を生成するためのシーンおよびモバイルデバイスの特定の実施形態の図である。 図１のモバイルデバイスの特定の実施形態のブロック図である。 図１のモバイルデバイスの別の特定の実施形態のブロック図である。 図１のモバイルデバイスの別の特定の実施形態のブロック図である。 １つまたは複数の図１および２Ａ−２Ｃ、またはそれらの組み合わせのモバイルデバイスの動作の方法の特定の実施形態のフローチャートである。 １つまたは複数の図１および２Ａ−２Ｃ、またはそれらの組み合わせのモバイルデバイスの動作の方法の別の特定の実施形態のフローチャートである。 地表のロケーションを推定するためのモバイルデバイスの特定の実施形態のブロック図である。 １つまたは複数の図１、２Ａ−２Ｃ、および４、またはそれらの組み合わせのモバイルデバイスの動作の方法の特定の実施形態のフローチャートである。 ステレオカメラデータに関連付けられる深度プロファイルに基づいて画像を生成するためのモバイルデバイスの特定の実施形態のブロック図である。 ステレオカメラデータに基づいて図６の画像の一部の解像度を増大することを例示する特定の例のブロック図である。 １つまたは複数の図１、２Ａ−２Ｃ、４、および６、またはそれらの組み合わせのモバイルデバイスのような、モバイルデバイスの動作の方法の特定の実施形態のフローチャートである。 １つまたは複数の図１、２Ａ−２Ｃ、４、および６、またはそれらの組み合わせのモバイルデバイスのような、モバイルデバイスの特定の実施形態のブロック図である。
[0029]図１は、モバイルデバイス１０４およびシーン１０８の特定の例示的な実施形態を図示する。図１の特定の例において、モバイルデバイス１０４は、カメラ１１０、評価器１２０、背景／前景分析器１４０、およびディスプレイ１５０を含む。シーン１０８は、背景オブジェクト１６０、前景オブジェクト１７０、およびロケーション１８０を含みうる。ロケーション１８０は、ディスプレイ１５０の動作に関連して以下においてさらに記述されるように、例えば、拡張現実アプリケーションに関連して、ディスプレイ１５０において表示されるべき仮想オブジェクトに対応しうる。例えば、ディスプレイ１５０は、シーン１０８に対応する画像１５０を表示しうる。
[0030]動作時に、カメラ１１０は、シーン１０８の画像をキャプチャしうる。例えば、カメラ１１０は、第１の時間においてピクセル１１２（例えば、行列または表のような、複数のピクセル）の第１のエリアを生成しうる。別の例として、カメラ１１０は、第１の時間とは異なる時間（例えば、第１の時間の後の第２の時間）において、ピクセル１１４の第２のエリアを生成しうる。ピクセル１１２の第１のエリアは、第１の時間においてモバイルデバイス１０４およびシーン１０８の方向付け（orientation）（例えば、測位）に関連付けられうる。ピクセル１１４の第２のエリアは、第２の時間においてモバイルデバイス１０４およびシーン１０８の方向付け（例えば、測位）に関連付けられうる。少なくとも１つの実施形態において、ピクセル１１２、１１４のエリアは各々、少なくとも図２Ａに関連して以下においてさらに記述されるように、背景オブジェクト１６０に対応する画像１５２の背景部分を決定するよう使用される。少なくとも別の実施形態において、ピクセル１１２、１１４の１つまたは複数のエリアは、少なくとも図２Ｂおよび２Ｃに関連して以下においてさらに記述されるように、前景オブジェクト１７０に対応する画像１５２の前景部分を決定するよう使用される。
[0031]評価器１２０は、第１の結果１２２を生成するよう、動作にしたがってピクセル１１２の第１のエリアを評価しうる。少なくとも１つの実施形態において、動作は、ピクセル１１２の第１のエリアのピクセル強度を合計するピクセル強度の合計動作である。例えば、動作は、（合計されるエリア動作としても周知である）積分画像動作であり、第２の結果１２２は、ピクセル１１２の第１のエリアに関連付けられる（合計されるエリア表としても周知である）積分画像でありうる。ピクセル１１２の第１のエリアの位置（ｍ，ｎ）における積分画像は、以下のようでありうる。
Figure 0006077121
[0033]ここで、Ｉ（ｘ，ｙ）は、ピクセル１１２の第１のエリア内における位置（ｘ，ｙ）を有するピクセル強度値である。それ故に、積分画像動作は、各値がピクセル１１２の第１のエリアの特定のピクセルに対応する位置を有する複数の値（例えば、表）を生成し、（特定のピクセルを含む）特定のピクセルの「左上の」ピクセル１１２の第１のエリアのそれらのピクセル強度値の合計を示しうる。さらに例示するために、特定の積分画像動作の例は、図２Ａ−２Ｃに関連してさらに記述される。評価器１２０はまた、第２の結果１２４を生成するよう動作にしたがってピクセル１１４の第２のエリアを評価しうる。第２の結果１２４は、ピクセル１１４の第２のエリアに関連付けられる積分画像でありうる。
[0034]背景／前景分析器１４０は、評価器１２０に応答しうる。特定の実施形態において、背景／前景分析器１４０は、１つまたは複数の画像１５２の背景部分および画像１５２の前景部分を生成するよう、結果１２２、１２４のような、結果を比較する。例えば、背景／前景分析器１４０は、結果１２２、１２４間の差異を決定するよう結果１２２、１２４を比較しうる。少なくとも１つの実施形態において、背景／前景分析器１４０は、結果１２４が１つまたは複数の背景オブジェクト１６０および前景オブジェクト１７０に対応するかどうかを決定するよう差異をしきい値（例えば、所定のしきい値）と比較する。少なくとも１つの実施形態において、使用されるしきい値は、割合（例えば、結果１２２、１２４間における割合の差異）である。
[0035]背景／前景分析器１４０によって使用されるしきい値は、特定のコンテキストおよびアプリケーションによって決定されうる（例えば、実験的に決定されうる）。少なくとも１つの実施形態において、しきい値は、キャプチャされる画像に関連して「適応性がある」。例えば、背景および前景がより異なる場合（例えば、前景および背景が異なる色である場合）、しきい値は、増大されうる。背景および前景がより異ならない場合（例えば、背景および前景が同様の色である場合）、しきい値は、減少されうる。特定の例示的な実施形態において、しきい値は、１と２５５との間におけるように、「最小」値と「最大」値との間において可変でありうる（例えば、しきい値は、２０に設定されうる）。それ故に、背景／前景分析器１４０は、前景と背景との間の差異を追跡し、それに応じてしきい値を調整しうる。背景／前景分析器１４０はまた、図２Ａ−２Ｃに関連してさらに記述されるように、画像１５２の背景部分を決定するために使用される第１または「背景」しきい値および画像１２５の前景部分を決定するための第２のまたは「前景」しきい値のような、多数のしきい値を利用しうる。
[0036]特定の例としてさらに例示するために、ピクセル１１２の第１のエリアが第１の時間においてシーン１０８の第１の領域（例えば、カメラ１１０によってキャプチャされる画像の複数の領域のうちの１つ）に対応し、ピクセル１１４の第２のエリアが第２の時間においてシーンの第１の領域に対応する場合、その後、差異が低い（例えば、しきい値を上回らない）ことが決定される場合、シーンの第１の領域は、第１の時間と第２の時間との間において比較的変わらないまたは安定することが決定されうる。シーン１０８の第１の領域は、キャプチャされる画像の選択される部分であり、選択される部分は、キャプチャされる各部分を評価するよう動作中に変更されうる。それ故に、第１の領域は、シーン１０８の背景部分として（例えば、背景オブジェクト１６０の一部として）識別されうる。そのような変わらないオブジェクトの例は、図１内において図示される太陽でありうる。差異が高くなるよう決定される（例えば、しきい値を上回る）場合、シーン１０８の第１の領域は、第１の時間と第２の時間との間において移動または変化したと決定されうる。それ故に、第１の領域は、シーン１０８の前景部分として（例えば、前景オブジェクト１７０の一部として）識別されうる。（例えば、拡張現実ゲームに関連して）「仮想サッカー」のゲームを行うユーザは、前景オブジェクトがしきい値を上回りうる動きを示しうるアプリケーションの例である。
[0037]第１の領域に関連して記述される画像の前景および背景部分を識別する前述の技法はまた、シーン全体の前景および背景部分を識別するよう、直列または並列に、シーンの１つまたは複数の追加領域に適用されうる。少なくとも１つの実施形態において、シーン１０８のキャプチャされる画像の各領域は、キャプチャされる画像の背景および／または前景部分を識別するためにシーン１０８の少なくとも１つの前のキャプチャされる画像の対応する領域と比較されうる。
[0038]ディスプレイ１５０は、画像１５２を表示するよう背景／前景分析器１４０に応答しうる。画像１５２は、シーン１０８に対応しうる。例えば、図１の特定の例示において、画像１５２は、背景オブジェクト１６０に対応する背景部分（すなわち、太陽）、前景オブジェクト１７０に対応する前景部分（すなわち、ユーザ）、およびロケーション１８０に対応する仮想オブジェクト（すなわち、ゲームのような、拡張現実アプリケーションに関連して生成されるボール）を含む。モバイルデバイス１０４の動作の例は、図２Ａ−２Ｃに関連してさらに記述される。
[0039]図１に関連して記述される前述の技法がモバイルデバイス１０４のための簡略化される背景／前景分析を可能にしうることが認識されるだろう。例えば、オブジェクトの動きは、画像の領域内におけるピクセル強度の変化の程度に基づいて決定されうる。上記の方法の使用によって、モバイルデバイス１０４が動いており、拡張現実アプリケーションを処理する間に、モバイルデバイス１０４は、方向付け（orientation）およびロケーションデータを繰り返し再評価することを避けうる。それ故に、背景／前景分析の計算的な効率は、改善される。
[0040]図２Ａは、図１に関連して記述されるモバイルデバイス１０４の特定の例示的な実施形態を図示する。図２Ａのモバイルデバイス１０４の様々なコンポーネントおよび機能性は、図１に関連して記述されうる。例えば、図２Ａのモバイルデバイス１０４は、カメラ１１０、評価器１２０、背景／前景分析器１４０、およびディスプレイ１５０を含みうる。図２Ａの特定の例において、評価器１２０は、以下においてさらに説明されるように、積分画像動作のような、動作を遂行するよう回路２０４を含む。さらに、図２Ａの特定の例において、背景／前景分析器１４０は、以下においてさらに説明されるように、連続する積分画像間における少なくとも１つの差異を背景しきい値と比較することに基づいて背景モデル２１２を決定するよう構成されうる、比較回路１３０を含む。
[0041]動作時において、評価器１２０は、カメラ１１０によって各々生成されるピクセル１１２Ａの第１のエリアおよびピクセル１１４Ａの第２のエリアに応答しうる。例えば、回路２０４は、それぞれ、第１の結果１２２Ａおよび第２の結果１２４Ａを生成するようピクセル１１２Ａ、１１４Ａのエリアに基づいて動作を遂行しうる。少なくとも１つの実施形態において、ピクセル１１２Ａ、１１４Ａのエリアおよび結果１２２Ａ、１２４Ａは、それぞれ、図１のピクセル１１２、１１４のエリアおよび結果１１２、１２４に対応する。少なくとも１つの実施形態において、回路２０４によって遂行される動作は、積分画像動作であり、第１の結果１２２Ａは、ピクセル１１２Ａの第１のエリアに関連付けられる積分画像であり、第２の結果１２４Ａは、ピクセル１１４Ａの第２のエリアに関連付けられる積分画像である。例示するために、ピクセル１１２Ａの第１のエリアがピクセル強化値の行列によって表される場合、ピクセル１１２Ａの第１のエリアの位置（ｍ，ｎ）における積分画像は、以下のようでありうる。
Figure 0006077121
[0043]Ｉ（ｘ，ｙ）は、ピクセル強化値の行列内における位置（ｘ，ｙ）を有するピクセル強度値である。例えば、回路２０４に入力される以下のピクセル強化値の行列のために、
Figure 0006077121
[0045]回路２０４は、対応する積分画像が以下のようになるよう決定しうる。
Figure 0006077121
[0047]少なくとも１つの実施形態において、背景／前景分析器１４０は、背景モデル２１２を生成するよう回路２０４によって出力される結果（例えば、結果１２２Ａ、１２４Ａ）に応答する。１つの例にしたがって、比較回路１３０は、結果１２２Ａ、１２４Ａ間の差異を決定しうる。背景モデル（すなわち、「背景しきい値」）を決定することに関連付けられるしきい値を差異が上回らない場合、ピクセル１１２Ａ、１１４Ａのエリアは、シーンの実質的に「安定した」または「一様の」画像（例えば、図１のシーン１０８の背景オブジェクト１６０）を表すという決定がなされうる。実質的に「安定した」または「一様の」画像を取得する際に、ピクセル１１２Ａ、１１４Ａおよび結果１２２Ａ、１２４Ａの１つまたは複数のエリアは、背景モデル２１２を構築するよう、（例えば、拡張現実アプリケーションに関連して）背景モデル２１２を使用してディスプレイ１５０において背景部分をレンダリングするよう、またはそれらの組み合わせを行うよう使用されうる。
[0048]少なくとも１つの実施形態において、背景モデル２１２は、モバイルデバイス１０４において記憶され（例えば、図２Ａの例内において図示されるように、背景／前景分析器１４０によって記憶され）、少なくとも図２Ｂおよび２Ｃに関連してさらに記述されるように、その後の計算内において使用される。例えば、結果１２４Ａは、モバイルデバイス１０４において（例えば、背景モデル２１２のような、背景モデルの一部として）記憶されえ、少なくとも図２Ｂおよび２Ｃに関連してさらに記述されるように、画像の前景部分を決定するよう使用される。さらなる実施形態にしたがって、背景モデルは、図２Ａのモバイルデバイス１０４のような、モバイルデバイスによって送信および受信されうる。またさらなる実施形態にしたがって、前述の技法の代替としてまたはそれに加えて、背景モデルは、図８に関連してさらに記述されるように、「ユーザ指定（user designation）」技法に基づいて生成されうる。
[0049]差異がしきい値を上回る場合、ピクセル１１２Ａ、１１４Ａのエリアは、シーンの実質的に「安定した」または「一様の」画像を表さず、シーンの追加の画像は、（例えば、カメラ１１０に（または、図９に関連してさらに記述されるように、カメラ１１０に関連付けられるカメラ制御器に）信号を送信することによって）キャプチャされえ、追加の画像は、ピクセルの実質的に「安定した」または「一様の」セット（例えば、背景モデル）が取得されるまで分析されるという決定がなされうる。
[0050]特定の実施形態において、差異がしきい値より大きいまたは等しいことを決定する背景／前景分析器１４０に応答して、背景／前景分析器１４０は、ピクセル１１４Ａの第２のエリアが前景部分に対応することを決定しうる。前景部分の決定は、少なくとも図２Ｂおよび２Ｃに関連してさらに記述される。
[0051]図２Ａに関連して記述される積分画像技法が計算的にロバストであり、モバイルデバイス１０４のための簡略化される背景／前景分析を可能にしうることが認識されるだろう。例えば、オブジェクトの動きは、マーカのロケーションおよび位置に基づく代わりに、画像の領域内におけるピクセル強度の変化の程度（例えば、変化の程度がしきい値を上回るかどうか）に基づいて決定されうる。モバイルデバイスが動く間、および拡張現実アプリケーションを処理する間に、図２Ａのモバイルデバイス１０４がマーカの方向付け（orientation）およびロケーションを繰り返し再評価することを避けうるため、背景モデル２１２を生成する計算的な複雑性は、低減されうる。
[0052]図２Ｂは、図１に関連して記述されるモバイルデバイス１０４の特定の例示的な実施形態を図示する。図２Ｂのモバイルデバイス１０４の様々なコンポーネントおよび機能性は、図１および２Ａに関連して記述されうる。例えば、図２Ｂのモバイルデバイス１０４は、カメラ１１０、評価器１２０、背景／前景分析器１４０、およびディスプレイ１５０を含みうる。図２Ｂの特定の例において、評価器１２０は、図２Ａの回路２０４を含む。さらに、図２Ｂの特定の例において、背景／前景分析器１４０は、以下においてさらに説明されるように、積分画像と背景モデルとの間の差異を前景しきい値と比較することよって前景／背景部分を決定するよう構成されうる、図２Ａの比較回路１３０を含む。
[0053]動作時において、評価器１２０は、カメラ１１０によって各々生成される、ピクセル１１２Ｂの第１のエリアおよびピクセル１１４Ｂの第２のエリアに応答しうる。例えば、回路２０４は、それぞれ、第１の結果１２２Ｂおよび第２の結果１２４Ｂを生成するようピクセル１１２Ｂ、１１４Ｂのエリアに基づいて動作を遂行しうる。少なくとも１つの実施形態において、ピクセル１１２Ｂ、１１４Ｂのエリアおよび結果１２２Ｂ、１２４Ｂは、それぞれ、図１のピクセル１１２、１１４のエリアおよび結果１１２、１２４に対応する。少なくとも１つの実施形態において、回路２０４によって遂行される動作は、積分画像動作であり、第１の結果１２２Ｂは、ピクセル１１２Ｂの第１のエリアに関連付けられる積分画像であり、第２の結果１２４Ｂは、ピクセル１１４Ｂの第２のエリアに関連付けられる積分画像である。
[0054]少なくとも１つの実施形態において、図２Ｂの比較回路１３０は、前景モデルを決定するよう動作の結果（例えば、結果１２２Ｂ、１２４Ｂ）を背景モデル２１２と比較するよう構成される。例えば、特定の例示的な実施形態にしたがって、比較回路１３０は、第１の差異（例えば、２つの画像積分間における差異）を決定するよう第１の結果１２２Ｂを背景モデル２１２（または背景モデル２１２の一部）と比較しうる。前景モデル（すなわち、「前景しきい値」）に関連付けられるしきい値を第１の差異が上回らない場合、背景／前景分析器１４０は、第１の差異に基づいて、第１の結果１２２Ｂがシーンの前景部分（例えば、図１のシーン１０８の前景オブジェクト１７０、またはその一部）に対応しないことを決定しうる。すなわち、第１の結果１２２Ｂが背景モデル２１２と「同様である」または実質的に「一致する」ことを第１の差異が示すため、背景／前景分析器１４０は、ピクセル１１２Ｂの第１のエリアがシーンの前景オブジェクトに対応しない（例えば、動くユーザのような、「動的」オブジェクト、またはその一部に対応しない）ことを決定しうる。
[0055]前述の例に続き、第１の結果１２２Ｂが前景しきい値を上回らないことを決定することに応答して、背景／前景分析器１４０は、カメラ１１０にピクセル１１４Ｂの第２のエリアをキャプチャさせうる。比較回路は、ピクセル１１４Ｂの第２のエリアに基づいて回路２０４によって生成される第２の結果１２４Ｂに応答しうる。比較回路１４０は、第２の差異を生成するよう第２の結果１２４Ｂを背景モデル２１２と比較しうる。第２の差異が前景しきい値を上回る場合、背景／前景分析器１４０は、第２の差異に基づいて、第２の結果１２４Ｂが背景モデル２１２と実質的に「一致」しないまたは「同様」でないことを決定しうる。背景／前景分析器１４０はしたがって、ピクセル１１４Ｂの第２のエリアがシーンの前景オブジェクトに対応する（例えば、動くユーザのような、「動的」オブジェクト、またはその一部に対応する）ことを決定しうる。１つまたは複数のピクセル１１４Ｂの第２のエリアおよび第２の結果１２４Ｂは、例えば、拡張現実アプリケーションに関連して、ディスプレイ１５０において前景オブジェクトの表示をレンダリングするよう使用されうる。
[0056]図２Ｂに関連して記述される技法がモバイルデバイスのための簡略化される前景モデル生成を可能にしうることが認識されるだろう。例えば、オブジェクトの動きは、マーカのロケーションおよび位置に基づく代わりに、画像の領域内におけるピクセル強度の変化の程度（例えば、変化の程度がしきい値を上回るかどうか）に基づいて決定されうる。モバイルデバイスが動く間、および拡張現実アプリケーションを処理する間に、モバイルデバイスがマーカの方向付け（orientation）およびロケーションを繰り返し再評価することを避けうるため、背景／前景文分析の計算的な複雑性は、低減されうる。
[0057]少なくとも１つの実施形態において、第１の差異がしきい値を上回らないことを決定することに応答して、第１の結果１２２Ｂはまた、一部（例えば、サブブロック）に「再分割」されうる。１つまたは複数の再分割された一部は、背景モデル２１２と比較されうる。そのような技法は、少なくとも図２Ｃに関連してさらに記述される。
[0058]図２Ｃは、図１に関連して記述されるモバイルデバイス１０４の特定の例示的な実施形態を図示する。図２Ｃのモバイルデバイス１０４の様々なコンポーネントおよび機能性は、図１、２Ａ、および２Ｃに関連して記述されうる。例えば、図２Ｃのモバイルデバイス１０４は、カメラ１１０、評価器１２０、背景／前景分析器１４０、およびディスプレイ１５０を含みうる。図２Ｃの特定の例において、評価器１２０は、図２Ａおよび２Ｂの回路２０４を含み、さらに記憶デバイス２１６を含む。背景／前景分析器１４０は、図２Ａおよび２Ｂの回路１３０の比較を含み、さらに高速積分画像計算器２２０を含みうる。高速積分画像計算器２２０は、以下においてさらに記述されるように、１つの加算動作および２つの減算動作を使用して「高速積分画像動作」を遂行するよう構成される回路を含みうる。
[0059]動作時において、カメラ１１０は、図１のシーン１０８のような、シーンの画像をキャプチャしうる。例えば、ピクセル１１２Ｃの第１のエリアは、第１の時間においてキャプチャされるシーンの画像に対応しうる。回路２０４は、第１の結果１２２Ｃを生成するようピクセル１１２Ｃの第１のエリア上において動作を遂行しうる。ピクセル１１２Ｃの第１のエリアおよび第１の結果１２２Ｃは、それぞれ、図１のピクセル１１２の第１のエリアおよび第１の結果１２２に対応しうる。
[0060]特定の実施形態において、ピクセル１１２Ｃの第１エリアは、カメラ１１０によってキャプチャされる画像全体のピクセルに対応し、第１の結果１２２Ｃは、画像全体に関連付けられる積分画像に対応する（例えば、第１の結果１２２Ｃは、「高レベル」の積分画像でありうる）。背景／前景分析器１４０は、回路２０４によって生成される高レベルの積分画像に応答しうる。少なくとも１つの実施形態において、高速積分画像計算器２２０は、第１の結果１２２Ｃを一部（例えば、サブブロック）に分割し、一部の各々に関連付けられるそれぞれの積分画像を計算しうる。
[0061]例示的な、非限定的な例として、ピクセル１１２Ｃの第１のエリアが４×４の行列である場合、以下の通りとなる。
Figure 0006077121
[0063]その後、回路２０４は、第１の結果１２２Ｃが以下のような４×４の行列に関連付けられる「高レベル」の積分画像になるよう計算しうる。
Figure 0006077121
[0065]背景／前景分析器１４０は、第１の結果１２２Ｃが背景モデル２１２と「一致」するかどうかを決定するよう、（例えば、しきい値を使用して）図１、２Ａ、および２Ｂに関連して記述される１つまたは複数の技法のような、適切な技法を使用して、第１の結果１２２Ｃを背景モデル２１２と比較しうる。第１の結果１２２Ｃが背景モデル２１２と「一致」することを比較回路１３０が決定しない場合、高速積分画像計算器２２０は、第１の結果１２２Ｃに基づいて１つまたは複数の「サブ部分」または「サブ積分画像」（例えば、ピクセル１１２Ｃの第１のエリアのピクセルのサブセットの積分画像）を生成し、１つまたは複数のサブ積分画像を背景モデル２１２と比較しうる。特定の実施形態において、高速積分画像計算器は、以下の式にしたがって１つまたは複数のサブ積分画像を計算する。
[0066]ａ＋ｄ−ｂ−ｃ
[0067]ｄは、サブ積分画像が計算されるべき第１の結果１２２Ｃの一部に関連付けられる右下の値であり、ａ、ｂ、およびｃは、それぞれ、一部の左上、右上、および左下にある第１の結果１２２Ｃの一部の「外部」にある境界値である。先の例示的な、非制限的な例に続き、さらに例示するために、第１の結果１２２Ｃが以下のようである場合、
Figure 0006077121
[0069]４つの２×２のサブ積分画像は各々、第１の結果１２２Ｃに基づいて決定されることができ、すなわちそれは、それぞれ、左上、右上、左下、および右下のサブ積分画像のための１１＋０−０−０＝１１、１５＋０‐０−１１＝４、１９＋０−１１−０＝８、および３０＋１１−１５−１９＝７である。
[0070]１つまたは複数のそのようなサブ積分画像は、「一致」を決定するよう背景モデル２１２と比較されうる。特定の実施形態において、サブ積分画像は、背景モデル２１２の「近隣部分」（例えば、サブ積分画像の所定の範囲内の部分）と比較される。例として、「左上」の２×２のサブ積分画像は、背景モデル２１２の「左上」の２×２部分と比較されうる。１つまたは複数のサブ積分画像が背景モデル２１２と一致する場合、１つまたは複数のサブ積分画像は、背景に対応するよう決定されうる。どのサブ積分画像も背景モデル２１２と一致しない場合、第１の結果１２２Ｃはさらに、より小さいサブ積分画像に再分割されることができる。図３Ｂに関連してさらに記述されるように、どの部分も背景モデル２１２と「一致」しないよう決定される場合、第１の結果１２２Ｃは、前景部分（例えば、動く「動的」オブジェクト）に対応するよう決定されうる。
[0071]図２Ｃに関連して記述される技法が背景モデル（例えば、背景モデル２１２）を用いてピクセル（例えば、ピクセル１１２Ｃの第１のエリア）の高速比較を可能にしうることは、認識されるべきである。例えば、少なくとも１つの実施形態において、例えば、高速積分画像計算器２２０を使用して、任意のサブ積分画像を生成するよう使用されうる、「高レベル」の積分画像のみが記憶される（例えば、記憶デバイス２１６において記憶される）。特定の例示的な実施形態にしたがって、第１の結果１２２Ｃを生成した後、ピクセル１１２Ｃの第１のエリアは、（例えば、サブ積分画像が高レベルの積分画像の代わりに基づいて生成されうるため）追加の積分画像生成のために使用されない。それ故に、図２Ｃに関連して記述される計算的に効率的な技法（例えば、１つの加算動作および２つの減算動作を使用するサブ積分画像生成）に起因して、拡張現実アプリケーションは、処理され、結果は（例えば、ディスプレイ１５０において）、より迅速にレンダリングされ、したがって、モバイルデバイス１０４のユーザにより現実的な拡張現実エクスペリエンスを提供しうる。
[0072]図３Ａを参照すると、１つまたは複数の図１、２Ａ、２Ｂ、および２Ｃのモバイルデバイス１０４の動作の方法の特定の例示的な実施形態は、図示され、一般的に３００に指定される。方法３００は、３０４において、第１の結果（例えば、第１の結果１２２）を生成するようモバイルデバイス１０４において、ピクセルの第１のエリア（例えば、ピクセル１１２の第１のエリア）を評価することを含む。方法３００はさらに、３０８において、第２の結果（例えば、第２の結果１２４）を生成するようモバイルデバイスにおいて、ピクセルの第２のエリア（例えば、ピクセル１１４の第２のエリア）を評価することを含む。
[0073]３１２において、しきい値を第１の結果と第２の結果との間の差異（例えば、比較回路１３０によって決定される差異）と比較することに基づいて、ピクセルの第２のエリアは、シーンの背景部分（例えば、シーン１０８の背景オブジェクト１６０）またはシーンの前景部分（例えば、シーン１０８の前景オブジェクト１７０）に対応するという決定がなされる。少なくとも１つの実施形態において、決定は、差異がしきい値を上回るかまたは上回らないかどうかに基づいてなされる。
[0074]図３Ｂを参照すると、１つまたは複数の図１、２Ａ、２Ｂ、および２Ｃのモバイルデバイス１０４の動作の方法の別の特定の例示的な実施形態は、図示され、一般的に３５０に指定される。方法３５０は、３０２において、シーンの複数の初期画像をキャプチャすることを含む。初期画像は、ピクセル１１２、１１４のエリアを含みうる。シーンは、シーン１０８でありうる。初期画像は、カメラ１１０によってキャプチャされうる。
[0075]３０６において、第１のしきい値を上回らない複数の初期画像間における少なくとも１つの差異に基づいて、複数の初期画像のうちの少なくとも１つは、シーンの背景部分に対応するという決定がなされる。例えば、複数の初期画像は、「安定した」画像（例えば、背景オブジェクト１６０のような、画像の背景部分）に対応するという決定がなされうる。少なくとも１つの実施形態において、比較回路１３０は、少なくとも１つの差異が図２Ａに関連して記述される１つまたは複数の技法を使用して第１のしきい値を上回らないことを決定する。
[0076]３１０において、背景モデル（例えば、背景モデル２１２）は、複数の初期画像のうちの少なくとも１つに基づいて生成される。背景モデルは、シーンに関連付けられる第１の積分画像を含みうる。さらなる実施形態にしたがって、図８に関連してさらに記述されるように、背景モデルは、ユーザ入力にしたがって生成されうる。
[0077]方法３５０はさらに、３１４において、シーンに関連付けられる第２の画像を（例えば、カメラ１１０によって）キャプチャすることおよび第２の画像に関連付けられる第２の積分画像を決定することを含む。第２の積分画像は、図２Ｂおよび２Ｃに関連して記述される結果１２２Ｂ、１２４Ｂ、および１２２Ｃのいずれかでありうる。
[0078]３１８において、第２の積分画像は、サイズｎを有する１つまたは複数の部分に区分（例えば、分割）され、１つまたは複数の部分の各々は、第１の積分画像の近隣部分（例えば、所定の範囲内の部分）と比較される。サイズｎは、１つまたは複数の部分の長さ（例えば、列の数）、１つまたは複数の部分の高さ（例えば、行の数）、またはそれらの組み合わせでありうる。例示的な、非限定的な例として、第２の積分画像が４×４の行列である場合、第２の積分画像は、１つまたは複数の２×２の部分に区分されうる。少なくとも１つの実施形態において、第２の積分画像は、図２Ｃに関連して記述される「高速積分画像」技法にしたがって区分される。例えば、１つまたは複数の部分は、図２Ｃに関連して記述される「サブ積分画像」であり、図２Ｃに関連して記述されるように、例えば、ａ＋ｄ−ｂ−ｃにしたがって、１つの加算動作および２つの減算動作を使用して各々生成されうる。
[0079]３２２において、１つまたは複数の部分のいずれかが第１の積分画像と「一致」するかどうかという決定がなされる。例えば、第２の差異を生成するよう１つまたは複数の部分を第２のしきい値と比較し、第２の差異が第２のしきい値を上回るかどうかを決定することにより、図１、および２Ａ−２Ｃに関連して記述される１つまたは複数の技法にしたがって、決定がなされうる。１つまたは複数の部分のいずれかが第１の積分画像と一致する場合、部分は、シーンの背景部分に対応する（例えば、シーン１０８の、背景オブジェクト１６０、またはそれらの部分に対応する）という決定がなされうる。
[0080]どの１つまたは複数の部分も背景モデルと一致しない場合、ｎは、３３０において、低減され、第２の積分画像は、３１８において、再区分されうる。すなわち、第２の積分画像のより小さい（例えば、より微細な）部分は、生成され、第１の積分画像の近隣部分と比較されうる。少なくとも１つの実施形態において、第１の積分画像は、近隣部分を生成するよう「高速積分画像」技法にしたがって区分されうる。図３Ｂの特定の実施形態において、３３４において、第１の積分画像の部分と第２の積分画像の部分との間において一致が決定されることができず、ｎが所定のフロア値ｍに低減された場合（例えば、ｍ＝１）、３３８において、第２の積分画像は、シーンの前景部分に対応する（例えば、シーン１０８の、前景オブジェクト１７０、またはそれらの部分に対応する）よう決定されうる。
[0081]例示の利便性のために、前述の区分技法は、「対称的な」区分（例えば、４×４の行列を４つの２×２の部分に区分すること）に関して記述されてきたが、少なくともいくつかのアプリケーションにおいて、積分画像は、「非対称的に」区分されうる（例えば、「余り」部分は、１つまたは複数の他の部分のサイズｎとは異なるサイズを有する）。そのような「余り」部分が図３Ｂに関連して記述される技法にしたがって背景モデルに対して「一致」されうることは、認識されるべきである。
[0082]図４は、地表４０８のロケーションを推定するよう構成されるモバイルデバイス４０４の特定の例示的な実施形態を図示する。モバイルデバイス４０４は、１つまたは複数の図１および２Ａ−２Ｃのモバイルデバイス１０４（または別のモバイルデバイス）でありうる。モバイルデバイス４０４は、図１および２Ａ−２Ｃのディスプレイ１５０のような、ディスプレイを含みうる。モバイルデバイス４０４はさらに、カメラ４０２（例えば、ステレオカメラ）、センサ４１２、モバイルデバイス４０４のユーザの身長の指示４１６、および推定器４２０を含みうる。少なくとも１つの実施形態において、カメラ４０２は、図１に関連して記述されるカメラ１１０である。カメラ４０２は、オートフォーカス機能４２４（例えば、カメラ４０２にカメラ４０２の視野内におけるオブジェクトに自動的にフォーカスさせる論理）を含みうる。センサ４１２は、ジャイロスコープ、加速度器、動きセンサ、またはそれらの組み合わせのような、モバイルデバイス４０４の位置および／または動きを検出するよう構成されるセンサでありうる。図４の例内において示されるように、モバイルデバイス４０４の縦範囲４２８は、（例えば、モバイルデバイス４０４がユーザによって操作される間）地表４０８に関連する角度θにしたがって位置付けられうる。
[0083]動作時において、センサ４１２は、地表４０８に関連する縦範囲４２８の角度θを決定しうる。推定器４２０は、モバイルデバイス４０４の中心４３６から（またはカメラ４０２の中心から）地表４０８への第１の投影４３２に関連付けられる第１の距離Ｌ１の第１の推定値４４４を生成しうる。第１の投影４３２は、縦範囲４２８に対して垂直である。第１の推定値４４４は、モバイルデバイス４０４のカメラ４０２によって提供されるステレオカメラデータを使用して、モバイルデバイスのオートフォーカス機能４２４を使用して、またはそれらの組み合わせで生成されうる。
[0084]推定器４２０はさらに、角度θおよび第１の推定値４４４に基づいて、モバイルデバイス４０４の中心４３６から地表４０８への第２の投影４４０に関連付けられる第２の距離Ｌ２の第２の推定値４４８を生成しうる。第２の投影４４０は、地表４０８に対して垂直である。少なくとも１つの実施形態において、推定器４２０は、Ｌ２＝Ｌ１（ｃｏｓ（θ））にしたがって第２の推定値４４８を生成する。代替としてまたはそれに加えて、推定器４２０は、モバイルデバイス４０４のユーザの身長の指示４１６に基づいて第２の推定値４４８を生成し、第１の推定値４４４は、第２の推定値４４８に基づいて決定されうる。例えば、（図４内において示されない）ステレオカメラを含まないモバイルデバイスのために、第２の推定値４４８は、モバイルデバイス４０４のユーザの身長の指示４１６に基づいて生成され、第１の推定値４４４は、Ｌ２／（ｃｏｓ（θ））にしたがって決定されうる。
[0085]推定器４２０は、地表４０８の推定されるロケーション４５２を生成しうる。ディスプレイ１５０は、推定されるロケーション４５２に応答し、地表４０８の推定されるロケーション４５２に基づく地表部分を含む画像４５６を表示しうる。
[0086]図４に関連して記述される技法がマーカを利用することなしに地表４０８の推定されるロケーション４５２の生成を可能にしうることは、認識されるだろう。例えば、Ｌ２＝Ｌ１（ｃｏｓ（θ））にしたがって第２の推定値４４８を生成することは、マーカの使用なしに遂行されうる。故に、拡張現実アプリケーションの動作は、モバイルデバイス４０４のユーザのために簡略化され、より便利にされうる。
[0087]図５を参照すると、図４のモバイルデバイス４０４の動作の方法のフローチャートは、図示され、一般的に５００に指定される。方法５００は、５０４において、モバイルデバイスのセンサ（例えば、センサ４１２）を使用して、地表（例えば、地表４０８）に関してモバイルデバイス（例えば、モバイルデバイス４０４）の縦範囲（縦範囲４２８）の角度（例えば、角度θ）を決定することを含む。
[0088]方法５００はさらに、５０８において、モバイルデバイスの中心（例えば、中心４３６）から地表への第１の投影（例えば、第１の投影４３２）に関連付けられる第１の距離（例えば、第１の距離Ｌ１）を推定することを含む。第１の投影は、モバイルデバイスの縦範囲に対して垂直である。第１の距離は、モバイルデバイスのステレオカメラ、モバイルデバイスのオートフォーカス機能（例えば、オートフォーカル機能４２４）、またはそれらの組み合わせを使用して推定されうる。
[0089]５１２において、角度および第１の距離に基づいて、第２の距離（例えば、第２の距離Ｌ２）は、推定される。第２の距離は、モバイルデバイスの中心から地表への第２の投影（例えば、第２の投影４４０）に関連付けられる。第２の投影は、地表に対して垂直である。方法５００はさらに、５１６において、推定される第２の距離に少なくとも部分的に基づいて仮想オブジェクトのロケーションを決定することを含む。例えば、地表の距離およびロケーションに基づいて、仮想オブジェクトは、地表面にあるものとして（例えば、静止したボール）または地表より上にあるものとして（例えば、キックされた後のボール）レンダリングされることができる。
[0090]図６を参照すると、ステレオカメラの深度データに基づいて画像を生成するよう構成されるモバイルデバイスの特定の実施形態は、図示され、一般的に６００に指定される。モバイルデバイス６００は、ステレオカメラ６１０およびステレオカメラ６１０に結合される深度評価器６２０を含みうる。ステレオカメラ６１０は、第１のレンズ６１６および第２のレンズ６１４のような、多数のレンズを含みうる。深度評価器６２０は、詳細生成器（detail generator）６２２を含みうる。図６のモバイルデバイス６００の１つまたは複数の特徴および動作が図１−５に関連して記述される特徴および動作に関連して記述されうることは、認識されるべきである。例えば、例示を明確にするために図６内においては示されないが、モバイルデバイス６００は、図１、２Ａ−２Ｃ、および４のディスプレイ１５０を含みうる。
[0091]動作時において、ステレオカメラ６１０は、シーン（例えば、図１のシーン１０８）に関連する画像深度データ６１２を生成しうる。画像深度データ６１２は、オブジェクト深度を示しうる。深度評価器６２０は、深度プロファイル６２４を生成するよう画像深度データ６１２に応答しうる。深度プロファイル６２４は、１つまたは複数の画像に関連する（例えば、図１のピクセル１１２、１１４の１つまたは複数のエリアに関連する）深度情報を含みうる。少なくとも１つの実施形態において、深度評価器６２０は、深度プロファイル６２４に基づいて、前景部分６３２が仮想オブジェクトの前または後ろにおいてレンダリングされるべきかどうかを決定するよう構成される。例えば、図６内において示されるように、深度評価器６２０は、深度プロファイル６２４に基づいて、仮想オブジェクト６３４が前景部分６３２の前においてレンダリングされるべきであると決定しうる。別の例として、深度評価器６２０は、深度プロファイル６２４に基づいて、仮想オブジェクト６３６が前景部分６３２によって遮られるべきであると決定しうる。
[0092]少なくとも１つの実施形態において、詳細生成器（detail generator）６６２は、深度プロファイル６２４に基づいて画像６３０内におけるオブジェクトの解像度を増大または減少するよう構成されうる。例えば、オブジェクトがモバイルデバイス６００に関連する大きな深度を有するということを示す深度プロファイルに応答して、詳細生成器（detail generator）６６２は、オブジェクトが画像背景に対応し、背景部分６３８としてレンダリングされるべきであるということを決定しうる。別の例として、オブジェクトがモバイルデバイス６００に関連する小さな深度を有するということを示す深度プロファイルに応答して、詳細生成器（detail generator）６６２は、オブジェクトが画像前景に対応し、前景部分６４２としてレンダリングされるべきであるということを決定しうる。少なくとも１つの実施形態において、および図７に関連してさらに記述されるように、前景部分６４２の境界（例えば、背景部分６３８に関連する前景部分６４２の境界）は、深度プロファイル６２４に基づいて決定されうる。加えて、図７に関連してさらに記述されるように、画像６３０の一部の解像度（例えば、前景部分６４２の境界に対応する部分）は、深度プロファイル６２４に基づいて前景部分６４２の境界を決定することに応じて増大されうる。
[0093]図６に関連して記述される技法が深度情報の効率的な生成を可能にすることが認識されるだろう。例えば、図６の例において、ステレオカメラ６１０の使用は、マーカのロケーションおよび位置を分析することなしに深度情報の生成を可能にしうる。さらに、図７に関連してさらに記述されるように、深度情報は、画像の解像度および品質を選択的に変更するよう使用されることができる。すなわち、図７に関連してさらに記述されるように、（例えば、ステレオカメラ６１０を使用して）画像の前景オブジェクトの境界が決定されると、前景オブジェクトの外部の部分は、解像度において低減されることができ、境界内の部分は、解像度において増大されることができる。したがって、少なくとも１つの実施形態において、追加の処理リソースは、他の部分（例えば、背景部分）にというよりはむしろより興味のある部分（例えば、前景部分）に割り振られることができる。
[0094]図７を参照すると、深度プロファイル６２４に基づいて画像解像度を選択的に変更するより前および後の図６の画像６３０の部分は、図示され、それぞれ、一般的に６３０Ａおよび６３０Ｂに指定される。図７内において示されるように、部分６３０Ａは、背景部分６３８および前景部分６４２を含む。前景部分６４２は境界７１２を含む。境界７１２は、深度プロファイル６２４に基づいて決定されうる。少なくとも１つの実施形態において、境界７１２は、しきい値を上回る背景部分６３８および前景部分６４２間における深度差異に基づいて決定される。
[0095]境界７１２を決定することに応答して、前景部分６４２の解像度は、選択的に変更されうる。例えば、前景部分６４２の第１の部分７１６は、境界７１２に基づいて、解像度において減少、または背景部分として再分類されうる。前景部分６４２の第２の部分７２０は、境界７１２に基づいて解像度において増大されうる。例えば、少なくとも１つの実施形態において、第２の部分７２０は、ブロックベースの解像度からピクセルベースの解像度に（例えば、粗粒解像度から細粒解像度に）改善される。少なくとも１つの実施形態において、１つまたは複数の低解像度の画像部分は、図２Ｃに関連して記述されるように、記憶デバイス２１６において記憶される高レベルの積分画像に基づいて生成される。それ故に、境界７１２に基づいて前景部分６４２の解像度を選択的に変更することは、背景部分６３８に関連する前景部分６４２のコントラストを改善し、したがって、画像品質を改善しうる。
[0096]図８を参照すると、モバイルデバイスの動作例は、図示され、一般的に８００に指定される。動作８００は、１つまたは複数の図１および２Ａ−２Ｃのモバイルデバイス１０４、図４のモバイルデバイス４０４、図６のモバイルデバイス６００、またはそれらの組み合わせによって遂行されうる。
[0097]例えば、画像は、８０４において、モバイルデバイスのカメラにおいてキャプチャされうる。カメラは、１つまたは複数の図１および２Ａ−２Ｃのカメラ１１０、図４のカメラ４０２、図６のステレオカメラ６１０、またはそれらの組み合わせでありうる。画像は、ピクセル１１２、１１４のエリアに対応しうる。
[0098]動作８００はさらに、８０８において、仮想オブジェクトを生成することを含む。仮想オブジェクトは、図６の仮想オブジェクト６３４、図６の仮想オブジェクト６３６、またはそれらの組み合わせでありうる。仮想オブジェクトは、図９に関連してさらに記述されるように、モバイルデバイスのプロセッサを使用して生成されるコンピュータによって生成される仮想オブジェクトでありうる。
[0099]動作８００はさらに、８１２において、表示されるべき画像の背景モデルを生成することを含む。少なくとも１つの実施形態において、背景モデルは、ユーザ入力に基づいて生成される。例えば、特定の例にしたがって、ユーザは、例えば、拡張現実ゲームに関連して、背景モデルを指定するよう背景オブジェクト（例えば、背景オブジェクト１０８）にカメラ１１０を向けうる。そのような背景モデルはまた、例えば、拡張現実ゲームに関連して、モバイルデバイス間において送信および受信されうる。背景モデルは、図４および５に関連して記述される技法にしたがって生成される地表部分を含みうる。背景モデルは、図１および２Ａ−２Ｃに関連して記述されるように、第１の結果１２２を生成するより前に生成されうる。
[00100]８１６において、背景モデルは、ピクセル強度の合計技法（例えば、図１−３に関連して記述される積分画像技法）にしたがって更新される。例えば、ピクセル強度の合計技法は、差異がしきい値を上回るかどうかに基づいてデータが前景部分（例えば、図６の前景部分６３２、図６の前景部分６４２、またはそれらの組み合わせ）に対応することを決定するよう利用されうる。
[00101]動作８００はさらに、８１８において、仮想オブジェクトを表示されるべき画像に挿入することを含む。例えば、仮想オブジェクトは、図６の深度プロファイル６２４に基づいて前景部分の前または後ろにおいて挿入されうる。動作８００はさらに、８２０において、衝突、ユーザ入力、またはそれらの組み合わせを検出することを含む。例えば、仮想オブジェクトに対応する前景オブジェクト（例えば、ユーザ）とロケーション（例えば、図１のロケーション１８０）との間の衝突が検出されうる。
[00102]動作８００はさらに、８２４において、シーケンス認識を遂行すること、および８２８において、セグメンテーション、深度回復、形状認識、またはそれらの組み合わせを遂行することを含みうる。８３２において、出力は、生成される。例えば、画像（例えば、図１の画像１５２、図６の画像６３０、またはそれらの組み合わせ）は、１つまたは複数の図１、２Ａ−２Ｃ、および４のディスプレイ１５０において表示されうる。
[00103]理解されるように、図８の動作８００に基づいてモバイルデバイスを動作することは、拡張現実アプリケーションの効率的な処理を可能にしうる。さらに、拡張現実アプリケーションは、ユーザのために利便性および改善された性能を提供しうる、マーカを利用することなしに処理されうる。
[00104]図９を参照すると、モバイルデバイスの特定の実施形態のブロック図は、図示され、一般的に９００に指定される。図９の特定の例において、モバイルデバイス９００は、図１の評価器１２０、図１の比較回路１３０、図１の背景／前景分析器１４０、図４の推定器４２０、および図６の深度評価器６２０を含むプロセッサ９１０（例えば、デジタル信号プロセッサ）を含む。評価器１２０、比較回路１３０、背景／前景分析器１４０、推定器４２０、および深度評価器６２０の各々は、ハードウェア、プロセッサ９１０によって実行可能な命令、またはそれらの組み合わせを含みうる。
[00105]図９はさらに、プロセッサ９１０に結合されるメモリ９３２を図示する。メモリ９３２は、命令９５４およびデータ９５６を記憶するよう構成されるコンピュータ可読非一時的（例えば、有形の）媒体である。命令９５４は、図１−８に関連して記述される１つまたは複数の動作を遂行するようプロセッサ９１０によって実行可能な命令のような、画像処理命令を含みうる。命令９５４は、拡張現実アプリケーション（例えば、仮想オブジェクトを生成するようプロセッサ９１０によって実行可能な命令を含むアプリケーション）を含みうる。データ９５６は、１つまたは複数の図１および２Ａ−２Ｃのピクセル１１２、１１４のエリア、１つまたは複数の図１および２Ａ−２Ｃの結果１１２、１２４、図６および７の深度プロファイル６２４、またはそれらの組み合わせを含みうる。
[00106]モバイルデバイス９００は、１つまたは複数の図１、２Ａ−２Ｃ、および４に関連して記述されるディスプレイ１５０のような、ディスプレイを含みうる。モバイルデバイス９００はさらに、カメラ制御器９９０に結合されるカメラ９４６を含みうる。カメラ９４６は、１つまたは複数の図１および２Ａ−２Ｃのカメラ１１０、図４のカメラ４０２、図６のステレオカメラ６１０、またはそれらの組み合わせでありうる。
[00107]図９はまた、プロセッサ９１０およびディスプレイ１５０に結合されるディスプレイ制御器９２６を示す。コード化器／復号器（ＣＯＤＥＣ）９３４はまた、プロセッサ９１０に結合されることができる。スピーカ９３６およびマイクロフォン９３８は、ＣＯＤＥＣ９３４に結合されることができる。図９はさらに、ワイヤレス制御器９４０が、プロセッサ９１０およびトランシーバ９５０に結合されることができることを示す。トランシーバ９５０は、アンテナ９４２に結合されうる。
[00108]特定の実施形態において、プロセッサ９１０、ディスプレイ制御器９２６、カメラ制御器９９０、メモリ９３２、ＣＯＤＥＣ９３４、ワイヤレス制御器９４０、およびトランシーバ９５０は、システムインパッケージまたはシステムオンチップのデバイス９２２内において含まれる。特定の実施形態において、入力デバイス９３０、電源９４４、およびセンサ（例えば、図４のセンサ４１２）は、システムオンチップのデバイス９２２に各々結合される。その上、特定の実施形態において、図９内において例示されるように、ディスプレイ１５０、入力デバイス９３０、スピーカ９３６、マイクロフォン９３８、アンテナ９４２、電源９４４、およびセンサ４１２は、システムオンチップのデバイス９２２の外部にある。しかしながら、ディスプレイ１５０、入力デバイス９３０、スピーカ９３６、マイクロフォン９３８、アンテナ９４２、電源９４４、およびセンサ４１２の各々は、インターフェースまたは制御器のような、システムオンチップのデバイス９２２のコンポーネントに結合されることができる。
[00109]開示される実施形態と連動して、モバイルデバイスは、第１の結果を生成するようピクセルの第１のエリアを評価するための手段（例えば、評価器１２０）、さらに第２の結果を生成するようピクセルの第２のエリアを評価するための手段を含むことが記述される。モバイルデバイスはさらに、しきい値を第１の結果と第２の結果との間の差異と比較することに基づいてピクセルの第２のエリアがシーンの背景部分およびシーンの前景部分のうちの１つに対応することを決定するための手段（例えば、背景／前景分析器１４０）を含む。
[00110]開示される実施形態と連動して、モバイルデバイスは、地表（例えば、地表４０８）に関してモバイルデバイスの縦範囲（例えば、縦範囲４２８）の角度（例えば、角度θ）を決定するための手段（例えば、センサ４１２）を含むことが記述される。モバイルデバイスはさらに、第１の距離（例えば、第１の距離Ｌ１）を推定するための手段（例えば、推定器４２０）、および角度ならびに第１の距離に基づいて第２の距離（例えば、第２の距離Ｌ２）を推定するための手段を含む。第１の距離は、モバイルデバイスの中心（例えば、中心４３６）から地表への第１の投影（例えば、第１の投影４３２）に関連付けられ、第１の投影は、モバイルデバイスの縦範囲に対して垂直である。第２の距離は、モバイルデバイスの中心から地表への第２の投影（例えば、第２の投影４４０）に関連付けられる。第２の投影は、地表に対して垂直である。
[00111]当業者はさらに、本明細書において開示される実施形態に関連して記述される様々な例示的な論理ブロック、構成、モジュール、回路、アルゴリズムステップが、電子ハードウェア、コンピュータソフトウェア、または両方の組み合わせとして実装されうることを認識するだろう。様々な例示的なコンポーネント、ブロック、構成、モジュール、回路、およびステップは、一般的にそれらの機能性の観点から上記において記述された。そのような機能がハードウェアまたはソフトウェアとして実装されるかどうかは、システム全体上に課せられる設計の制約および特定のアプリケーションに依存する。当業者は、各特定のアプリケーションのために、様々な方法で記述された機能を実装しうるが、そのような実装の決定は、本開示の範囲からの逸脱を引き起こすと解釈されるべきでない。
[00112]本明細書において開示される実施形態に関連して記述される方法またはアルゴリズムのステップは、直接ハードウェアにおいて、プロセッサによって実行されるソフトウェアモジュールにおいて、またはこれら２つの組み合わせにおいて、具現化されうる。ソフトウェアモジュールは、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、読み出し専用メモリ（ＲＯＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、または当技術分野において周知の記憶媒体のあらゆる他の形態内において存在しうる。例示的な非一時的（例えば、有形的）記憶媒体は、プロセッサが記憶媒体から情報を読み取り、および情報を書き込むことができるように、プロセッサに結合される。代替において、記憶媒体は、プロセッサと一体化しうる。プロセッサおよび記憶媒体は、特定用途向け集積回路（ＡＳＩＣ）内においてに存在しうる。ＡＳＩＣは、計算デバイスまたはユーザ端末内において存在しうる。代替において、プロセッサおよび記憶媒体は、計算デバイスまたはユーザ端末内において個別のコンポーネントとして存在しうる。
[00113]開示される実施形態の先の記述は、開示される実施形態を製造または使用することを当業者に可能にするために提供される。これらの実施形態への様々な修正は当業者に容易に明らかとなり、本明細書に定義された原理は、開示の範囲から逸脱することなく、他の実施形態に適用されうる。したがって、本開示は、本明細書に示される態様に限定されるよう意図しておらず、次の特許請求の範囲によって定義されるように原理および新規な特徴と一致する可能な限り最も広い範囲が付与されるべきである。
以下に、出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
モバイルデバイスにおいて、第１の結果を生成するようピクセルの第１のエリアを評価することと、
前記モバイルデバイスにおいて、第２の結果を生成するようピクセルの第２のエリアを評価することと、
しきい値を前記第１の結果と前記第２の結果との間における差異と比較することに基づいてシーンの背景部分および前記シーンの前景部分のうちの１つと、前記ピクセルの第２のエリアが対応することを決定することと
を備える、方法。
［Ｃ２］
前記ピクセルの第１のエリアおよび前記ピクセルの第２のエリアは、ピクセル強度値を合計することによって評価される、
［Ｃ１］に記載の方法。
［Ｃ３］
前記第１の結果は、ピクセル強度値の合計の第１の表を備える第１の積分画像であり、前記第２の結果は、ピクセル強度値の合計の第２の表を備える第２の積分画像である、
［Ｃ２］に記載の方法。
［Ｃ４］
コンピュータによって生成される仮想オブジェクトを生成することと、
前記シーンの画像を前記モバイルデバイスのディスプレイデバイス上において表示することと
をさらに備え、
前記画像は、前記前景部分、前記背景部分、および前記仮想オブジェクトを含む、
［Ｃ１］に記載の方法。
［Ｃ５］
前記仮想オブジェクトは、前記モバイルデバイスの拡張現実アプリケーションに関連付けられる、
［Ｃ４］に記載の方法。
［Ｃ６］
前記モバイルデバイスに関連する地表のロケーションを推定することと、
前記地表の前記推定されるロケーションに基づいて、仮想オブジェクトのロケーションを決定することと
をさらに備える、［Ｃ１］に記載の方法。
［Ｃ７］
前記地表の前記ロケーションを推定することは、
前記モバイルデバイスのセンサを使用して、前記地表に関して前記モバイルデバイスの縦範囲の角度を決定することと、
前記モバイルデバイスの中心から前記地表への第１の投影に関連付けられる第１の距離を推定することと、ここにおいて、前記第１の投影は、前記モバイルデバイスの前記縦範囲に対して垂直である、
前記角度および前記第１の距離に基づいて、前記モバイルデバイスの前記中心から前記地表への第２の投影に関連付けられる第２の距離を推定することと
を含み、前記第２の投影は、前記地表に対して直角である、［Ｃ６］に記載の方法。
［Ｃ８］
前記第１の結果を生成する前に、複数の初期画像をキャプチャすることと、
前記複数の初期画像に基づいて初期背景モデルを生成することと
をさらに備える、［Ｃ１］に記載の方法。
［Ｃ９］
前記第１の結果を複数の部分に区分化することと、
任意の前記複数の部分が前記初期背景モデルと一致するかどうかを決定するよう前記複数の部分を前記初期背景モデルと比較することと
をさらに備える、［Ｃ８］に記載の方法。
［Ｃ１０］
前記複数の部分の各々は、１つの加算動作および２つの減算動作を使用して生成される、
［Ｃ９］に記載の方法。
［Ｃ１１］
前記モバイルデバイスのステレオカメラを使用してシーンに関連付けられる深度プロファイルを生成することと、
前記前景部分の境界を決定することと
をさらに備え、前記境界は、前記深度プロファイルに基づいて決定される、［Ｃ１］に記載の方法。
［Ｃ１２］
前記深度差異を決定することに応じて少なくともいくらかの前記前景部分の解像度を増大させることをさらに備える、
［Ｃ１１］に記載の方法。
［Ｃ１３］
第１の結果を生成するようピクセルの第１のエリアを評価するよう構成され、第２の結果を生成するようピクセルの第２のエリアを評価するようさらに構成される評価器と、
しきい値を前記第１の結果と前記第２の結果との間の差異と比較することに基づいてシーンの背景部分および前記シーンの前景部分のうちの１つと前記ピクセルの第２のエリアが対応することを決定するよう構成される論理と
を備える、モバイルデバイス。
［Ｃ１４］
前記ピクセルの第１のエリアおよび前記ピクセルの第２のエリアは、ピクセル強度値を合計することによって評価される、
［Ｃ１３］に記載のモバイルデバイス。
［Ｃ１５］
前記第１の結果は、ピクセル強度値の合計の第１の表を備える第１の積分画像であり、前記第２の結果は、ピクセル強度値の合計の第２の表を備える第２の積分画像である、
［Ｃ１４］に記載のモバイルデバイス。
［Ｃ１６］
前記前景部分、前記背景部分、および仮想オブジェクトを含む画像を表示するよう構成されるディスプレイをさらに備える、
［Ｃ１３］に記載のモバイルデバイス。
［Ｃ１７］
前記仮想オブジェクトは、前記モバイルデバイスの拡張現実アプリケーションに関連付けられる、
［Ｃ１６］に記載のモバイルデバイス。
［Ｃ１８］
地表に関して前記モバイルデバイスの縦範囲の角度を決定するよう構成されるセンサと、
前記モバイルデバイスの中心から前記地表への第１の投影に関連付けられる第１の距離を推定するよう構成され、前記第１の投影は、前記モバイルデバイスの前記縦範囲に対して垂直である、前記角度および前記第１の距離に基づいて、前記モバイルデバイスの前記中心から前記地表への第２の投影に関連付けられる第２の距離を推定するようさらに構成される推定器と
をさらに備え、前記第２の投影は、前記地表に対して直角である、［Ｃ１３］に記載のモバイルデバイス。
［Ｃ１９］
複数の初期画像をキャプチャするよう構成されるカメラをさらに備え、前記論理は、前記複数の初期画像に基づいて初期背景モデルを生成するようさらに構成される、
［Ｃ１３］に記載のモバイルデバイス。
［Ｃ２０］
前記論理は、前記第１の結果を複数の部分に区分化し、任意の前記複数の部分が前記初期背景モデルと一致するかどうかを決定するよう前記複数の部分を前記初期背景モデルと比較するようさらに構成される、
［Ｃ１９］に記載のモバイルデバイス。
［Ｃ２１］
前記論理は、１つの加算動作および２つの減算動作を使用して前記複数の部分の各々を生成するようさらに構成される、
［Ｃ２０］に記載のモバイルデバイス。
［Ｃ２２］
シーンに関連付けられる深度データを生成するよう構成されるステレオカメラと、
前記前景部分の境界を決定するよう構成される深度評価器と
をさらに備え、前記境界は、前記深度プロファイルに基づいて決定される、［Ｃ１３］に記載のモバイルデバイス。
［Ｃ２３］
前記深度評価器は、前記深度差異を決定することに応じて少なくともいくらかの前記前景部分の解像度を増大させるようさらに構成される、
［Ｃ２２］に記載のモバイルデバイス。
［Ｃ２４］
第１の結果を生成するようピクセルの第１のエリアを評価するための、さらに第２の結果を生成するようピクセルの第２のエリアを評価するための手段と、
しきい値を前記第１の結果と前記第２の結果との間の差異と比較することに基づいてシーンの背景部分および前記シーンの前景部分のうちの１つと前記ピクセルの第２のエリアが対応することを決定するための手段と
を備える、モバイルデバイス。
［Ｃ２５］
前記ピクセルの第１のエリアおよび前記ピクセルの第２のエリアは、ピクセル強度値を合計することによって評価される、
［Ｃ２４］に記載のモバイルデバイス。
［Ｃ２６］
前記第１の結果は、ピクセル強度値の合計の第１の表を備える第１の積分画像であり、前記第２の結果は、ピクセル強度値の合計の第２の表を備える第２の積分画像である、
［Ｃ２５］に記載のモバイルデバイス。
［Ｃ２７］
前記前景部分、前記背景部分、および仮想オブジェクトを含む画像を表示するよう構成されるディスプレイをさらに備える、
［Ｃ２４］に記載のモバイルデバイス。
［Ｃ２８］
前記仮想オブジェクトは、前記モバイルデバイスの拡張現実アプリケーションに関連付けられる、
［Ｃ２７］に記載のモバイルデバイス。
［Ｃ２９］
地表に関して前記モバイルデバイスの縦範囲の角度を決定するよう構成されるセンサと、
前記モバイルデバイスの中心から前記地表への第１の投影に関連付けられる第１の距離を推定するよう構成され、前記第１の投影は、前記モバイルデバイスの前記縦範囲に対して垂直である、前記角度および前記第１の距離に基づいて、前記モバイルデバイスの前記中心から前記地表への第２の投影に関連付けられる第２の距離を推定するようさらに構成される推定器と
をさらに備え、前記第２の投影は、前記地表に対して直角である、［Ｃ２４］に記載のモバイルデバイス。
［Ｃ３０］
複数の初期画像をキャプチャするよう構成されるカメラをさらに備え、前記決定するための手段は、前記複数の初期画像に基づいて初期背景モデルを生成するようさらに構成される、
［Ｃ２４］に記載のモバイルデバイス。
［Ｃ３１］
前記決定するための手段は、前記第１の結果を複数の部分に区分化し、任意の前記複数の部分が前記初期背景モデルと一致するかどうかを決定するよう前記複数の部分を前記初期背景モデルと比較するようさらに構成される、
［Ｃ３０］に記載のモバイルデバイス。
［Ｃ３２］
前記決定するための手段は、１つの加算動作および２つの減算動作を使用して前記複数の部分の各々を生成するようさらに構成される、
［Ｃ３１］に記載のモバイルデバイス。
［Ｃ３３］
シーンに関連付けられる深度データを生成するよう構成されるステレオカメラと、
前記前景部分の境界を決定するよう構成される深度評価器と
をさらに備え、前記境界は、前記深度プロファイルに基づいて決定される、［Ｃ２４］に記載のモバイルデバイス。
［Ｃ３４］
前記深度評価器は、前記深度差異を決定することに応じて少なくともいくらかの前記前景部分の解像度を増大させるようさらに構成される、
［Ｃ３３］に記載のモバイルデバイス。
［Ｃ３５］
モバイルデバイスにおいて、第１の結果を生成するようピクセルの第１のエリアを評価することと、
前記モバイルデバイスにおいて、第２の結果を生成するようピクセルの第２のエリアを評価することと、
しきい値を前記第１の結果と前記第２の結果との間の差異と比較することに基づいてシーンの背景部分および前記シーンの前景部分のうちの１つと前記ピクセルの第２のエリアが対応することを決定することと
を行うよう前記モバイルデバイスのプロセッサによって実行可能な命令を記憶する、コンピュータ可読非一時的媒体。
［Ｃ３６］
前記ピクセルの第１のエリアおよび前記ピクセルの第２のエリアは、ピクセル強度値を合計することによって評価される、
［Ｃ３５］に記載のコンピュータ可読非一時的媒体。
［Ｃ３７］
前記第１の結果は、ピクセル強度値の合計の第１の表を備える第１の積分画像であり、前記第２の結果は、ピクセル強度値の合計の第２の表を備える第２の積分画像である、
［Ｃ３６］に記載のコンピュータ可読非一時的媒体。
［Ｃ３８］
コンピュータによって生成される仮想オブジェクトを生成することと、
前記シーンの画像を前記モバイルデバイスのディスプレイデバイス上において表示することと
を行うよう前記プロセッサによって実行可能な命令をさらに備え、
前記画像は、前記前景部分、前記背景部分、および前記仮想オブジェクトを含む、［Ｃ３５］に記載のコンピュータ可読非一時的媒体。
［Ｃ３９］
前記仮想オブジェクトは、前記モバイルデバイスの拡張現実アプリケーションに関連付けられる、
［Ｃ３８］に記載のコンピュータ可読非一時的媒体。
［Ｃ４０］
前記モバイルデバイスに関連する地表のロケーションを推定することと、
前記地表の前記推定されるロケーションに基づいて、仮想オブジェクトのロケーションを決定することと
を行うよう前記プロセッサによって実行可能な命令をさらに備える、［Ｃ３５］に記載のコンピュータ可読非一時的媒体。
［Ｃ４１］
前記地表の前記ロケーションを推定することは、
前記モバイルデバイスのセンサを使用して、前記地表に関して前記モバイルデバイスの縦範囲の角度を決定することと、
前記モバイルデバイスの中心から前記地表への第１の投影に関連付けられる第１の距離を推定することと、ここにおいて、前記第１の投影は、前記モバイルデバイスの前記縦範囲に対して垂直である、
前記角度および前記第１の距離に基づいて、前記モバイルデバイスの前記中心から前記地表への第２の投影に関連付けられる第２の距離を推定することと
を含み、前記第２の投影は、前記地表に対して直角である、［Ｃ４０］に記載のコンピュータ可読非一時的媒体。
［Ｃ４２］
前記第１の結果を生成する前に、複数の初期画像をキャプチャすることと、
前記複数の初期画像に基づいて初期背景モデルを生成することと
を行うよう前記プロセッサによって実行可能な命令をさらに備える、［Ｃ３５］に記載のコンピュータ可読非一時的媒体。
［Ｃ４３］
前記第１の結果を複数の部分に区分化することと、
任意の前記複数の部分が前記初期背景モデルと一致するかどうかを決定するよう前記複数の部分を前記初期背景モデルと比較することと
を行うよう前記プロセッサによって実行可能な命令をさらに備える、［Ｃ４２］に記載のコンピュータ可読非一時的媒体。
［Ｃ４４］
前記複数の部分の各々は、１つの加算動作および２つの減算動作を使用して生成される、［Ｃ４３］に記載のコンピュータ可読非一時的媒体。
［Ｃ４５］
前記モバイルデバイスのステレオカメラを使用してシーンに関連付けられる深度プロファイルを生成することと、
前記前景部分の境界を決定することと
を行うよう前記プロセッサによって実行可能な命令をさらに備え、前記境界は、前記深度プロファイルに基づいて決定される、［Ｃ１］に記載のコンピュータ可読非一時的媒体。
［Ｃ４６］
前記深度差異を決定することに応じて少なくともいくらかの前記前景部分の解像度を増大させるよう前記プロセッサによって実行可能な命令をさらに備える、
［Ｃ４５］に記載のコンピュータ可読非一時的媒体。
［Ｃ４７］
モバイルデバイスのセンサを使用して、地表に関して前記モバイルデバイスの縦範囲の角度を決定することと、
前記モバイルデバイスの中心から前記地表への第１の投影に関連付けられる第１の距離を推定することと、ここにおいて、前記第１の投影は、前記モバイルデバイスの前記縦範囲に対して垂直である、
前記角度および前記第１の距離に基づいて、前記モバイルデバイスの前記中心から前記地表への第２の投影に関連付けられる第２の距離を推定することと
を備え、前記第２の投影は、前記地表に対して直角である、方法。
［Ｃ４８］
前記第１の距離は、前記モバイルデバイスのステレオカメラを使用して推定される、
［Ｃ４７］に記載の方法。
［Ｃ４９］
前記第１の距離は、前記モバイルデバイスの前記カメラのオートフォーカス機能を使用して決定される、
［Ｃ４７］に記載の方法。
［Ｃ５０］
前記第２の距離は、前記モバイルデバイスのユーザの身長にさらに基づいて推定される、
［Ｃ４７］に記載の方法。
［Ｃ５１］
前記モバイルデバイスのディスプレイにおいて、前記推定される第２の距離によって少なくとも部分的に決定されるロケーションにおいて地表部分をレンダリングされた画像を表示することをさらに備える、
［Ｃ４７］に記載の方法。
［Ｃ５２］
前記モバイルデバイスにおいて、第１の結果を生成するようピクセルの第１のエリアを評価することと、
前記モバイルデバイスにおいて、第２の結果を生成するようピクセルの第２のエリアを評価することと、
しきい値を前記第１の結果と前記第２の結果との間の差異と比較することに基づいてシーンの背景部分および前記シーンの前景部分のうちの１つと前記ピクセルの第２のエリアが対応することを決定することと
をさらに備える、［Ｃ４７］に記載の方法。
［Ｃ５３］
前記ピクセルの第１のエリアおよび前記ピクセルの第２のエリアは、ピクセル強度値を合計することによって評価される、
［Ｃ５２］に記載の方法。
［Ｃ５４］
前記第１の結果は、ピクセル強度値の合計の第１の表を備える第１の積分画像であり、前記第２の結果は、ピクセル強度値の合計の第２の表を備える第２の積分画像である、
［Ｃ５３］に記載の方法。
［Ｃ５５］
コンピュータによって生成される仮想オブジェクトを生成することと、
前記シーンの画像を前記モバイルデバイスのディスプレイデバイス上において表示することと
をさらに備え、
前記画像は、前記前景部分、前記背景部分、および前記仮想オブジェクトを含む、［Ｃ５２］に記載の方法。
［Ｃ５６］
前記仮想オブジェクトは、前記モバイルデバイスの拡張現実アプリケーションに関連付けられる、
［Ｃ５５］に記載の方法。
［Ｃ５７］
前記第１の結果を生成する前に、複数の初期画像をキャプチャすることと、
前記複数の初期画像に基づいて初期背景モデルを生成することと
をさらに備える、［Ｃ５２］に記載の方法。
［Ｃ５８］
前記第１の結果を複数の部分に区分化することと、
任意の前記複数の部分が前記初期背景モデルと一致するかどうかを決定するよう前記複数の部分を前記初期背景モデルと比較することと
をさらに備える、［Ｃ５７］に記載の方法。
［Ｃ５９］
前記複数の部分の各々は、１つの加算動作および２つの減算動作を使用して生成される、
［Ｃ５８］に記載の方法。
［Ｃ６０］
前記モバイルデバイスのステレオカメラを使用してシーンに関連付けられる深度プロファイルを生成することと、
前記前景部分の境界を決定することと
をさらに備え、前記境界は、前記深度プロファイルに基づいて決定される、［Ｃ５２］に記載の方法。
［Ｃ６１］
前記深度差異を決定することに応じて少なくともいくらかの前記前景部分の解像度を増大させることをさらに備える、
［Ｃ６０］に記載の方法。
［Ｃ６２］
地表に関してモバイルデバイスの縦範囲の角度を決定するよう構成されるセンサと、
前記モバイルデバイスの中心から前記地表への第１の投影に関連付けられる第１の距離を推定するよう構成される推定器と
を備え、前記第１の投影は、前記モバイルデバイスの前記縦範囲に対して垂直であり、前記推定器は、前記角度および前記第１の距離に基づいて、前記モバイルデバイスの前記中心から前記地表への第２の投影に関連付けられる第２の距離を推定するようさらに構成され、前記第２の投影は、前記地表に対して直角である、モバイルデバイス。
［Ｃ６３］
前記第１の距離は、前記モバイルデバイスのステレオカメラを使用して推定される、
［Ｃ６２］に記載のモバイルデバイス。
［Ｃ６４］
前記第１の距離は、前記モバイルデバイスの前記カメラのオートフォーカス機能を使用して決定される、
［Ｃ６２］に記載のモバイルデバイス。
［Ｃ６５］
前記第２の距離は、前記モバイルデバイスのユーザの身長にさらに基づいて推定される、
［Ｃ６２］に記載のモバイルデバイス。
［Ｃ６６］
前記推定される第２の距離によって少なくとも部分的に決定されるロケーションにおいて地表部分をレンダリングされた画像を表示するよう構成される前記モバイルデバイスのディスプレイをさらに備える、
［Ｃ６２］に記載のモバイルデバイス。
［Ｃ６７］
第１の結果を生成するようピクセルの第１のエリアを評価するよう構成され、第２の結果を生成するようピクセルの第２のエリアを評価するようさらに構成される評価器と、
しきい値を前記第１の結果と前記第２の結果との間の差異と比較することに基づいてシーンの背景部分および前記シーンの前景部分のうちの１つと前記ピクセルの第２のエリアが対応することを決定するよう構成される論理と
をさらに備える、［Ｃ６２］に記載のモバイルデバイス。
［Ｃ６８］
前記ピクセルの第１のエリアおよび前記ピクセルの第２のエリアは、ピクセル強度値を合計することによって評価される、
［Ｃ６７］に記載のモバイルデバイス。
［Ｃ６９］
前記第１の結果は、ピクセル強度値の合計の第１の表を備える第１の積分画像であり、前記第２の結果は、ピクセル強度値の合計の第２の表を備える第２の積分画像である、
［Ｃ６８］に記載のモバイルデバイス。
［Ｃ７０］
前記シーンの画像を表示するよう構成されるディスプレイをさらに備え、前記画像は、前記前景部分、前記背景部分、および前記仮想オブジェクトを含む、
［Ｃ６７］に記載のモバイルデバイス。
［Ｃ７１］
前記仮想オブジェクトは、前記モバイルデバイスの拡張現実アプリケーションに関連付けられる、
［Ｃ７０］に記載のモバイルデバイス。
［Ｃ７２］
複数の初期画像をキャプチャするよう構成されるカメラをさらに備え、前記論理は、前記複数の初期画像に基づいて初期背景モデルを生成するようさらに構成される、
［Ｃ６７］に記載のモバイルデバイス。
［Ｃ７３］
前記論理は、前記第１の結果を複数の部分に区分化し、任意の前記複数の部分が前記初期背景モデルと一致するかどうかを決定するよう前記複数の部分を前記初期背景モデルと比較するようさらに構成される、
［Ｃ７２］に記載のモバイルデバイス。
［Ｃ７４］
前記複数の部分の各々は、１つの加算動作および２つの減算動作を使用して生成される、
［Ｃ６７］に記載のモバイルデバイス。
［Ｃ７５］
前記シーンに関連付けられる深度データを生成するよう構成されるステレオカメラと、
前記前景部分の境界を決定するよう構成される深度評価器と
をさらに備え、前記境界は、前記深度プロファイルに基づいて決定される、［Ｃ６７］に記載のモバイルデバイス。
［Ｃ７６］
前記深度評価器は、前記深度差異を決定することに応じて少なくともいくらかの前記前景部分の解像度を増大させるようさらに構成される、
［Ｃ７５］に記載のモバイルデバイス。
［Ｃ７７］
地表に関して前記モバイルデバイスの縦範囲の角度を決定するための手段と、
前記モバイルデバイスの中心から前記地表への第１の投影に関連付けられる第１の距離を推定することと、ここにおいて、前記第１の投影は、前記モバイルデバイスの前記縦範囲に対して垂直である、前記角度および前記第１の距離に基づいて、前記モバイルデバイスの前記中心から前記地表への第２の投影に関連付けられる第２の距離を推定することと
を行うための手段を備え、前記第２の投影は、前記地表に対して直角である、モバイルデバイス。
［Ｃ７８］
前記第１の距離は、前記モバイルデバイスのステレオカメラを使用して推定される、
［Ｃ７７］に記載のモバイルデバイス。
［Ｃ７９］
前記第１の距離は、前記モバイルデバイスの前記カメラのオートフォーカス機能を使用して決定される、
［Ｃ７７］に記載のモバイルデバイス。
［Ｃ８０］
前記第２の距離は、前記モバイルデバイスのユーザの身長にさらに基づいて推定される、
［Ｃ７７］に記載のモバイルデバイス。
［Ｃ８１］
前記推定される第２の距離によって少なくとも部分的に決定されるロケーションにおいて地表部分をレンダリングされた画像を表示するよう構成されるディスプレイをさらに備える、
［Ｃ７７］に記載のモバイルデバイス。
［Ｃ８２］
第１の結果を生成するようピクセルの第１のエリアを評価するよう構成され、第２の結果を生成するようピクセルの第２のエリアを評価するようさらに構成される評価器と、
しきい値を前記第１の結果と前記第２の結果との間の差異と比較することに基づいてシーンの背景部分および前記シーンの前景部分のうちの１つと前記ピクセルの第２のエリアが対応することを決定するよう構成される論理と
をさらに備える、［Ｃ７７］に記載のモバイルデバイス。
［Ｃ８３］
前記ピクセルの第１のエリアおよび前記ピクセルの第２のエリアは、ピクセル強度値を合計することによって評価される、
［Ｃ８２］に記載のモバイルデバイス。
［Ｃ８４］
前記第１の結果は、ピクセル強度値の合計の第１の表を備える第１の積分画像であり、前記第２の結果は、ピクセル強度値の合計の第２の表を備える第２の積分画像である、
［Ｃ８３］に記載のモバイルデバイス。
［Ｃ８５］
前記シーンの画像を表示するよう構成されるディスプレイをさらに備え、前記画像は、前記前景部分、前記背景部分、および前記仮想オブジェクトを含む、
［Ｃ８２］に記載のモバイルデバイス。
［Ｃ８６］
前記仮想オブジェクトは、前記モバイルデバイスの拡張現実アプリケーションに関連付けられる、［Ｃ８５］に記載のモバイルデバイス。
［Ｃ８７］
複数の初期画像をキャプチャするよう構成されるカメラをさらに備え、前記論理は、前記複数の初期画像に基づいて初期背景モデルを生成するようさらに構成される、
［Ｃ８２］に記載のモバイルデバイス。
［Ｃ８８］
前記論理は、前記第１の結果を複数の部分に区分化し、任意の前記複数の部分が前記初期背景モデルと一致するかどうかを決定するよう前記複数の部分を前記初期背景モデルと比較するようさらに構成される、
［Ｃ８２］に記載のモバイルデバイス。
［Ｃ８９］
前記複数の部分の各々は、１つの加算動作および２つの減算動作を使用して生成される、
［Ｃ８８］に記載のモバイルデバイス。
［Ｃ９０］
前記シーンに関連付けられる深度データを生成するよう構成されるステレオカメラと、
前記前景部分の境界を決定するよう構成される深度評価器と
をさらに備え、前記境界は、前記深度プロファイルに基づいて決定される、［Ｃ８２］に記載のモバイルデバイス。
［Ｃ９１］
前記深度評価器は、前記深度差異を決定することに応じて少なくともいくらかの前記前景部分の解像度を増大させるようさらに構成される、
［Ｃ９０］に記載のモバイルデバイス。
［Ｃ９２］
モバイルデバイスのセンサを使用して、地表に関して前記モバイルデバイスの縦範囲の角度を決定することと、
前記モバイルデバイスの中心から前記地表への第１の投影に関連付けられる第１の距離を推定することと、ここにおいて、前記第１の投影は、前記モバイルデバイスの前記縦範囲に対して垂直である、
前記角度および前記第１の距離に基づいて、前記モバイルデバイスの前記中心から前記地表への第２の投影に関連付けられる第２の距離を推定することと
を行うよう前記モバイルデバイスのプロセッサによって実行可能な命令を記憶し、前記第２の投影は、前記地表に対して直角である、コンピュータ可読非一時的媒体。
［Ｃ９３］
前記第１の距離は、前記モバイルデバイスのステレオカメラを使用して推定される、
［Ｃ９２］に記載のコンピュータ可読非一時的媒体。
［Ｃ９４］
前記第１の距離は、前記モバイルデバイスの前記カメラのオートフォーカス機能を使用して決定される、
［Ｃ９２］に記載のコンピュータ可読非一時的媒体。
［Ｃ９５］
前記第２の距離は、前記モバイルデバイスのユーザの身長にさらに基づいて推定される、
［Ｃ９２］に記載のコンピュータ可読非一時的媒体。
［Ｃ９６］
前記モバイルデバイスのディスプレイにおいて、前記推定される第２の距離によって少なくとも部分的に決定されるロケーションにおいて地表部分をレンダリングされた画像を表示するよう前記プロセッサによって実行可能な命令をさらに備える、
［Ｃ９２］に記載のコンピュータ可読非一時的媒体。
［Ｃ９７］
前記モバイルデバイスにおいて、第１の結果を生成するようピクセルの第１のエリアを評価することと、
前記モバイルデバイスにおいて、第２の結果を生成するようピクセルの第２のエリアを評価することと、
しきい値を前記第１の結果と前記第２の結果との間の差異と比較することに基づいてシーンの背景部分および前記シーンの前景部分のうちの１つと前記ピクセルの第２のエリアが対応することを決定することと
を行うよう前記プロセッサによって実行可能な命令をさらに備える、［Ｃ９２］に記載のコンピュータ可読非一時的媒体。
［Ｃ９８］
前記ピクセルの第１のエリアおよび前記ピクセルの第２のエリアは、ピクセル強度値を合計することによって評価される、
［Ｃ９７］に記載のコンピュータ可読非一時的媒体。
［Ｃ９９］
前記第１の結果は、ピクセル強度値の合計の第１の表を備える第１の積分画像であり、前記第２の結果は、ピクセル強度値の合計の第２の表を備える第２の積分画像である、
［Ｃ９８］に記載のコンピュータ可読非一時的媒体。
［Ｃ１００］
コンピュータによって生成される仮想オブジェクトを生成することと、
前記シーンの画像を前記モバイルデバイスのディスプレイデバイス上において表示することと
を行うよう前記プロセッサによって実行可能な命令をさらに備え、
前記画像は、前記前景部分、前記背景部分、および前記仮想オブジェクトを含む、［Ｃ９７］に記載のコンピュータ可読非一時的媒体。
［Ｃ１０１］
前記仮想オブジェクトは、前記モバイルデバイスの拡張現実アプリケーションに関連付けられる、
［Ｃ１００］に記載のコンピュータ可読非一時的媒体。
［Ｃ１０２］
前記第１の結果を生成する前に、複数の初期画像をキャプチャすることと、
前記複数の初期画像に基づいて初期背景モデルを生成することと
を行うよう前記プロセッサによって実行可能な命令をさらに備える、［Ｃ９７］に記載のコンピュータ可読非一時的媒体。
［Ｃ１０３］
前記第１の結果を複数の部分に区分化することと、
任意の前記複数の部分が前記初期背景モデルと一致するかどうかを決定するよう前記複数の部分を前記初期背景モデルと比較することと
を行うよう前記プロセッサによって実行可能な命令をさらに備える、［Ｃ１０２］に記載のコンピュータ可読非一時的媒体。
［Ｃ１０４］
前記複数の部分の各々は、１つの加算動作および２つの減算動作を使用して生成される、
［Ｃ１０３］に記載のコンピュータ可読非一時的媒体。
［Ｃ１０５］
前記モバイルデバイスのステレオカメラを使用してシーンに関連付けられる深度プロファイルを生成することと、
前記前景部分の境界を決定することと
を行うよう前記プロセッサによって実行可能な命令をさらに備え、前記境界は、前記深度プロファイルに基づいて決定される、［Ｃ９７］に記載のコンピュータ可読非一時的媒体。
［Ｃ１０６］
前記深度差異を決定することに応じて少なくともいくらかの前記前景部分の解像度を増大させるよう前記プロセッサによって実行可能な命令をさらに備える、
［Ｃ１０５］に記載のコンピュータ可読非一時的媒体。

Claims (52)

  1. モバイルデバイスにおいて、合計されるピクセル強度値に関連付けられる第１の結果を生成するよう合計されるエリア動作にしたがってピクセルの第１のエリアを評価すること、前記ピクセルの第１のエリアは、第１の時間におけるシーンに対応する、と、
    前記モバイルデバイスにおいて、第２の結果を生成するようピクセルの第２のエリアを評価すること、前記ピクセルの第２のエリアは、前記第１の時間の後の第２の時間における前記シーンに対応する、と、
    しきい値を前記第１の結果と前記第２の結果との間における差異と比較することに基づいて前記シーンの背景部分または前記シーンの前景部分のうちの１つと、前記ピクセルの第２のエリアが対応することを決定することと
    を備える、方法。
  2. 前記ピクセルの第１のエリアおよび前記ピクセルの第２のエリアは、前記ピクセル強度値を合計することによって評価され、前記シーンは、前景オブジェクトを含む、請求項１に記載の方法。
  3. 前記第１の結果は、ピクセル強度値の合計の第１の表を備える第１の積分画像であり、前記第２の結果は、ピクセル強度値の合計の第２の表を備える第２の積分画像である、請求項２に記載の方法。
  4. 前記モバイルデバイスにおいて、仮想オブジェクトを生成することと、
    前記シーンの画像を前記モバイルデバイスのディスプレイデバイス上において表示することと
    をさらに備え、
    前記画像は、前記前景部分、前記背景部分、および前記仮想オブジェクトを含む、請求項１に記載の方法。
  5. 前記仮想オブジェクトは、前記モバイルデバイスの拡張現実アプリケーションに関連付けられる、請求項４に記載の方法。
  6. 前記モバイルデバイスに関連する地表のロケーションを推定することと、
    前記地表の前記推定されるロケーションに基づいて、仮想オブジェクトのロケーションを決定することと
    をさらに備える、請求項１に記載の方法。
  7. 前記地表の前記ロケーションを推定することは、
    前記モバイルデバイスのセンサを使用して、前記地表に関して前記モバイルデバイスの縦範囲の角度を決定することと、
    前記モバイルデバイスの中心から前記地表への第１の投影に関連付けられる第１の距離を推定することと、ここにおいて、前記第１の投影は、前記モバイルデバイスの前記縦範囲に対して垂直である、
    前記角度および前記第１の距離に基づいて、前記モバイルデバイスの前記中心から前記地表への第２の投影に関連付けられる第２の距離を推定することと
    を含み、前記第２の投影は、前記地表に対して直角である、請求項６に記載の方法。
  8. 前記第１の結果を生成する前に、複数の初期画像をキャプチャすることと、
    前記複数の初期画像に基づいて初期背景モデルを生成することと
    をさらに備える、請求項１に記載の方法。
  9. 前記第１の結果を複数の部分に区分化することと、
    任意の前記複数の部分が前記初期背景モデルと一致するかどうかを決定するよう前記複数の部分を前記初期背景モデルと比較することとをさらに備える、請求項８に記載の方法。
  10. 前記複数の部分の各々は、１つの加算動作および２つの減算動作を使用して生成される、請求項９に記載の方法。
  11. 前記モバイルデバイスのステレオカメラを使用して前記シーンに関連付けられる深度プロファイルを生成することと、
    前記前景部分の境界を決定することと
    をさらに備え、前記境界は、前記深度プロファイルに基づいて決定される、請求項１に記載の方法。
  12. 前記深度プロファイルを決定することに応じて少なくともいくらかの前記前景部分の解像度を増大させることをさらに備える、請求項１１に記載の方法。
  13. 前記シーンは、前記前景部分および前記背景部分を含む、請求項１に記載の方法。
  14. 前記モバイルデバイスによって、前記第１の時間において前記シーンの第１の領域に対応する前記ピクセルの第１のエリアを決定することと、
    前記モバイルデバイスによって、前記第２の時間において前記シーンの前記第１の領域に対応する前記ピクセルの第２のエリアを決定することと
    をさらに備える、請求項１に記載の方法。
  15. 前記ピクセルの第１のエリアは、第１の方向付けを有する前記シーンの第１の画像に関連付けられ、前記ピクセルの第２のエリアは、第２の方向付けを有する前記シーンの第２の画像に関連付けられ、前記第１の方向付けは、前記第２の方向付けとは異なる、請求項１に記載の方法。
  16. マーカから独立している前記仮想オブジェクトの動きを決定することをさらに備え、前記動きは、画像の領域内におけるピクセル強度の変化の程度に基づいて決定される、請求項４に記載の方法。
  17. 前記合計されるエリア動作にしたがって前記ピクセルの第１のエリアを評価することは、前記第１のエリアのピクセル毎に、前記第１の結果を生成するよう前記ピクセルの左に互いのピクセルの前記ピクセル強度値を合計することを含む、請求項１に記載の方法。
  18. 前記合計されるエリア動作にしたがって前記ピクセルの第１のエリアを評価することは、前記第１のエリアのピクセル毎に、前記第１の結果を生成するよう前記ピクセルの上、かつ前記ピクセルの左に互いのピクセルの前記ピクセル強度値を合計することを含む、請求項１に記載の方法。
  19. 合計されるピクセル強度値に関連づけられる第１の結果を生成するよう合計されるエリア動作にしたがってピクセルの第１のエリアを評価するよう構成され、第２の結果を生成するようピクセルの第２のエリアを評価するようさらに構成される評価器、ここにおいて、前記ピクセルの第１のエリアは、第１の時間におけるシーンに対応し、前記ピクセルの第２のエリアは、前記第１の時間の後の第２の時間における前記シーンに対応する、と、
    しきい値を前記第１の結果と前記第２の結果との間の差異と比較することに基づいて前記シーンの背景部分または前記シーンの前景部分のうちの１つと前記ピクセルの第２のエリアが対応することを決定するよう構成されるプロセッサと
    を備える、モバイルデバイス。
  20. 前記評価器は、前記ピクセルの第１のエリアの第１のピクセルの前記ピクセル強度値を合計するように、および前記ピクセルの第２のエリアの第２のピクセルの前記ピクセル強度値を合計するようにさらに構成される、請求項１９に記載のモバイルデバイス。
  21. 前記第１の結果は、ピクセル強度値の合計の第１の表を備える第１の積分画像であり、前記第２の結果は、ピクセル強度値の合計の第２の表を備える第２の積分画像である、請求項２０に記載のモバイルデバイス。
  22. 前記前景部分、前記背景部分、および仮想オブジェクトを含む画像を表示するよう構成されるディスプレイをさらに備える、請求項１９に記載のモバイルデバイス。
  23. 前記仮想オブジェクトは、前記プロセッサによって実行される拡張現実アプリケーションに関連付けられる、請求項２２に記載のモバイルデバイス。
  24. 地表に関して前記モバイルデバイスの縦範囲の角度を決定するよう構成されるセンサと、
    前記モバイルデバイスの中心から前記地表への第１の投影に関連付けられる第１の距離を推定するよう構成され、前記第１の投影は、前記モバイルデバイスの前記縦範囲に対して垂直である、前記角度および前記第１の距離に基づいて、前記モバイルデバイスの前記中心から前記地表への第２の投影に関連付けられる第２の距離を推定するようさらに構成される推定器と
    をさらに備え、前記第２の投影は、前記地表に対して直角である、請求項１９に記載のモバイルデバイス。
  25. 複数の初期画像をキャプチャするよう構成されるカメラをさらに備え、前記プロセッサは、前記複数の初期画像に基づいて初期背景モデルを生成するようさらに構成される、請求項１９に記載のモバイルデバイス。
  26. 前記プロセッサは、前記第１の結果を複数の部分に区分化し、任意の前記複数の部分が前記初期背景モデルと一致するかどうかを決定するよう前記複数の部分を前記初期背景モデルと比較するようさらに構成される、請求項２５に記載のモバイルデバイス。
  27. 前記プロセッサは、１つの加算動作および２つの減算動作を使用して前記複数の部分の各々を生成するようさらに構成される、請求項２６に記載のモバイルデバイス。
  28. 前記シーンに関連付けられる深度データを生成するよう構成されるステレオカメラと、
    前記前景部分の境界を決定するよう構成される深度評価器と
    をさらに備え、前記境界は、前記深度データに基づいて決定される、請求項１９に記載のモバイルデバイス。
  29. 前記深度評価器は、前記深度データを決定することに応じて少なくともいくらかの前記前景部分の解像度を増大させるようさらに構成される、請求項２８に記載のモバイルデバイス。
  30. 合計されるピクセル強度値に関連付けられる第１の結果を生成するよう合計されるエリア動作にしたがってピクセルの第１のエリアを評価するための、さらに第２の結果を生成するようピクセルの第２のエリアを評価するための手段、ここにおいて、前記ピクセルの第１のエリアは、第１の時間におけるシーンに対応し、前記ピクセルの第２のエリアは、前記第１の時間の後の第２の時間における前記シーンに対応する、と、
    しきい値を前記第１の結果と前記第２の結果との間の差異と比較することに基づいて前記シーンの背景部分または前記シーンの前景部分のうちの１つと前記ピクセルの第２のエリアが対応することを決定するための手段と
    を備える、モバイルデバイス。
  31. 前記評価器は、前記ピクセルの第１のエリアの第１のピクセルの前記ピクセル強度値を合計するように、および前記ピクセルの第２のエリアの第２のピクセルの前記ピクセル強度値を合計するようにさらに構成される、請求項３０に記載のモバイルデバイス。
  32. 前記第１の結果は、ピクセル強度値の合計の第１の表を備える第１の積分画像であり、前記第２の結果は、ピクセル強度値の合計の第２の表を備える第２の積分画像である、請求項３１に記載のモバイルデバイス。
  33. 前記前景部分、前記背景部分、および仮想オブジェクトを含む画像を表示するための手段をさらに備える、請求項３０に記載のモバイルデバイス。
  34. 前記仮想オブジェクトは、拡張現実アプリケーションに関連付けられる、請求項３３に記載のモバイルデバイス。
  35. 地表に関して前記モバイルデバイスの縦範囲の角度を決定するための手段と、
    前記モバイルデバイスの中心から前記地表への第１の投影に関連付けられる第１の距離を推定し、前記第１の投影は、前記モバイルデバイスの前記縦範囲に対して垂直である、前記角度および前記第１の距離に基づいて、前記モバイルデバイスの前記中心から前記地表への第２の投影に関連付けられる第２の距離を推定するようさらに構成されるための手段と
    をさらに備え、前記第２の投影は、前記地表に対して直角である、請求項３０に記載のモバイルデバイス。
  36. 複数の初期画像をキャプチャするための手段をさらに備え、前記決定するための手段は、前記複数の初期画像に基づいて初期背景モデルを生成するよう構成される、請求項３０に記載のモバイルデバイス。
  37. 前記決定するための手段は、前記第１の結果を複数の部分に区分化し、任意の前記複数の部分が前記初期背景モデルと一致するかどうかを決定するよう前記複数の部分を前記初期背景モデルと比較するようさらに構成される、請求項３６に記載のモバイルデバイス。
  38. 前記決定するための手段は、１つの加算動作および２つの減算動作を使用して前記複数の部分の各々を生成するようさらに構成される、請求項３７に記載のモバイルデバイス。
  39. 前記シーンに関連付けられる深度データを生成するための手段と、
    前記前景部分の境界を決定するための手段と
    をさらに備え、前記境界は、前記深度データに基づいて決定される、請求項３０に記載のモバイルデバイス。
  40. 前記決定するための手段は、前記深度データを決定することに応じて少なくともいくらかの前記前景部分の解像度を増大させるようさらに構成される、請求項３９に記載のモバイルデバイス。
  41. モバイルデバイスにおいて、合計されるピクセル強度値に関連付けられる第１の結果を生成するよう合計されるエリア動作にしたがってピクセルの第１のエリアを評価すること、前記ピクセルの第１のエリアは、第１の時間におけるシーンに対応する、と、
    前記モバイルデバイスにおいて、第２の結果を生成するようピクセルの第２のエリアを評価すること、前記ピクセルの第２のエリアは、前記第１の時間の後の第２の時間における前記シーンに対応する、と、
    しきい値を前記第１の結果と前記第２の結果との間の差異と比較することに基づいて前記シーンの背景部分または前記シーンの前景部分のうちの１つと前記ピクセルの第２のエリアが対応することを決定することと
    をプロセッサに行わせるためにプロセッサによって実行可能な命令を記憶する、コンピュータ可読非一時的媒体。
  42. 前記ピクセルの第１のエリアおよび前記ピクセルの第２のエリアは、ピクセル強度値を合計することによって評価される、請求項４１に記載のコンピュータ可読非一時的媒体。
  43. 前記第１の結果は、ピクセル強度値の合計の第１の表を備える第１の積分画像であり、前記第２の結果は、ピクセル強度値の合計の第２の表を備える第２の積分画像である、請求項４２に記載のコンピュータ可読非一時的媒体。
  44. 前記命令は、前記プロセッサによって実行されると、さらに、
    仮想オブジェクトを生成することと、
    前記シーンの画像を前記モバイルデバイスのディスプレイデバイス上において表示することと
    を前記プロセッサに行わせ、
    前記画像は、前記前景部分、前記背景部分、および前記仮想オブジェクトを含む、請求項４１に記載のコンピュータ可読非一時的媒体。
  45. 前記仮想オブジェクトは、前記モバイルデバイスの拡張現実アプリケーションに関連付けられる、請求項４４に記載のコンピュータ可読非一時的媒体。
  46. 前記命令は、前記プロセッサによって実行されると、さらに、
    前記モバイルデバイスに関連する地表のロケーションを推定することと、
    前記地表の前記推定されるロケーションに基づいて、仮想オブジェクトのロケーションを決定することと
    を前記プロセッサに行わせる、請求項４１に記載のコンピュータ可読非一時的媒体。
  47. 前記地表の前記ロケーションを推定することは、
    前記モバイルデバイスのセンサを使用して、前記地表に関して前記モバイルデバイスの縦範囲の角度を決定することと、
    前記モバイルデバイスの中心から前記地表への第１の投影に関連付けられる第１の距離を推定することと、ここにおいて、前記第１の投影は、前記モバイルデバイスの前記縦範囲に対して垂直である、
    前記角度および前記第１の距離に基づいて、前記モバイルデバイスの前記中心から前記地表への第２の投影に関連付けられる第２の距離を推定することと
    を含み、前記第２の投影は、前記地表に対して直角である、請求項４６に記載のコンピュータ可読非一時的媒体。
  48. 前記命令は、前記プロセッサによって実行されると、さらに、
    前記第１の結果を生成する前に、複数の初期画像をキャプチャすることと、
    前記複数の初期画像に基づいて初期背景モデルを生成することと
    を前記プロセッサに行わせる、請求項４１に記載のコンピュータ可読非一時的媒体。
  49. 前記命令は、前記プロセッサによって実行されると、さらに、
    前記第１の結果を複数の部分に区分化することと、
    任意の前記複数の部分が前記初期背景モデルと一致するかどうかを決定するよう前記複数の部分を前記初期背景モデルと比較することと
    を前記プロセッサに行わせる、請求項４８に記載のコンピュータ可読非一時的媒体。
  50. 前記複数の部分の各々は、１つの加算動作および２つの減算動作を使用して生成される、請求項４９に記載のコンピュータ可読非一時的媒体。
  51. 前記命令は、前記プロセッサによって実行されると、さらに、
    前記モバイルデバイスのステレオカメラを使用して前記シーンに関連付けられる深度プロファイルを生成することと、
    前記前景部分の境界を決定することと
    を前記プロセッサに行わせ、前記境界は、前記深度プロファイルに基づいて決定される、請求項４１に記載のコンピュータ可読非一時的媒体。
  52. 前記命令は、前記プロセッサによって実行されると、さらに、前記深度プロファイルに基づいて少なくともいくらかの前記前景部分の解像度を増大させることを前記プロセッサに行わせる、請求項５１に記載のコンピュータ可読非一時的媒体。
JP2015531095A 2012-09-11 2013-08-09 拡張現実アプリケーションのためのデバイスおよび方法 Expired - Fee Related JP6077121B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261699615P 2012-09-11 2012-09-11
US61/699,615 2012-09-11
US13/651,098 US9466121B2 (en) 2012-09-11 2012-10-12 Devices and methods for augmented reality applications
US13/651,098 2012-10-12
PCT/US2013/054423 WO2014042795A2 (en) 2012-09-11 2013-08-09 Device and method for augmented reality applications

Publications (3)

Publication Number Publication Date
JP2015534165A JP2015534165A (ja) 2015-11-26
JP2015534165A5 JP2015534165A5 (ja) 2017-01-19
JP6077121B2 true JP6077121B2 (ja) 2017-02-08

Family

ID=50232882

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015531095A Expired - Fee Related JP6077121B2 (ja) 2012-09-11 2013-08-09 拡張現実アプリケーションのためのデバイスおよび方法

Country Status (5)

Country Link
US (2) US9466121B2 (ja)
JP (1) JP6077121B2 (ja)
KR (1) KR101788945B1 (ja)
CN (1) CN104584079B (ja)
WO (1) WO2014042795A2 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US9466121B2 (en) 2012-09-11 2016-10-11 Qualcomm Incorporated Devices and methods for augmented reality applications
US9894269B2 (en) 2012-10-31 2018-02-13 Atheer, Inc. Method and apparatus for background subtraction using focus differences
CN104969289B (zh) 2013-02-07 2021-05-28 苹果公司 数字助理的语音触发器
GB201322873D0 (en) * 2013-12-23 2014-02-12 Tobii Technology Ab Eye gaze determination
US20150264357A1 (en) * 2014-03-11 2015-09-17 Stmicroelectronics S.R.L. Method and system for encoding digital images, corresponding apparatus and computer program product
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
CN104407696B (zh) * 2014-11-06 2016-10-05 北京京东尚科信息技术有限公司 移动设备的虚拟球模拟及控制的方法
US9804392B2 (en) 2014-11-20 2017-10-31 Atheer, Inc. Method and apparatus for delivering and controlling multi-feed data
US20160182846A1 (en) 2014-12-22 2016-06-23 Google Inc. Monolithically integrated rgb pixel array and z pixel array
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10261804B2 (en) * 2015-09-11 2019-04-16 Qualcomm Incorporated Gradual power wake-up mechanism
KR102407624B1 (ko) * 2015-10-06 2022-06-10 삼성전자주식회사 전자 장치의 영상 처리 방법 및 그 전자 장치
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10269123B2 (en) 2017-01-09 2019-04-23 Qualcomm Incorporated Methods and apparatus for video background subtraction
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10405126B2 (en) 2017-06-30 2019-09-03 Qualcomm Incorporated Mixed-order ambisonics (MOA) audio data for computer-mediated reality systems
WO2019111052A2 (en) * 2017-12-06 2019-06-13 Zyetric One Limited Inserting virtual objects in between two real objects in an augmented reality environment
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
JP7374582B2 (ja) * 2018-11-27 2023-11-07 キヤノン株式会社 画像処理装置、画像生成方法およびプログラム
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
WO2021068799A1 (en) * 2019-10-07 2021-04-15 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Occlusion and collision detection for augmented reality applications
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11743670B2 (en) 2020-12-18 2023-08-29 Qualcomm Incorporated Correlation-based rendering with multiple distributed streams accounting for an occlusion for six degree of freedom applications

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5668605A (en) * 1994-10-25 1997-09-16 R. T. Set Object keying in video images based on distance from camera
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US8094928B2 (en) 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming
IES20060559A2 (en) * 2006-02-14 2006-11-01 Fotonation Vision Ltd Automatic detection and correction of non-red flash eye defects
KR100975488B1 (ko) * 2006-02-21 2010-08-11 파나소닉 전공 주식회사 영상표시장치 및 영상표시장치의 영상왜곡 보정방법
EP1881454A1 (en) * 2006-07-17 2008-01-23 Mitsubishi Electric Information Technology Centre Europe B.V. Image processing for change detection
FR2911211B1 (fr) 2007-01-05 2009-06-12 Total Immersion Sa Procede et dispositifs pour inserer en temps reel des objets virtuels dans un flux d'images a partir de donnees issues de la scene reelle representee par ces images
US8254680B2 (en) * 2007-01-24 2012-08-28 Samsung Electronics Co., Ltd. Apparatus and method of segmenting an image in an image coding and/or decoding system
US7929729B2 (en) * 2007-04-02 2011-04-19 Industrial Technology Research Institute Image processing methods
DE102007045834B4 (de) 2007-09-25 2012-01-26 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
DE102007045835B4 (de) 2007-09-25 2012-12-20 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
US8896686B2 (en) 2009-06-23 2014-11-25 Here Global B.V. Determining a geometric parameter from a single image
US8436891B2 (en) * 2009-09-16 2013-05-07 Disney Enterprises, Inc. Hyperlinked 3D video inserts for interactive television
US8466980B2 (en) * 2010-04-06 2013-06-18 Alcatel Lucent Method and apparatus for providing picture privacy in video
US20120075440A1 (en) 2010-09-28 2012-03-29 Qualcomm Incorporated Entropy based image separation
CN102123194B (zh) * 2010-10-15 2013-12-18 张哲颖 利用增强实景技术优化移动导航和人机交互功能的方法
US9424371B2 (en) 2010-11-05 2016-08-23 Autodesk, Inc. Click to accept as built modeling
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
JP5713398B2 (ja) * 2011-07-05 2015-05-07 大学共同利用機関法人情報・システム研究機構 画像照合装置、画像照合方法及びコンピュータプログラム
KR20130022831A (ko) 2011-08-26 2013-03-07 유민규 이동통신 단말기를 이용한 거리, 높이, 길이 측정 방법
US9466121B2 (en) 2012-09-11 2016-10-11 Qualcomm Incorporated Devices and methods for augmented reality applications

Also Published As

Publication number Publication date
KR20150054778A (ko) 2015-05-20
WO2014042795A3 (en) 2014-08-28
KR101788945B1 (ko) 2017-10-20
WO2014042795A2 (en) 2014-03-20
US20140071241A1 (en) 2014-03-13
US9466121B2 (en) 2016-10-11
JP2015534165A (ja) 2015-11-26
US10038892B2 (en) 2018-07-31
CN104584079B (zh) 2017-12-05
CN104584079A (zh) 2015-04-29
US20160373723A1 (en) 2016-12-22

Similar Documents

Publication Publication Date Title
JP6077121B2 (ja) 拡張現実アプリケーションのためのデバイスおよび方法
JP6043856B2 (ja) Ｒｇｂｄカメラを用いた頭部ポーズ推定
CN103514432B (zh) 人脸特征提取方法、设备和计算机程序产品
CN108027884B (zh) 一种用于监测对象的方法、存储媒体、服务器及设备
WO2019007258A1 (zh) 相机姿态信息的确定方法、装置、设备及存储介质
US20160224856A1 (en) Occlusion handling for computer vision
CN111582116B (zh) 一种视频抹除痕迹检测方法、装置、设备和存储介质
CN114651284A (zh) 轻量级多分支和多尺度人员重识别
CN108712606A (zh) 提示方法、装置、存储介质及移动终端
JP6908183B2 (ja) 学習用画像生成装置、学習用画像生成方法及びプログラム
US20150095360A1 (en) Multiview pruning of feature database for object recognition system
US10438405B2 (en) Detection of planar surfaces for use in scene modeling of a captured scene
KR102367648B1 (ko) 전 방향 시차 영상 합성 방법, 장치 및 저장 매체
JP6054771B2 (ja) 背景モデル構築装置、背景モデル構築方法、およびプログラム
JP2007004318A (ja) 画像処理方法、画像処理を実行するためのプログラム、及び、当該プログラムが記憶された記憶媒体
CN112308977A (zh) 视频处理方法、视频处理装置和存储介质
CN110309721B (zh) 视频处理方法、终端和存储介质
JP2018066687A (ja) 情報処理装置、情報処理方法、および情報処理プログラム
KR101117235B1 (ko) 교통사고 인식 장치 및 방법
US20220270273A1 (en) Machine learning-based object-centric approach to image manipulation
CN114007134B (zh) 视频处理方法、装置、电子设备及存储介质
CN111597893B (zh) 一种行人图像的匹配方法、装置、存储介质及终端
JP2022177392A (ja) 制御プログラム、制御方法、および情報処理装置
CN116486039A (zh) 点云数据处理方法、装置、电子设备及存储介质
CN114627552A (zh) 一种行为识别方法、装置及电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161130

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20161130

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20161214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170111

R150 Certificate of patent or registration of utility model

Ref document number: 6077121

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees