JP6273334B2 - 情報をその上に投影するための実世界内の表面の動的な選択 - Google Patents
情報をその上に投影するための実世界内の表面の動的な選択 Download PDFInfo
- Publication number
- JP6273334B2 JP6273334B2 JP2016205796A JP2016205796A JP6273334B2 JP 6273334 B2 JP6273334 B2 JP 6273334B2 JP 2016205796 A JP2016205796 A JP 2016205796A JP 2016205796 A JP2016205796 A JP 2016205796A JP 6273334 B2 JP6273334 B2 JP 6273334B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- instructions
- selected element
- image
- selecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000015654 memory Effects 0.000 claims description 47
- 230000006870 function Effects 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 28
- 238000012546 transfer Methods 0.000 claims description 27
- 238000003860 storage Methods 0.000 claims description 24
- 238000012360 testing method Methods 0.000 claims description 24
- 230000002085 persistent effect Effects 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 4
- 230000014759 maintenance of location Effects 0.000 claims 1
- 230000009471 action Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 210000003811 finger Anatomy 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012800 visualization Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 210000003813 thumb Anatomy 0.000 description 4
- 238000012552 review Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000004883 computer application Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Image Analysis (AREA)
Description
本出願は、本出願の譲受人に譲受され、参照によりその全体が本明細書に組み込まれる、2011年8月19日に出願された「Projection of Information Onto Real World Objects or Adjacent Thereto」と題する米国仮特許出願第61/525,628号の優先権を主張する。
本出願は、本出願の譲受人に譲受され、参照によりその全体が本明細書に組み込まれる、2012年7月13日に出願された「DYNAMIC SELECTION OF SURFACES IN REAL WORLD FOR PROJECTION OF INFORMATION THEREON」と題する米国特許出願第13/549,388号の優先権を主張する。
本出願は、本出願の譲受人に譲受され、参照によりその全体が本明細書に組み込まれる、2012年7月13日に出願された「Use Of Association Of An Object Detected In An Image To Obtain Information To Display To A User」と題する米国特許出願第13/549,339号、代理人整理番号Q111570U1osにも関連する。
200 モバイルデバイス
201 ユーザインターフェース
202 カメラ
203 不揮発性メモリ
205 プロジェクタ
210 親指
211 物体
211A 表面
211C 領域
211L 左頁
212 指
213 テーブル
213S 領域
213U 領域
214 シーン
218 テキスト
220 人間
221 手
231 入力ビデオ
231A 画像
232 要求
233 情報の要素
233 出力ビデオ
233A フレーム
234 格納先
236 ビデオ
241 キャップ
241A 領域
272 長方形
273 リスト
309 ゲームソフトウェア
309S 格納先
311 物体
311S 表面
314 シーン
331A 画像
333A テキストライン
333B テキストライン
510 ソフトウェア
511 3D表面分割ソフトウェア
512 表面ファインダ
513 情報検索ソフトウェア
514 情報変換器
521 データ領域
522 ライブラリ
525 要素
530 フレームバッファ
1001 タッチスクリーン
1002 スクリーン
1004 グラフィックスエンジン
1005 画像プロセッサ
1006 IRカメラ
1007 読み出し専用メモリ
1009 通信インターフェース
1010 送受信機
1112 マイクロホン
1130 外部プリント回路基板
1131 IRリンク
Claims (18)
- 実世界内のシーンの画像を受信するステップであって、前記画像は前記実世界内の点に対する複数の距離を備える、受信するステップと、
少なくとも前記画像の分割によって前記シーン内の表面のセットを識別するために、少なくとも前記複数の距離を使用するステップと、
前記シーンに投影するために情報の要素を選択するステップであって、前記選択された情報の要素がサイズを有し、前記情報が異なる表面に投影可能なそれぞれ独立した複数の要素を含む、情報の要素を選択するステップと、
前記選択された要素のサイズを、前記表面のセット内の表面のサイズと比較するステップと、
前記表面のセットから前記選択された情報の要素をその上に投影することができる表面を選択するステップであって、前記表面の選択が、前記要素を収容するのに十分に大きいと比較により求められた前記表面のサイズに少なくとも一部基づく、表面を選択するステップと、
1つまたは複数のプロセッサが、前記表面を使用するための伝達関数を識別するステップと、
少なくとも前記選択された情報の要素に、前記伝達関数を適用するステップと、
前記選択された表面に、前記適用するステップから生じる変形された要素を投影するように、前記選択された表面に対応するメモリ内のフレームバッファ内の特定の位置に、前記変形された要素を記憶するステップとを含み、
前記表面を選択するステップは、前記選択された情報の要素を投影するのに使用されるべき長方形内のすべてのピクセルが、前記表面に対応する前記画像の領域内に存在するか否かをテストするステップを含み、
前記表面のセットのうちのサブセットを形成する複数の表面を、前記選択された情報の要素と関連付け、それによって、前記選択された情報の要素を前記複数の表面の各々の上に投影することができるように、前記テストするステップは繰り返し実行され、
前記選択された情報の要素の投影を、前記サブセットから選択される前記表面に割り当てるステップをさらに含む、方法。 - 前記表面に対応する前記画像の領域内の総ピクセル数と、前記選択された情報の要素を表示するための長方形内のピクセル数が比較される、請求項1に記載の方法。
- 前記表面を選択するステップの間に、別の特定の位置が前記表面上で識別され、前記メモリ内に記憶される、請求項1に記載の方法。
- プロジェクタを、前記フレームバッファ内の前記変形された要素を投影するように操作するステップと、
前記操作するステップの後に、ユーザ入力を受信するステップと、
前記ユーザ入力の受信に応答して、異なる表面について、前記伝達関数を識別するステップ、前記適用するステップ、および前記記憶するステップを反復するステップとをさらに含む、請求項1に記載の方法。 - 前記ユーザ入力は前記異なる表面を識別する、請求項4に記載の方法。
- 前記ユーザ入力は、画像内でハンドジェスチャとして識別される、請求項4に記載の方法。
- 前記表面を選択するステップが、前記選択された情報の要素を前記表面のセットのうちのいかなる表面上にも投影することができないことを示すときに、異なる表面を識別するユーザ入力を受信するステップと、
前記異なる表面について、前記伝達関数を識別するステップ、前記適用するステップ、および前記記憶するステップを反復するステップとをさらに含む、請求項1に記載の方法。 - 形状を識別するユーザ入力を受信するステップと、
前記選択された情報の要素の一部をマスクアウトするために、前記伝達関数において前記形状を使用するステップとをさらに含む、請求項1に記載の方法。 - 1つまたは複数の持続性コンピュータ可読記憶媒体であって、
実世界内のシーンの画像を受信するための命令であって、前記画像は前記シーン内の点に対する複数の距離を含む、受信するための命令と、
少なくとも前記画像の分割によって前記シーン内の表面のセットを識別するために、少なくとも前記画像内の前記複数の距離を使用するための命令と、
前記シーンに投影するために情報の要素を選択するための命令であって、前記選択された情報の要素がサイズを有し、前記情報が異なる表面に投影可能なそれぞれ独立した複数の要素を含む、情報の要素を選択するための命令と、
前記選択された要素のサイズを、前記表面のセット内の表面のサイズと比較するための命令と、
前記表面のセットから前記選択された情報の要素をその上に投影することができる表面を選択するための命令であって、前記表面の選択が、前記要素を収容するのに十分に大きいと前記比較するための命令の実行により求められた前記表面のサイズに少なくとも一部基づく、表面を選択するための命令と、
前記表面を使用するための伝達関数を識別するための、1つまたは複数のプロセッサに対する命令と、
少なくとも前記選択された情報の要素に、前記伝達関数を適用するための命令と、
前記選択された表面に、前記適用することから生じる変形された要素を投影するように、前記選択された表面に対応するメモリ内のフレームバッファ内の特定の位置に、前記変形された要素を記憶するための命令とを備え、
前記表面を選択するための命令は、前記選択された情報の要素を表示するのに使用されるべき長方形内のすべてのピクセルが、前記表面に対応する前記画像の領域内に存在するか否かをテストするための命令を含み、
前記表面のセットのうちのサブセットを形成する複数の表面を、前記選択された情報の要素と関連付け、それによって、前記選択された情報の要素を前記複数の表面の各々の上に投影することができるように、前記テストするための命令は繰り返し実行されるように構成され、
前記1つまたは複数の持続性コンピュータ可読記憶媒体は、前記選択された情報の要素の投影を、前記サブセットから選択される前記表面に割り当てるための命令をさらに含む、1つまたは複数の持続性コンピュータ可読記憶媒体。 - 前記表面を選択するための命令は、前記表面に対応する前記画像の領域内の総ピクセル数を、前記選択された情報の要素を表示するための長方形内のピクセル数と比較するための命令を含む、請求項9に記載の1つまたは複数の持続性コンピュータ可読記憶媒体。
- 別の特定の位置が、前記表面を選択するための命令を実行することによって前記表面上で識別される、請求項9に記載の1つまたは複数の持続性コンピュータ可読記憶媒体。
- プロジェクタを、前記フレームバッファ内の前記変形された要素を投影するように操作するための命令と、
前記操作することに続いて、ユーザ入力を受信するための命令と、
異なる表面について、前記伝達関数を識別するための命令、前記適用するための命令、および前記記憶するための命令を実行するための命令とをさらに備える、請求項9に記載の1つまたは複数の持続性コンピュータ可読記憶媒体。 - 前記ユーザ入力が、前記異なる表面を識別する、請求項12に記載の1つまたは複数の持続性コンピュータ可読記憶媒体。
- 前記ユーザ入力が、画像内でハンドジェスチャとして識別される、請求項12に記載の1つまたは複数の持続性コンピュータ可読記憶媒体。
- 前記表面を選択するための命令の実行が、前記選択された情報の要素を前記表面のセットのうちのいかなる表面上にも投影することができないことを示すときに実行されるように構成されている、異なる表面を識別するユーザ入力を受信するための命令と、
前記異なる表面について、前記伝達関数を識別するための命令、前記適用するための命令、および前記記憶するための命令を反復するための命令とをさらに備える、請求項9に記載の1つまたは複数の持続性コンピュータ可読記憶媒体。 - 形状を識別するユーザ入力を受信するための命令と、
前記選択された情報の要素の一部をマスクアウトするために、前記伝達関数において前記形状を使用するための命令とをさらに備える、請求項9に記載の1つまたは複数の持続性コンピュータ可読記憶媒体。 - カメラと、
前記カメラに動作可能に結合されている1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサに動作可能に結合されているメモリと、
前記メモリ内のフレームバッファからの情報を投影するために、前記メモリ内のフレームバッファに動作可能に結合されているプロジェクタと、
前記1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサに、
前記カメラから、実世界内のシーンの画像を受信することであって、前記画像は前記実世界内の点に対する複数の距離を備える、こと、
少なくとも前記画像の分割によって前記シーン内の表面のセットを識別するために、少なくとも前記複数の距離を使用すること、
前記シーンに投影するために情報の要素を選択することであって、前記選択された情報の要素がサイズを有し、前記情報が異なる表面に投影可能なそれぞれ独立した複数の要素を含む、こと、
前記選択された要素のサイズを、前記表面のセット内の表面のサイズと比較すること、
前記表面のセットから前記選択された情報の要素をその上に投影することができる表面を選択することであって、前記表面の選択が、前記要素を収容するのに十分に大きいと比較により求められた前記表面のサイズに少なくとも一部基づく、こと、
前記表面を使用するための伝達関数を識別すること、
少なくとも前記選択された情報の要素に、前記伝達関数を適用すること、および
前記選択された表面に、前記適用することから生じる変形された要素を投影するように、前記選択された表面に対応する前記フレームバッファ内の特定の位置に、前記変形された要素を記憶すること、を行わせる前記メモリ内に保持されているソフトウェアとを備え、
前記表面を選択するためのソフトウェアは、前記1つまたは複数のプロセッサに、前記選択された情報の要素を表示するのに使用されるべき長方形内のすべてのピクセルが、前記表面に対応する前記画像の領域内に存在するか否かをテストさせ、
前記表面のセットのうちのサブセットを形成する複数の表面を、前記選択された情報の要素と関連付け、それによって、前記選択された情報の要素を前記複数の表面の各々の上に投影することができるように、前記テストするためのソフトウェアは繰り返し実行され、
前記ソフトウェアは、さらに、最も少ない数の要素を有する前記サブセットの表面のいずれかに対して、前記選択された情報の要素の投影を割り当てさせる、1つまたは複数のデバイス。 - メモリおよびカメラに動作可能に結合されているプロセッサを備えるシステムであって、
実世界内のシーンの画像を受信するための手段であって、前記画像は前記実世界内の点に対する複数の距離を備える、受信するための手段と、
少なくとも前記画像の分割によって前記シーン内の表面のセットを識別するために、少なくとも前記複数の距離を使用するための手段と、
前記シーンに投影するために情報の要素を選択するための手段であって、前記選択された情報の要素がサイズを有し、前記情報が異なる表面に投影可能なそれぞれ独立した複数の要素を含む、情報の要素を選択するための手段と、
前記選択された要素のサイズを、前記表面のセット内の表面のサイズと比較するための手段と、
前記表面のセットから前記選択された情報の要素をその上に投影することができる表面を選択するための手段であって、前記表面の選択が、前記要素を収容するのに十分に大きいと前記比較するための手段により求められた前記表面のサイズに少なくとも一部基づく、表面を選択するための手段と、
前記表面を使用するための伝達関数を識別するための手段と、
少なくとも前記選択された情報の要素に、前記伝達関数を適用するための手段と、
前記選択された表面に、前記適用するための手段によって出力される変形された要素を投影するように、前記選択された表面に対応する前記メモリ内のフレームバッファ内の特定の位置に、前記変形された要素を記憶するための手段とを備え、
前記表面を選択するための手段は、
前記選択された情報の要素を表示するのに使用されるべき長方形内のすべてのピクセルが、前記表面に対応する前記画像の領域内に存在するか否かをテストするための手段を含み、
前記表面のセットのうちのサブセットを形成する複数の表面を、前記選択された情報の要素と関連付け、それによって、前記選択された情報の要素を前記複数の表面の各々の上に投影することができるように、前記テストするための手段は繰り返し操作されるように構成されており、
最も少ない数の要素を有する前記サブセットの表面のいずれかに対して、前記選択された情報の要素の投影が割り当てられる、システム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161525628P | 2011-08-19 | 2011-08-19 | |
US61/525,628 | 2011-08-19 | ||
US13/549,388 | 2012-07-13 | ||
US13/549,388 US9245193B2 (en) | 2011-08-19 | 2012-07-13 | Dynamic selection of surfaces in real world for projection of information thereon |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014526005A Division JP2014531787A (ja) | 2011-08-19 | 2012-07-14 | 情報をその上に投影するための実世界内の表面の動的な選択 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017038397A JP2017038397A (ja) | 2017-02-16 |
JP6273334B2 true JP6273334B2 (ja) | 2018-01-31 |
Family
ID=47712374
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014526005A Pending JP2014531787A (ja) | 2011-08-19 | 2012-07-14 | 情報をその上に投影するための実世界内の表面の動的な選択 |
JP2016205796A Expired - Fee Related JP6273334B2 (ja) | 2011-08-19 | 2016-10-20 | 情報をその上に投影するための実世界内の表面の動的な選択 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014526005A Pending JP2014531787A (ja) | 2011-08-19 | 2012-07-14 | 情報をその上に投影するための実世界内の表面の動的な選択 |
Country Status (7)
Country | Link |
---|---|
US (2) | US9245193B2 (ja) |
EP (1) | EP2745237B1 (ja) |
JP (2) | JP2014531787A (ja) |
KR (1) | KR101575016B1 (ja) |
CN (1) | CN103875004B (ja) |
IN (1) | IN2014MN00316A (ja) |
WO (2) | WO2013028280A2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI724858B (zh) * | 2020-04-08 | 2021-04-11 | 國軍花蓮總醫院 | 基於手勢動作的混合實境評量系統 |
Families Citing this family (69)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FI117308B (fi) * | 2004-02-06 | 2006-08-31 | Nokia Corp | Eleohjausjärjestelmä |
US8718356B2 (en) * | 2010-08-23 | 2014-05-06 | Texas Instruments Incorporated | Method and apparatus for 2D to 3D conversion using scene classification and face detection |
US9245193B2 (en) | 2011-08-19 | 2016-01-26 | Qualcomm Incorporated | Dynamic selection of surfaces in real world for projection of information thereon |
JP6044079B2 (ja) * | 2012-02-06 | 2016-12-14 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
US9456187B1 (en) | 2012-06-01 | 2016-09-27 | Amazon Technologies, Inc. | Edge-based pose detection |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
US10528853B1 (en) | 2012-06-29 | 2020-01-07 | Amazon Technologies, Inc. | Shape-Based Edge Detection |
KR102047494B1 (ko) * | 2012-09-10 | 2019-11-21 | 삼성전자주식회사 | 투명 디스플레이 장치 및 그 객체 선택 방법 |
GB2505708B (en) * | 2012-09-11 | 2015-02-25 | Barco Nv | Projection system with safety detection |
JP5964190B2 (ja) * | 2012-09-27 | 2016-08-03 | 京セラ株式会社 | 端末装置 |
CN103777746B (zh) * | 2012-10-23 | 2018-03-13 | 腾讯科技(深圳)有限公司 | 一种人机交互方法、终端及系统 |
KR102001218B1 (ko) * | 2012-11-02 | 2019-07-17 | 삼성전자주식회사 | 객체와 관련된 정보 제공 방법 및 이를 위한 디바이스 |
KR101393570B1 (ko) * | 2012-12-28 | 2014-05-27 | 현대자동차 주식회사 | 선택적 조명을 이용한 손 제스처 인식 방법 및 시스템 |
US9311837B2 (en) | 2013-03-14 | 2016-04-12 | Martigold Enterprises, Llc | Methods and apparatus for message playback |
US10277945B2 (en) * | 2013-04-05 | 2019-04-30 | Lenovo (Singapore) Pte. Ltd. | Contextual queries for augmenting video display |
US9563955B1 (en) | 2013-05-15 | 2017-02-07 | Amazon Technologies, Inc. | Object tracking techniques |
KR102166719B1 (ko) * | 2013-06-27 | 2020-10-16 | 삼성전자주식회사 | 전자장치 및 전자장치를 이용한 정보교환 방법 |
WO2015006784A2 (en) | 2013-07-12 | 2015-01-15 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
US10228242B2 (en) | 2013-07-12 | 2019-03-12 | Magic Leap, Inc. | Method and system for determining user input based on gesture |
WO2015009276A1 (en) * | 2013-07-15 | 2015-01-22 | Intel Corporation | Hands-free assistance |
KR20150026649A (ko) * | 2013-09-03 | 2015-03-11 | 삼성전자주식회사 | 전자 장치에서 제스처를 설정하는 장치 및 방법 |
KR102106135B1 (ko) * | 2013-10-01 | 2020-05-04 | 한국전자통신연구원 | 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법 |
WO2015086036A1 (de) * | 2013-12-12 | 2015-06-18 | Testo Ag | Verfahren zur ortsrichtigen projektion einer markierung auf ein objekt und projektionsvorrichtung |
US20150193915A1 (en) * | 2014-01-06 | 2015-07-09 | Nvidia Corporation | Technique for projecting an image onto a surface with a mobile device |
US9207780B2 (en) * | 2014-01-27 | 2015-12-08 | Fuji Xerox Co., Ltd. | Systems and methods for hiding and finding digital content associated with physical objects via coded lighting |
CN105993038A (zh) * | 2014-02-07 | 2016-10-05 | 皇家飞利浦有限公司 | 操作控制系统的方法及因此的控制系统 |
KR20150110032A (ko) * | 2014-03-24 | 2015-10-02 | 삼성전자주식회사 | 영상데이터 처리 전자장치 및 방법 |
US10572215B1 (en) * | 2014-03-31 | 2020-02-25 | Amazon Technologies, Inc. | Extendable architecture for augmented reality system |
US10579207B2 (en) * | 2014-05-14 | 2020-03-03 | Purdue Research Foundation | Manipulating virtual environment using non-instrumented physical object |
CN105320931B (zh) * | 2014-05-26 | 2019-09-20 | 京瓷办公信息系统株式会社 | 物品信息提供装置和物品信息提供系统 |
EP3175615A4 (en) * | 2014-08-01 | 2018-03-28 | Hewlett-Packard Development Company, L.P. | Projection of image onto object |
US9582296B2 (en) * | 2014-09-18 | 2017-02-28 | International Business Machines Corporation | Dynamic multi-user computer configuration settings |
US9715865B1 (en) * | 2014-09-26 | 2017-07-25 | Amazon Technologies, Inc. | Forming a representation of an item with light |
US10943111B2 (en) * | 2014-09-29 | 2021-03-09 | Sony Interactive Entertainment Inc. | Method and apparatus for recognition and matching of objects depicted in images |
KR101909540B1 (ko) * | 2014-10-23 | 2018-10-18 | 삼성전자주식회사 | 가상의 입력 영역을 이용한 포터블 디바이스의 사용자 입력 방법 |
GB2532464B (en) | 2014-11-19 | 2020-09-02 | Bae Systems Plc | Apparatus and method for selectively displaying an operational environment |
GB2532465B (en) | 2014-11-19 | 2021-08-11 | Bae Systems Plc | Interactive control station |
US9886769B1 (en) * | 2014-12-09 | 2018-02-06 | Jamie Douglas Tremaine | Use of 3D depth map with low and high resolution 2D images for gesture recognition and object tracking systems |
US9344615B1 (en) * | 2015-01-26 | 2016-05-17 | International Business Machines Corporation | Discriminating visual recognition program for digital cameras |
WO2016122582A1 (en) | 2015-01-30 | 2016-08-04 | Hewlett Packard Enterprise Development Lp | Relationship preserving projection of digital objects |
WO2016125359A1 (ja) | 2015-02-03 | 2016-08-11 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
CN105988568B (zh) | 2015-02-12 | 2020-07-24 | 北京三星通信技术研究有限公司 | 获取笔记信息的方法和装置 |
EP3262488B1 (en) * | 2015-02-25 | 2021-04-07 | BAE Systems PLC | Apparatus and method for effecting a control action in respect of system functions |
CN106033257B (zh) * | 2015-03-18 | 2019-05-31 | 联想(北京)有限公司 | 一种控制方法和装置 |
WO2016151869A1 (en) * | 2015-03-23 | 2016-09-29 | Nec Corporation | Information processing apparatus, information processing method, and program |
CN104796678A (zh) * | 2015-04-28 | 2015-07-22 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
US10281976B2 (en) * | 2015-07-07 | 2019-05-07 | Seiko Epson Corporation | Display device, control method for display device, and computer program |
MX2018005143A (es) * | 2015-10-30 | 2018-06-06 | Unilever Nv | Medicion de rizo del cabello. |
EP3369041A1 (en) * | 2015-10-30 | 2018-09-05 | Unilever Plc. | Hair diameter measurement |
US9799111B2 (en) * | 2016-02-11 | 2017-10-24 | Symbol Technologies, Llc | Methods and systems for highlighting box surfaces and edges in mobile box dimensioning |
US10665019B2 (en) * | 2016-03-24 | 2020-05-26 | Qualcomm Incorporated | Spatial relationships for integration of visual images of physical environment into virtual reality |
US11176231B2 (en) * | 2016-05-19 | 2021-11-16 | Payfone, Inc. | Identifying and authenticating users based on passive factors determined from sensor data |
US10249084B2 (en) | 2016-06-10 | 2019-04-02 | Microsoft Technology Licensing, Llc | Tap event location with a selection apparatus |
US10506221B2 (en) | 2016-08-03 | 2019-12-10 | Adobe Inc. | Field of view rendering control of digital content |
US20180039479A1 (en) * | 2016-08-04 | 2018-02-08 | Adobe Systems Incorporated | Digital Content Search and Environmental Context |
US11461820B2 (en) | 2016-08-16 | 2022-10-04 | Adobe Inc. | Navigation and rewards involving physical goods and services |
US10139961B2 (en) * | 2016-08-18 | 2018-11-27 | Microsoft Technology Licensing, Llc | Touch detection using feature-vector dictionary |
US10720082B1 (en) * | 2016-09-08 | 2020-07-21 | Ctskh, Llc | Device and system to teach stem lessons using hands-on learning method |
US10068378B2 (en) | 2016-09-12 | 2018-09-04 | Adobe Systems Incorporated | Digital content interaction and navigation in virtual and augmented reality |
US10430559B2 (en) | 2016-10-18 | 2019-10-01 | Adobe Inc. | Digital rights management in virtual and augmented reality |
KR102048674B1 (ko) * | 2017-07-31 | 2019-11-26 | 코닉오토메이션 주식회사 | 조명램프형 멀티미디어 장치 |
US10300373B2 (en) * | 2017-09-08 | 2019-05-28 | Niantic, Inc. | Methods and systems for generating detailed datasets of an environment via gameplay |
JP6992342B2 (ja) * | 2017-09-13 | 2022-01-13 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
WO2019112551A1 (en) * | 2017-12-04 | 2019-06-13 | Hewlett-Packard Development Company, L.P. | Peripheral display devices |
DE102018203349A1 (de) * | 2018-03-07 | 2019-09-12 | BSH Hausgeräte GmbH | Interaktionsmodul |
HK1258418A2 (zh) * | 2018-08-29 | 2019-11-08 | Skala Fintech Company Ltd | 使用擴增實境顯示提供一個或多個服務的系統和方法 |
US10825254B1 (en) * | 2019-05-30 | 2020-11-03 | International Business Machines Corporation | Augmented reality book selection-assist |
US11474671B2 (en) * | 2020-01-31 | 2022-10-18 | Salesforce.Com, Inc. | Neutralizing designs of user interfaces |
CN113577766B (zh) * | 2021-08-05 | 2024-04-02 | 百度在线网络技术(北京)有限公司 | 对象处理方法及装置 |
Family Cites Families (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3578241D1 (de) | 1985-06-19 | 1990-07-19 | Ibm | Verfahren zum identifizieren dreidimensionaler objekte mittels zweidimensionaler bilder. |
JP3869897B2 (ja) | 1997-01-28 | 2007-01-17 | キヤノン株式会社 | カメラ制御システムおよび映像受信装置および制御方法および記憶媒体 |
JP2001211372A (ja) | 2000-01-27 | 2001-08-03 | Nippon Telegr & Teleph Corp <Ntt> | 映像投影装置 |
US8817045B2 (en) | 2000-11-06 | 2014-08-26 | Nant Holdings Ip, Llc | Interactivity via mobile image recognition |
JP4591720B2 (ja) | 2002-05-20 | 2010-12-01 | セイコーエプソン株式会社 | 投写型画像表示システム、プロジェクタ、プログラム、情報記憶媒体および画像投写方法 |
JP4009851B2 (ja) | 2002-05-20 | 2007-11-21 | セイコーエプソン株式会社 | 投写型画像表示システム、プロジェクタ、プログラム、情報記憶媒体および画像投写方法 |
US6811264B2 (en) * | 2003-03-21 | 2004-11-02 | Mitsubishi Electric Research Laboratories, Inc. | Geometrically aware projector |
US7515756B2 (en) | 2003-06-23 | 2009-04-07 | Shoestring Research, Llc. | Region segmentation and characterization systems and methods for augmented reality |
JP2005313291A (ja) | 2004-04-30 | 2005-11-10 | Mitsubishi Heavy Ind Ltd | ロボット行動とリンクした映像表示方法とその装置 |
US20070050468A1 (en) | 2005-08-09 | 2007-03-01 | Comverse, Ltd. | Reality context menu (RCM) |
JP2007142495A (ja) | 2005-11-14 | 2007-06-07 | Nippon Telegr & Teleph Corp <Ntt> | 平面投影装置、及び平面投影プログラム |
US7905610B1 (en) | 2006-08-29 | 2011-03-15 | Nvidia Corporation | Graphics processor system and associated method for projecting an image onto a three-dimensional object |
KR100775123B1 (ko) | 2006-09-15 | 2007-11-08 | 삼성전자주식회사 | 영상 객체 인덱싱 방법 및 이를 이용한 영상 객체 인덱싱시스템 |
TWI433052B (zh) | 2007-04-02 | 2014-04-01 | Primesense Ltd | 使用投影圖案之深度製圖 |
US8228170B2 (en) | 2008-01-10 | 2012-07-24 | International Business Machines Corporation | Using sensors to identify objects placed on a surface |
US20090237328A1 (en) | 2008-03-20 | 2009-09-24 | Motorola, Inc. | Mobile virtual and augmented reality system |
JP5258399B2 (ja) | 2008-06-06 | 2013-08-07 | キヤノン株式会社 | 画像投影装置及びその制御方法 |
US7954953B2 (en) * | 2008-07-30 | 2011-06-07 | Microvision, Inc. | Scanned beam overlay projection |
US8385971B2 (en) | 2008-08-19 | 2013-02-26 | Digimarc Corporation | Methods and systems for content processing |
JP2010072025A (ja) | 2008-09-16 | 2010-04-02 | Nikon Corp | プロジェクタ付電子機器 |
US8516561B2 (en) | 2008-09-29 | 2013-08-20 | At&T Intellectual Property I, L.P. | Methods and apparatus for determining user authorization from motion of a gesture-based control unit |
US20100082629A1 (en) | 2008-09-29 | 2010-04-01 | Yahoo! Inc. | System for associating data items with context |
US20100153457A1 (en) * | 2008-12-15 | 2010-06-17 | Grant Isaac W | Gestural Interface Device and Method |
US9569001B2 (en) * | 2009-02-03 | 2017-02-14 | Massachusetts Institute Of Technology | Wearable gestural interface |
KR101657565B1 (ko) | 2010-04-21 | 2016-09-19 | 엘지전자 주식회사 | 증강 원격제어장치 및 그 동작 방법 |
US9244533B2 (en) | 2009-12-17 | 2016-01-26 | Microsoft Technology Licensing, Llc | Camera navigation for presentations |
KR20110071349A (ko) * | 2009-12-21 | 2011-06-29 | 삼성전자주식회사 | 휴대단말의 외부 출력 제어 방법 및 장치 |
US8549418B2 (en) * | 2009-12-23 | 2013-10-01 | Intel Corporation | Projected display to enhance computer device use |
US8631355B2 (en) * | 2010-01-08 | 2014-01-14 | Microsoft Corporation | Assigning gesture dictionaries |
US20110213664A1 (en) * | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
US20130311329A1 (en) * | 2012-03-29 | 2013-11-21 | Digimarc Corporation | Image-related methods and arrangements |
CN101907459B (zh) * | 2010-07-12 | 2012-01-04 | 清华大学 | 基于单目视频的实时三维刚体目标姿态估计与测距方法 |
JP5791131B2 (ja) | 2010-07-20 | 2015-10-07 | アップル インコーポレイテッド | 自然な相互作用のための相互作用的現実拡張 |
WO2012020410A2 (en) * | 2010-08-10 | 2012-02-16 | Pointgrab Ltd. | System and method for user interaction with projected content |
US8913085B2 (en) * | 2010-12-22 | 2014-12-16 | Intel Corporation | Object mapping techniques for mobile augmented reality applications |
US9041775B2 (en) | 2011-03-23 | 2015-05-26 | Mgestyk Technologies Inc. | Apparatus and system for interfacing with computers and other electronic devices through gestures by using depth sensing and methods of use |
US9560314B2 (en) * | 2011-06-14 | 2017-01-31 | Microsoft Technology Licensing, Llc | Interactive and shared surfaces |
US8693726B2 (en) * | 2011-06-29 | 2014-04-08 | Amazon Technologies, Inc. | User identification by gesture recognition |
US9245193B2 (en) | 2011-08-19 | 2016-01-26 | Qualcomm Incorporated | Dynamic selection of surfaces in real world for projection of information thereon |
US20130050069A1 (en) * | 2011-08-23 | 2013-02-28 | Sony Corporation, A Japanese Corporation | Method and system for use in providing three dimensional user interface |
WO2013028813A1 (en) * | 2011-08-23 | 2013-02-28 | Microsoft Corporation | Implicit sharing and privacy control through physical behaviors using sensor-rich devices |
US9342610B2 (en) * | 2011-08-25 | 2016-05-17 | Microsoft Technology Licensing, Llc | Portals: registered objects as virtualized, personalized displays |
US20130207962A1 (en) | 2012-02-10 | 2013-08-15 | Float Hybrid Entertainment Inc. | User interactive kiosk with three-dimensional display |
US8994650B2 (en) | 2012-04-27 | 2015-03-31 | Qualcomm Incorporated | Processing image input to communicate a command to a remote display device |
-
2012
- 2012-07-13 US US13/549,388 patent/US9245193B2/en active Active
- 2012-07-13 US US13/549,339 patent/US20130044912A1/en not_active Abandoned
- 2012-07-14 CN CN201280048118.0A patent/CN103875004B/zh active Active
- 2012-07-14 KR KR1020147007213A patent/KR101575016B1/ko not_active IP Right Cessation
- 2012-07-14 JP JP2014526005A patent/JP2014531787A/ja active Pending
- 2012-07-14 EP EP12741178.3A patent/EP2745237B1/en active Active
- 2012-07-14 WO PCT/US2012/046817 patent/WO2013028280A2/en active Application Filing
- 2012-07-14 WO PCT/US2012/046816 patent/WO2013028279A1/en active Application Filing
-
2014
- 2014-02-19 IN IN316MUN2014 patent/IN2014MN00316A/en unknown
-
2016
- 2016-10-20 JP JP2016205796A patent/JP6273334B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI724858B (zh) * | 2020-04-08 | 2021-04-11 | 國軍花蓮總醫院 | 基於手勢動作的混合實境評量系統 |
Also Published As
Publication number | Publication date |
---|---|
CN103875004A (zh) | 2014-06-18 |
JP2014531787A (ja) | 2014-11-27 |
WO2013028280A3 (en) | 2013-04-18 |
US9245193B2 (en) | 2016-01-26 |
WO2013028280A2 (en) | 2013-02-28 |
EP2745237B1 (en) | 2022-09-07 |
JP2017038397A (ja) | 2017-02-16 |
WO2013028279A1 (en) | 2013-02-28 |
EP2745237A2 (en) | 2014-06-25 |
KR20140047733A (ko) | 2014-04-22 |
US20130044193A1 (en) | 2013-02-21 |
IN2014MN00316A (ja) | 2015-09-11 |
KR101575016B1 (ko) | 2015-12-07 |
US20130044912A1 (en) | 2013-02-21 |
CN103875004B (zh) | 2017-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6273334B2 (ja) | 情報をその上に投影するための実世界内の表面の動的な選択 | |
US10761612B2 (en) | Gesture recognition techniques | |
CN104937635B (zh) | 基于模型的多假设目标追踪器 | |
JP6007497B2 (ja) | 画像投影装置ならびに画像投影制御装置およびプログラム | |
US11842514B1 (en) | Determining a pose of an object from rgb-d images | |
CN103270537B (zh) | 图像处理设备、图像处理方法和程序 | |
US20170255450A1 (en) | Spatial cooperative programming language | |
US8983184B2 (en) | Vision image information storage system and method thereof, and recording medium having recorded program for implementing method | |
US8938124B2 (en) | Computer vision based tracking of a hand | |
WO2016168786A1 (en) | Augmented interface authoring | |
EP2972950B1 (en) | Segmentation of content delivery | |
US8913037B1 (en) | Gesture recognition from depth and distortion analysis | |
US10691878B2 (en) | Presenting associations of strokes with content | |
CN112017304B (zh) | 用于呈现增强现实数据的方法、装置、电子设备及介质 | |
US9304618B2 (en) | Creating a summary of content and stroke association | |
US10372318B2 (en) | Associating strokes with content | |
US10943109B2 (en) | Electronic apparatus, method for controlling thereof and the computer readable recording medium | |
JP6007496B2 (ja) | 表示システム、表示プログラムおよび表示方法 | |
US20220292712A1 (en) | Systems and methods for determining environment dimensions based on landmark detection | |
KR102689863B1 (ko) | 전자 장치 및 그의 제어 방법 | |
JP2016048454A (ja) | 表示体、位置算出装置、情報処理方法、プログラム及び情報処理装置 | |
WO2013168160A1 (en) | System and method for computer vision based tracking of a hand | |
Keskin | Markerless augmented reality applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171211 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180105 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6273334 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |