JP6558839B2 - 媒介現実 - Google Patents
媒介現実 Download PDFInfo
- Publication number
- JP6558839B2 JP6558839B2 JP2017565058A JP2017565058A JP6558839B2 JP 6558839 B2 JP6558839 B2 JP 6558839B2 JP 2017565058 A JP2017565058 A JP 2017565058A JP 2017565058 A JP2017565058 A JP 2017565058A JP 6558839 B2 JP6558839 B2 JP 6558839B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual
- viewpoint
- user
- scene
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Description
[定義]
現在位置における現在視点から見える仮想空間の現在の仮想シーンをユーザに表示することであって、仮想シーンはユーザ入力人工仮想オブジェクトを含む、前記表示することと;
ユーザの三次元ジェスチャを、ユーザ入力人工仮想オブジェクトとインタラクションする、仮想空間において対応する三次元ジェスチャにマッピングすることと;
仮想空間において対応する三次元ジェスチャがユーザ入力人工仮想オブジェクトとインタラクションするという決定に応答して、現在位置とは異なる新しい位置における新しい視点から見える仮想空間の新しい仮想シーンをユーザに表示することと;
を実行させるように構成される。
(a)ハードウェアのみの回路実装(アナログ及び/又はデジタル回路のみの実装等);
(b)回路とソフトウェア(及び/又はファームウェア)の組合せ、例えば(適用可能である場合):(i)一つまたは複数のプロセッサ、または(ii)一つまたは複数のプロセッサ/ソフトウェア(デジタルシグナルプロセッサを含む),ソフトウェア,一つまたは複数のメモリの一部(これらは協働して、携帯電話やサーバなどの装置に様々な機能を実行させる);
(c)一つまたは複数のマイクロプロセッサやその一部等の回路であって、動作するためにソフトウェアやファームウェアを必要とする回路(ソフトウェアやファームウェアは物理的に存在しなくてもよい)。
Claims (13)
- 現在位置における現在視点から見える仮想空間の現在の仮想シーンをユーザに表示することであって、仮想シーンはユーザ入力人工仮想オブジェクトを含む、前記表示することと;
前記ユーザの三次元ジェスチャを、前記ユーザ入力人工仮想オブジェクトとインタラクションする、前記仮想空間において対応する三次元ジェスチャにマッピングすることと;
前記仮想空間において対応する三次元ジェスチャがユーザ入力人工仮想オブジェクトとインタラクションするという決定に応答して、前記現在位置とは異なる新しい位置における新しい視点から見える前記仮想空間の新しい仮想シーンをユーザに表示することと;
を含む、方法であって、
それぞれ異なる仮想シーンを規定する視点が存在する相異なる位置の配列を決定することであって、該仮想シーンの各々は一つ又は複数の仮想関心物体を共通して含む、前記決定することと;
前記一つ又は複数の仮想関心物体に対する一つ又は複数の画質基準を満たす一つ又は複数の仮想関心物体を含む仮想シーンを規定する視点が複数の可能な位置に存在しないという理由で、該複数の可能な位置を前記相異なる位置の配列から除外することと;
を更に含み、前記新しい位置は前記相異なる位置の配列から選択される、方法。 - 前記現在仮想シーン及び前記新しい仮想シーンには、少なくとも複数の仮想物体が共通して存在する、請求項1に記載の方法。
- 前記一つ又は複数の仮想関心物体は、前記三次元ジェスチャを行うとき、前記ユーザの視線方向によって決定される、請求項1又は2に記載の方向。
- 前記新しい位置は、前記相異なる位置の配列における次の位置である、請求項1から3のいずれかに記載の方法。
- 前記相異なる位置の配列を決定することは、前記一つ又は複数の仮想関心物体を含む仮想シーンを規定する視点が複数の可能な位置に存在しないという理由で、該複数の可能な位置を前記配列から除外することを含む、請求項1から4の何れかに記載の方法。
- 前記ユーザ入力人工仮想オブジェクトは細長く、一つ又は複数のインジケータを含み、各インジケータは、推定仮想シーンを規定する視点が存在する少なくとも一つの関連位置を示し、ユーザはインジケータを選択し、それによって、該選択された標示子に関連する位置での視点から見える仮想空間の新しい仮想シーンを該ユーザに表示する、請求項1から5の何れかに記載の方法。
- 前記ユーザ入力人工仮想オブジェクトの長さ方向に沿った各インジケータの相対配置は、推定仮想シーンを規定する視点が存在する位置の相対配置を少なくとも示す、請求項6に記載の方法。
- 前記推定仮想シーンは、前記現在の仮想シーンと少なくとも一部重なる、請求項6又は7に記載の方法。
- ユーザの実際の視点に基づいて前記新しい視点を決定すること;
測位技術、加速度計、ジャイロスコープ、電子コンパス、瞳孔追跡技術のいずれか一つ以上を用いて前記新しい視点を決定すること;
のいずれか一つ以上を含む、請求項1から8の何れかに記載の方法。 - 前記三次元ジェスチャが行われる間、前記表示された仮想シーン内の仮想空間にマッピングされる三次元ジェスチャの表現を表示することを更に含む、請求項1から9の何れかに記載の方法。
- 特定の位置での視点から見える仮想空間の仮想シーンをユーザに表示することは、該仮想空間における位置での視点に対応する、現実空間における第1の現実位置での第1の視点から撮られる現実シーンを表示すること、及び少なくとも一つのユーザ入力人工仮想オブジェクトを表示することを含む、請求項1から10の何れかに記載の方法。
- 特定の位置での視点から見える仮想空間の仮想シーンをユーザに表示することは、合成位置での合成視点から見える合成シーンを表示すること、ただし、該合成シーンは相異なる視点から撮られた現実シーンから生成され、該合成位置での合成視点は該仮想空間における位置での視点に対応する、前記合成シーンを表示することと、前記ユーザ入力人工仮想オブジェクトを前記ユーザに表示することを含む、請求項1から11の何れかに記載の方法。
- 装置であって、
請求項1から12の何れかに記載の方法を行う手段、又は、前記装置のプロセッサで実行されると前記装置に請求項1から12の何れかに記載の方法を遂行させるコンピュータプログラムを備える、装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP15172436.6 | 2015-06-16 | ||
EP15172436.6A EP3106963B1 (en) | 2015-06-16 | 2015-06-16 | Mediated reality |
PCT/FI2016/050430 WO2016203111A1 (en) | 2015-06-16 | 2016-06-15 | Mediated reality |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018526716A JP2018526716A (ja) | 2018-09-13 |
JP6558839B2 true JP6558839B2 (ja) | 2019-08-14 |
Family
ID=53488155
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017565058A Active JP6558839B2 (ja) | 2015-06-16 | 2016-06-15 | 媒介現実 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10884576B2 (ja) |
EP (1) | EP3106963B1 (ja) |
JP (1) | JP6558839B2 (ja) |
ES (1) | ES2746448T3 (ja) |
WO (1) | WO2016203111A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3364270A4 (en) * | 2015-10-15 | 2018-10-31 | Sony Corporation | Information processing device and information processing method |
US10304239B2 (en) * | 2017-07-20 | 2019-05-28 | Qualcomm Incorporated | Extended reality virtual assistant |
EP3502839A1 (en) * | 2017-12-22 | 2019-06-26 | Nokia Technologies Oy | Methods, apparatus, systems, computer programs for enabling mediated reality |
CN111771383A (zh) * | 2018-02-27 | 2020-10-13 | 夏普株式会社 | 生成装置、再现装置、生成方法、控制程序以及记录介质 |
US11886473B2 (en) | 2018-04-20 | 2024-01-30 | Meta Platforms, Inc. | Intent identification for agent matching by assistant systems |
US10782986B2 (en) | 2018-04-20 | 2020-09-22 | Facebook, Inc. | Assisting users with personalized and contextual communication content |
EP3654142A1 (en) | 2018-11-14 | 2020-05-20 | Nokia Technologies Oy | First-person perspective-mediated reality |
US11159766B2 (en) | 2019-09-16 | 2021-10-26 | Qualcomm Incorporated | Placement of virtual content in environments with a plurality of physical participants |
JP7259717B2 (ja) * | 2019-11-28 | 2023-04-18 | 富士通株式会社 | 表示制御方法、表示制御プログラムおよび表示制御装置 |
FR3104731A1 (fr) * | 2019-12-17 | 2021-06-18 | Orange | Périphérique d’interaction, procédé de relevé, casque de réalité virtuelle, procédé de reproduction d’un point réel dans un espace virtuel, dispositif et procédé de virtualisation d’un espace réel |
CN116820290A (zh) * | 2022-03-22 | 2023-09-29 | 北京有竹居网络技术有限公司 | 房屋三维模型的展示方法、展示装置、终端和存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0012275D0 (en) | 2000-05-22 | 2000-07-12 | Secr Defence Brit | Three dimensional human computer interface |
US20110292181A1 (en) * | 2008-04-16 | 2011-12-01 | Canesta, Inc. | Methods and systems using three-dimensional sensing for user interaction with applications |
CN103324386A (zh) * | 2008-08-22 | 2013-09-25 | 谷歌公司 | 移动设备上的三维环境中的导航 |
CN103562957B (zh) * | 2011-05-31 | 2016-12-14 | 乐天株式会社 | 信息提供装置、信息提供方法以及信息提供系统 |
US20130326364A1 (en) * | 2012-05-31 | 2013-12-05 | Stephen G. Latta | Position relative hologram interactions |
US9041741B2 (en) * | 2013-03-14 | 2015-05-26 | Qualcomm Incorporated | User interface for a head mounted display |
US9823739B2 (en) * | 2013-04-04 | 2017-11-21 | Sony Corporation | Image processing device, image processing method, and program |
US9659413B2 (en) * | 2014-12-18 | 2017-05-23 | Facebook, Inc. | Method, system and device for navigating in a virtual reality environment |
US10235807B2 (en) * | 2015-01-20 | 2019-03-19 | Microsoft Technology Licensing, Llc | Building holographic content using holographic tools |
-
2015
- 2015-06-16 EP EP15172436.6A patent/EP3106963B1/en active Active
- 2015-06-16 ES ES15172436T patent/ES2746448T3/es active Active
-
2016
- 2016-06-15 JP JP2017565058A patent/JP6558839B2/ja active Active
- 2016-06-15 WO PCT/FI2016/050430 patent/WO2016203111A1/en active Application Filing
- 2016-06-15 US US15/580,080 patent/US10884576B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10884576B2 (en) | 2021-01-05 |
US20180300040A1 (en) | 2018-10-18 |
EP3106963A1 (en) | 2016-12-21 |
WO2016203111A1 (en) | 2016-12-22 |
ES2746448T3 (es) | 2020-03-06 |
JP2018526716A (ja) | 2018-09-13 |
EP3106963B1 (en) | 2019-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6558839B2 (ja) | 媒介現実 | |
JP6478360B2 (ja) | コンテンツ閲覧 | |
JP6619871B2 (ja) | 媒介現実コンテンツの共有 | |
JP6662914B2 (ja) | 媒介現実 | |
CN107924586B (zh) | 搜索图像内容的方法、装置以及计算机可读存储介质 | |
US11244659B2 (en) | Rendering mediated reality content | |
EP3118722A1 (en) | Mediated reality | |
US11209903B2 (en) | Rendering of mediated reality content | |
US11189054B2 (en) | Localization and mapping using images from multiple devices | |
US20210081051A1 (en) | Methods, apparatus, systems, computer programs for enabling mediated reality | |
US20200160600A1 (en) | Methods, Apparatus, Systems, Computer Programs for Enabling Consumption of Virtual Content for Mediated Reality | |
US10650595B2 (en) | Mediated reality |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190326 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190410 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190419 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190710 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190712 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6558839 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |