JP7155291B2 - 環境の動き回り - Google Patents
環境の動き回り Download PDFInfo
- Publication number
- JP7155291B2 JP7155291B2 JP2020560953A JP2020560953A JP7155291B2 JP 7155291 B2 JP7155291 B2 JP 7155291B2 JP 2020560953 A JP2020560953 A JP 2020560953A JP 2020560953 A JP2020560953 A JP 2020560953A JP 7155291 B2 JP7155291 B2 JP 7155291B2
- Authority
- JP
- Japan
- Prior art keywords
- view
- user interface
- interface element
- display
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Optics & Photonics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Description
この出願は、2018年5月2日に出願された「TELEPORTATION」と題する米国特許出願第62/666,015号、及び2019年4月8日に出願された「MOVING ABOUT A COMPUTER SIMULATED REALITY SETTING」と題する米国特許出願第62/831,012号に対する優先権を主張する。これらの出願のそれぞれの内容は、全体が、参照により本明細書に組み込まれる。
Claims (17)
- コンピュータ模擬現実(CSR)環境を動き回るための方法であって、前記方法は、
1つ以上のプロセッサ及びメモリを備えた電子デバイスにおいて、
前記CSR環境の現在ビューを表示することであって、前記現在ビューが、第1の判定方向に対応する第1の視点からの前記CSR環境の現在位置を示す、ことと、
前記CSR環境の前記現在ビューを表示する間に前記現在ビュー内のユーザインタフェース要素を表示することであって、前記ユーザインタフェース要素が、前記現在位置から見えない目的地位置を示す、ことと、
前記ユーザインタフェース要素の選択を表す入力を受信する前に、
前記第1の判定方向とは異なる第2の方向を判定することと、
前記ユーザインタフェース要素の前記表示を修正して、前記第2の方向を使用して判定された第2の視点からの前記目的地位置を示すことと、
前記ユーザインタフェース要素の選択を表す前記入力を受信したことに応じて、前記現在位置のビューの表示を修正して前記目的地位置を示す目的地ビューを表示することと、を含み、
前記現在位置の前記ビューの前記表示を修正して前記目的地ビューを表示することが、前記ユーザインタフェース要素を拡大することを含む、方法。 - 前記ユーザインタフェース要素の前記表示を修正することが、前記ユーザインタフェース要素を変位させることを含み、前記変位されたユーザインタフェース要素が、前記第2の視点からの前記目的地位置を示す、請求項1に記載の方法。
- 前記ユーザインタフェース要素の前記表示を修正して、前記第2の視点からの前記目的地位置を示している間に、
前記現在ビューを修正して、前記第2の方向を使用して判定された第3の視点からの前記CSR環境の前記現在位置を示すこと、
を更に含む、請求項1又は2に記載の方法。 - 前記現在ビュー内の前記ユーザインタフェース要素を表示することが、前記電子デバイスのディスプレイの複数の画素を使用して前記ユーザインタフェース要素を表示することを含み、前記方法は、
前記現在ビューを修正して、前記第3の視点からの前記CSR環境の前記現在位置を示している間に、
前記現在ビューが前記第1の視点からの前記CSR環境の前記現在位置を示すときに、前記ユーザインタフェース要素を表示するために使用される前記複数の画素を使用して、前記ユーザインタフェース要素を表示し続けること、
を更に含む、請求項3に記載の方法。 - 前記ユーザインタフェース要素内に、前記第2の視点からの前記目的地位置を示している間に、
前記第1の視点からの前記CSR環境の前記現在位置を示す前記現在ビューを表示し続けること、
を更に含む、請求項1に記載の方法。 - 前記ユーザインタフェース要素の前記表示を拡大している間に、判定方向に基づいて、前記現在位置の前記ビュー、及び前記ユーザインタフェース要素のコンテンツをパンニングすること、
を更に含む、請求項1から5のいずれか一項に記載の方法。 - 前記現在位置の前記ビューの前記表示を修正して前記目的地ビューを表示することが、
前記受信された入力が前記電子デバイスへ向かうオブジェクトの動きを表すかどうかを判定することと、
前記受信された入力が前記電子デバイスに向かう前記オブジェクトの動きを表すと判定したことに応じて、前記動きの大きさに従って前記ユーザインタフェース要素を比例的に拡大することと、
を含む、請求項1から6のいずれか一項に記載の方法。 - 前記現在位置の前記ビューの前記表示を修正して前記目的地ビューを表示することが、
前記オブジェクトの前記動きが閾値距離を超えているかどうかを判定することと、
前記オブジェクトの前記動きが前記閾値距離を超えていると判定したことに応じて、前記現在位置の前記ビューの前記表示を前記目的地ビューの表示と置き換えることと、
を含む、請求項7に記載の方法。 - 前記現在位置の前記ビューの前記表示を前記目的地ビューの前記表示と置き換えた後に、
第2のユーザインタフェース要素を表示することであって、前記第2のユーザインタフェース要素が、前記現在位置を示す、ことと、
前記第2のユーザインタフェース要素の選択を表す入力を受信したことに応じて、前記目的地ビューの前記表示を修正して前記現在位置の第2のビューを表示することと、を更に含む、請求項8に記載の方法。 - 前記目的地ビューの前記表示を修正して前記現在位置の前記第2のビューを表示することが、
前記目的地ビューの前記表示を前記現在位置の前記第2のビューの表示と置き換えること、
を含む、請求項9に記載の方法。 - 前記電子デバイスがヘッドマウントディスプレイと頭部対向センサとを含み、前記方法が、
前記頭部対向センサを使用して、視線を表す視線データを取得することと、
前記取得された視線データを使用して、前記第1の判定方向を判定することと、
を更に含む、請求項1から10のいずれか一項に記載の方法。 - 前記目的地位置を示すことが、前記ユーザインタフェース要素内に、前記目的地位置に位置する1つ以上の仮想オブジェクトの動きを表示することを含む、請求項1から11のいずれか一項に記載の方法。
- 前記ユーザインタフェース要素が球状である、請求項1から12のいずれか一項に記載の方法。
- 前記第1の判定方向が、第1のユーザに対応する方向であり、前記目的地ビューが、前記第1のユーザとは異なる第2のユーザに対応する判定方向に対応する第4の視点からの前記目的地位置を示し、前記第2のユーザが前記目的地位置に位置している、請求項1から13のいずれか一項に記載の方法。
- コンピュータプログラムであって、コンピュータが、請求項1から14のいずれか一項に記載の方法を実行することを引き起こす、コンピュータプログラム。
- 電子デバイスであって、
請求項15に記載のコンピュータプログラムを記憶するメモリ、及び
前記メモリ内に保存された前記コンピュータプログラムを実行する能力のある、1つ以上のプロセッサを備える、電子デバイス。 - 請求項1から14のいずれか一項に記載の方法を実行するための手段を備える、電子デバイス。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862666015P | 2018-05-02 | 2018-05-02 | |
US62/666,015 | 2018-05-02 | ||
US201962831012P | 2019-04-08 | 2019-04-08 | |
US62/831,012 | 2019-04-08 | ||
PCT/US2019/030120 WO2019213200A1 (en) | 2018-05-02 | 2019-05-01 | Moving about a computer simulated reality setting |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021520573A JP2021520573A (ja) | 2021-08-19 |
JP7155291B2 true JP7155291B2 (ja) | 2022-10-18 |
Family
ID=66530485
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020560953A Active JP7155291B2 (ja) | 2018-05-02 | 2019-05-01 | 環境の動き回り |
Country Status (6)
Country | Link |
---|---|
US (2) | US11320958B2 (ja) |
EP (1) | EP3788464B1 (ja) |
JP (1) | JP7155291B2 (ja) |
KR (1) | KR102546535B1 (ja) |
CN (1) | CN112292657B (ja) |
WO (1) | WO2019213200A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11320958B2 (en) | 2018-05-02 | 2022-05-03 | Apple Inc. | Moving about a setting |
KR102508286B1 (ko) * | 2018-08-27 | 2023-03-09 | 삼성전자 주식회사 | 가상 현실에서 정보를 제공하는 전자 장치 및 방법 |
DE102020104415A1 (de) * | 2019-02-22 | 2020-08-27 | Apple Inc. | Bewegung in einer umgebung |
JP6989199B1 (ja) | 2021-10-06 | 2022-01-05 | クラスター株式会社 | 情報処理装置 |
US20230419619A1 (en) * | 2022-06-27 | 2023-12-28 | Kenneth Perlin | Implementing Shared Mixed Reality |
US11995232B1 (en) | 2022-12-09 | 2024-05-28 | Shopify Inc. | Systems and methods for responsive user interface based on gaze depth |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013250830A (ja) | 2012-06-01 | 2013-12-12 | Nintendo Co Ltd | 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法 |
US20160350972A1 (en) | 2015-05-26 | 2016-12-01 | Google Inc. | Multidimensional graphical method for entering and exiting applications and activities in immersive media |
JP2017084422A (ja) | 2017-02-10 | 2017-05-18 | 株式会社リコー | 装置、方法、およびプログラム |
US20170160815A1 (en) | 2015-12-03 | 2017-06-08 | Google Inc. | Teleportation in an augmented and/or virtual reality environment |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060119598A1 (en) | 2004-12-08 | 2006-06-08 | Evil Twin Studios, Inc. | System and method for communicating travel progress within a virtual environment |
JP2007292713A (ja) * | 2006-03-30 | 2007-11-08 | Denso Corp | ナビゲーション装置 |
US7889212B2 (en) | 2006-09-07 | 2011-02-15 | Apple Inc. | Magnifying visual information using a center-based loupe |
US8560224B2 (en) * | 2008-04-14 | 2013-10-15 | Alpine Electronics, Inc. | Method and apparatus for establishing optimum route to intersection destination for navigation system |
US20090286598A1 (en) | 2008-05-16 | 2009-11-19 | International Business Machines Corporation | System And Method Of Deterministic Teleportation Within A Virtual World |
JP5171386B2 (ja) * | 2008-05-19 | 2013-03-27 | キヤノン株式会社 | コンテンツ管理装置、コンテンツ管理方法、プログラム及び記録媒体 |
US20100079413A1 (en) * | 2008-09-29 | 2010-04-01 | Denso Corporation | Control device |
US8407613B2 (en) * | 2009-07-13 | 2013-03-26 | Apple Inc. | Directory management on a portable multifunction device |
US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
JP5762944B2 (ja) * | 2011-12-28 | 2015-08-12 | 京セラ株式会社 | 装置、方法、及びプログラム |
US10176633B2 (en) * | 2012-06-05 | 2019-01-08 | Apple Inc. | Integrated mapping and navigation application |
JP6060536B2 (ja) * | 2012-06-27 | 2017-01-18 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
KR102005315B1 (ko) * | 2012-07-23 | 2019-07-30 | 삼성전자 주식회사 | 클라우드 서비스 지원 방법과 시스템 및 이를 지원하는 단말기 |
TWI611338B (zh) * | 2012-10-09 | 2018-01-11 | 宏達國際電子股份有限公司 | 縮放螢幕畫面的方法、電子裝置及電腦程式產品 |
JP6378185B2 (ja) * | 2013-09-03 | 2018-08-22 | フェリカネットワークス株式会社 | 情報処理端末、及び情報処理方法 |
JP2015148991A (ja) * | 2014-02-07 | 2015-08-20 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN112651288B (zh) * | 2014-06-14 | 2022-09-20 | 奇跃公司 | 用于产生虚拟和增强现实的方法和系统 |
US10365807B2 (en) * | 2015-03-02 | 2019-07-30 | Apple Inc. | Control of system zoom magnification using a rotatable input mechanism |
WO2016144741A1 (en) | 2015-03-06 | 2016-09-15 | Illinois Tool Works Inc. | Sensor assisted head mounted displays for welding |
US20160353012A1 (en) | 2015-05-25 | 2016-12-01 | Htc Corporation | Zooming control method for camera and electronic apparatus with camera |
EP3101629B1 (en) | 2015-06-04 | 2021-03-17 | Nokia Technologies Oy | Mediated reality |
US20170228931A1 (en) * | 2016-02-08 | 2017-08-10 | Google Inc. | Limited field of view in virtual reality |
CN108353151A (zh) * | 2016-03-04 | 2018-07-31 | 华为技术有限公司 | 目标设备的控制方法和装置 |
US10567739B2 (en) | 2016-04-22 | 2020-02-18 | Intel Corporation | Synthesis of transformed image views |
EP3542249A1 (en) | 2016-11-15 | 2019-09-25 | Google LLC | Input controller stabilization techniques for virtual reality systems |
KR20180099182A (ko) | 2017-02-28 | 2018-09-05 | 엘지전자 주식회사 | 헤드 마운티드 디스플레이를 포함하는 시스템 및 그 제어 방법 |
US20190188893A1 (en) * | 2017-12-18 | 2019-06-20 | Dataview Vr, Llc | Simulated reality data representation system and method |
US11320958B2 (en) | 2018-05-02 | 2022-05-03 | Apple Inc. | Moving about a setting |
DE102020104415A1 (de) | 2019-02-22 | 2020-08-27 | Apple Inc. | Bewegung in einer umgebung |
-
2019
- 2019-05-01 US US17/051,703 patent/US11320958B2/en active Active
- 2019-05-01 KR KR1020207031568A patent/KR102546535B1/ko active IP Right Grant
- 2019-05-01 CN CN201980028718.2A patent/CN112292657B/zh active Active
- 2019-05-01 WO PCT/US2019/030120 patent/WO2019213200A1/en unknown
- 2019-05-01 JP JP2020560953A patent/JP7155291B2/ja active Active
- 2019-05-01 EP EP19723977.5A patent/EP3788464B1/en active Active
-
2022
- 2022-02-24 US US17/679,943 patent/US11714519B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013250830A (ja) | 2012-06-01 | 2013-12-12 | Nintendo Co Ltd | 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法 |
US20160350972A1 (en) | 2015-05-26 | 2016-12-01 | Google Inc. | Multidimensional graphical method for entering and exiting applications and activities in immersive media |
US20170160815A1 (en) | 2015-12-03 | 2017-06-08 | Google Inc. | Teleportation in an augmented and/or virtual reality environment |
JP2017084422A (ja) | 2017-02-10 | 2017-05-18 | 株式会社リコー | 装置、方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20220179542A1 (en) | 2022-06-09 |
KR102546535B1 (ko) | 2023-06-23 |
CN112292657A (zh) | 2021-01-29 |
EP3788464B1 (en) | 2023-08-16 |
WO2019213200A1 (en) | 2019-11-07 |
EP3788464A1 (en) | 2021-03-10 |
US20210232288A1 (en) | 2021-07-29 |
JP2021520573A (ja) | 2021-08-19 |
US11714519B2 (en) | 2023-08-01 |
CN112292657B (zh) | 2024-07-02 |
KR20200138376A (ko) | 2020-12-09 |
US11320958B2 (en) | 2022-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11756269B2 (en) | Tangibility visualization of virtual objects within a computer-generated reality environment | |
JP7155291B2 (ja) | 環境の動き回り | |
US11960641B2 (en) | Application placement based on head position | |
JP6558839B2 (ja) | 媒介現実 | |
JP2020042802A (ja) | 3次元コンテンツ内の場所に基づく仮想要素モダリティ | |
US11302086B1 (en) | Providing features of an electronic product in an augmented reality environment | |
CN110633617B (zh) | 使用语义分割的平面检测 | |
US11314396B2 (en) | Selecting a text input field using eye gaze | |
JP7081052B2 (ja) | 模擬現実(sr)におけるデバイス共有及び対話性の表示 | |
US11900520B1 (en) | Specifying effects for entering or exiting a computer-generated reality environment | |
US20220067966A1 (en) | Localization and mapping using images from multiple devices | |
CN111602104A (zh) | 用于与所识别的对象相关联地呈现合成现实内容的方法和设备 | |
US11315215B2 (en) | Movement within an environment | |
CN111602391B (zh) | 用于根据物理环境定制合成现实体验的方法和设备 | |
US11430198B1 (en) | Method and device for orientation-based view switching | |
CN113678173A (zh) | 用于虚拟对象的基于图绘的放置的方法和设备 | |
CN112987914A (zh) | 用于内容放置的方法和设备 | |
CN116583870A (zh) | 用于多相机孔填充的方法和设备 | |
US11308716B1 (en) | Tailoring a computer-generated reality experience based on a recognized object | |
CN112562088A (zh) | 基于用户移动来呈现环境 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201030 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220615 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220824 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221005 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7155291 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |