JP7168612B2 - ユーザインターフェースメニューのコンテキスト認識 - Google Patents
ユーザインターフェースメニューのコンテキスト認識 Download PDFInfo
- Publication number
- JP7168612B2 JP7168612B2 JP2020105691A JP2020105691A JP7168612B2 JP 7168612 B2 JP7168612 B2 JP 7168612B2 JP 2020105691 A JP2020105691 A JP 2020105691A JP 2020105691 A JP2020105691 A JP 2020105691A JP 7168612 B2 JP7168612 B2 JP 7168612B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- virtual
- user interface
- environment
- physical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 164
- 230000003993 interaction Effects 0.000 claims description 62
- 230000009471 action Effects 0.000 claims description 41
- 230000007613 environmental effect Effects 0.000 claims 2
- 238000003384 imaging method Methods 0.000 description 51
- 230000003287 optical effect Effects 0.000 description 35
- 210000003128 head Anatomy 0.000 description 33
- 230000008569 process Effects 0.000 description 28
- 238000004422 calculation algorithm Methods 0.000 description 25
- 239000003550 marker Substances 0.000 description 24
- 210000001747 pupil Anatomy 0.000 description 24
- 230000036544 posture Effects 0.000 description 23
- 238000012545 processing Methods 0.000 description 23
- 230000033001 locomotion Effects 0.000 description 21
- 230000004424 eye movement Effects 0.000 description 16
- 238000000605 extraction Methods 0.000 description 15
- 230000004308 accommodation Effects 0.000 description 14
- 230000003190 augmentative effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 231100000430 skin reaction Toxicity 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000005259 measurement Methods 0.000 description 11
- 238000009877 rendering Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000036651 mood Effects 0.000 description 10
- 230000036772 blood pressure Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 9
- 208000006550 Mydriasis Diseases 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 239000000835 fiber Substances 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 230000036387 respiratory rate Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 235000013305 food Nutrition 0.000 description 6
- 230000035790 physiological processes and functions Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 239000007787 solid Substances 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 5
- 238000005266 casting Methods 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 210000003811 finger Anatomy 0.000 description 5
- 230000035807 sensation Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 239000013307 optical fiber Substances 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 230000001953 sensory effect Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000003213 activating effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 3
- 238000010422 painting Methods 0.000 description 3
- 210000003813 thumb Anatomy 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 241000699670 Mus sp. Species 0.000 description 2
- 230000003925 brain function Effects 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000012014 optical coherence tomography Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002040 relaxant effect Effects 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- LQIAZOCLNBBZQK-UHFFFAOYSA-N 1-(1,2-Diphosphanylethyl)pyrrolidin-2-one Chemical compound PCC(P)N1CCCC1=O LQIAZOCLNBBZQK-UHFFFAOYSA-N 0.000 description 1
- KRQUFUKTQHISJB-YYADALCUSA-N 2-[(E)-N-[2-(4-chlorophenoxy)propoxy]-C-propylcarbonimidoyl]-3-hydroxy-5-(thian-3-yl)cyclohex-2-en-1-one Chemical compound CCC\C(=N/OCC(C)OC1=CC=C(Cl)C=C1)C1=C(O)CC(CC1=O)C1CCCSC1 KRQUFUKTQHISJB-YYADALCUSA-N 0.000 description 1
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 241000256837 Apidae Species 0.000 description 1
- 206010048909 Boredom Diseases 0.000 description 1
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 206010019233 Headaches Diseases 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 1
- 206010037180 Psychiatric symptoms Diseases 0.000 description 1
- 230000002350 accommodative effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000005267 amalgamation Methods 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000002555 auscultation Methods 0.000 description 1
- 210000003403 autonomic nervous system Anatomy 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001914 calming effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 230000008045 co-localization Effects 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002569 electronystagmography Methods 0.000 description 1
- 238000002570 electrooculography Methods 0.000 description 1
- 238000002001 electrophysiology Methods 0.000 description 1
- 230000007831 electrophysiology Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 235000021172 family meals Nutrition 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000010813 municipal solid waste Substances 0.000 description 1
- 230000002911 mydriatic effect Effects 0.000 description 1
- 230000001114 myogenic effect Effects 0.000 description 1
- 238000013488 ordinary least square regression Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 230000035900 sweating Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000000482 two photon fluorescence microscopy Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02405—Determining heart rate variability
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/03—Detecting, measuring or recording fluid pressure within the body other than blood pressure, e.g. cerebral pressure; Measuring pressure in body tissues or organs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/018—Input/output arrangements for oriental characters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Artificial Intelligence (AREA)
- Toxicology (AREA)
- Electromagnetism (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Multimedia (AREA)
- Cardiology (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Physiology (AREA)
- Hematology (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Description
本願は、2016年5月20日に出願され“CONTEXTUAL AWARENESS OF USER INTERFACE MENUS”と題された米国仮出願第62/339,572号、2016年8月29日に出願され“AUGMENTED COGNITION USER INTERFACE”と題された米国仮出願第62/380,869号に対する35 U.S.C. § 119(e)のもとでの優先権の利益を主張するものであり、これらの開示は、全体として本明細書中に参照により援用される。
本願明細書は、例えば、以下の項目も提供する。
(項目1)
ユーザの3次元(3D)環境内で仮想コンテンツを生成するための方法であって、前記方法は、
姿勢センサから入手されたデータを分析し、ユーザの姿勢を識別することと、
少なくとも部分的に、前記姿勢に基づいて、前記ユーザの3D環境内の壁を識別することと、
前記壁との相互作用を開始するためのインジケーションを受信することと、
前記壁と関連付けられたコンテキスト情報を決定することと、
前記コンテキスト情報に基づいて、前記壁上で利用可能なユーザインターフェース動作のセットからユーザインターフェース動作のサブセットを選択することと、
前記ユーザインターフェース動作のサブセットを3Dビューで前記ユーザに提示するための命令を生成することと
を含む、方法。
(項目2)
前記姿勢は、眼視線、頭部姿勢、またはジェスチャのうちの少なくとも1つを含む、項目1に記載の方法。
(項目3)
前記壁を識別することは、前記ユーザの頭部姿勢に基づいて、円錐投射を実施することを含む、項目1に記載の方法。
(項目4)
前記コンテキスト情報は、前記壁の表面の配向を含み、前記ユーザインターフェース動作のサブセットを選択することは、前記配向を有する表面上で実施され得るユーザインターフェース動作を識別することを含む、項目1に記載の方法。
(項目5)
前記壁との相互作用を開始するためのインジケーションは、ユーザ入力デバイスの作動または前記ユーザの姿勢の変化を含む、項目1に記載の方法。
(項目6)
前記ユーザの生理学的パラメータを受信することと、前記ユーザの心理学的状態を決定することとをさらに含み、前記心理学的状態は、前記ユーザ相互作用のサブセットを選択するための前記コンテキスト情報の一部である、項目1に記載の方法。
(項目7)
生理学的パラメータは、心拍数、散瞳、ガルバニック皮膚反応、血圧、脳波状態、呼吸数、または眼移動のうちの少なくとも1つに関連する、項目6に記載の方法。
(項目8)
前記ユーザ相互作用のサブセットを3Dビューで前記ユーザに提示するための命令を生成することは、前記ユーザインターフェース動作のサブセットを含む仮想メニューを生成することと、前記壁の特性に基づいて、前記仮想メニューの空間場所を決定することと、前記ユーザの3D環境内の空間場所における前記仮想メニューの提示のための表示命令を生成することとを含む、項目1に記載の方法。
(概要)
(ウェアラブルシステムの3Dディスプレイの実施例)
(導波管スタックアセンブリ)
(ウェアラブルシステムの他のコンポーネント)
(例示的ウェアラブルシステム、環境、およびインターフェース)
(環境内の例示的オブジェクト)
動眼視野内の例示的オブジェクト
(視野内の例示的オブジェクト)
(コンテキスト要因に基づいて、仮想オブジェクトをFOV内にレンダリングする実施例)
(ユーザの環境)
(オブジェクトのアフォーダンス)
(ユーザの特性)
(ユーザと環境内のオブジェクトの相互作用)
(ユーザの生理学的または心理学的状態)
(基準マーカ)
(コンテキスト要因に基づいて、仮想オブジェクトをレンダリングするための例示的方法)
(ユーザの生理学的データに基づいて、仮想オブジェクトをレンダリングするための例示的方法)
(他の実施形態)
(他の考慮点)
(項目1)
ユーザの3次元(3D)環境内で仮想コンテンツを生成するためのウェアラブルシステムであって、上記ウェアラブルシステムは、
仮想コンテンツを3Dビューでユーザに提示するように構成される拡張現実ディスプレイと、
ユーザの位置または配向データを入手し、上記位置または配向データを分析し、上記ユーザの姿勢を識別するように構成される姿勢センサと、
上記姿勢センサおよび上記ディスプレイと通信するハードウェアプロセッサであって、上記ハードウェアプロセッサは、
少なくとも部分的に、上記ユーザの姿勢に基づいて、上記3D環境内の上記ユーザの環境の中の物理オブジェクトを識別することと、
上記物理オブジェクトとの相互作用を開始するためのインジケーションを受信することと、
上記物理オブジェクトと関連付けられる上記ユーザの環境内の仮想オブジェクトのセットを識別することと、
上記物理オブジェクトと関連付けられたコンテキスト情報を決定することと、
上記仮想オブジェクトのセットをフィルタリングし、上記コンテキスト情報に基づいて、仮想オブジェクトのサブセットを上記仮想オブジェクトのセットから識別することと、
上記仮想オブジェクトのサブセットを含む仮想メニューを生成することと、
少なくとも部分的に、上記決定されたコンテキスト情報に基づいて、上記仮想メニューを提示するための上記3D環境内の空間場所を決定することと、
上記拡張現実ディスプレイによって、上記仮想メニューを上記空間場所に提示することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ウェアラブルシステム。
(項目2)
上記コンテキスト情報は、上記物理オブジェクトと関連付けられたアクションまたは使用のための機会を与える、上記物理オブジェクトと上記物理オブジェクトの環境との間の関係を含む、上記物理オブジェクトのアフォーダンスを含み、上記物理オブジェクトのアフォーダンスは、少なくとも部分的に、上記物理オブジェクトの機能、配向、タイプ、場所、形状、サイズ、または上記物理オブジェクトが位置する環境のうちの1つ以上のものに基づく、項目1に記載のウェアラブルシステム。
(項目3)
上記コンテキスト情報は、上記物理オブジェクトの表面の配向を含み、上記仮想オブジェクトのセットをフィルタリングするために、上記ハードウェアプロセッサは、上記配向を有する上記表面上のユーザインターフェース相互作用をサポートする上記仮想オブジェクトのサブセットを識別するようにプログラムされる、項目2に記載のウェアラブルシステム。
(項目4)
上記姿勢センサは、上記ユーザの頭部姿勢を測定し、上記物理オブジェクトを識別するように構成される慣性測定ユニットを備え、上記ハードウェアプロセッサは、少なくとも部分的に、上記ユーザの頭部姿勢に基づいて、仮想円錐を投射し、上記物理オブジェクトが上記仮想円錐の一部と交差する上記物理オブジェクトを選択するようにプログラムされる、項目1に記載のウェアラブルシステム。
(項目5)
上記ユーザの生理学的パラメータを測定するように構成される生理学的センサをさらに備え、ハードウェアプロセッサは、上記ユーザの心理学的状態を決定し、上記心理学的状態を上記コンテキスト情報の一部として使用し、上記仮想メニュー内への含有のために、上記仮想オブジェクトのサブセットを識別するようにプログラムされる、項目1に記載のウェアラブルシステム。
(項目6)
生理学的パラメータは、心拍数、散瞳、ガルバニック皮膚反応、血圧、脳波状態、呼吸数、または眼移動のうちの少なくとも1つに関連する、項目5に記載のウェアラブルシステム。
(項目7)
上記3D環境は、複数のユーザを含み、上記ハードウェアプロセッサは、上記複数のユーザの共通特性を決定し、上記複数のユーザの共通特性に基づいて、上記仮想オブジェクトのセットをフィルタリングするようにプログラムされる、項目1に記載のウェアラブルシステム。
(項目8)
上記コンテキスト情報は、上記仮想オブジェクトのセットとのユーザの過去の相互作用を含み、上記ハードウェアプロセッサは、上記ユーザが頻繁に相互作用している1つ以上の仮想オブジェクトを識別し、上記仮想メニューのために、上記1つ以上の仮想オブジェクトを上記仮想オブジェクトのサブセット内に含めるようにプログラムされる、項目1に記載のウェアラブルシステム。
(項目9)
上記物理オブジェクトと関連付けられたコンテキスト情報を決定し、上記仮想オブジェクトのセットをフィルタリングするために、上記ハードウェアプロセッサは、
上記物理オブジェクトと関連付けられた基準マーカを識別することであって、上記基準マーカは、上記物理オブジェクトの識別子をエンコードする、ことと、
上記基準マーカをデコードし、上記識別子を抽出することと、
上記物理オブジェクトと関連付けられたコンテキスト情報を記憶するデータベースに上記識別子を用いてアクセスすることと、
上記データベース内に記憶されるコンテキスト情報を分析し、上記仮想オブジェクトのセットをフィルタリングすることと
を行うようにプログラムされる、項目1に記載のウェアラブルシステム。
(項目10)
上記基準マーカは、ArUcoマーカを含む、項目9に記載のウェアラブルシステム。(項目11)
上記仮想メニューをレンダリングするための上記空間場所は、上記物理オブジェクトに対する上記仮想メニューの位置または配向を含む、項目1に記載のウェアラブルシステム。
(項目12)
上記仮想メニューをレンダリングするための上記空間場所を決定するために、上記ハードウェアプロセッサは、上記物理オブジェクトと関連付けられたオブジェクト認識装置を使用して、上記物理オブジェクトの表面上の空間を識別するようにプログラムされる、項目11に記載のウェアラブルシステム。
(項目13)
ユーザの3次元(3D)環境内で仮想コンテンツを生成するための方法であって、上記方法は、
姿勢センサから入手されたデータを分析し、ユーザの姿勢を識別することと、
少なくとも部分的に、上記姿勢に基づいて、上記ユーザの3D環境内の相互作用可能オブジェクトを識別することと、
上記相互作用可能オブジェクトとの相互作用を開始するためのインジケーションを受信することと、
上記相互作用可能オブジェクトと関連付けられたコンテキスト情報を決定することと、
上記コンテキスト情報に基づいて、上記相互作用可能オブジェクト上で利用可能なユーザインターフェース動作のセットからユーザインターフェース動作のサブセットを選択することと、
上記ユーザインターフェース動作のサブセットを3Dビューで上記ユーザに提示するための命令を生成することと
を含む、方法。
(項目14)
上記姿勢は、眼視線、頭部姿勢、またはジェスチャのうちの少なくとも1つを含む、項目13に記載の方法。
(項目15)
上記相互作用可能オブジェクトを識別することは、上記ユーザの頭部姿勢に基づいて、円錐投射を実施することと、上記ユーザの環境内のオブジェクトを上記オブジェクトが上記円錐投射において使用される仮想円錐の少なくとも一部と交差する上記相互作用可能オブジェクトとして選択することとを含む、項目13に記載の方法。
(項目16)
上記コンテキスト情報は、上記相互作用可能オブジェクトの表面の配向を含み、上記ユーザインターフェース動作のサブセットを選択することは、上記配向を有する表面上で実施され得るユーザインターフェース動作を識別することを含む、項目13に記載の方法。(項目17)
上記相互作用可能オブジェクトとの相互作用を開始するためのインジケーションは、ユーザ入力デバイスの作動または上記ユーザの姿勢の変化を含む、項目13に記載の方法。(項目18)
上記ユーザの生理学的パラメータを受信することと、上記ユーザの心理学的状態を決定することとをさらに含み、上記心理学的状態は、上記ユーザ相互作用のサブセットを選択するための上記コンテキスト情報の一部である、項目13に記載の方法。
(項目19)
生理学的パラメータは、心拍数、散瞳、ガルバニック皮膚反応、血圧、脳波状態、呼吸数、または眼移動のうちの少なくとも1つに関連する、項目18に記載の方法。
(項目20)
上記ユーザ相互作用のサブセットを3Dビューで上記ユーザに提示するための命令を生成することは、上記ユーザインターフェース動作のサブセットを含む仮想メニューを生成することと、上記相互作用可能オブジェクトの特性に基づいて、上記仮想メニューの空間場所を決定することと、上記ユーザの3D環境内の空間場所における上記仮想メニューの提示のための表示命令を生成することとを含む、項目13に記載の方法。
Claims (9)
- ユーザの3次元(3D)物理環境内で仮想コンテンツを生成するための方法であって、前記方法は、
ハードウェアプロセッサの制御の下で、
姿勢センサから入手されたデータを分析し、ユーザの姿勢を識別することと、
少なくとも部分的に、前記姿勢に基づいて、前記ユーザの3D物理環境内の物理表面と、前記3D物理環境内のオブジェクトと関連付けられたオブジェクト機能またはオブジェクトタイプのうちの少なくとも1つとを識別することと、
前記物理表面との相互作用を開始するためのインジケーションを受信することと、
前記物理表面と関連付けられた環境情報を決定することであって、前記環境情報は、前記物理表面のアフォーダンスを含み、前記物理表面の前記アフォーダンスは、前記物理表面が位置する物理環境に基づいて決定される、ことと、
前記環境情報に基づいて、前記物理表面と関連付けられた利用可能なユーザインターフェースオプションのセットにアクセスすることと、
前記利用可能なユーザインターフェースオプションのセットから、前記物理表面と関連付けられた仮想ユーザインターフェース内に読取可能に適合し得るユーザインターフェースオプションの最大数を決定することと、
前記仮想ユーザインターフェース内に読取可能に適合し得る前記ユーザインターフェースオプションの最大数と、前記物理表面の前記アフォーダンスと、前記オブジェクトと関連付けられた前記オブジェクト機能または前記オブジェクトタイプとに基づいて、前記物理表面と関連付けられた前記利用可能なユーザインターフェース動作のセットから、ユーザインターフェース動作のサブセットを選択することと、
前記仮想ユーザインターフェース内に読取可能に適合し得る前記ユーザインターフェース動作のサブセットを含有する前記仮想ユーザインターフェースを3Dビューで前記ユーザに提示するための命令を生成することと
を行うことを含む、方法。 - 前記環境情報は、前記ユーザの環境の機能、前記ユーザの環境内のオブジェクト、オブジェクトおよびその前記環境との関係、または前記ユーザの環境と関連付けられた情報のうちの1つ以上を含む、請求項1に記載の方法。
- 前記仮想ユーザインターフェースは、仮想メニューを備える、請求項1に記載の方法。
- ユーザの3次元(3D)物理環境内で仮想コンテンツを生成するための方法であって、前記方法は、
ハードウェアプロセッサの制御の下で、
姿勢センサから入手されたデータを分析し、ユーザの姿勢を識別することと、
少なくとも部分的に、前記姿勢に基づいて、前記ユーザの3D物理環境内の物理表面と、前記3D物理環境内のオブジェクトと関連付けられたオブジェクト機能またはオブジェクトタイプのうちの少なくとも1つとを識別することと、
前記物理表面との相互作用を開始するためのインジケーションを受信することと、
前記物理表面と関連付けられたオブジェクト情報を決定することであって、前記オブジェクト情報は、前記物理表面のアフォーダンスを含み、前記物理表面の前記アフォーダンスは、前記物理表面が位置する物理環境に基づいて決定される、ことと、
前記オブジェクト情報に基づいて、前記物理表面と関連付けられた利用可能なユーザインターフェースオプションのセットにアクセスすることと、
前記利用可能なユーザインターフェースオプションのセットから、前記物理表面と関連付けられた仮想ユーザインターフェース内に読取可能に適合し得るユーザインターフェースオプションの最大数を決定することと、
前記仮想ユーザインターフェース内に読取可能に適合し得る前記ユーザインターフェースオプションの最大数と、前記物理表面の前記アフォーダンスと、前記オブジェクトと関連付けられた前記オブジェクト機能または前記オブジェクトタイプとに基づいて、前記物理表面と関連付けられた前記利用可能なユーザインターフェース動作のセットから、ユーザインターフェース動作のサブセットを選択することと、
前記仮想ユーザインターフェース内に読取可能に適合し得る前記ユーザインターフェース動作のサブセットを含有する前記仮想ユーザインターフェースを3Dビューで前記ユーザに提示するための命令を生成することと
を行うことを含む、方法。 - 前記オブジェクト情報は、物理オブジェクトの形状、前記物理オブジェクトの機能、前記オブジェクトのタイプ、前記ユーザの環境内のオブジェクトと関連付けられた情報、または前記物理オブジェクトのアフォーダンスのうちの1つ以上を含む、請求項4に記載の方法。
- 前記オブジェクトは、前記ユーザの視野内の1人以上の人物を含む、請求項5に記載の方法。
- 前記仮想ユーザインターフェースは、仮想メニューを備える、請求項4に記載の方法。
- ユーザの3次元(3D)物理環境内で仮想コンテンツを生成するための方法であって、前記方法は、
ハードウェアプロセッサの制御の下で、
姿勢センサから入手されたデータを分析し、ユーザの姿勢を識別することと、
少なくとも部分的に、前記姿勢に基づいて、前記ユーザの3D物理環境内の物理表面と、前記3D物理環境内のオブジェクトと関連付けられたオブジェクト機能またはオブジェクトタイプのうちの少なくとも1つとを識別することと、
前記物理表面との相互作用を開始するためのインジケーションを受信することと、
前記物理表面と関連付けられた基準マーカと関連付けられた情報を決定することであって、前記情報は、前記物理表面のアフォーダンスを含み、前記物理表面の前記アフォーダンスは、前記物理表面が位置する物理環境に基づいて決定される、ことと、
前記基準マーカと関連付けられた情報に基づいて、前記物理表面と関連付けられた利用可能なユーザインターフェースオプションのセットにアクセスすることと、
前記利用可能なユーザインターフェースオプションのセットから、前記物理表面と関連付けられた仮想ユーザインターフェース内に読取可能に適合し得るユーザインターフェースオプションの最大数を決定することと、
前記仮想ユーザインターフェース内に読取可能に適合し得る前記ユーザインターフェースオプションの最大数と、前記物理表面の前記アフォーダンスと、前記オブジェクトと関連付けられた前記オブジェクト機能または前記オブジェクトタイプとに基づいて、前記物理表面と関連付けられた前記利用可能なユーザインターフェース動作のセットから、ユーザインターフェース動作のサブセットを選択することと、
前記仮想ユーザインターフェース内に読取可能に適合し得る前記ユーザインターフェース動作のサブセットを含有する前記仮想ユーザインターフェースを3Dビューで前記ユーザに提示するための命令を生成することと
を行うことを含む、方法。 - 前記仮想ユーザインターフェースは、仮想メニューを備える、請求項8に記載の方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021119483A JP2021170384A (ja) | 2016-05-20 | 2021-07-20 | ユーザインターフェースメニューのコンテキスト認識 |
JP2023201574A JP2024009318A (ja) | 2016-05-20 | 2023-11-29 | ユーザインターフェースメニューのコンテキスト認識 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662339572P | 2016-05-20 | 2016-05-20 | |
US62/339,572 | 2016-05-20 | ||
US201662380869P | 2016-08-29 | 2016-08-29 | |
US62/380,869 | 2016-08-29 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018560645A Division JP6880075B2 (ja) | 2016-05-20 | 2017-05-18 | ユーザインターフェースメニューのコンテキスト認識 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021119483A Division JP2021170384A (ja) | 2016-05-20 | 2021-07-20 | ユーザインターフェースメニューのコンテキスト認識 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020161177A JP2020161177A (ja) | 2020-10-01 |
JP7168612B2 true JP7168612B2 (ja) | 2022-11-09 |
Family
ID=60326188
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018560645A Active JP6880075B2 (ja) | 2016-05-20 | 2017-05-18 | ユーザインターフェースメニューのコンテキスト認識 |
JP2020105691A Active JP7168612B2 (ja) | 2016-05-20 | 2020-06-18 | ユーザインターフェースメニューのコンテキスト認識 |
JP2021119483A Pending JP2021170384A (ja) | 2016-05-20 | 2021-07-20 | ユーザインターフェースメニューのコンテキスト認識 |
JP2023201574A Pending JP2024009318A (ja) | 2016-05-20 | 2023-11-29 | ユーザインターフェースメニューのコンテキスト認識 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018560645A Active JP6880075B2 (ja) | 2016-05-20 | 2017-05-18 | ユーザインターフェースメニューのコンテキスト認識 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021119483A Pending JP2021170384A (ja) | 2016-05-20 | 2021-07-20 | ユーザインターフェースメニューのコンテキスト認識 |
JP2023201574A Pending JP2024009318A (ja) | 2016-05-20 | 2023-11-29 | ユーザインターフェースメニューのコンテキスト認識 |
Country Status (9)
Country | Link |
---|---|
US (2) | US11328484B2 (ja) |
EP (2) | EP4060462A1 (ja) |
JP (4) | JP6880075B2 (ja) |
KR (3) | KR20230113663A (ja) |
CN (2) | CN115185366A (ja) |
AU (1) | AU2017266933B2 (ja) |
CA (1) | CA3024689A1 (ja) |
IL (2) | IL290933B2 (ja) |
WO (1) | WO2017201329A1 (ja) |
Families Citing this family (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105094345B (zh) * | 2015-09-29 | 2018-07-27 | 腾讯科技(深圳)有限公司 | 一种信息处理方法、终端及计算机存储介质 |
WO2017200279A1 (en) * | 2016-05-17 | 2017-11-23 | Samsung Electronics Co., Ltd. | Method and apparatus for facilitating interaction with virtual reality equipment |
EP4060462A1 (en) * | 2016-05-20 | 2022-09-21 | Magic Leap, Inc. | Contextual awareness of user interface menus |
US10335045B2 (en) | 2016-06-24 | 2019-07-02 | Universita Degli Studi Di Trento | Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions |
US9983684B2 (en) * | 2016-11-02 | 2018-05-29 | Microsoft Technology Licensing, Llc | Virtual affordance display at virtual target |
US10474336B2 (en) * | 2016-12-20 | 2019-11-12 | Adobe Inc. | Providing a user experience with virtual reality content and user-selected, real world objects |
US10290152B2 (en) * | 2017-04-03 | 2019-05-14 | Microsoft Technology Licensing, Llc | Virtual object user interface display |
US10325409B2 (en) * | 2017-06-16 | 2019-06-18 | Microsoft Technology Licensing, Llc | Object holographic augmentation |
US10191566B1 (en) * | 2017-07-05 | 2019-01-29 | Sony Interactive Entertainment Inc. | Interactive input controls in a simulated three-dimensional (3D) environment |
CN107803028B (zh) * | 2017-09-30 | 2019-03-08 | 网易(杭州)网络有限公司 | 信息处理方法、装置、电子设备及存储介质 |
US10732826B2 (en) * | 2017-11-22 | 2020-08-04 | Microsoft Technology Licensing, Llc | Dynamic device interaction adaptation based on user engagement |
CN110033789A (zh) * | 2018-01-04 | 2019-07-19 | 哈曼国际工业有限公司 | 生物测定个性化音频处理系统 |
US20190212828A1 (en) * | 2018-01-10 | 2019-07-11 | Facebook Technologies, Llc | Object enhancement in artificial reality via a near eye display interface |
KR102111531B1 (ko) * | 2018-03-06 | 2020-05-15 | 서울대학교병원 | Vr 또는 ar을 기반으로 하는 병원에서의 진료 체험 제공 시스템 |
US11816886B1 (en) * | 2018-06-28 | 2023-11-14 | Meta Platforms Technologies, Llc | Apparatus, system, and method for machine perception |
US10679418B2 (en) * | 2018-09-13 | 2020-06-09 | International Business Machines Corporation | Augmentation of item dimensions based on derived storage locations for online and physical shopping |
US11068145B2 (en) * | 2018-11-15 | 2021-07-20 | Disney Enterprises, Inc. | Techniques for creative review of 3D content in a production environment |
TWI703348B (zh) * | 2018-12-06 | 2020-09-01 | 宏達國際電子股份有限公司 | 影像處理系統及影像處理方法 |
EP3671410B1 (en) * | 2018-12-19 | 2022-08-24 | Siemens Healthcare GmbH | Method and device to control a virtual reality display unit |
US20200320795A1 (en) * | 2019-04-08 | 2020-10-08 | Tammuz Dubnov | System and layering method for fast input-driven composition and live-generation of mixed digital content |
US11804014B1 (en) | 2019-04-22 | 2023-10-31 | Apple Inc. | Context-based application placement |
CN110109547A (zh) * | 2019-05-05 | 2019-08-09 | 芋头科技(杭州)有限公司 | 基于手势识别的命令激活方法和系统 |
US11543884B2 (en) | 2019-06-14 | 2023-01-03 | Hewlett-Packard Development Company, L.P. | Headset signals to determine emotional states |
JP2020202971A (ja) * | 2019-06-17 | 2020-12-24 | Impute株式会社 | ストレス抑制システム |
US11611608B1 (en) | 2019-07-19 | 2023-03-21 | Snap Inc. | On-demand camera sharing over a network |
US11462000B2 (en) | 2019-08-26 | 2022-10-04 | Apple Inc. | Image-based detection of surfaces that provide specular reflections and reflection modification |
US11189099B2 (en) | 2019-09-20 | 2021-11-30 | Facebook Technologies, Llc | Global and local mode virtual object interactions |
US10991163B2 (en) * | 2019-09-20 | 2021-04-27 | Facebook Technologies, Llc | Projection casting in virtual environments |
KR20210136116A (ko) * | 2019-09-27 | 2021-11-16 | 애플 인크. | 가상 객체들 제어 |
CN110738737A (zh) * | 2019-10-15 | 2020-01-31 | 北京市商汤科技开发有限公司 | 一种ar场景图像处理方法、装置、电子设备及存储介质 |
CN110716646A (zh) * | 2019-10-15 | 2020-01-21 | 北京市商汤科技开发有限公司 | 一种增强现实数据呈现方法、装置、设备及存储介质 |
JP7150894B2 (ja) | 2019-10-15 | 2022-10-11 | ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド | Arシーン画像処理方法及び装置、電子機器並びに記憶媒体 |
US11557096B2 (en) * | 2019-12-09 | 2023-01-17 | At&T Intellectual Property I, L.P. | Cognitive stimulation in vehicles |
US11687778B2 (en) | 2020-01-06 | 2023-06-27 | The Research Foundation For The State University Of New York | Fakecatcher: detection of synthetic portrait videos using biological signals |
WO2021154437A1 (en) * | 2020-01-27 | 2021-08-05 | Magic Leap, Inc. | Gaze timer based augmentation of functionality of a user input device |
US11354026B1 (en) * | 2020-01-28 | 2022-06-07 | Apple Inc. | Method and device for assigning an operation set |
EP4104034A4 (en) | 2020-02-10 | 2024-02-21 | Magic Leap Inc | POSITIONING BODY-CENTRIC CONTENT RELATIVE TO A THREE-DIMENSIONAL CONTAINER IN A MIXED REALITY ENVIRONMENT |
US10783800B1 (en) | 2020-02-26 | 2020-09-22 | University Of Central Florida Research Foundation, Inc. | Sensor-based complexity modulation for therapeutic computer-simulations |
US11954249B1 (en) * | 2020-06-26 | 2024-04-09 | Apple Inc. | Head-mounted systems with sensor for eye monitoring |
CN116076063A (zh) * | 2020-09-09 | 2023-05-05 | 斯纳普公司 | 增强现实信使系统 |
KR20230066448A (ko) | 2020-09-16 | 2023-05-15 | 스냅 인코포레이티드 | 컨텍스트 트리거링된 증강 현실 |
US20220101002A1 (en) * | 2020-09-30 | 2022-03-31 | Kyndryl, Inc. | Real-world object inclusion in a virtual reality experience |
KR102393903B1 (ko) * | 2020-11-09 | 2022-05-04 | 주식회사 나루스튜디오 | Ar 전자 현미경 제공 단말, 방법 및 프로그램 |
US11610363B2 (en) * | 2020-12-31 | 2023-03-21 | Oberon Technologies, Inc. | Systems and methods for virtual reality environments |
KR20220101837A (ko) * | 2021-01-12 | 2022-07-19 | 한국전자통신연구원 | 개인 맞춤형 인터페이스 적용 장치 및 방법 |
WO2022212052A1 (en) * | 2021-03-31 | 2022-10-06 | Dathomir Laboratories Llc | Stress detection |
US11861315B2 (en) | 2021-04-21 | 2024-01-02 | Meta Platforms, Inc. | Continuous learning for natural-language understanding models for assistant systems |
US11617949B1 (en) | 2021-09-28 | 2023-04-04 | Sony Group Corporation | Methods for predefining virtual staircases connecting platforms in extended reality (XR) environments |
US11684848B2 (en) | 2021-09-28 | 2023-06-27 | Sony Group Corporation | Method to improve user understanding of XR spaces based in part on mesh analysis of physical surfaces |
US11890534B2 (en) | 2021-09-28 | 2024-02-06 | Sony Group Corporation | Method for predefining a virtual entryway at a virtual boundary of an XR space |
US11612817B1 (en) | 2021-09-28 | 2023-03-28 | Sony Group Corporation | Method for predefining activity zones in an extended reality (XR) environment |
US11944905B2 (en) | 2021-09-28 | 2024-04-02 | Sony Group Corporation | Method to regulate jumps and falls by playable characters in XR spaces |
US11596866B1 (en) | 2021-09-28 | 2023-03-07 | Sony Group Corporation | Method to use recognition of nearby physical surfaces to generate NPC reactions to events |
US11960652B2 (en) | 2021-10-12 | 2024-04-16 | Qualcomm Incorporated | User interactions with remote devices |
WO2023091355A1 (en) * | 2021-11-19 | 2023-05-25 | Apple Inc. | Scene information access for electronic device applications |
US11908356B2 (en) * | 2021-12-15 | 2024-02-20 | Motorola Mobility Llc | Augmented reality display device having contextual adaptive brightness |
WO2023203923A1 (ja) * | 2022-04-22 | 2023-10-26 | ソニーグループ株式会社 | 頭部装着型情報処理装置、情報処理方法、記憶媒体 |
US20230410159A1 (en) * | 2022-06-15 | 2023-12-21 | At&T Intellectual Property I, L.P. | Method and system for personalizing metaverse object recommendations or reviews |
WO2024034825A1 (ko) * | 2022-08-08 | 2024-02-15 | 삼성전자주식회사 | Ar 장치에게 표시하도록 명령할 컨텐츠를 결정하기 위한 방법 및 장치 |
CN117289791A (zh) * | 2023-08-22 | 2023-12-26 | 杭州空介视觉科技有限公司 | 元宇宙人工智能虚拟装备数据生成方法 |
CN117369649B (zh) * | 2023-12-05 | 2024-03-26 | 山东大学 | 基于本体感觉的虚拟现实交互系统及方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006126936A (ja) | 2004-10-26 | 2006-05-18 | Canon Inc | 画像処理方法、画像処理装置 |
US20130174213A1 (en) | 2011-08-23 | 2013-07-04 | James Liu | Implicit sharing and privacy control through physical behaviors using sensor-rich devices |
US20140063060A1 (en) | 2012-09-04 | 2014-03-06 | Qualcomm Incorporated | Augmented reality surface segmentation |
JP2016506565A (ja) | 2012-12-11 | 2016-03-03 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 人間トリガのホログラフィックリマインダ |
JP2016031650A (ja) | 2014-07-29 | 2016-03-07 | みこらった株式会社 | 電子機器、電子機器の表示画面の表示制御方法及びプログラム |
JP2016508257A (ja) | 2012-12-18 | 2016-03-17 | クアルコム,インコーポレイテッド | 拡張現実対応デバイスのためのユーザインターフェース |
Family Cites Families (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
US6396509B1 (en) * | 1998-02-21 | 2002-05-28 | Koninklijke Philips Electronics N.V. | Attention-based interaction in a virtual environment |
US6771294B1 (en) * | 1999-12-29 | 2004-08-03 | Petri Pulli | User interface |
US7215322B2 (en) * | 2001-05-31 | 2007-05-08 | Siemens Corporate Research, Inc. | Input devices for augmented reality applications |
CN1547131A (zh) * | 2003-12-03 | 2004-11-17 | 谭日辉 | 一种虚拟现实交互式控制系统 |
KR20050087377A (ko) * | 2004-02-26 | 2005-08-31 | 삼성전자주식회사 | 이동 단말기의 인체 건강 지표 측정에 따른 홈 네트워크시스템에서의 주거 분위기 자동 조성 방법 |
JP2008510566A (ja) * | 2004-08-23 | 2008-04-10 | ゲームキャスター インコーポレイテッド | 仮想環境を視聴および操作する装置、方法、およびシステム |
JP4500632B2 (ja) * | 2004-09-07 | 2010-07-14 | キヤノン株式会社 | 仮想現実感提示装置および情報処理方法 |
US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
JP5258399B2 (ja) * | 2008-06-06 | 2013-08-07 | キヤノン株式会社 | 画像投影装置及びその制御方法 |
US9377850B2 (en) * | 2010-03-15 | 2016-06-28 | Nec Corporation | Input device, input method and medium |
US20120005624A1 (en) * | 2010-07-02 | 2012-01-05 | Vesely Michael A | User Interface Elements for Use within a Three Dimensional Scene |
US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
AU2011348122A1 (en) | 2010-12-24 | 2013-07-11 | Magic Leap Inc. | An ergonomic head mounted display device and optical system |
US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
US9217867B2 (en) * | 2011-03-24 | 2015-12-22 | Seiko Epson Corporation | Head-mounted display device and control method for the head-mounted display device |
EP2691935A1 (en) * | 2011-03-29 | 2014-02-05 | Qualcomm Incorporated | System for the rendering of shared digital interfaces relative to each user's point of view |
CN102193631A (zh) * | 2011-05-05 | 2011-09-21 | 上海大学 | 可穿戴式三维手势交互系统及其使用方法 |
RU2621644C2 (ru) | 2011-05-06 | 2017-06-06 | Мэджик Лип, Инк. | Мир массового одновременного удаленного цифрового присутствия |
US10795448B2 (en) | 2011-09-29 | 2020-10-06 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
US20130104085A1 (en) | 2011-10-21 | 2013-04-25 | Digital Artforms, Inc. | Systems and methods for human-computer interaction using a two handed interface |
WO2013085639A1 (en) | 2011-10-28 | 2013-06-13 | Magic Leap, Inc. | System and method for augmented and virtual reality |
CA2858208C (en) | 2011-11-23 | 2019-01-15 | Magic Leap, Inc. | Three dimensional virtual and augmented reality display system |
JP2013152711A (ja) * | 2011-12-28 | 2013-08-08 | Nikon Corp | 投影装置及び表示装置 |
KR102028732B1 (ko) | 2012-04-05 | 2019-10-04 | 매직 립, 인코포레이티드 | 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들 |
WO2013188464A1 (en) | 2012-06-11 | 2013-12-19 | Magic Leap, Inc. | Multiple depth plane three-dimensional display using a wave guide reflector array projector |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
WO2014043196A1 (en) | 2012-09-11 | 2014-03-20 | Magic Leap, Inc | Ergonomic head mounted display device and optical system |
JP2014134922A (ja) * | 2013-01-09 | 2014-07-24 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
KR102507206B1 (ko) | 2013-01-15 | 2023-03-06 | 매직 립, 인코포레이티드 | 초고해상도 스캐닝 섬유 디스플레이 |
GB2511096A (en) | 2013-02-22 | 2014-08-27 | Fox Murphy Ltd | A Mobile Indoor Navigation System |
JP5962547B2 (ja) * | 2013-03-08 | 2016-08-03 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
KR102516124B1 (ko) | 2013-03-11 | 2023-03-29 | 매직 립, 인코포레이티드 | 증강 및 가상 현실을 위한 시스템 및 방법 |
NZ751593A (en) | 2013-03-15 | 2020-01-31 | Magic Leap Inc | Display system and method |
US9245388B2 (en) * | 2013-05-13 | 2016-01-26 | Microsoft Technology Licensing, Llc | Interactions of virtual objects with surfaces |
US9383819B2 (en) * | 2013-06-03 | 2016-07-05 | Daqri, Llc | Manipulation of virtual object in augmented reality via intent |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
KR102547756B1 (ko) | 2013-10-16 | 2023-06-23 | 매직 립, 인코포레이티드 | 조절가능한 동공간 거리를 가지는 가상 또는 증강 현실 헤드셋들 |
US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
KR102493498B1 (ko) | 2013-11-27 | 2023-01-27 | 매직 립, 인코포레이티드 | 가상 및 증강 현실 시스템들 및 방법들 |
CN103713737B (zh) * | 2013-12-12 | 2017-01-11 | 中国科学院深圳先进技术研究院 | 用于智能眼镜的虚拟键盘系统 |
US20150187357A1 (en) * | 2013-12-30 | 2015-07-02 | Samsung Electronics Co., Ltd. | Natural input based virtual ui system for mobile devices |
US9244539B2 (en) | 2014-01-07 | 2016-01-26 | Microsoft Technology Licensing, Llc | Target positioning with gaze tracking |
US9836122B2 (en) * | 2014-01-21 | 2017-12-05 | Osterhout Group, Inc. | Eye glint imaging in see-through computer display systems |
EP4099274B1 (en) | 2014-01-31 | 2024-03-06 | Magic Leap, Inc. | Multi-focal display system and method |
KR102177133B1 (ko) | 2014-01-31 | 2020-11-10 | 매직 립, 인코포레이티드 | 멀티-포컬 디스플레이 시스템 및 방법 |
US20150231509A1 (en) | 2014-02-17 | 2015-08-20 | Xaviant, LLC (a GA Limited Liability Company) | System, Method, and Apparatus for Smart Targeting |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
KR20150110257A (ko) * | 2014-03-21 | 2015-10-02 | 삼성전자주식회사 | 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스 |
AU2015297035B2 (en) | 2014-05-09 | 2018-06-28 | Google Llc | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
AU2015266586B2 (en) | 2014-05-30 | 2020-07-23 | Magic Leap, Inc. | Methods and systems for generating virtual content display with a virtual or augmented reality apparatus |
WO2016023123A1 (en) | 2014-08-15 | 2016-02-18 | The University Of British Columbia | Methods and systems for performing medical procedures and for accessing and/or manipulating medically relevant information |
KR102029756B1 (ko) | 2014-11-03 | 2019-10-08 | 삼성전자주식회사 | 웨어러블 디바이스 및 그 제어 방법 |
US9746921B2 (en) * | 2014-12-31 | 2017-08-29 | Sony Interactive Entertainment Inc. | Signal generation and detector systems and methods for determining positions of fingers of a user |
USD758367S1 (en) | 2015-05-14 | 2016-06-07 | Magic Leap, Inc. | Virtual reality headset |
US9824499B2 (en) * | 2015-06-23 | 2017-11-21 | Microsoft Technology Licensing, Llc | Mixed-reality image capture |
EP4060462A1 (en) | 2016-05-20 | 2022-09-21 | Magic Leap, Inc. | Contextual awareness of user interface menus |
-
2017
- 2017-05-18 EP EP22171762.2A patent/EP4060462A1/en active Pending
- 2017-05-18 CA CA3024689A patent/CA3024689A1/en active Pending
- 2017-05-18 US US15/599,162 patent/US11328484B2/en active Active
- 2017-05-18 CN CN202210629940.1A patent/CN115185366A/zh active Pending
- 2017-05-18 EP EP17800195.4A patent/EP3459071B1/en active Active
- 2017-05-18 IL IL290933A patent/IL290933B2/en unknown
- 2017-05-18 AU AU2017266933A patent/AU2017266933B2/en not_active Expired - Fee Related
- 2017-05-18 WO PCT/US2017/033399 patent/WO2017201329A1/en unknown
- 2017-05-18 JP JP2018560645A patent/JP6880075B2/ja active Active
- 2017-05-18 KR KR1020237025009A patent/KR20230113663A/ko not_active Application Discontinuation
- 2017-05-18 CN CN201780044955.9A patent/CN109496331B/zh active Active
- 2017-05-18 KR KR1020227018789A patent/KR102560558B1/ko active IP Right Grant
- 2017-05-18 KR KR1020187036979A patent/KR102407111B1/ko active IP Right Grant
-
2018
- 2018-11-13 IL IL262987A patent/IL262987B/en unknown
-
2020
- 2020-06-18 JP JP2020105691A patent/JP7168612B2/ja active Active
-
2021
- 2021-07-20 JP JP2021119483A patent/JP2021170384A/ja active Pending
-
2022
- 2022-04-06 US US17/714,496 patent/US20220230404A1/en active Pending
-
2023
- 2023-11-29 JP JP2023201574A patent/JP2024009318A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006126936A (ja) | 2004-10-26 | 2006-05-18 | Canon Inc | 画像処理方法、画像処理装置 |
US20130174213A1 (en) | 2011-08-23 | 2013-07-04 | James Liu | Implicit sharing and privacy control through physical behaviors using sensor-rich devices |
US20140063060A1 (en) | 2012-09-04 | 2014-03-06 | Qualcomm Incorporated | Augmented reality surface segmentation |
JP2016506565A (ja) | 2012-12-11 | 2016-03-03 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 人間トリガのホログラフィックリマインダ |
JP2016508257A (ja) | 2012-12-18 | 2016-03-17 | クアルコム,インコーポレイテッド | 拡張現実対応デバイスのためのユーザインターフェース |
JP2016031650A (ja) | 2014-07-29 | 2016-03-07 | みこらった株式会社 | 電子機器、電子機器の表示画面の表示制御方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP4060462A1 (en) | 2022-09-21 |
IL262987B (en) | 2022-04-01 |
JP2019517072A (ja) | 2019-06-20 |
CA3024689A1 (en) | 2017-11-23 |
KR20230113663A (ko) | 2023-07-31 |
EP3459071A4 (en) | 2020-02-26 |
CN109496331B (zh) | 2022-06-21 |
WO2017201329A1 (en) | 2017-11-23 |
IL290933B1 (en) | 2023-06-01 |
EP3459071A1 (en) | 2019-03-27 |
JP2020161177A (ja) | 2020-10-01 |
KR102407111B1 (ko) | 2022-06-08 |
US20170337742A1 (en) | 2017-11-23 |
US20220230404A1 (en) | 2022-07-21 |
JP6880075B2 (ja) | 2021-06-02 |
KR20220080030A (ko) | 2022-06-14 |
KR102560558B1 (ko) | 2023-07-27 |
JP2021170384A (ja) | 2021-10-28 |
CN115185366A (zh) | 2022-10-14 |
AU2017266933A1 (en) | 2018-12-06 |
JP2024009318A (ja) | 2024-01-19 |
IL290933B2 (en) | 2023-10-01 |
CN109496331A (zh) | 2019-03-19 |
IL290933A (en) | 2022-04-01 |
IL262987A (en) | 2018-12-31 |
EP3459071B1 (en) | 2022-05-11 |
KR20190008941A (ko) | 2019-01-25 |
AU2017266933B2 (en) | 2023-01-12 |
US11328484B2 (en) | 2022-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7168612B2 (ja) | ユーザインターフェースメニューのコンテキスト認識 | |
US11568643B2 (en) | Automatic control of wearable display device based on external conditions | |
KR20220088962A (ko) | 혼합 현실 환경의 가상 사용자 입력 콘트롤들 | |
JP2020502849A (ja) | 複合現実較正のための眼球周囲試験 | |
NZ794186A (en) | Automatic control of wearable display device based on external conditions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200618 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210416 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210423 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210720 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20211217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220415 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220415 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220428 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220502 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20220527 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20220531 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220602 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220830 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20220914 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20221007 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20221007 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221027 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7168612 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |