KR20230030930A - 전자 장치, 헤드-마운티드 디스플레이 장치, 웨어러블 장치 및 그 동작 방법 - Google Patents
전자 장치, 헤드-마운티드 디스플레이 장치, 웨어러블 장치 및 그 동작 방법 Download PDFInfo
- Publication number
- KR20230030930A KR20230030930A KR1020210113191A KR20210113191A KR20230030930A KR 20230030930 A KR20230030930 A KR 20230030930A KR 1020210113191 A KR1020210113191 A KR 1020210113191A KR 20210113191 A KR20210113191 A KR 20210113191A KR 20230030930 A KR20230030930 A KR 20230030930A
- Authority
- KR
- South Korea
- Prior art keywords
- wearable device
- electronic device
- mode
- signal
- user
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 48
- 238000004891 communication Methods 0.000 claims abstract description 228
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000011017 operating method Methods 0.000 claims description 8
- 230000007257 malfunction Effects 0.000 abstract description 2
- 210000004247 hand Anatomy 0.000 description 83
- 238000005516 engineering process Methods 0.000 description 50
- 230000003190 augmentative effect Effects 0.000 description 43
- 210000003128 head Anatomy 0.000 description 42
- 238000010586 diagram Methods 0.000 description 33
- 230000003287 optical effect Effects 0.000 description 32
- 230000006870 function Effects 0.000 description 27
- 238000012545 processing Methods 0.000 description 19
- 230000033001 locomotion Effects 0.000 description 16
- 239000013598 vector Substances 0.000 description 16
- 230000036544 posture Effects 0.000 description 11
- 238000009877 rendering Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 238000003825 pressing Methods 0.000 description 6
- 230000010267 cellular communication Effects 0.000 description 5
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 229920000642 polymer Polymers 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 239000000758 substrate Substances 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 229910052751 metal Inorganic materials 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- 239000010703 silicon Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 229910052782 aluminium Inorganic materials 0.000 description 2
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 239000004020 conductor Substances 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 229910001220 stainless steel Inorganic materials 0.000 description 2
- 239000010935 stainless steel Substances 0.000 description 2
- 230000003655 tactile properties Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- JOYRKODLDBILNP-UHFFFAOYSA-N Ethyl urethane Chemical compound CCOC(N)=O JOYRKODLDBILNP-UHFFFAOYSA-N 0.000 description 1
- FYYHWMGAXLPEAU-UHFFFAOYSA-N Magnesium Chemical compound [Mg] FYYHWMGAXLPEAU-UHFFFAOYSA-N 0.000 description 1
- 101001045744 Sus scrofa Hepatocyte nuclear factor 1-beta Proteins 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000011247 coating layer Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 239000010410 layer Substances 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 229910052749 magnesium Inorganic materials 0.000 description 1
- 239000011777 magnesium Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000005060 rubber Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0176—Head mounted characterised by mechanical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
다양한 실시예들에 따르면, 전자 장치에 있어서, 통신 회로, 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 상기 통신 회로를 통해 헤드-마운티드 디스플레이 장치 및 웨어러블 장치와 통신 연결을 설정하고, 상기 통신 회로를 통해 상기 헤드-마운티드 디스플레이 장치로부터 사용자의 적어도 하나의 특정 신체 일부와 연관된 정보를 수신하고, 상기 통신 회로를 통해 상기 웨어러블 장치로부터 제 1 신호가 수신되는 경우, 상기 적어도 하나의 특정 신체 일부와 연관된 정보에 기반하여 생성되는 상기 제 1 신호와 연관된 적어도 하나의 그래픽 오브젝트를 포함하는 이미지를 상기 헤드-마운티드 디스플레이 장치로 전송하도록 설정된, 전자 장치가 제공될 수 있다. 그 밖의 다양한 실시예가 가능하다.
Description
본 개시의 다양한 실시예는 전자 장치, 헤드-마운티드 디스플레이 장치, 웨어러블 장치 및 그 동작 방법에 관한 것이다.
최근 증강 현실(augmented reality, AR), 가상 현실(virtual reality, VR), 또는 융합 현실(mixed reality, MR)을 포괄하는 확장 현실(extended reality, XR)을 제공하는 서비스가 개발되고 있다.
이러한 XR 서비스를 제공하는 환경에서 사용자의 인터렉션을 제공하기 위한 방식으로는 핸드-제스쳐 방식, 컨트롤러 방식 및 하이브리드 방식이 있다.
전자 장치(예: 스마트 폰)은 확장 현실(XR) 기술에 기반한 서비스의 제공을 위해, 헤드-마운티드 디스플레이 장치 및/또는 일종의 컨트롤러로서 이용 가능한 웨어러블 장치(예: 스마트 워치)로부터 수신되는 정보를 처리할 수 있다. 예를 들어, 전자 장치(예: 스마트 폰)은 웨어러블 장치(예: 스마트 워치)를 이용한 사용자의 입력 시 웨어러블 장치(예: 스마트 워치)로부터 수신되는 신호에 기반하여, 헤드-마운티드 디스플레이 장치를 통해 제공되는 몰입형 컨텐트(예: 확장 현실 기술에 기반한 컨텐트)를 제어할 수 있다. 이러한 웨어러블 장치(예: 스마트 워치)를 이용한 몰입형 컨텐트 제어 방식은, 하이브리드 타입의 방식으로 명명될 수 있다. 상기 웨어러블 장치(예: 스마트 워치)는 몰입형 컨텐트(예: 확장 현실 기술에 기반한 컨텐트)를 제어하기 위한 컨트롤러로서 기능을 제공할 뿐만 아니라, 웨어러블 장치만의 고유의 서비스(예: 메시지 확인 서비스, 콜 수신 서비스, 또는 시계 화면 제공 서비스)를 제공하도록 기능을 제공할 수 있다. 이에 기인하여, 웨어러블 장치는 수신되는 사용자의 입력에 대응하는 오동작을 수행하는 문제점이 발생될 수 있다. 예를 들어, 혼합 현실 서비스를 이용하는 중에 사용자는 웨어러블 장치 고유의 서비스를 제공 받기 위해 입력을 웨어러블 장치에 가하였으나, 웨어러블 장치는 몰입형 컨텐트 제어를 위한 기능을 제공할 수 있다. 또 예를 들어, 혼합 현실 서비스를 이용하는 중에 사용자는 몰입형 컨텐트의 제어를 위해 입력을 웨어러블 장치에 가하였으나, 웨어러블 장치는 고유의 서비스를 제공할 수 있다.
다양한 실시예들에 따르면, 전자 장치, 헤드-마운티드 디스플레이 장치, 웨어러블 장치 및 그 동작 방법은 웨어러블 장치의 기능을 제공하기 위한 복수의 모드들을 관리하고, 웨어러블 장치의 모드를 복수의 모드들 중 지정된 조건을 만족하는 특정 모드로 설정함으로써, 혼합 현실 서비스를 제공하는 환경에서 웨어러블 장치의 오동작이 발생되는 문제점을 해결 할 수 있다. 또 다양한 실시예들에 따르면, 전자 장치, 헤드-마운티드 디스플레이 장치, 웨어러블 장치 및 그 동작 방법은 양 손이 위치될 확률에 기반하여 웨어러블 장치의 모드를 몰입형 컨텐트를 제어하기 위한 모드로 설정할지 여부를 결정으로써, 혼합 현실 서비스를 제공하는 환경에서 기민하게 웨어러블 장치의 모드를 설정할 수 있다.
다양한 실시예들에 따르면, 전자 장치에 있어서, 통신 회로, 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 상기 통신 회로를 통해 헤드-마운티드 디스플레이 장치 및 웨어러블 장치와 통신 연결을 설정하고, 상기 통신 회로를 통해 상기 헤드-마운티드 디스플레이 장치로부터 사용자의 적어도 하나의 특정 신체 일부와 연관된 정보를 수신하고, 상기 통신 회로를 통해 상기 웨어러블 장치로부터 제 1 신호가 수신되는 경우, 상기 적어도 하나의 특정 신체 일부와 연관된 정보에 기반하여 생성되는 상기 제 1 신호와 연관된 적어도 하나의 그래픽 오브젝트를 포함하는 이미지를 상기 헤드-마운티드 디스플레이 장치로 전송하도록 설정된, 전자 장치가 제공될 수 있다.
다양한 실시예들에 따르면, 전자 장치의 동작 방법에 있어서, 상기 전자 장치의 통신 회로를 통해 헤드-마운티드 디스플레이 장치 및 웨어러블 장치와 통신 연결을 설정하는 동작, 상기 통신 회로를 통해 상기 헤드-마운티드 디스플레이 장치로부터 사용자의 적어도 하나의 특정 신체 일부와 연관된 정보를 수신하는 동작, 및 상기 통신 회로를 통해 상기 웨어러블 장치로부터 제 1 신호가 수신되는 경우, 상기 적어도 하나의 특정 신체 일부와 연관된 정보에 기반하여 생성되는 상기 제 1 신호와 연관된 적어도 하나의 그래픽 오브젝트를 포함하는 이미지를 상기 헤드-마운티드 디스플레이 장치로 전송하는 동작을 포함하는, 동작 방법이 제공될 수 있다.
다양한 실시예들에 따르면, 웨어러블 장치에 있어서, 적어도 하나의 센서, 통신 회로, 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 상기 통신 회로를 통해 전자 장치와 통신 연결을 설정하고, 상기 통신 회로를 통해 상기 전자 장치로부터 웨어러블 장치의 모드를 설정하기 위한 신호를 수신하고, 상기 적어도 하나의 센서를 이용하여 사용자의 입력을 식별하고, 상기 수신된 신호에 기반하여 상기 웨어러블 장치의 모드가 제 1 모드로 설정되는 경우, 상기 식별된 사용자의 입력에 대응하는 컨텐트를 제공하고, 상기 수신된 신호에 기반하여 상기 웨어러블 장치의 모드가 제 2 모드로 설정되는 경우, 상기 통신 회로를 통해 상기 식별된 사용자의 입력에 대한 정보를 포함하는 제 1 신호를 상기 전자 장치로 전송하도록 설정된, 웨어러블 장치가 제공될 수 있다.
다양한 실시예들에 따르면, HMD 장치에 있어서, 복수의 카메라들, 통신 회로, 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 상기 통신 회로를 통해 전자 장치와 통신 연결을 설정하고, 상기 카메라들을 이용하여 복수의 이미지들을 획득하고, 상기 복수의 이미지들 중 적어도 일부에 기반하여, 사용자의 적어도 하나의 특정 신체 일부와 연관된 정보를 획득하고, 상기 통신 회로를 통해 상기 전자 장치로 상기 적어도 하나의 특정 신체 일부와 연관된 정보를 송신하고, 상기 적어도 하나의 특정 신체 일부와 연관된 정보를 송신한 것에 기반하여, 상기 통신 회로를 통해 상기 전자 장치로부터 3D 그래픽 오브젝트를 포함하는 이미지를 상기 전자 장치로부터 수신하도록 설정된, HMD 장치가 제공될 수 있다.
다양한 실시예들에 따른, 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
다양한 실시예들에 따르면, 웨어러블 장치의 기능을 제공하기 위한 복수의 모드들을 관리하고, 웨어러블 장치의 모드를 복수의 모드들 중 지정된 조건을 만족하는 특정 모드로 설정함으로써, 혼합 현실 서비스를 제공하는 환경에서 웨어러블 장치의 오동작이 발생되는 문제점을 해결하는 전자 장치, 헤드-마운티드 디스플레이 장치, 웨어러블 장치 및 그 동작 방법이 제공될 수 있다.
다양한 실시예들에 따르면, 양 손이 위치될 확률에 기반하여 웨어러블 장치의 모드를 몰입형 컨텐트를 제어하기 위한 모드로 설정할지 여부를 결정으로써, 혼합 현실 서비스를 제공하는 환경에서 기민하게 웨어러블 장치의 모드를 설정하는 전자 장치, 헤드-마운티드 디스플레이 장치, 웨어러블 장치 및 그 동작 방법이 제공될 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2a는 다양한 실시예들에 따른 확장 현실(extended reality, XR) 기술을 이용하기 위한 전자 장치들의 예를 도시하는 도면이다.
도 2b는 다양한 실시예들에 따른 확장 현실(extended reality, XR)을 이용하기 위한 전자 장치들의 다른 예를 도시하는 도면이다.
도 2c은 다양한 실시예들에 따른 웨어러블 장치(예: 스마트 워치), 무선 이어폰)를 이용하여 헤드-마운티드 디스플레이 장치를 통해 제공되는 몰입형 컨텐트(또는, 뷰)를 제어하는 동작의 예를 설명하기 위한 도면이다.
도 3은, 다양한 실시예들에 따른, 증강 현실 장치의 구조를 도시한다.
도 4는, 다양한 실시예들에 따른 증강 현실 장치의 블록도이다.
도 5는, 다양한 실시예들에 따른 증강 현실 장치의 디스플레이 및 안구 추적 카메라의 구조를 도시한다.
도 6은, 다양한 실시예들에 따른 웨어러블 장치의 전면의 사시도이다.
도 7은 다양한 실시예들에 따른 도 6의 전자 장치의 후면의 사시도이다.
도 8a는 다양한 실시예들에 따른 웨어러블 장치의 블록도이다.
도 8b는 웨어러블 장치의 모드의 예를 설명하기 위한 도면이다.
도 9a는 다양한 실시예들에 따른 전자 장치의 구성의 일 예를 설명하기 위한 도면이다.
도 9b는 다양한 실시예들에 따른 전자 장치의 구성의 다른 예를 설명하기 위한 도면이다.
도 10은 다양한 실시예들에 따른 전자 장치, HMD 장치, 및 웨어러블 장치의 동작의 일 예를 설명하기 위한 흐름도이다.
도 11a는 다양한 실시예들에 따른 전자 장치, HMD 장치, 및 웨어러블 장치의 동작의 예를 설명하기 위한 도면이다.
도 11b는 다양한 실시예들에 따른 HMD 장치의 웨어러블 장치를 이용한 입력에 기반하여 생성된 확장 현실(XR) 기술 기반의 이미지를 표시하는 동작의 예를 설명하기 위한 도면이다.
도 12는 다양한 실시예들에 따른 전자 장치의 웨어러블 장치의 모드를 설정하는 동작의 예를 설명하기 위한 도면이다.
도 13은 다양한 실시예들에 따른 전자 장치의 동작의 일 예를 설명하기 위한 흐름도이다.
도 14는 다양한 실시예들에 따른 전자 장치의 동작의 일 예를 설명하기 위한 흐름도이다.
도 15는 다양한 실시예들에 따른 웨어러블 장치의 모드를 설정하기 위한 파라미터의 값의 예를 설명하기 위한 도면이다.
도 16a는 다양한 실시예들에 따른 전자 장치의 웨어러블 장치로부터 수신된 제어 신호에 기반하여 HMD 장치를 통해 표시되는 오브젝트를 이동시키기 위한 동작의 예를 설명하기 위한 도면이다.
도 16b는 다양한 실시예들에 따른 HMD 장치를 통해 표시될 오브젝트를 이동시키기 위한 동작들과 동작들 별 웨어러블 장치의 모드를 설명하기 위한 도면이다.
도 17a는 다양한 실시예들에 따른 전자 장치의 웨어러블 장치로부터 수신된 제어 신호에 기반하여 HMD 장치를 통해 특정 화면을 표시하기 위한 동작의 예를 설명하기 위한 도면이다.
도 17b는 다양한 실시예들에 따른 HMD 장치를 통해 특정 화면을 표시하기 위한 동작들과 동작들 별 웨어러블 장치의 모드를 설명하기 위한 도면이다.
도 18은 다양한 실시예들에 따른 전자 장치의 동작의 일 예를 설명하기 위한 흐름도이다.
도 19는 다양한 실시예들에 따른 전자 장치의 동작의 일 예를 설명하기 위한 흐름도이다.
도 20은 다양한 실시예들에 따른 복수의 영역들 및 확률 정보의 예를 설명하기 위한 도면이다.
도 21은 다양한 실시예들에 따른 전자 장치의 동작의 일 예를 설명하기 위한 흐름도이다.
도 22는 다양한 실시예들에 따른 전자 장치의 동작의 일 예를 설명하기 위한 흐름도이다.
도 23은 다양한 실시예들에 따른 전자 장치의 동작의 일 예를 설명하기 위한 흐름도이다.
도 2a는 다양한 실시예들에 따른 확장 현실(extended reality, XR) 기술을 이용하기 위한 전자 장치들의 예를 도시하는 도면이다.
도 2b는 다양한 실시예들에 따른 확장 현실(extended reality, XR)을 이용하기 위한 전자 장치들의 다른 예를 도시하는 도면이다.
도 2c은 다양한 실시예들에 따른 웨어러블 장치(예: 스마트 워치), 무선 이어폰)를 이용하여 헤드-마운티드 디스플레이 장치를 통해 제공되는 몰입형 컨텐트(또는, 뷰)를 제어하는 동작의 예를 설명하기 위한 도면이다.
도 3은, 다양한 실시예들에 따른, 증강 현실 장치의 구조를 도시한다.
도 4는, 다양한 실시예들에 따른 증강 현실 장치의 블록도이다.
도 5는, 다양한 실시예들에 따른 증강 현실 장치의 디스플레이 및 안구 추적 카메라의 구조를 도시한다.
도 6은, 다양한 실시예들에 따른 웨어러블 장치의 전면의 사시도이다.
도 7은 다양한 실시예들에 따른 도 6의 전자 장치의 후면의 사시도이다.
도 8a는 다양한 실시예들에 따른 웨어러블 장치의 블록도이다.
도 8b는 웨어러블 장치의 모드의 예를 설명하기 위한 도면이다.
도 9a는 다양한 실시예들에 따른 전자 장치의 구성의 일 예를 설명하기 위한 도면이다.
도 9b는 다양한 실시예들에 따른 전자 장치의 구성의 다른 예를 설명하기 위한 도면이다.
도 10은 다양한 실시예들에 따른 전자 장치, HMD 장치, 및 웨어러블 장치의 동작의 일 예를 설명하기 위한 흐름도이다.
도 11a는 다양한 실시예들에 따른 전자 장치, HMD 장치, 및 웨어러블 장치의 동작의 예를 설명하기 위한 도면이다.
도 11b는 다양한 실시예들에 따른 HMD 장치의 웨어러블 장치를 이용한 입력에 기반하여 생성된 확장 현실(XR) 기술 기반의 이미지를 표시하는 동작의 예를 설명하기 위한 도면이다.
도 12는 다양한 실시예들에 따른 전자 장치의 웨어러블 장치의 모드를 설정하는 동작의 예를 설명하기 위한 도면이다.
도 13은 다양한 실시예들에 따른 전자 장치의 동작의 일 예를 설명하기 위한 흐름도이다.
도 14는 다양한 실시예들에 따른 전자 장치의 동작의 일 예를 설명하기 위한 흐름도이다.
도 15는 다양한 실시예들에 따른 웨어러블 장치의 모드를 설정하기 위한 파라미터의 값의 예를 설명하기 위한 도면이다.
도 16a는 다양한 실시예들에 따른 전자 장치의 웨어러블 장치로부터 수신된 제어 신호에 기반하여 HMD 장치를 통해 표시되는 오브젝트를 이동시키기 위한 동작의 예를 설명하기 위한 도면이다.
도 16b는 다양한 실시예들에 따른 HMD 장치를 통해 표시될 오브젝트를 이동시키기 위한 동작들과 동작들 별 웨어러블 장치의 모드를 설명하기 위한 도면이다.
도 17a는 다양한 실시예들에 따른 전자 장치의 웨어러블 장치로부터 수신된 제어 신호에 기반하여 HMD 장치를 통해 특정 화면을 표시하기 위한 동작의 예를 설명하기 위한 도면이다.
도 17b는 다양한 실시예들에 따른 HMD 장치를 통해 특정 화면을 표시하기 위한 동작들과 동작들 별 웨어러블 장치의 모드를 설명하기 위한 도면이다.
도 18은 다양한 실시예들에 따른 전자 장치의 동작의 일 예를 설명하기 위한 흐름도이다.
도 19는 다양한 실시예들에 따른 전자 장치의 동작의 일 예를 설명하기 위한 흐름도이다.
도 20은 다양한 실시예들에 따른 복수의 영역들 및 확률 정보의 예를 설명하기 위한 도면이다.
도 21은 다양한 실시예들에 따른 전자 장치의 동작의 일 예를 설명하기 위한 흐름도이다.
도 22는 다양한 실시예들에 따른 전자 장치의 동작의 일 예를 설명하기 위한 흐름도이다.
도 23은 다양한 실시예들에 따른 전자 장치의 동작의 일 예를 설명하기 위한 흐름도이다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 전자 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 1에서 기술되는 전자 장치(101)에 대한 설명은, 이하의 전자 장치(210), 헤드-마운티드 디스플레이 장치(221), 및 제어 웨어러블 장치(223)에 대한 설명에 준용될 수 있으므로, 중복되는 설명은 생략한다.
이하에서는 다양한 실시예들에 따른 확장 현실(extended reality, XR) 기술을 이용하기 위한 전자 장치들(예: 전자 장치(210)(예: 단말) 및 웨어러블 장치들(220)(예: 헤드-마운티드 디스플레이(head mounted display, HMD) 장치(221), 제어 웨어러블 장치(223)(예: 스마트 워치(223a), 무선 이어폰(223b))), 및 서버(230))의 예를 설명한다.
도 2a는 다양한 실시예들에 따른 확장 현실(extended reality, XR) 기술을 이용하기 위한 전자 장치들(예: 전자 장치(210) 및 웨어러블 장치(220))의 예를 도시하는 도면이다. 도 2b는 다양한 실시예들에 따른 확장 현실(extended reality, XR)을 이용하기 위한 전자 장치들(예: 전자 장치(210), 웨어러블 장치(220) 및 서버(230))의 다른 예를 도시하는 도면이다. 도 2c은 다양한 실시예들에 따른 웨어러블 장치(예: 스마트 워치(223a), 무선 이어폰(223b))를 이용하여 헤드-마운티드 디스플레이 장치(221)를 통해 제공되는 몰입형 컨텐트(또는, 뷰)를 제어하는 동작의 예를 설명하기 위한 도면이다.
다양한 실시예들에 따르면, 도 2a를 참조하면, 확장 현실(extended reality, XR) 기술을 이용(또는, 확장 현실 서비스를 제공)하기 위한 장치들은 전자 장치(210), 및 웨어러블 장치(220)를 포함할 수 있다. 상기 확장 현실 기술은 가상 현실(virtual reality, VR) 기술, 증강 현실(augmented reality, AR) 기술, 및 혼합 현실(mixed reality, MR) 기술을 포함할 수 있으나, 기재된 바에 제한되지 않고 사용자에게 몰입 경험(immersive experience)을 제공하기 위한 다양한 종류의 기술을 더 포함할 수 있다.
다양한 실시예들에 따르면 상기 전자 장치(210)는 스마트 폰, 태블릿 및 노트 북과 같은 단말을 포함할 수 있다.
다양한 실시예들에 따르면 상기 웨어러블 장치(220)는 헤드-마운티드 디스플레이 장치(221), 및 제어 웨어러블 장치(223)를 포함할 수 있다. 상기 "제어 웨어러블 장치(223)"라는 용어는 웨어러블 장치(220) 중 상기 헤드-마운티드 디스플레이 장치(221) 이외의 웨어러블 장치를 분류하기 위한 용어로서, 기재된 바에 제한되지 않고 상기 헤드-마운티드 디스플레이 장치(221) 이외의 웨어러블 장치는 상기 "제어 웨어러블 장치(223)"라는 용어 이외의 다른 용어로 정의될 수도 있다. 예를 들어, 헤드-마운티드 디스플레이 장치(221)는 안경형 헤드-마운티드 디스플레이 장치, 2D/3D 헤드-마운티드 디스플레이 장치, AR 헤드-마운티드 디스플레이 장치, 및 VR 헤드-마운티드 디스플레이 장치를 포함하며, 기재된 바에 제한되지 않고 사용자의 머리에 착용되어 사용자의 눈으로 몰입형 컨텐트(예: XR 기술에 기반한 컨텐트)의 제공이 가능한 장치들을 더 포함할 수 있다. 한편 상기 헤드-마운티드 디스플레이 장치(221)는 페이스-마운티드 디스플레이(face mounted display, FMD) 장치로 정의될 수도 있다. 또 예를 들어, 상기 제어 웨어러블 장치(223)는 스마트 워치(223a), 무선 이어폰(223b), 조이스틱 기기와 같이 헤드-마운티드 디스플레이 장치(221) 이외에 사용자의 신체에 착용 가능한 종류의 장치들을 포함할 수 있다. 상기 헤드-마운티드 디스플레이 장치(221)와 제어 웨어러블 장치(223)의 구체적인 예에 대해서는 더 후술한다.
다양한 실시예들에 따르면, 상기 장치들(예: 전자 장치(210), 헤드-마운티드 디스플레이 장치(221), 및 제어 웨어러블 장치(223))은 사용자에게 제공되는 몰입형 컨텐트(예: XR 기술에 기반한 컨텐트)를 제어할 수 있다. 예를 들어, 상기 장치들(예: 전자 장치(210), 헤드-마운티드 디스플레이 장치(221), 및 제어 웨어러블 장치(223))은 서로 통신 연결을 설정하고, 서로 송신 및/또는 수신하는 정보에 기반하여 헤드-마운티드 디스플레이 장치(221)에 의해 사용자에게 제공되는 몰입형 컨텐트(예: XR 기술에 기반한 컨텐트)를 제어(예: 갱신, 변형, 이동)할 수 있다. 예를 들어, 상기 통신 연결은 Wi-Fi, 블루투스(Bluetooth), BLE와 같은 근거리 무선 통신 방식에 의해 설정될 수 있으나, 기재된 통신 연결 방식 이외의 무선 통신 연결 방식(예: 3G, 4G/LTE, NR과 같은 셀룰러 통신, 또는 광 통신)과 유선 통신 연결 방식에 의해 통신 연결이 설정될 수도 있다. 예를 들어, 전자 장치(210)는 상기 헤드-마운티드 디스플레이 장치(221)로부터 수신되는 정보(예: 사용자의 손, 머리, 또는 시선과 같은 신체 일부와 연관된 정보) 및/또는 제어 웨어러블 장치(223)(예: 스마트 워치)로부터 수신되는 신호에 기반하여, 헤드-마운티드 디스플레이 장치(221)를 통해 표시될 몰입형 컨텐트(예: XR 기술에 기반한 컨텐트)를 제어할 수 있다. 일 실시예에서, 상기 제어 웨어러블 장치(223)(예: 스마트 워치) 및 상기 제어 웨어러블 장치(223)를 착용하는 사용자의 신체 일부의 움직임에 기반하여, 전자 장치(210)는 상기 몰입형 컨텐트를 제어할 수 있다. 예를 들어, 전자 장치(210)는 상기 제어 웨어러블 장치(223)(예: 스마트 워치)로부터 수신되는 신호에 기반하여, 몰입형 컨텐트를 제어할 수 있다. 또 예를 들어, 전자 장치(210)는 상기 제어 웨어러블 장치(223)(예: 스마트 워치)를 착용한 신체 일부(예: 팔, 또는 손)에 기반하여, 몰입형 컨텐트를 제어할 수 있다. 도 2c를 참조하면, 헤드-마운티드 디스플레이 장치(221)에 의해 복수의 영역들(서브 영역들(S1' 및 S1")를 포함하는 전방 영역(S1)과 하방 영역(S2))이 촬영되고, 상기 촬영된 결과에 기반하여 식별되는 제어 웨어러블 장치(223)의 위치 및/또는 신체 일부(예: 양 손)의 위치에 기반하여 상기 몰입형 컨텐트의 제어가 수행될 수 있다. 예를 들어, 상기 헤드-마운티드 디스플레이 장치(221)에 포함된 복수의 카메라들을 이용하여 촬영된 공간들 중 사용자의 HMD 장치(221)를 착용한 신체 일부(예: 머리(H))를 기준으로 전방에 대한 FOV(field of view)를 가지는 적어도 일부 카메라에 의해 촬영된 공간은 전방 영역(S1)으로 정의되고, 상기 사용자의 신체 일부(예: 머리(H))를 기준으로 하방에 대한 FOV를 가지는 적어도 일부 카메라에 의해 촬영된 공간은 하방 영역(S2)으로 정의될 수 있다. 이때, 상기 전방 영역(S1)을 촬영하는 카메라 각각에 의해 촬영된 공간은 서브 영역(예: S1', S1")으로 정의될 수 있다. 상기 촬영된 공간 내에서 인식되는 제어 웨어러블 장치(223)의 위치, 사용자의 시선의 위치, 및/또는 사용자의 양손의 위치에 기반하여 제어 웨어러블 장치(223)의 모드가 설정될 수 있는데, 이에 대해서는 후술한다. 상기 전자 장치(210)의 몰입형 컨텐트 제어 기술은, 하이브리드(hybrid) 타입의 컨텐트 제어 기술로 정의될 수 있다. 전자 장치(210)는 하이브리드 타입의 컨텐트 제어 기술을 제공하는 동작의 적어도 일부로, 제어 웨어러블 장치(223)(예: 스마트 워치)의 모드를 몰입형 컨텐트의 제어를 위한 모드로 설정하고, 상기 모드 설정에 기반하여 제어 웨어러블 장치(223)(예: 스마트 워치)로부터 몰입형 컨텐트의 제어를 위한 신호를 수신할 수 있다. 상기 전자 장치(210)의 동작에 대해서는 구체적으로 후술한다. 또 일 실시예에서, 상기 제어 웨어러블 장치(223)(예: 스마트 워치)로부터 수신되는 신호에만 기반하여, 전자 장치(210)는 몰입형 컨텐트를 제어할 수 있다. 상기 전자 장치(210)의 몰입형 컨텐트 제어 기술은, 컨트롤러(controller) 타입의 컨텐트 제어 기술로 정의될 수 있다. 또 일 실시예에서, 상기 사용자의 신체 일부(예: 손)의 움직임에만 기반하여, 전자 장치(210)는 몰입형 컨텐트를 제어할 수 있다. 상기 전자 장치(210)의 몰입형 컨텐트 제어 기술은, 핸드 제스쳐(hand-gesture) 타입의 컨텐트 제어 기술로 정의될 수 있다. 전자 장치(210)는 사용자의 제어 웨어러블 장치(223)의 착용 여부 및 착용된 웨어러블 장치의 종류에 따라서, 상기 컨텐트 제어 기술들 중 특정 컨텐트 제어 기술을 선택할 수 있다. 예를 들어, 전자 장치(210)는 사용자가 스마트 워치를 착용한 경우, 상기 컨텐트 제어 기술들 중 하이브리드 타입의 컨텐트 제어 기술을 선택하여, 몰입형 컨텐트를 제어할 수 있다.
한편 기재된 바에 제한되지 않고, 상기 전자 장치(210)가 아닌 다른 장치가 상기 헤드-마운티드 디스플레이 장치(221)를 통해 표시되는 컨텐트를 제어할 수 있다. 예를 들어, 도 2b를 참조하면, 전자 장치(210) 이외에 별도로 원격의 서버(230)가 구현되고 서버(230)가 상기 전자 장치(210) 및/또는 웨어러블 장치로부터 수신되는 정보에 기반하여, 헤드-마운티드 디스플레이 장치(221)를 통해 표시될 몰입형 컨텐트를 제어할 수 있다. 상기 서버(230)의 상기 몰입형 컨텐트를 제어하는 동작은 전술한 전자 장치(210)의 동작과 같이 수행될 수 있으므로 중복되는 설명은 생략한다. 또 예를 들어, 장치들 중 전자 장치(210) 이외의 HMD 장치(221) 및/또는 제어 웨어러블 장치(223)에서 전술한 전자 장치(210)의 몰입형 컨텐트를 제어하는 동작을 수행할 수도 있다.
이하에서는 도 3 내지 도 5를 참조하여, 다양한 실시예들에 따른 헤드 마운티드 디스플레이 장치(221)의 예(이하, 증강 현실 장치(300)(예: AR 헤드-마운티드 디스플레이 장치))에 대해서 설명한다. 전술한 바와 같이, 헤드 마운티드 디스플레이 장치가 이하의 예(증강 현실 장치)로 제한되는 것은 아니며, 사용자의 눈으로 몰입형 컨텐트(예: XR 기술에 기반한 컨텐트)의 제공이 가능한 다양한 장치들(예: 안경형 헤드-마운티드 디스플레이 장치, 2D/3D 헤드-마운티드 디스플레이 장치, 및 VR 헤드-마운티드 디스플레이 장치)로 구현될 수 있다.
도 3은, 다양한 실시예들에 따른, 증강 현실 장치의 구조를 도시한다. 다양한 실시예에 따라서, 증강 현실 장치(300)는 하나 이상의 제1 카메라(311-1, 311-2), 하나 이상의 제2 카메라(312-1, 312-2), 및 하나 이상의 제3 카메라(213)를 포함할 수 있다. 다양한 실시예에 따라서, 하나 이상의 제1 카메라(311-1, 311-2)를 통하여 획득된 이미지는 사용자에 의한 손 제스처 검출, 사용자의 머리 추적, 및/또는 공간 인식에 이용될 수 있다. 다양한 실시예에 따라서, 하나 이상의 제1 카메라(311-1, 311-2)는 GS(global shutter) 카메라 또는 RS(rolling shutter) 카메라일 수 있다. 다양한 실시예에 따라서, 하나 이상의 제1 카메라(311-1, 311-2)는 깊이 촬영을 통한 SLAM(simultaneous localization and mapping) 연산을 수행할 수 있다. 다양한 실시예에 따라서, 하나 이상의 제1 카메라(311-1, 311-2)는 3DoF 및/또는 6DoF를 위한 공간 인식을 수행할 수 있다.
다양한 실시예에 따라서, 하나 이상의 제2 카메라(312-1, 312-2)를 통하여 획득된 이미지는 사용자의 눈동자를 검출하고 추적하는 데 이용될 수 있다. 다양한 실시예에 따라서, 하나 이상의 제2 카메라(312-1, 312-2)는 GS 카메라일 수 있다. 다양한 실시예에 따라서, 하나 이상의 제2 카메라(312-1, 312-2)는 각각 좌안 및 우안에 대응될 수 있고, 하나 이상의 제2 카메라(312-1, 312-2)의 성능은 동일할 수 있다.
다양한 실시예에 따라서, 하나 이상의 제3 카메라(213)는 고해상도의 카메라일 수 있다. 다양한 실시예에 따라서, 하나 이상의 제3 카메라(213)는 자동 포커싱(auto-focusing, AF) 기능과 떨림 보정(OIS) 기능을 수행할 수 있다. 다양한 실시예에 따라서, 하나 이상의 제3 카메라(313)는 GS 카메라이거나, RS(rolling shutter) 카메라일 수 있다. 다양한 실시예에 따라서, 하나 이상의 제3 카메라(313)는 컬러 카메라일 수 있다.
다양한 실시예에 따라서, 증강 현실 장치(300)는 하나 이상의 발광 소자(314-1, 314-2)을 포함할 수 있다. 발광 소자(314-1, 314-2)는 디스플레이의 화면 출력 영역으로 빛을 조사하는, 후술할 광원과는 상이하다. 다양한 실시예에 따라서, 발광 소자(314-1, 314-2)는 하나 이상의 제2 카메라(312-1, 312-2)를 통하여 사용자의 눈동자를 검출하고 추적하는 데 있어서, 눈동자 검출을 용이하게 하기 위한 빛을 조사할 수 있다. 다양한 실시예에 따라서, 발광 소자(314-1, 314-2)는 각각 LED를 포함할 수 있다. 다양한 실시예에 따라서, 발광 소자(314-1, 314-2)는 적외선 영역의 빛을 조사할 수 있다. 다양한 실시예에 따라서, 발광 소자(314-1, 314-2)는 증강 현실 장치(300)의 프레임 주변에 부착될 수 있다. 다양한 실시예에 따라서, 발광 소자(314-1, 314-2)는 하나 이상의 제1 카메라(311-1, 311-2) 주변에 위치하고, 증강 현실 장치(300)가 어두운 환경에서 사용될 때 하나 이상의 제1 카메라(311-1, 311-2)에 의한 제스처 검출, 머리 추적, 및 공간 인식을 보조할 수 있다. 다양한 실시예에 따라서, 발광 소자(314-1, 314-2)는 하나 이상의 제3 카메라(313) 주변에 위치하고, 증강 현실 장치(300)가 어두운 환경에서 사용될 때 하나 이상의 제3 카메라(313)에 의한 이미지 획득을 보조할 수 있다.
다양한 실시예에 따라서, 증강 현실 장치(300)는 배터리(335-1, 335-2)를 포함할 수 있다. 배터리(335-1, 335-2)는 증강 현실 장치(300)의 나머지 구성요소들을 동작시키기 위한 전력을 저장할 수 있다.
다양한 실시예에 따라서, 증강 현실 장치(300)는 제1 디스플레이(351), 제2 디스플레이(352), 하나 이상의 입력 광학 부재(353-1, 353-2), 하나 이상의 투명 부재(390-1, 390-2), 및 하나 이상의 화면 표시 부분(354-1, 354-2)을 포함할 수 있다. 다양한 실시예에 따라서, 제1 디스플레이(351) 및 제2 디스플레이(352)는 예를 들면, 액정 표시 장치(liquid crystal display; LCD), 디지털 미러 표시 장치(digital mirror device; DMD), 실리콘 액정 표시 장치(liquid crystal on silicon; LCoS), 유기 발광 다이오드(organic light emitting diode; OLED) 또는 마이크로 엘이디(micro light emitting diode; micro LED)를 포함할 수 있다. 다양한 실시예에 따라서, 제1 디스플레이(351) 및 제2 디스플레이(352)가 액정 표시 장치, 디지털 미러 표시 장치 또는 실리콘 액정 표시 장치 중 하나로 이루어지는 경우, 증강 현실 장치(300)는 디스플레이의 화면 출력 영역으로 빛을 조사하는 광원을 포함할 수 있다. 다른 다양한 실시예에 따라서, 제1 디스플레이(351) 및 제2 디스플레이(352)가 자체적으로 빛을 발생시킬 수 있는 경우, 예를 들어, 유기 발광 다이오드 또는 마이크로 엘이디 중 하나로 이루어지는 경우, 증강 현실 장치(300)는 별도의 광원을 포함하지 않더라도 사용자에게 양호한 품질의 가상 영상을 제공할 수 있다.
다양한 실시예에 따라서, 하나 이상의 투명 부재(390-1, 390-2)는 사용자가 증강 현실 장치(300)를 착용하였을 때 사용자의 눈에 대면하게 배치될 수 있다. 다양한 실시예에 따라서, 하나 이상의 투명 부재(390-1, 390-2)는 글래스 플레이트, 플라스틱 플레이트 또는 폴리머 중 적어도 하나를 포함할 수 있다. 다양한 실시예에 따라서, 사용자는 증강 현실 장치(300)를 착용하였을 때 하나 이상의 투명 부재(390-1, 390-2)를 통하여 외부 세계를 볼 수 있다. 다양한 실시예에 따라서, 하나 이상의 입력 광학 부재(353-1, 353-2)는 제1 디스플레이(351) 및 제2 디스플레이(352)에서 생성한 빛을 사용자의 눈으로 유도할 수 있다. 다양한 실시예에 따라서, 하나 이상의 투명 부재(390-1, 390-2) 위의 하나 이상의 화면 표시 부분(354-1, 354-2) 위에 제1 디스플레이(351) 및 제2 디스플레이(352)에서 생성한 빛에 기초한 상이 맺히고, 사용자는 하나 이상의 화면 표시 부분(354-1, 354-2) 위에 맺힌 상을 볼 수 있다.
다양한 실시예에 따라서, 증강 현실 장치(300)는 하나 이상의 광도파로(미도시)를 포함할 수 있다. 광도파로는 제1 디스플레이(351) 및 제2 디스플레이(352)에서 생성한 빛을 사용자의 눈으로 전달할 수 있다. 증강 현실 장치(300)는 좌안 및 우안에 대응하여 각각 하나씩의 광도파로를 포함할 수 있다. 다양한 실시예에 따라서, 광도파로는 글래스, 플라스틱 또는 폴리머 중 적어도 하나를 포함할 수 있다. 다양한 실시예에 따라서, 광도파로는 내부 또는 외부의 일표면에 형성된 나노 패턴, 예를 들어, 다각형 또는 곡면 형상의 격자 구조(grating structure)를 포함할 수 있다. 다양한 실시예에 따라서, 광도파로는 free-form형 프리즘을 포함할 수 있고, 이 경우, 광도파로는 입사된 광을 반사 미러를 통해 사용자에게 제공할 수 있다. 다양한 실시예에 따라서, 광도파로는 적어도 하나의 회절 요소(예: DOE(diffractive optical element), HOE(holographic optical element)) 또는 반사 요소(예: 반사 거울) 중 적어도 하나를 포함하고, 광도파로에 포함된 적어도 하나의 회절 요소 또는 반사 요소를 이용하여 광원으로부터 방출된 디스플레이 광을 사용자의 눈으로 유도할 수 있다. 다양한 실시 예에 따라, 회절 요소는 입력/출력 광학 부재를 포함할 수 있다. 다양한 실시 예에 따라, 반사 요소는 전반사를 일으키는 부재를 포함할 수 있다.
다양한 실시예에 따라서, 증강 현실 장치(300)는 하나 이상의 음성 입력 장치(362-1, 362-2, 362-3) 및 하나 이상의 음성 출력 장치(363-1, 363-2)를 포함할 수 있다.
다양한 실시예에 따라서, 증강 현실 장치(300)는 제1 PCB(370-1) 및 제2 PCB(370-2)를 포함할 수 있다. 제1 PCB(370-1) 및 제2 PCB(370-2)는 도 2를 참조하여 후술할 제1 카메라(311), 제2 카메라(312), 제3 카메라(313), 디스플레이 모듈(250), 오디오 모듈(261), 및 센서(280)와 같은, 증강 현실 장치(300)에 포함되는 구성 요소에 전기 신호를 전달할 수 있다. 다양한 실시예에 따라서, 제1 PCB(370-1) 및 제2 PCB(370-2)는 FPCB일 수 있다. 다양한 실시예에 따라서, 제1 PCB(370-1) 및 제2 PCB(370-2)는 각각 제1 기판, 제2 기판, 및 제1 기판과 상기 제2 기판 사이에 배치된 인터포저를 포함할 수 있다.
도 4는, 다양한 실시예들에 따른 증강 현실 장치의 블록도이다. 증강 현실 장치(400)는 프로세서(410), 제1 카메라(431), 제2 카메라(432), 및 제3 카메라(433)를 포함하는 복수의 카메라들(430), PMIC(421), 좌측 차저(422), 좌측 무선 충전 안테나(424), 좌측 배터리(423), 우측 차저(425), 우측 무선 충전 안테나(427), 우측 배터리(426), 우측 디스플레이 제어부(441), 우측 디스플레이(442), 좌측 디스플레이 제어부(443), 좌측 디스플레이(444), 통신 회로(450), 근접 센서(461), 6축 센서(462), 자기 센서(463), 키(470), 메모리(480), 스피커 증폭기(491), 음성 출력 장치(492), 및 음성 입력 장치(493)를 포함할 수 있다.
다양한 실시예에 따라서, 프로세서(410)는 증강 현실 장치(400)의 다른 구성요소들, 예를 들어, 제1 카메라(431), 제2 카메라(432), 제3 카메라(433), PMIC(421), 우측 디스플레이 제어부(441), 좌측 디스플레이 제어부(443), 통신 회로(450), 메모리(480), 및 스피커 증폭기(491)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다.
다양한 실시예에 따라서, 도 3을 참조하여 상술한 하나 이상의 제1 카메라(311-1, 311-2), 하나 이상의 제2 카메라(312-1, 312-2), 및 하나 이상의 제3 카메라(313)의 세부 사항이 제1 카메라(431), 제2 카메라(432), 및 제3 카메라(433)에 각각 동일하게 적용될 수 있다. 다양한 실시예에 따라서, 증강 현실 장치(400)는 제1 카메라(431), 제2 카메라(432), 및 제3 카메라(433) 중 적어도 하나를 복수 개 포함할 수 있다.
다양한 실시예에 따라서, PMIC(421)는 좌측 배터리(423) 및 우측 배터리(426)에 저장된 전력을 증강 현실 장치(400)의 다른 구성요소들이 요구하는 전류 또는 전압을 갖도록 변환하여 증강 현실 장치(400)의 다른 구성요소들에 공급할 수 있다. 다양한 실시예에 따라서, 우측 배터리(426)는 도 3의 배터리(335-1)로 구현되고, 좌측 배터리(423)는 도 2의 배터리(335-2)로 구현될 수 있다. 다양한 실시예에 따라서, 좌측 차저(422)는 좌측 무선 충전 안테나(424)를 통하여 수신된 무선 전력에 기초하여 좌측 배터리(423)를 충전할 수 있다. 다양한 실시예에 따라서, 우측 차저(425)는 우측 무선 충전 안테나(427)를 통하여 수신된 무선 전력에 기초하여 우측 배터리(426)를 충전할 수 있다.
다양한 실시예에 따라서, 우측 디스플레이 제어부(441) 및 우측 디스플레이(442)는 도 3을 참조하여 상술한 제1 디스플레이(351)를 구성할 수 있다. 다양한 실시예에 따라서, 우측 디스플레이 제어부(441)는 우측 디스플레이(442)의 구동부를 제어할 수 있다. 다양한 실시예에 따라서, 우측 디스플레이(442)는 광원을 전달함으로써 화면을 표시할 수 있다. 다양한 실시예에 따라서, 좌측 디스플레이 제어부(443) 및 좌측 디스플레이(444)는 도 2를 참조하여 상술한 제2 디스플레이(352)를 구성할 수 있다. 다양한 실시예에 따라서, 좌측 디스플레이 제어부(443)는 좌측 디스플레이(444)의 구동부를 제어할 수 있다. 다양한 실시예에 따라서, 좌측 디스플레이(444)는 광원을 전달함으로써 화면을 표시할 수 있다.
다양한 실시예에 따라서, 통신 회로(450)는 증강 현실 장치(400) 외부의 전자 장치와의 무선 통신 채널의 수립 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다.
다양한 실시예에 따라서, 증강 현실 장치(400)는 근접 센서(461), 6축 센서(462), 및 자기 센서(463) 외 다양한 종류의 센서를 더 포함할 수 있다.
다양한 실시예에 따라서, 메모리(480)는, 증강 현실 장치(400)의 적어도 하나의 구성요소(예: 프로세서(410))에 의해 사용되는 다양한 데이터를 저장할 수 있다.
다양한 실시예에 따라서, 스피커 증폭기(491)는 음성 출력 장치(492)에 연결되어, 음성 출력 장치(492)에 전달될 데이터를 생성할 수 있다. 다양한 실시예에 따라서, 음성 출력 장치(492)는 스피커를 포함할 수 있다.
도 5는, 다양한 실시예들에 따른 증강 현실 장치의 디스플레이 및 안구 추적 카메라의 구조를 도시한다. 증강 현실 장치(500)(예: 도 3의 증강 현실 장치(300))는 디스플레이(521), 프로젝션 렌즈(522), 입력 광학 부재(523), 디스플레이 광도파로(524), 출력 광학 부재(525), 안구 추적 카메라(510), 제1 스플리터(541), 안구 추적 광도파로(542), 및/또는 제2 스플리터(543)를 포함할 수 있다.
증강 현실 장치(500)에서, 디스플레이(521)는 도 3에서 도시된 제1 디스플레이(351) 또는 제2 디스플레이(352)일 수 있다. 디스플레이(521)에서 출력된 빛은 프로젝션 렌즈(522)에 의하여 굴절되어 더 작은 구경의 영역으로 수렴할 수 있다. 프로젝션 렌즈(522)에 의하여 굴절된 빛은 입력 광학 부재(523)(예: 도 3의 입력 광학 부재(353-1, 353-2))를 지나 디스플레이 광도파로(524)에 입사되고, 디스플레이 광도파로(524)를 지나 출력 광학 부재(525)를 통하여 출력될 수 있다. 출력 광학 부재(525)에서 출력된 빛은 사용자의 눈(430)에 보일 수 있게 된다. 이하 본 명세서에서, "디스플레이 상에 오브젝트를 표시"한다는 표현은 디스플레이(521)에서 출력된 빛이 출력 광학 부재(525)를 통하여 출력되고, 출력 광학 부재(525)를 통하여 출력된 빛에 의해 사용자의 눈(430)에 오브젝트의 형상이 보인다는 의미일 수 있다. 또한, "오브젝트를 표시하도록 디스플레이를 제어"한다는 표현은 디스플레이(521)에서 출력된 빛이 출력 광학 부재(525)를 통하여 출력되고, 출력 광학 부재(525)를 통하여 출력된 빛에 의해 사용자의 눈(530)에 오브젝트의 형상이 보이게 하도록 디스플레이(521)를 제어한다는 의미일 수 있다.
사용자의 눈(430)으로부터 반사된 빛(435)은 제1 스플리터(541)를 지나 안구 추적 광도파로(542)에 입사되고, 안구 추적 광도파로(542)를 지나 제2 스플리터(543)를 통하여 안구 추적 카메라(510)에 출력될 수 있다. 다양한 실시예에 따라서, 사용자의 눈(430)으로부터 반사된 빛(435)은 도 3의 발광 소자(314-1, 314-2)에서 출력되고 사용자의 눈(430)에서 반사된 빛일 수 있다. 다양한 실시예에 따라서, 안구 추적 카메라(510)는 도 3에 도시된 하나 이상의 제2 카메라(312-1, 312-2)일 수 있다.
이하에서는 도 6 내지 도 8을 참조하여, 다양한 실시예들에 따른 제어 웨어러블 장치(223)의 예(이하, 웨어러블 장치(600))에 대해서 설명한다. 전술한 바와 같이, 제어 웨어러블 장치(223)가 이하의 예(웨어러블 장치(600))로 제한되는 것은 아니며, 사용자의 신체 일부에 착용 가능한 다양한 종류의 전자 장치로 구현될 수 있다.
도 6은, 다양한 실시예들에 따른 웨어러블 장치(600)의 전면의 사시도이다. 도 7은 다양한 실시예들에 따른 도 6의 웨어러블 장치(600)의 후면의 사시도이다.
도 6 및 도 7을 참조하면, 일 실시예에 따른 웨어러블 장치(600)(예: 도 1의 전자 장치(101))는, 제 1 면(또는 전면)(610A), 제 2 면(또는 후면)(610B), 및 제 1 면(610A) 및 제 2 면(610B) 사이의 공간을 둘러싸는 측면(610C)을 포함하는 하우징(610)과, 상기 하우징(610)의 적어도 일부에 연결되고 상기 웨어러블 장치(600)를 사용자의 신체 일부(예: 손목, 또는 발목)에 탈착 가능하게 결착하도록 구성된 결착 부재(650, 660)를 포함할 수 있다. 다른 실시예(미도시)에서는, 하우징은, 도 6의 제 1 면(610A), 제 2 면(610B) 및 측면(610C)들 중 일부를 형성하는 구조를 지칭할 수도 있다. 일 실시예에 따르면, 제 1 면(610A)은 적어도 일부분이 실질적으로 투명한 전면 플레이트(601)(예: 다양한 코팅 레이어들을 포함하는 글라스 플레이트, 또는 폴리머 플레이트)에 의하여 형성될 수 있다. 제 2 면(610B)은 실질적으로 불투명한 후면 커버(607)에 의하여 형성될 수 있다. 상기 후면 커버(607)는, 예를 들어, 코팅 또는 착색된 유리, 세라믹, 폴리머, 금속(예: 알루미늄, 스테인레스 스틸(STS), 또는 마그네슘), 또는 상기 물질들 중 적어도 둘의 조합에 의하여 형성될 수 있다. 상기 측면(610C)은, 전면 플레이트(601) 및 후면 커버(607)와 결합하며, 금속 및/또는 폴리머를 포함하는 측면 베젤 구조 (또는 "측면 부재")(606)에 의하여 형성될 수 있다. 어떤 실시예에서는, 후면 커버(607) 및 측면 베젤 구조(606)는 일체로 형성되고 동일한 물질(예: 알루미늄과 같은 금속 물질)을 포함할 수 있다. 상기 결착 부재(650, 660)는 다양한 재질 및 형태로 형성될 수 있다. 직조물, 가죽, 러버, 우레탄, 금속, 세라믹, 또는 상기 물질들 중 적어도 둘의 조합에 의하여 일체형 및 복수의 단위 링크가 서로 유동 가능하도록 형성될 수 있다.
일 실시예에 따르면, 웨어러블 장치(600)의 후면 커버(607)의 일 영역에는 전도성 소재로 형성되는 전극(682, 683)이 형성될 수 있다.
일 실시예에 따르면, 웨어러블 장치(600)는, 디스플레이(620), 오디오 모듈(605, 608), 센서 모듈(611), 키 입력 장치(602, 690) 및 커넥터 홀(609) 중 적어도 하나 이상을 포함할 수 있다. 어떤 실시예에서는, 웨어러블 장치(600)는, 구성요소들 중 적어도 하나(예: 키 입력 장치(602, 690), 커넥터 홀(609), 또는 센서 모듈(611))를 생략하거나 다른 구성요소를 추가적으로 포함할 수 있다.
디스플레이(620)는, 예를 들어, 전면 플레이트(601)의 상당 부분을 통하여 노출될 수 있다. 디스플레이(620)의 형태는, 상기 전면 플레이트(601)의 형태에 대응하는 형태일 수 있으며, 원형, 타원형, 또는 다각형 등 다양한 형태일 수 있다. 디스플레이(620)는, 터치 감지 회로, 터치의 세기(압력)를 측정할 수 있는 압력 센서, 및/또는 지문 센서와 결합되거나 인접하여 배치될 수 있다.
오디오 모듈(605, 608)은, 마이크 홀(605) 및 스피커 홀(608)을 포함할 수 있다. 마이크 홀(605)은 외부의 소리를 획득하기 위한 마이크가 내부에 배치될 수 있고, 어떤 실시예에서는 소리의 방향을 감지할 수 있도록 복수개의 마이크가 배치될 수 있다. 스피커 홀(608)은, 외부 스피커 및 통화용 리시버로 사용할 수 있다. 어떤 실시예에서는 스피커 홀(608)과 마이크 홀(605)이 하나의 홀로 구현 되거나, 스피커 홀(608) 없이 스피커가 포함될 수 있다(예: 피에조 스피커).
센서 모듈(611)은, 웨어러블 장치(600)의 내부의 작동 상태, 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(611)은, 예를 들어, 상기 하우징(610)의 제 2 면(610B)에 배치된 생체 센서 모듈(611)(예: HRM 센서)을 포함할 수 있다. 웨어러블 장치(600)는, 도시되지 않은 센서 모듈, 예를 들어, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서 중 적어도 하나를 더 포함할 수 있다.
키 입력 장치(602, 690)는, 하우징(610)의 제 1 면(610A)에 배치되고 적어도 하나의 방향으로 회전 가능한 휠 키(602)(또는, 베젤(bezel) 키), 및/또는 하우징(610)의 측면(610C)에 배치된 사이드 키 버튼(690)을 포함할 수 있다. 휠 키는 전면 플레이트(601)의 형태에 대응하는 형태일 수 있다. 다른 실시예에서는, 웨어러블 장치(600)는 상기 언급된 키 입력 장치(602, 690)들 중 일부 또는 전부를 포함하지 않을 수 있고 포함되지 않은 키 입력 장치(602, 690)는 디스플레이(620) 상에 소프트 키 등 다른 형태로 구현될 수 있다.
커넥터 홀(609)은, 외부 전자 장치와 전력 및/또는 데이터를 송수신하기 위한 커넥터(예를 들어, USB 커넥터)를 수용할 수 있고 외부 전자 장치와 오디오 신호를 송수신하기 위한 커넥터를 수용할 수 있는 다른 커넥터 홀(미도시))을 포함할 수 있다. 웨어러블 장치(600)는, 예를 들면, 커넥터 홀(609)의 적어도 일부를 덮고, 커넥터 홀에 대한 외부 이물질의 유입을 차단하는 커넥터 커버(미도시)를 더 포함할 수 있다.
결착 부재(650, 660)는 락킹 부재(651, 661)를 이용하여 하우징(610)의 적어도 일부 영역에 탈착 가능하도록 결착될 수 있다. 결착 부재(650, 660)는 고정 부재(652), 고정 부재 체결 홀(653), 밴드 가이드 부재(654), 밴드 고정 고리(655) 중 하나 또는 그 이상을 포함할 수 있다.
고정 부재(652)는 하우징(610)과 결착 부재(650, 660)를 사용자의 신체 일부(예: 손목, 또는 발목)에 고정시키도록 구성될 수 있다. 고정 부재 체결 홀(653)은 고정 부재(652)에 대응하여 하우징(610)과 결착 부재(650, 660)를 사용자의 신체 일부에 고정시킬 수 있다. 밴드 가이드 부재(654)는 고정 부재(652)가 고정 부재 체결 홀(653)과 체결 시 고정 부재(652)의 움직임 범위를 제한하도록 구성됨으로써, 결착 부재(650, 660)가 사용자의 신체 일부에 밀착하여 결착되도록 할 수 있다. 밴드 고정 고리(655)는 고정 부재(652)와 고정 부재 체결 홀(653)이 체결된 상태에서, 결착 부재(650,660)의 움직임 범위를 제한할 수 있다.
도 8a는 다양한 실시예들에 따른 웨어러블 장치(600)의 블록도이다. 도 8b는 웨어러블 장치(600)의 모드의 예를 설명하기 위한 도면이다.
도 8a를 참조하면, 웨어러블 장치(600)는 디스플레이(820), 키 입력 장치(810), 적어도 하나의 센서(830), 통신 회로(840), 프로세서(850), 및 메모리(860)를 포함할 수 있다. 상기 디스플레이(820)는 도 6에서 기술한 디스플레이(600)와 같이 구현될 수 있으며, 키 입력 장치(810)는 도 6에서 기술한 키 입력 장치(602, 690)와 같이 구현될 수 있으므로 중복되는 설명은 생략한다.
다양한 실시예들에 따르면 센서(830)는 웨어러블 장치(600)로 수신되는 사용자의 입력을 식별하도록 구현될 수 있다. 예를 들어, 센서(830)는 도 8a에 도시된 바와 같이 디스플레이(820) 상으로 수신되는 사용자의 입력(예: 터치)을 센싱하기 위한 터치 센서(831), 웨어러블 장치(600)의 움직임을 센싱하기 위한 관성 센서(833), 및 키 입력 장치(810)를 이용한 사용자의 입력(예: 키 버튼 누름, 휠 키(또는 베젤 키) 회전)을 센싱하기 위한 키 입력 센서(835)를 포함할 수 있다. 상기 터치 센서(831)는 디스플레이(820)에 포함되는 터치 스크린으로 구현될 수 있으나, 이에 제한되지 않는다. 상기 키 입력 센서(835)는 상기 키 버튼이 눌리거나, 또는 상기 휠 키가 회전되는 경우, 전기적인 값이 변경되도록 상기 키 입력 장치(810)에 전기적으로 연결되는 전기적인 소자(예: 캐패시터, 및/또는 스위치)를 포함하도록 구현될 수 있다. 기재 및/또는 도시된 바에 제한되지 않고 상기 센서(830)는 웨어러블 장치(600)로 수신되는 사용자의 입력을 센싱하기 위한 다양한 종류의 센서(830)들을 더 포함할 수 있다.
다양한 실시예들에 따르면 통신 회로(840)는 장치들(예: 전자 장치(210), HMD 장치(221), 및 서버(230))과 통신 연결을 설정할 수 있다. 상기 통신 회로(840)는 Wi-Fi, 블루투스(Bluetooth), 또는 BLE와 같은 근거리 무선 통신 방식을 지원할 수 있으나, 기재된 통신 연결 방식 이외의 무선 통신 연결 방식(예: 3G, 4G/LTE, NR과 같은 셀룰러 통신, 또는 광 통신)과 유선 통신 연결 방식을 지원할 수도 있다. 통신 회로(840)는 도 1의 통신 모듈(190)과 같이 구현될 수 있으므로 중복되는 설명은 생략한다.
다양한 실시예들에 따르면 프로세서(850)는 웨어러블 장치(600)의 동작을 전반적으로 제어할 수 있다. 상기 프로세서(850)는 AP(application processor), CPU(central processing unit), GPU(graphic processing unit), DPU(display processing unit), 또는 NPU(neural processing unit) 중 적어도 하나를 포함할 수 있다. 이하에서 설명되는 프로세서(850)의 동작은 메모리(860)에 저장되는 모듈(예: 모드 결정 모듈(861))의 실행에 따라서 수행될 수 있다. 상기 메모리(860)에 저장된 모듈들(예: 모드 결정 모듈(861))의 적어도 일부는 소프트웨어, 펌웨어, 또는 이들 중 적어도 둘 이상의 조합으로 구현(예를 들어, 실행)될 수 있다. 예를 들어, 상기 모듈들은 프로세서(850)에 의해 실행 가능한 어플리케이션(application), 프로그램(program), 컴퓨터 코드(computer code), 인스트럭션들(instructions), 루틴(routine), 내지는 프로세스(process)의 형태로 구현될 수 있다. 이에 따라, 상기 모듈들(예: 모드 결정 모듈(861))이 프로세서(850)에 의해 실행되는 경우, 상기 모듈들(예: 모드 결정 모듈(861))은 상기 프로세서(850)가 상기 모듈들과 연관된 동작(또는, 모듈이 제공 가능한 기능)을 수행하도록 야기할 수 있다. 따라서 이하에서 특정 모듈이 동작을 수행한다는 기재는, 특정 모듈이 실행됨에 따라서 프로세서(850)가 해당 동작을 수행하는 것으로 해석될 수 있다. 또는 상기 모듈들(예: 모드 결정 모듈(861))은 특정 어플리케이션의 일부로 구현될 수도 있다. 또는 기재 및/또는 도시된 바에 제한되지 않고, 각 모듈들은 프로세서(850)와는 별도의 하드웨어(예: 프로세서, 제어 회로)로 구현될 수도 있다. 한편 이하에서 기술되는 모듈들의 동작 중 적어도 일부는 해당 모듈이 아닌 별개의 모듈로서 구현될 수도 있다. 이하에서는 각각의 모듈에 대해서 설명한다. 이하에서 기술되는 모듈의 동작은, 전술한 바와 같이 모듈이 실행되는 경우 야기되는 프로세서(850)의 동작으로 이해될 수 있다.
다양한 실시예들에 따르면 모드 결정 모듈(861)은 웨어러블 장치(600)의 모드에 기반하여 동작을 수행할 수 있다. 예를 들어, 상기 웨어러블 장치(600)의 모드는 도 8b를 참조하면 스탠바이 모드(800a)(standby mode), 액티브 모드(800b)(active mode), 및 컨트롤러 모드(800c)(controller mode)를 포함할 수 있다. 일 실시예에서, 상기 웨어러블 장치(600)의 모드는 상기 웨어러블 장치(600)의 동작 및/또는 상기 웨어러블 장치(600)의 상태를 제어할 수 있다. 예를 들어, 웨어러블 장치(600)는 웨어러블 장치(600)의 모드(800)에 따라서 아래의 [표 1]과 같이 동작을 수행하거나, 또는 웨어러블 장치(600)의 상태를 제어할 수 있다.
| 웨어러블 장치의 모드 | 스탠바이 모드 | 액티브 모드 | 컨트롤러 모드 |
| 디스플레이 상태 | 비활성화 상태(또는, 오프 상태) | 활성화 상태 (또는, 온 상태) |
비활성화 상태 (또는, 오프 상태) |
| 터치 센서 상태 | 비활성화 상태(또는, 오프 상태) | 활성화 상태 (또는, 온 상태) |
비활성화 상태 (또는, 오프 상태) |
| 잠금 상태 | 잠금된 상태 | 잠금 해제된 상태 | 잠금 해제된 상태 |
또 일 실시예에서, 상기 웨어러블 장치(600)의 모드는 몰입형 컨텐트(예: XR 기술에 기반한 컨텐트)의 제어 여부를 결정할 수 있다. 웨어러블 장치(600)는 상기 웨어러블 장치(600)의 모드가 상기 컨트롤러 모드(800c)인지 여부에 따라서, 상기 몰입형 컨텐트의 제어 여부를 결정할 수 있다. 예를 들어 웨어러블 장치(600)의 모드가 상기 스탠바이 모드(800a) 또는 상기 액티브 모드(800b)인 경우, 웨어러블 장치(600)는 상기 전자 장치(210)(예: 스마트 폰)으로 몰입형 컨텐트의 제어를 위한 신호를 송신하는 동작을 삼가할 수 있다. 웨어러블 장치(600)의 모드가 상기 스탠바이 모드(800a) 또는 상기 액티브 모드(800b)인 상태에서 웨어러블 장치(600)가 센서(830)를 이용하여 사용자의 입력을 식별하는 경우, 웨어러블 장치(600)는 상기 사용자의 입력에 대응하는 동작을 수행하고, 상기 전자 장치(210)(예: 스마트 폰)로 신호를 송신하는 동작을 삼가(또는, 동작이 수행되지 않도록 제어)할 수 있다. 일 예로 웨어러블 장치(600)의 모드가 상기 액티브 모드(800b)인 상태에서 키 입력 장치(810) 중 홈 키가 사용자에 의해 눌려지는 경우, 웨어러블 장치(600)는 상기 디스플레이(820) 상에 홈 화면을 표시하고, 상기 홈 키가 눌려짐을 나타내는 신호를 전자 장치(210)(예: 스마트 폰)로 전송하는 동작을 삼가할 수 있다. 상기 기재된 예에 제한되지 않고, 사용자의 입력에 기반하여 메시지 확인 서비스를 제공하는 동작, 콜 서비스를 제공하는 동작, 또는 특정 화면(예: 시계 화면, 신체 정보 화면)을 표시하는 동작을 수행할 수 있으며, 주지의 기술이므로 구체적인 설명은 생략한다. 또 예를 들어, 웨어러블 장치(600)의 모드가 컨트롤러 모드(800c)인 경우, 웨어러블 장치(600)는 상기 전자 장치(210)(예: 스마트 폰)로 몰입형 컨텐트의 제어를 위한 신호를 송신할 수 있다. 웨어러블 장치(600)의 모드가 상기 컨트롤러 모드(800c)인 상태에서 웨어러블 장치(600)가 센서(830)를 이용하여 사용자의 입력을 식별하는 경우, 웨어러블 장치(600)는 상기 사용자의 입력에 대응하는 동작의 수행을 삼가하고, 상기 전자 장치(210)(예: 스마트 폰)로 상기 식별된 입력에 대응하는 신호를 송신할 수 있다. 일 예로 웨어러블 장치(600)의 모드가 상기 컨트롤러 모드(800c)인 상태에서 키 입력 장치(810) 중 홈 키가 사용자에 의해 눌려지는 경우, 웨어러블 장치(600)는 상기 디스플레이(820) 상에 홈 화면을 표시하는 동작을 삼가하고, 상기 홈 키가 눌려짐을 나타내는 신호를 상기 전자 장치(210)(예: 스마트 폰)로 전송할 수 있다.다양한 실시예들에 따르면, 모드 결정 모듈(861)은 웨어러블 장치(600)로 수신되는 사용자의 입력 및/또는 다른 외부 장치(예: 전자 장치(210))로부터 수신되는 신호에 기반하여 상기 웨어러블 장치(600)의 모드를 결정할 수 있다. 이하에서는 각각의 실시예들에 대해서 기술한다.
일 실시예에서, 모드 결정 모듈(861)은 특정 입력(예: 사용자의 입력)을 식별하고, 식별된 특정 입력에 대응하는 웨어러블 장치(600)의 모드(예: 스탠바이 모드(800a), 액티브 모드(800b), 컨트롤러 모드(800c))를 결정할 수 있다. 예를 들어, 웨어러블 장치(600)는 웨어러블 장치(600)의 모드 별로 특정 입력에 대한 정보를 저장하고, 식별된 사용자의 입력이 특정 모드에 대응하는 특정 입력에 대응하는 경우 상기 웨어러블 장치(600)의 모드를 상기 특정 모드로 설정할 수 있다. 일 예로, 웨어러블 장치(600)는 팜 터치가 식별되는 경우, 웨어러블 장치(600)의 모드를 현재 모드(예: 액티브 모드(800b) 또는 컨트롤러 모드(800c))에서 스탠바이 모드(800a)로 변경(또는 전환, 또는 설정)할 수 있다. 또 일 예로, 웨어러블 장치(600)는 팜 터치 이외의 키 입력 장치(810)를 이용한 입력(예: 터치 스크린 상에서의 터치, 휠 키 회전, 키 버튼 누름(예: 두 번 누름))이 식별되는 경우, 웨어러블 장치(600)의 모드를 스탠바이 모드(800a)에서 액티브 모드(800b) 및/또는 컨트롤러 모드(800c)로 변경(또는 전환, 또는 설정)할 수 있다. 한편 웨어러블 장치(600)는 웨어러블 장치(600)의 모드가 컨트롤러 모드(800c)인 상태에서 특정 입력이 식별되는 경우, 상기 특정 입력을 무시할 수 있다(대신에, 전자 장치(210)(예: 스마트 워치)로 특정 입력에 대응하는 제어 신호를 송신할 수 있다). 다만 기재된 바에 제한되지 않고, 웨어러블 장치(600)의 모드가 컨트롤러 모드(800c) 상태에서도 컨트롤러 모드(800c)에서 액티브 모드(800b)로 전환하기 위한 특정 입력이 수신된다면, 웨어러블 장치(600)는 웨어러블 장치(600)의 모드를 컨트롤러 모드(800c)에서 액티브 모드(800b)로 변경(또는 전환, 또는 설정)할 수 있다. 다시 말해, 웨어러블 장치(600)는 컨트롤러 모드(800c)에서 특정 입력을 수신하는 경우 모드 전환을 수행할 수 있으나, 특정 입력 이외의 나머지 입력들에 대해서는 모드 전환을 수행하지 않을 수 있으나, 기재된 바에 제한되지는 않는다. 또, 이때 웨어러블 장치(600)는 스탠바이 모드(800a)와 액티브 모드(800b) 각각에 대해서는 지정된 입력을 관리(예: 스탠바이 모드(800a) 또는 액티브 모드(800b)에 대응하는 입력 식별 시, 스탠바이 모드(800a) 또는 액티브 모드(800b)로 전환)하고 컨트롤러 모드(800c)에 대해서는 지정된 입력을 관리하지 않을 수도 있으나(예: 컨트롤러 모드(800c)로 전환하기 위한 지정된 입력이 없음), 기재된 바에 제한되지 않는다.
또 일 실시예에서 모드 결정 모듈(861)은 지정된 시간이 경과되면 웨어러블 장치(600)의 모드를 스탠바이 모드(800a)로 설정할 수 있다. 예를 들어, 웨어러블 장치(600)는 웨어러블 장치(600)의 모드가 액티브 모드(800b) 또는 컨트롤러 모드(800c)로 설정된 이후, 지정된 시간 동안 입력이 식별되지 않는 경우 상기 웨어러블 장치(600)의 모드를 스탠바이 모드(800a)로 설정할 수 있다.
또 일 실시예에서 모드 결정 모듈(861)은 콜이 수신되거나, 알림 메시지가 수신되는 경우에는 웨어러블 장치(600)의 모드를 액티브 모드(800b)로 설정할 수 있다.
또 일 실시예에서 모드 결정 모듈(861)은 센서를 이용하여 기-설정된 조건이 식별되는 경우, 웨어러블 장치(600)의 모드를 컨트롤러 모드(800c)에서 다른 모드(예: 스탠바이 모드(800a) 또는 액티브 모드(800b))로 설정할 수 있다.
또 일 실시예에서 모드 결정 모듈(861)은 외부 장치(예: 전자 장치(210)(예: 스마트 폰))로부터 모드의 설정을 위한 신호를 수신하고, 수신되는 신호에 대응하는 모드로 웨어러블 장치(600)의 모드를 설정할 수 있다. 예를 들어, 웨어러블 장치(600)는 전자 장치(210)(예: 스마트 워치)로부터 액티브 모드(800b)로 설정하기 위한 신호(예: checkglance=Y를 나타내는 신호)를 수신하는 경우 웨어러블 장치(600)의 모드를 액티브 모드(800b)로 설정하고, 컨트롤러 모드(800c)로 설정하기 위한 신호(예: checkcontrol=Y를 나타내는 신호)를 수신하는 경우 웨어러블 장치(600)의 모드를 컨트롤러 모드(800c)로 설정할 수 있다.
이하에서는 도 9a 내지 도 9b를 참조하여, 다양한 실시예들에 따른 전자 장치(210)의 구성의 예에 대해서 설명한다. 이하에서 기술되는 헤드-마운티드 디스플레이 장치(221)의 구성과 웨어러블 장치(223)의 구성은 전술한 바와 같이 구현될 수 있으므로 중복되는 설명은 생략한다.
도 9a는 다양한 실시예들에 따른 전자 장치(210)의 구성의 일 예를 설명하기 위한 도면이다. 도 9b는 다양한 실시예들에 따른 전자 장치(210)의 구성의 다른 예를 설명하기 위한 도면이다.
다양한 실시예들에 따르면, 도 9a를 참조하면, 전자 장치(210)는 통신 회로(910), 프로세서(920), 및 메모리(930)를 포함할 수 있다. 한편 도 9a에 도시된 바에 제한되지 않고, 전자 장치(210)는 도 1에서 기술한 전자 장치(101)의 구성들을 포함하도록 구현될 수 있으며, 이에 대한 중복되는 설명은 생략한다.
다양한 실시예들에 따르면 통신 회로(910)는 장치들(예: HMD 장치(221), 웨어러블 장치(223), 및 서버(230))과 통신 연결을 설정할 수 있다. 상기 통신 회로(910)(840)는 Wi-Fi, 블루투스(bluetooth), BLE와 같은 근거리 무선 통신 방식을 지원할 수 있으나, 기재된 통신 연결 방식 이외의 무선 통신 연결 방식(예: 3G, 4G/LTE, NR과 같은 셀룰러 통신, 또는 광 통신)과 유선 통신 연결 방식을 지원할 수도 있다. 통신 회로(910)는 도 1의 통신 모듈(190)과 같이 구현될 수 있으므로 중복되는 설명은 생략한다.
다양한 실시예들에 따르면 프로세서(920)는 전자 장치(210)의 동작을 전반적으로 제어할 수 있다. 상기 프로세서(920)는 AP(application processor), CPU(central processing unit), GPU(graphic processing unit), DPU(display processing unit), 또는 NPU(neural processing unit) 중 적어도 하나를 포함할 수 있다. 이하에서 설명되는 프로세서(920)의 동작은 메모리(930)에 저장되는 모듈들(예: HMD 제어 모듈(940))의 실행에 따라서 수행될 수 있다. 상기 메모리(930)에 저장된 모듈들(예: HMD 제어 모듈(940))의 적어도 일부는 소프트웨어, 펌웨어, 또는 이들 중 적어도 둘 이상의 조합으로 구현(예를 들어, 실행)될 수 있다. 예를 들어, 상기 모듈들은 프로세서(920)에 의해 실행 가능한 어플리케이션(application), 프로그램(program), 컴퓨터 코드(computer code), 인스트럭션들(instructions), 루틴(routine), 내지는 프로세스(process)의 형태로 구현될 수 있다. 이에 따라, 상기 모듈들(예: HMD 제어 모듈(940))이 프로세서(920)에 의해 실행되는 경우, 상기 모듈들(예: HMD 제어 모듈(940))은 상기 프로세서(920)가 상기 모듈들과 연관된 동작(또는, 모듈이 제공 가능한 기능)을 수행하도록 야기할 수 있다. 따라서 이하에서 특정 모듈이 동작을 수행한다는 기재는, 특정 모듈이 실행됨에 따라서 프로세서(920)가 해당 동작을 수행하는 것으로 해석될 수 있다. 또는 상기 모듈들(예: HMD 제어 모듈(940))은 특정 어플리케이션의 일부로 구현될 수도 있다. 또는 기재 및/또는 도시된 바에 제한되지 않고, 각 모듈들은 프로세서(920)와는 별도의 하드웨어(예: 프로세서, 제어 회로)로 구현될 수도 있다. 한편 이하에서 기술되는 모듈들의 동작 중 적어도 일부는 해당 모듈이 아닌 별개의 모듈로서 구현될 수도 있다. 이하에서는 각각의 모듈에 대해서 설명한다. 이하에서 기술되는 모듈의 동작은, 전술한 바와 같이 모듈이 실행되는 경우 야기되는 프로세서(920)의 동작으로 이해될 수 있다.
다양한 실시예들에 따르면 HMD 제어 모듈(940)은 헤드-마운티드 디스플레이 장치(221)의 제어를 위한 적어도 하나의 처리 동작을 수행하고, 처리된 결과를 헤드-마운티드 디스플레이 장치(221)로 전송할 수 있다. 예를 들어, HMD 제어 모듈(940)은 헤드-마운티드 디스플레이 장치(221)로부터 정보(예: 사용자의 신체와 연관된 정보, 및/또는 앱 정보)를 수신하고, 수신된 정보를 처리하여 처리된 결과를 상기 헤드-마운티드 디스플레이 장치(221)로 전송할 수 있다. 상기 정보는 헤드-마운티드 디스플레이 장치(221)와 연관된(또는, 헤드-마운티드 디스플레이 장치(221)를 중심으로 하는) 3차원 좌표계(또는, 주변 3차원 환경 데이터)에 대한 정보, 신체 일부의 위치와 연관된 정보, 또는 객체(예: 웨어러블 장치(223))의 위치와 연관된 정보를 포함할 수 있다. 상기 3차원 좌표계에 대한 정보는 헤드-마운티드 디스플레이 장치(221)의 복수의 카메라들에 의해 촬영된 이미지들에 기반하여 식별되는 주변 공간에 대한 3차원 좌표계(x,y,z)에 대한 정보를 포함할 수 있다. 후술하겠으나, 전자 장치(210)는 상기 3차원 좌표계에 신체 일부의 위치 및/또는 방향(예: 손의 3차원 좌표, 머리의 요, 롤, 및/또는 피치 방향의 각도, 또는 시선의 3차원 벡터) 및 객체(예: 웨어러블 장치(223))의 위치(예: 3차원 좌표)를 반영하여 생성되는 통합된 주변 공간에 대한 3차원 정보를 관리할 수 있다. 또 예를 들어, HMD 제어 모듈(940)은 상기 3차원 정보에 기반하여 확장 현실(XR) 기술에 기반한 이미지를 생성하고, 생성된 이미지를 헤드-마운티드 디스플레이 장치(221)로 전송할 수 있다. 이하에서는, HMD 제어 모듈(940)에 포함된 각각의 모듈들의 동작에 대해서 더 설명한다.
다양한 실시예들에 따르면 웨어러블 장치 모드 제어 모듈(980)은 헤드-마운티드 디스플레이 장치(221)로부터 수신되는 정보에 기반하여, 웨어러블 장치(223)(예: 스마트 워치)의 모드(예: 스탠바이 모드(800a), 액티브 모드(800b), 및 컨트롤러 모드(800c))를 설정하기 위한 신호를 생성할 수 있다. 전자 장치(210)(예: 프로세서(920))는 통신 회로(910)를 통해 생성된 신호를 웨어러블 장치(223)(예: 스마트 워치)로 전송할 수 있다. 전술한 바와 같이 상기 웨어러블 장치(223)(예: 모드 결정 모듈(861))는 수신된 신호에 기반하여, 웨어러블 장치(223)(예: 모드 결정 모듈(861))의 모드를 액티브 모드(800b) 또는 컨트롤러 모드(800c)로 설정할 수 있다. 한편 도 9b를 참조하면, 전자 장치(210)가 웨어러블 장치(223)의 모드를 결정하고, 결정된 모드에 대한 정보를 웨어러블 장치(223)로 전달하도록 구현될 수도 있다. 예를 들어, 전자 장치(210)는 신호 생성 모듈(950) 대신 웨어러블 장치(223)의 모드 결정 모듈(861)을 포함하고, 모드 결정 모듈(861)에 기반하여 웨어러블 장치(223)의 모드를 결정하고, 결정된 모드에 대한 정보를 웨어러블 장치(223)로 전달할 수도 있다.
다양한 실시예들에 따르면 신체 추적 모듈(960)은 헤드-마운티드 디스플레이 장치(221)로부터 수신되는 사용자의 적어도 하나의 특정 신체 일부와 연관된 정보(예: 적어도 하나의 특정 신체 일부의 위치와 연관된 정보)에 기반하여, 헤드-마운티드 디스플레이 장치(221)와 연관된(또는, 헤드-마운티드 디스플레이 장치(221)를 중심으로 하는) 3차원 좌표계(또는, 주변 3차원 환경 데이터) 내에서의 특정 신체 일부의 위치 정보(예: 3차원 좌표 값, 또는 벡터 값)를 식별(또는 관리, 또는 갱신)할 수 있다. 상기 헤드-마운티드 디스플레이 장치(221)로부터 수신되는 특정 신체 일부와 연관된 정보는, 헤드-마운티드 디스플레이 장치(221)에 의해 촬영된 이미지들에 기반하여 헤드-마운티드 디스플레이 장치(221)에 의해 분석된 양 손, 시선, 또는 머리 중 적어도 하나의 위치 및/또는 방향과 연관된 정보를 포함할 수 있다. 전자 장치(210)는 상기 위치 및/또는 방향과 연관된 정보에 기반하여, 상기 신체 일부의 위치(즉, 3차원 좌표계 내에서의 3차원 좌표) 및/또는 방향(즉, 3차원 좌표계 내에서의 롤, 요, 또는 피치 방향의 각도)을 식별할 수 있다. 다시 말해, 상기 위치 및/또는 방향과 연관된 정보는 주변 공간에 대한 3차원 좌표계 내에서의 신체의 위치 및/또는 방향을 식별하기 위한 로우(raw) 데이터로서 이용될 수 있다. 예를 들어, 눈 추적 모듈(961)은 헤드-마운티드 디스플레이 장치(221)와 연관된(또는, 헤드-마운티드 디스플레이 장치(221)를 중심으로 하는) 3차원 좌표계(또는, 주변 3차원 환경 데이터) 내에서의 시선 위치(gaze position)를 나타내는 3차원 좌표 값 및/또는 3차원 벡터 값을 획득할 수 있다. 일 예로, 눈 추적 모듈(961)은 HMD 장치(221)로부터 수신되는 시선 위치를 나타내는 좌표 값 또는 벡터 값, 및 시선 위치를 추적하기 위해 이미지를 촬영하는 HMD 장치(221)의 카메라의 위치에 기반하여, 3차원 좌표계 내에서의 시선의 3차원 좌표 값 및/또는 3차원 벡터 값을 획득할 수 있다. 예를 들어, 눈 추적 모듈(961)은 3차원 좌표계에서의 카메라의 위치에 대응하는 3차원 좌표 값을 식별하고, 식별된 3차원 좌표 값에 상기 시선 방향을 나타내는 방향 벡터를 반영하여, 3차원 좌표계 내에서의 시선 방향을 나타내는 3차원 벡터 값을 획득할 수 있다. 또 예를 들어, 손 추적 모듈(963)은 수신된 손의 위치와 연관된 정보(예: 손의 이동 방향에 대한 데이터, 및 손이 식별된 이미지와 이미지를 촬영한 카메라의 위치에 대한 데이터)에 기반하여 헤드-마운티드 디스플레이 장치(221)와 연관된(또는, 헤드-마운티드 디스플레이 장치(221)를 중심으로 하는) 3차원 좌표계(또는, 주변 3차원 환경 데이터) 내에서의 사용자의 적어도 하나의 손의 위치를 나타내는 3차원 좌표 값을 획득할 수 있다. 또 예를 들어, 머리 추적 모듈(964)은 헤드-마운티드 디스플레이 장치(221)와 연관된(또는, 헤드-마운티드 디스플레이 장치(221)를 중심으로 하는) 3차원 좌표계(또는, 주변 3차원 환경 데이터) 내에서의 머리 위치를 나타내는 3차원 좌표 값 및/또는 머리의 회전 각도(예: 요(yaw), 피치(pitch), 및 롤(roll) 각도)를 획득할 수 있다.
다양한 실시예들에 따르면, 객체 추적 모듈(970)은 헤드-마운티드 디스플레이 장치(221)와 연관된(또는, 헤드-마운티드 디스플레이 장치(221)를 중심으로 하는) 3차원 좌표계(또는, 주변 3차원 환경 데이터) 내에서의 웨어러블 장치(223)(예: 스마트 워치)의 위치를 나타내는 3차원 좌표 값을 획득할 수 있다.
다양한 실시예들에 다르면 신호 생성 모듈(950)은 상기 신체 추적 모듈(960)과 상기 객체 추적 모듈(970)로부터 획득되는 정보에 기반하여, 웨어러블 장치(223)(예: 스마트 워치)의 모드(예: 액티브 모드(800b), 및 컨트롤러 모드(800c))를 설정하기 위한 신호를 생성할 수 있다. 일 실시예에서, 신호 생성 모듈(950)은 웨어러블 장치(223)의 모드를 액티브 모드(800b)로 설정하기 위한 신호를 생성할 수 있다. 예를 들어, 신호 생성 모듈(950)은 사용자가 웨어러블 장치(223)를 활성화할 의도(또는 웨어러블 장치(223)(예: 스마트 워치)를 사용할 의도)가 있는 것으로 판단되는 경우, 상기 웨어러블 장치(223)(예: 스마트 워치)의 모드를 액티브 모드(800b)로 설정하기 위한 신호를 생성할 수 있다. 일 예로, 신호 생성 모듈(950)은 3차원 좌표계 내에서의 상기 사용자의 시선의 위치를 나타내는 값(예: 3차원 벡터)과 상기 웨어러블 장치(223)(예: 스마트 워치)의 위치를 나타내는 값(예: 3차원 좌표)이 서로 대응(예: 상기 3차원 벡터가 상기 3차원 좌표를 지나감)하는 경우, 상기 웨어러블 장치(223)(예: 스마트 워치)의 모드를 액티브 모드(800b)로 설정하기 위한 신호를 생성할 수 있다. 일 실시예에서, 신호 생성 모듈(950)은 웨어러블 장치(223)의 모드를 컨트롤러 모드(800c)로 설정하기 위한 신호를 생성할 수 있다. 한편 기재된 예로 제한되는 것은 아니며, 다른 예들에 대해서는 후술한다. 예를 들어, 신호 생성 모듈(950)은 사용자가 웨어러블 장치(223)(예: 스마트 워치)를 이용하여 몰입형 컨텐트를 제어할 의도가 있는 것으로 판단되는 경우, 상기 웨어러블 장치(223)(예: 스마트 워치)의 모드를 컨트롤러 모드(800c)로 설정하기 위한 신호를 생성할 수 있다. 신호 생성 모듈(950)은 상기 웨어러블 장치(223)(예: 스마트 워치)를 이용하여 몰입형 컨텐트를 제어할 의도가 있는 것으로 판단하는 동작의 일부로 양 손의 위치가 지정된 조건을 만족하는 지 여부를 판단할 수 있다. 일 예로, 신호 생성 모듈(950)은 3차원 좌표계 내에서의 상기 사용자의 양 손의 위치가 특정 영역으로 이동될 확률을 식별하고, 식별된 확률이 임계 값을 초과하는 경우 상기 몰입형 컨텐트를 제어할 의도가 있는 것으로 판단하고, 및/또는 상기 웨어러블 장치(223)(예: 스마트 워치)의 모드를 액티브 모드(800b)로 설정하기 위한 신호를 생성할 수 있다. 한편 기재된 예로 제한되는 것은 아니며, 다른 예들에 대해서는 후술한다.
한편 상기 신호 생성 모듈(950)은 상기 객체 추적 모듈(970)의 일부로 구현될 수도 있다.
다양한 실시예들에 따르면 이미지(또는, 뷰) 생성 모듈(990)은 HMD 제어 모듈(940)에서 획득된 통합된 3차원 정보를 획득하고, 3차원 정보에 기반하여 몰입형 컨텐트를 생성할 수 있다. 상기 몰입형 컨텐트는 확장 현실(XR) 기술 기반으로 생성되는 적어도 하나의 그래픽 오브젝트를 포함하는 이미지를 포함할 수 있다. 이미지(또는, 뷰) 생성 모듈(990)은 HMD 장치(221) 주변의 3차원 좌표계 내에서의 물체들(예: 사용자의 신체 일부, 및/또는 객체)의 위치를 동기화한 전술한 통합된 3차원 정보를 획득하고, 어플리케이션(또는, 프로그램)(995)의 실행에 기반하여 획득되는 그래픽 오브젝트를 상기 획득된 3차원 정보 상에 렌더링하여 이미지를 생성할 수 있다. 예를 들어, 이미지 생성 모듈(990)은 실행 중인 어플리케이션들(995)로 상기 3차원 정보를 전달하고, 어플리케이션들(995)로부터 반환되는 그래픽 오브젝트, 화면, 및 좌표 정보를 기반으로 상기 렌더링 동작을 수행할 수 있다. 이때, 이미지(또는, 뷰) 생성 모듈(990)은 상기 몰입형 컨텐트를 생성하는 동작 중 적어도 일부로, 웨어러블 장치(223)(예: 스마트 워치)로부터 수신되는 몰입형 컨텐트를 제어하기 위한 신호에 기반하여 이미지를 생성할 수 있다. 전자 장치(210)(예: 프로세서(920))는 이미지(또는, 뷰) 생성 모듈(990)에 의해 렌더링 된 그래픽 오브젝트를 포함하는 이미지를 통신 회로(910)를 통해, 헤드-마운티드 디스플레이 장치(221)로 전송할 수 있다. 헤드-마운티드 디스플레이 장치(221)는 수신된 이미지를 표시할 수 있다.
다양한 실시예들에 따르면 그래픽 렌더링 모듈(991)은 전술한 바와 같이, HMD 제어 모듈(940)에서 획득된 통합된 3차원 정보를 획득하고, 3차원 정보에 기반하여 적어도 하나의 그래픽 오브젝트를 포함하는 이미지를 생성할 수 있다. 예를 들어, 그래픽 렌더링 모듈(991)은 실행 중인 어플리케이션들(995)로 상기 3차원 정보를 전달하고, 어플리케이션들(995)로부터 반환되는 그래픽 오브젝트, 화면, 및 좌표 정보를 기반으로 상기 렌더링 동작을 수행할 수 있다. 이때, 그래픽 렌더링 모듈(991)은 오브젝트 제어 모듈(993)로부터 수신되는 오브젝트를 제어(예: 이동, 변형, 또는 색상 변경과 같이 시각적인 속성의 제어)를 위한 정보를 수신하고, 수신된 정보에 기반하여 이미지에 포함되는 적어도 하나의 오브젝트를 제어하여 렌더링할 수 있다.
다양한 실시예들에 따르면 오브젝트 제어 모듈(993)은 웨어러블 장치(223)(예: 스마트 워치)로부터 수신되는 몰입형 컨텐트를 제어하기 위한 신호에 기반하여 적어도 하나의 오브젝트를 제어할 수 있다. 상기 제어하는 동작은 오브젝트의 이동, 변형, 또는 색상 변경과 같이 시각적인 속성을 제어하는 동작을 포함하며, 기재된 예에 제한되지 않고 다양한 종류의 시각적인 속성을 제어하는 동작을 포함할 수 있다. 한편, 상기 제공되는 오브젝트가 시각적 속성 이외에 다른 속성(예: 청각적, 또는 촉각적 속성)을 포함하는 경우, 수신되는 신호에 기반하여 다른 속성(예: 청각적, 또는 촉각적 속성)을 제어할 수도 있다.
이하에서는 다양한 실시예들에 따른 확장 현실(XR) 기술을 이용하기 위한 전자 장치(210), 헤드-마운티드 디스플레이 장치(221)(이하, HMD 장치(221)), 및 제어 웨어러블 장치(223)(이하, 웨어러블 장치(223))의 동작의 예를 설명한다.
다양한 실시예들에 따르면 전자 장치(210)는 HMD 장치(221)로부터 수신되는 정보(예: 사용자의 신체 일부의 위치, 자세, 및/또는 방향과 연관된 정보, 웨어러블 장치(223)의 위치에 대한 정보)에 기반하여, 웨어러블 장치(223)의 모드를 설정하기 위한 신호를 생성하고, 생성된 신호를 웨어러블 장치(223)로 전송할 수 있다. 웨어러블 장치(223)는 전자 장치(210)로부터 수신된 신호에 대응하는 웨어러블 장치(223)의 모드를 설정하고, 설정된 모드가 컨트롤러 모드(800c)인 경우 식별된 입력에 대응하는 제어 신호를 전자 장치(210)로 전송할 수 있다. 전자 장치(210)는 수신된 제어 신호에 기반하여 확장 현실 기술에 기반한 이미지를 생성하고, 생성된 이미지를 HMD 장치(221)로 전송할 수 있다.
도 10은 다양한 실시예들에 따른 전자 장치(210), HMD 장치(221), 및 웨어러블 장치(223)의 동작의 일 예를 설명하기 위한 흐름도(1000)이다. 다양한 실시예들에 따르면, 도 10에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면 도 10에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는, 도 11a, 도 11b, 및 도 12를 참조하여 도 10에 대해서 설명한다.
도 11a는 다양한 실시예들에 따른 전자 장치(210), HMD 장치(221), 및 웨어러블 장치(223)의 동작의 예를 설명하기 위한 도면이다. 도 11b는 다양한 실시예들에 따른 HMD 장치(221)가 웨어러블 장치(223)를 이용한 입력에 기반하여 생성된 확장 현실(XR) 기술 기반의 이미지를 표시하는 동작의 예를 설명하기 위한 도면이다. 도 12는 다양한 실시예들에 따른 전자 장치(210)가 웨어러블 장치(223)의 모드를 설정하는 동작의 예를 설명하기 위한 도면이다.
다양한 실시예들에 따르면, 전자 장치(210)는 웨어러블 장치(223) 및 HMD 장치(221)가 사용자(V1)에 의해 착용되고 턴-온(turn-on)된 이후에, 1001 동작에서 웨어러블 장치(223)와 통신 연결을 설정하고, 1003 동작에서 HMD 장치(221)와 통신 연결을 설정할 수 있다. 전술한 바와 같이 전자 장치(210)는 Wi-Fi, 블루투스(Bluetooth), BLE와 같은 근거리 무선 통신 방식을 이용하여 웨어러블 장치(223) 및 HMD 장치(221)와 통신 연결을 설정할 수 있으나, 기재된 통신 연결 방식 이외의 무선 통신 연결 방식(예: 3G, 4G/LTE, NR과 같은 셀룰러 통신, 또는 광 통신) 및/또는 유선 통신 연결 방식을 이용하여 통신 연결을 설정할 수도 있다.
다양한 실시예들에 따르면, 전자 장치(210)는 상기 통신 연결 설정에 기반하여, 웨어러블 장치(223) 및/또는 HMD 장치(221)의 착용 여부를 나타내는 정보를 수신할 수 있다. 예를 들어, 웨어러블 장치(223) 및/또는 HMD 장치(221)는 센서를 이용하여 사용자(V1)에 의한 착용 여부를 검출하고, 검출된 정보를 전자 장치(210)로 전송할 수 있다. 전술한 바와 같이, 전자 장치(210)는 웨어러블 장치(223)와 HMD 장치(221)가 착용됨을 식별한 것에 기반하여, 확장 현실 기술에 기반한 컨텐트 제어 기술들(예: 도 2a 내지 도 2c에서 기술한 컨트롤러(controller) 타입, 핸드 제스쳐(hand-gesture) 타입, 또는 하이브리드(hybrid) 타입) 중 하이브리드 타입의 컨텐트 제어 기술을 선택할 수 있다. 전자 장치(210)는 상기 하이브리드 타입의 컨텐트 제어 기술을 선택한 것에 기반하여, 이하에서 기술되는 1011 동작 내지 1013 동작을 수행할 수 있다.
다양한 실시예들에 따르면, HMD 장치(221)는 1005 동작에서 복수의 카메라들(430)을 이용하여 복수의 이미지들을 획득(또는, 촬영)할 수 있다. 다양한 실시예들에 따르면, HMD 장치(221)는 1007 동작에서 복수의 이미지들 중 적어도 일부에 기반하여 복수의 정보들을 획득할 수 있다. 다양한 실시예들에 따르면, HMD 장치(221)는 1009 동작에서 복수의 정보들을 전자 장치(210)로 송신할 수 있다. 상기 복수의 정보들은 HMD 제어 모듈(940)에 대한 설명에서 전술한 바와 같이 HMD 장치(221)의 주변 공간에 대한 3차원 좌표에 대한 정보, 신체 일부들의 위치 및/또는 자세와 연관된 정보(예: 양 손(h1, h2)의 위치, 머리(H)의 회전 각도, 및/또는 시선의 방향), 또는 웨어러블 장치(223)의 위치와 연관된 정보 중 적어도 하나를 포함할 수 있다. 일 실시예에서, HMD 장치(221)는 복수의 카메라들(430) 각각에 의해 촬영된 이미지와 복수의 카메라들(430) 각각의 위치에 기반하여 HMD 장치(221)의 주변 공간(예: HMD 장치(221)를 중심으로 주변의 실제 공간)을 인식하고, 인식된 주변 공간 내에서의 HMD 장치(221)의 위치를 식별할 수 있다. HMD 장치(221)는 상기 주변 공간 및 HMD 장치(221)의 위치를 식별하는 동작의 적어도 일부로, 상기 복수의 카메라들(430)에 의해 촬영된 이미지들 내의 오브젝트(또는, 랜드마크(land mark))를 비교하고, 상기 비교 결과로서 동일한 오브젝트가 검출되는 경우 동일한 오브젝트가 검출된 이미지들을 촬영한 카메라들의 위치 및/또는 깊이 정보에 기반하여 촬영된 이미지들의 좌표 값(예: 3차원 좌표 값)을 계산할 수 있다. 상기 HMD 장치(221)의 동작은 SLAM 동작을 포함할 수 있다. 또 일 실시예에서, HMD 장치(221)는 도 11a에 도시된 바와 같이 복수의 카메라들(430) 중 전방 영역(S1' 및 S1"를 포함하는 S1)을 바라보는(또는, 전방 영역(S1)에 대한 FOV를 가지는) 카메라들(미도시)을 이용하여 촬영되는 이미지들을 기반으로, 사용자(V1)의 머리(H)의 요(yaw), 피치(pitch), 및/또는 롤(roll) 방향의 회전 각도를 식별할 수 있다. 또 일 실시예에서, HMD 장치(221)는 도 11a에 도시된 바와 같이 복수의 카메라들(430) 중 하방 영역(S2)을 바라보는(또는 하방 영역(S2)에 대한 FOV를 가지는) 카메라들(미도시)을 이용하여 촬영되는 이미지들로부터 양 손(h1, h2) 및/또는 웨어러블 장치(223)를 검출하고, 검출된 양 손(h1, h2)들 각각 및/또는 웨어러블 장치(223)의 3차원 위치(예: 3차원 좌표) 또는 양 손(h1, h2)들 각각의 3차원 이동 방향(예: 3차원 벡터)을 식별할 수 있다. 또 일 실시예에서, HMD 장치(221)는 도 11a에 도시된 바와 같이 전방 영역을 바라보는 카메라들 및/또는 사용자(V1)의 눈을 촬영하는 카메라들에 의해 촬영되는 이미지들을 기반으로, 사용자(V1)의 시선 방향(gaze)(예: 3차원 벡터)을 식별할 수 있다.
한편 기재된 바에 제한되지 않고, HMD 장치(221)는 복수의 카메라들(430)을 이용하여 획득되는 복수의 이미지들을 전자 장치(210)로 전송하고, 전자 장치(210)가 전술한 HMD 장치(221)의 동작과 같이 HMD 장치(221)와 연관된 3차원 정보 및 사용자(V1)의 신체 일부들에 대한 정보를 획득하기 위한 동작을 수행할 수도 있다.
다양한 실시예들에 따르면, 전자 장치(210)는 1011 동작에서 복수의 정보들에 기반하여, 웨어러블 장치(223)의 모드를 결정하기 위한 신호를 획득(또는, 생성)할 수 있다. 다양한 실시예들에 따르면, 전자 장치(210)는 1013 동작에서 획득된 신호를 웨어러블 장치(223)로 전송할 수 있다. 예를 들어, 전자 장치(210)는 HMD 장치(221)로부터 수신되는 복수의 정보들(예: HMD 장치(221)의 주변 공간에 대한 3차원 좌표에 대한 정보와 상기 주변 공간 내의 HMD 장치(221)의 3차원 좌표에 대한 정보, 신체 일부들의 위치 및/또는 자세와 연관된 정보(예: 양 손(h1, h2)의 위치, 머리(H)의 회전 각도, 및/또는 시선의 방향), 또는 웨어러블 장치(223)의 위치와 연관된 정보 중 적어도 하나)에 기반하여, 웨어러블 장치(223)의 모드를 액티브 모드(800b) 또는 컨트롤러 모드(800c)로 설정하기 위한 신호를 생성할 수 있다. 예를 들어, 전자 장치(210)는 수신된 복수의 정보들에 기반하여, 동일한 좌표계(예: HMD 장치(221)의 주변 공간에 대한 3차원 좌표계)와 연관된(또는, 동일한 좌표계 내에서) 신체 일부의 위치에 대한 정보 및/또는 웨어러블 장치(223)의 위치에 대한 정보를 식별하고, 식별된 위치에 대한 정보들에 기반하여 웨어러블 장치(223)의 모드를 설정하기 위한 신호를 생성할 수 있다. 일 예로, 전자 장치(210)는 HMD 장치(221)로부터 수신된 HMD 장치(221)의 주변 공간에 대한 3차원 좌표 내에서, 상기 신체 일부들의 위치 및/또는 자세와 연관된 정보를 기반으로 신체 일부들의 3차원 좌표 및/또는 회전 각도를 식별하고, 웨어러블 장치(223)의 위치와 연관된 정보를 기반으로 웨어러블 장치(223)의 3차원 좌표를 식별할 수 있다. 전자 장치(210)는 상기 식별된 신체 일부들의 3차원 좌표 및/또는 회전 각도 및/또는 웨어러블 장치(223)의 3차원 좌표에 대한 정보를 기반으로, 웨어러블 장치(223)의 모드를 설정하기 위한 신호를 생성할 수 있다. 이하에서는 전자 장치(210)의 신호를 생성하는 동작의 예들에 대해서 설명한다.
다양한 실시예들에 따르면 전자 장치(210)는 사용자(V1)가 웨어러블 장치(223)를 활성화할 의도(또는 웨어러블 장치(223)(예: 스마트 워치)를 사용할 의도)가 있는지 판단한 결과에 따라서, 상기 웨어러블 장치(223)(예: 스마트 워치)의 액티브 모드(800b)의 설정과 연관된 신호를 생성할 수 있다. 상기 신호는 상기 판단 결과를 나타내는 파라미터(예: checkglance)의 특정 값(예: no 또는 yes를 나타내는 값)(또는, 특정 정보)을 포함할 수 있다. 전자 장치(210)가 제 1 신호에 포함되는 파라미터(예: checkglance)의 특정 값을 설정하는 동작에 대해서는 도 15에서 구체적으로 후술한다. 전자 장치(210)는 사용자(V1)의 의도가 있는 것으로 판단되는 경우 액티브 모드(800b)로 설정하기 위한 제 1 신호(예: 후술되는 checkglance=Yes를 포함하는 신호)를 생성할 수 있다. 예를 들어, 전자 장치(210)는 웨어러블 장치(223) 상에서 사용자(V1)의 시선의 검출 여부를 판단하고, 상기 시선이 검출되는 경우 액티브 모드(800b)를 설정하기 위한 상기 제 1 신호를 생성할 수 있다. 전자 장치(210)는 상기 웨어러블 장치(223) 상에서의 사용자(V1)의 시선의 검출 여부를 판단하는 동작의 적어도 일부로, 동일한 좌표계 내(예: 3차원 좌표계 내)에서 상기 사용자(V1)의 시선의 위치를 나타내는 좌표 값과 상기 웨어러블 장치(223)(예: 스마트 워치)의 위치를 나타내는 좌표 값이 서로 대응하는지 판단할 수 있다. 또 예를 들어, 전자 장치(210)는 웨어러블 장치(223)와 전자 장치(210) 사이의 거리가 지정된 거리 내인지 여부를 판단하고, 상기 지정된 거리 내인 경우 액티브 모드(800b)를 설정하기 위한 제 1 신호를 생성할 수 있다. 전자 장치(210)는 상기 웨어러블 장치(223)와 전자 장치(210) 사이의 거리를 식별하는 동작의 적어도 일부로, 웨어러블 장치(223)과의 거리를 측정하기 위한 센서(예: AOA(angle of arrival) 통신 회로(910))를 이용하여 웨어러블 장치(223)와의 거리를 식별할 수 있다.
다양한 실시예들에 따르면, 전자 장치(210)는 복수의 정보들에 기반하여 사용자(V1)가 웨어러블 장치(223)(예: 스마트 워치)를 이용하여 몰입형 컨텐트(예: 확장 현실 기술 기반의 컨텐트)를 제어할 의도가 있는지 여부를 판단한 결과에 따라서, 상기 웨어러블 장치(223)(예: 스마트 워치)의 컨트롤러 모드(800c)의 설정과 연관된 신호를 생성할 수 있다. 상기 신호는 상기 판단 결과를 나타내는 파라미터(예: checkcontroller)의 특정 값(예: no, stay, 또는 yes를 나타내는 값)(또는, 특정 정보)을 포함할 수 있다. 전자 장치(210)가 신호에 포함되는 파라미터(예: checkcontroller)의 특정 값을 설정하는 동작에 대해서는 도 15에서 구체적으로 후술한다. 전자 장치(210)는 사용자(V1)의 의도가 있는 것으로 판단되는 경우 상기 웨어러블 장치(223)의 모드를 컨트롤러 모드(800c)로 설정하기 위한 제 2 신호(예: 후술되는 checkglance=Yes를 포함하는 신호)를 생성할 수 있다. 일 실시예에서, 전자 장치(210)는 사용자(V1)의 양 손(h1, h2)의 위치에 기반하여, 상기 제 2 신호를 생성할 수 있다. 예를 들어, 전자 장치(210)는 상기 양 손(h1, h2)이 특정 영역에 진입될 확률이 임계 값 보다 큰 경우, 상기 웨어러블 장치(223)의 모드를 컨트롤러 모드(800c)로 설정하기 위한 제 2 신호를 생성할 수 있다. 상기 특정 영역은 사용자(V1)의 복수의 영역들(예: 전술한 S1, S2) 중에서 상기 사용자(V1)가 웨어러블 장치(223)를 이용하여 몰입형 컨텐트를 제어할 것으로 예상되는(또는, 제어하기 위한 최적의) 일부 영역으로서 미리 기-설정될 수 있으나, 이에 제한되지 않는다. 상기 특정 영역에 대해서는 도 19 내지 도 20에서 더 후술한다. 전자 장치(210)는 상기 양 손(h1, h2)이 특정 영역에 이동(또는, 진입)될 확률을 식별하는 동작의 적어도 일부로, 기-저장된 특정 영역으로 이동될 확률들에 대한 정보로부터 3차원 좌표계 내에서 상기 양 손(h1, h2)의 3차원 위치와 상기 머리(H)의 회전각도에 대응하는 확률을 식별할 수 있다. 상기 전자 장치(210)의 확률을 식별하는 동작에 대해서는 도 19 내지 도 20에서 후술한다. 또 예를 들어, 전자 장치(210)는 상기 양 손(h1, h2)이 특정 영역에 위치된 경우, 상기 웨어러블 장치(223)의 모드를 컨트롤러 모드(800c)로 설정하기 위한 제 2 신호를 생성할 수 있다. 전자 장치(210)는 상기 양 손(h1, h2)이 특정 영역에 위치되는지 여부를 판단하는 동작의 적어도 일부로, 상기 특정 영역의 3차원 좌표와 상기 양 손(h1, h2)들 각각의 3차원 좌표를 비교하는 동작을 수행할 수 있다. 또 일 실시예에서, 전자 장치(210)는 사용자(V1)의 웨어러블 장치(223)를 착용한 신체 일부(예: 팔, 손)와 연관된 지정된 제스쳐가 검출되는 경우, 상기 웨어러블 장치(223)의 모드를 컨트롤러 모드(800c)로 설정하기 위한 제 2 신호를 생성할 수 있다.
다양한 실시예들에 따르면, 웨어러블 장치(223)는 1015 동작에서 수신된 신호에 대응하는 모드를 결정(또는, 설정)할 수 있다. 다양한 실시예들에 따르면, 웨어러블 장치(223)는 웨어러블 장치(223)로 입력이 수신되는 경우 1017 동작에서 센서를 이용하여 제어 신호를 획득할 수 있다. 다양한 실시예들에 따르면, 웨어러블 장치(223)는 1019 동작에서 제어 신호를 전자 장치(210)로 전송할 수 있다. 예를 들어, 웨어러블 장치(223)는 도 12a에 도시된 바와 같이 제 1 신호(1211)(예: checkglance=Yes를 포함하는 신호)를 수신하는 경우 웨어러블 장치(223)의 모드를 액티브 모드(800b)로 설정하거나, 또는 도 12b에 도시된 바와 같이 제 2 신호(1221)(예: checkcontroller=Yes를 포함하는 신호)를 수신하는 경우 웨어러블 장치(223)의 모드를 컨트롤러 모드(800c)로 설정할 수 있다. 이때 도 15를 참조하여 후술하겠으나, 상기 제 2 신호(1221)는 특정 파라미터에 대한 특정 값(예: checkcontroller=Yes) 뿐만 아니라, 다른 파라미터에 대한 특정 값(예: checkglance=No)을 포함할 수 있다. 예를 들어, 웨어러블 장치(223)는 상기 다른 파라미터에 대한 특정 값(예: checkglance=No)이 포함된 경우에, 특정 파라미터에 대한 특정 값(예: checkcontroller=Yes)에 따라서 웨어러블 장치(223)의 모드를 액티브 모드(800b)에서 컨트롤러 모드(800c)로 변경할 수 있다. 상기 기재된 예에 제한되지 않고 전술한 바와 같이, 웨어러블 장치(223)는 전자 장치(210)로부터 수신된 신호(1211, 1221)가 아닌 웨어러블 장치(223)에서 식별된 입력 또는 제스쳐에 기반하여 웨어러블 장치(223)의 모드를 설정할 수도 있다. 웨어러블 장치(223)는 상기 모드가 설정된 상태에서, 사용자(V1)의 입력을 식별할 수 있다. 예를 들어, 웨어러블 장치(223)는 전술한 키 입력 장치(810)(예: 키 버튼, 휠 키, 또는 터치 스크린)를 이용하여 수신되는 사용자(V1)의 입력(예: 도 11b의 키 버튼을 누르는 입력(push), 휠 키를 돌리는 입력(rotation), 또는 터치 스크린 상의 터치 입력(touch))을 센서(830)를 이용하여 식별할 수 있으며, 이에 대한 중복되는 설명은 생략한다. 일 실시예에서, 웨어러블 장치(223)는 도 12a에 도시된 바와 같이 웨어러블 장치(223)의 모드가 액티브 모드(800b)인 상태에서 상기 사용자(V1)의 입력이 식별되는 경우, 상기 사용자(V1)의 입력(예: 도 11b의 키 버튼을 누르는 입력(push), 휠 키를 돌리는 입력(rotation), 또는 터치 스크린 상의 터치 입력(touch))에 대응하는 제어 동작을 수행할 수 있다. 일 예로 웨어러블 장치(223)의 모드가 상기 액티브 모드(800b)인 상태에서 키 입력 장치(810) 중 홈 키가 사용자(V1)에 의해 눌려지는 경우, 웨어러블 장치(223)는 디스플레이(예: 디스플레이(820)) 상에 홈 화면을 표시하고, 상기 홈 키가 눌려짐을 나타내는 정보를 포함하는 신호를 전자 장치(210)로 전송하는 동작을 삼가할 수 있다. 또 일 실시예에서, 웨어러블 장치(223)는 도 12의 1202에 도시된 바와 같이 웨어러블 장치(223)의 모드가 컨트롤러 모드(800c)인 상태에서 상기 사용자(V1)의 입력이 식별되는 경우, 상기 전자 장치(210)(예: 스마트 폰)로 몰입형 컨텐트의 제어를 위한 신호(예: 제어 신호(1223))를 송신할 수 있다. 일 예로 웨어러블 장치(223)의 모드가 상기 컨트롤러 모드(800c)인 상태에서 키 입력 장치(810) 중 홈 키가 사용자(V1)에 의해 눌려지는 경우, 웨어러블 장치(223)는 상기 디스플레이 상에 홈 화면을 표시하는 동작을 삼가하고, 상기 홈 키가 눌려짐을 나타내는 정보를 포함하는 제어 신호(1223)를 상기 전자 장치(210)로 전송할 수 있다.
다양한 실시예들에 따르면, 전자 장치(210)는 1021 동작에서 제어 신호에 기반하여 적어도 하나의 그래픽 오브젝트를 포함하는 이미지를 생성할 수 있다. 다양한 실시예들에 따르면, 전자 장치(210)는 1023 동작에서 생성된 이미지를 HMD 장치(221)로 전송할 수 있다. 예를 들어, 전자 장치(210)는 제어 신호(1223)에 포함된 정보에 대응하는 이미지를 생성하고, 생성된 이미지를 HMD 장치(221)로 전송할 수 있다. 상기 전자 장치(210)는 웨어러블 장치(223)로 수신되는 사용자(V1)의 입력에 대한 정보 별로 특정 기능을 연관시켜 미리 저장하고, 상기 수신된 신호에 포함된 사용자(V1)의 입력에 대한 정보와 미리 저장된 정보를 비교한 것에 기반하여 특정 기능을 수행할 수 있다. 상기 특정 기능은 특정 화면을 호출하는 기능, 및 현재 표시 중인 화면을 제어하는 기능(예: 표시된 그래픽 오브젝트를 제어하는 기능, 또는 화면 내에서 전환하는 기능)을 포함할 수 있다. 일 실시예에서, 전자 장치(210)는 상기 제어 신호(1223)에 기반하여, 상기 그래픽 오브젝트(도 11b의 1110)를 렌더링하여 이미지를 생성하고 생성된 이미지를 HMD 장치(221)로 전송할 수 있다. 일 예로, 상기 제어 신호(1223)에 포함된 정보가 홈 버튼이 눌려짐을 나타내는 정보인 경우, 전자 장치(210)는 홈 버튼이 눌려짐을 나타내는 정보에 대응하는 앱 트레이를 호출하는 기능을 식별하고, 앱 트레이를 렌더링하여 이미지를 생성하고, 앱 트레이를 포함하는 이미지를 HMD 장치(221)로 전송할 수 있다. 또 일 실시예에서, 전자 장치(210)는 상기 제어 신호(1223)에 기반하여, HMD 장치(221)를 통해 표시되는(또는 렌더링 된) 이미지에 포함된 적어도 하나의 그래픽 오브젝트(예: 도 11b의 1120)를 제어(예: 이동, 변경, 또는 선택)하고, 상기 제어 결과가 반영된(또는, 제어된 그래픽 오브젝트가 렌더링 된) 이미지를 생성하고, 생성된 이미지를 HMD 장치(221)로 전송할 수 있다. 일 예로, 상기 제어 신호(1223)에 포함된 정보가 휠 키가 회전됨을 나타내는 정보인 경우, 전자 장치(210)는 휠 키가 회전됨을 나타내는 정보에 대응하는 선택된 오브젝트를 이동시키는 기능을 식별하고, 변경된 위치에 적어도 하나의 오브젝트를 렌더링하여 이미지를 생성하고, 위치가 변경된 적어도 하나의 오브젝트 이미지를 HMD 장치(221)로 전송할 수 있다. 상기 휠 키가 시계 방향으로 회전되는 회전 거리에 비례하여 오브젝트가 우로 이동되고, 반 시계 방향으로 회전되는 회전 거리에 비례하여 오브젝트가 좌로 이동될 수 있으나, 기재된 바에 제한되지 않는다.
이하에서는 다양한 실시예들에 따른 전자 장치(210)의 동작의 예에 대해서 설명한다. 전술한 장치들의 동작(예: 도 10의 흐름도(1000)의 동작) 중 적어도 일부와 이하에서 기술되는 동작이 조합되어 수행될 수 있으므로, 중복되는 설명은 생략한다.
다양한 실시예들에 따르면 전자 장치(210)는 신체 일부와 연관된 정보(예: 양 손(h1, h2)의 위치 및/또는 머리(H)의 회전 각도(예: 피치 방향의 회전 각도))에 기반하여, 웨어러블 장치(223)의 모드를 설정하기 위한 신호를 웨어러블 장치(223)로 전송할 수 있다. 전자 장치(210)는 상기 웨어러블 장치(223)의 모드가 컨트롤러 모드(800c)로 설정됨에 기반하여 웨어러블 장치(223)로부터 제 1 신호(예: 도 10의 1019 동작 및 도 12b에서 기술한 제어 신호(1223))가 수신되는 경우, 상기 제 1 신호(예: 도 10의 1019 동작 및 도 12b에서 기술한 제어 신호(1223))와 연관된 이미지를 생성하여 생성된 이미지를 HMD 장치(221)로 전송할 수 있다.
도 13은 다양한 실시예들에 따른 전자 장치(210)의 동작의 일 예를 설명하기 위한 흐름도(1300)이다. 다양한 실시예들에 따르면, 도 13에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면 도 13에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다.
다양한 실시예들에 따르면 전자 장치(210)는 1301 동작에서 통신 회로(910)를 통해 헤드-마운티드 디스플레이 장치(221) 및 웨어러블 장치(223)와 통신 연결을 설정할 수 있다. 예를 들어, 웨어러블 장치(223) 및 HMD 장치(221)가 사용자(V1)에 의해 착용되고 턴-온(turn-on)된 이후에, 전자 장치(210)는 Wi-Fi, 블루투스(Bluetooth), BLE와 같은 근거리 무선 통신 방식을 이용하여 웨어러블 장치(223) 및 HMD 장치(221)와 통신 연결을 설정할 수 있다. 전자 장치(210)의 1301 동작은 전술한 전자 장치(210)의 1001 동작 및 1003 동작과 같이 수행될 수 있으므로 중복되는 설명은 생략한다.
다양한 실시예들에 따르면 전자 장치(210)는 1303 동작에서 헤드-마운티드 디스플레이 장치(221)로부터 사용자(V1)의 적어도 하나의 특정 신체 일부와 연관된 정보를 수신할 수 있다. 예를 들어 전술한 바와 같이, 전자 장치(210)는 HMD 장치(221)로부터 HMD 장치(221)의 주변 공간에 대한 3차원 좌표에 대한 정보와 상기 주변 공간 내의 HMD 장치(221)의 3차원 좌표에 대한 정보, 신체 일부들의 위치 및/또는 자세와 연관된 정보(예: 양 손(h1, h2)의 위치, 머리(H)의 회전 각도, 시선의 방향), 또는 웨어러블 장치(223)의 위치와 연관된 정보 중 적어도 하나를 수신할 수 있다. 전자 장치(210)의 1303 동작은 HMD 장치(221)의 1009 동작에서 기술된 전자 장치(210)가 정보를 수신하는 동작과 같이 수행될 수 있으므로 중복되는 설명은 생략한다.
다양한 실시예들에 따르면 전자 장치(210)는 1305 동작에서 통신 회로(910)를 통해 상기 웨어러블 장치(223)로부터 제 1 신호가 수신되는 경우, 상기 적어도 하나의 특정 신체 일부와 연관된 정보에 기반하여, 상기 제 1 신호와 연관된 3D 그래픽 오브젝트를 포함하는 이미지를 상기 헤드-마운티드 디스플레이 장치(221)로 전송할 수 있다. 전자 장치(210)는 웨어러블 장치(223)가 컨트롤러 모드(800c)로 설정된 것에 기반하여 웨어러블 장치(223)로부터 제 1 신호(예: 도 10의 1019 동작 및 도 12b에서 기술한 제어 신호(1223))를 수신하고, 수신된 제 1 신호에 대응하는 몰입형 컨텐트를 헤드-마운티드 디스플레이 장치(221)로 전송할 수 있다. 전자 장치(210)는 동일한 좌표계(예: HMD 장치(221)의 주변 공간에 대한 3차원 좌표계)와 연관된(또는, 동일한 좌표계 내에서) 신체 일부의 위치에 대한 정보(예: 양 손(h1, h2)들의 좌표, 및/또는 머리(H)의 회전 각도)를 식별하고, 식별된 신체 일부의 위치에 대한 정보(예: 양 손(h1, h2)들의 좌표, 및/또는 머리(H)의 회전 각도)에 기반하여 웨어러블 장치(223)의 모드를 컨트롤러 모드(800c)로 설정하기 위한 신호를 웨어러블 장치(223)로 전송할 수 있다. 일 예로, 전술한 바와 같이, 전자 장치(210)는 상기 양 손(h1, h2)들의 좌표 및/또는 머리(H)의 회전 각도에 기반하여 계산되는 양 손(h1, h2)들이 특정 영역으로 위치될 확률이 임계 값 보다 큰 경우, 상기 웨어러블 장치(223)의 모드를 컨트롤러 모드(800c)로 설정하기 위한 신호(예: controllercheck=Yes를 포함하는 신호)를 생성하고, 생성된 신호를 웨어러블 장치(223)로 전송할 수 있다. 전자 장치(210)가 상기 신호를 전송한 것에 기반하여 웨어러블 장치(223)가 컨트롤러 모드(800c)로 설정된 이후 웨어러블 장치(223)에 사용자(V1)의 입력이 수신되는 경우, 웨어러블 장치(223)는 전자 장치(210)로 상기 사용자(V1)의 입력에 대응하는 제 1 신호(예: 도 10의 1019 동작 및 도 12b에서 기술한 제어 신호(1223))를 송신할 수 있다. 전자 장치(210)는 상기 수신된 제 1 신호(예: 도 10의 1019 동작 및 도 12b에서 기술한 제어 신호(1223))에 포함된 정보에 기반하여 이미지를 생성하고, 생성된 이미지를 HMD 장치(221)로 전송할 수 있다. 상기 전자 장치(210)의 1305 동작은 전술한 전자 장치(210)의 1011 동작, 1013 동작, 및 1021 동작과 같이 수행될 수 있으므로 중복되는 설명은 생략한다.
이하에서는 다양한 실시예들에 따른 전자 장치(210)의 동작의 예에 대해서 설명한다. 전술한 장치들의 동작(예: 도 10의 흐름도(1000)의 동작, 도 13의 흐름도(1300)의 동작) 중 적어도 일부와 이하에서 기술되는 동작이 조합되어 수행될 수 있으므로, 중복되는 설명은 생략한다.
다양한 실시예들에 따르면 전자 장치(210)는 신체 일부와 연관된 정보(예: 양 손(h1, h2)의 위치 및/또는 머리(H)의 회전 각도(예: 피치 방향의 회전 각도))에 기반하여, 웨어러블 장치(223)의 모드를 설정하기 위한 파라미터들(예: checkglance, checkcontroller)의 값(또는, 정보)을 설정하고, 설정된 값의 파라미터들을 포함하는 신호를 웨어러블 장치(223)로 전송할 수 있다. 웨어러블 장치(223)는 상기 신호에 포함된 파라미터들의 값에 대응하는 모드(예: 액티브 모드(800b), 컨트롤러 모드(800c))로 웨어러블 장치(223)의 모드를 설정할 수 있다.
도 14는 다양한 실시예들에 따른 전자 장치(210)의 동작의 일 예를 설명하기 위한 흐름도(1400)이다. 다양한 실시예들에 따르면, 도 14에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면 도 14에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는 도 15, 도 16a 내지 도 16b, 및 도 17a 내지 도 17b를 참조하여 도 14에 대해서 설명한다.
도 15는 다양한 실시예들에 따른 웨어러블 장치(223)의 모드를 설정하기 위한 파라미터의 값의 예를 설명하기 위한 도면이다. 도 16a는 다양한 실시예들에 따른 전자 장치(210)의 웨어러블 장치(223)로부터 수신된 제어 신호에 기반하여 HMD 장치(221)를 통해 표시되는 오브젝트를 이동시키기 위한 동작의 예를 설명하기 위한 도면이다. 도 16b는 다양한 실시예들에 따른 HMD 장치(221)를 통해 표시될 오브젝트를 이동시키기 위한 동작들과 동작들 별 웨어러블 장치(223)의 모드를 설명하기 위한 도면이다. 도 17a는 다양한 실시예들에 따른 전자 장치(210)의 웨어러블 장치(223)로부터 수신된 제어 신호에 기반하여 HMD 장치(221)를 통해 특정 화면을 표시하기 위한 동작의 예를 설명하기 위한 도면이다. 도 17b는 다양한 실시예들에 따른 HMD 장치(221)를 통해 특정 화면을 표시하기 위한 동작들과 동작들 별 웨어러블 장치(223)의 모드를 설명하기 위한 도면이다.
다양한 실시예들에 따르면 전자 장치(210)는 1401 동작에서 통신 회로(910)를 통해 헤드-마운티드 디스플레이 장치(221) 및 웨어러블 장치(223)와 통신 연결을 설정하고, 1403 동작에서 헤드-마운티드 디스플레이 장치(221)로부터 사용자의 적어도 하나의 특정 신체 일부와 연관된 정보를 수신할 수 있다. 예를 들어, 웨어러블 장치(223) 및 HMD 장치(221)가 사용자에 의해 착용되고 턴-온(turn-on)된 이후에, 전자 장치(210)는 Wi-Fi, 블루투스(Bluetooth), 또는 BLE와 같은 근거리 무선 통신 방식을 이용하여 웨어러블 장치(223) 및 HMD 장치(221)와 통신 연결을 설정할 수 있다. 전자 장치(210)는 통신 연결에 기반하여, 전술한 바와 같이 전자 장치(210)는 HMD 장치(221)로부터 HMD 장치(221)의 주변 공간에 대한 3차원 좌표에 대한 정보와 상기 주변 공간 내의 HMD 장치(221)의 3차원 좌표에 대한 정보, 신체 일부들의 위치 및/또는 자세와 연관된 정보(예: 양 손(h1, h2)의 위치, 머리(H)의 회전 각도, 및/또는 시선의 방향), 또는 웨어러블 장치(223)의 위치와 연관된 정보 중 적어도 하나를 수신할 수 있다. 전자 장치(210)의 1401 동작은 전술한 전자 장치(210)의 1001 동작 및 1003 동작과 같이 수행되고, 전자 장치(210)의 1403 동작은 HMD 장치(221)의 1009 동작에서 기술된 전자 장치(210)가 정보를 수신하는 동작과 같이 수행될 수 있으므로 중복되는 설명은 생략한다.
다양한 실시예들에 따르면 전자 장치(210)는 1405 동작에서 상기 적어도 하나의 특정 신체 일부와 연관된 정보에 기반하여, 웨어러블 장치(223)를 사용할 의도와 연관된 제 1 파라미터에 대한 정보(또는 값) 또는 웨어러블 장치(223)를 이용하여 몰입형 컨텐트를 제어하기 위한 의도와 연관된 제 2 파라미터에 대한 정보(또는 값)를 획득할 수 있다. 예를 들어, 전자 장치(210)는 수신된 적어도 하나의 특정 신체 일부와 연관된 정보에 기반하여 웨어러블 장치(223)(예: 스마트 워치)를 사용할 의도 및/또는 웨어러블 장치(223)(예: 스마트 워치)를 이용하여 몰입형 컨텐트를 제어할 의도가 있는지 여부를 판단하고, 상기 판단 결과에 기반하여 제 1 파라미터(예: checkglance) 및/또는 제 2 파라미터(예: checkcontoroller)의 정보(또는 값)을 결정할 수 있다. 전자 장치(210)는 결정된 제 1 파라미터(예: checkglance)의 값 또는 제 2 파라미터(예: checkcontoroller)의 값 중 적어도 하나를 포함하는 신호를 상기 웨어러블 장치(223)로 전송할 수 있다. 웨어러블 장치(223)는 상기 신호에 포함된 제 1 파라미터(예: checkglance)의 값 또는 제 2 파라미터(예: checkcontoroller)의 값에 기반하여 웨어러블 장치(223)의 모드를 설정할 수 있다. 이하에서는 전자 장치(210)의 파라미터들의 값을 결정하는 동작 및 결정된 파라미터들의 값에 기반한 웨어러블 장치(223)의 모드 설정의 예들에 대해서 설명한다.
다양한 실시예들에 따르면, 전자 장치(210)는 사용자가 웨어러블 장치(223)를 활성화할 의도(또는 웨어러블 장치(223)(예: 스마트 워치)를 사용할 의도)가 있는지 판단한 결과에 따라서, 상기 제 1 파라미터(예: checkglance)의 값을 결정할 수 있다. 전자 장치(210)는 사용자의 의도가 있는 것으로 판단되는 경우 상기 제 1 파라미터(예: checkglance)에 대한 값을 제 1 값(예: yes를 나타내는 값)으로 설정하거나, 또는 사용자의 의도가 없는 것으로 판단되는 경우 제 1 파라미터(예: checkglance)에 대한 값을 제 2 값(예: no를 나타내는 값)으로 설정할 수 있다. 예를 들어, 전자 장치(210)는 사용자의 웨어러블 장치(223)의 사용 의도를 판단하는 동작의 적어도 일부로 웨어러블 장치(223) 상에서 사용자의 시선의 검출 여부를 판단하고, 상기 시선이 검출되는 경우 제 1 파라미터(예: checkglance)의 값으로서 제 1 값(예: yes를 나타내는 값)을 결정하고, 상기 시선이 검출되지 않는 경우 상기 제 1 파라미터(예: checkglance)의 값으로서 제 2 값(예: no를 나타내는 값)을 결정할 수 있다. 그 외 전자 장치(210)의 사용자의 웨어러블 장치(223)의 사용 의도를 판단하는 동작에 대해서는 전술한 바와 같이 수행될 수 있으므로, 중복되는 설명은 생략한다.
다양한 실시예들에 따르면, 전자 장치(210)는 복수의 정보들에 기반하여 사용자가 웨어러블 장치(223)(예: 스마트 워치)를 이용하여 몰입형 컨텐트(예: 확장 현실 기술 기반의 컨텐트)를 제어할 의도가 있는지 여부를 판단한 결과에 따라서, 상기 제 2 파라미터(예: checkcontroller)의 값을 결정할 수 있다. 전자 장치(210)는 몰입형 컨텐트를 제어할 의도가 있는 것으로 판단되는 경우 상기 제 2 파라미터(예: checkcontroller)에 대한 값을 제 1 값(예: yes를 나타내는 값)으로 설정하거나, 또는 몰입형 컨텐트를 제어할 의도가 없는 것으로 판단되는 경우 상기 제 2 파라미터(예: checkcontroller)에 대한 값을 제 2 값(예: no를 나타내는 값)으로 설정할 수 있다. 예를 들어, 전자 장치(210)는 몰입형 컨텐트를 제어할 의도가 있는지 여부를 판단하는 동작의 적어도 일부로, 양 손(h1, h2)이 특정 영역에 위치될 확률이 임계 값 보다 큰지 여부를 판단할 수 있다. 예를 들어, 전자 장치(210)는 상기 확률이 임계 값 보다 큰 경우 상기 제 2 파라미터(예: checkcontroller)에 대한 값을 제 1 값(예: yes를 나타내는 값)으로 설정하고, 상기 확률이 임계 값 보다 작은 경우 상기 제 2 파라미터에 대한 값을 제 2 값(예: no를 나타내는 값) 또는 제 3 값(예: stay를 나타내는 값)으로 설정할 수 있다. 상기 확률에 기반하여 제 2 파라미터(예: checkcontroller)에 대한 값을 설정하는 동작에 대해서는 도 19 내지 도 20에서 더 후술한다.
이하에서는, 도 15를 참조하여, 다양한 실시예들에 따른 웨어러블 장치(223)로 전송되는 신호에 포함되는 제 1 파라미터(예: checkglance) 또는 제 2 파라미터(예: checkcontroller) 중 적어도 하나의 값에 기반한, 웨어러블 장치(223)의 모드 설정의 예에 대해서 설명한다.
다양한 실시예들에 따르면, 상기 신호에 포함된 제 1 파라미터(예: checkglance) 또는 제 2 파라미터(예: checkcontroller) 중 적어도 하나의 값에 기반하여 웨어러블 장치(223)의 모드가 스탠바이 모드(800a)로 설정될 수 있다. 예를 들어, 도 15를 참조하면, 웨어러블 장치(223)의 모드가 스탠바이 모드(800a)인 상태에서 전자 장치(210)로부터 웨어러블 장치(223)로 수신되는 신호에 포함된 제 1 파라미터(예: checkglance)의 값이 제 2 값(예: no를 나타내는 값)이고 제 2 파라미터(예: checkcontroller)의 값이 제 2 값(예: no를 나타내는 값) 또는 제 3 값(예: stay를 나타내는 값)인 경우, 웨어러블 장치(223)의 모드가 스탠바이 모드(800a)로 유지될 수 있다. 또 예를 들어, 도 15를 참조하면, 웨어러블 장치(223)의 모드가 액티브 모드(800b)인 상태에서 전자 장치(210)로부터 웨어러블 장치(223)로 수신되는 신호에 포함된 제 1 파라미터(예: checkglance)의 값이 제 2 값(예: no를 나타내는 값)이고 제 2 파라미터(예: checkcontroller)의 값이 제 2 값(예: no를 나타내는 값)인 경우, 웨어러블 장치(223)의 모드가 액티브 모드(800b)에서 스탠바이 모드(800a)로 변경될 수 있다. 또 예를 들어, 도 15를 참조하면, 웨어러블 장치(223)의 모드가 컨트롤러 모드(800c)인 상태에서 전자 장치(210)로부터 웨어러블 장치(223)로 수신되는 신호에 포함된 제 1 파라미터(예: checkglance)의 값이 제 2 값(예: no)를 나타내는 값이고 제 2 파라미터(예: checkcontroller)의 값이 제 2 값(예: no를 나타내는 값)인 경우, 웨어러블 장치(223)의 모드가 컨트롤러 모드(800c)에서 스탠바이 모드(800a)로 변경될 수 있다.
다양한 실시예들에 따르면, 상기 신호에 포함된 제 1 파라미터(예: checkglance) 또는 제 2 파라미터(예: checkcontroller) 중 적어도 하나의 값에 기반하여 웨어러블 장치(223)의 모드가 액티브 모드(800b)로 설정될 수 있다. 예를 들어, 도 15를 참조하면, 웨어러블 장치(223)의 모드가 스탠바이 모드(800a)인 상태에서 전자 장치(210)로부터 웨어러블 장치(223)로 수신되는 신호에 포함된 제 1 파라미터(예: checkglance)의 값이 제 1 값(예: yes를 나타내는 값)인 경우, 웨어러블 장치(223)의 모드가 스탠바이 모드(800a)에서 액티브 모드(800b)로 변경될 수 있다. 이때, 도시되지 않았으나, 제 2 파라미터(예: checkcontroller)의 값에 관계없이 제 1 파라미터(예: checkglance)의 값이 제 1 값(예: yes를 나타내는 값)임에 기반하여, 웨어러블 장치(223)의 모드가 스탠바이 모드(800a)에서 액티브 모드(800b)로 변경될 수 있다. 또 예를 들어, 도 15를 참조하면, 웨어러블 장치(223)의 모드가 액티브 모드(800b)인 상태에서 전자 장치(210)로부터 웨어러블 장치(223)로 수신되는 신호에 포함된 제 2 파라미터(예: checkcontroller)의 값에 관계 없이 제 1 파라미터(예: checkglance)의 값이 제 1 값(예: yes를 나타내는 값)이거나 또는 제 1 파라미터(예: checkglance)의 값이 제 2 값(예: no를 나타내는 값)이지만 제 2 파라미터(예: checkcontroller)의 값이 제 3 값(예: stay를 나타내는 값)인 경우, 웨어러블 장치(223)의 모드는 액티브 모드(800b)로 유지될 수 있다. 또 예를 들어, 도 15를 참조하면, 웨어러블 장치(223)의 모드가 컨트롤러 모드(800c)인 상태에서 전자 장치(210)로부터 웨어러블 장치(223)로 수신되는 신호에 포함된 제 1 파라미터(예: checkglance)의 값이 제 1 값(예: yes를 나타내는 값)인 경우, 웨어러블 장치(223)의 모드가 컨트롤러 모드(800c)에서 액티브 모드(800b)로 변경될 수 있다. 이때, 도시되지 않았으나, 제 2 파라미터(예: checkcontroller)의 값에 관계없이 제 1 파라미터(예: checkglance)의 값이 제 1 값(예: yes를 나타내는 값)임에 기반하여, 웨어러블 장치(223)의 모드가 컨트롤러 모드(800c)에서 액티브 모드(800b)로 변경될 수 있다.
다양한 실시예들에 따르면, 상기 신호에 포함된 제 1 파라미터(예: checkglance) 또는 제 2 파라미터(예: checkcontroller) 중 적어도 하나의 값에 기반하여 웨어러블 장치(223)의 모드가 컨트롤러 모드(800c)로 설정될 수 있다. 예를 들어, 도 15를 참조하면, 웨어러블 장치(223)의 모드가 스탠바이 모드(800a)인 상태에서 전자 장치(210)로부터 웨어러블 장치(223)로 수신되는 신호에 포함된 제 1 파라미터(예: checkglance)의 값이 제 2 값(예: no)를 나타내는 값이고 제 2 파라미터(예: checkcontroller)의 값이 제 1 값(예: yes를 나타내는 값)인 경우, 웨어러블 장치(223)의 모드가 스탠바이 모드(800a)에서 컨트롤러 모드(800c)로 변경될 수 있다. 또 예를 들어, 도 15를 참조하면, 웨어러블 장치(223)의 모드가 액티브 모드(800b)인 상태에서 전자 장치(210)로부터 웨어러블 장치(223)로 수신되는 신호에 포함된 제 1 파라미터(예: checkglance)의 값이 제 2 값(예: no를 나타내는 값)이고 제 2 파라미터(예: checkcontroller)의 값이 제 1 값(예: yes를 나타내는 값)인 경우, 웨어러블 장치(223)의 모드는 액티브 모드(800b)에서 컨트롤러 모드(800c)로 변경될 수 있다. 또 예를 들어, 도 15를 참조하면, 웨어러블 장치(223)의 모드가 컨트롤러 모드(800c)인 상태에서 전자 장치(210)로부터 웨어러블 장치(223)로 수신되는 신호에 포함된 제 1 파라미터(예: checkglance)의 값이 제 2 값(예: no를 나타내는 값)이고 제 2 파라미터(예: checkcontroller)의 값이 제 1 값(에: yes를 나타내는 값) 또는 제 3 값(예: stay를 나타내는 값)인 경우, 웨어러블 장치(223)의 모드가 컨트롤러 모드(800c)로 유지될 수 있다.
다양한 실시예들에 따르면 전자 장치(210)는 1407 동작에서 제 1 파라미터에 대한 정보(또는, 값) 및/또는 제 2 파라미터에 대한 정보(또는, 값)를 포함하는 신호를 송신하고, 1409 동작에서 상기 신호를 송신한 것에 기반하여 적어도 하나의 동작을 수행할 수 있다. 예를 들어, 전자 장치(210)는 제 1 파라미터(예: checkglance)에 대한 값(예: yes, stay 또는 no를 나타내는 값) 및/또는 제 2 파라미터(예: checkcontroller)에 대한 값(예: yes, stay, 또는 no를 나타내는 값)을 포함하는 신호를 웨어러블 장치(223)로 전송할 수 있다. 일 실시예에서, 상기 적어도 하나의 동작은 HMD 장치(221)를 통해 표시될 몰입형 컨텐트를 제어하는 동작을 포함할 수 있다. 예를 들어, 전자 장치(210)는 상기 신호를 송신한 것에 기반하여 웨어러블 장치(223)로부터 제어 신호를 수신하고, 제어 신호에 기반하여 도 16a 및 도 16b에 도시된 바와 같이 HMD를 통해 표시 중인 적어도 하나의 오브젝트를 이동시켜 이미지를 생성하거나, 또는 도 17a 및 도 17b에 도시된 바와 같이 적어도 하나의 오브젝트를 포함하는 이미지를 생성하고, 생성된 이미지를 HMD 장치(221)로 전송할 수 있다. 이하에서는 각각의 예들에 대해서 설명한다.
다양한 실시예들에 따르면, 전자 장치(210)는 제 1 파라미터에 대한 정보(또는, 값) 및/또는 제 2 파라미터에 대한 정보(또는, 값)를 포함하는 신호를 송신한 것에 기반하여, 웨어러블 장치(223)로부터 제어 신호를 수신하고, 수신된 제어 신호에 기반하여 HMD 장치(221)를 통해 표시될 오브젝트(1600)를 제어(예: 이동, 변형, 또는 선택)할 수 있다. 예를 들어 도 16a 및 도 16b의 1601 내지 1602에 도시된 바와 같이 전자 장치(210)는 적어도 하나의 그래픽 오브젝트(1600)를 특정 좌표에 렌더링함으로써 그래픽 오브젝트(1600)를 포함하는 이미지를 생성하고, 생성된 이미지를 HMD 장치(221)로 전송할 수 있다. HMD 장치(221)는 상기 적어도 하나의 오브젝트(1600)를 사용자에게 제공(예: 표시)할 수 있다. 이때, 도 16b의 1602에 도시된 바와 같이 사용자가 웨어러블 장치(223)를 착용한 특정 손(h1)을 전방으로 내민 상태에서 사용자가 웨어러블 장치(223)를 응시할 수 있다. 전자 장치(210)는 HMD 장치(221)로부터 수신되는 정보에 기반하여, 웨어러블 장치(223)의 위치(예: 3차원 좌표)와 사용자의 시선의 위치(예: 3차원 벡터)가 서로 대응하는 것을 식별하고, 제 1 파라미터(예: checkglance)에 대한 제 1 값(예: yes를 나타내는 값)을 포함하는 신호를 웨어러블 장치(223)로 전송할 수 있다. 웨어러블 장치(223)는 상기 신호의 수신에 기반하여, 웨어러블 장치(223)의 모드를 스탠바이 모드(800a)에서 액티브 모드(800b)로 설정할 수 있다. 이때, 웨어러블 장치(223)의 모드가 액티브 모드(800b)로 설정된 이후, 사용자의 시선이 이동되어 웨어러블 장치(223)의 위치(예: 3차원 좌표)와 사용자의 시선의 위치(예: 3차원 벡터)가 서로 대응하지 않아, 웨어러블 장치(223)로 수신되는 신호에 포함된 제 1 파라미터(예: checkglance)의 값이 제 2 값(예: no를 나타내는 값)이더라도 제 2 파라미터(예: checkcontroller)의 값이 제 3 값(예: stay를 나타내는 값)인 경우, 웨어러블 장치(223)의 모드는 액티브 모드(800b)로 유지될 수 있다. 이후 도 16a의 ① 및 도 16b의 1603에 도시된 바와 같이 사용자가 적어도 하나의 오브젝트를 응시하는 경우, 전자 장치(210)는 HMD 장치(221)로부터 수신되는 정보에 기반하여, 오브젝트의 위치(예: 3차원 좌표)와 사용자의 시선의 위치(예: 3차원 벡터)가 서로 대응하는 것을 식별하고, 상기 식별에 기반하여 오브젝트를 선택할 수 있다. 오브젝트의 선택 이후 도 16a의 ② 및 도 16b의 1603에 도시된 바와 같이, 전자 장치(210)는 HMD 장치(221)로부터 수신되는 정보에 기반하여 웨어러블 장치(223)의 위치(예: 3차원 좌표)와 사용자의 시선의 위치(예: 3차원 벡터)가 서로 대응하지 않고, 양 손(h1, h2)의 위치가 특정 영역에 위치될 확률이 임계 값 보다 큰 것으로 판단하고, 제 1 파라미터(예: checkglance)에 대한 제 2 값(예: no를 나타내는 값) 및 제 2 파라미터(예: checkcontroller)에 대한 제 1 값(예: yes를 나타내는 값)을 포함하는 신호를 웨어러블 장치(223)로 전송할 수 있다. 웨어러블 장치(223)는 상기 신호의 수신에 기반하여, 웨어러블 장치(223)의 모드를 액티브 모드(800b)에서 컨트롤러 모드(800c)로 설정할 수 있다. 한편, 도 16b의 1604에 도시된 바와 같이 사용자가 다시 웨어러블 장치(223)를 응시하는 경우, 전자 장치(210)는 제 1 파라미터(예: checkglance)에 대한 제 1 값(예: yes를 나타내는 값)을 포함하는 신호를 웨어러블 장치(223)로 전송할 수 있다. 이 경우, 웨어러블 장치(223)의 모드는 컨트롤러 모드(800c)에서 액티브 모드(800b)로 다시 변경될 수 있다. 웨어러블 장치(223)의 모드가 액티브 모드(800b)인 상태에서 도 16a의 ③과 ④, 및 도 16b의 1605에 도시된 바와 같이 웨어러블 장치(223)로 입력(예: 휠 키 회전, 또는 터치 스크린 터치)이 수신되는 경우, 전자 장치(210)는 웨어러블 장치(223)로부터 입력에 대응하는 정보를 포함하는 제어 신호를 수신할 수 있다. 이에 따라, 전자 장치(210)는 휠 키 회전에 대응하는 만큼 상기 선택된 오브젝트(1600)를 이동시켜 렌더링하여 이미지를 생성하고, 터치 스크린의 터치에 기반하여 이동된 오브젝트(1600)의 위치를 고정시킬 수 있다. 도 16b의 1606에 도시된 바와 같이 양 손(h1, h2)이 후방으로 이동되는 경우, 전자 장치(210)는 HMD 장치(221)로부터 수신되는 정보에 기반하여 양 손(h1, h2)의 위치가 특정 영역에 위치될 확률이 임계 값 보다 작은 것으로 판단하고, 제 2 파라미터(예: checkcontroller)에 대한 제 2 값(예: no를 나타내는 값)을 포함하는 신호를 웨어러블 장치(223)로 전송할 수 있다. 이에 따라, 웨어러블 장치(223)의 모드는 컨트롤러 모드(800c)에서 스탠바이 모드(800a)로 설정될 수 있다.
다양한 실시예들에 따르면, 전자 장치(210)는 제 1 파라미터에 대한 정보(또는, 값) 및/또는 제 2 파라미터에 대한 정보(또는, 값)를 포함하는 신호를 송신한 것에 기반하여, 웨어러블 장치(223)로부터 제어 신호를 수신하고, 수신된 제어 신호에 기반하여 HMD 장치(221)를 통해 표시될 특정 오브젝트(1700)를 포함하는 이미지를 생성할 수 있다. 예를 들어 도 17a의 ① 및 도 17b의 1701에 도시된 바와 같이, 전자 장치(210)는 HMD 장치(221)를 통해 표시될 이미지를 생성하지 않을 수 있다. 이에 따라, HMD 장치(221) 또한 이미지를 표시하지 않고 있을 수 있다. 다만 기재 및/또는 도시된 바에 제한되지 않고 도 16a 및 도 16b에서 전술한 바와 같이 전자 장치(210)는 적어도 하나의 그래픽 오브젝트를 특정 좌표에 렌더링함으로써 그래픽 오브젝트를 포함하는 이미지를 생성하고, 생성된 이미지를 HMD 장치(221)로 전송할 수도 있다. 이때, 17a의 ② 및 도 17b의 1702에 도시된 바와 같이 사용자가 웨어러블 장치(223)를 착용한 손(h1)을 전방으로 내민 상태에서 사용자가 웨어러블 장치(223)를 응시할 수 있다. 전자 장치(210)는 HMD 장치(221)로부터 수신되는 정보에 기반하여, 웨어러블 장치(223)의 위치(예: 3차원 좌표)와 사용자의 시선의 위치(예: 3차원 벡터)가 서로 대응하는 것을 식별하고, 제 1 파라미터(예: checkglance)에 대한 제 1 값(예: yes를 나타내는 값)을 포함하는 신호를 웨어러블 장치(223)로 전송할 수 있다. 웨어러블 장치(223)는 상기 신호의 수신에 기반하여, 웨어러블 장치(223)의 모드를 스탠바이 모드(800a)에서 액티브 모드(800b)로 설정할 수 있다. 이후 도 17b의 1703에 도시된 바와 같이, 전자 장치(210)는 HMD 장치(221)로부터 수신되는 정보에 기반하여 양 손(h1, h2)의 위치가 특정 영역에 위치될 확률이 임계 값 보다 큰 것으로 판단하고, 제 2 파라미터(예: checkcontroller)에 대한 제 1 값(예: yes를 나타내는 값)을 포함하는 신호를 웨어러블 장치(223)로 전송할 수 있다. 웨어러블 장치(223)는 상기 신호의 수신에 기반하여, 웨어러블 장치(223)의 모드를 액티브 모드(800b)에서 컨트롤러 모드(800c)로 설정할 수 있다. 상기 웨어러블 장치(223)의 모드가 액티브 모드(800b)인 상태에서 도 17a의 ③ 내지 ⑤, 및 도 17b의 1703 내지 1705에 도시된 바와 같이 웨어러블 장치(223)로 입력(예: 키 입력, 휠 키 회전, 또는 터치 스크린 터치)이 수신되는 경우, 전자 장치(210)는 웨어러블 장치(223)로부터 입력에 대응하는 정보를 포함하는 제어 신호를 수신할 수 있다. 이에 따라, 전자 장치(210)는 키 입력에 대응하는 오브젝트들(또는, 어플리케이션 실행을 위한 아이콘들)(1700)(예: 앱 트레이)을 포함하는 이미지를 획득하고, 획득된 이미지 중 일부를 HMD 장치(221)로 전송할 수 있다. HMD 장치(221)는 도 17a 및 도 17b의 1703 내지 도 1705에 도시된 바와 같이 오브젝트들을 포함하는 이미지를 제공(예: 표시)할 수 있다. 전자 장치(210)는 휠 키 회전에 기반하여 HMD 장치(221)로 전송될 이미지의 다른 일부를 획득하고, 획득된 이미지의 다른 일부를 HMD 장치(221)로 전송할 수 있다. 이에 따라, 도 17a의 ④ 및 도 17b의 1704에 도시된 바와 같이 HMD 장치(221)는 앱 트레이를 포함하는 이미지를 전환하여 제공할 수 있다. 전자 장치(210)는 도 17a의 ⑤에 도시된 바와 같이 표시 중인 오브젝트들(1700) 중 사용자의 시선에 대응하는 특정 오브젝트(1700a)를 선택하고, 도 17a의 ⑥ 및 도 17b의 1705에 도시된 바와 같이 터치 스크린의 터치에 기반하여 선택된 오브젝트(1700a)(또는, 아이콘)에 대응하는 어플리케이션을 실행하고, 실행된 어플리케이션의 화면을 획득하고, 획득된 화면을 렌더링하여 HMD 장치(221)로 전송할 수 있다. 도 17b의 1706에 도시된 바와 같이 양 손(h1, h2)이 후방으로 이동되는 경우, 전자 장치(210)는 HMD 장치(221)로부터 수신되는 정보에 기반하여 양 손(h1, h2)의 위치가 특정 영역에 위치될 확률이 임계 값 보다 작은 것으로 판단하고, 제 2 파라미터(예: checkcontroller)에 대한 제 2 값(예: no를 나타내는 값)을 포함하는 신호를 웨어러블 장치(223)로 전송할 수 있다. 이에 따라, 웨어러블 장치(223)의 모드는 컨트롤러 모드(800c)에서 스탠바이 모드(800a)로 설정될 수 있다.
한편 기재된 바에 제한되지 않고, 상기 웨어러블 장치(223)로 송신된 신호에 파라미터에 포함된 값에 기반하여 웨어러블 장치(223)의 모드가 스탠바이 모드(800a) 또는 컨트롤러 모드(800c)로 설정되는 경우 상기 적어도 하나의 동작은 수행되지 않을 수도 있다.
이하에서는 다양한 실시예들에 따른 전자 장치(210)의 동작의 예에 대해서 설명한다. 전술한 장치들의 동작(예: 도 10의 흐름도(1000)의 동작, 도 13의 흐름도(1300)의 동작, 도 14의 흐름도(1400)의 동작)중 적어도 일부와 이하에서 기술되는 동작이 조합되어 수행될 수 있으므로, 중복되는 설명은 생략한다.
다양한 실시예들에 따르면 전자 장치(210)는 웨어러블 장치(223)를 이용하여 몰입형 컨텐트를 제어할 의도를 판단하는 동작의 적어도 일부로, 한 손을 이용한 제스쳐를 인식하고, 상기 한 손을 이용한 제스쳐가 인식되지 않는 경우 양 손(h1, h2)들의 위치에 기반하여 사용자가 웨어러블 장치(223)를 이용하여 몰입형 컨텐트를 제어할 의도를 판단할 수 있다.
도 18은 다양한 실시예들에 따른 전자 장치(210)의 동작의 일 예를 설명하기 위한 흐름도(1800)이다. 다양한 실시예들에 따르면, 도 18에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면 도 18에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다.
다양한 실시예들에 따르면 전자 장치(210)는 1801 동작에서 통신 회로(910)를 통해 헤드-마운티드 디스플레이 장치(221) 및 웨어러블 장치(223)와 통신 연결을 설정하고, 1803 동작에서 헤드-마운티드 디스플레이 장치(221)로부터 사용자의 적어도 하나의 특정 신체 일부와 연관된 정보를 수신할 수 있다. 예를 들어, 웨어러블 장치(223) 및 HMD 장치(221)가 사용자에 의해 착용되고 턴-온(turn-on)된 이후에, 전자 장치(210)는 Wi-Fi, 블루투스(Bluetooth), 또는 BLE와 같은 근거리 무선 통신 방식을 이용하여 웨어러블 장치(223) 및 HMD 장치(221)와 통신 연결을 설정할 수 있다. 전자 장치(210)는 통신 연결에 기반하여, 전술한 바와 같이 전자 장치(210)는 HMD 장치(221)로부터 HMD 장치(221)의 주변 공간에 대한 3차원 좌표에 대한 정보와 상기 주변 공간 내의 HMD 장치(221)의 3차원 좌표에 대한 정보, 신체 일부들의 위치 및/또는 자세와 연관된 정보(예: 양 손(h1, h2)의 위치, 머리(H)의 회전 각도, 및/또는 시선의 방향), 또는 웨어러블 장치(223)의 위치와 연관된 정보 중 적어도 하나를 수신할 수 있다. 전자 장치(210)의 1801 동작은 전술한 전자 장치(210)의 1001 동작 및 1003 동작과 같이 수행되고, 전자 장치(210)의 1803 동작은 HMD 장치(221)의 1009 동작에서 기술된 전자 장치(210)가 정보를 수신하는 동작과 같이 수행될 수 있으므로 중복되는 설명은 생략한다.
다양한 실시예들에 따르면 전자 장치(210)는 1805 동작에서 사용자의 신체 일부의 제스쳐를 인식할 수 있다. 다양한 실시예들에 따르면 전자 장치(210)는 1807 동작에서 식별된 제스쳐가 특정 제스쳐인지 여부를 판단할 수 있다. 예를 들어, 전자 장치(210)는 웨어러블 장치(223)를 착용한 신체 일부(예: 팔 또는 손(h1))의 제스쳐가 특정 제스쳐(예: 핀치 제스쳐)에 대응하는지 여부를 판단할 수 있다. 상기 특정 제스쳐는 상기 웨어러블 장치(223)의 모드를 컨트롤러 모드(800c)로 설정하기 위해 미리 정의된 제스쳐일 수 있다. 기재된 핀치 제스쳐에 제한되지 않고, 상기 특정 제스쳐는 다양한 종류의 제스쳐를 포함할 수 있으며 상기 특정 제스쳐는 사용자의 설정에 의해 다양하게 설정될 수도 있다.
다양한 실시예들에 따르면 전자 장치(210)는 상기 식별된 제스쳐가 특정 제스쳐에 대응하지 않는 경우, 1809 동작에서 양 손(h1, h2)의 위치가 지정된 조건을 만족하는 지 여부를 판단할 수 있다. 예를 들어 전술한 바와 같이, 전자 장치(210)는 양 손(h1, h2)의 위치가 특정 영역에 위치될 확률이 임계 값보다 큰지 여부를 판단하거나, 및/또는 양손의 위치가 특정 영역이 위치되었는 지 여부를 판단할 수 있다. 전자 장치(210)는 상기 확률이 임계 값 보다 크거나 및/또는 양손이 특정 영역에 위치되는 경우 지정된 조건이 만족되는 것으로 판단할 수 있다. 전자 장치(210)는 상기 확률이 임계 값 보다 작거나 및/또는 양손이 특정 영역 바깥에 위치되는 경우(또는, 특정 영역 내에 위치되지 않는 경우) 지정된 조건이 불만족되는 것으로 판단할 수 있다. 상기 전자 장치(210)의 확률을 판단하는 동작은 도 19 내지 도 20에서 후술한다.
다양한 실시예들에 따르면 전자 장치(210)는 상기 식별된 제스쳐가 특정 제스쳐에 대응하거나, 상기 양 손(h1, h2)의 위치가 지정된 조건을 만족하는 경우 1811 동작에서 웨어러블 장치(223)의 모드를 컨트롤러 모드(800c)로 설정하기 위한 신호(예: checkcontroller에 대한 yes를 나타내는 값을 포함하는 신호)를 웨어러블 장치(223)로 전송할 수 있다. 한편, 전자 장치(210)는 양 손(h1, h2)의 위치가 지정된 조건을 만족하지 않는 것으로 판단된 경우에는, 전술한 바와 같이 제 2 파라미터(예: checkcontroller)의 값을 “stay”를 나타내는 값 또는 “no”를 나타내는 값으로 설정하고, 해당 값을 포함하는 신호를 웨어러블 장치(223)로 전송할 수 있다.
한편 기재된 바에 제한되지 않고, 전자 장치(210)는 제 1 파라미터(예: checkglance) 및 제 2 파라미터(예: checkcontroller) 대신 단일의 파라미터(예: checkmode)에 대한 값을 설정하고, 설정된 단일의 파라미터(예: checkmode)에 대한 값을 포함하는 신호를 웨어러블 장치(223)로 송신할 수 있다. 상기 단일의 파라미터(예: checkmode)에 대해서 설정 가능한 복수의 값들은 상기 웨어러블 장치(223)의 모드를 스탠바이 모드(800a), 액티브 모드(800b) 또는 컨트롤러 모드(800c) 중 적어도 하나로 설정하기 위한 값을 포함할 수 있다. 웨어러블 장치(223)는 상기 수신된 신호에 포함된 단일의 파라미터(예: checkmode)에 대한 값에 기반하여 웨어러블 장치(223)의 모드를 설정하고, 전술한 바와 같이 동작을 수행할 수 있으므로 중복되는 설명은 생략한다.
이하에서는 다양한 실시예들에 따른 전자 장치(210)의 동작의 예에 대해서 설명한다. 전술한 장치들의 동작(예: 도 10의 흐름도(1000)의 동작, 도 13의 흐름도(1300)의 동작, 도 14의 흐름도(1400)의 동작, 도 18의 흐름도(1500)의 동작)중 적어도 일부와 이하에서 기술되는 동작이 조합되어 수행될 수 있으므로, 중복되는 설명은 생략한다.
다양한 실시예들에 따르면 전자 장치(210)는 사용자가 웨어러블 장치(223)(예: 스마트 워치)를 이용하여 몰입형 컨텐트를 제어할 의도를 판단하는 동작의 적어도 일부로, 사용자의 양 손(h1, h2)이 복수의 영역들 중 특정 영역들에 위치될 확률과 임계 값을 비교하는 동작을 수행할 수 있다. 전자 장치(210)는 상기 양 손(h1, h2)이 특정 영역들에 위치될 확률을 식별하는 동작의 일부로, 전자 장치(210)에 미리 저장된 손의 위치 및 머리(H)의 회전 각도에 대응하는 확률 정보들 중 현재 식별된 양 손(h1, h2)의 위치 및 머리(H)의 회전 각도에 대응하는 확률을 식별하는 동작을 수행할 수 있다.
도 19는 다양한 실시예들에 따른 전자 장치(210)의 동작의 일 예를 설명하기 위한 흐름도(1900)이다. 다양한 실시예들에 따르면, 도 19에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면 도 19에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다.
도 20은 다양한 실시예들에 따른 복수의 영역들 및 확률 정보의 예를 설명하기 위한 도면이다.
다양한 실시예들에 따르면 전자 장치(210)는 1901 동작에서 통신 회로(910)를 통해 헤드-마운티드 디스플레이 장치(221) 및 웨어러블 장치(223)와 통신 연결을 설정할 수 있다. 다양한 실시예들에 따르면 전자 장치(210)는 1903 동작에서 헤드-마운티드 디스플레이 장치(221)로부터 사용자의 적어도 하나의 특정 신체 일부와 연관된 정보를 수신할 수 있다. 예를 들어, 웨어러블 장치(223) 및 HMD 장치(221)가 사용자에 의해 착용되고 턴-온(turn-on)된 이후에, 전자 장치(210)는 Wi-Fi, 블루투스(Bluetooth), 또는 BLE와 같은 근거리 무선 통신 방식을 이용하여 웨어러블 장치(223) 및 HMD 장치(221)와 통신 연결을 설정할 수 있다. 전자 장치(210)는 통신 연결에 기반하여, 전술한 바와 같이 전자 장치(210)는 HMD 장치(221)로부터 HMD 장치(221)의 주변 공간에 대한 3차원 좌표에 대한 정보와 상기 주변 공간 내의 HMD 장치(221)의 3차원 좌표에 대한 정보, 신체 일부들의 위치 및/또는 자세와 연관된 정보(예: 양 손(h1, h2)의 위치, 머리(H)의 회전 각도, 및/또는 시선의 방향), 또는 웨어러블 장치(223)의 위치와 연관된 정보 중 적어도 하나를 수신할 수 있다. 전자 장치(210)의 1901 동작은 전술한 전자 장치(210)의 1001 동작 및 1003 동작과 같이 수행되고, 전자 장치(210)의 1903 동작은 HMD 장치(221)의 1009 동작에서 기술된 전자 장치(210)가 정보를 수신하는 동작과 같이 수행될 수 있으므로 중복되는 설명은 생략한다.
다양한 실시예들에 따르면 전자 장치(210)는 1905 동작에서 기-저장된 확률 정보 및 상기 적어도 하나의 특정 신체 일부와 연관된 정보에 기반하여, 상기 사용자의 양 손(h1, h2)들이 복수의 영역들에 위치될 확률을 식별할 수 있다. 예를 들어 전자 장치(210)는 전자 장치(210)에 미리 저장된 머리(H)의 회전 각도(예: 피치 방향의 각도) 별로 양 손(h1, h2)들 각각(예: 오른손 및 왼손)이 복수의 영역들로 이동될 확률에 대한 정보, 식별된 양 손(h1, h2)의 위치 및 머리(H)의 회전 각도에 기반하여, 사용자의 양 손(h1, h2)들 각각이 일 영역에 위치된 시점(또는 각각의 위치를 식별한 시점)부터 지정된 시간 이후에 사용자의 양 손(h1, h2)들이 복수의 영역들(state 0, state 1, state 2, state 3)에 위치될 확률을 식별할 수 있다. 도 20의 2001를 참조하면 사용자의 머리(H)의 전방 영역(S1)과 하방 영역(S2)(또는, HMD 장치(221)의 복수의 카메라들(340)에 의해 촬영 가능한 영역들)은 복수의 영역들(state 0, state 1, state 2, state 3)로 분류(또는 식별)될 수 있다. 전자 장치(210)는 상기 분류된 복수의 영역들(state 0, state 1, state 2, state 3)의 위치에 대한 정보(예: 3차원 좌표에 대한 정보)를 미리 저장하고, 식별된 손(h1 또는 h2)의 위치와 상기 저장된 복수의 영역들의 위치와 비교하여 상기 손이 현재 위치되는 영역을 식별할 수 있다. 한편 기재 및/또는 도시된 바에 제한되지 않고, 더 많은 영역들로 분류되거나 또는 다양한 형상으로 분류될 수 있다. 상기 복수의 영역들(state 0, state 1, state 2, state 3) 중 제 1 영역(예: state 3)은 사용자가 웨어러블 장치(223)를 몰입형 컨텐트를 제어하기 위한 용도로 사용할 의도가 있는 영역으로 정의되고, 다른 제 2 영역(예: state 0)은 상기 의도가 없는 영역으로 정의될 수 있으나, 기재된 예에 제한되지 않고 다양하게 설정될 수 있다. 이때 아래의 [수학식 1]과 도 20의 2002를 참조하면, 상기 전자 장치(210)에 미리 저장된 복수의 확률들에 대한 정보 각각은 손이 위치되는 일 영역에서 지정된 시간 이후 일 영역에 계속 위치되거나(또는, 위치를 유지하거나), 또는 다른 영역으로 이동될 확률을 포함할 수 있다.
[수학식 1]에서 pxy는 확률을 나타내고, x의 값은 손이 위치되는 현재 영역을 나타내고, y의 값은 지정된 시간 이후 손이 위치될 영역을 나타낼 수 있다. 예를 들어, p01은 손이 위치되는 state 0에서, 지정된 시간 이후 state 1으로 손이 이동될 확률을 나타낼 수 있다. n의 값은 왼손 또는 오른손을 나타낼 수 있다. 예를 들어, n이 0인 경우 왼손을 나타내고, n이 1인 경우 오른손을 나타낼 수 있다. 상기 θ는 머리(H)의 피치 방향의 각도를 나타낼 수 있으나, 기재된 바에 제한되지 않고 상기 복수의 확률들에 대한 정보는 머리(H)의 요 및/또는 롤 방향의 각도에 대한 확률 정보들도 더 포함할 수 있다.
상기 일 영역(예: state0)에 손이 위치된 이후에 복수의 영역들 각각(예: state0, state1, state2, state3)으로 위치되는 확률들(예: p00, p01, p02, p03)의 합은 100%일 수 있다. 다시 말해, p00, p01, p02, p03 각각이 나타내는 확률에 대한 값을 합한 결과는 100%에 대한 값(예: 1)일 수 있다. 머리(H)의 피치 방향의 각도(θ) 별로 상기 일 영역에서 손이 위치된 이후에, 지정된 시간 이후에 손이 위치되는 영역을 복수 회 실험한 결과에 따라서 상기 각각의 확률들이 계산되고, 계산된 확률들에 대한 정보가 전자 장치(210)로 제공될 수 있다.
상기 [수학식 1]을 참조하면, 전자 장치(210)는 머리(H)의 피치 방향의 각도(θ) 별로 왼손(n=0)과 오른손(n=1) 각각의 일 영역에서 다른 영역으로 이동될 복수의 확률들에 대한 정보를 저장할 수 있다. 전자 장치(210)는 HMD 장치(221)로부터 수신된 정보에 기반하여 양 손(h1, h2)들(예: 오른 손, 및 왼 손) 각각의 3차원 좌표와 복수의 영역들 각각의 3차원 좌표에 대한 정보를 비교한 것에 기반하여, 현재 양 손(h1, h2)들 각각이 위치되는 영역을 식별할 수 있다. 전자 장치(210)는 상기 저장된 복수의 확률들에 대한 정보 중 상기 머리(H)의 피치 방향의 각도에 대응하는 확률에 대한 정보를 식별하고, 상기 확률에 대한 정보로부터 현재 손이 위치되는 것으로 식별된 영역에서 복수의 영역들(예: state0, state1, state2, state3) 별로 이동될 확률을 식별할 수 있다.
다양한 실시예들에 따르면 전자 장치(210)는 분류된 복수의 영역들 중에서 사용자의 선택에 따라서 특정 영역을 웨어러블 장치(223)를 이용하여 몰입형 컨텐트를 제어할 의도가 있는 영역으로 설정할 수 있다. 예를 들어, 전자 장치(210)는 설정 어플리케이션의 실행에 따라서, HMD 장치(221)를 통해 복수의 영역들(예: state0, state1, state2, state3)을 서로 다른 시각적 속성(예: 다른 색상)으로 제공할 수 있다. 상기 복수의 영역들을 제공하는 중에 사용자가 복수의 영역들 중 특정 영역에 양 손을 위치하는 경우(또는 양 손을 위치한 상태에서 웨어러블 장치(223)를 이용하는 경우), 전자 장치(210)는 상기 사용자의 입력을 식별하고 상기 식별된 입력에 기반하여 상기 양 손이 위치되는 특정 영역을 추후에 몰입형 컨텐트를 제어하기 위한 영역으로서 관리할 수 있다. 일 실시예에서, 전자 장치(210)는 HMD 장치(221)로부터 수신되는 정보에 기반하여, 상기 사용자의 입력을 식별할 수 있다. 또 일 실시예에서, 전자 장치(210)는 웨어러블 장치(223)로부터 수신되는 제어 신호에 기반하여 상기 사용자의 입력을 식별할 수 있다. 이 경우, 상기 설정 앱의 실행에 따라서 전자 장치(210)는 웨어러블 장치(223)의 모드를 컨트롤러 모드(800c)로 설정하기 위한 신호를 웨어러블 장치(223)로 전송하고, 이에 기반하여 웨어러블 장치(223)로부터 제어 신호가 수신되는 것일 수 있다.
다양한 실시예들에 따르면 전자 장치(210)는 1907 동작에서 상기 식별된 제 1 영역에 대한 제 1 확률이 제 1 임계 값 보다 큰지 여부를 판단하고, 상기 제 1 확률이 제 1 임계 값 보다 큰 경우 1909 동작에서 제 2 파라미터에 대한 제 1 값을 포함하는 신호를 송신할 수 있다. 예를 들어, 전자 장치(210)는 상기 확률을 식별하는 동작에 기반하여, 복수의 영역들(예: state0, state1, state2, state3) 중 전술한 특정 제 1 영역(예: state 3)으로 이동될 확률이 임계 값 보다 큰 경우 제 2 파라미터(예: checkcontroller)의 값을 제 1 값(예: yes를 나타내는 값)으로 설정할 수 있다. 전자 장치(210)는 상기 제 2 파라미터(예: checkcontroller)의 값을 제 1 값(예: yes를 나타내는 값)을 포함하는 신호를 웨어러블 장치(223)로 전송할 수 있다.
다양한 실시예들에 따르면 전자 장치(210)는 상기 제 1 영역에 대한 제 1 확률이 임계 값 보다 작은 경우 1911 동작에서 상기 제 2 확률이 제 2 임계 값 보다 큰 지 여부를 판단하고, 상기 제 2 확률이 제 2 임계 값 보다 큰 경우 1913 동작에서 제 2 파라미터에 대한 제 2 값을 포함하는 신호를 송신할 수 있다. 예를 들어, 전자 장치(210)는 상기 확률을 식별하는 동작에 기반하여, 복수의 영역들 중 전술한 특정 제 2 영역(예: state 0)으로 이동될 확률이 임계 값 보다 큰 경우 제 2 파라미터(예: checkcontroller)의 값을 제 2 값(예: no를 나타내는 값)으로 설정할 수 있다. 전자 장치(210)는 상기 제 2 파라미터(예: checkcontroller)의 값을 제 2 값(예: no를 나타내는 값)을 포함하는 신호를 웨어러블 장치(223)로 전송할 수 있다.
다양한 실시예들에 따르면 전자 장치(210)는 상기 제 2 영역에 대한 제 2 확률이 임계 값 보다 작은 경우 1915 동작에서 제 2 파라미터에 대한 제 3 값을 포함하는 신호를 송신할 수 있다. 예를 들어, 전자 장치(210)는 상기 확률을 식별하는 동작에 기반하여, 복수의 영역들 중 전술한 특정 제 2 영역(예: state 0)으로 이동될 확률이 임계 값 보다 작은 경우 제 2 파라미터(예: checkcontroller)의 값을 제 3 값(예: stay를 나타내는 값)으로 설정할 수 있다. 전자 장치(210)는 상기 제 2 파라미터(예: checkcontroller)의 값을 제 3 값(예: stay를 나타내는 값)을 포함하는 신호를 웨어러블 장치(223)로 전송할 수 있다.
이하에서는 다양한 실시예들에 따른 전자 장치(210)의 동작의 예에 대해서 설명한다. 전술한 장치들의 동작(예: 도 10의 흐름도(1000)의 동작, 도 13의 흐름도(1300)의 동작, 도 14의 흐름도(1400)의 동작, 도 18의 흐름도(1800)의 동작, 도 19의 흐름도(1900)) 중 적어도 일부와 이하에서 기술되는 동작이 조합되어 수행될 수 있으므로, 중복되는 설명은 생략한다.
다양한 실시예들에 따르면 전자 장치(210)는 사용자의 양 손(h1, h2)의 위치 이동에 기반하여, 사용자의 웨어러블 장치(223)를 이용하여 혼합형 컨텐트의 제어할 의도와 연관된 제 2 파라미터(예: checkglance)의 값을 설정하기 위한 복수의 확률들에 대한 정보를 갱신할 수 있다.
도 21은 다양한 실시예들에 따른 전자 장치(210)의 동작의 일 예를 설명하기 위한 흐름도(2100)이다. 다양한 실시예들에 따르면, 도 21에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면 도 21에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다.
다양한 실시예들에 따르면 전자 장치(210)는 2101 동작에서 통신 회로(910)를 통해 헤드-마운티드 디스플레이 장치(221) 및 웨어러블 장치(223)와 통신 연결을 설정할 수 있다. 다양한 실시예들에 따르면 전자 장치(210)는 2103 동작에서 헤드-마운티드 디스플레이 장치(221)로부터 사용자의 적어도 하나의 특정 신체 일부와 연관된 정보를 수신할 수 있다. 예를 들어, 웨어러블 장치(223) 및 HMD 장치(221)가 사용자에 의해 착용되고 턴-온(turn-on)된 이후에, 전자 장치(210)는 Wi-Fi, 블루투스(Bluetooth), 또는 BLE와 같은 근거리 무선 통신 방식을 이용하여 웨어러블 장치(223) 및 HMD 장치(221)와 통신 연결을 설정할 수 있다. 전자 장치(210)는 통신 연결에 기반하여, 전술한 바와 같이 전자 장치(210)는 HMD 장치(221)로부터 HMD 장치(221)의 주변 공간에 대한 3차원 좌표에 대한 정보와 상기 주변 공간 내의 HMD 장치(221)의 3차원 좌표에 대한 정보, 신체 일부들의 위치 및/또는 자세와 연관된 정보(예: 양 손(h1, h2)의 위치, 머리(H)의 회전 각도, 및/또는 시선의 방향), 또는 웨어러블 장치(223)의 위치와 연관된 정보 중 적어도 하나를 수신할 수 있다. 전자 장치(210)의 2101 동작은 전술한 전자 장치(210)의 1001 동작 및 1003 동작과 같이 수행되고, 전자 장치(210)의 2103 동작은 HMD 장치(221)의 1009 동작에서 기술된 전자 장치(210)가 정보를 수신하는 동작과 같이 수행될 수 있으므로 중복되는 설명은 생략한다.
다양한 실시예들에 따르면 전자 장치(210)는 2105 동작에서 기-저장된 확률 정보 및 상기 적어도 하나의 특정 신체 일부와 연관된 정보에 기반하여, 상기 사용자의 양 손(h1, h2)들이 몰입형 컨텐트의 제어를 위한 복수의 영역들에 위치될 확률들을 식별할 수 있다. 예를 들어 [수학식 1]에서 전술한 바와 같이, 전자 장치(210)는 전자 장치(210)에 미리 저장된 머리(H)의 회전 각도(예: 피치 방향의 각도) 별로 양 손(h1, h2)들 각각(예: 오른손 및 왼손)이 복수의 영역들로 이동될 확률에 대한 정보, 식별된 양 손(h1, h2)의 위치 및 머리(H)의 회전 각도에 기반하여, 사용자의 양 손(h1, h2)들 각각의 위치를 식별한 현재 시점부터 지정된 시간 이후에 사용자의 양 손(h1, h2)들이 복수의 영역들(예: state 0, state 1, state 2, state 3)에 위치될 확률을 식별할 수 있다. 전자 장치(210)의 2105 동작은 전술한 전자 장치(210)의 1905 동작과 같이 수행될 수 있으므로 중복되는 설명은 생략한다.
다양한 실시예들에 따르면 전자 장치(210)는 2107 동작에서 지정된 시간 내 손(예: 오른손 또는 왼손)이 특정 영역에 위치되는지 여부를 판단하고, 상기 지정된 시간 내에 상기 손이 특정 영역에 위치되는 경우 2109 동작에서 식별된 확률들 중 특정 영역과 연관된 확률 값을 증가시킬 수 있다. 예를 들어, 전자 장치(210)는 특정 손(예: 왼손 또는 오른손)이 현재 위치되는 영역을 식별한 시점으로부터 지정된 시간 이후, HMD 장치(221)로부터 수신되는 정보(예: 양 손(h1, h2)의 위치에 대한 정보)에 기반하여 특정 손(예: 왼손 또는 오른손)이 위치되는 특정 영역을 식별할 수 있다. 이 경우, 전자 장치(210)는 식별된 복수의 영역들에 대한 확률들 중 상기 특정 영역에 대응하는 확률을 증가시킬 수 있다. 이에 따라, 나머지 영역들에 대한 확률들은 감소될 수 있다. 예를 들어 [수학식 1]을 참조하면, 전자 장치(210)는 현재 왼손 위치가 state 0에 위치된 것으로 식별하고, p01, p02, p03, 및 p04를 식별할 수 있다. 전자 장치(210)는 지정된 시간 이후에 왼손 위치가 state 2에 위치되는 것을 식별한 것에 기반하여, p02가 나타내는 확률 값을 증가시키고, 나머지 p00, p01, 및 p03의 확률 값을 감소시킬 수 있다. 상기 변경 후 p01, p02, p03, 및 p04의 합은 확률 100%를 나타내는 값(예: 1)일 수 있다. 기재된 예에 제한되지 않고, 전자 장치(210)는 특정 손(예: 왼손 또는 오른손)이 state 0에 대응하는 위치가 아닌 위치(예: state 1, state 2, state 3)에서 특정 위치(예: state 0, state 1, state 2, state 3)으로 이동되는지 여부를 판단하고, 상기 이동에 대응하는 확률을 증가시킬 수 있다.
다양한 실시예들에 따르면, 전자 장치(210)는 특정 손(예: 왼손 또는 오른손)의 이동 정보를 축적하고, 축적된 이동 정보에 기반하여 특정 손(예: 왼손 또는 오른손)이 일 위치에서 다른 위치로 이동되는 횟수가 기-설정된 횟수 이상이 되는 경우 상기 일위치에서 다른 위치로의 이동에 대응하는 확률을 증가시킬 수 있다. 예를 들어, 전자 장치(210)는 특정 손(예: 왼손 또는 오른손)이 특정 위치에서 지정된 시간 이후에 다른 위치로 이동되는 것을 식별하고, 식별된 정보를 계속해서 저장할 수 있다. 이때, 전자 장치(210)는 상기 정보로부터 특정 손(예: 왼손)의 위치가 일 위치(예: state 0)에서 지정된 시간 이후에 다른 위치(예: state 2)에 위치되는 횟수가 기-설정된 횟수 이상임을 식별하는 경우, 해당 특정 손의 이동에 대응하는 확률(예: p02)을 증가시킬 수 있다. 이 경우, 전자 장치(210)는 p01, p02, p03, 및 p04의 합이 100%를 나타내는 값(예: 1)이 되도록 나머지 확률들(예: 나머지 p00, p01, 및 p03)은 감소시킬 수 있다.
이하에서는 다양한 실시예들에 따른 웨어러블 장치(223)의 동작의 예에 대해서 설명한다. 전술한 장치들의 동작(예: 도 10의 흐름도(1000)의 동작, 도 13의 흐름도(1300)의 동작, 도 14의 흐름도(1400)의 동작, 도 18의 흐름도(1800)의 동작, 도 19의 흐름도(1900), 도 21의 흐름도(2100)) 중 적어도 일부와 이하에서 기술되는 동작이 조합되어 수행될 수 있으므로, 중복되는 설명은 생략한다.
다양한 실시예들에 따르면 웨어러블 장치(223)는 전자 장치(210)로부터 수신되는 신호에 포함되는 제 1 파라미터 및/또는 제 2 파라미터의 값에 기반하여, 웨어러블 장치(223)의 모드(예: 스탠바이 모드(800a), 액티브 모드(800b), 또는 컨트롤러 모드(800c))를 결정할 수 있다. 웨어러블 장치(223)는 웨어러블 장치(223)의 모드에 따라서, 식별된 사용자의 입력에 대응하는 제어 신호를 전자 장치(210)로 송신할 지 여부를 결정할 수 있다.
도 22는 다양한 실시예들에 따른 웨어러블 장치(223)의 동작의 일 예를 설명하기 위한 흐름도(2200)이다. 다양한 실시예들에 따르면, 도 22에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면 도 22에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다.
다양한 실시예들에 따르면 웨어러블 장치(223)는 2201 동작에서 통신 회로(910)를 통해 전자 장치(210)와 통신 연결을 설정할 수 있다. 예를 들어, 웨어러블 장치(223)는 사용자에 의해 착용되고 턴-온(turn-on)된 이후에, Wi-Fi, 블루투스(Bluetooth), 또는 BLE와 같은 근거리 무선 통신 방식을 이용하여 전자 장치(210)(및/또는 HMD 장치(221))와 통신 연결을 설정할 수 있다. 웨어러블 장치(223)는 센서를 이용하여 사용자의 착용을 감지하고, 상기 통신 연결 설정에 기반하여 전자 장치(210)로 웨어러블 장치(223)의 착용을 나타내는 정보를 포함하는 신호를 전자 장치(210)로 전송할 수 있다.
다양한 실시예들에 따르면 웨어러블 장치(223)는 2203 동작에서 상기 전자 장치(210)로부터 웨어러블 장치(223)의 모드를 설정하기 위한 신호를 수신할 수 있다. 다양한 실시예들에 따르면 웨어러블 장치(223)는 2105 동작에서 신호에 대응하는 웨어러블 장치(223)의 모드를 설정할 수 있다. 예를 들어, 웨어러블 장치(223)는 제 1 파라미터(예: checkglance)에 대한 값 또는 제 2 파라미터(예: checkcontroller)에 대한 값을 포함하는 신호를 수신할 수 있다. 도 15에서 전술한 바와 같이, 웨어러블 장치(223)는 상기 신호에 포함된 상기 제 1 파라미터(예: checkglance)의 값이 제 1 값(예: yes를 나타내는 값)인 경우, 웨어러블 장치(223)의 모드를 스탠바이 모드(800a)에서 액티브 모드(800b)로 변경하거나, 액티브 모드(800b)를 유지하거나, 또는 컨트롤러 모드(800c)에서 액티브 모드(800b)로 변경할 수 있다. 또 도 15에서 전술한 바와 같이, 웨어러블 장치(223)는, 상기 신호에 포함된 상기 제 1 파라미터(예: checkglance)의 값이 제 2 값(예: no를 나타내는 값)이고 제 2 파라미터의 값(예: checkcontroller)의 값이 제 1 값(예: yes를 나타내는 값)인 경우, 스탠바이 모드(800a) 또는 액티브 모드(800b)에서 컨트롤러 모드(800c)로 변경하거나, 또는 컨트롤러 모드(800c)를 유지할 수 있다. 또 도 15에서 전술한 바와 같이, 웨어러블 장치(223)는, 상기 신호에 포함된 상기 제 1 파라미터(예: checkglance)의 값이 제 2 값(예: no를 나타내는 값)이고 제 2 파라미터의 값(예: checkcontroller)의 값이 제 2 값(예: no를 나타내는 값)인 경우, 상기 웨어러블 장치(223)의 모드를 스탠바이 모드(800a)로 유지하거나, 또는 액티브 모드(800b) 또는 컨트롤러 모드(800c)에서 스탠바이 모드(800a)로 변경할 수 있다. 또 도 15에서 전술한 바와 같이, 웨어러블 장치(223)는 상기 신호에 포함된 상기 제 1 파라미터(예: checkglance)의 값이 제 2 값(예: no를 나타내는 값)이고, 상기 제 2 파라미터(예: checkcontroller)의 값이 제 3 값(예: stay를 나타내는 값)인 경우, 현재 설정된 모드를 유지할 수 있다.
다양한 실시예들에 따르면 웨어러블 장치(223)는 상기 모드 설정에 따라서 [표 1]에서 전술한 바와 같이, 디스플레이, 터치 스크린, 및 잠금 해제와 연관된 동작을 수행할 수 있다.
다양한 실시예들에 따르면 웨어러블 장치(223)는 2207 동작에서 적어도 하나의 센서(830)를 이용하여 입력을 식별할 수 있다. 예를 들어 웨어러블 장치(223)의 키 입력 장치(810)를 이용하여 사용자의 입력이 수신되는 경우, 웨어러블 장치(223)는 센서(830)를 이용하여 상기 입력을 식별할 수 있다.
다양한 실시예들에 따르면 웨어러블 장치(223)는 2209 동작에서 웨어러블 장치(223)의 모드가 제 1 모드인지 여부를 판단하고, 웨어러블 장치(223)의 모드가 제 1 모드인 경우 2211 동작에서 상기 획득된 제어 신호에 대응하는 동작을 수행할 수 있다. 예를 들어, 웨어러블 장치(223)는 액티브 모드(800b)인 상태에서 센서(830)를 이용하여 사용자의 입력을 식별하는 경우, 웨어러블 장치(223)는 상기 사용자의 입력에 대응하는 동작을 수행하고, 상기 전자 장치(210)(예: 스마트 폰)로 신호를 송신하는 동작을 삼가(또는, 동작이 수행되지 않도록 제어)할 수 있다. 일 예로 웨어러블 장치(223)의 모드가 상기 액티브 모드(800b)인 상태에서 키 입력 장치(810) 중 홈 키가 사용자에 의해 눌려지는 경우, 웨어러블 장치(223)는 상기 디스플레이 상에 홈 화면을 표시하고, 상기 홈 키가 눌려짐을 나타내는 신호를 전자 장치(210)로 전송하는 동작을 삼가할 수 있다.
다양한 실시예들에 따르면 웨어러블 장치(223)는 웨어러블 장치(223)의 모드가 제 1 모드가 아닌 경우, 2213 동작에서 웨어러블 장치(223)의 모드가 제 2 모드인지 여부를 판단할 수 있다. 상기 웨어러블 장치(223)의 모드가 제 2 모드인 경우 2215 동작에서 상기 통신 회로(840)를 통해 상기 획득된 제어 신호를 상기 전자 장치(210)로 전송할 수 있다. 예를 들어, 웨어러블 장치(223)는 컨트롤러 모드(800c)인 상태에서 센서(830)를 이용하여 사용자의 입력을 식별하는 경우, 웨어러블 장치(223)는 상기 사용자의 입력에 대응하는 동작의 수행을 삼가하고, 상기 전자 장치(210)(예: 스마트 폰)로 상기 식별된 입력에 대응하는 신호를 송신할 수 있다. 일 예로 웨어러블 장치(223)의 모드가 상기 컨트롤러 모드(800c)인 상태에서 키 입력 장치(810) 중 홈 키가 사용자에 의해 눌려지는 경우, 웨어러블 장치(223)는 상기 디스플레이 상에 홈 화면을 표시하는 동작을 삼가하고, 상기 홈 키가 눌려짐을 나타내는 신호를 상기 전자 장치(210)(예: 전자 장치(210))로 전송할 수 있다.
한편 다양한 실시예들에 따르면 웨어러블 장치(223)는 상기 웨어러블 장치(223)의 모드가 제 2 모드가 아닌 경우, 상기 사용자의 입력에 대응하는 모드로 웨어러블 장치(223)의 모드를 설정할 수 있다. 예를 들어, 웨어러블 장치(223)는 스탠바이 모드(800a) 상태에서 사용자의 입력을 식별하는 경우, 사용자의 입력에 대응하는 웨어러블 장치(223)의 모드를 설정할 수 있다. 예를 들어, 웨어러블 장치(223)는 키 입력 장치(810)를 이용한 입력(예: 터치 스크린 상에서의 터치, 휠 키 회전, 또는 키 버튼 누름)이 식별되는 경우, 웨어러블 장치(223)의 모드를 스탠바이 모드(800a)에서 액티브 모드(800b) 및/또는 컨트롤러 모드(800c)로 변경(또는 전환, 또는 설정)할 수 있다.
이하에서는 다양한 실시예들에 따른 HMD 장치(221)의 동작의 예에 대해서 설명한다. 전술한 장치들의 동작(예: 도 10의 흐름도(1000)의 동작, 도 13의 흐름도(1300)의 동작, 도 14의 흐름도(1400)의 동작, 도 18의 흐름도(1800)의 동작, 도 19의 흐름도(1900), 도 21의 흐름도(2100), 도 22의 흐름도(2200)) 중 적어도 일부와 이하에서 기술되는 동작이 조합되어 수행될 수 있으므로, 중복되는 설명은 생략한다.
다양한 실시예들에 따르면 HMD 장치(221)는 복수의 카메라들(430)을 이용하여 촬영된 복수의 이미지들을 획득하고, 획득된 복수의 이미지들에 기반하여 획득된 복수의 정보들을 전자 장치(210)로 전송할 수 있다. HMD 장치(221)는 복수의 카메라들(430) 중 적어도 일부를 이용하여 신체 일부(예: 오른손 및 왼손 중 적어도 하나)를 포함하는 복수의 이미지들 중 적어도 일부를 획득한 것에 기반하여, 전자 장치(210)로부터 웨어러블 장치(223)로부터 수신된 제어 신호에 기반하여 생성되는 몰입형 컨텐트를 수신할 수 있다.
도 23은 다양한 실시예들에 따른 HMD 장치(221)의 동작의 일 예를 설명하기 위한 흐름도(2300)이다. 다양한 실시예들에 따르면, 도 23에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면 도 23에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다.
다양한 실시예들에 따르면 HMD 장치(221)는 2301 동작에서 통신 회로(450)를 통해 전자 장치(210)와 통신 연결을 설정할 수 있다. 예를 들어, HMD 장치(221)는 사용자에 의해 착용되고 턴-온(turn-on)된 이후에, Wi-Fi, 블루투스(Bluetooth), 또는 BLE와 같은 근거리 무선 통신 방식을 이용하여 전자 장치(210)(및/또는 웨어러블 장치(223))와 통신 연결을 설정할 수 있다. HMD 장치(221)는 센서를 이용하여 사용자의 착용을 감지하고, 상기 통신 연결 설정에 기반하여 전자 장치(210)로 HMD 장치(221)의 착용을 나타내는 정보를 포함하는 신호를 전자 장치(210)로 전송할 수 있다.
다양한 실시예들에 따르면 HMD 장치(221)는 2303 동작에서 상기 복수의 카메라들(430)을 이용하여 복수의 이미지들을 획득할 수 있다. 다양한 실시예들에 따르면 HMD 장치(221)는 2305 동작에서 상기 복수의 이미지들 중 적어도 일부에 기반하여, 사용자의 적어도 하나의 특정 신체 일부와 연관된 정보를 획득할 수 있다. 다양한 실시예들에 따르면 HMD 장치(221)는 2207 동작에서 전자 장치(210)로 적어도 하나의 특정 신체 일부와 연관된 정보를 송신 할 수 있다. 예를 들어, HMD 장치(221)는 복수의 카메라들(430) 중 일부를 이용하여 전방 영역 및/또는 하방 영역을 촬영하고, 다른 일부를 이용하여 사용자의 눈을 촬영할 수 있다. 전술한 바와 같이, HMD 장치(221)는 상기 복수의 카메라들(430)에 의해 촬영된 복수의 이미지들에 기반하여, HMD 장치(221)의 주변 공간에 대한 3차원 좌표에 대한 정보와 상기 주변 공간 내의 HMD 장치(221)의 3차원 좌표에 대한 정보, 신체 일부들의 위치 및/또는 자세와 연관된 정보(예: 양 손(h1, h2)의 위치, 머리(H)의 회전 각도, 및/또는 시선의 방향), 또는 웨어러블 장치(223)의 위치와 연관된 정보 중 적어도 하나를 획득할 수 있다. HMD 장치(221)는 상기 복수의 정보들을 전자 장치(210)로 전송할 수 있으며, 특히 신체 일부들의 위치 및/또는 자세와 연관된 정보(예: 양 손(h1, h2)의 위치, 머리(H)의 회전 각도, 및/또는 시선의 방향)를 송신한 것에 기반하여 전자 장치(210)로부터 적어도 하나의 오브젝트를 포함하는 이미지를 수신할 수 있다.
다양한 실시예들에 따르면 HMD 장치(221)는 2309 동작에서 적어도 하나의 특정 신체 일부와 연관된 정보를 송신한 것에 기반하여, 상기 통신 회로(910)를 통해 상기 전자 장치(210)로부터 3D 그래픽 오브젝트를 포함하는 이미지를 상기 전자 장치(210)로부터 수신할 수 있다. 예를 들어, HMD 장치(221)는 신체 일부(예: 오른손 및 왼손 중 적어도 하나)를 포함하는 복수의 이미지들 중 적어도 일부를 획득하고, 획득된 복수의 이미지들 중 적어도 일부에 기반하여 생성된 정보를 전자 장치(210)로 송신함에 기반하여 전자 장치(210)로부터 전자 장치(210)가 웨어러블 장치(223)로부터 수신된 제어 신호에 기반하여 생성한 적어도 하나의 그래픽 오브젝트를 포함하는 이미지를 수신할 수 있다. 예를 들어, HMD 장치(221)는 사용자의 신체 일부(예: 오른손 및 왼손 중 적어도 하나)를 포함하는 복수의 이미지들 중 적어도 일부를 획득하고, 상기 복수의 이미지들 중 적어도 일부에 기반하여 신체 일부(예: 오른손 및 왼손 중 적어도 하나)의 위치에 대한 정보를 전자 장치(210)로 송신할 수 있다. 전술한 바와 같이 전자 장치(210)는 수신된 신체 일부의 위치에 대한 정보에 기반하여 제 2 파라미터의 값을 웨어러블 장치(223)의 모드를 컨트롤러 모드(800c)로 설정하기 위한 신호를 송신하고, 이에 따라 전자 장치(210)는 웨어러블 장치(223)로부터 제어 신호를 수신할 수 있다. 전자 장치(210)는 수신된 제어 신호에 기반하여 적어도 하나의 그래픽 오브젝트를 포함하는 이미지를 생성하여, HMD 장치(221)로 전송할 수 있다. HMD 장치(221)는 도 5에서 전술한 바와 같이 수신된 이미지를 사용자에게 제공할 수 있다. 한편 기재된 바에 제한되지 않고, HMD 장치(221)는 신체 일부(예: 오른손 및 왼손 중 적어도 하나)를 포함하는 복수의 이미지들 중 적어도 일부를 획득하지 않더라도, 전자 장치(210)로부터 이미지를 수신할 수 있다. 예를 들어, 전자 장치(210)는 어플리케이션의 실행 및/또는 구동에 기반하여 획득되는 이미지를 HMD 장치(221)로 전송할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 도 2a 및 도 2b의 전자 장치(210))에 있어서, 통신 회로(예: 도 9a의 통신 회로(910)), 및 통신 회로(예: 도 9a의 통신 회로(910))와 작동적으로 연결된 적어도 하나의 프로세서(예: 도 9a의 프로세서(920))를 포함하고, 상기 적어도 하나의 프로세서(예: 도 9a의 프로세서(920))는 상기 통신 회로(예: 도 9a의 통신 회로(910))를 통해 헤드-마운티드 디스플레이 장치(예: 도 2a 및 도 2b의 헤드-마운티드 디스플레이 장치(221)) 및 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))와 통신 연결을 설정하고, 상기 통신 회로(예: 도 9a의 통신 회로(910))를 통해 상기 헤드-마운티드 디스플레이 장치(예: 도 2a 및 도 2b의 헤드-마운티드 디스플레이 장치(221))로부터 사용자의 적어도 하나의 특정 신체 일부와 연관된 정보를 수신하고, 상기 통신 회로(예: 도 9a의 통신 회로(910))를 통해 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))로부터 제 1 신호(예: 도 10의 1019 동작 및 도 12b에서 기술한 제어 신호(1223))가 수신되는 경우, 상기 적어도 하나의 특정 신체 일부와 연관된 정보에 기반하여 생성되는 상기 제 1 신호(예: 도 10의 1019 동작 및 도 12b에서 기술한 제어 신호(1223))와 연관된 적어도 하나의 그래픽 오브젝트를 포함하는 이미지를 상기 헤드-마운티드 디스플레이 장치(예: 도 2a 및 도 2b의 헤드-마운티드 디스플레이 장치(221))로 전송하도록 설정된, 전자 장치(예: 도 2a 및 도 2b의 전자 장치(210))가 제공될 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서(예: 도 9a의 프로세서(920))는 상기 통신 회로(예: 도 9a의 통신 회로(910))를 통해 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))로부터 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))의 착용을 나타내는 정보를 포함하는 신호를 수신하고, 상기 수신된 신호에 기반하여, 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))로부터 수신된 상기 제 1 신호(예: 도 10의 1019 동작 및 도 12b에서 기술한 제어 신호(1223))와 연관된 상기 적어도 하나의 그래픽 오브젝트를 포함하는 이미지를 상기 헤드-마운티드 디스플레이 장치(예: 도 2a 및 도 2b의 헤드-마운티드 디스플레이 장치(221))로 전송하도록 설정된, 전자 장치(예: 도 2a 및 도 2b의 전자 장치(210))가 제공될 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서(예: 도 9a의 프로세서(920))는 상기 수신된 신호에 기반하여, 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))의 모드의 설정과 연관된 신호를 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))로 전송하도록 설정되고, 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))의 모드는 기 헤드-마운티드 디스플레이 장치(예: 도 2a 및 도 2b의 헤드-마운티드 디스플레이 장치(221))를 통해 제공되는 상기 이미지의 제어와 연관된 제 1 모드, 및 상기 제 1 모드와는 다른 제 2 모드를 포함하는, 전자 장치(예: 도 2a 및 도 2b의 전자 장치(210))가 제공될 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 특정 신체 일부와 연관된 정보는 상기 사용자의 양 손의 위치와 연관된 정보를 포함하고, 상기 적어도 하나의 프로세서(예: 도 9a의 프로세서(920))는 상기 사용자의 상기 양 손의 위치와 연관된 정보에 기반하여, 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))의 상기 제 1 모드의 설정과 연관된 제 2 신호(예: 도 12a의 제 1 신호(1211) 또는 도 12b의 제 1 신호(1221))를 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))로 송신하고, 상기 제 2 신호(예: 도 12a의 제 1 신호(1211) 또는 도 12b의 제 1 신호(1221))의 송신에 기반하여, 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))로부터 상기 제 1 신호(예: 도 10의 1019 동작 및 도 12b에서 기술한 제어 신호(1223))를 수신하고, 상기 제 1 신호(예: 도 10의 1019 동작 및 도 12b에서 기술한 제어 신호(1223))와 연관된 상기 적어도 하나의 그래픽 오브젝트를 포함하는 이미지를 상기 헤드-마운티드 디스플레이 장치(예: 도 2a 및 도 2b의 헤드-마운티드 디스플레이 장치(221))로 전송하도록 설정된, 전자 장치(예: 도 2a 및 도 2b의 전자 장치(210))가 제공될 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서(예: 도 9a의 프로세서(920))는 상기 양 손의 위치와 연관된 정보에 기반하여, 상기 양 손의 상기 위치가 지정된 조건을 만족하는지 여부를 판단하고, 상기 양 손의 위치가 상기 지정된 조건을 만족하는 경우, 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))의 모드를 상기 제 1 모드로 설정하기 위한 제 1 정보를 포함하는 제 3 신호(예: checkcontrolelr=Yes를 포함하는 신호)를 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))로 송신하고, 상기 양 손의 위치가 상기 지정된 조건을 만족하지 않는 경우, 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))의 모드를 상기 제 1 모드와는 다른 상기 제 2 모드로 설정하기 위한 제 2 정보를 포함하는 제 4 신호(예: checkcontrolelr=No 또는 Stay를 포함하는 신호)를 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))로 송신하도록 설정된, 전자 장치(예: 도 2a 및 도 2b의 전자 장치(210))가 제공될 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서(예: 도 9a의 프로세서(920))는, 상기 양 손의 상기 위치가 지정된 조건을 만족하는지 여부를 판단하는 동작의 적어도 일부로 상기 양 손이 특정 영역에 위치될 제 1 확률이 임계 값 보다 큰지 여부를 판단하고, 상기 제 1 확률이 상기 임계 값 보다 큰 경우, 상기 제 1 정보를 포함하는 상기 제 3 신호(예: checkcontrolelr=Yes를 포함하는 신호)를 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))로 송신하고, 상기 제 1 확률이 상기 임계 값 보다 작은 경우, 상기 제 2 정보를 포함하는 상기 제 4 신호(예: checkcontrolelr=No 또는 Stay를 포함하는 신호)를 송신하도록 설정된, 전자 장치(예: 도 2a 및 도 2b의 전자 장치(210))가 제공될 수 있다.
다양한 실시예들에 따르면, 메모리를 더 포함하고, 상기 적어도 하나의 프로세서(예: 도 9a의 프로세서(920))는 상기 통신 회로(예: 도 9a의 통신 회로(910))를 통해 상기 헤드-마운티드 디스플레이 장치(예: 도 2a 및 도 2b의 헤드-마운티드 디스플레이 장치(221))로부터 상기 사용자의 머리의 회전 각도와 연관된 정보를 수신하고, 상기 메모리에 기-저장된 상기 특정 영역에 위치될 복수의 확률들에 대한 정보 중 상기 회전 각도 및 상기 양 손의 상기 위치에 대응하는 상기 제 1 확률을 식별하도록 설정된, 전자 장치(예: 도 2a 및 도 2b의 전자 장치(210))가 제공될 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서(예: 도 9a의 프로세서(920))는 상기 양 손의 상기 위치를 식별한 시점부터 지정된 시간 내에 상기 양 손의 상기 위치가 상기 특정 영역에 위치되는 경우, 상기 메모리에 저장된 상기 복수의 확률들 중 상기 제 1 확률을 증가 시키도록 설정된, 전자 장치(예: 도 2a 및 도 2b의 전자 장치(210))가 제공될 수 있다.
다양한 실시예들에 따르면, 메모리를 더 포함하고, 상기 적어도 하나의 프로세서(예: 도 9a의 프로세서(920))는 상기 통신 회로(예: 도 9a의 통신 회로(910))를 통해 상기 헤드-마운티드 디스플레이 장치(예: 도 2a 및 도 2b의 헤드-마운티드 디스플레이 장치(221))로부터 상기 사용자의 머리의 회전 각도와 연관된 정보를 수신하고, 상기 메모리에 기-저장된 상기 특정 영역에 위치될 복수의 확률들에 대한 정보 중 상기 회전 각도 및 상기 양 손의 상기 위치에 대응하는 상기 제 1 확률을 식별하도록 설정된, 전자 장치(예: 도 2a 및 도 2b의 전자 장치(210))가 제공될 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 특정 신체 일부와 연관된 정보는 상기 사용자의 상기 양 손 중 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))를 착용한 특정 손의 위치와 연관된 정보를 포함하고, 상기 적어도 하나의 프로세서(예: 도 9a의 프로세서(920))는 상기 특정 손의 위치와 연관된 정보에 기반하여, 상기 특정 손에 의한 제스쳐를 식별하고, 상기 식별된 제스쳐가 특정 제스쳐에 대응하는지 여부를 판단하고, 상기 식별된 제스쳐가 상기 특정 제스쳐에 대응하는 경우, 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))의 모드를 상기 제 1 모드로 설정하기 위한 상기 제 1 정보를 포함하는 제 3 신호(예: checkcontrolelr=Yes를 포함하는 신호)를 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))로 전송하고, 상기 식별된 제스쳐가 상기 특정 제스쳐에 대응하지 않는 경우, 상기 양 손의 상기 위치가 지정된 조건을 만족하는지 여부를 판단하도록 설정된, 전자 장치(예: 도 2a 및 도 2b의 전자 장치(210))가 제공될 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 특정 신체 일부와 연관된 정보는 상기 사용자의 시선의 방향 및/또는 위치와 연관된 정보를 포함하고, 상기 적어도 하나의 프로세서(예: 도 9a의 프로세서(920))는 상기 통신 회로(예: 도 9a의 통신 회로(910))를 통해 상기 헤드-마운티드 디스플레이 장치(예: 도 2a 및 도 2b의 헤드-마운티드 디스플레이 장치(221))로부터 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))의 위치와 연관된 정보를 수신하고, 상기 사용자의 상기 시선의 상기 방향 및/또는 상기 위치와 연관된 정보 및 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))의 위치와 연관된 정보에 기반하여, 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))의 제 2 모드의 설정과 연관된 정보를 포함하는 제 3 신호(예: checkglance=Yes를 포함하는 신호)를 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))로 송신하도록 설정된, 전자 장치(예: 도 2a 및 도 2b의 전자 장치(210))가 제공될 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서(예: 도 9a의 프로세서(920))는 상기 제 1 신호(예: 도 10의 1019 동작 및 도 12b에서 기술한 제어 신호(1223))에 기반하여 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))에 수신된 상기 사용자의 입력에 대한 정보를 획득하고, 상기 식별된 사용자의 입력에 대한 정보에 대응하는 상기 적어도 하나의 오브젝트를 포함하는 상기 이미지를 생성하도록 설정된, 전자 장치(예: 도 2a 및 도 2b의 전자 장치(210))가 제공될 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 도 2a 및 도 2b의 전자 장치(210))의 동작 방법에 있어서, 상기 전자 장치(예: 도 2a 및 도 2b의 전자 장치(210))의 통신 회로(예: 도 9a의 통신 회로(910))를 통해 헤드-마운티드 디스플레이 장치(예: 도 2a 및 도 2b의 헤드-마운티드 디스플레이 장치(221)) 및 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))와 통신 연결을 설정하는 동작, 상기 통신 회로(예: 도 9a의 통신 회로(910))를 통해 상기 헤드-마운티드 디스플레이 장치(예: 도 2a 및 도 2b의 헤드-마운티드 디스플레이 장치(221))로부터 사용자의 적어도 하나의 특정 신체 일부와 연관된 정보를 수신하는 동작, 및 상기 통신 회로(예: 도 9a의 통신 회로(910))를 통해 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))로부터 제 1 신호(예: 도 10의 1019 동작 및 도 12b에서 기술한 제어 신호(1223))가 수신되는 경우, 상기 적어도 하나의 특정 신체 일부와 연관된 정보에 기반하여 생성되는 상기 제 1 신호(예: 도 10의 1019 동작 및 도 12b에서 기술한 제어 신호(1223))와 연관된 적어도 하나의 그래픽 오브젝트를 포함하는 이미지를 상기 헤드-마운티드 디스플레이 장치(예: 도 2a 및 도 2b의 헤드-마운티드 디스플레이 장치(221))로 전송하는 동작을 포함하는, 동작 방법이 제공될 수 있다.
다양한 실시예들에 따르면, 상기 통신 회로(예: 도 9a의 통신 회로(910))를 통해 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))로부터 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))의 착용을 나타내는 정보를 포함하는 신호를 수신하는 동작, 및 상기 수신된 신호에 기반하여, 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))로부터 수신된 상기 제 1 신호(예: 도 10의 1019 동작 및 도 12b에서 기술한 제어 신호(1223))와 연관된 상기 적어도 하나의 그래픽 오브젝트를 포함하는 이미지를 상기 헤드-마운티드 디스플레이 장치(예: 도 2a 및 도 2b의 헤드-마운티드 디스플레이 장치(221))로 전송하는 동작을 더 포함하는, 동작 방법이 제공될 수 있다.
다양한 실시예들에 따르면, 상기 수신된 신호에 기반하여, 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))의 모드의 설정과 연관된 신호(예: 도 12a의 제 1 신호(1211) 또는 도 12b의 제 1 신호(1221))를 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))로 전송하는 동작을 더 포함하고, 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))의 모드는 기 헤드-마운티드 디스플레이 장치(예: 도 2a 및 도 2b의 헤드-마운티드 디스플레이 장치(221))를 통해 제공되는 상기 이미지의 제어와 연관된 제 1 모드, 및 상기 제 1 모드와는 다른 제 2 모드를 포함하는, 동작 방법이 제공될 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 특정 신체 일부와 연관된 정보는 상기 사용자의 양 손의 위치와 연관된 정보를 포함하고, 상기 사용자의 상기 양 손의 위치와 연관된 정보에 기반하여, 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))의 상기 제 1 모드의 설정과 연관된 제 2 신호(예: checkcontroller=Yes를 포함하는 신호)를 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))로 송신하는 동작, 상기 제 2 신호(예: checkcontroller=Yes를 포함하는 신호)의 송신에 기반하여, 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))로부터 상기 제 1 신호(예: 도 10의 1019 동작 및 도 12b에서 기술한 제어 신호(1223))를 수신하는 동작, 및 상기 제 1 신호(예: 도 10의 1019 동작 및 도 12b에서 기술한 제어 신호(1223))와 연관된 상기 적어도 하나의 그래픽 오브젝트를 포함하는 이미지를 상기 헤드-마운티드 디스플레이 장치(예: 도 2a 및 도 2b의 헤드-마운티드 디스플레이 장치(221))로 전송하는 동작을 더 포함하는, 동작 방법이 제공될 수 있다.
다양한 실시예들에 따르면, 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))에 있어서, 적어도 하나의 센서(예: 도 8a의 센서(830)), 통신 회로(예: 도 8a의 통신 회로(840)), 및 적어도 하나의 프로세서(예: 도 8a의 프로세서(850))를 포함하고, 상기 적어도 하나의 프로세서(예: 도 8a의 프로세서(850))는 상기 통신 회로(예: 도 8a의 통신 회로(840))를 통해 전자 장치(예: 도 2a 및 도 2b의 전자 장치(210))와 통신 연결을 설정하고, 상기 통신 회로(예: 도 8a의 통신 회로(840))를 통해 상기 전자 장치(예: 도 2a 및 도 2b의 전자 장치(210))로부터 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))의 모드를 설정하기 위한 신호(예: 도 12a의 제 1 신호(1211) 또는 도 12b의 제 1 신호(1221))를 수신하고, 상기 적어도 하나의 센서(예: 도 8a의 센서(830))를 이용하여 사용자의 입력을 식별하고, 상기 수신된 신호(예: 도 12a의 제 1 신호(1211) 또는 도 12b의 제 1 신호(1221))에 기반하여 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))의 모드가 제 1 모드로 설정되는 경우, 상기 식별된 사용자의 입력에 대응하는 컨텐트를 제공하고, 상기 수신된 신호(예: 도 12a의 제 1 신호(1211) 또는 도 12b의 제 1 신호(1221))에 기반하여 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))의 모드가 제 2 모드로 설정되는 경우, 상기 통신 회로(예: 도 8a의 통신 회로(840))를 통해 상기 식별된 사용자의 입력에 대한 정보를 포함하는 제 1 신호(예: 도 10의 1019 동작 및 도 12b에서 기술한 제어 신호(1223))를 상기 전자 장치(예: 도 2a 및 도 2b의 전자 장치(210))로 전송하도록 설정된, 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))가 제공될 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서(예: 도 8a의 프로세서(850))는 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))의 모드가 상기 제 2 모드로 설정된 상태에서 상기 사용자의 입력이 식별되는 경우, 상기 사용자의 입력에 대응하는 상기 컨텐트를 제공하는 동작을 삼가하고, 상기 제 1 신호(예: 도 10의 1019 동작 및 도 12b에서 기술한 제어 신호(1223))를 상기 전자 장치(예: 도 2a 및 도 2b의 전자 장치(210))로 전송하도록 설정된, 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))가 제공될 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서(예: 도 8a의 프로세서(850))는 상기 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))의 모드가 상기 제 2 모드로 설정된 상태에서 상기 사용자의 입력이 식별되는 경우 상기 사용자의 입력이 제 1 입력인 경우, 헤드-마운티드 디스플레이 장치(예: 도 2a 및 도 2b의 헤드-마운티드 디스플레이 장치(221))를 통해 특정 이미지의 제공을 유발하는 제 1 정보를 포함하는 상기 제 1 신호(예: 도 10의 1019 동작 및 도 12b에서 기술한 제어 신호(1223))를 상기 전자 장치(예: 도 2a 및 도 2b의 전자 장치(210))로 전송하고, 상기 사용자의 입력이 제 2 입력인 경우, 상기 헤드-마운티드 디스플레이 장치(예: 도 2a 및 도 2b의 헤드-마운티드 디스플레이 장치(221))를 통해 표시되는 적어도 하나의 오브젝트의 제어를 유발하는 제 2 정보를 포함하는 상기 제 1 신호(예: 도 10의 1019 동작 및 도 12b에서 기술한 제어 신호(1223))를 상기 전자 장치(예: 도 2a 및 도 2b의 전자 장치(210))로 전송하도록 설정된, 웨어러블 장치(예: 도 2a 및 도 2b의 제어 웨어러블 장치(223))가 제공될 수 있다.
다양한 실시예들에 따르면, HMD 장치(예: 도 2A 및 도 2B의 HMD 장치(221))에 있어서, 복수의 카메라들(예: 도 4의 복수의 카메라들(430)), 통신 회로(예: 도 4의 통신 회로(450)), 및 상기 복수의 카메라들(예: 도 4의 복수의 카메라들(430)) 및 상기 통신 회로(예: 도 4의 통신 회로(450))와 작동적으로 연결된 적어도 하나의 프로세서(예: 도 4의 프로세서(410))를 포함하고, 상기 적어도 하나의 프로세서(예: 도 4의 프로세서(410))는 상기 통신 회로(예: 도 4의 통신 회로(450))를 통해 전자 장치(예: 도 2a 및 도 2b의 전자 장치(210))와 통신 연결을 설정하고, 상기 카메라들을 이용하여 복수의 이미지들을 획득하고, 상기 복수의 이미지들 중 적어도 일부에 기반하여, 사용자의 적어도 하나의 특정 신체 일부와 연관된 정보를 획득하고, 상기 통신 회로(예: 도 4의 통신 회로(450))를 통해 상기 전자 장치(예: 도 2a 및 도 2b의 전자 장치(210))로 상기 적어도 하나의 특정 신체 일부와 연관된 정보를 송신하고, 상기 적어도 하나의 특정 신체 일부와 연관된 정보를 송신한 것에 기반하여, 상기 통신 회로(예: 도 4의 통신 회로(450))를 통해 상기 전자 장치(예: 도 2a 및 도 2b의 전자 장치(210))로부터 3D 그래픽 오브젝트를 포함하는 이미지를 상기 전자 장치(예: 도 2a 및 도 2b의 전자 장치(210))로부터 수신하도록 설정된, HMD 장치(예: 도 2A 및 도 2B의 HMD 장치(221))가 제공될 수 있다.
Claims (20)
- 전자 장치에 있어서,
통신 회로; 및
상기 통신 회로와 작동적으로 연결된 적어도 하나의 프로세서;를 포함하고, 상기 적어도 하나의 프로세서는:
상기 통신 회로를 통해 헤드-마운티드 디스플레이 장치 및 웨어러블 장치와 통신 연결을 설정하고,
상기 통신 회로를 통해 상기 헤드-마운티드 디스플레이 장치로부터 사용자의 적어도 하나의 특정 신체 일부와 연관된 정보를 수신하고,
상기 통신 회로를 통해 상기 웨어러블 장치로부터 제 1 신호가 수신되는 경우, 상기 적어도 하나의 특정 신체 일부와 연관된 정보에 기반하여 생성되는 상기 제 1 신호와 연관된 적어도 하나의 그래픽 오브젝트를 포함하는 이미지를 상기 헤드-마운티드 디스플레이 장치로 전송하도록 설정된,
전자 장치.
- 제 1 항에 있어서,
상기 적어도 하나의 프로세서는:
상기 통신 회로를 통해 상기 웨어러블 장치로부터 상기 웨어러블 장치의 착용을 나타내는 정보를 포함하는 신호를 수신하고,
상기 수신된 신호에 기반하여, 상기 웨어러블 장치로부터 수신된 상기 제 1 신호와 연관된 상기 적어도 하나의 그래픽 오브젝트를 포함하는 이미지를 상기 헤드-마운티드 디스플레이 장치로 전송하도록 설정된,
전자 장치.
- 제 2 항에 있어서,
상기 적어도 하나의 프로세서는:
상기 수신된 신호에 기반하여, 상기 웨어러블 장치의 모드의 설정과 연관된 신호를 상기 웨어러블 장치로 전송하도록 설정되고, 상기 웨어러블 장치의 모드는 상기 헤드-마운티드 디스플레이 장치를 통해 제공되는 상기 이미지의 제어와 연관된 제 1 모드, 및 상기 제 1 모드와는 다른 제 2 모드를 포함하는,
전자 장치.
- 제 3 항에 있어서, 상기 적어도 하나의 특정 신체 일부와 연관된 정보는 상기 사용자의 양 손의 위치와 연관된 정보를 포함하고,
상기 적어도 하나의 프로세서는:
상기 사용자의 상기 양 손의 위치와 연관된 정보에 기반하여, 상기 웨어러블 장치의 상기 제 1 모드의 설정과 연관된 제 2 신호를 상기 웨어러블 장치로 송신하고,
상기 제 2 신호의 송신에 기반하여, 상기 웨어러블 장치로부터 상기 제 1 신호를 수신하고,
상기 제 1 신호와 연관된 상기 적어도 하나의 그래픽 오브젝트를 포함하는 이미지를 상기 헤드-마운티드 디스플레이 장치로 전송하도록 설정된,
전자 장치.
- 제 4 항에 있어서,
상기 적어도 하나의 프로세서는:
상기 양 손의 위치와 연관된 정보에 기반하여, 상기 양 손의 상기 위치가 지정된 조건을 만족하는지 여부를 판단하고,
상기 양 손의 위치가 상기 지정된 조건을 만족하는 경우, 상기 웨어러블 장치의 모드를 상기 제 1 모드로 설정하기 위한 제 1 정보를 포함하는 제 3 신호를 상기 웨어러블 장치로 송신하고,
상기 양 손의 위치가 상기 지정된 조건을 만족하지 않는 경우, 상기 웨어러블 장치의 모드를 상기 제 1 모드와는 다른 상기 제 2 모드로 설정하기 위한 제 2 정보를 포함하는 제 4 신호를 상기 웨어러블 장치로 송신하도록 설정된,
전자 장치.
- 제 5 항에 있어서,
상기 적어도 하나의 프로세서는, 상기 양 손의 상기 위치가 지정된 조건을 만족하는지 여부를 판단하는 동작의 적어도 일부로:
상기 양 손이 특정 영역에 위치될 제 1 확률이 임계 값 보다 큰지 여부를 판단하고,
상기 제 1 확률이 상기 임계 값 보다 큰 경우, 상기 제 1 정보를 포함하는 상기 제 3 신호를 상기 웨어러블 장치로 송신하고,
상기 제 1 확률이 상기 임계 값 보다 작은 경우, 상기 제 2 정보를 포함하는 상기 제 4 신호를 송신하도록 설정된,
전자 장치.
- 제 6 항에 있어서, 메모리;를 더 포함하고,
상기 적어도 하나의 프로세서는:
상기 통신 회로를 통해 상기 헤드-마운티드 디스플레이 장치로부터 상기 사용자의 머리의 회전 각도와 연관된 정보를 수신하고,
상기 메모리에 기-저장된 상기 특정 영역에 위치될 복수의 확률들에 대한 정보 중 상기 회전 각도 및 상기 양 손의 상기 위치에 대응하는 상기 제 1 확률을 식별하도록 설정된,
전자 장치.
- 제 7 항에 있어서,
상기 적어도 하나의 프로세서는:
상기 양 손의 상기 위치를 식별한 시점부터 지정된 시간 내에 상기 양 손의 상기 위치가 상기 특정 영역에 위치되는 경우, 상기 메모리에 저장된 상기 복수의 확률들 중 상기 제 1 확률을 증가 시키도록 설정된,
전자 장치.
- 제 8 항에 있어서,
상기 적어도 하나의 프로세서는:
상기 복수의 영역들 중에서 상기 사용자의 입력에 따라서 상기 특정 영역을 선택하도록 설정된,
전자 장치.
- 제 5 항에 있어서, 상기 적어도 하나의 특정 신체 일부와 연관된 정보는 상기 사용자의 상기 양 손 중 상기 웨어러블 장치를 착용한 특정 손의 위치와 연관된 정보를 포함하고,
상기 적어도 하나의 프로세서는:
상기 특정 손의 위치와 연관된 정보에 기반하여, 상기 특정 손에 의한 제스쳐를 식별하고,
상기 식별된 제스쳐가 특정 제스쳐에 대응하는지 여부를 판단하고,
상기 식별된 제스쳐가 상기 특정 제스쳐에 대응하는 경우, 상기 웨어러블 장치의 모드를 상기 제 1 모드로 설정하기 위한 상기 제 1 정보를 포함하는 제 3 신호를 상기 웨어러블 장치로 전송하고,
상기 식별된 제스쳐가 상기 특정 제스쳐에 대응하지 않는 경우, 상기 양 손의 상기 위치가 지정된 조건을 만족하는지 여부를 판단하도록 설정된,
전자 장치.
- 제 4 항에 있어서, 상기 적어도 하나의 특정 신체 일부와 연관된 정보는 상기 사용자의 시선의 방향 및/또는 위치와 연관된 정보를 포함하고,
상기 적어도 하나의 프로세서는:
상기 통신 회로를 통해 상기 헤드-마운티드 디스플레이 장치로부터 상기 웨어러블 장치의 위치와 연관된 정보를 수신하고,
상기 사용자의 상기 시선의 상기 방향 및/또는 상기 위치와 연관된 정보 및 상기 웨어러블 장치의 위치와 연관된 정보에 기반하여, 상기 웨어러블 장치의 제 2 모드의 설정과 연관된 정보를 포함하는 제 3 신호를 상기 웨어러블 장치로 송신하도록 설정된,
전자 장치.
- 제 1 항에 있어서,
상기 적어도 하나의 프로세서는:
상기 제 1 신호에 기반하여 상기 웨어러블 장치에 수신된 상기 사용자의 입력에 대한 정보를 획득하고,
상기 식별된 사용자의 입력에 대한 정보에 대응하는 상기 적어도 하나의 오브젝트를 포함하는 상기 이미지를 생성하도록 설정된,
전자 장치.
- 전자 장치의 동작 방법에 있어서,
상기 전자 장치의 통신 회로를 통해 헤드-마운티드 디스플레이 장치 및 웨어러블 장치와 통신 연결을 설정하는 동작;
상기 통신 회로를 통해 상기 헤드-마운티드 디스플레이 장치로부터 사용자의 적어도 하나의 특정 신체 일부와 연관된 정보를 수신하는 동작; 및
상기 통신 회로를 통해 상기 웨어러블 장치로부터 제 1 신호가 수신되는 경우, 상기 적어도 하나의 특정 신체 일부와 연관된 정보에 기반하여 생성되는 상기 제 1 신호와 연관된 적어도 하나의 그래픽 오브젝트를 포함하는 이미지를 상기 헤드-마운티드 디스플레이 장치로 전송하는 동작;을 포함하는,
동작 방법.
- 제 13 항에 있어서,
상기 통신 회로를 통해 상기 웨어러블 장치로부터 상기 웨어러블 장치의 착용을 나타내는 정보를 포함하는 신호를 수신하는 동작; 및
상기 수신된 신호에 기반하여, 상기 웨어러블 장치로부터 수신된 상기 제 1 신호와 연관된 상기 적어도 하나의 그래픽 오브젝트를 포함하는 이미지를 상기 헤드-마운티드 디스플레이 장치로 전송하는 동작;을 더 포함하는,
동작 방법.
- 제 14 항에 있어서,
상기 수신된 신호에 기반하여, 상기 웨어러블 장치의 모드의 설정과 연관된 신호를 상기 웨어러블 장치로 전송하는 동작;을 더 포함하고, 상기 웨어러블 장치의 모드는 상기 헤드-마운티드 디스플레이 장치를 통해 제공되는 상기 이미지의 제어와 연관된 제 1 모드, 및 상기 제 1 모드와는 다른 제 2 모드를 포함하는,
전자 장치.
- 제 15 항에 있어서, 상기 적어도 하나의 특정 신체 일부와 연관된 정보는 상기 사용자의 양 손의 위치와 연관된 정보를 포함하고,
상기 사용자의 상기 양 손의 위치와 연관된 정보에 기반하여, 상기 웨어러블 장치의 상기 제 1 모드의 설정과 연관된 제 2 신호를 상기 웨어러블 장치로 송신하는 동작;
상기 제 2 신호의 송신에 기반하여, 상기 웨어러블 장치로부터 상기 제 1 신호를 수신하는 동작; 및
상기 제 1 신호와 연관된 상기 적어도 하나의 그래픽 오브젝트를 포함하는 이미지를 상기 헤드-마운티드 디스플레이 장치로 전송하는 동작;을 더 포함하는,
동작 방법.
- 웨어러블 장치에 있어서,
적어도 하나의 센서;
통신 회로; 및
적어도 하나의 프로세서;를 포함하고, 상기 적어도 하나의 프로세서는:
상기 통신 회로를 통해 전자 장치와 통신 연결을 설정하고,
상기 통신 회로를 통해 상기 전자 장치로부터 웨어러블 장치의 모드를 설정하기 위한 신호를 수신하고,
상기 적어도 하나의 센서를 이용하여 사용자의 입력을 식별하고,
상기 수신된 신호에 기반하여 상기 웨어러블 장치의 모드가 제 1 모드로 설정되는 경우, 상기 식별된 사용자의 입력에 대응하는 컨텐트를 제공하고,
상기 수신된 신호에 기반하여 상기 웨어러블 장치의 모드가 제 2 모드로 설정되는 경우, 상기 통신 회로를 통해 상기 식별된 사용자의 입력에 대한 정보를 포함하는 제 1 신호를 상기 전자 장치로 전송하도록 설정된,
웨어러블 장치.
- 제 17 항에 있어서,
상기 적어도 하나의 프로세서는:
상기 웨어러블 장치의 모드가 상기 제 2 모드로 설정된 상태에서 상기 사용자의 입력이 식별되는 경우, 상기 사용자의 입력에 대응하는 상기 컨텐트를 제공하는 동작을 삼가하고, 상기 제 1 신호를 상기 전자 장치로 전송하도록 설정된,
웨어러블 장치.
- 제 18 항에 있어서,
상기 적어도 하나의 프로세서는 상기 웨어러블 장치의 모드가 상기 제 2 모드로 설정된 상태에서 상기 사용자의 입력이 식별되는 경우:
상기 사용자의 입력이 제 1 입력인 경우, 헤드-마운티드 디스플레이 장치를 통해 특정 이미지의 제공을 유발하는 제 1 정보를 포함하는 상기 제 1 신호를 상기 전자 장치로 전송하고,
상기 사용자의 입력이 제 2 입력인 경우, 상기 헤드-마운티드 디스플레이 장치를 통해 표시되는 적어도 하나의 오브젝트의 제어를 유발하는 제 2 정보를 포함하는 상기 제 1 신호를 상기 전자 장치로 전송하도록 설정된,
웨어러블 장치.
- HMD 장치에 있어서,
복수의 카메라들;
통신 회로; 및
상기 복수의 카메라들 및 상기 통신 회로와 작동적으로 연결된 적어도 하나의 프로세서;를 포함하고, 상기 적어도 하나의 프로세서는:
상기 통신 회로를 통해 전자 장치와 통신 연결을 설정하고,
상기 카메라들을 이용하여 복수의 이미지들을 획득하고,
상기 복수의 이미지들 중 적어도 일부에 기반하여, 사용자의 적어도 하나의 특정 신체 일부와 연관된 정보를 획득하고,
상기 통신 회로를 통해 상기 전자 장치로 상기 적어도 하나의 특정 신체 일부와 연관된 정보를 송신하고,
상기 적어도 하나의 특정 신체 일부와 연관된 정보를 송신한 것에 기반하여, 상기 통신 회로를 통해 상기 전자 장치로부터 적어도 하나의 그래픽 오브젝트를 포함하는 이미지를 상기 전자 장치로부터 수신하도록 설정된,
HMD 장치.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210113191A KR20230030930A (ko) | 2021-08-26 | 2021-08-26 | 전자 장치, 헤드-마운티드 디스플레이 장치, 웨어러블 장치 및 그 동작 방법 |
| PCT/KR2022/007691 WO2023027300A1 (ko) | 2021-08-26 | 2022-05-30 | 전자 장치, 헤드-마운티드 디스플레이 장치, 웨어러블 장치 및 그 동작 방법 |
| EP22861515.9A EP4365659A1 (en) | 2021-08-26 | 2022-05-30 | Electronic device, head-mounted display device, wearable device, and operation method thereof |
| CN202280058208.1A CN117940826A (zh) | 2021-08-26 | 2022-05-30 | 电子装置、头戴式显示装置、可穿戴装置及其操作方法 |
| US17/850,588 US20230074476A1 (en) | 2021-08-26 | 2022-06-27 | Electronic device, head-mounted display device, wearable device, and method for operating the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210113191A KR20230030930A (ko) | 2021-08-26 | 2021-08-26 | 전자 장치, 헤드-마운티드 디스플레이 장치, 웨어러블 장치 및 그 동작 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230030930A true KR20230030930A (ko) | 2023-03-07 |
Family
ID=85321800
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210113191A KR20230030930A (ko) | 2021-08-26 | 2021-08-26 | 전자 장치, 헤드-마운티드 디스플레이 장치, 웨어러블 장치 및 그 동작 방법 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20230074476A1 (ko) |
| EP (1) | EP4365659A1 (ko) |
| KR (1) | KR20230030930A (ko) |
| CN (1) | CN117940826A (ko) |
| WO (1) | WO2023027300A1 (ko) |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8957835B2 (en) * | 2008-09-30 | 2015-02-17 | Apple Inc. | Head-mounted display apparatus for retaining a portable electronic device with display |
| US9649558B2 (en) * | 2014-03-14 | 2017-05-16 | Sony Interactive Entertainment Inc. | Gaming device with rotatably placed cameras |
| KR102229890B1 (ko) * | 2014-05-30 | 2021-03-19 | 삼성전자주식회사 | 데이터 처리 방법 및 그 전자 장치 |
| KR20160039939A (ko) * | 2014-10-02 | 2016-04-12 | 한국과학기술연구원 | 헤드 마운티드 디스플레이 및 그 제어 방법 |
| KR20180113301A (ko) * | 2017-04-06 | 2018-10-16 | 엘지전자 주식회사 | 헤드 마운티드 디스플레이 및 그 제어방법 |
| KR20200067592A (ko) * | 2018-12-04 | 2020-06-12 | 삼성전자주식회사 | 웨어러블 장치에서 생체 신호의 측정을 가이드 하기 위한 방법 |
| US10948976B1 (en) * | 2019-02-06 | 2021-03-16 | Facebook Technologies, Llc | Systems and methods for electric discharge-based sensing via wearables donned by users of artificial reality systems |
| KR102623349B1 (ko) * | 2019-04-05 | 2024-01-11 | 삼성전자 주식회사 | 빔을 이용하여 외부 장치와 페어링 하는 방법 및 그를 위한 전자 장치 |
-
2021
- 2021-08-26 KR KR1020210113191A patent/KR20230030930A/ko unknown
-
2022
- 2022-05-30 WO PCT/KR2022/007691 patent/WO2023027300A1/ko active Application Filing
- 2022-05-30 CN CN202280058208.1A patent/CN117940826A/zh active Pending
- 2022-05-30 EP EP22861515.9A patent/EP4365659A1/en active Pending
- 2022-06-27 US US17/850,588 patent/US20230074476A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20230074476A1 (en) | 2023-03-09 |
| EP4365659A1 (en) | 2024-05-08 |
| WO2023027300A1 (ko) | 2023-03-02 |
| CN117940826A (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11914835B2 (en) | Method for displaying user interface and electronic device therefor | |
| US11947728B2 (en) | Electronic device for executing function based on hand gesture and method for operating thereof | |
| US20230244301A1 (en) | Augmented reality device for changing input mode and method thereof | |
| US20230135420A1 (en) | Wearable electronic device for displaying virtual object and method of controlling the same | |
| US20230152900A1 (en) | Wearable electronic device for displaying virtual object and method of controlling the same | |
| CN116830065A (zh) | 用于跟踪用户注视并提供增强现实服务的电子装置及其方法 | |
| KR20230088100A (ko) | 가상 입력 장치를 이용하기 위한 전자 장치 및 그 전자 장치에서의 동작 방법 | |
| KR20230030930A (ko) | 전자 장치, 헤드-마운티드 디스플레이 장치, 웨어러블 장치 및 그 동작 방법 | |
| US11762486B2 (en) | Electronic device for performing plurality of functions using stylus pen and method for operating same | |
| US12008170B2 (en) | Electronic device for controlling at least one external device and operating method thereof | |
| US20240046578A1 (en) | Wearable electronic device displaying virtual object and method for controlling the same | |
| US20230236321A1 (en) | Electronic device for obtaining distance information and method for controlling the same | |
| US20240073508A1 (en) | Wearable electronic device for controlling camera module and method for operating thereof | |
| US20240046591A1 (en) | Wearable electronic device displaying virtual object and method for controlling the same | |
| KR20240028880A (ko) | 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 방법 및 이를 지원하는 전자 장치 | |
| KR20230030883A (ko) | 스타일러스 펜을 이용하여 복수의 기능들을 실행하기 위한 전자 장치 및 그 작동 방법 | |
| KR20230118010A (ko) | 입력 모드를 전환하는 증강 현실 장치 및 그 방법 | |
| KR20240094948A (ko) | 객체에 대한 정보를 획득하기 위한 전자 장치 및 방법 | |
| KR20230151859A (ko) | 웨어러블 디바이스의 착용 상태에 따라 상이한 피드백을 제공하는 웨어러블 디바이스 및 그 제어 방법 | |
| KR20240041772A (ko) | 웨어러블 전자 장치 및 상기 웨어러블 전자 장치를 이용하여 컨트롤러를 식별하는 방법 | |
| KR20230040232A (ko) | 모바일 장치의 확장 화면을 표시하는 장치 및 방법 | |
| KR20240037789A (ko) | 실제 공간과 가상 공간 간의 차이를 최소화하는 전자 장치 및 그 제조 방법 | |
| KR20240056365A (ko) | 웨어러블 전자 장치의 위치를 제공하는 방법 및 이를 지원하는 웨어러블 전자 장치 | |
| KR20240029480A (ko) | 사용자의 움직임을 트래킹 하기 위한 전자 장치 및 방법 | |
| KR20240043029A (ko) | 이미지를 제공하는 방법 및 이를 지원하는 웨어러블 전자 장치 |