KR20240067748A - Wearable device for controlling multimedia content placed in virtual space and method thereof - Google Patents
Wearable device for controlling multimedia content placed in virtual space and method thereof Download PDFInfo
- Publication number
- KR20240067748A KR20240067748A KR1020220152098A KR20220152098A KR20240067748A KR 20240067748 A KR20240067748 A KR 20240067748A KR 1020220152098 A KR1020220152098 A KR 1020220152098A KR 20220152098 A KR20220152098 A KR 20220152098A KR 20240067748 A KR20240067748 A KR 20240067748A
- Authority
- KR
- South Korea
- Prior art keywords
- wearable device
- user
- virtual space
- multimedia contents
- visual object
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 57
- 230000000007 visual effect Effects 0.000 claims abstract description 189
- 230000003993 interaction Effects 0.000 claims description 30
- 230000005236 sound signal Effects 0.000 claims description 24
- 238000005728 strengthening Methods 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 56
- 238000004891 communication Methods 0.000 description 26
- 238000012545 processing Methods 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 15
- 230000033001 locomotion Effects 0.000 description 11
- 230000003190 augmentative effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 235000012771 pancakes Nutrition 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
일 실시예에 따른 웨어러블 장치는, 가상 공간으로 진입함을 나타내는 입력을 식별하는 것에 기반하여, 상기 가상 공간 내에 포함된 복수의 멀티미디어 콘텐트들을 식별할 수 있다. 상기 웨어러블 장치는, 상기 웨어러블 장치에 대응하는 사용자의 프로파일 정보에 기반하여, 상기 복수의 멀티미디어 콘텐트들의 출력을 위한 순서를 획득할 수 있다. 상기 웨어러블 장치는, 상기 순서에 기반하여, 상기 복수의 멀티미디어 콘텐트들 중 적어도 하나의 멀티미디어 콘텐트를 표현하는 시각적 객체가 포함된 상기 가상 공간의 적어도 일부분을, 디스플레이를 통해 상기 사용자의 FoV 내에 표시할 수 있다. 본 문서는, 실제 객체 및 가상 객체 사이의 상호연결성을 강화하기 위한 메타버스 서비스와 관련될 수 있다. 예를 들면, 상기 메타버스 서비스는, 5G(fifth generation), 및/또는 6G(sixth generation)에 기반하는 네트워크를 통해 제공될 수 있다.A wearable device according to one embodiment may identify a plurality of multimedia contents included in the virtual space based on identifying an input indicating entry into the virtual space. The wearable device may obtain an order for outputting the plurality of multimedia contents based on profile information of a user corresponding to the wearable device. The wearable device may display, based on the order, at least a portion of the virtual space containing a visual object representing at least one multimedia content among the plurality of multimedia contents within the FoV of the user through a display. there is. This document may be related to a metaverse service for strengthening interconnectivity between real and virtual objects. For example, the metaverse service may be provided through a network based on 5G (fifth generation) and/or 6G (sixth generation).
Description
본 개시의 실시예들은, 가상 공간 내에 배치된 시각적 객체를 제어하기 위한 웨어러블 장치 및 그 방법에 관한 것이다. Embodiments of the present disclosure relate to a wearable device and method for controlling visual objects placed in a virtual space.
강화된(enhanced) 사용자 경험(user experience)을 제공하기 위해, 실제 세계(real-world) 내 외부 객체와 연계로 컴퓨터에 의해 생성된 정보를 표시하는 증강 현실(augmented reality, AR) 서비스를 제공하는 전자 장치가 개발되고 있다. 상기 전자 장치는, 사용자에 의해 착용될 수 있는 웨어러블 장치일 수 있다. 예를 들면, 상기 전자 장치는, AR 안경(glasses), 및/또는 머리 착용형 장치(head-mounted device, HMD)일 수 있다. 상기 전자 장치는 사용자 정보를 이용하여, 증강 현실 서비스에서 제공된 외부 객체들의 위치, 및/또는 형태를 조절할 수 있다. To provide an enhanced user experience, we provide augmented reality (AR) services that display computer-generated information in conjunction with external objects in the real-world. Electronic devices are being developed. The electronic device may be a wearable device that can be worn by a user. For example, the electronic device may be AR glasses and/or a head-mounted device (HMD). The electronic device may use user information to adjust the location and/or shape of external objects provided in the augmented reality service.
일 실시예에 따른 웨어러블 장치는, 디스플레이 및 프로세서를 포함할 수 있다. 상기 프로세서는, 가상 공간으로 진입함을 나타내는 입력을 식별하는 것에 기반하여, 상기 가상 공간 내에 포함된 복수의 멀티미디어 콘텐트들을 식별할 수 있다. 상기 프로세서는, 상기 웨어러블 장치에 대응하는 사용자의 프로파일 정보에 기반하여, 상기 복수의 멀티미디어 콘텐트들의 출력을 위한 순서를 획득할 수 있다. 상기 프로세서는, 상기 순서에 기반하여, 상기 복수의 멀티미디어 콘텐트들 중 적어도 하나의 멀티미디어 콘텐트를 표현하는(representing) 시각적 객체가 포함된 상기 가상 공간의 적어도 일부분을, 상기 디스플레이를 통해 상기 사용자의 FoV(field-of-view) 내에 표시할 수 있다.A wearable device according to an embodiment may include a display and a processor. The processor may identify a plurality of multimedia contents included in the virtual space based on identifying an input indicating entry into the virtual space. The processor may obtain an order for outputting the plurality of multimedia contents based on profile information of a user corresponding to the wearable device. The processor, based on the order, displays at least a portion of the virtual space containing a visual object representing at least one multimedia content among the plurality of multimedia contents, through the display, the user's FoV ( It can be displayed within the field-of-view).
일 실시예에 따른 웨어러블 장치의 방법은, 사용자에 의해 착용된 동안, 상기 사용자로부터 복수의 멀티미디어 콘텐트들을 포함하는 가상 공간으로 진입함을 나타내는 입력을 식별하는 것에 기반하여, 상기 복수의 멀티미디어 콘텐트들에 대한 속성들을 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 속성들과 관련된 상기 사용자의 프로파일 정보에 기반하여, 상기 복수의 멀티미디어 콘텐트들 중에서, 상기 복수의 멀티미디어 콘텐트들의 출력을 위한 순서를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 순서에 기반하여, 상기 복수의 멀티미디어 콘텐트들 중에서, 상기 사용자에게 표시될 적어도 하나의 멀티미디어 콘텐트를 선택하는 동작을 포함할 수 있다. 상기 방법은, 디스플레이를 제어하여 상기 웨어러블 장치의 FoV 내에, 상기 적어도 하나의 멀티미디어 콘텐트를 표현하는(representing) 시각적 객체가 포함된 상기 가상 공간의 적어도 일부분을 표현하는(representing) 화면을 표시하는 동작을 포함할 수 있다. A method of a wearable device according to an embodiment, while worn by a user, is based on identifying an input indicating entry from the user into a virtual space containing a plurality of multimedia contents, to the plurality of multimedia contents. It may include an operation to identify properties. The method may include obtaining an order for output of the plurality of multimedia contents, based on the user's profile information related to the properties. The method may include selecting at least one multimedia content to be displayed to the user from among the plurality of multimedia content based on the order. The method includes controlling a display to display a screen representing at least a portion of the virtual space containing a visual object representing the at least one multimedia content within the FoV of the wearable device. It can be included.
일 실시예에 따른 웨어러블 장치는 디스플레이 및 프로세서를 포함할 수 있다. 상기 프로세서는, 사용자에 의해 착용된 동안, 상기 사용자로부터 복수의 멀티미디어 콘텐트들을 포함하는 가상 공간으로 진입함을 나타내는 입력을 식별하는 것에 기반하여, 상기 복수의 멀티미디어 콘텐트들에 대한 속성들을 식별할 수 있다. 상기 프로세서는, 상기 속성들과 관련된 상기 사용자의 프로파일 정보에 기반하여, 상기 복수의 멀티미디어 콘텐트들 중에서, 상기 복수의 멀티미디어 콘텐트들의 출력을 위한 순서를 획득할 수 있다. 상기 프로세서는, 상기 순서에 기반하여, 상기 복수의 멀티미디어 콘텐트들 중에서, 상기 사용자에게 표시될 적어도 하나의 멀티미디어 콘텐트를 선택할 수 있다. 상기 프로세서는, 상기 디스플레이를 제어하여 상기 웨어러블 장치의 FoV 내에, 상기 적어도 하나의 멀티미디어 콘텐트를 표현하는(representing) 시각적 객체가 포함된 상기 가상 공간의 적어도 일부분을 표현하는(representing) 화면을 표시하도록, 구성될 수 있다. A wearable device according to one embodiment may include a display and a processor. The processor, while worn by a user, may identify properties for the plurality of multimedia contents based on identifying input indicating entry from the user into a virtual space containing the plurality of multimedia contents. . The processor may obtain an order for output of the plurality of multimedia contents, based on the user's profile information related to the properties. The processor may select at least one multimedia content to be displayed to the user from among the plurality of multimedia contents based on the order. The processor controls the display to display a screen representing at least a portion of the virtual space containing a visual object representing the at least one multimedia content within the FoV of the wearable device, It can be configured.
일 실시예에 따른 웨어러블 장치의 방법은, 가상 공간으로 진입함을 나타내는 입력을 식별하는 것에 기반하여, 상기 가상 공간 내에 포함된 복수의 멀티미디어 콘텐트들을 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 웨어러블 장치에 대응하는 사용자의 프로파일 정보에 기반하여, 상기 복수의 멀티미디어 콘텐트들의 출력을 위한 순서를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 순서에 기반하여, 상기 복수의 멀티미디어 콘텐트들 중 적어도 하나의 멀티미디어 콘텐트를 표현하는 시각적 객체가 포함된 상기 가상 공간의 적어도 일부분을, 디스플레이를 통해 상기 사용자의 FoV 내에 표시하는 동작을 포함할 수 있다. A method of a wearable device according to an embodiment may include an operation of identifying a plurality of multimedia contents included in the virtual space based on identifying an input indicating entry into the virtual space. The method may include obtaining an order for outputting the plurality of multimedia contents based on profile information of a user corresponding to the wearable device. The method includes, based on the order, displaying at least a portion of the virtual space containing a visual object representing at least one multimedia content among the plurality of multimedia contents within the FoV of the user through a display. It can be included.
도 1은 서버를 통해 메타버스 서비스를 제공받는 제1 실시예 환경에 대한 예시도이다.
도 2는, 사용자 단말들의 직접 연결을 통해 메타버스 서비스를 제공받는 제2 실시예 환경에 대한 예시도이다.
도 3a는, 일 실시예에 따른, 웨어러블 장치의 사시도(prospective view)의 일 예를 도시한다.
도 3b는, 일 실시예에 따른, 웨어러블 장치 내에 배치된 하나 이상의 하드웨어들의 일 예를 도시한다.
도 4a 내지 도 4b는, 일 실시예에 따른, 웨어러블 장치의 외관의 일 예를 도시한다.
도 5는, 일 실시예에 따른 웨어러블 장치의 예시적인 블록도이다.
도 6은, 일 실시예에 따른 가상 공간 내에 진입한 웨어러블 장치를 나타내는 예시적인 상태를 도시한다.
도 7a 내지 도 7b는, 일 실시예에 따른 웨어러블 장치가 가상 공간 내에 포함된 외부 객체들에 대응하는 시각적 객체의 획득을 나타내는 예시적인 상태를 도시한다.
도 8은, 일 실시예에 따른 웨어러블 장치 및 사용자 사이의 상호 작용을 나타내는 예시적인 상태를 도시한다.
도 9는, 일 실시예에 따른 웨어러블 장치의 동작을 나타내는 예시적인 흐름도이다.
도 10은, 일 실시예에 따른 웨어러블 장치의 동작을 나타내는 예시적인 흐름도이다.
도 11은, 일 실시예에 따른 웨어러블 장치가 가상 공간의 타입에 기반한 시각적 객체의 획득을 나타내는 예시적인 상태를 도시한다.
도 12는, 일 실시예에 따른 웨어러블 장치의 동작을 나타내는 예시적인 흐름도이다. Figure 1 is an exemplary diagram of a first embodiment environment in which metaverse services are provided through a server.
Figure 2 is an exemplary diagram of a second embodiment environment in which metaverse services are provided through direct connection of user terminals.
Figure 3A shows an example of a perspective view of a wearable device, according to one embodiment.
FIG. 3B shows an example of one or more hardware deployed within a wearable device, according to one embodiment.
4A to 4B show an example of the appearance of a wearable device, according to an embodiment.
Figure 5 is an example block diagram of a wearable device according to an embodiment.
Figure 6 shows an example state representing a wearable device entering a virtual space according to an embodiment.
FIGS. 7A and 7B illustrate example states in which a wearable device acquires visual objects corresponding to external objects included in a virtual space, according to an embodiment.
8 shows example states representing interaction between a wearable device and a user, according to one embodiment.
Figure 9 is an example flowchart showing the operation of a wearable device according to an embodiment.
Figure 10 is an example flowchart showing the operation of a wearable device according to an embodiment.
FIG. 11 illustrates an example state in which a wearable device acquires a visual object based on a type of virtual space, according to an embodiment.
Figure 12 is an example flowchart showing the operation of a wearable device according to an embodiment.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 설명된다.Hereinafter, various embodiments of this document are described with reference to the attached drawings.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.The various embodiments of this document and the terms used herein are not intended to limit the technology described in this document to a specific embodiment, and should be understood to include various changes, equivalents, and/or replacements of the embodiments. In connection with the description of the drawings, similar reference numbers may be used for similar components. Singular expressions may include plural expressions, unless the context clearly indicates otherwise. In this document, expressions such as “A or B”, “at least one of A and/or B”, “A, B or C” or “at least one of A, B and/or C” refer to all of the items listed together. Possible combinations may be included. Expressions such as "first", "second", "first" or "second" can modify the corresponding components regardless of order or importance, and are only used to distinguish one component from another. The components are not limited. When a component (e.g., a first) component is said to be "connected (functionally or communicatively)" or "connected" to another (e.g., second) component, it means that the component is connected to the other component. It may be connected directly to the component or may be connected through another component (e.g., a third component).
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.The term “module” used in this document includes a unit comprised of hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit, for example. A module may be an integrated part, a minimum unit that performs one or more functions, or a part thereof. For example, a module may be comprised of an application-specific integrated circuit (ASIC).
메타버스는 '가상', '초월'을 뜻하는 영어 단어 '메타'(Meta)와 우주를 뜻하는 '유니버스'(Universe)의 합성어로, 현실세계와 같은 사회·경제·문화 활동이 이뤄지는 3차원의 가상세계를 가리킨다. 메타버스는 가상현실(VR, 컴퓨터로 만들어 놓은 가상의 세계에서 사람이 실제와 같은 체험을 할 수 있도록 하는 최첨단 기술)보다 한 단계 더 진화한 개념으로, 아바타를 활용해 단지 게임이나 가상현실을 즐기는 데 그치지 않고 실제 현실과 같은 사회·문화적 활동을 할 수 있다는 특징이 있다. Metaverse is a compound word of the English word 'Meta', meaning 'virtual' or 'transcendence', and 'Universe', meaning universe. It is a three-dimensional world where social, economic and cultural activities similar to the real world take place. refers to the virtual world of Metaverse is a concept that is one step more advanced than virtual reality (VR, a cutting-edge technology that allows people to experience life-like experiences in a virtual world created on a computer), and is a concept that uses avatars to simply enjoy games or virtual reality. Not only that, but it has the characteristic of being able to engage in social and cultural activities similar to actual reality.
이와 같은 메타버스 서비스는 적어도 2가지 형태로 제공될 수 있다. 첫번째는 서버를 이용하여 사용자에게 서비스가 제공되는 것이고, 두번째는 사용자 간의 개별 접촉을 통해 서비스가 제공되는 것이다.Such metaverse services can be provided in at least two forms. The first is that services are provided to users using a server, and the second is that services are provided through individual contact between users.
도 1은 서버(110)를 통해 메타버스 서비스를 제공받는 제 1 실시예 환경(101)에 대한 예시도이다.FIG. 1 is an exemplary diagram of a
도 1을 보면, 제 1 실시예 환경(101)은, 메타버스 서비스를 제공하는 서버(110), 서버(110)와 각각의 사용자 단말(예, 제1 단말(120-1), 및 제2 단말(120-2)을 포함하는 사용자 단말(120))을 연결하는 네트워크(예, AP(access point), 및/또는 기지국을 포함하는 적어도 하나의 중간 노드(130)에 의해 형성된 네트워크), 네트워크를 통해 서버로 접속하여 사용자에게 메타버스 서비스에 입출력을 함으로써 서비스를 이용하게 하는 사용자 단말로 구성된다. Referring to FIG. 1, the
이 때, 서버(110)는 가상 공간을 제공하여 사용자 단말(120)이 가상 공간에서 활동을 할 수 있도록 한다. 또한, 사용자 단말(120)은 서버(110)가 제공하는 가상 공간에 접속하기 위한 S/W 에이전트를 설치하여 서버(110)가 사용자에게 제공하는 정보를 표현하거나, 사용자가 가상 공간에서 표현하고자 하는 정보를 서버로 전송한다. At this time, the
상기 S/W 에이전트는 서버(110)를 통해서 직접 제공받거나, 공용 서버로부터 다운로드받거나, 단말 구매시에 임베딩(embedded)되어 제공될 수 있다. The S/W agent can be provided directly through the
도 2는 사용자 단말들(예, 제1 단말(120-1) 및 제2 단말(120-2))의 직접 연결을 통해 메타버스 서비스를 제공받는 제 2 실시예 환경(102)에 대한 예시도이다.FIG. 2 is an exemplary diagram of a
도 2를 보면, 제 2 실시예 환경(102)은, 메타버스 서비스를 제공하는 제 1 단말(120-1), 각각의 사용자 단말을 연결하는 네트워크(예, 적어도 하나의 중간 노드(130)에 의해 형성된 네트워크), 네트워크를 통해 제 1 단말(120-1)과 접속하여 제 2 사용자에게 메타버스 서비스에 입출력을 함으로써 서비스를 이용하게 하는 제 2 단말(120-2)로 구성된다.Referring to Figure 2, the
제 2 실시예는 제 1 실시예에서 서버(예, 도 1의 서버(110))의 역할을 제 1 단말(120-1)이 수행함으로써 메타버스 서비스를 제공하는 것을 특징으로 한다. 즉, 디바이스와 디바이스의 연결만으로 메타버스 환경을 구성할 수 있음을 알 수 있다.The second embodiment is characterized in that the first terminal 120-1 performs the role of a server (eg,
제 1 실시예와 제 2 실시예에서, 사용자 단말(120)(혹은 제 1 단말(120-1), 제 2 단말(120-2)을 포함하는 사용자 단말(120))은 다양한 폼팩터로 만들어질 수 있으며, 사용자에게 영상 또는/및 소리를 제공하는 출력 장치와 메타버스 서비스에 정보를 입력하기 위한 입력 장치를 포함하는 것을 특징으로 한다. 사용자 단말(120)의 다양한 폼팩터를 예시하면, 스마트폰(예, 제2 단말(120-2)), AR 기기(예, 제1 단말(120-1)), VR(virtual reality) 기기, MR(mixed reality) 기기, VST(video see through) 기기, 입출력 가능한 TV 또는 프로젝터를 포함할 수 있다.In the first and second embodiments, the user terminal 120 (or the user terminal 120 including the first terminal 120-1 and the second terminal 120-2) may be made in various form factors. It is characterized in that it includes an output device for providing images and/or sounds to the user and an input device for inputting information into the metaverse service. Examples of various form factors of the user terminal 120 include a smartphone (e.g., second terminal 120-2), AR device (e.g., first terminal 120-1), virtual reality (VR) device, and MR. (mixed reality) devices, VST (video see through) devices, and TVs or projectors capable of input and output.
본 발명의 네트워크(예, 적어도 하나의 중간 노드(130)에 의해 형성된 네트워크)는 3G, 4G, 5G를 포함하는 다양한 광대역 네트워크와 WiFi(wireless fidelity), BT(bluetooth)를 포함하는 근거리 네트워크(예, 제1 단말(120-1), 및 제2 단말(120-2)을 직접적으로 연결하는 유선 네트워크 또는 무선 네트워크)를 다 포함한다. The network of the present invention (e.g., a network formed by at least one intermediate node 130) includes various broadband networks including 3G, 4G, and 5G, and local area networks including wireless fidelity (WiFi) and bluetooth (BT) (e.g. , a wired network or a wireless network directly connecting the first terminal 120-1 and the second terminal 120-2).
도 3a는, 일 실시예에 따른, 웨어러블 장치(300)의 사시도(prospective view)의 일 예를 도시한다. 도 3b는, 일 실시예에 따른, 웨어러블 장치(300) 내에 배치된 하나 이상의 하드웨어들의 일 예를 도시한다. 도 3a 내지 도 3b의 웨어러블 장치(300)는, 도 1 내지 도 2의 제1 단말(120-1)을 포함할 수 있다. 도 3a의 도시 내에서(as shown in), 일 실시예에 따른, 웨어러블 장치(300)는, 적어도 하나의 디스플레이(350), 및 적어도 하나의 디스플레이(350)를 지지하는 프레임을 포함할 수 있다. FIG. 3A shows an example of a perspective view of a
일 실시예에 따른, 웨어러블 장치(300)는 사용자의 신체의 일부 상에 착용될 수 있다. 웨어러블 장치(300)는, 웨어러블 장치(300)를 착용한 사용자에게, 증강 현실(augmented reality, AR), 가상 현실(virtual reality, VR), 또는 증강 현실과 가상 현실을 혼합한 혼합 현실(mixed reality, MR)을 제공할 수 있다. 예를 들면, 웨어러블 장치(300)는, 도 3b의 동작 인식 카메라(340-2)를 통해 획득된 사용자의 지정된 제스처에 응답하여, 적어도 하나의 디스플레이(350)를 통하여 사용자에게 가상 현실 영상을 출력할 수 있다.According to one embodiment, the
일 실시예에 따른, 웨어러블 장치(300) 내 적어도 하나의 디스플레이(350)는, 사용자에게 시각 정보를 제공할 수 있다. 예를 들면, 적어도 하나의 디스플레이(350)는, 투명 또는 반투명한 렌즈를 포함할 수 있다. 적어도 하나의 디스플레이(350)는, 제1 디스플레이(350-1) 및/또는 제1 디스플레이(350-1)로부터 이격된 제2 디스플레이(350-2)를 포함할 수 있다. 예를 들면, 제1 디스플레이(350-1), 및 제2 디스플레이(350-2)는, 사용자의 좌안과 우안에 각각 대응되는 위치에 배치될 수 있다.According to one embodiment, at least one
도 3b를 참조하면, 일 실시예에 따른 적어도 하나의 디스플레이(350)는, 렌즈 상에 표시 영역을 형성하여, 웨어러블 장치(300)를 착용한 사용자에게, 렌즈를 통과하는 외부 광에 포함된 시각적 정보와 함께, 상기 시각적 정보와 구별되는, 다른 시각적 정보를 제공할 수 있다. 상기 렌즈는, 프레넬(fresnel) 렌즈, 팬케이크(pancake) 렌즈, 또는 멀티-채널 렌즈 중 적어도 하나에 기반하여 형성될 수 있다. 적어도 하나의 디스플레이(350)에 의해 형성된 표시 영역은, 렌즈의 제1 면(331), 및 제2 면(332) 중 제2 면(332) 상에 형성될 수 있다. 사용자가 웨어러블 장치(300)를 착용하였을 때, 외부 광은 제1 면(331)으로 입사되고, 제2 면(332)을 통해 투과됨으로써, 사용자에게 전달될 수 있다. 다른 예를 들면, 적어도 하나의 디스플레이(350)는, 외부 광을 통해 전달되는 현실 화면에 결합될 가상 현실 영상을 표시할 수 있다. 적어도 하나의 디스플레이(350)로부터 출력된 상기 가상 현실 영상은, 웨어러블 장치(300)에 포함된 하나 이상의 하드웨어, 및/또는 적어도 하나의 웨이브가이드들(waveguides)(333, 334))를 통하여, 사용자의 눈으로 송신될 수 있다.Referring to FIG. 3B, at least one
일 실시예에 따른, 웨어러블 장치(300)는 적어도 하나의 디스플레이(350)로부터 송신되고, 광학 장치들(382, 384)에 의해 릴레이된 광을 회절시켜, 사용자에게 전달하는, 웨이브가이드들(333, 334)을 포함할 수 있다. 웨이브가이드들(333, 334)은, 글래스, 플라스틱, 또는 폴리머 중 적어도 하나에 기반하여 형성될 수 있다. 웨이브가이드들(333, 334)의 외부, 또는 내부의 적어도 일부분에, 나노 패턴이 형성될 수 있다. 상기 나노 패턴은, 다각형, 및/또는 곡면 형상의 격자 구조(grating structure)에 기반하여 형성될 수 있다. 웨이브가이드들(333, 334)의 일 단으로 입사된 광은, 상기 나노 패턴에 의해 웨이브가이드들(333, 334)의 타 단으로 전파될 수 있다. 웨이브가이드들(333, 334)은 적어도 하나의 회절 요소(예: DOE(diffractive optical element), HOE(holographic optical element)), 반사 요소(예: 반사 거울) 중 적어도 하나를 포함할 수 있다. 예를 들어, 웨이브가이드들(333, 334)은, 적어도 하나의 디스플레이(350)에 의해 표시되는 화면을, 사용자의 눈으로 가이드하기 위하여, 웨어러블 장치(300) 내에 배치될 수 있다. 예를 들어, 상기 화면은, 웨이브가이드들(333, 334) 내에서 발생되는 전반사(total internal reflection, TIR)에 기반하여, 사용자의 눈으로 송신될 수 있다.According to one embodiment, the
일 실시예에 따른, 웨어러블 장치(300)는, 촬영 카메라(340-1)를 통해 수집된 현실 영상에 포함된 오브젝트(object)를 분석하고, 분석된 오브젝트 중에서 증강 현실 제공의 대상이 되는 오브젝트에 대응되는 가상 오브젝트(virtual object)를 결합하여, 적어도 하나의 디스플레이(350)에 표시할 수 있다. 가상 오브젝트는, 현실 영상에 포함된 오브젝트에 관련된 다양한 정보에 대한 텍스트, 및 이미지 중 적어도 하나를 포함할 수 있다. 웨어러블 장치(300)는, 스테레오 카메라와 같은 멀티-카메라에 기반하여, 오브젝트를 분석할 수 있다. 상기 오브젝트 분석을 위하여, 웨어러블 장치(300)는 멀티-카메라에 의해 지원되는, ToF(time-of-flight), 및/또는 SLAM(simultaneous localization and mapping)을 실행할 수 있다. 웨어러블 장치(300)를 착용한 사용자는, 적어도 하나의 디스플레이(350)에 표시되는 영상을 시청할 수 있다.According to one embodiment, the
일 실시예에 따르면, 프레임은, 웨어러블 장치(300)가 사용자의 신체 상에 착용될 수 있는 물리적인 구조로 이루어질 수 있다. 일 실시예에 따르면, 프레임은, 사용자가 웨어러블 장치(300)를 착용하였을 때, 제1 디스플레이(350-1) 및 제2 디스플레이(350-2)가 사용자의 좌안 및 우안에 대응되는 위치할 수 있도록, 구성될 수 있다. 프레임은, 적어도 하나의 디스플레이(350)를 지지할 수 있다. 예를 들면, 프레임은, 제1 디스플레이(350-1) 및 제2 디스플레이(350-2)를 사용자의 좌안 및 우안에 대응되는 위치에 위치되도록 지지할 수 있다. According to one embodiment, the frame may be made of a physical structure that allows the
도 3a를 참조하면, 일 실시예에 따른 프레임은, 사용자가 웨어러블 장치(300)를 착용한 경우, 적어도 일부가 사용자의 신체의 일부분과 접촉되는 영역(320)을 포함할 수 있다. 예를 들면, 프레임의 사용자의 신체의 일부분과 접촉되는 영역(320)은, 웨어러블 장치(300)가 접하는 사용자의 코의 일부분, 사용자의 귀의 일부분 및 사용자의 얼굴의 측면 일부분과 접촉하는 영역을 포함할 수 있다. 일 실시예에 따르면, 프레임은, 사용자의 신체의 일부 상에 접촉되는 노즈 패드(310)를 포함할 수 있다. 웨어러블 장치(300)가 사용자에 의해 착용될 시, 노즈 패드(310)는, 사용자의 코의 일부 상에 접촉될 수 있다. 프레임은, 상기 사용자의 신체의 일부와 구별되는 사용자의 신체의 다른 일부 상에 접촉되는 제1 템플(temple)(304) 및 제2 템플(305)을 포함할 수 있다.Referring to FIG. 3A , the frame according to one embodiment may include an
예를 들면, 프레임은, 제1 디스플레이(350-1)의 적어도 일부를 감싸는 제1 림(rim)(301), 제2 디스플레이(350-2)의 적어도 일부를 감싸는 제2 림(302), 제1 림(301)과 제2 림(302) 사이에 배치되는 브릿지(bridge)(303), 브릿지(303)의 일단으로부터 제1 림(301)의 가장자리 일부를 따라 배치되는 제1 패드(311), 브릿지(303)의 타단으로부터 제2 림(302)의 가장자리 일부를 따라 배치되는 제2 패드(312), 제1 림(301)으로부터 연장되어 착용자의 귀의 일부분에 고정되는 제1 템플(304), 및 제2 림(302)으로부터 연장되어 상기 귀의 반대측 귀의 일부분에 고정되는 제2 템플(305)을 포함할 수 있다. 제1 패드(311), 및 제2 패드(312)는, 사용자의 코의 일부분과 접촉될 수 있고, 제1 템플(304) 및 제2 템플(305)은, 사용자의 안면의 일부분 및 귀의 일부분과 접촉될 수 있다. 템플들(304, 305)은, 도 3b의 힌지 유닛들(306, 307)을 통해 림과 회전 가능하게(rotatably) 연결될 수 있다. 제1 템플(304)은, 제1 림(301)과 제1 템플(304)의 사이에 배치된 제1 힌지 유닛(306)을 통해, 제1 림(301)에 대하여 회전 가능하게 연결될 수 있다. 제2 템플(305)은, 제2 림(302)과 제2 템플(305)의 사이에 배치된 제2 힌지 유닛(307)을 통해 제2 림(302)에 대하여 회전 가능하게 연결될 수 있다. 일 실시예에 따른, 웨어러블 장치(300)는 프레임의 표면의 적어도 일부분 상에 형성된, 터치 센서, 그립 센서, 및/또는 근접 센서를 이용하여, 프레임을 터치하는 외부 객체(예, 사용자의 손끝(fingertip)), 및/또는 상기 외부 객체에 의해 수행된 제스쳐를 식별할 수 있다. For example, the frame includes a
일 실시예에 따르면, 웨어러블 장치(300)는, 다양한 기능들을 수행하는 하드웨어들(예, 도 5의 블록도에 기반하여 상술된 하드웨어들)을 포함할 수 있다. 예를 들면, 상기 하드웨어들은, 배터리 모듈(370), 안테나 모듈(375), 광학 장치들(382, 384), 스피커들(392-1, 392-2), 마이크들(394-1, 394-2, 394-3), 발광 모듈(미도시), 및/또는 인쇄 회로 기판(390)을 포함할 수 있다. 다양한 하드웨어들은, 프레임 내에 배치될 수 있다. According to one embodiment, the
일 실시예에 따른, 웨어러블 장치(300)의 마이크들(394-1, 394-2, 394-3)은, 프레임의 적어도 일부분에 배치되어, 소리 신호를 획득할 수 있다. 노즈 패드(310) 상에 배치된 제1 마이크(394-1), 제2 림(302) 상에 배치된 제2 마이크(394-2), 및 제1 림(301) 상에 배치된 제3 마이크(394-3)가 도 3b 내에 도시되지만, 마이크(394)의 개수, 및 배치가 도 3b의 일 실시예에 제한되는 것은 아니다. 웨어러블 장치(300) 내에 포함된 마이크(394)의 개수가 두 개 이상인 경우, 웨어러블 장치(300)는 프레임의 상이한 부분들 상에 배치된 복수의 마이크들을 이용하여, 소리 신호의 방향을 식별할 수 있다.According to one embodiment, the microphones 394-1, 394-2, and 394-3 of the
일 실시예에 따르면, 광학 장치들(382, 384)은, 적어도 하나의 디스플레이(350)로부터 송신된 가상 오브젝트를, 웨이브 가이드들(333, 334)로 송신할 수 있다. 예를 들면, 광학 장치들(382, 384)은, 프로젝터일 수 있다. 광학 장치들(382, 384)은, 적어도 하나의 디스플레이(350)에 인접하여 배치되거나, 적어도 하나의 디스플레이(350)의 일부로써, 적어도 하나의 디스플레이(350) 내에 포함될 수 있다. 제1 광학 장치(382)는, 제1 디스플레이(350-1)에 대응하고, 제2 광학 장치(384)는, 제2 디스플레이(350-2)에 대응할 수 있다. 제1 광학 장치(382)는, 제1 디스플레이(350-1)로부터 출력된 광을, 제1 웨이브가이드(333)로 송출할 수 있고, 제2 광학 장치(384)는, 제2 디스플레이(350-2)로부터 출력된 광을, 제2 웨이브가이드(334)로 송출할 수 있다. According to one embodiment, the
일 실시예에서, 카메라(340)는, 시선 추적 카메라(eye tracking camera, ET CAM)(340-1), 동작 인식 카메라(340-2), 및/또는 촬영 카메라(340-3)를 포함할 수 있다. 촬영 카메라, 시선 추적 카메라(340-1) 및 동작 인식 카메라(340-2)는, 프레임 상에서 서로 다른 위치에 배치될 수 있고, 서로 다른 기능을 수행할 수 있다. 시선 추적 카메라(340-1)는, 웨어러블 장치(300)를 착용한 사용자의 시선(gaze)을 나타내는 데이터를 출력할 수 있다. 예를 들어, 웨어러블 장치(300)는 시선 추적 카메라(340-1)를 통하여 획득된, 사용자의 눈동자가 포함된 이미지로부터, 상기 시선을 탐지할 수 있다. 시선 추적 카메라(340-1)가 사용자의 우측 눈을 향하여 배치된 일 예가 도 3b 내에 도시되지만, 실시예가 이에 제한되는 것은 아니며, 시선 추적 카메라(340-1)는, 사용자의 좌측 눈을 향하여 단독으로 배치되거나, 또는 양 눈들 전부를 향하여 배치될 수 있다. In one embodiment, the camera 340 may include an eye tracking camera (ET CAM) 340-1, a motion recognition camera 340-2, and/or an imaging camera 340-3. You can. The shooting camera, eye tracking camera 340-1, and motion recognition camera 340-2 may be placed at different positions on the frame and perform different functions. The gaze tracking camera 340-1 may output data representing the gaze of the user wearing the
일 실시예에서, 촬영 카메라(340-3)는, 증강 현실 또는 혼합 현실 콘텐츠를 구현하기 위해서 가상의 이미지와 정합될 실제의 이미지나 배경을 촬영할 수 있다. 촬영 카메라는, 사용자가 바라보는 위치에 존재하는 특정 사물의 이미지를 촬영하고, 그 이미지를 적어도 하나의 디스플레이(350)로 제공할 수 있다. 적어도 하나의 디스플레이(350)는, 촬영 카메라를 이용해 획득된 상기 특정 사물의 이미지를 포함하는 실제의 이미지나 배경에 관한 정보와, 광학 장치들(382, 384)을 통해 제공되는 가상 이미지가 겹쳐진 하나의 영상을 표시할 수 있다. 일 실시예에서, 촬영 카메라는, 제1 림(301) 및 제2 림(302) 사이에 배치되는 브릿지(303) 상에 배치될 수 있다.In one embodiment, the capturing camera 340-3 may capture a real image or background to be matched with a virtual image to implement augmented reality or mixed reality content. The capturing camera may capture an image of a specific object that exists at a location where the user is looking and provide the image to at least one
일 실시예에 따른 시선 추적 카메라(340-1)는, 웨어러블 장치(300)를 착용한 사용자의 시선(gaze)을 추적함으로써, 사용자의 시선과 적어도 하나의 디스플레이(350)에 제공되는 시각 정보를 일치시켜 보다 현실적인 증강 현실을 구현할 수 있다. 예를 들어, 웨어러블 장치(300)는, 사용자가 정면을 바라볼 때, 사용자가 위치한 장소에서 사용자의 정면에 관련된 환경 정보를 자연스럽게 적어도 하나의 디스플레이(350)에 표시할 수 있다. 시선 추적 카메라(340-1)는, 사용자의 시선을 결정하기 위하여, 사용자의 동공의 이미지를 캡쳐하도록, 구성될 수 있다. 예를 들면, 시선 추적 카메라(340-1)는, 사용자의 동공에서 반사된 시선 검출 광을 수신하고, 수신된 시선 검출 광의 위치 및 움직임에 기반하여, 사용자의 시선을 추적할 수 있다. 일 실시예에서, 시선 추적 카메라(340-1)는, 사용자의 좌안과 우안에 대응되는 위치에 배치될 수 있다. 예를 들면, 시선 추적 카메라(340-1)는, 제1 림(301) 및/또는 제2 림(302) 내에서, 웨어러블 장치(300)를 착용한 사용자가 위치하는 방향을 향하도록 배치될 수 있다.The gaze tracking camera 340-1 according to one embodiment tracks the gaze of a user wearing the
일 실시예에 따른 동작 인식 카메라(340-2)는, 사용자의 몸통, 손, 또는 얼굴과 같은 사용자의 신체 전체 또는 일부의 움직임을 인식함으로써, 적어도 하나의 디스플레이(350)에 제공되는 화면에 특정 이벤트를 제공할 수 있다. 동작 인식 카메라(340-2)는, 사용자의 동작을 인식(gesture recognition)하여 상기 동작에 대응되는 신호를 획득하고, 상기 신호에 대응되는 표시를 적어도 하나의 디스플레이(350)에 제공할 수 있다. 프로세서는, 상기 동작에 대응되는 신호를 식별하고, 상기 식별에 기반하여, 지정된 기능을 수행할 수 있다. 일 실시예에서, 동작 인식 카메라(340-2)는, 제1 림(301) 및/또는 제2 림(302)상에 배치될 수 있다.The motion recognition camera 340-2 according to one embodiment specifies the screen provided on at least one
일 실시예에 따른 웨어러블 장치(300) 내에 포함된 카메라(340)는, 상술된 시선 추적 카메라(340-1), 동작 인식 카메라(340-2)에 제한되지 않는다. 예를 들어, 웨어러블 장치(300)는 사용자의 FoV를 향하여 배치된 촬영 카메라(340-3)를 이용하여, 상기 FoV 내에 포함된 외부 객체를 식별할 수 있다. 웨어러블 장치(300)가 외부 객체를 식별하는 것은, 깊이 센서, 및/또는 ToF(time of flight) 센서와 같이, 웨어러블 장치(300), 및 외부 객체 사이의 거리를 식별하기 위한 센서에 기반하여 수행될 수 있다. 상기 FoV를 향하여 배치된 상기 카메라(340)는, 오토포커스 기능, 및/또는 OIS(optical image stabilization) 기능을 지원할 수 있다. 예를 들어, 웨어러블 장치(300)는, 웨어러블 장치(300)를 착용한 사용자의 얼굴을 포함하는 이미지를 획득하기 위하여, 상기 얼굴을 향하여 배치된 카메라(340)(예, FT(face tracking) 카메라)를 포함할 수 있다.The camera 340 included in the
비록 도시되지 않았지만, 일 실시예에 따른, 웨어러블 장치(300)는, 카메라(340)를 이용하여 촬영되는 피사체(예, 사용자의 눈, 얼굴, 및/또는 FoV 내 외부 객체)를 향하여 빛을 방사하는 광원(예, LED)을 더 포함할 수 있다. 상기 광원은 적외선 파장의 LED를 포함할 수 있다. 상기 광원은, 프레임, 힌지 유닛들(306, 307) 중 적어도 하나에 배치될 수 있다.Although not shown, according to one embodiment, the
일 실시예에 따르면, 배터리 모듈(370)은, 웨어러블 장치(300)의 전자 부품들에 전력을 공급할 수 있다. 일 실시예에서, 배터리 모듈(370)은, 제1 템플(304) 및/또는 제2 템플(305) 내에 배치될 수 있다. 예를 들면, 배터리 모듈(370)은, 복수의 배터리 모듈(370)들일 수 있다. 복수의 배터리 모듈(370)들은, 각각 제1 템플(304)과 제2 템플(305) 각각에 배치될 수 있다. 일 실시예에서, 배터리 모듈(370)은 제1 템플(304) 및/또는 제2 템플(305)의 단부에 배치될 수 있다. According to one embodiment, the
일 실시예에 따른 안테나 모듈(375)은, 신호 또는 전력을 웨어러블 장치(300)의 외부로 송신하거나, 외부로부터 신호 또는 전력을 수신할 수 있다. 안테나 모듈(375)은, 도 5의 통신 회로(525)와 전기적으로, 및/또는 작동적으로 연결될 수 있다. 일 실시예에서, 안테나 모듈(375)은, 제1 템플(304) 및/또는 제2 템플(305) 내에 배치될 수 있다. 예를 들면, 안테나 모듈(375)은, 제1 템플(304), 및/또는 제2 템플(305)의 일면에 가깝게 배치될 수 있다. The
일 실시예에 따른 스피커들(392-1, 392-2)은, 음향 신호를 웨어러블 장치(300)의 외부로 출력할 수 있다. 음향 출력 모듈은, 스피커로 참조될 수 있다. 일 실시예에서, 스피커들(392-1, 392-2)은, 웨어러블 장치(300)를 착용한 사용자의 귀에 인접하게 배치되기 위하여, 제1 템플(304), 및/또는 제2 템플(305) 내에 배치될 수 있다. 예를 들면, 웨어러블 장치(300)는, 제1 템플(304) 내에 배치됨으로써 사용자의 좌측 귀에 인접하게 배치되는, 제2 스피커((392-2), 및 제2 템플(305) 내에 배치됨으로써 사용자의 우측 귀에 인접하게 배치되는, 제1 스피커(392-1)를 포함할 수 있다.Speakers 392-1 and 392-2 according to one embodiment may output sound signals to the outside of the
일 실시예에 따른 발광 모듈(미도시)은, 적어도 하나의 발광 소자를 포함할 수 있다. 발광 모듈은, 웨어러블 장치(300)의 특정 상태에 관한 정보를 사용자에게 시각적으로 제공하기 위하여, 특정 상태에 대응되는 색상의 빛을 방출하거나, 특정 상태에 대응되는 동작으로 빛을 방출할 수 있다. 예를 들면, 웨어러블 장치(300)가, 충전이 필요한 경우, 적색 광의 빛을 지정된 시점에 반복적으로 방출할 수 있다. 일 실시예에서, 발광 모듈은, 제1 림(301) 및/또는 제2 림(302) 상에 배치될 수 있다.A light emitting module (not shown) according to an embodiment may include at least one light emitting device. In order to visually provide information about the specific state of the
도 3b를 참고하면, 일 실시예에 따른, 웨어러블 장치(300)는 PCB(printed circuit board)(390)을 포함할 수 있다. PCB(390)는, 제1 템플(304), 또는 제2 템플(305) 중 적어도 하나에 포함될 수 있다. PCB(390)는, 적어도 두 개의 서브 PCB들 사이에 배치된 인터포저를 포함할 수 있다. PCB(390) 상에서, 웨어러블 장치(300)에 포함된 하나 이상의 하드웨어들이 배치될 수 있다. 웨어러블 장치(300)는, 상기 하드웨어들을 상호연결하기 위한, FPCB(flexible PCB)를 포함할 수 있다.Referring to FIG. 3B , the
일 실시예에 따른, 웨어러블 장치(300)는, 웨어러블 장치(300)의 자세, 및/또는 웨어러블 장치(300)를 착용한 사용자의 신체 부위(예, 머리)의 자세를 탐지하기 위한 자이로 센서, 중력 센서, 및/또는 가속도 센서 중 적어도 하나를 포함할 수 있다. 중력 센서, 및 가속도 센서 각각은, 서로 수직인 지정된 3차원 축들(예, x축, y축 및 z축)에 기반하여 중력 가속도, 및/또는 가속도를 측정할 수 있다. 자이로 센서는 지정된 3차원 축들(예, x축, y축 및 z축) 각각의 각속도를 측정할 수 있다. 상기 중력 센서, 상기 가속도 센서, 및 상기 자이로 센서 중 적어도 하나가, IMU(inertial measurement unit)로 참조될 수 있다. 일 실시예에 따른, 웨어러블 장치(300)는 IMU에 기반하여 웨어러블 장치(300)의 특정 기능을 실행하거나, 또는 중단하기 위해 수행된 사용자의 모션, 및/또는 제스쳐를 식별할 수 있다.According to one embodiment, the
도 4a 내지 도 4b는, 일 실시예에 따른, 웨어러블 장치(400)의 외관의 일 예를 도시한다. 도 4a 내지 도 4b의 웨어러블 장치(400)는, 도 1 내지 도 2의 제1 단말(120-1)을 포함할 수 있다. 일 실시예에 따른, 웨어러블 장치(400)의 하우징의 제1 면(410)의 외관의 일 예가 도 4a에 도시되고, 상기 제1 면(410)의 반대되는(opposite to) 제2 면(420)의 외관의 일 예가 도 4b에 도시될 수 있다.4A to 4B show an example of the appearance of a
도 4a를 참고하면, 일 실시예에 따른, 웨어러블 장치(400)의 제1 면(410)은, 사용자의 신체 부위(예, 상기 사용자의 얼굴) 상에 부착가능한(attachable) 형태를 가질 수 있다. 비록 도시되지 않았지만, 웨어러블 장치(400)는, 사용자의 신체 부위 상에 고정되기 위한 스트랩, 및/또는 하나 이상의 템플들(예, 도 3a 내지 도 3b의 제1 템플(304), 및/또는 제2 템플(305))을 더 포함할 수 있다. 사용자의 양 눈들 중에서 좌측 눈으로 이미지를 출력하기 위한 제1 디스플레이(350-1), 및 상기 양 눈들 중에서 우측 눈으로 이미지를 출력하기 위한 제2 디스플레이(350-2)가 제1 면(410) 상에 배치될 수 있다. 웨어러블 장치(400)는 제1 면(410) 상에 형성되고, 상기 제1 디스플레이(350-1), 및 상기 제2 디스플레이(350-2)로부터 방사되는 광과 상이한 광(예, 외부 광(ambient light))에 의한 간섭을 방지하기 위한, 고무, 또는 실리콘 패킹(packing)을 더 포함할 수 있다.Referring to FIG. 4A, according to one embodiment, the
일 실시예에 따른, 웨어러블 장치(400)는, 상기 제1 디스플레이(350-1), 및 상기 제2 디스플레이(350-2) 각각에 인접한 사용자의 양 눈들을 촬영, 및/또는 추적하기 위한 카메라들(440-1, 440-2)을 포함할 수 있다. 상기 카메라들(440-1, 440-2)은, ET 카메라로 참조될 수 있다. 일 실시예에 따른, 웨어러블 장치(400)는, 사용자의 얼굴을 촬영, 및/또는 인식하기 위한 카메라들(440-3, 440-4)을 포함할 수 있다. 상기 카메라들(440-3, 440-4)은, FT 카메라로 참조될 수 있다.According to one embodiment, the
도 4b를 참고하면, 도 4a의 제1 면(410)과 반대되는 제2 면(420) 상에, 웨어러블 장치(400)의 외부 환경과 관련된 정보를 획득하기 위한 카메라(예, 카메라들(440-5, 440-6, 440-7, 440-8, 440-9, 440-10)), 및/또는 센서(예, 깊이 센서(430))가 배치될 수 있다. 예를 들어, 카메라들(440-5, 440-6, 440-7, 440-8, 440-9, 440-10)은, 웨어러블 장치(400)와 상이한 외부 객체를 인식하기 위하여, 제2 면(420) 상에 배치될 수 있다. 예를 들어, 카메라들(440-9, 440-10)을 이용하여, 웨어러블 장치(400)는 사용자의 양 눈들 각각으로 송신될 이미지, 및/또는 비디오를 획득할 수 있다. 카메라(440-9)는, 상기 양 눈들 중에서 우측 눈에 대응하는 제2 디스플레이(350-2)를 통해 표시될 이미지를 획득하도록, 웨어러블 장치(400)의 제2 면(420) 상에 배치될 수 있다. 카메라(440-10)는, 상기 양 눈들 중에서 좌측 눈에 대응하는 제1 디스플레이(350-1)를 통해 표시될 이미지를 획득하도록, 웨어러블 장치(400)의제2 면(420) 상에 배치될 수 있다.Referring to FIG. 4B, on the
일 실시예에 따른, 웨어러블 장치(400)는, 웨어러블 장치(400), 및 외부 객체 사이의 거리를 식별하기 위하여 제2 면(420) 상에 배치된 깊이 센서(430)를 포함할 수 있다. 깊이 센서(430)를 이용하여, 웨어러블 장치(400)는, 웨어러블 장치(400)를 착용한 사용자의 FoV의 적어도 일부분에 대한 공간 정보(spatial information)(예, 깊이 맵(depth map))를 획득할 수 있다.According to one embodiment, the
비록 도시되지 않았지만, 웨어러블 장치(400)의 제2 면(420) 상에, 외부 객체로부터 출력된 소리를 획득하기 위한 마이크가 배치될 수 있다. 마이크의 개수는, 실시예에 따라 하나 이상일 수 있다.Although not shown, a microphone for acquiring sound output from an external object may be disposed on the
이하에서는, 도 5를 참고하여, 도 3a 내지 도 3b의 웨어러블 장치(300), 및/또는 도 4a 내지 도 4b의 웨어러블 장치(400)를 포함하는 웨어러블 장치(예, 도 1 내지 도 2의 제1 단말(120-1))에 포함된 하나 이상의 하드웨어들, 및 웨어러블 장치(510)에 의해 실행되는 어플리케이션의 일 예가 설명된다. Hereinafter, with reference to FIG. 5 , a wearable device including the
도 5는, 일 실시예에 따른 웨어러블 장치의 예시적인 블록도이다. 도 5의 웨어러블 장치(510)는, 도 1 내지 도 2의 제1 단말(120-1), 도 3a 내지 도 3b의 웨어러블 장치(300), 및/또는 도 4a 내지 도 4b의 웨어러블 장치(400)를 포함할 수 있다. 예를 들어, 웨어러블 장치(510)는, 사용자의 머리에 착용 가능한(wearable on) HMD(head-mounted display)를 포함할 수 있다.Figure 5 is an example block diagram of a wearable device according to an embodiment. The
도 5를 참고하면, 웨어러블 장치(510), 및 외부 전자 장치(520)는 유선 네트워크 및/또는 무선 네트워크에 기반하여 서로 연결될 수 있다. 상기 유선 네트워크는, 인터넷, LAN(local area network), WAN(wide area network), 이더넷 또는 이들의 조합과 같은 네트워크를 포함할 수 있다. 상기 무선 네트워크는, LTE(long term evolution), 5g NR(new radio), WiFi(wireless fidelity), Zigbee, NFC(near field communication), Bluetooth, BLE(bluetooth low-energy) 또는 이들의 조합과 같은 네트워크를 포함할 수 있다. 비록, 웨어러블 장치(510), 및 외부 전자 장치(520)가 직접적으로 연결된(directly connected) 것으로 도시되었으나, 웨어러블 장치(510), 및 외부 전자 장치(520)는, 네트워크 내 중간 노드(intermediate node)(예, 하나 이상의 라우터 및/또는 AP(access point))를 통해 간접적으로 연결될 수 있다.Referring to FIG. 5 , the
일 실시예에 따른 웨어러블 장치(510)는, 프로세서(530), 메모리(540), 디스플레이(550), 통신 회로(525), 마이크(560) 또는 스피커(570) 중 적어도 하나를 포함할 수 있다. 프로세서(530), 메모리(540), 디스플레이(550), 통신 회로(525), 마이크(560) 및 스피커(570)는 통신 버스(a communication bus)와 같은 전자 부품(electronical component)에 의해 서로 전기적으로 및/또는 작동적으로 연결될 수 있다(electronically and/or operably coupled with each other). 이하에서, 하드웨어들이 작동적으로 결합된 것은, 하드웨어들 중 제1 하드웨어에 의해 제2 하드웨어가 제어되도록, 하드웨어들 사이의 직접적인 연결, 또는 간접적인 연결이 유선으로, 또는 무선으로 수립된 것을 의미할 수 있다. 상이한 블록들에 기반하여 도시되었으나, 실시예가 이에 제한되는 것은 아니며, 도 5의 하드웨어들 중 일부분(예, 프로세서(530), 메모리(540), 및 통신 회로(525)의 적어도 일부분)이 SoC(system on a chip)와 같이 단일 집적 회로(single integrated circuit)에 포함될 수 있다. 웨어러블 장치(510) 내에 포함된 하드웨어의 타입 및/또는 개수는 도 5에 도시된 바에 제한되지 않는다. 예를 들어, 웨어러블 장치(510)는 도 5에 도시된 하드웨어 컴포넌트 중 일부만 포함할 수 있다.The
일 실시예에 따른 웨어러블 장치(510)의 프로세서(530)는, 하나 이상의 인스트럭션들에 기반하여 데이터를 처리하기 위한 하드웨어를 포함할 수 있다. 데이터를 처리하기 위한 상기 하드웨어는, 예를 들어, ALU(arithmetic and logic unit), FPU(floating point unit), FPGA(field programmable gate array), CPU(central processing unit), 및/또는 AP(application processor)를 포함할 수 있다. 프로세서(530)는, 싱글-코어 프로세서의 구조를 가지거나, 또는 듀얼 코어(dual core), 쿼드 코어(quad core), 헥사 코어(hexa core)와 같은 멀티-코어 프로세서의 구조를 가질 수 있다.The processor 530 of the
일 실시예에 따른 웨어러블 장치(510)의 메모리(540)는, 웨어러블 장치(510)의 프로세서(530)에 입력 및/또는 출력되는 데이터 및/또는 인스트럭션을 저장하기 위한 하드웨어 컴포넌트를 포함할 수 있다. 메모리(540)는, 예를 들어, RAM(random-access memory)와 같은 휘발성 메모리(volatile memory) 및/또는 ROM(read-only memory)와 같은 비휘발성 메모리(non-volatile memory)를 포함할 수 있다. 휘발성 메모리는, 예를 들어, DRAM(dynamic RAM), SRAM(static RAM), Cache RAM, PSRAM (pseudo SRAM) 중 적어도 하나를 포함할 수 있다. 비휘발성 메모리는, 예를 들어, PROM(programmable ROM), EPROM (erasable PROM), EEPROM (electrically erasable PROM), 플래시 메모리, 하드디스크, 컴팩트 디스크, SSD(solid state drive), eMMC(embedded multi media card) 중 적어도 하나를 포함할 수 있다.The memory 540 of the
예를 들어, 웨어러블 장치(510)의 메모리(540) 내에서, 웨어러블 장치(510)의 프로세서(530)가 데이터에 수행할 연산, 및/또는 동작을 나타내는 하나 이상의 인스트럭션들(또는 명령어들)이 저장될 수 있다. 하나 이상의 인스트럭션들의 집합은, 펌웨어, 운영 체제, 프로세스, 루틴, 서브-루틴 및/또는 어플리케이션으로 참조될 수 있다. 외부 전자 장치(520)의 메모리(540-1) 내에서, 외부 전자 장치(520)의 프로세서(530-1)가 데이터에 수행할 연산, 및/또는 동작을 나타내는 하나 이상의 인스트럭션들이 저장될 수 있다. 도 5를 참고하면, 웨어러블 장치(510)의 프로세서(530)는 메모리(540) 내 하나 이상의 어플리케이션을 실행하여, 도 9, 도 10, 또는, 도 12의 동작들 중 적어도 하나를 수행할 수 있다. 이하에서, 어플리케이션이 전자 장치(예, 웨어러블 장치(510), 및/또는 외부 전자 장치(520)) 내에 설치되었다는 것은, 어플리케이션의 형태로 제공된 하나 이상의 인스트럭션들이 상기 전자 장치의 메모리 내에 저장된 것으로써, 상기 하나 이상의 어플리케이션들이 전자 장치의 프로세서에 의해 실행 가능한(executable) 포맷(예, 전자 장치의 운영 체제에 의해 지정된 확장자를 가지는 파일)으로 저장된 것을 의미할 수 있다. For example, within the memory 540 of the
도 5를 참고하면, 메모리(540) 내에 저장된 적어도 하나의 어플리케이션에 포함된 하나 이상의 인스트럭션들은, 콘텐트 식별기(identifier)(541), 프로파일 식별기(543), 생성기(generator)(545), 및/또는 인터렉션 식별기(547)로 구분될 수 있다. 예를 들어, 적어도 하나의 어플리케이션이 실행된 상태는, 프로세서(530)가 가상 공간으로 진입함을 나타내는 입력을 식별한 상태에 참조될 수 있다. 적어도 하나의 어플리케이션은 메타버스 서비스를 제공하기 위한 어플리케이션의 일 예일 수 있다. 상기 가상 공간은, 전시회(exhibition), 박물관(museum), 미술관(art gallery)과 같은, 멀티미디어 콘텐트들을 전시하기 위한(for displaying) 공간을 의미할 수 있다. 다만, 상술한 실시예에 제한되는 것은 아니다. Referring to FIG. 5, one or more instructions included in at least one application stored in the memory 540 include a content identifier 541, a profile identifier 543, a generator 545, and/or It can be distinguished by an interaction identifier 547. For example, a state in which at least one application is executed may be referred to a state in which the processor 530 identifies an input indicating entry into a virtual space. At least one application may be an example of an application for providing a metaverse service. The virtual space may refer to a space for displaying multimedia contents, such as an exhibition, museum, or art gallery. However, it is not limited to the above-described embodiment.
예를 들어, 콘텐트 식별기(541)는, 외부 전자 장치(520)로부터, 콘텐트 정보(521)를 수신하는 것에 응답하여, 가상 공간 내에 포함된 복수의 콘텐트들 각각의 속성(property), 데이터 용량, 콘텐트 생성자(constructor)(예, 콘텐트를 생성한 사용자)를 식별하는 것에 이용될 수 있다. 웨어러블 장치(510)는, 콘텐트 식별기(541)를 실행한 상태 내에서, 콘텐트 내에 포함된, 비정형(unstructured) 정보(예, 이미지, 오디오, 및/또는 영상 정보)를 임베딩(embedding)하는 것에 기반하여, 콘텐트의 속성을 획득할 수 있다. 콘텐트의 속성은, 콘텐트들을 구분하기 위한 정보를 의미할 수 있다. 일 예로, 콘텐트의 속성은, 회화, 팝아트, 인상주의, 또는 미디어 아트와 같은, 콘텐트의 장르에 따라 구분될 수 있다. 하지만, 실시예가 이에 제한되는 것은 아니다. 일 예로, 음악과 관련된 콘텐트의 경우, 콘텐트의 속성은, 재즈, 가요, 락, 힙합, 댄스, 발라드, 또는 클래식과 같은 장르에 따라 구분될 수 있다. 예를 들어, 웨어러블 장치(510)는, 콘텐트들 각각의 콘텐트의 속성을 식별하는 것에 기반하여, 콘텐트들 각각의 순서를 식별할 수 있다. 예를 들어, 웨어러블 장치(510)는, 유사한 속성에 기반한 콘텐트들을 식별할 수 있다. 웨어러블 장치(510)는, 상기 식별한 유사한 속성에 기반한 콘텐트들을 그룹핑할 수 있다. 웨어러블 장치(510)는, 상기 그룹핑된 상기 콘텐트들에 대응하는 시각적 객체를 생성할 수 있다. For example, in response to receiving
예를 들어, 프로파일 식별기(543)는, 외부 전자 장치(520)의 사용자 프로파일 정보(523)를 통신 회로(525)를 통해 수신하거나, 또는, 메모리(540) 내에 저장된 사용자 프로파일 정보(미도시)를 이용하여, 콘텐트 속성들 각각에 대한 우선 순위를 나타내는 사용자 선호도(preference)의 식별에 이용될 수 있다. 예를 들어, 웨어러블 장치(510)는, 프로파일 식별기(543)를 실행한 상태 내에서, 상기 사용자 선호도에 기반하여, 가상 공간 내에 포함된 콘텐트들의 순서를 획득할 수 있다. 웨어러블 장치(510)는, 상기 순서에 기반하여, 사용자의 FoV 내에, 콘텐트들을 출력할 수 있다. 웨어러블 장치(510)가 상기 순서에 기반하여 콘텐트들을 출력하는 동작은 도 6에서 후술한다. For example, the profile identifier 543 receives
예를 들어, 생성기(545)는, 가상 공간 내에 포함된 콘텐트들 각각에 대응하는 시각적 객체의 생성에 이용될 수 있다. 웨어러블 장치(510)는, 생성기(545)를 실행한 상태 내에서, 콘텐트 식별기(541), 및/또는 프로파일 식별기(543)를 이용하여 획득한 속성 및 속성들 각각에 대한 우선 순위를 이용하여, 콘텐트에 대응하는 시각적 객체를 생성할 수 있다. 웨어러블 장치(510)는, 상기 우선 순위에 기반하여, 사용자의 FoV내에서, 시각적 객체가 배치될 위치를 식별할 수 있다. 예를 들어, 웨어러블 장치(510)는, 생성기(545)를 이용하여, 가상 공간의 타입(type)에 기반하여, 시각적 객체를 생성할 수 있다. 웨어러블 장치(510)가, 가상 공간의 타입에 기반하여, 시각적 객체를 생성하는 동작은, 도 11에서 후술한다. For example, the generator 545 may be used to generate visual objects corresponding to each of the contents included in the virtual space. The
예를 들어, 인터렉션 식별기(547)는, 웨어러블 장치(510)의 사용자와 상호 작용을 식별하는 것에 기반하여, FoV 내에 배치된 콘텐트(또는, 시각적 객체)의 위치, 크기, 및/또는 표시 여부를 제어하는 것에 이용될 수 있다. 웨어러블 장치(510)는, 인터렉션 식별기(547)가 실행된 상태 내에서, 마이크(560)를 이용하여, 사용자의 발화 행위(speech act)를 식별함으로써, 콘텐트들의 적어도 일부를 제어할 수 있다. 웨어러블 장치(510)가 사용자와의 상호 작용을 식별하는 동작은 도 8에서 후술한다. For example, interaction identifier 547 may determine the location, size, and/or visibility of content (or visual objects) placed within the FoV based on identifying an interaction with a user of
예를 들어, 웨어러블 장치(510)는, FoV 내에 표시된 콘텐트의 위치, 속성, 및/또는 크기 정보 중 적어도 하나의 정보를 메모리 내에 저장할 수 있다. 웨어러블 장치(510)는, 사용자와의 상호 작용을 식별하는 것에 기반하여, 상기 저장된 적어도 하나의 정보를 업데이트할 수 있다. 웨어러블 장치(510)는, 업데이트를 함으로써, 상기 저장된 적어도 하나의 정보 중 적어도 일부를, 변경할 수 있다. 일 예로, 상기 콘텐트의 위치가 변경될 수 있다. For example, the
일 실시예에 따른 웨어러블 장치(510)의 디스플레이(550)는 사용자에게 시각화된 정보를 출력할 수 있다. 예를 들어, 디스플레이(550)는, GPU(graphic processing unit)와 같은 회로를 포함하는 프로세서(530)에 의해 제어되어, 사용자에게 시각화된 정보(visualized information)를 출력할 수 있다. 디스플레이(550)는 FPD(flat panel display) 및/또는 전자 종이(electronic paper)를 포함할 수 있다. 상기 FPD는 LCD(liquid crystal display), PDP(plasma display panel) 및/또는 하나 이상의 LED(light emitting diode)를 포함할 수 있다. 상기 LED는 OLED(organic LED)를 포함할 수 있다. 도 5의 디스플레이(550)는, 도 3a 내지 도 3b, 및/또는 도 4a 내지 도 4b의 적어도 하나의 디스플레이(350)를 포함할 수 있다. The display 550 of the
일 실시예에 따른 웨어러블 장치(510)의 통신 회로(525)는, 웨어러블 장치(510), 및 외부 전자 장치(520) 사이의 전기 신호의 송신 및/또는 수신을 지원하기 위한 하드웨어 부품을 포함할 수 있다. 통신 회로(525)를 통해 웨어러블 장치(510)와 연결된 전자 장치로, 외부 전자 장치(520) 만이 도시되었으나, 실시예가 이에 제한되는 것은 아니다. 통신 회로(525)는, 예를 들어, 모뎀(MODEM), 안테나, O/E(optic/electronic) 변환기 중 적어도 하나를 포함할 수 있다. 통신 회로(525)는, 이더넷(ethernet), LAN(local area network), WAN(wide area network), WiFi(wireless fidelity), Bluetooth, BLE(bluetooth low energy), ZigBee, LTE(long term evolution), 5G NR(new radio)와 같은 다양한 타입의 프로토콜에 기반하여 전기 신호의 송신 및/또는 수신을 지원할 수 있다. The communication circuit 525 of the
일 실시예에 따른 웨어러블 장치(510)의 마이크(560)는, 소리 신호(sound signal)(예, 사용자의 음성(voice))를 수신할 수 있다. 예를 들어, 웨어러블 장치(510)는, 하나 이상의 마이크를 포함할 수 있다. 웨어러블 장치(510)는 마이크(560)를, 웨어러블 장치(510)의 하우징의 일 부분에 배치할 수 있다. 마이크(560)는, 스피커(570)에 인접하여 배치되는 측면에서, 피드백 마이크로 지칭될 수 있다. 마이크(560)는 웨어러블 장치(510)의 센서(미도시)가 포함된, 하우징의 일 부분에 배치될 수 있다. 마이크(560)는, 웨어러블 장치(510)의 외부를 향해 배치되는 측면에서, 피드포워드 마이크로 지칭될 수 있다. 다만, 이에 제한되지 않는다. 웨어러블 장치(510)가 마이크(560)를 이용하여, 사용자와 상호 작용을 식별하는 동작은 도 8에서 후술한다. The microphone 560 of the
일 실시예에 따른 스피커(570)는 오디오 신호를 출력할 수 있다. 예를 들어, 웨어러블 장치(510)는 외부 장치(예, 외부 전자 장치(520), 서버, 스마트폰, PC, PDA 또는 액세스 포인트)로부터, 오디오 데이터를, 수신할 수 있다. 웨어러블 장치(510)는, 스피커(570)를 이용하여, 상기 수신된 오디오 데이터를, 출력할 수 있다. 예를 들어, 스피커(570)는 전기적 신호를 수신할 수 있다. 스피커(570)는 전기적 신호를 음파 신호로 변환할 수 있다. 스피커(570)는 변환된 음파 신호를 포함하는 오디오 신호를 출력할 수 있다. The speaker 570 according to one embodiment may output an audio signal. For example, the
도 5의 일 실시예에서, 외부 전자 장치(520)는, 프로세서(530-1), 메모리(540-1), 또는 통신 회로(525) 중 적어도 하나를 포함할 수 있다. 예를 들어, 외부 전자 장치(520)는 메타버스 서비스를 제공하기 위한 서버(예, 도 1의 서버(110)에 참조될 수 있다. 예를 들어, 콘텐트 정보(521), 및, 사용자 프로파일 정보(523)는, 외부 전자 장치(520)의 메모리(540-1) 내에 저장되고, 외부 전자 장치(520)의 프로세서(530-1)에 의해 이용될 수 있다. 이하에서, 반복을 줄이기 위하여, 외부 전자 장치(520) 내에 프로세서(530-1), 메모리(540-1), 통신 회로(525)의 설명은, 웨어러블 장치(510)의 프로세서(530), 메모리(540), 및 통신 회로(525)와 중복되는 범위 내에서 생략될 수 있다. 예를 들어, 외부 전자 장치(520)의 콘텐트 식별기(542), 및 프로파일 식별기(544)는, 각각, 웨어러블 장치(510)의 콘텐트 식별기(541), 및 프로파일 식별기(543)에 참조될 수 있다. In one embodiment of FIG. 5 , the external
도 5를 참고하면, 메모리(540-1) 내에 저장된 적어도 하나의 어플리케이션에 포함된 하나 이상의 인스트럭션들은, 콘텐트 식별기(identifier)(542), 프로파일 식별기(544)로 구분될 수 있다. 예를 들어, 적어도 하나의 어플리케이션이 실행된 상태는, 프로세서(530-1)가 웨어러블 장치(510)로부터, 가상 공간으로 진입함을 나타내는 입력을 나타내는 신호를 수신한 상태에 참조될 수 있다. 다만, 상술한 실시예에 제한되는 것은 아니다. Referring to FIG. 5 , one or more instructions included in at least one application stored in the memory 540-1 may be divided into a
일 실시예에 따른 콘텐트 정보(521)는 가상 공간 내에 포함된 복수의 멀티미디어 콘텐트들의 정보를 의미할 수 있다. 복수의 멀티미디어 콘텐트들은, 가상 공간 내에서 웨어러블 장치(510)를 착용한 사용자가 접근 가능한 콘텐트들의 일 예일 수 있다. 콘텐트 정보(521)는, 속성을 나타내는 정형 정보, 또는, 이미지 정보, 오디오 정보, 및/또는 텍스트 정보로 구성된 비정형 정보로 구분될 수 있다. 외부 전자 장치(520)는, 가상 공간에 진입한 웨어러블 장치(510)로, 통신 회로(525)를 이용하여, 콘텐트 정보(521)를 송신할 수 있다.
일 실시예에 따른 사용자 프로파일 정보(523)는, 가상 공간 내에 진입한 웨어러블 장치(510)의 사용자의 프로파일 정보를 포함할 수 있다. 예를 들어, 사용자 프로파일 정보는, 상기 사용자의 식별 정보(예, 이름, 나이, 또는, 성별), 또는, 복수의 멀티미디어 콘텐트들 각각을 열람한 횟수를 나타내는 정보 중 적어도 하나를 포함할 수 있다. 예를 들어, 웨어러블 장치(510)의 프로세서(530)는, 사용자 프로파일 정보(523)를 이용하여, 멀티미디어 콘텐트들(또는, 멀티미디어 콘텐트들의 속성들)의 우선 순위를 획득할 수 있다. 예를 들어, 사용자는, 사용자의 선호도에 기반하여, 멀티미디어 콘텐트들(또는, 멀티미디어 콘텐트들의 속성들) 각각에 대응하는 우선 순위를 설정(set)할 수 있다. 외부 전자 장치(520)는, 설정된 상기 우선 순위를 나타내는 정보를, 사용자 프로파일 정보(523)로 저장할 수 있다. 외부 전자 장치(520)는, 가상 공간 내에 진입한 웨어러블 장치(510)를 식별한 상태 내에서, 통신 회로(525)를 이용하여, 웨어러블 장치(510)로 사용자 프로파일 정보(523)를 송신할 수 있다.
일 실시예에 따른 외부 전자 장치(520)의 프로세서(530-1)는, 가상 공간 내에 진입한 웨어러블 장치(510)를 식별한 상태 내에서, 콘텐트 정보(521)를 이용하여, 콘텐트 식별기(542)의 실행에 기반하여, 가상 공간 내에 포함된 멀티미디어 콘텐트들을 식별할 수 있다. 예를 들어, 외부 전자 장치(520)의 프로세서(530-1)는, 사용자 프로파일 정보(523)를 이용하여, 프로파일 식별기(544)의 실행에 기반하여, 사용자의 선호도에 기반하여, 상기 멀티미디어 콘텐트들 각각에 대응하는 우선 순위를 식별할 수 있다. 외부 전자 장치(520)는, 식별된 멀티미디어 콘텐트들을 나타내는 제1 정보를 웨어러블 장치(510)로 송신할 수 있다. 외부 전자 장치(520)의 프로세서(530-1)는, 상기 식별한 우선 순위를 나타내는 제2 정보를, 웨어러블 장치(510)로 송신할 수 있다. 웨어러블 장치(510)는 외부 전자 장치(520)로부터, 상기 제1 정보, 및/또는 상기 제2 정보를 수신한 것에 기반하여, 생성기(545)를 이용하여, 상기 멀티미디어 콘텐트들 각각에 대응하는 시각적 객체를 생성할 수 있다. 다만, 이에 제한되는 것은 아니다. The processor 530-1 of the external
상술한 바와 같이, 일 실시예에 따른 웨어러블 장치(510)는, 가상 공간 내에 진입함으로써, 외부 전자 장치(520)로부터 수신한 콘텐트 정보(521)를 이용하여, 가상 공간 내에 포함된 멀티미디어 콘텐트들을 식별할 수 있다. 웨어러블 장치(510)는, 사용자 프로파일 정보(523)를 이용하여, 사용자의 선호도에 기반하는 멀티미디어 콘텐트들의 순서를 획득할 수 있다. 웨어러블 장치(510)는 획득된 상기 순서에 기반하여, 사용자의 FoV내에, 멀티미디어 콘텐트들 중 적어도 하나의 멀티미디어 콘텐트를 표현하는(representing) 시각적 객체를, 표시할 수 있다. 웨어러블 장치(510)는, 상기 순서에 기반하여 선택된 적어도 하나의 멀티미디어 콘텐트(또는 시각적 객체)를, FoV내에 표시함으로써, 가상 공간의 적어도 일부분을 처리하기 위한 데이터를 효율적으로 제어할 수 있다. As described above, the
도 6은, 일 실시예에 따른 가상 공간 내에 진입한 웨어러블 장치를 나타내는 예시적인 상태를 도시한다. 일 실시예에 따른, 웨어러블 장치(510)는, 사용자에 의해 착용된 상태 내에서, 사용자의 전방을 향하여 배치된 카메라(예, 도 3b의 촬영 카메라(340-3), 및/또는 도 4b의 카메라들(440-9, 440-10))를 포함할 수 있다. 사용자의 전방은, 사용자(610)의 머리, 및/또는 상기 머리에 포함된 두 눈들이 향하는 방향을 포함할 수 있다. 웨어러블 장치(510)를 착용한 사용자(610)에게 AR, VR, 및/또는 MR에 기반하는 UI를 제공하기 위하여, 웨어러블 장치(510)는 상기 카메라를 제어할 수 있다. 상기 UI는, 웨어러블 장치(510), 및/또는 웨어러블 장치(510)에 연결된 외부 전자 장치(예, 도 5의 외부 전자 장치(520))에 의해 제공되는 메타버스 서비스와 관련될 수 있다. 도 6을 참고하면, 메타버스 서비스에서 제공하는 가상 공간을 나타내는 상태(600)가 도시된다. Figure 6 shows an example state representing a wearable device entering a virtual space according to an embodiment. According to one embodiment, the
도 6을 참고하면, 일 실시예에 따른 웨어러블 장치(510)는, 가상 공간으로 진입함을 나타내는 입력을 식별할 수 있다. 웨어러블 장치(510)는, 상기 입력을 식별한 것에 기반하여, 상기 가상 공간을 제공하는 외부 전자 장치(예, 도 5의 외부 전자 장치(520))로부터, 콘텐트 정보(예, 도 5의 콘텐트 정보(521)), 및/또는 사용자 프로파일 정보(예, 도 5의 사용자 프로파일 정보(523))를 통신 회로(예, 도 5의 통신 회로(525))를 이용하여, 수신할 수 있다. Referring to FIG. 6, the
예를 들어, 웨어러블 장치(510)는, 콘텐트 정보로부터, 가상 공간 내에 포함된 복수의 멀티미디어 콘텐트들(620, 630)을 식별할 수 있다. 복수의 멀티미디어 콘텐트들(620, 630)은, 각각 상이한 속성들에 대응할 수 있다. 웨어러블 장치(510)는, 사용자 프로파일 정보를 이용하여, 상기 속성들 각각에 대응하는 우선 순위를 획득할 수 있다. 웨어러블 장치(510)는, 상기 우선 순위에 기반하여, 상기 복수의 멀티미디어 콘텐트들의 출력을 위한 순서를 획득할 수 있다. 웨어러블 장치(510)가 사용자(610)의 FoV(605) 내에, 상기 복수의 멀티미디어 콘텐트들을 출력(또는, 표시)하는 동작은 도 7a에서 후술한다. For example, the
일 실시예에 따른 웨어러블 장치(510)가 진입한 가상 공간은 하나 이상의 부분들(640, 650)로 구성될 수 있다. 부분들(640, 650) 각각에, 하나 이상의 멀티미디어 콘텐트들이 배치될 수 있다. 예를 들어, 멀티미디어 콘텐트들(620)은, 부분(640) 내에 배치될 수 있다. 멀티미디어 콘텐트들(630)은, 부분(650) 내에 배치될 수 있다. 예를 들어, 가상 공간의 부분들(640, 650) 중 적어도 일부는, 사용자(610)가, 웨어러블 장치(510)를 착용한 상태 내에서, 사용자(610)의 FoV(605)를 통해, 보여질 수 있다. 예를 들어, 웨어러블 장치(510)는, 상기 부분들(640, 650) 중 적어도 일부를 표현하는 화면을 사용자(610)의 FoV(605) 내에, 표시할 수 있다. 상기 화면은, 멀티미디어 콘텐트들(620), 및/또는 멀티미디어 콘텐트들(630)을 포함할 수 있다. The virtual space entered by the
부분(640) 및 부분(650)은, 적어도 하나의 시각적 객체(예, 문, 또는 벽을 표현하는 시각적 객체)에 의해 구분될 수 있다. 일 예로, 가상 공간은, 사용자(610)의 FoV(605) 내에 표시되는 가상 공간의 부분(640)과, 상이한 부분(650)으로 구분될 수 있다. 다만, 상술한 실시예에 제한되지 않는다. 부분들(640, 650) 각각에 하나 이상의 멀티미디어 콘텐트들이 배치된 위치는, 외부 전자 장치(예, 도 5의 외부 전자 장치(520))에 의해 설정(set)된 위치일 수 있다. 상기 외부 전자 장치에 의해 설정된 위치에 기반한 가상 공간은, 오리지널 공간(original space)으로 참조될 수 있다.
일 실시예에 따른 외부 전자 장치(예, 도 5의 외부 전자 장치(520))는, 웨어러블 장치(510)가 가상 공간 내에 진입한 상태 내에서, 가상 공간 내에 포함된 멀티미디어 콘텐트들(620, 630)을, 도 5의 콘텐트 식별기(542)의 실행에 기반하여, 콘텐트 정보(예, 도 5의 콘텐트 정보(521))를 이용하여, 식별할 수 있다. 외부 전자 장치(예, 도 5의 외부 전자 장치(520))는, 가상 공간 내에 진입한 웨어러블 장치(510)에 로그인된 사용자(610)를 식별할 수 있다. 상기 외부 전자 장치는, 사용자(610)에 대응하는 도 5의 사용자 프로파일 정보(523)를 이용하여, 프로파일 식별기(예, 도 5의 프로파일 식별기(544))의 실행에 기반하여, 멀티미디어 콘텐트들(620, 630) 각각에 대한 사용자 선호도를 식별할 수 있다. 외부 전자 장치는 상기 식별한 사용자 선호도에 기반하여, 멀티미디어 콘텐트들(620, 630)의 속성의 우선 순위를 식별할 수 있다. 상기 식별한 우선 순위 및 상기 멀티미디어 콘텐트들(620, 630)에 대한 정보를 웨어러블 장치(510)로 송신할 수 있다. An external electronic device (e.g., the external
일 실시예에 따른 웨어러블 장치(510)는, 가상 공간에 진입한 상태 내에서, 외부 전자 장치(예, 도 5의 외부 전자 장치(520))와 통신 링크를 수립할 수 있다, 웨어러블 장치(510)는, 통신 링크를 수립한 상태 내에서, 외부 전자 장치(예, 도 5의 외부 전자 장치(520))로부터, 적어도 하나의 정보를 수신할 수 있다. 웨어러블 장치(510)는, 상기 정보를 수신한 것에 기반하여, 멀티미디어 콘텐트들(620, 630) 각각에 대응하는 시각적 객체를, 도 5의 생성기(545)의 실행에 기반하여, 획득할 수 있다. The
이하, 도 7a 내지 도 7b에서, 웨어러블 장치(510)가 사용자 프로파일 정보에 기반하여, 멀티미디어 콘텐트들을 표현하는 시각적 객체를 표시하는 동작이 후술된다. Hereinafter, in FIGS. 7A and 7B, an operation of the
도 7a 내지 도 7b는, 일 실시예에 따른 웨어러블 장치가 가상 공간 내에 포함된 외부 객체들에 대응하는 시각적 객체의 획득을 나타내는 예시적인 상태를 도시한다. 도 7a 내지 도 7b의 웨어러블 장치(510)는, 도 5 내지 도 6의 웨어러블 장치(510)의 일 예일 수 있다. 도 7a를 참고하면, 웨어러블 장치(510)가, 가상 공간 내에 포함된 멀티미디어 콘텐트들에 대응하는 시각적 객체를 디스플레이를 이용하여, 표시하는 상태(700)가 도시된다. FIGS. 7A and 7B illustrate example states in which a wearable device acquires visual objects corresponding to external objects included in a virtual space, according to an embodiment. The
도 7a를 참고하면, 상태(700)에서, 일 실시예에 따른 웨어러블 장치(510)는, 콘텐트 식별기(예, 도 5의 콘텐트 식별기(541))가 실행된 상태에서, 외부 전자 장치(예, 도 5의 외부 전자 장치(520))로부터 수신한 콘텐트 정보(예, 도 5의 콘텐트 정보(521))를 이용하여, 가상 공간 내에 포함된 멀티미디어 콘텐트들(620, 630)의 속성을 식별할 수 있다. 예를 들어, 웨어러블 장치(510)는, 멀티미디어 콘텐트들(620, 630) 내에, 속성을 나타내는 정형 정보를 포함하는 경우, 정형 정보를 이용하여, 속성을 획득할 수 있다. 웨어러블 장치(510)는, 멀티미디어 콘텐트들(620, 630) 내에, 영상 정보, 이미지 정보, 및/또는 오디오 정보와 같은 비정형 정보를 포함하는 경우, 상기 영상 정보, 이미지 정보, 및/또는 오디오 정보를 각각 임베딩함으로써, 하나 이상의 속성을 획득할 수 있다. 예를 들어, 웨어러블 장치(510)는, 상기 영상 정보, 이미지 정보, 및/또는 오디오 정보 각각을 나타내는 파라미터를, 적어도 하나의 함수(예, concatenation 함수)를 이용하여 병합함으로써, 하나 이상의 속성들을 획득할 수 있다. 다만, 이에 제한되지 않는다. Referring to FIG. 7A, in
일 실시예에 따른 웨어러블 장치(510)는, 프로파일 식별기(예, 도 5의 프로파일 식별기(543))가 실행된 상태 내에서, 사용자 프로파일 정보를 이용하여, 멀티미디어 콘텐트들(620, 630) 각각에 대응하는, 하나 이상의 속성들에 기반하여, 멀티미디어 콘텐트들(620, 630)의 출력을 위한 순서를 획득할 수 있다. 예를 들어, 웨어러블 장치(510)는, 사용자 프로파일 정보를 이용하여, 하나 이상의 속성들 각각에 대응하는 우선 순위를 획득할 수 있다. 웨어러블 장치(510)는, 상기 우선 순위에 기반하여, 상기 출력을 위한 순서를 획득할 수 있다. The
예를 들어, 멀티미디어 콘텐트들(620)은, 실질적으로 유사한 제1 속성(예, 팝 아트)에 기반한 콘텐트들일 수 있다. 웨어러블 장치(510)는, 제1 속성에 기반하여, 멀티미디어 콘텐트들(620) 중, 출력을 위한 순서가 가장 높은 멀티미디어 콘텐트를 선택할 수 있다. 웨어러블 장치(510)는, 생성기(예, 도 5의 생성기(545))를 이용하여, 식별된 상기 멀티미디어 콘텐트를 표현하는(representing) 시각적 객체(720)를 생성할 수 있다. 일 예로, 시각적 객체(720)는, 제1 속성을 대표하는(representing) 시각적 객체에 기반하여, 생성될 수 있다. 웨어러블 장치(510)는, 하나 이상의 속성들 각각에 대응하는 우선 순위, 및/또는 상기 멀티미디어 콘텐트들의 출력을 위한 순서 중 적어도 하나에 기반하여, 사용자(610)의 FoV(605)내에, 시각적 객체(720)가 배치될 위치를 결정할 수 있다. 상기 결정된 위치에 기반하여, 디스플레이를 이용하여, 웨어러블 장치(510)는, 시각적 객체(720)를 표시할 수 있다. 일 예로, 시각적 객체(720)를 표시하기 위해, 웨어러블 장치는, 랜더러(renderer)(미도시)를 이용할 수 있다. 예를 들어, 웨어러블 장치(510)는, 상기 위치에 시각적 객체(720)를 표시하는 동안, 멀티미디어 콘텐트들(620)의 표시를 일시적으로 삼가할 수 있다. 다만, 이에 제한되지 않는다. For example, the
예를 들어, 멀티미디어 콘텐트들(630)은, 실질적으로 유사한 제2 속성(예, 미디어 아트)에 기반한 콘텐트들일 수 있다. 웨어러블 장치(510)는, 제2 속성에 기반하여, 멀티미디어 콘텐트들(630) 중 출력을 위한 순서가 가장 높은 멀티미디어 콘텐트를 선택할 수 있다. 웨어러블 장치(510)는, 식별된 상기 멀티미디어 콘텐트를 표현하는 시각적 객체(730)를 생성할 수 있다. 일 예로, 시각적 객체(730)는, 멀티미디어 콘텐트들(630)에 관한 설명(description)을 나타내는(indicating) 프리뷰 시각적 객체(preview visual object)를 의미할 수 있다. 웨어러블 장치(510)는, 시각적 객체(730)를 FoV(605)내에 표시하는 동안, 시각적 객체(730)에 대응하는 멀티미디어 콘텐트들(630)이 배치된 위치(예, 부분(650) 내에 배치된 위치)를 나타내는 시각적 객체(735)를, 부분(640) 내에, 표시(또는, 배치)할 수 있다. 일 예로, 웨어러블 장치(510)는, 시각적 객체(735)를 표시하는 것과 독립적으로, 스피커(예, 도 5의 스피커(570))를 이용하여, 멀티미디어 콘텐트들(630)이 배치된 위치를 나타내는 오디오 신호를, 사용자(610)에게 제공할 수 있다. For example, the
예를 들어, 시각적 객체들(720, 730)이 FoV(605) 내에 배치된 위치는, 사용자의 프로파일 정보 내에 포함된 속성들 각각의 우선 순위, 및/또는 멀티미디어 콘텐트들(620, 630) 각각의 출력을 위한 순서에 기반하여, 결정될 수 있다. 예를 들어, 웨어러블 장치(510)는, 사용자 프로파일 정보를 이용하여, 제2 속성(예, 미디어 아트)의 우선 순위가, 제1 속성(예, 팝 아트)의 우선 순위보다, 상대적으로 높음을 식별할 수 있다. 웨어러블 장치(510)는, 상기 속성들 각각의 우선 순위에 기반하여, FoV(605)내에, 시각적 객체들(720, 730)이 배치될 위치를 결정할 수 있다. 일 예로, 시각적 객체(730)의 위치는 시각적 객체(720)의 위치보다, 상대적으로, 사용자(610)에게 근접하게 배치될 수 있다. 다만, 이에 제한되지 않는다. 예를 들어, 웨어러블 장치(510)는, 가상 공간 내에, 사용자(610)를 표현하는 아바타의 위치에 기반하여, 상기 다른 시각적 객체들의 위치를 식별할 수 있다. 웨어러블 장치(510)가, 상기 아바타의 위치에 기반하여, 다른 시각적 객체들의 위치를 식별하는 동작은 도 7b에서 후술한다.For example, the location where the
예를 들어, 웨어러블 장치(510)는, 상기 위치들, 및/또는 멀티미디어 콘텐트들의 정보를 메모리(예, 도 5의 메모리(540)) 내에 저장할 수 있다. 웨어러블 장치(510)는, 사용자(610)와 상호 작용을 식별하는 것에 기반하여, 저장된 상기 정보, 및/또는 위치들을 업데이트할 수 있다. 웨어러블 장치(510)가 상기 상호 작용을 식별하는 것에 기반하여, 업데이트 하는 동작은 도 8에서 후술한다. For example, the
일 실시예에 따른 웨어러블 장치(510)는, 사용자(610)가 가상 공간의 부분(640)으로부터, 다른 부분(650)으로 이동함을 식별할 수 있다. 예를 들어, 부분(650)은, 시각적 객체(735)에 대응하는 멀티미디어 콘텐트들(630)이 배치된 위치를 포함할 수 있다. 웨어러블 장치(510)는 부분(650)으로 이동함을 식별한 것에 기반하여, FoV(605) 내에, 시각적 객체들(720, 730)과 상이한, 다른 시각적 객체들을 포함하는, 부분(650)을, 표시할 수 있다. 예를 들어, 웨어러블 장치(510)는, 부분(650)으로 이동함을 식별한 것에 기반하여, 외부 전자 장치(예, 도 5의 외부 전자 장치(520)로부터, 콘텐트 정보(예, 도 5의 콘텐트 정보(521)), 및/또는 사용자 프로파일 정보(예, 도 5의 사용자 프로파일 정보(523))를 요청할 수 있다. 웨어러블 장치(510)는, 상기 요청한 정보들에 기반하여, 부분(650) 내에서, 상기 다른 시각적 객체들의 위치를 결정할 수 있다. The
일 실시예에 따른 웨어러블 장치(510)는, 멀티미디어 콘텐트들(620, 630)이 오디오 정보, 및/또는 영상 정보를 포함하는 경우, 콘텐트 정보, 및/또는 사용자 프로파일 정보를 이용하여, 상기 멀티미디어 콘텐트들(620, 630)에 대응하는, 오디오, 및/또는 영상을 재생하기 위한 재생 순서를 획득할 수 있다. 웨어러블 장치(510)는, 가상 공간에 진입함을 나타내는 입력을 식별한 것에 기반하여, 상기 재생 순서에 기반하여, 상기 오디오, 및/또는 영상을, 디스플레이, 또는 스피커(예, 도 5의 스피커(570)) 중 적어도 하나를 이용하여, 재생할 수 있다. 다만, 이에 제한되지 않는다. When the
일 실시예에 따른 웨어러블 장치(510)는, 복수의 사용자들이 가상 공간 내에 진입함을 식별할 수 있다. 웨어러블 장치(510)는, 복수의 사용자들에 대응하는 프로파일 정보를 이용하여, 가상 공간 내에 포함된 멀티미디어 콘텐트들을 표현하는 시각적 객체가 표시될 위치를 조절할 수 있다. 상기 복수의 사용자들은, 조절된 상기 시각적 객체의 위치에 기반하여, 상기 가상 공간을, 이용할 수 있다. The
도 7b를 참고하면, 일 실시예에 따른 웨어러블 장치(510)가 진입한 가상 공간(750)을 나타내는 상태(710)가 도시된다. 상태(710)는, 가상 공간을 제공하는 적어도 하나의 서버(예, 도 5의 외부 전자 장치(520)), 상기 서버와 웨어러블 장치(510)를 연결하는 네트워크(예, AP(access point), 및/또는 기지국을 포함하는 적어도 하나의 중간 노드(130)에 의해 형성된 네트워크), 네트워크를 통해 서버로 접속하여 사용자에게 가상 공간 서비스에 입출력을 함으로써 서비스를 이용하게 하는 웨어러블 장치(510)로 구성될 수 있다. Referring to FIG. 7B, a
일 실시예에 따른 외부 전자 장치(520)는, 가상 공간(750) 내에 진입함을 지시하는 입력에 대한 신호를, 웨어러블 장치(510)로부터, 수신할 수 있다. 예를 들어, 가상 공간(750)은, 멀티미디어 콘텐트들(620)을 포함할 수 있다. 외부 전자 장치(520)는, 도 5의 콘텐트 정보(521)를 이용하여, 도 5의 콘텐트 식별기(542)의 실행에 기반하여, 멀티미디어 콘텐트들(620) 각각에 대한 속성을 식별할 수 있다. 외부 전자 장치(520)는, 사용자(610)에 대응하는, 사용자 프로파일 정보(예, 도 5의 사용자 프로파일 정보(523))를 이용하여, 도 5의 프로파일 식별기(544)의 실행에 기반하여, 상기 속성들에 대한 우선 순위를 식별할 수 있다. 외부 전자 장치(520)는, 가상 공간(750), 상기 우선 순위, 멀티미디어 콘텐트들(620), 및 상기 사용자의 프로파일 정보를 나타내는 신호를, 웨어러블 장치(510)로 송신할 수 있다. 상기 신호를 수신한 웨어러블 장치(510)는 디스플레이를 제어하여, 디스플레이의 표시 영역 내에, 가상 공간(750)을 표시할 수 있다. The external
일 실시예에 따른 웨어러블 장치(510)는, 도 5의 생성기(545)의 실행에 기반하여, 멀티미디어 콘텐트들(620)에 대응하는 시각적 객체(720), 또는 다른 멀티미디어 콘텐트들(예, 도 6의 멀티미디어 콘텐트들(630))에 대응하는 시각적 객체(730)를 생성할 수 있다. 웨어러블 장치(510)는 상기 생성한 시각적 객체들(720, 730)을 가상 공간(750) 내에 배치할 수 있다. 웨어러블 장치(510)는, 외부 전자 장치(520)로부터 수신한 적어도 하나의 신호에 기반하여, 사용자(610)를 표현하기 위한 아바타(745)를 가상 공간(750) 내에, 표시할 수 있다. 웨어러블 장치(510)는, 멀티미디어 콘텐트들(620) 각각의 속성에 대한 우선 순위를 이용하여, 가상 공간(750) 내에서, 시각적 객체들(720, 730)의 위치를, 아바타(745)의 위치에 기반하여, 배치할 수 있다. 일 예로, 시각적 객체(730)에 대응하는 멀티미디어 콘텐트들에 대한 우선 순위가, 시각적 객체(720)에 대응하는 멀티미디어 콘텐트들(620)에 대한 우선 순위보다 높은 경우, 시각적 객체(730)의 위치를, 시각적 객체(720)의 위치보다, 아바타(745)가 배치된 위치에 상대적으로 가깝게, 배치할 수 있다. 다만, 상술한 실시예에 제한되는 것은 아니다. The
상술한 바와 같이, 웨어러블 장치(510)는, 사용자의 선호도에 기반하여, 가상 공간 내에 포함된 멀티미디어 콘텐트들을 출력하기 위한 순서를 획득할 수 있다. 상기 순서에 기반하여, 웨어러블 장치(510)는, 가상 공간 내에, 멀티미디어 콘텐트들을 출력하는 개수를 조절할 수 있다. 웨어러블 장치(510)는, 상기 개수를 조절함으로써, 사용자에게 가상 공간 서비스를 제공하기 위해, 처리하는 데이터 량을 줄일 수 있다. As described above, the
도 8은, 일 실시예에 따른 웨어러블 장치 및 사용자 사이의 상호 작용을 나타내는 예시적인 상태를 도시한다. 도 8의 웨어러블 장치(510)는 도 5 내지 도 7b의 웨어러블 장치(510)의 일 예일 수 있다. 도 8을 참고하면, 웨어러블 장치(510)가, 사용자(610)와 상호 작용을 식별하는 것에 기반하여, 멀티미디어 콘텐트들(620)에 대응하는 시각적 객체들을 FoV(605) 내에, 디스플레이를 이용하여 표시하는 상태(800)가 도시된다. 8 shows example states representing interaction between a wearable device and a user, according to one embodiment. The
일 실시예에 따른 상태(800)에서, 일 실시예에 따른 웨어러블 장치(510)는, 인터렉션 식별기(예, 도 5의 인터렉션 식별기(547))를 이용하여, 사용자(610) 및 시각적 객체(720) 사이의 상호 작용을 식별할 수 있다. 예를 들어, 웨어러블 장치(510)는, 상기 상호 작용을 식별하는 것에 기반하여, 시각적 객체(720)를 업데이트할 수 있다. 일 실시예에 따른 웨어러블 장치(510)는, 사용자 및 시각적 객체(720)(또는 멀티미디어 콘텐트들(620)) 사이의 상호 작용을 식별하는 것에 기반하여, 가상 공간 내에 표시될 시각적 객체들을 업데이트할 수 있다. 웨어러블 장치(510)는, 상기 업데이트를 수행하기 위해, 메모리 내에 저장된 멀티미디어 콘텐트들(620)의 정보(예, 속성, 위치 정보), 및/또는 시각적 객체(720)가 가상 공간의 일 부분(예, 도 6, 도 7a의 부분(640)) 내에 배치된 위치를 이용할 수 있다. In
예를 들어, 웨어러블 장치(510)는, 마이크(예, 도 5의 마이크(560))를 이용하여, 사용자(610)로부터, 멀티미디어 콘텐트들(620) 중 적어도 하나를 선택함을 나타내는 소리 신호를 수신할 수 있다. 소리 신호는, 사용자(610)의 음성(voice) 정보를 포함 수 있다. 소리 신호는, 사용자(610)의 발화 행위(speech act)를 포함할 수 있다. 소리 신호는, 사용자(610)가, FoV(605) 내에 표시되는 시각적 객체(720)를 제어하기 위한 입력을 의미할 수 있다. 예를 들어, 소리 정보는, 멀티미디어 콘텐트들(620), 및/또는 시각적 객체(720)에 대한 정보를 포함할 수 있다. 웨어러블 장치(510)는, 소리 신호를 수신한 것에 기반하여, 소리 신호 내에 포함된 멀티미디어 콘텐트들에 대한 정보, 및/또는 사용자 의도를 식별할 수 있다. For example, the
예를 들어, 웨어러블 장치(510)는 소리 신호 내에 포함된 자연어(natural language)(850)를 식별할 수 있다. 일 예로, 도시하진 않았지만, 웨어러블 장치(510)는, 식별된 상기 자연어(850)를 처리하기 위한, 하드웨어, 및/또는 소프트웨어를 포함할 수 있다. 상기 자연어(850)는, 하나 이상의 문장(예, "팝 아트 작품을 펼쳐서 자세히 보여줘")으로 구성될 수 있다. For example, the
예를 들어, 웨어러블 장치(510)는, 자연어(850)의 상기 하나 이상의 문장 내에 포함된 가상 공간 내에 포함된 멀티미디어 콘텐트들 중 적어도 하나를 나타내는 단어들(예, "팝 아트 작품")을 식별할 수 있다. 일 예로, 멀티미디어 콘텐트들 중 적어도 하나를 나타내는 단어들은, 상기 멀티미디어 콘텐트들 각각을 지칭하기 위한 이름(예, 작품 A), 및/또는 상기 멀티미디어 콘텐트들을 구분하기 위한 속성(예, 회화, 팝 아트, 미디어 아트, 또는 인상 주의)을 나타낼 수 있다. 다만, 이에 제한되는 것은 아니다. 일 예로, 상기 단어들은, 멀티미디어 콘텐트들이 배치된 위치를 나타낼 수 있다. For example, the
예를 들어, 웨어러블 장치(510)는, 상기 적어도 하나를 나타내는 단어들을 식별하는 것에 기반하여, 상기 단어들에 대응하는 멀티미디어 콘텐트들(예, 도 8의 멀티미디어 콘텐트들(620)), 및/또는 상기 멀티미디어 콘텐트들에 대응하는 시각적 객체(720)를 식별할 수 있다. For example, the
예를 들어, 웨어러블 장치(510)는, 자연어(850) 내에 포함된 사용자 의도(intention)를 추론(infer)할 수 있다. 예를 들어, 웨어러블 장치(510)는, 자연어(850) 내에서, 하나 이상의 문장(예, "펼쳐서 자세히 보여줘")을 식별할 수 있다. 웨어러블 장치(510)는 상기 하나 이상의 문장을 식별한 것에 기반하여, 자연어(850) 내에서 사용자(610)가 가리키는 멀티미디어 콘텐트들(예, 멀티미디어 콘텐트들(620))의 위치를, 변경하거나, 또는, 상기 멀티미디어 콘텐트들에 대응하는 우선 순위를, 높게 설정할 수 있다. For example, the
예를 들어, 웨어러블 장치(510)는, 자연어(850)를 식별한 것에 기반하여, 제1 속성(예, 팝 아트)에 기반한 멀티미디어 콘텐트들(620)을 식별할 수 있다. 웨어러블 장치(510)는, 자연어(850) 중 적어도 하나의 문장(예, "펼쳐서 자세히 보여줘")을 식별한 것에 기반하여, 멀티미디어 콘텐트들(620) 각각을 표현하는 시각적 객체들(821, 822)를 생성할 수 있다. 웨어러블 장치(510)는, 시각적 객체들(821, 822)를 생성한 것에 기반하여, 시각적 객체(720)를 대체하여, 시각적 객체들(821, 822)을, FoV(605) 내에, 디스플레이를 이용하여, 표시할 수 있다. 일 예로, 웨어러블 장치(510)는, 시각적 객체(720)를 표시하는 동안, FoV(605)내에, 상기 시각적 객체(720)가 표시된 위치와 상이한 위치들 각각에, 시각적 객체들(821, 822)을 표시할 수 있다. 웨어러블 장치(510)는, 시각적 객체들(821, 822) 각각에 대응하는 멀티미디어 콘텐트들, 및 시각적 객체들(821, 822)이 배치된 위치를, 메모리 내에 저장할 수 있다. For example, the
일 실시예에 따른 웨어러블 장치(510)는, 멀티미디어 콘텐트들을 출력하기 위한 순서에 기반하여, 시각적 객체들(821, 822)이 배치될 위치를 결정할 수 있다. 예를 들어, 사용자 프로파일 정보(예, 도 5의 사용자 프로파일 정보(521))를 이용하여, 웨어러블 장치(510)는, 시각적 객체(821)의 위치보다 상대적으로 사용자(610)에게 근접하도록, 시각적 객체(822)의 위치를, 결정할 수 있다. 다만, 이에 제한되는 것은 아니다. The
일 실시예에 따른 웨어러블 장치(510)는, 자연어(850)와 상이한 정보를 포함하는 다른 자연어를 식별할 수 있다. 예를 들어, 다른 자연어는 하나 이상의 단어들(예, "저거 이제 안 볼래")을 포함할 수 있다. 웨어러블 장치는, 상기 다른 자연어를 식별한 것에 기반하여, FoV(605) 내에 포함된 멀티미디어 콘텐트들(620), 및/또는 상기 멀티미디어 콘텐트들에 대응하는 시각적 객체(720)의 표시를, 일시적으로 삼가할 수 있다. 다만, 상술한 실시예에 제한되는 것은 아니다. The
일 실시예에 따른 웨어러블 장치(510)는, 마이크를 이용하여 소리 신호를 식별한 것에 기반하여, 도 6의 상태(600)에 포함된 가상 공간으로 변경함을 나타내는 입력을 식별할 수 있다. 도 6의 상태(600)는 도 6에서 상술한 가상 공간의 오리지널 공간을 의미할 수 있다. 상기 오리지널 공간은 외부 전자 장치(예, 도 5의 외부 전자 장치(520))에 의해 설정(set)된 가상 공간을 의미할 수 있다. 웨어러블 장치(510)는, 사용자(610)의 프로파일 정보(예, 도 5의 사용자 프로파일 정보(523))에 기반하여 멀티미디어 콘텐트들의 위치를 배치한 공간(예, 도 8의 상태(800)에 포함된 가상 공간)을 대체하여, 상기 오리지널 공간을 사용자(610)에게 제공할 수 있다. 다만, 상술한 실시예에 제한되는 것은 아니다. The
일 실시예에 따른, 외부 전자 장치(예, 도 5의 외부 전자 장치(520))는, 가상 공간 내에 진입한 웨어러블 장치(510)와 통신 회로를 이용하여, 통신 링크를 수립할 수 있다. 예를 들어, 상기 외부 전자 장치는, 도 5의 콘텐트 식별기(542), 및/또는 프로파일 식별기(544)의 실행에 기반하여, 웨어러블 장치(510)로, 가상 공간 내에 포함된 멀티미디어 콘텐트들(620)의 정보를 송신할 수 있다. 웨어러블 장치(510)는, 상기 정보를 수신한 것에 기반하여, 도 5의 생성기(545)의 실행에 기반하여, 상기 정보에 대응하는 시각적 객체(720)를 획득할 수 있다. 예를 들어, 웨어러블 장치(510)는, 도 5의 인터렉션 식별기(547)의 실행에 기반하여, 자연어(850)를 식별할 수 있다. 웨어러블 장치(510)는, 상기 식별된 자연어(850)를 이용하여, 도 5의 생성기(545)의 실행에 기반하여, 멀티미디어 콘텐트들(720)에 대응하는 시각적 객체들(821, 822)을 생성할 수 있다. According to one embodiment, an external electronic device (e.g., the external
상술한 바와 같이, 일 실시예에 따른 웨어러블 장치(510)는, 사용자(610)와 상호 작용을 식별한 것에 기반하여, 가상 공간 내에 배치된 멀티미디어 콘텐트들이 표시될 위치를 변경할 수 있다. 웨어러블 장치(510)는, 상기 위치를 변경함으로써, 사용자(610)에게 적합한 가상 공간을, 제공할 수 있다. 웨어러블 장치(510)는, 사용자(610)에게 적합한 가상 공간을 제공함으로써, 사용자에게, 보다 현실감있는 증강 현실 서비스를 제공할 수 있다. As described above, the
도 9는, 일 실시예에 따른 웨어러블 장치의 동작을 나타내는 예시적인 흐름도이다. 도 9의 동작들 중 적어도 하나는 도 5의 웨어러블 장치(510), 및/또는 도 5의 프로세서(530)에 의해 수행될 수 있다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. Figure 9 is an example flowchart showing the operation of a wearable device according to an embodiment. At least one of the operations in FIG. 9 may be performed by the
도 9를 참고하면, 동작 910에서, 일 실시예에 따른 웨어러블 장치는 가상 공간으로 진입함을 나타내는 입력을 식별하는 것에 기반하여, 가상 공간 내에 포함된 복수의 멀티미디어 콘텐트들을 식별할 수 있다. 예를 들어, 웨어러블 장치는, 메모리 내에 저장된 적어도 하나의 어플리케이션의 실행을 개시하는 것에 응답하여, 상기 가상 공간으로 진입할 수 있다. 웨어러블 장치는, 상기 가상 공간으로 진입함을 식별하는 것에 응답하여, 도 5의 통신 회로(525)를 이용하여, 가상 공간 서비스를 제공하기 위한 도 5의 외부 전자 장치(520)와 통신 링크를 수립할 수 있다. 상기 통신 링크를 통해, 웨어러블 장치는, 가상 공간 내에 포함된 멀티미디어 콘텐트들의 정보를 포함하는 도 5의 콘텐트 정보(521)를 수신할 수 있다. 상기 수신한 콘텐트 정보에 기반하여, 웨어러블 장치는, 가상 공간 내에 포함된 멀티미디어 콘텐트들의 속성(또는, 정보)을 식별할 수 있다. Referring to FIG. 9, in
도 9를 참고하면, 동작 920에서, 일 실시예에 따른 웨어러블 장치는, 웨어러블 장치에 대응하는 사용자의 프로파일 정보에 기반하여, 복수의 멀티미디어 콘텐트들의 출력을 위한 순서를 획득할 수 있다. 웨어러블 장치는 외부 전자 장치와 수립된 통신 링크를 이용하여 사용자 프로파일 정보(예, 도 5의 사용자 프로파일 정보(523))를 획득할 수 있다. 상기 사용자 프로파일 정보를 이용하여, 웨어러블 장치는 사용자 프로파일 정보 내에 포함된 사용자 선호도에 따른 멀티미디어 콘텐트들의 속성들 각각의 우선 순위를 획득할 수 있다. 웨어러블 장치는, 상기 우선 순위에 기반하여, 멀티미디어 콘텐트들의 출력을 위한 순서를 획득할 수 있다. Referring to FIG. 9, in
도 9를 참고하면, 동작 930에서, 일 실시예에 따른 웨어러블 장치는, 순서에 기반하여, 복수의 멀티미디어 콘텐트들 중 적어도 하나의 멀티미디어 콘텐트를 표현하는 시각적 객체가 포함된 상기 가상 공간의 적어도 일부분을, 디스플레이를 통해 사용자의 FoV 내에 표시할 수 있다. 상기 복수의 멀티미디어 콘텐트들은 적어도 하나의 속성에 기반하여, 구분될 수 있다. 웨어러블 장치는 순서에 기반하여, 복수의 멀티미디어 콘텐트들 중 적어도 하나의 멀티미디어 콘텐트를 식별할 수 있다. 식별된 적어도 하나의 멀티미디어 콘텐트는, 사용자 선호에 따른 순서 중 첫번째 순서에 대응할 수 있다. 상기 적어도 하나의 멀티미디어 콘텐트는, 상기 복수의 멀티미디어 콘텐트들을 구분하기 위한 속성을 대표하는 지정된 콘텐트의 일 예일 수 있다. 웨어러블 장치는 상기 속성을 대표하는 지정된 콘텐트를 설정(set)할 수 있다. 다만 상술한 실시예에 제한되는 것은 아니다. 예를 들어, 시각적 객체는, 도 7a의 시각적 객체들(720, 730)에 참조될 수 있다. 웨어러블 장치는 상기 시각적 객체를 생성하기 위해, 도 5의 생성기(545)를 이용할 수 있다. Referring to FIG. 9, in
예를 들어, 웨어러블 장치는, 가상 공간의 복수의 부분들(예, 도 6의 부분들(640, 650)) 중 상기 웨어러블 장치를 사용자(또는 사용자의 아바타)가 포함된 부분(예, 도 6의 부분(640))에 시각적 객체를 배치할 수 있다. 웨어러블 장치는 상기 배치된 시각적 객체를 디스플레이(예, 도 5의 디스플레이(550)를 이용하여, 사용자의 FoV(예, 도 6의 FoV(605)) 내에, 표시할 수 있다. 다만, 상술한 실시예에 제한되는 것은 아니다. 일 예로, 웨어러블 장치는, 시각적 객체를 디스플레이를 통해 표시하는 것과 독립적으로, 스피커를 통해, 멀티미디어 콘텐트들에 대응하는 오디오 신호들 각각을, 순서에 기반하여, 출력할 수 있다. For example, the wearable device may select the wearable device as a part (e.g.,
도 10은, 일 실시예에 따른 웨어러블 장치의 동작을 나타내는 예시적인 흐름도이다. 도 10의 동작들 중 적어도 하나는 도 5의 웨어러블 장치(510) 및/또는 도 5의 프로세서(530)에 의해 수행될 수 있다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. Figure 10 is an example flowchart showing the operation of a wearable device according to an embodiment. At least one of the operations of FIG. 10 may be performed by the
도 10을 참고하면, 동작 1010에서, 일 실시예에 따른 웨어러블 장치는 가상 공간 내에, 프로파일 정보에 매칭되는 복수의 멀티미디어 콘텐트들을 식별할 수 있다. 동작 1010은, 도 9의 동작 910, 및/또는 동작 920 중 적어도 하나와 관련될 수 있다. 웨어러블 장치는, 외부 전자 장치(예, 도 5의 외부 전자 장치(520))로부터, 가상 공간에 포함된 복수의 멀티미디어 콘텐트들을 포함하는 콘텐트 정보(예, 도 5의 콘텐트 정보(521))를 수신할 수 있다. 웨어러블 장치는, 상기 외부 전자 장치로부터, 상기 복수의 멀티미디어 콘텐트들 각각에 대한 순서를 포함하는 사용자 선호도를 나타내는 사용자 프로파일 정보(예, 도 5의 사용자 프로파일 정보(523))를 수신할 수 있다. 웨어러블 장치는 상기 사용자 프로파일 정보를 이용하여, 상기 복수의 멀티미디어 콘텐트들 각각의 속성들을 식별할 수 있다. Referring to FIG. 10, in
도 10을 참고하면, 동작 1020에서, 일 실시예에 따른 웨어러블 장치는 속성에 기반하여, 복수의 멀티미디어 콘텐트들 중 적어도 하나의 멀티미디어 콘텐트를 식별하였는지 여부를, 확인할 수 있다. 복수의 멀티미디어 콘텐트들은 적어도 하나의 속성에 기반하여, 구분될 수 있다. 웨어러블 장치는 적어도 하나의 속성에 기반하여, 구분된 복수의 멀티미디어 콘텐트들 중 적어도 하나의 멀티미디어 콘텐트를 선택하거나, 또는 식별할 수 있다. 예를 들어, 도 10을 참고하면, 속성에 기반하여, 복수의 멀티 미디어 콘텐트들 중 적어도 하나의 멀티미디어 콘텐트를 식별하지 못한 경우(동작 1020-아니오), 일 실시예에 따른 웨어러블 장치는, 동작 1010을 수행할 수 있다. Referring to FIG. 10, in
도 10을 참고하면, 속성에 기반하여, 복수의 멀티 미디어 콘텐트들 중 적어도 하나의 멀티미디어 콘텐트를 식별한 경우(동작 1020-예), 동작 1030에서, 일 실시예에 따른 웨어러블 장치는, 웨어러블 장치가 포함된 가상 공간 중 일부분 내에, 적어도 하나의 멀티미디어 콘텐트가 배치되었는지 여부를 확인할 수 있다. 가상 공간은 복수의 부분들(예, 도 6의 부분들(640, 650))로 구분될 수 있다. 웨어러블 장치는 복수의 부분들 중 적어도 일부를, FoV(예, 도 6의 FoV(605)) 내에 디스플레이를 이용하여, 표시할 수 있다. 예를 들어, 웨어러블 장치는 외부 전자 장치로부터 수신한 콘텐트 정보에 기반하여, 상기 복수의 부분들 각각에 배치된 멀티미디어 콘텐트들의 정보를 획득할 수 있다. 획득한 상기 복수의 부분들 각각에 배치된 멀티미디어 콘텐트들의 정보를 이용하여, 웨어러블 장치를 착용한 사용자(또는 사용자의 아바타)가 위치된 부분(예, 도 6의 부분(650)) 내에, 적어도 하나의 멀티미디어 콘텐트가 배치되었는지 여부를 확인할 수 있다. Referring to FIG. 10, when at least one multimedia content is identified among the plurality of multimedia contents based on the attribute (operation 1020 - Yes), in
도 10을 참고하면, 웨어러블 장치가 포함된 가상 공간 중 일부분 내에 적어도 하나의 멀티 미디어 콘텐트가 배치된 경우(동작 1030-예), 동작 1040에서, 일 실시예에 따른 웨어러블 장치는 적어도 하나의 멀티미디어 콘텐트에 대응하는 제1 시각적 객체를 생성할 수 있다. 상기 적어도 하나의 멀티미디어 콘텐트는 도 6의 멀티미디어 콘텐트들(620) 중 적어도 하나일 수 있다. 웨어러블 장치는, 도 5의 생성기(545)를 이용하여, 제1 시각적 객체를 생성할 수 있다. 예를 들어, 웨어러블 장치는 가상 공간의 타입에 기반하여 제1 시각적 객체를 생성할 수 있다. 웨어러블 장치는 외부 전자 장치로부터, 제1 시각적 객체를 생성하기 위한 지정된 모델링 정보(defined modeling)에 기반하여, 제1 시각적 객체를 생성할 수 있다. 제1 시각적 객체는 도 7a의 시각적 객체(720)에 참조될 수 있다. 제1 시각적 객체는 상기 적어도 하나의 멀티미디어 콘텐트를 표현하는 시각적 객체의 일 예일 수 있다. Referring to FIG. 10, when at least one multimedia content is placed within a portion of the virtual space including the wearable device (operation 1030 - Yes), in
도 10을 참고하면, 동작 1060에서, 일 실시예에 따른 웨어러블 장치는, FoV 내에, 제1 시각적 객체를 표시할 수 있다. 웨어러블 장치는 사용자 프로파일 정보를 이용하여, 적어도 하나의 멀티미디어에 대응하는 순서를 획득할 수 있다. 상기 순서에 기반하여, 웨어러블 장치는 가상 공간 내에 제1 시각적 객체가 배치될 위치를 설정할 수 있다. 일 예로, 상기 순서가 높을수록, 제1 시각적 객체가 배치될 위치는, 사용자(또는, 사용자의 아바타)와 근접하게 배치될 수 있다. Referring to FIG. 10, in
도 10을 참고하면, 웨어러블 장치가 포함된 가상 공간 중 일부분 내에, 적어도 하나의 멀티미디어 콘텐트가 배치되지 않은 경우(동작 1030-아니오), 동작 1050에서, 일 실시예에 따른 웨어러블 장치는, 가상 공간 중 다른 부분 내에 배치된 적어도 하나의 멀티미디어 콘텐트에 대응하는 제2 시각적 객체를 생성할 수 있다. 상기 가상 공간 중 다른 부분 내에 배치된 적어도 하나의 멀티미디어 콘텐트는, 도 6의 멀티미디어 콘텐트들(630)에 참조될 수 있다. 다른 부분은 도 6의 부분(650)에 포함될 수 있다. 제2 시각적 객체는, 도 7a의 시각적 객체(730)에 참조될 수 있다. 웨어러블 장치는 제2 시각적 객체를 부분(예, 도 6의 부분(640)) 내에 배치하거나, 또는 FoV 내에 표시하는 동안, 상기 적어도 하나의 멀티미디어 콘텐트의 위치를 나타내는 시각적 객체(예, 도 7a의 시각적 객체(735))를 표시할 수 있다. Referring to FIG. 10, when at least one multimedia content is not placed in a portion of the virtual space including the wearable device (operation 1030 - No), in
도 10을 참고하면, 동작 1070에서, 일 실시예에 따른 웨어러블 장치는, FoV 내에, 제2 시각적 객체를 표시할 수 있다. 동작 1070에서 웨어러블 장치가 수행하는 동작은, 동작 1060에서 수행하는 동작 중 적어도 일부와 관련될 수 있다. 웨어러블 장치가 제1 시각적 객체 및/또는 제2 시각적 객체를 표시한 상태는 도 7a의 상태(700)에 참조될 수 있다. Referring to FIG. 10, in
예를 들어, 웨어러블 장치는, 제1 시각적 객체 및/또는 제2 시각적 객체를 표시한 상태 내에서, 마이크를 이용하여, 사용자 및 상기 시각적 객체들 사이의 상호 작용을 식별할 수 있다. 상기 상호 작용을 식별한 것에 기반하여, 웨어러블 장치는, 가상 공간 내에 배치된 제1 시각적 객체, 및/또는 제2 시각적 객체의 위치를 업데이트할 수 있다. 다만, 상술한 실시예에 제한되는 것은 아니다. For example, the wearable device may use a microphone to identify interactions between the user and the visual objects while displaying the first visual object and/or the second visual object. Based on identifying the interaction, the wearable device may update the location of the first visual object and/or the second visual object placed within the virtual space. However, it is not limited to the above-described embodiment.
도 11은, 일 실시예에 따른 웨어러블 장치가 가상 공간의 타입에 기반한 시각적 객체의 획득을 나타내는 예시적인 상태를 도시한다. 도 11의 웨어러블 장치(510)는, 도 5 내지 도 9의 웨어러블 장치(510)의 일 예일 수 있다. 도 11을 참고하면, 웨어러블 장치(510)가 가상 공간의 타입에 기반한 시각적 객체를 표시하는 상태(1100)가 도시된다.FIG. 11 illustrates an example state in which a wearable device acquires a visual object based on a type of virtual space, according to an embodiment. The
일 실시예에 따른 웨어러블 장치(510)는, 가상 공간의 타입에 기반하여, 멀티미디어 콘텐트들(620, 630)을 표현하는, 시각적 객체들(1120, 1121, 1130)을 획득할 수 있다. 예를 들어, 웨어러블 장치(510)는, 가상 공간에 진입함을 나타내는 입력에 응답하여, 외부 전자 장치(예, 도 5의 외부 전자 장치(520))로부터, 가상 공간의 타입을 나타내는 정보를 수신할 수 있다. 가상 공간의 타입은, 가상 공간의 테마(theme), 가상 공간의 스타일, 및/또는, 가상 공간의 형태를 의미할 수 있다. 일 예로, 가상 공간의 타입은 전시회(exhibition), 박물관(museum), 미술관(art gallery)와 같은, 멀티미디어 콘텐트들을 전시하는(displaying) 공간에 대한 정보를 포함할 수 있다. The
예를 들어, 웨어러블 장치(510)는, 외부 전자 장치로부터 수신한 상기 가상 공간의 타입을 나타내는 정보를 수신하는 것에 기반하여, 상기 가상 공간 내에서 생성가능한 시각적 객체의 지정된 모델링(defined modeling) 정보를 획득할 수 있다. 웨어러블 장치(510)는, 상기 지정된 모델링 정보를 이용하여, 도 5의 생성기(545)에 기반하여, 시각적 객체들(1120, 1121, 1130)을 생성할 수 있다. For example, the
예를 들어, 웨어러블 장치(510)는, 가상 공간 내에 포함된 멀티미디어 콘텐트들(620, 630)을 식별할 수 있다. 웨어러블 장치(510)는, 사용자 프로파일 정보(예, 도 5의 사용자 프로파일 정보(523))를 이용하여, 멀티미디어 콘텐트들(620, 630)을 출력하기 위한 순서를 획득할 수 있다. 웨어러블 장치(510)는, 상기 순서에 기반하여, 멀티미디어 콘텐트들(620, 630)을 표현하는 시각적 객체를, 생성기를 이용하여, 획득할 수 있다. For example, the
예를 들어, 웨어러블 장치(510)는, 멀티미디어 콘텐트들(620)을 표현하는 시각적 객체(1121)를 생성하기 위해, 가상 공간의 타입을 나타내는 정보를 이용할 수 있다. 웨어러블 장치(510)는, 가상 공간의 타입에 기반하여, 시각적 객체(1120)를 결합하여, 시각적 객체(1121)를 생성할 수 있다. 웨어러블 장치(510)는, 시각적 객체들(1120, 1121)을, 사용자의 프로파일 정보에 기반하여, 배치될 위치를 결정할 수 있다. 웨어러블 장치(510)는, 결정된 상기 위치에, 시각적 객체들(1120, 1121)을 사용자(610)의 FoV(605) 내에, 디스플레이를 제어하여, 표시할 수 있다. 일 예로, 시각적 객체(1120)는, 가상 공간의 타입에 기반한, 가벽(fake wall), 조명을 나타내는 시각적 객체를 포함할 수 있다. For example, the
예를 들어, 웨어러블 장치(510)는, 멀티미디어 콘텐트들(630)을 표현하는 시각적 객체(1130)를 생성하기 위해, 가상 공간의 타입을 나타내는 정보를 이용할 수 있다. 웨어러블 장치(510)는, 가상 공간의 타입에 기반하여, 전시 판넬(display panel), 팜플렛, 포스터와 같은 타입의 시각적 객체(1130)를 생성할 수 있다. 웨어러블 장치(510)는 사용자(610)에게, 시각적 객체(1130) 내에 포함된 텍스트, 이미지 정보를 이용하여, 멀티미디어 콘텐트들(630)의 위치, 및/또는 정보를 제공할 수 있다. 다만, 상술한 실시예에 제한되는 것은 아니다. For example, the
일 실시예에 따른 웨어러블 장치(510)는, 마이크(예, 도 5의 마이크(560))를 이용하여, 사용자(610)와 상호 작용을 식별하는 것에 기반하여, 시각적 객체들(1120, 1121, 1130)을 변경할 수 있다. 예를 들면, 변경된 시각적 객체들을 표시한 상태는, 도 6의 상태(600), 도 7a의 상태(700), 도7b의 상태(710), 및/또는 도 8의 상태(800)에 참조될 수 있다. The
상술한 바와 같이, 일 실시예에 따른 웨어러블 장치(510)는, 멀티미디어 콘텐트들(620, 630)을 표현하는 시각적 객체들(1120, 1121, 1130)을 생성하기 위해, 가상 공간의 타입을 식별할 수 있다. 가상 공간의 타입에 기반하여, 시각적 객체들(1120, 1121, 1130)을 생성함으로써, 웨어러블 장치(510)는 가상 공간에 어울리는 분위기(atmosphere suitable for virtual space)를 획득할 수 있다. 웨어러블 장치(510)는, 상기 분위기를 획득함으로써, 사용자(610)에게, 보다 현실감있는 증강 현실 서비스를 제공할 수 있다. As described above, the
도 12는, 일 실시예에 따른 웨어러블 장치의 동작을 나타내는 예시적인 흐름도이다. 도 12의 동작들 중 적어도 하나는, 도 5의 웨어러블 장치(510), 및/또는 도 5의 프로세서(530)에 의해 수행될 수 있다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. Figure 12 is an example flowchart showing the operation of a wearable device according to an embodiment. At least one of the operations of FIG. 12 may be performed by the
도 12를 참고하면, 동작 1210에서, 일 실시예에 따른 웨어러블 장치는, 사용자에 의해 착용된 동안, 사용자로부터 복수의 멀티미디어 콘텐트들을 포함하는 가상 공간으로 진입함을 나타내는 입력을 식별하는 것에 기반하여, 복수의 멀티미디어 콘텐트들에 대한 속성들을 식별할 수 있다. 웨어러블 장치는 상기 입력을 식별하는 것에 기반하여, 도 5의 외부 전자 장치(520)로부터, 콘텐트 정보, 사용자 프로파일 정보, 및/또는 가상 공간의 타입을 나타내는 정보를 수신할 수 있다. 웨어러블 장치는 콘텐트 정보를 이용하여, 도 5의 콘텐트 식별기(541)가 실행된 상태 내에서, 가상 공간 내에 포함된 멀티미디어 콘텐트들의 속성을 식별할 수 있다. Referring to FIG. 12, in
도 12를 참고하면, 동작 1220에서, 일 실시예에 따른 웨어러블 장치는, 속성들과 관련된 사용자의 프로파일 정보에 기반하여, 복수의 멀티미디어 콘텐트들 중에서, 복수의 멀티미디어 콘텐트들의 출력을 위한 순서를 획득할 수 있다. 웨어러블 장치는, 도 5의 프로파일 식별기(543)를 이용하여, 사용자 프로파일 정보 내에 포함된 사용자 선호도에 매핑되는, 멀티미디어 콘텐트들의 속성들 각각의 우선 순위를 획득할 수 있다. 웨어러블 장치는 상기 우선 순위를 이용하여, 멀티미디어 콘텐트들의 출력을 위한 순서를 획득할 수 있다. Referring to FIG. 12, in
도 12를 참고하면, 동작 1230에서, 일 실시예에 따른 웨어러블 장치는, 순서에 기반하여, 복수의 멀티미디어 콘텐트들 중에서, 사용자에게 표시될 적어도 하나의 멀티미디어 콘텐트를 선택할 수 있다. 웨어러블 장치는, 첫번째 순서에 매핑되는 상기 적어도 하나의 멀티미디어 콘텐트를 식별할 수 있다. 웨어러블 장치는, 복수의 멀티미디어 콘텐트들 각각에 대응하는 속성에 기반하여, 상기 적어도 하나의 멀티미디어 콘텐트를 선택할 수 있다. 일 예로, 복수의 멀티미디어 콘텐트들을 실질적으로 유사한 속성에 대한 정보를 포함할 수 있다. Referring to FIG. 12, in
도 12를 참고하면, 동작 1240에서, 일 실시예에 따른 웨어러블 장치는, 디스플레이를 제어하여 웨어러블 장치의 FoV 내에, 적어도 하나의 멀티미디어 콘텐트를 표현하는 시각적 객체가 포함된 가상 공간의 적어도 일부분을 표현하는 화면을 표시할 수 있다. 예를 들어, 가상 공간은 하나 이상의 부분들(예, 도 6의 부분들(640, 650))을 포함할 수 있다. 부분들 각각은 서로 상이한 멀티미디어 콘텐트들을 포함할 수 있다. 웨어러블 장치는 도 5의 생성기(545)를 이용하여, 시각적 객체를 생성할 수 있다. 예를 들면, 웨어러블 장치는 가상 공간의 타입에 기반한 시각적 객체(예, 도 11의 시각적 객체들(1120, 1121,1130))을 생성할 수 있다. 웨어러블 장치는 생성된 시각적 객체의 위치를, 상기 시각적 객체에 대응하는 상기 적어도 하나의 멀티미디어 콘텐트에 대한 사용자 선호도에 기반하여, 식별할 수 있다. 웨어러블 장치는 랜더러(미도시)를 이용하여, 시각적 객체를 포함한, 상기 일부분을 표현하는 적어도 하나의 화면을 생성할 수 있다. 웨어러블 장치는 사용자의 FoV(예, 도 6의 FoV(605)) 내에, 디스플레이(예, 도 5의 디스플레이(550))를 이용하여, 상기 적어도 하나의 화면을 표시할 수 있다. 웨어러블 장치가 상기 적어도 하나의 화면을 표시한 상태는 도 11의 상태(1100)에 참조될 수 있다. Referring to FIG. 12, in
웨어러블 장치는 가상 공간 내에 포함된 멀티미디어 콘텐트들을 웨어러블 장치를 착용한 사용자의 프로파일 정보를 이용하여, 멀티미디어 콘텐트들을 출력하기 위한 순서를 획득할 수 있다. 웨어러블 장치는 순서에 기반하여, 멀티미디어 콘텐트들 중 적어도 하나의 멀티미디어 콘텐트를 표현하는 시각적 객체를 포함한 화면을 디스플레이 상에 표시할 수 있다. 웨어러블 장치는 상기 화면을 표시함으로써, 사용자에게 적합한 가상 공간 서비스를 제공할 수 있다. The wearable device can obtain an order for outputting the multimedia content included in the virtual space using profile information of the user wearing the wearable device. The wearable device may display a screen including a visual object representing at least one of the multimedia contents on the display based on the order. The wearable device can provide a virtual space service suitable for the user by displaying the screen.
일 실시예에 따른 웨어러블 장치는 웨어러블 장치를 착용한 사용자의 프로파일 정보 및 가상 공간 내에 포함된 멀티미디어 콘텐트들의 정보를 이용하여, 사용자에게 적합한(suitable) 가상 공간을 제공할 수 있다. 웨어러블 장치가 멀티미디어 콘텐트들의 정보 및 프로파일 정보를 매칭하기 위한 방안이 요구된다. A wearable device according to an embodiment may provide a virtual space suitable for the user by using profile information of a user wearing the wearable device and information on multimedia contents included in the virtual space. A method for a wearable device to match information and profile information of multimedia contents is required.
상술한 바와 같은, 일 실시예에 따른 웨어러블 장치(120-1; 300; 400; 510)는, 디스플레이(550) 및 프로세서(530)를 포함할 수 있다. 상기 프로세서는, 가상 공간으로 진입함을 나타내는 입력을 식별하는 것에 기반하여, 상기 가상 공간 내에 포함된 복수의 멀티미디어 콘텐트들(620; 630)을 식별할 수 있다. 상기 프로세서는, 상기 웨어러블 장치에 대응하는 사용자(610)의 프로파일 정보(523)에 기반하여, 상기 복수의 멀티미디어 콘텐트들의 출력을 위한 순서를 획득할 수 있다. 상기 프로세서는, 상기 순서에 기반하여, 상기 복수의 멀티미디어 콘텐트들 중 적어도 하나의 멀티미디어 콘텐트를 표현하는(representing) 시각적 객체(720; 730)가 포함된 상기 가상 공간의 적어도 일부분(640)을, 상기 디스플레이를 통해 상기 사용자의 FoV(field-of-view)(605) 내에 표시할 수 있다. As described above, the wearable device (120-1; 300; 400; 510) according to an embodiment may include a display 550 and a processor 530. The processor may identify a plurality of
예를 들어, 상기 프로세서는, 상기 복수의 멀티미디어 콘텐트들 각각에 포함된 영상 정보, 및 오디오 정보를 임베딩(embedding)하는 것에 기반하여, 상기 복수의 멀티미디어 콘텐트들에 대한 속성들을 식별할 수 있다. 상기 프로세서는, 상기 속성들과 관련된 상기 프로파일 정보에 기반하여, 상기 순서를 획득할 수 있다. For example, the processor may identify properties for the plurality of multimedia contents based on embedding video information and audio information included in each of the plurality of multimedia contents. The processor may obtain the order based on the profile information associated with the attributes.
예를 들어, 상기 프로세서는, 상기 속성들 각각에 대한 우선 순위(priority)를 나타내는 상기 사용자의 상기 프로파일 정보를 이용하여, 상기 복수의 멀티미디어 콘텐트들의 출력을 위한 상기 순서를 획득할 수 있다. For example, the processor may obtain the order for output of the plurality of multimedia contents using the user's profile information indicating priority for each of the properties.
예를 들어, 상기 프로세서는, 획득한 상기 순서에 기반하여, 상기 복수의 멀티미디어 콘텐트들 중 상기 적어도 하나의 멀티미디어 콘텐트를 선택할 수 있다. 상기 프로세서는, 선택된 상기 적어도 하나의 멀티미디어 콘텐트를 표현하는 상기 시각적 객체를 획득할 수 있다. For example, the processor may select the at least one multimedia content among the plurality of multimedia contents based on the obtained order. The processor may obtain the visual object representing the at least one selected multimedia content.
예를 들어, 상기 프로파일 정보는, 상기 사용자의 식별 정보, 또는 상기 복수의 멀티미디어 콘텐트들 각각의 열람(browsing)을 나타내는 정보 중 적어도 하나를 포함할 수 있다. For example, the profile information may include at least one of the user's identification information or information indicating browsing of each of the plurality of multimedia contents.
예를 들어, 상기 프로세서는, 상기 순서에 기반하여, 상기 FoV 내에, 상기 시각적 객체를 배치할 수 있다. For example, the processor may place the visual object within the FoV based on the order.
예를 들어, 상기 프로세서는, 상기 사용자가 상기 가상 공간의 적어도 일부분으로부터, 다른 부분(650)으로 이동함을 식별하는 것에 기반하여, 상기 FoV 내에, 상기 시각적 객체와 상이한 다른 시각적 객체가 포함된 상기 다른 부분을 표시할 수 있다. For example, the processor may determine that another visual object that is different from the visual object is included within the FoV based on identifying that the user is moving from at least a portion of the virtual space to another
예를 들어, 상기 프로세서는, 상기 사용자 및 상기 시각적 객체 사이의 상호 작용을 식별하는 것에 기반하여, 상기 시각적 객체를, 업데이트할 수 있다. For example, the processor may update the visual object based on identifying an interaction between the user and the visual object.
예를 들어, 상기 웨어러블 장치는, 마이크(560)를 포함할 수 있다. 상기 프로세서는, 상기 마이크를 이용하여, 상기 사용자로부터, 상기 시각적 객체에 대응하는 상기 적어도 하나의 멀티미디어 콘텐트를 선택함을 나타내는 소리 신호(sound signal)를 수신할 수 있다. 상기 프로세서는, 상기 소리 신호를 수신한 것에 기반하여, 상기 상호 작용을 식별할 수 있다. For example, the wearable device may include a microphone 560. The processor may use the microphone to receive a sound signal indicating selection of the at least one multimedia content corresponding to the visual object from the user. The processor may identify the interaction based on receiving the sound signal.
예를 들어, 상기 프로세서는, 상기 가상 공간의 타입을 식별할 수 있다. 상기 프로세서는, 상기 타입에 기반하여, 상기 시각적 객체를 획득할 수 있다. For example, the processor may identify the type of virtual space. The processor may obtain the visual object based on the type.
상술한 바와 같은, 일 실시예에 따른 웨어러블 장치(120-1; 300; 400; 510)의 방법은, 사용자(610)에 의해 착용된 동안, 상기 사용자로부터 복수의 멀티미디어 콘텐트들(620; 630)을 포함하는 가상 공간으로 진입함을 나타내는 입력을 식별하는 것에 기반하여, 상기 복수의 멀티미디어 콘텐트들에 대한 속성들을 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 속성들과 관련된 상기 사용자의 프로파일 정보(523)에 기반하여, 상기 복수의 멀티미디어 콘텐트들 중에서, 상기 복수의 멀티미디어 콘텐트들의 출력을 위한 순서를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 순서에 기반하여, 상기 복수의 멀티미디어 콘텐트들 중에서, 상기 사용자에게 표시될 적어도 하나의 멀티미디어 콘텐트를 선택하는 동작을 포함할 수 있다. 상기 방법은, 디스플레이(550)를 제어하여 상기 웨어러블 장치의 FoV(605) 내에, 상기 적어도 하나의 멀티미디어 콘텐트를 표현하는(representing) 시각적 객체(720; 730)가 포함된 상기 가상 공간의 적어도 일부분(640)을 표현하는(representing) 화면을 표시하는 동작을 포함할 수 있다. As described above, the method of using the wearable device (120-1; 300; 400; 510) according to an embodiment is to receive a plurality of multimedia contents (620; 630) from the user (610) while being worn by the user (610). It may include an operation of identifying properties of the plurality of multimedia contents based on identifying an input indicating entry into a virtual space including. The method may include an operation of obtaining an order for output of the plurality of multimedia contents, based on the user's
예를 들어, 상기 방법은, 상기 복수의 멀티미디어 콘텐트들 각각에 포함된 영상 정보, 및 오디오 정보를 임베딩(embedding)하는 것에 기반하여, 상기 복수의 멀티미디어 콘텐트들에 대한 상기 속성들을 식별하는 동작을 포함할 수 있다. For example, the method includes identifying the properties for the plurality of multimedia contents based on embedding video information and audio information included in each of the plurality of multimedia contents. can do.
예를 들어, 상기 방법은, 상기 속성들 각각에 대한 우선 순위(priority)를 나타내는 상기 사용자의 상기 프로파일 정보를 이용하여, 상기 순서를 획득하는 동작을 포함할 수 있다. For example, the method may include obtaining the order using the user's profile information indicating priority for each of the attributes.
예를 들어, 상기 방법은, 상기 사용자의 식별 정보, 또는 상기 복수의 멀티미디어 콘텐트들 각각의 열람(browsing)을 나타내는 정보 중 적어도 하나를 포함하는 상기 프로파일 정보를 기반하여, 상기 순서를 획득하는 동작을 포함할 수 있다. For example, the method includes the operation of obtaining the order based on the profile information including at least one of the user's identification information or information indicating browsing of each of the plurality of multimedia contents. It can be included.
예를 들어, 상기 방법은, 상기 순서에 기반하여, 상기 FoV 내에, 상기 시각적 객체를 배치하는 동작을 포함할 수 있다. For example, the method may include placing the visual object within the FoV based on the order.
예를 들어, 상기 방법은, 상기 사용자가 상기 가상 공간의 적어도 일부분으로부터, 다른 부분(650)으로 이동함을 식별하는 것에 기반하여, 상기 FoV 내에, 상기 화면과 상이한, 상기 시각적 객체와 상이한 다른 시각적 객체를 포함하고, 상기 다른 부분을 표현하는 다른 화면을 표시하는 동작을 포함할 수 있다. For example, the method may be based on identifying that the user moves from at least a portion of the virtual space to another
예를 들어, 상기 방법은, 상기 사용자 및 상기 시각적 객체 사이의 상호 작용을 식별하는 것에 기반하여, 상기 시각적 객체를, 업데이트하는 동작을 포함할 수 있다. For example, the method may include updating the visual object based on identifying an interaction between the user and the visual object.
예를 들어, 상기 웨어러블 장치는, 마이크(560)를 포함할 수 있다. 상기 방법은, 상기 마이크를 이용하여, 상기 사용자로부터, 상기 시각적 객체에 대응하는 상기 적어도 하나의 멀티미디어 콘텐트를 선택함을 나타내는 소리 신호(sound signal)를 수신하는 동작을 포함할 수 있다. 상기 방법은, 상기 소리 신호를 수신한 것에 기반하여, 상기 상호 작용을 식별하는 동작을 포함할 수 있다. For example, the wearable device may include a microphone 560. The method may include receiving, using the microphone, a sound signal indicating selection of the at least one multimedia content corresponding to the visual object from the user. The method may include identifying the interaction based on receiving the sound signal.
예를 들어, 상기 방법은, 획득한 상기 순서에 따라, 상기 복수의 멀티미디어 콘텐트들 중 상기 적어도 하나의 멀티미디어 콘텐트를 선택하는 동작을 포함할 수 있다. For example, the method may include selecting the at least one multimedia content among the plurality of multimedia contents according to the obtained order.
상술한 바와 같은, 일 실시예에 따른 웨어러블 장치(120-1; 300; 400; 510)는 디스플레이(550) 및 프로세서(530)를 포함할 수 있다. 상기 프로세서는, 사용자(610)에 의해 착용된 동안, 상기 사용자로부터 복수의 멀티미디어 콘텐트들(620; 630)을 포함하는 가상 공간으로 진입함을 나타내는 입력을 식별하는 것에 기반하여, 상기 복수의 멀티미디어 콘텐트들에 대한 속성들을 식별할 수 있다. 상기 프로세서는, 상기 속성들과 관련된 상기 사용자의 프로파일 정보(523)에 기반하여, 상기 복수의 멀티미디어 콘텐트들 중에서, 상기 복수의 멀티미디어 콘텐트들의 출력을 위한 순서를 획득할 수 있다. 상기 프로세서는, 상기 순서에 기반하여, 상기 복수의 멀티미디어 콘텐트들 중에서, 상기 사용자에게 표시될 적어도 하나의 멀티미디어 콘텐트를 선택할 수 있다. 상기 프로세서는, 상기 디스플레이를 제어하여 상기 웨어러블 장치의 FoV(605) 내에, 상기 적어도 하나의 멀티미디어 콘텐트를 표현하는(representing) 시각적 객체(720; 730)가 포함된 상기 가상 공간의 적어도 일부분(640)을 표현하는(representing) 화면을 표시하도록, 구성될 수 있다. As described above, the wearable device (120-1; 300; 400; 510) according to an embodiment may include a display 550 and a processor 530. The processor, while worn by a user (610), based on identifying input from the user indicating entry into a virtual space containing a plurality of multimedia contents (620; 630), properties can be identified. The processor may obtain an order for output of the plurality of multimedia contents based on the user's
예를 들어, 상기 프로세서는, 상기 복수의 멀티미디어 콘텐트들 각각에 포함된 영상 정보, 및 오디오 정보를 임베딩(embedding)하는 것에 기반하여, 상기 복수의 멀티미디어 콘텐트들에 대한 상기 속성들을 식별하도록, 구성될 수 있다. For example, the processor may be configured to identify the properties for the plurality of multimedia contents based on embedding video information and audio information included in each of the plurality of multimedia contents. You can.
예를 들어, 상기 프로세서는, 상기 속성들 각각에 대한 우선 순위(priority)를 나타내는 상기 사용자의 상기 프로파일 정보를 이용하여, 상기 복수의 멀티미디어 콘텐트들의 출력을 위한 상기 순서를 획득하도록 구성될 수 있다. For example, the processor may be configured to obtain the order for output of the plurality of multimedia contents using the profile information of the user indicating priority for each of the properties.
예를 들어, 상기 프로파일 정보는, 상기 사용자의 식별 정보, 또는 상기 복수의 멀티미디어 콘텐트들 각각의 열람(browsing)을 나타내는 정보 중 적어도 하나를 포함할 수 있다. For example, the profile information may include at least one of the user's identification information or information indicating browsing of each of the plurality of multimedia contents.
예를 들어, 상기 프로세서는, 상기 순서에 기반하여, 상기 FoV 내에, 상기 시각적 객체를 배치하도록, 구성될 수 있다. For example, the processor may be configured to place the visual object within the FoV based on the order.
예를 들어, 상기 프로세서는, 상기 사용자가 상기 가상 공간의 적어도 일 부분으로부터, 다른 부분(650)으로 이동함을 식별하는 것에 기반하여, 상기 FoV 내에, 상기 화면과 상이한, 상기 시각적 객체와 상이한 다른 시각적 객체를 포함하고, 상기 다른 부분을 표현하는 다른 화면을 표시하도록, 구성될 수 있다. For example, based on identifying that the user is moving from at least one portion of the virtual space to another
상술한 바와 같은 일 실시예에 따른 웨어러블 장치(120-1; 300; 400; 510)의 방법은, 가상 공간으로 진입함을 나타내는 입력을 식별하는 것에 기반하여, 상기 가상 공간 내에 포함된 복수의 멀티미디어 콘텐트들(620; 630)을 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 웨어러블 장치에 대응하는 사용자의 프로파일 정보(523)에 기반하여, 상기 복수의 멀티미디어 콘텐트들의 출력을 위한 순서를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 순서에 기반하여, 상기 복수의 멀티미디어 콘텐트들 중 적어도 하나의 멀티미디어 콘텐트를 표현하는 시각적 객체(720; 730)가 포함된 상기 가상 공간의 적어도 일부분(640)을, 디스플레이(550)를 통해 상기 사용자의 FoV 내에 표시하는 동작을 포함할 수 있다. The method of the wearable device (120-1; 300; 400; 510) according to an embodiment as described above is based on identifying an input indicating entry into a virtual space, and a plurality of multimedia items included in the virtual space. An operation of identifying
예를 들어, 상기 방법은, 상기 복수의 멀티미디어 콘텐트들 각각에 포함된 영상 정보, 및 오디오 정보를 임베딩하는 것에 기반하여, 상기 복수의 멀티미디어 콘텐트들에 대한 속성들을 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 속성들과 관련된 상기 프로파일 정보에 기반하여, 상기 순서를 획득하는 동작을 포함할 수 있다. For example, the method may include identifying properties for the plurality of multimedia contents based on embedding image information and audio information included in each of the plurality of multimedia contents. The method may include obtaining the order based on the profile information associated with the attributes.
예를 들어, 상기 방법은, 상기 속성들 각각에 대한 우선 순위를 나타내는 상기 사용자의 상기 프로파일 정보를 이용하여, 상기 복수의 멀티미디어 콘텐트들의 출력을 위한 상기 순서를 획득하는 동작을 포함할 수 있다. For example, the method may include obtaining the order for output of the plurality of multimedia contents using the profile information of the user indicating priority for each of the properties.
예를 들어, 상기 방법은, 획득한 상기 순서에 기반하여, 상기 복수의 멀티미디어 콘텐트들 중 상기 적어도 하나의 멀티미디어 콘텐트를 선택하는 동작을 포함할 수 있다. 상기 방법은, 선택된 상기 적어도 하나의 멀티미디어 콘텐트를 표현하는 상기 시각적 객체를 획득하는 동작을 포함할 수 있다. For example, the method may include selecting the at least one multimedia content among the plurality of multimedia contents based on the obtained order. The method may include obtaining the visual object representing the at least one selected multimedia content.
예를 들어, 상기 방법은, 상기 순서에 기반하여, 상기 FoV 내에, 상기 시각적 객체를 배치하는 동작을 포함할 수 있다. For example, the method may include placing the visual object within the FoV based on the order.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The device described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components. For example, the devices and components described in the embodiments include a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), and a programmable logic unit (PLU). It may be implemented using one or more general-purpose or special-purpose computers, such as a logic unit, microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software. For ease of understanding, a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include. For example, a processing device may include a plurality of processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device. The software and/or data may be embodied in any type of machine, component, physical device, computer storage medium or device for the purpose of being interpreted by or providing instructions or data to the processing device. there is. Software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. At this time, the medium may continuously store a computer-executable program, or temporarily store it for execution or download. In addition, the medium may be a variety of recording or storage means in the form of a single or several pieces of hardware combined. It is not limited to a medium directly connected to a computer system and may be distributed over a network. Examples of media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, And there may be something configured to store program instructions, including ROM, RAM, flash memory, etc. Additionally, examples of other media include recording or storage media managed by app stores that distribute applications, sites or servers that supply or distribute various other software, etc.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited examples and drawings, various modifications and variations can be made by those skilled in the art from the above description. For example, the described techniques are performed in a different order than the described method, and/or components of the described system, structure, device, circuit, etc. are combined or combined in a different form than the described method, or other components are used. Alternatively, appropriate results may be achieved even if substituted or substituted by an equivalent.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다. Therefore, other implementations, other embodiments, and equivalents of the claims also fall within the scope of the claims described below.
Claims (20)
디스플레이(550); 및
프로세서(530)를 포함하고, 상기 프로세서는,
가상 공간으로 진입함을 나타내는 입력을 식별하는 것에 기반하여, 상기 가상 공간 내에 포함된 복수의 멀티미디어 콘텐트들(620; 630)을 식별하고;
상기 웨어러블 장치에 대응하는 사용자(610)의 프로파일 정보(523)에 기반하여, 상기 복수의 멀티미디어 콘텐트들의 출력을 위한 순서를 획득하고;
상기 순서에 기반하여, 상기 복수의 멀티미디어 콘텐트들 중 적어도 하나의 멀티미디어 콘텐트를 표현하는(representing) 시각적 객체(720; 730)가 포함된 상기 가상 공간의 적어도 일부분(640)을, 상기 디스플레이를 통해 상기 사용자의 FoV(field-of-view)(605) 내에 표시하도록, 구성된,
웨어러블 장치.
In the wearable device (120-1; 300; 400; 510),
display 550; and
Includes a processor 530, where the processor:
Based on identifying an input indicating entry into a virtual space, identify a plurality of multimedia contents (620; 630) contained within the virtual space;
Obtain an order for outputting the plurality of multimedia contents based on profile information 523 of the user 610 corresponding to the wearable device;
Based on the order, at least a portion 640 of the virtual space containing a visual object 720; 730 representing at least one multimedia content among the plurality of multimedia contents is displayed through the display. configured to be displayed within a user's field-of-view (FoV) 605,
Wearable devices.
상기 프로세서는,
상기 복수의 멀티미디어 콘텐트들 각각에 포함된 영상 정보, 및 오디오 정보를 임베딩(embedding)하는 것에 기반하여, 상기 복수의 멀티미디어 콘텐트들에 대한 속성들을 식별하고,
상기 속성들과 관련된 상기 프로파일 정보에 기반하여, 상기 순서를 획득하도록, 구성된,
웨어러블 장치.
According to paragraph 1,
The processor,
Identifying properties for the plurality of multimedia contents based on embedding video information and audio information included in each of the plurality of multimedia contents,
configured to obtain the order based on the profile information associated with the attributes,
Wearable devices.
상기 프로세서는,
상기 속성들 각각에 대한 우선 순위(priority)를 나타내는 상기 사용자의 상기 프로파일 정보를 이용하여, 상기 복수의 멀티미디어 콘텐트들의 출력을 위한 상기 순서를 획득하도록 구성된,
웨어러블 장치.
According to any one of claims 1 and 2,
The processor,
configured to obtain the order for output of the plurality of multimedia contents using the profile information of the user indicating priority for each of the properties,
Wearable devices.
상기 프로세서는,
획득한 상기 순서에 기반하여, 상기 복수의 멀티미디어 콘텐트들 중 상기 적어도 하나의 멀티미디어 콘텐트를 선택하고,
선택된 상기 적어도 하나의 멀티미디어 콘텐트를 표현하는 상기 시각적 객체를 획득하도록, 구성된,
웨어러블 장치.
According to any one of claims 1 to 3,
The processor,
Based on the obtained order, select the at least one multimedia content among the plurality of multimedia content,
configured to obtain the visual object representing the selected at least one multimedia content,
Wearable devices.
상기 프로파일 정보는,
상기 사용자의 식별 정보, 또는 상기 복수의 멀티미디어 콘텐트들 각각의 열람(browsing)을 나타내는 정보 중 적어도 하나를 포함하는,
웨어러블 장치.
According to any one of paragraphs 1 to 4,
The profile information is,
Containing at least one of the user's identification information or information indicating browsing of each of the plurality of multimedia contents,
Wearable devices.
상기 프로세서는,
상기 순서에 기반하여, 상기 FoV 내에, 상기 시각적 객체를 배치하도록, 구성된,
웨어러블 장치.
According to any one of paragraphs 1 to 5,
The processor,
configured to place the visual object within the FoV based on the order,
Wearable devices.
상기 프로세서는,
상기 사용자가 상기 가상 공간의 적어도 일부분으로부터, 다른 부분(650)으로 이동함을 식별하는 것에 기반하여, 상기 FoV 내에, 상기 시각적 객체와 상이한 다른 시각적 객체가 포함된 상기 다른 부분을 표시하도록, 구성된,
웨어러블 장치.
According to any one of claims 1 to 6,
The processor,
configured to display, within the FoV, the other portion containing another visual object that is different from the visual object based on identifying that the user is moving from at least a portion of the virtual space to another portion (650).
Wearable devices.
상기 프로세서는,
상기 사용자 및 상기 시각적 객체 사이의 상호 작용을 식별하는 것에 기반하여, 상기 시각적 객체를, 업데이트하도록, 구성된,
웨어러블 장치.
According to any one of claims 1 to 7,
The processor,
configured to update the visual object based on identifying an interaction between the user and the visual object.
Wearable devices.
상기 웨어러블 장치는, 마이크(560)를 포함하고,
상기 프로세서는,
상기 마이크를 이용하여, 상기 사용자로부터, 상기 시각적 객체에 대응하는 상기 적어도 하나의 멀티미디어 콘텐트를 선택함을 나타내는 소리 신호(sound signal)를 수신하고,
상기 소리 신호를 수신한 것에 기반하여, 상기 상호 작용을 식별하도록, 구성된,
웨어러블 장치.
According to any one of claims 1 to 8,
The wearable device includes a microphone 560,
The processor,
Using the microphone, receive a sound signal indicating selection of the at least one multimedia content corresponding to the visual object from the user,
configured to identify the interaction based on receiving the sound signal,
Wearable devices.
상기 프로세서는,
상기 가상 공간의 타입을 식별하고,
상기 타입에 기반하여, 상기 시각적 객체를 획득하도록, 구성된,
웨어러블 장치.
According to any one of claims 1 to 9,
The processor,
Identify the type of the virtual space,
configured to obtain the visual object based on the type,
Wearable devices.
상기 방법은,
사용자(610)에 의해 착용된 동안, 상기 사용자로부터 복수의 멀티미디어 콘텐트들(620; 630)을 포함하는 가상 공간으로 진입함을 나타내는 입력을 식별하는 것에 기반하여, 상기 복수의 멀티미디어 콘텐트들에 대한 속성들을 식별하는 동작;
상기 속성들과 관련된 상기 사용자의 프로파일 정보(523)에 기반하여, 상기 복수의 멀티미디어 콘텐트들 중에서, 상기 복수의 멀티미디어 콘텐트들의 출력을 위한 순서를 획득하는 동작;
상기 순서에 기반하여, 상기 복수의 멀티미디어 콘텐트들 중에서, 상기 사용자에게 표시될 적어도 하나의 멀티미디어 콘텐트를 선택하는 동작; 및
디스플레이(550)를 제어하여 상기 웨어러블 장치의 FoV(605) 내에, 상기 적어도 하나의 멀티미디어 콘텐트를 표현하는(representing) 시각적 객체(720; 730)가 포함된 상기 가상 공간의 적어도 일부분(640)을 표현하는(representing) 화면을 표시하는 동작을 포함하는,
방법.
In the method of the wearable device (120-1; 300; 400; 510),
The method is:
Attributes for a plurality of multimedia contents 620; 630, while worn by a user 610, based on identifying input indicating entry from the user into a virtual space containing the plurality of multimedia contents 620; 630. the act of identifying them;
Obtaining an order for output of the plurality of multimedia contents based on the user's profile information 523 related to the properties;
Based on the order, selecting at least one multimedia content to be displayed to the user from among the plurality of multimedia content; and
Controlling the display 550 to display at least a portion 640 of the virtual space containing a visual object 720 or 730 representing the at least one multimedia content within the FoV 605 of the wearable device. Including the operation of displaying a screen representing,
method.
상기 방법은,
상기 복수의 멀티미디어 콘텐트들 각각에 포함된 영상 정보, 및 오디오 정보를 임베딩(embedding)하는 것에 기반하여, 상기 복수의 멀티미디어 콘텐트들에 대한 상기 속성들을 식별하는 동작을 포함하는,
방법.
According to clause 11,
The above method is,
Comprising the operation of identifying the properties for the plurality of multimedia contents based on embedding video information and audio information included in each of the plurality of multimedia contents,
method.
상기 방법은,
상기 속성들 각각에 대한 우선 순위(priority)를 나타내는 상기 사용자의 상기 프로파일 정보를 이용하여, 상기 순서를 획득하는 동작을 포함하는,
방법.
According to any one of claims 11 to 12,
The above method is,
Comprising the operation of obtaining the order using the profile information of the user indicating priority for each of the attributes,
method.
상기 방법은,
상기 사용자의 식별 정보, 또는 상기 복수의 멀티미디어 콘텐트들 각각의 열람(browsing)을 나타내는 정보 중 적어도 하나를 포함하는 상기 프로파일 정보를 기반하여, 상기 순서를 획득하는 동작을 포함하는,
방법.
According to any one of claims 11 to 13,
The above method is,
Comprising the operation of obtaining the order based on the profile information including at least one of the user's identification information or information indicating browsing of each of the plurality of multimedia contents,
method.
상기 방법은,
상기 순서에 기반하여, 상기 FoV 내에, 상기 시각적 객체를 배치하는 동작을 포함하는,
방법.
According to any one of claims 11 to 14,
The above method is,
Based on the order, positioning the visual object within the FoV,
method.
상기 방법은,
상기 사용자가 상기 가상 공간의 적어도 일부분으로부터, 다른 부분(650)으로 이동함을 식별하는 것에 기반하여, 상기 FoV 내에, 상기 화면과 상이한, 상기 시각적 객체와 상이한 다른 시각적 객체를 포함하고, 상기 다른 부분을 표현하는 다른 화면을 표시하는 동작을 포함하는,
방법.
According to any one of claims 11 to 15,
The above method is,
based on identifying that the user is moving from at least a portion of the virtual space to another portion 650, including, within the FoV, another visual object that is different from the screen and that is different from the visual object; Including the action of displaying another screen that represents,
method.
상기 방법은,
상기 사용자 및 상기 시각적 객체 사이의 상호 작용을 식별하는 것에 기반하여, 상기 시각적 객체를, 업데이트하는 동작을 포함하는,
방법.
According to any one of claims 11 to 16,
The above method is,
updating the visual object based on identifying an interaction between the user and the visual object.
method.
상기 웨어러블 장치는, 마이크(560)를 포함하고,
상기 방법은,
상기 마이크를 이용하여, 상기 사용자로부터, 상기 시각적 객체에 대응하는 상기 적어도 하나의 멀티미디어 콘텐트를 선택함을 나타내는 소리 신호(sound signal)를 수신하는 동작,
상기 소리 신호를 수신한 것에 기반하여, 상기 상호 작용을 식별하는 동작을 포함하는,
방법.
According to any one of claims 11 to 17,
The wearable device includes a microphone 560,
The above method is,
An operation of receiving, using the microphone, a sound signal indicating selection of the at least one multimedia content corresponding to the visual object from the user,
comprising identifying the interaction based on receiving the sound signal,
method.
상기 방법은,
획득한 상기 순서에 따라, 상기 복수의 멀티미디어 콘텐트들 중 상기 적어도 하나의 멀티미디어 콘텐트를 선택하는 동작을 포함하는,
방법.
According to any one of claims 11 to 18,
The above method is,
Comprising the operation of selecting the at least one multimedia content among the plurality of multimedia contents according to the obtained order,
method.
디스플레이(550); 및
프로세서(530)를 포함하고, 상기 프로세서는,
사용자(610)에 의해 착용된 동안, 상기 사용자로부터 복수의 멀티미디어 콘텐트들(620; 630)을 포함하는 가상 공간으로 진입함을 나타내는 입력을 식별하는 것에 기반하여, 상기 복수의 멀티미디어 콘텐트들에 대한 속성들을 식별하고;
상기 속성들과 관련된 상기 사용자의 프로파일 정보(523)에 기반하여, 상기 복수의 멀티미디어 콘텐트들 중에서, 상기 복수의 멀티미디어 콘텐트들의 출력을 위한 순서를 획득하고;
상기 순서에 기반하여, 상기 복수의 멀티미디어 콘텐트들 중에서, 상기 사용자에게 표시될 적어도 하나의 멀티미디어 콘텐트를 선택하고; 및
상기 디스플레이를 제어하여 상기 웨어러블 장치의 FoV(605) 내에, 상기 적어도 하나의 멀티미디어 콘텐트를 표현하는(representing) 시각적 객체(720; 730)가 포함된 상기 가상 공간의 적어도 일부분(640)을 표현하는(representing) 화면을 표시하도록, 구성된,
웨어러블 장치.
In the wearable device (120-1; 300; 400; 510),
display 550; and
Includes a processor 530, where the processor:
Attributes for a plurality of multimedia contents 620; 630, while worn by a user 610, based on identifying input indicating entry from the user into a virtual space containing the plurality of multimedia contents 620; 630. identify them;
Based on the user's profile information 523 related to the attributes, obtain an order for output of the plurality of multimedia contents, among the plurality of multimedia contents;
Based on the order, select at least one multimedia content to be displayed to the user from among the plurality of multimedia content; and
Controlling the display to display at least a portion 640 of the virtual space containing a visual object 720, 730 representing the at least one multimedia content within the FoV 605 of the wearable device ( representing) configured to display a screen,
Wearable devices.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/KR2023/010334 WO2024101581A1 (en) | 2022-11-09 | 2023-07-18 | Wearable device for controlling multimedia content disposed in virtual space and method thereof |
US18/362,152 US20240152202A1 (en) | 2022-11-09 | 2023-07-31 | Wearable device for controlling multimedia content placed in virtual space and method thereof |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20220149073 | 2022-11-09 | ||
KR1020220149073 | 2022-11-09 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20240067748A true KR20240067748A (en) | 2024-05-17 |
Family
ID=91331708
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220152098A KR20240067748A (en) | 2022-11-09 | 2022-11-14 | Wearable device for controlling multimedia content placed in virtual space and method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20240067748A (en) |
-
2022
- 2022-11-14 KR KR1020220152098A patent/KR20240067748A/en unknown
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6391685B2 (en) | Orientation and visualization of virtual objects | |
US20140368537A1 (en) | Shared and private holographic objects | |
CN103294260A (en) | Touch sensitive user interface | |
US20240054734A1 (en) | Method and device for presenting an audio and synthesized reality experience | |
US11699270B2 (en) | Computationally efficient model selection | |
US20240152202A1 (en) | Wearable device for controlling multimedia content placed in virtual space and method thereof | |
KR20240067748A (en) | Wearable device for controlling multimedia content placed in virtual space and method thereof | |
US20240177367A1 (en) | Wearable device for controlling displaying of visual object corresponding to external object and method thereof | |
US20240153217A1 (en) | Electronic device for displaying multimedia content and method thereof | |
KR20240058665A (en) | Wearable device for modifying visual object by using data identified by sensor and method thereof | |
KR20240082958A (en) | Electronic device for displaying media content and method thereof | |
KR20240082088A (en) | Wearable device for displaying media content based on grip form regarding external obejct and method thereof | |
KR20240069545A (en) | Electronic device for providing at least one multimedia content to users accessing object and method thereof | |
KR20240087480A (en) | Electronic device, method, and computer-readable storage media for displaying visual objects included in critical distance | |
US20240161422A1 (en) | Electronic device for providing at least one multimedia content to users accessing object and method thereof | |
KR20240083777A (en) | Wearable device for modifying background object based on size or number of foreground object and method thereof | |
KR20240067749A (en) | Electronic device for displaying multimedia content and method thereof | |
US20240169603A1 (en) | Wearable device for displaying visual object for controlling virtual object and method thereof | |
KR20240094945A (en) | Electronic device, method, and computer-readable storage medium for displaying visual object indicating application using area formed based on user's body information | |
KR20240084404A (en) | Wearable device for controlling plurality of applications by using area grouping plurality of applications and method thereof | |
US20240143067A1 (en) | Wearable device for executing application based on information obtained by tracking external object and method thereof | |
US11928314B2 (en) | Browser enabled switching between virtual worlds in artificial reality | |
KR20240079114A (en) | Wearable device for controlling displaying of visual object corresponding to external object and method thereof | |
US20240192973A1 (en) | Artificial Reality Simulation for Augment Manipulation Controls on a Two-Dimensional Interface | |
US20230196686A1 (en) | Social Media Platform Checkout for Artificial Reality Platform-Specific Applications |