WO2023080767A1 - 가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법 - Google Patents

가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법 Download PDF

Info

Publication number
WO2023080767A1
WO2023080767A1 PCT/KR2022/095128 KR2022095128W WO2023080767A1 WO 2023080767 A1 WO2023080767 A1 WO 2023080767A1 KR 2022095128 W KR2022095128 W KR 2022095128W WO 2023080767 A1 WO2023080767 A1 WO 2023080767A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
virtual object
real space
display
content
Prior art date
Application number
PCT/KR2022/095128
Other languages
English (en)
French (fr)
Inventor
이은빈
박은영
정신재
이윤호
이은경
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220004440A external-priority patent/KR20230063829A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US17/979,306 priority Critical patent/US20230135420A1/en
Publication of WO2023080767A1 publication Critical patent/WO2023080767A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • Embodiments of the present disclosure relate to a wearable electronic device displaying a virtual object and/or a control method thereof.
  • electronic devices can be miniaturized and lightweight to the extent that they can be used without much inconvenience even when worn on the user's body.
  • wearable electronic devices such as head mounting devices (HMDs), smart watches (or bands), contact lens type devices, ring type devices, glove type devices, shoe type devices or clothing type devices are being commercialized. . Since the wearable electronic device is directly worn on the body, portability and user accessibility can be improved.
  • a head-mounted electronic device is a device worn on a user's head or face, and may provide augmented reality (AR) to the user.
  • AR augmented reality
  • a head-mounted device that provides augmented reality may be implemented in the form of glasses, and may provide information about objects in the form of images or text to the user in at least a part of the user's field of view.
  • a user selects a part of a function being executed through a gesture to easily fix a virtual object related to the function in a real space, the virtual object is naturally placed in the real space, and the visibility of information Provided is a wearable electronic device capable of increasing the performance and a control method thereof.
  • a wearable electronic device includes a display, a camera, at least one first sensor, and at least one processor operatively connected to the display, the camera, and the at least one first sensor, wherein the at least one One processor displays an execution screen of an application on the display, and when a first user input for selecting one of a plurality of contents included in the execution screen of the application is received through the camera, the selected content
  • the at least one first sensor displays an execution screen of an application on the display, and when a first user input for selecting one of a plurality of contents included in the execution screen of the application is received through the camera, the selected content
  • the at least one first sensor and if the type of object in the real space is related to the selected content or the first virtual object, the type of the object in the real space is identified based on at least one of the shape, position, or size of the object in the real space.
  • a second virtual object related to the selected content is displayed on the display, and if the type of object in the real space is unrelated to the selected content or the first virtual object, a third virtual object in the form of a 3D object related to the selected content is displayed. can be displayed on the display.
  • a control method of a wearable electronic device includes an operation of displaying an execution screen of an application on a display of the wearable electronic device, and a plurality of contents included in the execution screen of the application through a camera of the wearable electronic device.
  • a first user input for selecting one of content is received, displaying a first virtual object related to the selected content on the display, and attaching the first virtual object to an object included in a real space through the camera.
  • identifying the type of object in the real space through at least one first sensor of the wearable electronic device, the selected content or the first If it is related to a virtual object, a second virtual object related to the selected content is displayed on the display based on at least one of the shape, position, or size of the object in the real space, and the type of the object in the real space is the selected content Alternatively, if it is unrelated to the first virtual object, an operation of displaying a third virtual object in the form of a 3D object related to the selected content on the display.
  • a user in an augmented reality environment, may select a part of a function being executed through a gesture and easily fix a virtual object related to the function to an object in a real space.
  • a wearable electronic device may display detailed information according to a user's gaze to increase the visibility of information.
  • a wearable electronic device may determine the shape of a virtual object based on the type of object in a real space to which the virtual object is mapped.
  • virtual objects can be naturally arranged in real space.
  • FIG. 1 is a block diagram of an electronic device in a network environment according to various embodiments.
  • FIG. 2 is a perspective view of an electronic device according to an embodiment.
  • FIG 3 is a first perspective view illustrating an internal configuration of an electronic device according to an exemplary embodiment.
  • FIG. 4 is a second perspective view illustrating an internal configuration of an electronic device according to an exemplary embodiment.
  • FIG 5 is an exploded perspective view of an electronic device according to an exemplary embodiment.
  • FIG. 6 is a flowchart illustrating a virtual object display operation of a wearable electronic device according to an exemplary embodiment.
  • FIG. 7 is a diagram for explaining an operation of displaying an execution screen of a wearable electronic device according to an exemplary embodiment.
  • FIG. 8 is a diagram for explaining a content selection operation of a wearable electronic device according to an embodiment.
  • 9A is a diagram for explaining a display operation of a virtual object according to a content selection operation according to an exemplary embodiment.
  • 9B is a diagram for explaining a display operation of a virtual object according to a content selection operation according to an exemplary embodiment.
  • 9C is a diagram for explaining an operation in which a 3D virtual object is mapped to a real space independent of content according to an embodiment.
  • 9D is a diagram for explaining an operation in which a 3D virtual object is mapped to a real space independent of content according to an embodiment.
  • 10A is a diagram for explaining an operation of mapping a virtual object to a real space according to an exemplary embodiment.
  • 10B is a diagram for explaining an operation of mapping a virtual object to a real space according to an exemplary embodiment.
  • 10C is a diagram for explaining an operation of mapping a virtual object to a real space according to an exemplary embodiment.
  • 10D is a diagram for explaining an operation of mapping a virtual object to a real space according to an exemplary embodiment.
  • 10E is a diagram for explaining an operation of mapping a virtual object to a real space according to an exemplary embodiment.
  • 10F is a diagram for explaining an operation of mapping a virtual object to a real space according to an embodiment.
  • 10G is a diagram for explaining an operation of mapping a virtual object to a real space according to an embodiment.
  • 11 is a diagram for explaining a 3D virtual object mapped to a real space according to an embodiment.
  • 12A is a diagram for explaining an operation when a 3D virtual object is selected according to an exemplary embodiment.
  • 12B is a diagram for explaining an operation when a 3D virtual object is selected according to an exemplary embodiment.
  • 13A is a diagram for explaining an operation of mapping a virtual object to a real space related to content according to an embodiment.
  • 13B is a diagram for explaining an operation of mapping a virtual object to a real space according to an embodiment.
  • FIG. 14 is a diagram for explaining a virtual object mapped to a real space related to content according to an embodiment.
  • 15 is a diagram for explaining an operation of displaying an execution screen of a wearable electronic device according to an exemplary embodiment.
  • 16 is a diagram for explaining a content selection operation of a wearable electronic device according to an embodiment.
  • 17A is a diagram for explaining an operation in which a virtual object is mapped to a real space related to content according to an embodiment.
  • 17B is a diagram for explaining a virtual object mapped to a real space related to content according to an embodiment.
  • 18A is a diagram for explaining an operation of mapping a virtual object to a real space related to content according to an embodiment.
  • 18B is a diagram for explaining a virtual object mapped to a real space related to content according to an embodiment.
  • 18C is a diagram for explaining an operation of updating a virtual object when an event occurs, according to an exemplary embodiment.
  • 19A is a diagram for explaining an operation of displaying an execution screen of a wearable electronic device according to an exemplary embodiment.
  • 19B is a diagram for explaining an operation of displaying an execution screen of a wearable electronic device according to an embodiment.
  • 19C is a diagram for explaining a content selection operation of a wearable electronic device according to an embodiment.
  • 19D is a diagram for explaining a 3D virtual object mapped to a real space according to an embodiment.
  • 20A is a diagram for explaining an operation of displaying an execution screen of a wearable electronic device according to an exemplary embodiment.
  • 20B is a diagram for explaining a content selection operation of a wearable electronic device according to an embodiment.
  • 20C is a diagram for explaining an operation of mapping a 3D virtual object to a real space according to an embodiment.
  • 20D is a diagram for explaining a 3D virtual object mapped to a real space according to an embodiment.
  • 20E is a diagram for explaining an operation of updating a virtual object when an event occurs, according to an exemplary embodiment.
  • 21A is a diagram for explaining a content selection operation of a wearable electronic device according to an embodiment.
  • 21B is a diagram for explaining an operation of mapping a 3D virtual object to a real space according to an embodiment.
  • 21C is a diagram for explaining a 3D virtual object mapped to a real space according to an embodiment.
  • 22A is a diagram for explaining an operation of displaying an execution screen of a wearable electronic device according to an embodiment.
  • 22B is a diagram for explaining a content selection operation of a wearable electronic device according to an embodiment.
  • 22C is a diagram for explaining a content selection operation of a wearable electronic device according to an embodiment.
  • 22D is a diagram for explaining an operation of mapping a 3D virtual object to a real space according to an embodiment.
  • 22E is a diagram for explaining a 3D virtual object mapped to a real space according to an embodiment.
  • 22F is a diagram for explaining an operation when a 3D virtual object is selected according to an exemplary embodiment.
  • 23A is a diagram for explaining an operation of displaying an execution screen of a wearable electronic device according to an embodiment.
  • 23B is a diagram for explaining a content selection operation of a wearable electronic device according to an embodiment.
  • 23C is a diagram for explaining an operation of mapping a virtual object to a real space according to an embodiment.
  • 23D is a diagram for explaining a virtual object mapped to a real space according to an embodiment.
  • 23E is a diagram for explaining an operation of mapping a virtual object to a real space according to an embodiment.
  • 23F is a diagram for explaining a virtual object mapped to a real space according to an embodiment.
  • 24A is a diagram for explaining an operation of displaying an execution screen of a wearable electronic device according to an exemplary embodiment.
  • 24B is a diagram for explaining an operation of mapping a virtual object to a real space according to an embodiment.
  • 24C is a diagram for explaining an operation of mapping a 3D virtual object to a real space according to an embodiment.
  • 25A is a diagram for explaining an operation of displaying an execution screen of a wearable electronic device according to an exemplary embodiment.
  • 25B is a diagram for explaining an operation of mapping a virtual object to a real space according to an embodiment.
  • 25C is a diagram for explaining an operation of mapping a 3D virtual object to a real space according to an embodiment.
  • 25D is a diagram for explaining a 3D virtual object mapped to a real space according to an embodiment.
  • 26 is a flowchart illustrating a content update operation of an external electronic device and a wearable electronic device when an event occurs in the external electronic device according to an embodiment.
  • FIG. 27 is a flowchart illustrating an external electronic device and a content update operation of the wearable electronic device when an event occurs in the wearable electronic device according to an embodiment.
  • FIG. 1 is a block diagram of an electronic device 101 within a network environment 100, according to various embodiments.
  • an electronic device 101 communicates with an electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or through a second network 199. It may communicate with at least one of the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to one embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • a first network 198 eg, a short-range wireless communication network
  • the server 108 e.g, a long-distance wireless communication network
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or the antenna module 197 may be included.
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added.
  • some of these components eg, sensor module 176, camera module 180, or antenna module 197) are integrated into a single component (eg, display module 160). It can be.
  • the processor 120 for example, executes software (eg, the program 140) to cause at least one other component (eg, hardware or software component) of the electronic device 101 connected to the processor 120. It can control and perform various data processing or calculations. According to one embodiment, as at least part of data processing or operation, the processor 120 transfers instructions or data received from other components (e.g., sensor module 176 or communication module 190) to volatile memory 132. , process commands or data stored in the volatile memory 132, and store the resulting data in the non-volatile memory 134 (included in the internal memory 136 and/or the external memory 138).
  • software eg, the program 140
  • the processor 120 transfers instructions or data received from other components (e.g., sensor module 176 or communication module 190) to volatile memory 132. , process commands or data stored in the volatile memory 132, and store the resulting data in the non-volatile memory 134 (included in the internal memory 136 and/or the external memory 138).
  • the processor 120 may include a main processor 121 (eg, a central processing unit or an application processor) or a secondary processor 123 (eg, a graphic processing unit, a neural network processing unit ( NPU: neural processing unit (NPU), image signal processor, sensor hub processor, or communication processor).
  • a main processor 121 eg, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphic processing unit, a neural network processing unit ( NPU: neural processing unit (NPU), image signal processor, sensor hub processor, or communication processor.
  • NPU neural network processing unit
  • the secondary processor 123 may be implemented separately from or as part of the main processor 121 .
  • the secondary processor 123 may, for example, take the place of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is active (eg, running an application). ) state, together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display module 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the related functions or states.
  • the auxiliary processor 123 eg, image signal processor or communication processor
  • the auxiliary processor 123 may include a hardware structure specialized for processing an artificial intelligence model.
  • AI models can be created through machine learning. Such learning may be performed, for example, in the electronic device 101 itself where the artificial intelligence model is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning or reinforcement learning, but in the above example Not limited.
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the foregoing, but is not limited to the foregoing examples.
  • the artificial intelligence model may include, in addition or alternatively, software structures in addition to hardware structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101 .
  • the data may include, for example, input data or output data for software (eg, program 140) and commands related thereto.
  • the memory 130 may include volatile memory 132 or non-volatile memory 134 .
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
  • the input module 150 may receive a command or data to be used by a component (eg, the processor 120) of the electronic device 101 from the outside of the electronic device 101 (eg, a user).
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • a receiver may be used to receive an incoming call. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 may visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor set to detect a touch or a pressure sensor set to measure the intensity of force generated by the touch.
  • the audio module 170 may convert sound into an electrical signal or vice versa. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a bio sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 177 may support one or more designated protocols that may be used to directly or wirelessly connect the electronic device 101 to an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 may be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert electrical signals into mechanical stimuli (eg, vibration or motion) or electrical stimuli that a user may perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to one embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as at least part of a power management integrated circuit (PMIC), for example.
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). Establishment and communication through the established communication channel may be supported.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : a local area network (LAN) communication module or a power line communication module).
  • a wireless communication module 192 eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 eg, : a local area network (LAN) communication module or a power line communication module.
  • a corresponding communication module is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a telecommunications network such as a computer network (eg, a LAN or a WAN).
  • a telecommunications network such as a computer network (eg, a LAN or a WAN).
  • These various types of communication modules may be integrated as one component (eg, a single chip) or implemented as a plurality of separate components (eg, multiple chips).
  • the wireless communication module 192 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
  • subscriber information eg, International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the electronic device 101 may be identified or authenticated.
  • the wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, NR access technology (new radio access technology).
  • NR access technologies include high-speed transmission of high-capacity data (enhanced mobile broadband (eMBB)), minimization of terminal power and access of multiple terminals (massive machine type communications (mMTC)), or high reliability and low latency (ultra-reliable and low latency (URLLC)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low latency
  • -latency communications can be supported.
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • the wireless communication module 192 uses various technologies for securing performance in a high frequency band, such as beamforming, massive multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. Technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna may be supported.
  • the wireless communication module 192 may support various requirements defined for the electronic device 101, an external electronic device (eg, the electronic device 104), or a network system (eg, the second network 199).
  • the wireless communication module 192 is a peak data rate for eMBB realization (eg, 20 Gbps or more), a loss coverage for mMTC realization (eg, 164 dB or less), or a U-plane latency for URLLC realization (eg, Example: downlink (DL) and uplink (UL) each of 0.5 ms or less, or round trip 1 ms or less) may be supported.
  • eMBB peak data rate for eMBB realization
  • a loss coverage for mMTC realization eg, 164 dB or less
  • U-plane latency for URLLC realization eg, Example: downlink (DL) and uplink (UL) each of 0.5 ms or less, or round trip 1 ms or less
  • the antenna module 197 may transmit or receive signals or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator formed of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is selected from the plurality of antennas by the communication module 190, for example. can be chosen A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC) may be additionally formed as a part of the antenna module 197 in addition to the radiator.
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first surface (eg, a lower surface) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, array antennas) disposed on or adjacent to a second surface (eg, a top surface or a side surface) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • all or part of operations executed in the electronic device 101 may be executed in one or more external electronic devices among the external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 when the electronic device 101 needs to perform a certain function or service automatically or in response to a request from a user or another device, the electronic device 101 instead of executing the function or service by itself.
  • one or more external electronic devices may be requested to perform the function or at least part of the service.
  • One or more external electronic devices receiving the request may execute at least a part of the requested function or service or an additional function or service related to the request, and deliver the execution result to the electronic device 101 .
  • the electronic device 101 may provide the result as at least part of a response to the request as it is or additionally processed.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an internet of things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks. According to one embodiment, the external electronic device 104 or server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to intelligent services (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • FIG. 2 is a perspective view of an electronic device 200 (eg, the electronic device 101 of FIG. 1 ) according to an embodiment.
  • the electronic device 200 is a wearable electronic device in the form of glasses, and a user can visually recognize surrounding objects or environments while wearing the electronic device 200 .
  • the electronic device 200 may be a head mounting device (HMD) or smart glasses capable of providing an image directly in front of the user's eyes.
  • the configuration of the electronic device 200 of FIG. 2 may be entirely or partially the same as that of the electronic device 101 of FIG. 1 .
  • the electronic device 200 may include a housing 210 forming an exterior of the electronic device 200 .
  • the housing 210 may provide a space in which components of the electronic device 200 may be disposed.
  • the housing 210 may include a lens frame 202 and at least one wearing member 203 .
  • the electronic device 200 may include at least one display member 201 capable of providing visual information to a user.
  • the display member 201 may include a module equipped with a lens, a display, a waveguide, and/or a touch circuit.
  • the display member 201 may be formed to be transparent or translucent.
  • the display member 201 may include glass made of a translucent material or a window member capable of adjusting light transmittance according to color concentration control.
  • the display members 201 may be provided as a pair and disposed to correspond to the user's left and right eyes, respectively, while the electronic device 200 is worn on the user's body.
  • the lens frame 202 may accommodate at least a portion of the display member 201 .
  • the lens frame 202 may surround at least a portion of an edge of the display member 201 .
  • the lens frame 202 may position at least one of the display members 201 to correspond to the user's eyes.
  • the lens frame 202 may be the rim of a typical eyeglass structure.
  • the lens frame 202 may include at least one closed curve surrounding the display member 201 .
  • the wearing member 203 may extend from the lens frame 202 .
  • the wearing member 203 extends from an end of the lens frame 202 and, together with the lens frame 202, may be supported or positioned on the user's body (eg, ear).
  • the wearing member 203 may be rotatably coupled with respect to the lens frame 202 via a hinge structure 229 .
  • the wearing member 203 may include an inner side surface 231c configured to face the user's body and an outer side surface 231d opposite to the inner side surface.
  • the electronic device 200 may include a hinge structure 229 configured to fold the wearing member 203 relative to the lens frame 202 .
  • the hinge structure 229 may be disposed between the lens frame 202 and the wearing member 203 .
  • the user may carry or store the wearing member 203 by folding the lens frame 202 such that a portion thereof overlaps with the lens frame 202 .
  • FIG. 3 is a first perspective view illustrating an internal configuration of an electronic device according to various embodiments.
  • 4 is a second perspective view illustrating an internal configuration of an electronic device according to various embodiments.
  • 5 is an exploded perspective view of an electronic device according to various embodiments.
  • the electronic device 200 includes components accommodated in a housing 210 (eg, at least one circuit board 241 (eg, a printed circuit board (PCB)), a printed board (PBA)). assembly), a flexible PCB (FPCB) or a rigid-flexible PCB (RFPCB), at least one battery 243, at least one speaker module 245 including a speaker, at least one power delivery structure 246, and A camera module 250 including a camera may be included.
  • the configuration of the housing 210 of FIGS. 3 and 4 may be the same in whole or in part as the configurations of the display member 201, the lens frame 202, the wearing member 203, and the hinge structure 229 of FIG. 2 . there is.
  • the electronic device 200 uses a camera module 250 (eg, the camera module 180 of FIG. 1 including at least a camera) to be viewed by the user or directed by the electronic device 200.
  • a camera module 250 eg, the camera module 180 of FIG. 1 including at least a camera
  • Information about objects or environments may be provided from electronic devices (eg, the electronic devices 102 and 104 or the server 108 of FIG. 1 ).
  • the electronic device 200 may provide the user with information about objects or environments in a sound or visual form.
  • the electronic device 200 provides information about objects or environments to the user through the display member 201 in a visual form using a display module (eg, the display module 160 of FIG. 1 including at least a display).
  • a display module eg, the display module 160 of FIG. 1 including at least a display.
  • the electronic device 200 may implement augmented reality by implementing information about an object or environment in a visual form and combining it with a real image of a user's surrounding environment.
  • the display member 201 has a first surface F1 facing a direction in which external light is incident (eg, -Y direction) and a direction opposite to the first surface F1 (eg, +Y direction). direction) may include a second surface (F2) facing. While the user is wearing the electronic device 200, at least a portion of the light or image incident through the first surface F1 is directed to the second portion of the display member 201 disposed to face the left and/or right eyes of the user. It may pass through the surface F2 and enter the user's left eye and/or right eye.
  • the lens frame 202 may include at least two or more frames.
  • the lens frame 202 may include a first frame 202a and a second frame 202b.
  • the first frame 202a is a frame facing the user's face
  • the second frame 202b is attached to the first frame 202a. It may be a part of the lens frame 202 spaced apart in the direction of the user's gaze (eg, -Y direction) with respect to the user.
  • the light output module 211 may provide images and/or videos to the user.
  • the light output module 211 includes a display panel (not shown) capable of outputting an image, and a lens (not shown) corresponding to the user's eyes and guiding the image to the display member 201. can do.
  • a user may acquire an image output from a display panel of the light output module 211 through a lens of the light output module 211 .
  • the light output module 211 may include a device configured to display various types of information.
  • the light output module 211 may include a liquid crystal display (LCD), a digital mirror device (DMD), a liquid crystal on silicon (LCoS), an organic light emitting diode It may include at least one of (organic light emitting diode, OLED) or micro LED (micro light emitting diode, micro LED).
  • OLED organic light emitting diode
  • micro LED micro light emitting diode
  • the electronic device 200 may generate light A light source radiating light to the display area of the output module 211 and/or the display member 201 may be included.
  • the light output module 211 and/or the display member 201 includes one of an organic light emitting diode and a micro LED
  • the electronic device 200 does not include a separate light source and provides information to the user.
  • a virtual image can be provided.
  • the light output module 211 may be disposed within the housing 210 .
  • the light output module 211 may be disposed on the wearing member 203 or the lens frame 202 to correspond to the user's right eye and left eye, respectively.
  • the light output module 211 may be connected to the display member 201 and provide an image to a user through the display member 201 .
  • an image output from the light output module 211 is incident on the display member 201 through an input optical member positioned at one end of the display member 201, and is positioned on at least a portion of the display member 201. It can be radiated toward the user's eyes through a waveguide and an output optical member.
  • the waveguide may be made of glass, plastic, or polymer, and may include a nanopattern formed on an inner or outer surface, for example, a polygonal or curved grating structure. there is.
  • the waveguide may include at least one of at least one diffractive element (eg, a diffractive optical element (DOE) or a holographic optical element (HOE)) or a reflective element (eg, a reflective mirror).
  • DOE diffractive optical element
  • HOE holographic optical element
  • the circuit board 241 may include components for driving the electronic device 200 .
  • the circuit board 241 may include at least one integrated circuit chip, and may include the processor 120, memory 130, power management module 188, or communication module of FIG. 1 . At least one of 190 may be provided on the integrated circuit chip.
  • the circuit board 241 may be disposed within the wearing member 203 of the housing 210 .
  • the circuit board 241 may be electrically connected to the battery 243 through the power delivery structure 246 .
  • the circuit board 241 is connected to the flexible printed circuit board 205, and through the flexible printed circuit board 205, electronic components of an electronic device (eg, optical including circuits) )/Electrical signals may be transmitted to the light output module 211, the camera module 250, and the light emitting unit
  • the circuit board 241 may be an interposer board.
  • each “module” may include a circuit.
  • the flexible printed circuit board 205 may extend from the circuit board 241 across the hinge structure 229 into the interior of the lens frame 202, and from the interior of the lens frame 202. It may be disposed on at least a part of the circumference of the display member 201 .
  • the battery 243 (eg, the battery 189 of FIG. 1 ) is a component of the electronic device 200 (eg, the light/light output module 211, the circuit board 241, the speaker module ( 245), the microphone module 247, and/or the camera module 250), and can supply power to parts of the electronic device 200.
  • the battery 243 may be disposed on the wearing member 203 .
  • the battery 243 may be disposed adjacent (directly or indirectly) to the ends 203a and 203b of the wearing member 203 .
  • the battery 243 may include a first battery 243a disposed at the first end 203a of the wearing member 203 and a second battery 243b disposed at the second end 203b. there is.
  • the speaker module 245 (eg, the audio module 170 or the sound output module 155 of FIG. 1 , including at least one speaker) converts an electrical signal into sound.
  • At least a portion of the speaker module 245 may be disposed within the wearing member 203 of the housing 210 .
  • the speaker module 245 may be positioned within the wearing member 203 to correspond to the user's ear.
  • the speaker module 245 may be disposed on the circuit board 241 .
  • the speaker module 245 may be disposed between the circuit board 241 and an inner case (eg, the inner case 231 of FIG. 5 ).
  • the speaker module 245 may be disposed next to the circuit board 241 .
  • the speaker module 245 may be disposed between the circuit board 241 and the battery 243 .
  • the electronic device 200 may include a speaker module 245 and a connection member 248 connected to the circuit board 241 .
  • the connecting member 248 may transmit at least a part of sound and/or vibration generated by the speaker module 245 to the circuit board 241 .
  • the connection member 248 may be integrally formed with the speaker module 245 .
  • a portion extending from the speaker frame of the speaker module 245 may be interpreted as a connecting member 248 .
  • the connecting member 248 may be omitted.
  • the connecting member 248 may be omitted.
  • the power transmission structure 246 may transfer power of the battery 243 to an electronic component (eg, the light output module 211) of the electronic device 200 .
  • the power transmission structure 246 is electrically connected to the battery 243 and/or the circuit board 241, and the circuit board 241 outputs power received through the power transmission structure 246 to an optical output. It can be forwarded to module 211.
  • the power delivery structure 246 may be a configuration capable of transmitting power.
  • power delivery structure 246 may include a flexible printed circuit board or wire.
  • the wire may include a plurality of cables (not shown).
  • the shape of the power transmission structure 246 may be variously modified in consideration of the number and/or type of cables.
  • the microphone module 247 may convert sound into an electrical signal.
  • the microphone module 247 may be disposed on at least a part of the lens frame 202 .
  • at least one microphone module 247 may be disposed at a lower end (eg, in a direction toward the -X axis) and/or an upper end (eg, in a direction toward the X axis) of the electronic device 200 .
  • the electronic device 200 can more clearly recognize the user's voice using voice information (eg, sound) obtained from at least one microphone module 247 .
  • the electronic device 200 may distinguish voice information from ambient noise based on acquired voice information and/or additional information (eg, low-frequency vibration of the user's skin and bones). For example, the electronic device 200 can clearly recognize the user's voice and perform a function (eg, noise canceling) to reduce ambient noise.
  • additional information eg, low-frequency vibration of the user's skin and bones.
  • the electronic device 200 can clearly recognize the user's voice and perform a function (eg, noise canceling) to reduce ambient noise.
  • the camera module 250 may capture still images and/or moving images.
  • the camera module 250 may include at least one of a lens, at least one image sensor, an image signal processor, or a flash.
  • the camera module 250 may be disposed within the lens frame 202 and disposed around the display member 201 .
  • the camera module 250 may include at least one first camera module 251 .
  • the first camera module 251 may capture the trace of the user's eyes (eg, pupils) or gaze.
  • the first camera module 251 may capture a reflection pattern of light emitted from the light emitting unit to the user's eyes.
  • the light emitting unit may emit light in an infrared band for tracking a line of sight using the first camera module 251 .
  • the light emitting unit may include an IR LED.
  • the processor eg, the processor 120 of FIG. 1
  • the processor may adjust the position of the virtual image projected on the display member 201 so that it corresponds to the direction in which the user's eyes gaze.
  • the first camera module 251 may include a global shutter (GS) camera, and the user's eyes or The trajectory of the gaze can be traced.
  • GS global shutter
  • the first camera module 251 periodically or aperiodically transmits information (eg, trajectory information) related to the trajectory of the user's eyes or gaze to a processor (eg, the processor 120 of FIG. 1 ). can be sent to
  • information eg, trajectory information
  • the first camera module 251 detects that the user's gaze has changed based on the trajectory information (eg, the eyes move more than a reference value while the head is not moving)
  • the first camera module 251 converts the trajectory information to the processor can be sent to
  • the camera module 250 may include a second camera module 253.
  • the second camera module 253 may capture an external image.
  • the second camera module 253 may be a global shutter type camera or a rolling shutter (RS) type camera.
  • the second camera module 253 may capture an external image through the second optical hole 223 formed in the second frame 202b.
  • the second camera module 253 may include a high resolution color camera and may be a high resolution (HR) or photo video (PV) camera.
  • the second camera module 253 may provide an auto focus (AF) function and an optical image stabilizer (OIS) function.
  • AF auto focus
  • OIS optical image stabilizer
  • the electronic device 200 may include a flash (not shown) disposed adjacent to (directly or indirectly) the second camera module 253 .
  • a flash may provide light for increasing the brightness (eg, illuminance) around the electronic device 200 when acquiring an external image of the second camera module 253, in a dark environment, It is possible to reduce difficulty in obtaining an image due to mixing of various light sources and/or reflection of light.
  • the camera module 250 may include at least one third camera module 255 .
  • the third camera module 255 may capture a motion of the user through the first optical hole 221 formed in the lens frame 202 .
  • the third camera module 255 may capture a user's gesture (eg, hand motion).
  • the third camera module 255 and/or the first optical hole 221 are both side ends of the lens frame 202 (eg, the second frame 202b), for example, the lens frame 202 in the X direction. (eg, may be disposed at both ends of the second frame 202b).
  • the third camera module 255 may be a global shutter (GS) camera.
  • GS global shutter
  • the third camera module 255 is a camera supporting 3 degrees of freedom (3DoF) or 6DoF to provide 360-degree space (eg, omnidirectional), location recognition, and/or movement recognition.
  • the third camera module 255 is a stereo camera, and uses a plurality of global shutter type cameras having the same standard and performance to perform simultaneous localization and mapping (SLAM) and user motion recognition. function can be performed.
  • the third camera module 255 may include an infrared (IR) camera (eg, a time of flight (TOF) camera or a structured light camera).
  • the IR camera may operate as at least a part of a sensor module (eg, the sensor module 176 of FIG. 1 ) for detecting a distance to a subject.
  • the first camera module 251 and the third camera module 255 may be replaced with a sensor module (eg, the sensor module 176 of FIG. 1 ).
  • the sensor module may include at least one of a vertical cavity surface emitting laser (VCSEL), an infrared sensor, and/or a photodiode.
  • the photodiode may include a positive intrinsic negative (PIN) photodiode or an avalanche photodiode (APD).
  • PIN positive intrinsic negative
  • APD avalanche photodiode
  • the photo diode may be referred to as a photo detector or a photo sensor.
  • At least one of the first camera module 251 , the second camera module 253 , and the third camera module 255 may include a plurality of camera modules (not shown).
  • the second camera module 253 is composed of a plurality of lenses (eg, wide-angle and telephoto lenses) and image sensors and is disposed on one side (eg, the side facing the -Y axis) of the electronic device 200. It can be.
  • the electronic device 200 may include a plurality of camera modules each having a different property (eg, angle of view) or function, and the angle of view of the camera module may be changed based on user selection and/or trajectory information. can be controlled to
  • at least one of the plurality of camera modules may be a wide-angle camera and at least the other may be a telephoto camera.
  • a processor acquires data using at least one of a gesture sensor, a gyro sensor, or an acceleration sensor of a sensor module (eg, the sensor module 176 of FIG. 1 ). Movement of the electronic device 200 using the information of one electronic device 200 and the user's motion acquired using the third camera module 255 (eg, the user's body approaching the electronic device 200) and/or determine the user's movement.
  • the electronic device 200 may use a magnetic (geomagnetic) sensor capable of measuring a direction using a magnetic field and magnetic force in addition to the above-described sensor, and/or motion information (eg, movement) using the strength of a magnetic field. direction or moving distance) may be included.
  • the processor may determine the movement of the electronic device 200 and/or the movement of the user based on information obtained from a magnetic (geomagnetic) sensor and/or a hall sensor.
  • the electronic device 200 may perform an input function capable of interacting with a user (eg, a touch and/or pressure sensing function).
  • a component configured to perform a touch and/or pressure sensing function eg, a touch sensor and/or a pressure sensor
  • the electronic device 200 may control a virtual image output through the display member 201 based on the information obtained through the components.
  • sensors related to touch and/or pressure sensing may be of the resistive type, capacitive type, electro-magnetic type (EM), or optical type.
  • EM electro-magnetic type
  • components configured to perform the touch and/or pressure sensing function may be all or partly the same as those of the input module 150 of FIG. 1 .
  • the electronic device 200 may include a reinforcing member 260 disposed in an inner space of the lens frame 202 and having a rigidity higher than that of the lens frame 202 .
  • the electronic device 200 may include a lens structure 270 .
  • the lens structure 270 may refract at least a portion of light.
  • the lens structure 270 may be a prescription lens having a specified refractive power.
  • the housing 210 may include a hinge cover 227 capable of concealing a portion of the hinge structure 229 . Another part of the hinge structure 229 may be accommodated or concealed between an inner case 231 and an outer case 233 to be described later.
  • the wearing member 203 may include an inner case 231 and an outer case 233 .
  • the inner case 231 is, for example, a case configured to face the user's body or directly contact the user's body, and may be made of a material having low thermal conductivity, for example, synthetic resin.
  • the inner case 231 may include an inner side facing the user's body (eg, the inner side 231c in FIG. 2 ).
  • the outer case 233 includes, for example, a material capable of at least partially transferring heat (eg, a metal material), and may be coupled to face the inner case 231 .
  • the outer case 233 may include an outer side opposite to the inner side 231c (eg, the outer side 231d of FIG.
  • the inner case 231 includes a first case 231a including the circuit board 241 and/or the speaker module 245 and a second case 231b accommodating the battery 243.
  • the outer case 233 may include a third case 233a coupled to face the first case 231a and a fourth case 233b coupled to face the second case 231b.
  • the first case 231a and the third case 233a are coupled (hereinafter referred to as 'first case portions 231a and 233a') to accommodate the circuit board 241 and/or the speaker module 245.
  • the second case 231b and the fourth case 233b may be coupled (hereinafter referred to as 'second case parts 231b and 233b') to accommodate the battery 243 .
  • the first case portions 231a and 233a are rotatably coupled to the lens frame 202 through a hinge structure 229, and the second case portions 231b and 233b are coupled to the connection structure 235 It may be connected to or mounted to the ends of the first case parts 231a and 233a through.
  • a portion of the connection structure 235 that comes into contact with the user's body may be made of a material with low thermal conductivity, for example, an elastic material such as silicone, polyurethane, or rubber.
  • a part that does not come into contact with the user's body may be made of a material with high thermal conductivity (eg, a metal material).
  • connection structure 235 blocks the transfer of heat to a part in contact with the user's body and dissipates the heat through the part not in contact with the user's body. may be dispersed or released.
  • connection structure 235 configured to come into contact with the user's body may be interpreted as a part of the inner case 231, and a portion of the connection structure 235 that does not contact the user's body may be interpreted as an outer case ( 233) can be interpreted as part of
  • the first case 231a and the second case 231b are integrally configured without a connection structure 235, and the third case 233a and the fourth case 233b are connected. It may be integrally configured without structure 235 .
  • other components eg, the antenna module 197 of FIG. 1 including at least an antenna
  • the communication module 190 including a communication circuit may be used.
  • an object is transmitted from an external electronic device (eg, the electronic device 102 or 104 or the server 108 in FIG. 1) through a network (eg, the first network 198 or the second network 199 in FIG. 1). Or you can be provided with information about the environment.
  • an external electronic device eg, the electronic device 102 or 104 or the server 108 in FIG. 1
  • a network eg, the first network 198 or the second network 199 in FIG.
  • FIG. 6 is a flowchart illustrating an operation of displaying a virtual object of an electronic device according to an exemplary embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2
  • an application The execution screen of may be displayed on a display (eg, the display module 160 of FIG. 1 or the display member 201 of FIG. 2 each including at least a display).
  • the electronic device may display an application list including a plurality of application icons on the display.
  • an application execution screen corresponding to the selected icon is displayed. can be shown on the display.
  • the electronic device displays a plurality of contents included in the execution screen of the application through a camera (eg, the camera module 180 in FIG. 1 or the third camera module 255 in FIG. 3).
  • a camera eg, the camera module 180 in FIG. 1 or the third camera module 255 in FIG. 3
  • a first virtual object related to the selected content may be displayed on the display.
  • the first user input may be a pinch motion in which the user picks up the content using a thumb and forefinger.
  • the electronic device may display a first virtual object related to the selected content on the display.
  • the first user input may be a gesture input such as a touch operation other than a pinch operation, and the gesture input is not limited to a pinch operation or a touch operation.
  • the first user input is not limited to a gesture input and may include a voice input and/or gaze tracking.
  • an operation of mapping a virtual object to a real object through voice input and/or eye tracking will be described with reference to FIGS. 10A to 10G.
  • the first virtual object may be in the form of a panel or a 3D virtual object.
  • the shape of the first virtual object may be set during manufacture or may be set by a user's manipulation.
  • the electronic device when the first virtual object is in the form of a panel, the electronic device generates a first virtual object in the form of a closed curve (eg, a figure such as a rectangle, circle, rounded rectangle, or ellipse) that is distinguished from an application execution screen, and 1 Selected content information can be displayed on the virtual object.
  • a closed curve eg, a figure such as a rectangle, circle, rounded rectangle, or ellipse
  • the shape of the 3D virtual object may be determined based on the type of application. For example, when the execution screen is an execution screen of a calendar application, the first virtual object may have a desk calendar shape, and when the execution screen is an alarm application, the first virtual object may have a desk clock shape.
  • the shape of a 3D virtual object for each application may be mapped and stored in a memory (eg, the memory 130 of FIG. 1 ).
  • FIGS. 9A and 9B an operation of displaying a first virtual object related to content selected based on a first user input will be described with reference to FIGS. 9A and 9B.
  • the electronic device in operation 630, includes the first virtual object in the real space through a camera (eg, the camera module 180 of FIG. 1 or the third camera module 255 of FIG. 3).
  • a camera eg, the camera module 180 of FIG. 1 or the third camera module 255 of FIG. 3
  • the type of object in the real space is determined through at least one sensor (eg, the sensor module 176 in FIG. 1 or the second camera module 253 in FIG. 3). can be identified.
  • the second user input may include a gesture input for moving the first virtual object and a gesture input for releasing the object included in the real space.
  • the second user input is not limited thereto, and may be a gesture input for mapping the first virtual object and an object included in the real space by selecting the first virtual object and selecting an object included in the real space. .
  • the second user input is not limited to a gesture input and may include a voice input and/or eye tracking.
  • an operation of mapping a virtual object to a real object through voice input and/or eye tracking will be described with reference to FIGS. 10A to 10G.
  • the electronic device is an object from which a first virtual object is released from among a plurality of objects located in a real space through at least one sensor (eg, a camera (eg, the second camera module 253 of FIG. 3)). type can be identified.
  • a sensor eg, a camera (eg, the second camera module 253 of FIG. 3)
  • the electronic device identifies the existence of a plurality of objects located in a real space through at least one sensor (eg, the sensor module 176 of FIG. 1 (eg, depth of field (DoF), Lidar)). And, a plurality of icons indicating that the first virtual object can be mapped may be displayed on each of the plurality of objects located in the real space.
  • a camera eg, the third camera module 255 of FIG. 3 and/or the second camera module
  • the type of object can be identified.
  • each “camera module” includes a circuit and/or a camera.
  • an operation of displaying an icon on each of a plurality of objects in a real space may be a selective operation.
  • the electronic device determines whether the type of object in the real space is the selected content or the first virtual object.
  • the first virtual object may be changed and displayed according to whether it is related to the virtual object.
  • the operation of the electronic device when a second user input releasing the first virtual object to the object in the real space is received in a state in which the icon of the object in the real space is not displayed is as described in operation 640 below. Let's explain in detail.
  • an operation of displaying an icon on a plurality of objects located in a real space will be described with reference to FIG. 13B.
  • the electronic device obtains an image of the object in the real space to which the first virtual object is mapped through a camera, and stores the image of the object in the real space in a memory (eg, the memory 130 of FIG. 1 ).
  • the type of object included in the real space can be determined.
  • the artificial intelligence model may be learned by using the type of object and a plurality of shapes of the corresponding object as input data.
  • the electronic device may store information related to a plurality of shapes for each object in a memory, and determine an object having the highest similarity to an object in the real space among a plurality of objects stored in the memory as the type of object in the real space.
  • the degree of similarity may be determined based on at least one of a shape of an object or information included in the object.
  • the shape of an object may mean a shape of a boundary of an object, and may include a 2D shape and a 3D shape.
  • information included in an object may include at least one of text information and image information.
  • the operation of identifying the type of object in the real space is performed in the electronic device, but according to an embodiment, the image of the object in the real space is transmitted to a server (eg, the server 108 of FIG. 1)
  • the server may identify the type of object in the real space, and the server may transmit the identification result to the electronic device.
  • the electronic device determines information included in the object in the real space, the shape, location, or location of the object in the real space. Based on at least one of the sizes, a second virtual object related to the selected content may be displayed on the display.
  • the electronic device assigns the second virtual object to at least part of the object in the real space or around the object in the real space.
  • the second virtual object may include selected content information.
  • the electronic device may analyze an object in the real space and confirm that the object in the real space to which the first virtual object is mapped is related to the selected content or the first virtual object.
  • the electronic device selects an object in the real space to which the first virtual object is mapped based on at least one of information included in the object in the real space and the shape, size, or location of the object in the real space. It can be confirmed that it is related to the content or the first virtual object.
  • information included in an object in a real space may include at least one of text information and image information.
  • the electronic device can determine whether it is a monthly calendar or a daily calendar through character information written on the calendar, and whether the actual calendar is a monthly calendar.
  • Information included in the second virtual object and a display position of the second virtual object may vary depending on whether the second virtual object is a calendar.
  • the electronic device may determine whether the watch is an analog watch or a digital watch through text information written on the watch, and depending on whether the real watch is an analog watch or a digital watch, the electronic device may determine whether the watch is an analog watch or a digital watch.
  • Information included in the virtual object and a display position of the second virtual object may be different.
  • the electronic device may display the changed second virtual object on at least one of a part of the object in the real space and its surroundings.
  • an operation of the electronic device when the type of object in the real space to which the first virtual object is mapped is related to the selected content or the first virtual object will be described with reference to FIGS. 13A and 14 .
  • the electronic device may display a third virtual object in the form of a 3D object related to the selected content on the display.
  • the electronic device may determine the shape of the third object based on the type of object in the real space to which the first virtual object is mapped.
  • the electronic device may display a third virtual object in the form of a desktop calendar.
  • the object of the real space to which the first virtual object is mapped is a wall
  • a third virtual object in the form of a wall-mounted calendar may be displayed.
  • the shape of the third virtual object may be a watch shape, an emoji shape, a memo paper shape, or a note shape in addition to a calendar shape.
  • the electronic device when a user input for moving the displayed third virtual object is received, analyzes an object in a real space where the third object is newly placed, and selects a third object based on the object in the real space. It can be changed to the fourth object. For example, when an object in a real space to which the first virtual object is mapped is a desk, a third virtual object in the form of a desktop calendar may be displayed. Thereafter, when a user input for moving the third virtual object to the wall is received, the electronic device can display the third virtual object in the form of a desk calendar and the fourth virtual object changed in the form of a wall calendar at the newly arranged location.
  • an operation of determining the shape of the third object according to the type of object in the real space to which the first virtual object is mapped will be described with reference to FIGS. 9C and 9D .
  • the third virtual object may further include content information displayed around the 3D virtual object.
  • a third virtual object that further includes content information displayed around a 3D virtual object will be described with reference to FIG. 11 .
  • the shape of the third virtual object and the shape of the first virtual object may be the same.
  • the shape of the third object may be the same as that of the first virtual object.
  • the shape of the first virtual object and the shape of the third virtual object may be different depending on the type of object in the real space to which the first virtual object is mapped. .
  • the form of the third virtual object may be changed to a wall-mounted calendar form.
  • the electronic device displays an execution screen of an application related to the selected content to the second virtual object or the third virtual object. 3 Can be displayed around virtual objects.
  • an operation of displaying an application execution screen according to selection of the second virtual object or the third virtual object will be described below with reference to FIGS. 12A and 12B.
  • the electronic device detects the user's gaze through at least one second sensor (eg, the sensor module 176 of FIG. 1 or the first camera module 251 of FIG. 3 ), and the detected user
  • the second virtual object or the third virtual object may be displayed on the display based on the line of sight of the virtual object toward the object in the real space to which the virtual object is mapped.
  • the electronic device may delete part of the second virtual object or part of the third virtual object based on the fact that the detected user's gaze does not face the object in the real space to which the virtual object is mapped.
  • the electronic device may detect the user's gaze If the virtual object does not face the mapped object in the real space, content information displayed around the object in the real space or content information displayed around the 3D virtual object shape may be deleted.
  • the electronic device may update the second virtual object or the third virtual object based on information of the event.
  • an event related to the selected content may be generated by an electronic device or an external electronic device (eg, the electronic device 104 of FIG. 1 ).
  • the electronic device may change the shape of the second virtual object or the third virtual object based on the information of the occurred event. An operation of changing the shape of the second virtual object or the third virtual object according to an embodiment will be described below with reference to FIG. 18C.
  • the electronic device may update the second virtual object or the third virtual object based on information about the event received from the external electronic device. .
  • an operation when an event related to selected content occurs in an external electronic device will be described with reference to FIG. 26 .
  • the electronic device when identifying that an event related to the second virtual object or the third virtual object occurs through the camera, the electronic device sends a communication module (eg, the communication module 190 of FIG. 1 including a communication circuit). Through this, it is possible to check whether or not a connection with an external electronic device (eg, the electronic device 104 of FIG. 1 ) is established. Based on the connection with the external electronic device being confirmed, information about the event may be transmitted to the external electronic device through the communication module.
  • a communication module eg, the communication module 190 of FIG. 1 including a communication circuit.
  • an operation when an event related to selected content occurs in an electronic device will be described below with reference to FIG. 27 .
  • an operation of mapping a virtual object to a real object may be applied to each application that can be implemented in an electronic device. 7 to 14 for the calendar application, FIGS. 15 to 18c for the alarm application, FIGS. 19a to 19d for the memo application, and FIGS. 19a to 19d for the operation for the contact application. 20a to 21c, operations applied to the message application to FIGS. 22a to 23f, operations applied to the weather application to FIGS. 24a to 24c, and operations applied to the photo application to be described with reference to FIGS. 25a to 25d. do it with
  • FIG. 7 is a diagram for explaining an operation of displaying an execution screen of an electronic device according to an exemplary embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2 ) displays a plurality of application icons.
  • the included application list 710 may be displayed on a display (eg, the display module 160 of FIG. 1 or the display member 201 of FIG. 2 ).
  • each “processor” includes a processing circuit.
  • the electronic device may display an application execution screen 720 corresponding to the selected icon on the display.
  • the electronic device is a user for selecting one icon 711 from the application list 710 through a camera (eg, the camera module 180 of FIG. 1 or the third camera module 255 of FIG. 3 ).
  • the execution screen 720 of the application may be displayed on a display (eg, the display module 160 of FIG. 1 or the display member 201 of FIG. 2).
  • the electronic device may display the execution screen 720 of the calendar application on the display.
  • FIG. 8 is a diagram for explaining a content selection operation of an electronic device according to an exemplary embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2 ) displays a display (eg, the electronic device 101 of FIG. 1 ).
  • a user input for selecting one content 810 from among a plurality of contents included in the application execution screen displayed on the display module 160 of FIG. 1 or the display member 201 of FIG. 2 may be received.
  • a user input for selecting one piece of content may be a gesture input such as a pinch action of picking up the content with the user's thumb and forefinger or a touch action of pressing the content.
  • a gesture input such as a pinch operation or a touch operation for selecting content such as a specific date 810 may be received on the execution screen of the calendar application.
  • a gesture input is not limited to a pinch operation or a touch operation.
  • the electronic device may display a virtual object related to the selected content 810 on the display. there is.
  • a virtual object displayed according to content selection may be in the form of a panel or a 3D virtual object.
  • the shape of a virtual object displayed according to content selection may be set at the time of manufacture or by a user's manipulation.
  • a virtual object displayed according to content selection is in the form of a 3D virtual object will be described below with reference to FIG. 9B.
  • 9A is a diagram for explaining a display operation of a virtual object according to a content selection operation according to an exemplary embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2 ) displays a display (eg, the electronic device 101 of FIG. 1 ).
  • a display eg, the electronic device 101 of FIG. 1
  • a panel type distinguished from the execution screen of the application A virtual object 910 of may be displayed.
  • the electronic device may display a virtual object 910 in the form of a pop-up or floating panel on an execution screen of an application.
  • the virtual object displayed according to content selection when a virtual object displayed according to content selection is in the form of a panel, the virtual object may be in the form of a closed curve (eg, a figure such as a rectangle, a circle, a rounded rectangle, or an ellipse).
  • a closed curve eg, a figure such as a rectangle, a circle, a rounded rectangle, or an ellipse.
  • the electronic device may display selected content information in a virtual object in the form of a closed curve. For example, when a user input for selecting a specific date is received in the calendar application, the electronic device may display schedule information, which is content information of the specific date, in a virtual object in the form of a panel.
  • 9B is a diagram for explaining a display operation of a virtual object according to a content selection operation according to an exemplary embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2 ) displays a display (eg, the electronic device 101 of FIG. 1 ).
  • a display eg, the electronic device 101 of FIG. 1
  • a 3D virtual screen that is distinguished from the execution screen of the application
  • a virtual object 920 in the form of an object may be displayed.
  • the electronic device may display a pop-up or floating virtual object 920 in the form of a 3D virtual object on the execution screen of the application.
  • the shape of the 3D virtual object may be determined based on the type of application. For example, when the execution screen is an execution screen of a calendar application, the virtual object may have a desktop calendar shape. When the execution screen is an alarm application, the virtual object may have a table clock shape. According to an embodiment, the shape of a 3D virtual object for each application may be mapped and stored in a memory (eg, the memory 130 of FIG. 1 ).
  • a virtual object in the form of a panel shown in FIG. 9A or a 3D virtual object shown in FIG. 9B is displayed according to content selection, but according to an embodiment, the panel form shown in FIG. 9A according to content selection If a gesture moving while maintaining a pinch operation after displaying is input, the virtual object may be changed to a virtual object in the form of a 3D virtual object shown in FIG. 9B.
  • 9C is a diagram for explaining an operation in which a 3D virtual object is mapped to a real space independent of content according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2
  • the shape of the virtual object 930 may be determined based on the type of the object 940 in the real space.
  • the electronic device may display the virtual object 930 as a 3D virtual object in the form of a desktop calendar.
  • the virtual object 930 may be a 3D virtual object in the form of a desktop calendar including a panel containing content information.
  • the virtual object 930 is shown in the form of a 3D virtual object in FIG. 9C, according to an embodiment, when the virtual object in the form of a panel is moved and mapped to an object in a real space, the type of selected content and the type of object in the real space Based on the type, it may be changed into a 3D virtual object form.
  • 9D is a diagram for explaining an operation in which a 3D virtual object is mapped to a real space independent of content according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2
  • the virtual object 950 may be displayed as a 3D virtual object in the form of a wall-mounted calendar.
  • the virtual object 950 may be a 3D virtual object in the form of a wall-mounted calendar including a panel containing content information.
  • FIGS. 10A to 10G show and describe mapping a virtual object to an object in a real space through a user's gesture input, but the electronic device maps a virtual object to an object in a real space through a user's voice input and/or eye tracking. Mapping may also be performed, which will be described below with reference to FIGS. 10A to 10G.
  • 10A is a diagram for explaining an operation of mapping a virtual object to a real space according to an exemplary embodiment.
  • 10B is a diagram for explaining an operation of mapping a virtual object to a real space according to an exemplary embodiment.
  • 10C is a diagram for explaining an operation of mapping a virtual object to a real space according to an exemplary embodiment.
  • 10D is a diagram for explaining an operation of mapping a virtual object to a real space according to an exemplary embodiment.
  • 10E is a diagram for explaining an operation of mapping a virtual object to a real space according to an exemplary embodiment.
  • 10F is a diagram for explaining an operation of mapping a virtual object to a real space according to an embodiment.
  • 10G is a diagram for explaining an operation of mapping a virtual object to a real space according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2 ) displays a display (eg, the electronic device 101 of FIG. 1 ). While the application execution screen 1010 is displayed on the display module 160 of FIG. 1 or the display member 201 of FIG. 2 , a user input for mapping a virtual object related to the application execution screen 1010 to a real object is received. can do.
  • the electronic device provides a voice input 1020 for mapping a virtual object related to an application execution screen 1010 for controlling a real object to a real object (eg, put this next to an air purifier) )) can be received.
  • the electronic device converts a virtual object related to the application execution screen 1010 into a real object (eg, an air purifier) from an image of a real space received through a camera (eg, the camera module 180 of FIG. 1 ). If is identified, as shown in FIG. 10D , a virtual object 1050 may be displayed around the real object 1040 .
  • a virtual object 1050 may be displayed around the real object 1040 .
  • a message 1030 requesting to gaze at a real object may be displayed so that the real object is recognized.
  • the electronic device obtains an image of a real space that a user gazes at through a camera, and through image analysis, a real object 1040 included in the real space (eg, an air purifier).
  • a real object 1040 included in the real space eg, an air purifier
  • the electronic device may check whether the real object 1040 recognized through image analysis matches the stored real object information (eg, product model information). According to an embodiment, the electronic device may check whether the recognized real object 1040 matches real object information stored in a memory (eg, the memory 130 of FIG. 1 ). Alternatively, the electronic device transmits information about the recognized real object 1040 to a server (eg, the server 108 of FIG. 1 ), and determines whether the recognized real object 1040 matches the stored real object information. results can be received.
  • a server eg, the server 108 of FIG. 1
  • a virtual object for controlling the real object 1040 around the real object 1040. (eg, application execution screen or widget screen) may be displayed.
  • a case in which the recognized real object 1040 and stored real object information do not match will be described with reference to FIG. 10G.
  • the electronic device may display the virtual object 1050 around the real object 1040 whose location is changed. .
  • the virtual object displayed around the real object may further include a 3D virtual object 1060 related to the real object, as shown in FIG. 10E.
  • the virtual object displayed around the air purifier may further include a 3D virtual object 1060 in the form of a 3D miniature of a real object.
  • the electronic device may control the real object by calling a virtual object related to the real object in a space different from the space where the real object is located.
  • a virtual object related to the real object in a space different from the space where the real object is located.
  • a 3D virtual object 1060 in the form of a 3D miniature of a real object is included in a virtual object displayed in another space where no real object is located, so that the real object controlled by the user information can be provided intuitively.
  • a display independent of the location of the real object eg, A virtual object 1070 (eg, an application execution screen or a widget screen) may be displayed on one area of the display module 160 of FIG. 1 .
  • the electronic device is not included in the field of view rather than the air purifier recognized through the camera. It is determined that the air purifier is controlled, and a virtual object 1070 for controlling the air purifier may be displayed on one area of the display irrespective of the position of the recognized air purifier.
  • 11 is a diagram for explaining a 3D virtual object mapped to a real space according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2
  • FIG. 11A an electronic device
  • the virtual object 1110 in the form of a 3D virtual object is fixed to the object in the real space and display the selected content information 1111 on a part of or around the 3D virtual object shape.
  • the electronic device may display summary information of the selected content on the 3D virtual object shape and display detailed information 1111 of the selected content around the 3D virtual object shape.
  • the electronic device fixes an object 1110 in the form of a desk calendar on a desk, displays date information selected on a calendar application execution screen on the desk calendar, and displays schedule information 1111 related to the selected date around the desk calendar. ) can be displayed.
  • the electronic device detects the user's gaze through at least one second sensor (eg, the sensor module 176 of FIG. 1 or the first camera module 251 of FIG. 3 ), and the detected user Detailed information 1111 may be displayed on the virtual object 1110 based on the gaze of the virtual object toward the object in the real space to which the virtual object is mapped.
  • the second sensor eg, the sensor module 176 of FIG. 1 or the first camera module 251 of FIG. 3
  • the electronic device may delete detailed information 1111 of the virtual object 1110 based on the fact that the detected user's gaze does not face the object in the real space to which the virtual object is mapped.
  • 12A is a diagram for explaining an operation when a 3D virtual object is selected according to an exemplary embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2
  • an execution screen 1210 of an application related to the selected content may be displayed around the virtual object.
  • 12B is a diagram for explaining an operation when a 3D virtual object is selected according to an exemplary embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2
  • an execution screen of an application including detailed information 1220 related to the selected content may be displayed around the virtual object.
  • the execution screen of an application or the execution screen of an application including detailed information is displayed according to the selection of a virtual object, but according to an embodiment, after displaying the execution screen of an application according to the selection of a virtual object, a set time It may be implemented in a form of further displaying detailed information.
  • 13A is a diagram for explaining an operation of mapping a virtual object to a real space related to content according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2
  • the shape of the virtual object may be determined based on the type of the object 1320 in real space (eg, a calendar in FIG. 13A).
  • the electronic device displays a part of the calendar 1320 or around the calendar 1320.
  • a virtual object including content information may be displayed.
  • the electronic device may display a virtual object related to content selected based on at least one of the shape, location, or size of the calendar 1320 on the display.
  • an operation of displaying a virtual object based on at least one of the shape, position, or size of an object in a real space will be described with reference to FIG. 14 .
  • FIG. 13A shows that the virtual object 1310 is in the form of a panel, but according to an embodiment, when a virtual object in the form of a 3D virtual object is moved and mapped to an object in a real space, a panel is formed based on the type of the object in the real space. It may change shape.
  • 13B is a diagram for explaining an operation of mapping a virtual object to a real space according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2 ) displays displayed content according to content selection.
  • a plurality of objects located in a real space through at least one sensor (eg, the sensor module 176 of FIG. 1 (eg, depth of field (DoF), lidar))
  • DoF depth of field
  • a plurality of icons 1330 , 1331 , 1332 , 1333 , and 1334 indicating that the presence of the virtual object 1310 may be mapped may be displayed on each of the plurality of objects located in the real space.
  • the shape and location of the object corresponding to the one icon may be transformed based on at least one of the sizes, and the transformed virtual object may be displayed on at least one of a part of the object corresponding to one icon and its surroundings. For example, at least a part of the shape, position, or size of an object located in a real space may be acquired through at least one sensor.
  • a camera eg, the third camera module of FIG. 3
  • the type of object may be identified through 255 and/or the second camera module 253).
  • the shape of the virtual object may be determined based on whether the type of the mapped object in the real space is related to the selected content. According to an embodiment, since the operation of determining the shape of the virtual object has been described with reference to FIGS. 9C, 9D, and 13A, redundant description will be omitted.
  • FIG. 14 is a diagram for explaining a virtual object mapped to a real space related to content according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2
  • FIG. 13A When the virtual object 1310 in the form of a panel is mapped to an object 1320 (eg, a calendar) in a real space related to content, a virtual object related to the content selected based on at least one of the shape, position, or size of the calendar 1320 is mapped.
  • An object may be displayed on a display (eg, the display module 160 of FIG. 1 ).
  • the electronic device transforms the virtual object based on at least one of the shape, position, or size of the object in the real space. can do.
  • the electronic device may display the deformed virtual object on at least one of at least a part of the object in the real space and the periphery of the object in the real space.
  • the transformed virtual object may be content information 1410 displayed on at least one of at least a portion of an object in a real space or a periphery of an object in a real space.
  • the electronic device may display summary information of the selected content on a part of the object in the real space and detailed information 1410 of the selected content around the object in the real space.
  • the electronic device may display date information selected on a calendar application execution screen on a calendar in the real space and schedule information 1410 related to the selected date around the calendar in the real space.
  • the electronic device detects the user's gaze through at least one second sensor (eg, the sensor module 176 of FIG. 1 or the first camera module 251 of FIG. 3 ), and the detected user Detailed information 1410 may be displayed around the calendar in the real space based on the line of sight of the virtual object being directed toward the object in the real space to which the virtual object is mapped.
  • the second sensor eg, the sensor module 176 of FIG. 1 or the first camera module 251 of FIG. 3
  • the electronic device displays detailed information 1111 (eg, 1111 in FIG. 11 ) around the calendar in the real space based on the fact that the user's gaze is not directed toward the object in the real space to which the virtual object is mapped. reference) can be deleted.
  • 15 is a diagram for explaining an operation of displaying an execution screen of an electronic device according to an exemplary embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2 ) displays a plurality of application icons.
  • the included application list 1510 may be displayed on a display (eg, the display module 160 of FIG. 1 or the display member 201 of FIG. 2 ).
  • the electronic device may display an application execution screen 1520 corresponding to the selected icon on the display.
  • the electronic device is a user for selecting one icon 1511 from the application list 1510 through a camera (eg, the camera module 180 of FIG. 1 or the third camera module 255 of FIG. 3 ).
  • the execution screen 1520 of the application may be displayed on a display (eg, the display module 160 of FIG. 1 or the display member 201 of FIG. 2).
  • the electronic device may display the execution screen 1520 of the alarm application on the display.
  • 16 is a diagram for explaining a content selection operation of an electronic device according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2
  • may display a display eg, the electronic device 101 of FIG. 1
  • a user input for selecting one content 1610 from among a plurality of contents included in the application execution screen displayed on the display module 160 of FIG. 1 or the display member 201 of FIG. 2 may be received.
  • a user input for selecting one piece of content may be a gesture input such as a pinch action of picking up the content with the user's thumb and forefinger or a touch action of pressing the content.
  • a gesture input such as a pinch operation or a touch operation for selecting the content 1610 (eg, a specific alarm) may be received on the execution screen of the alarm application.
  • a gesture input is not limited to a pinch operation or a touch operation.
  • the electronic device may display a virtual object related to the selected content 1610 on the display. there is.
  • a virtual object displayed according to content selection may be in the form of a panel or a 3D virtual object.
  • the shape of a virtual object displayed according to content selection may be set at the time of manufacture or by a user's manipulation.
  • FIGS. 17A and 18A an embodiment in which a virtual object displayed according to content selection is in the form of a panel will be described below with reference to FIGS. 17A and 18A.
  • 17A is a diagram for explaining an operation in which a virtual object is mapped to a real space related to content according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2
  • an electronic device is a virtual object in the form of a panel.
  • the shape of the virtual object may be determined based on the type of the object 1720 in the real space.
  • the electronic device moves the virtual object 1710 in the form of a panel displayed according to content selection and maps it to an object 1720 (eg, table clock) in a real space, a part of the desk clock 1720 or a desk clock.
  • object 1720 eg, table clock
  • a virtual object including content information displayed around 1720 may be displayed.
  • 17B is a diagram for explaining a virtual object mapped to a real space related to content according to an embodiment.
  • FIG. 17B an electronic device (eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2 ) is shown in FIG. 17A .
  • the virtual object 1710 in the form of a panel is mapped to the object 1720 in a real space related to the content
  • the virtual object related to the selected content is displayed based on at least one of the shape, position, or size of the table clock 1720 ( Example: Can be displayed on the display module 160 of FIG. 1.
  • the electronic device may display the deformed virtual object on at least one of at least a part of the object in the real space and the periphery of the object in the real space.
  • the transformed virtual object may be content information 1730 displayed on at least one of at least a part of an object in a real space or a periphery of an object in a real space.
  • the electronic device may display information 1730 related to the selected alarm around a table clock in a real space.
  • 17A and 17B show that the content selected on the execution screen of the alarm application is mapped to a desk clock in a real space, but according to an embodiment, the selected content is an object (eg, a desk) in a real space unrelated to the selected content.
  • a 3D virtual object in the form of a clock eg, table clock
  • information about the selected content may be displayed on a part of the 3D virtual object or at least a part of its surroundings.
  • 18A is a diagram for explaining an operation of mapping a virtual object to a real space related to content according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2 ) displays a display (eg, the electronic device 101 of FIG. 1 ).
  • a user input for selecting one of a plurality of contents included in the application execution screen 1810 displayed on the display module 160 of FIG. 1 or the display member 201 of FIG. 2 may be received.
  • a user input for selecting one piece of content may be a gesture input such as a pinch operation for picking up the content with the user's thumb and forefinger or a touch operation for selecting the content.
  • a gesture input such as a pinch operation or a touch operation for selecting a specific alarm may be received on the execution screen of the alarm application (eg, see 1810 of FIG. 18A ).
  • a gesture input is not limited to a pinch operation or a touch operation.
  • the electronic device may display a virtual object 1820 related to the selected content on the display.
  • the electronic device when mapping a virtual object 1820 in the form of a panel to an object 1830 in a real space related to content, maps the shape of the virtual object based on the type of the object 1830 in the real space. can decide
  • the electronic device moves a virtual object 1820 in the form of a panel displayed according to content selection and maps it to an object 1830 (eg, a wristwatch) in a real space, a part of the wristwatch 1830 or a wristwatch A virtual object including content information displayed around 1830 may be displayed.
  • an object 1830 eg, a wristwatch
  • a virtual object including content information displayed around 1830 may be displayed.
  • 18B is a diagram for explaining a virtual object mapped to a real space related to content according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2
  • FIG. 18A When the virtual object 1820 in the form of a panel is mapped to the object 1830 in a real space related to the content, the virtual object related to the selected content is displayed based on at least one of the shape, position, or size of the wrist watch 1830 ( Example: Can be displayed on the display module 160 of FIG. 1.
  • the electronic device may display the deformed virtual object on at least one of at least a part of the object in the real space and the periphery of the object in the real space.
  • the transformed virtual object may be content information 1840 displayed on at least one of at least a part of an object in a real space or a periphery of an object in a real space.
  • the electronic device may display information 1840 related to the selected alarm around a wristwatch in a real space.
  • 18A and 18B show that content selected on the execution screen of the alarm application is mapped to a wrist watch in a real space, but according to an embodiment, the selected content is an object (eg, a wrist) in a real space unrelated to the selected content.
  • a 3D virtual object in the form of a watch eg, a wristwatch
  • information about the selected content may be displayed on a part of the 3D virtual object or at least a part of its surroundings.
  • 18C is a diagram for explaining an operation of updating a virtual object when an event occurs, according to an exemplary embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2 .
  • sends an event related to the selected content When occurs, a virtual object mapped to an object in a real space may be updated based on event information.
  • an event related to the selected content may be generated by an electronic device or an external electronic device (eg, the electronic device 104 of FIG. 1 ).
  • the electronic The device may update the mapped virtual object by considering that an event for a specific alarm has occurred. For example, the electronic device may display a graphic object 1850 notifying that an alarm has occurred based on at least one of the shape, location, or size of a wrist watch.
  • the electronic device may provide sound or vibration notifying that the time set for the alarm has arrived.
  • the electronic device when a user input for selecting the 'OK' button is received from the graphic object 1850, the electronic device deletes the graphic object 1850 and, as shown in FIG. It can return to a state in which content information related to a specific alarm is displayed as a virtual object.
  • the electronic device may delete the virtual object mapped to the wristwatch.
  • 19A is a diagram for explaining an operation of displaying an execution screen of an electronic device according to an exemplary embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2
  • a user input 1920 for content selection performed on the screen 1910 of the device may be received.
  • the electronic device may receive a user input(s) 1920 (eg, a swipe operation) for bringing note content displayed on the screen 1910 of the external electronic device out of the screen 1910 of the external electronic device. there is.
  • a swipe operation 1920 may be performed after selecting note content to be taken out of the screen 1910 of the external electronic device. For example, when a plurality of note contents are to be taken out of the screen 1910 of the external electronic device, as many swipe operations 1920 as the number of note contents may be received.
  • 19B is a diagram for explaining an operation of displaying an execution screen of an electronic device according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2 ) displays a screen of an external electronic device.
  • a plurality of virtual objects 1930 respectively corresponding to a plurality of contents extracted from the display may be displayed on a display (eg, the display module 160 of FIG. 1 or the display member 201 of FIG. 2 ).
  • 19C is a diagram for explaining a content selection operation of an electronic device according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2 ) displays a display (eg, the electronic device 101 of FIG. 1 ).
  • a user input for selecting one content 1931 from among a plurality of content displayed on the display module 160 of FIG. 1 or the display member 201 of FIG. 2 may be received.
  • a user input for selecting one piece of content may be a gesture input such as a pinch operation or a touch operation in which the user picks up the content using a thumb and forefinger.
  • a gesture input such as a pinch operation or a touch operation for selecting one note content 1931 from among a plurality of note contents may be received.
  • a gesture input is not limited to a pinch operation or a touch operation.
  • the electronic device may display a virtual object related to the selected content 1931 on the display.
  • a virtual object displayed according to content selection may be in the form of a panel or a 3D virtual object.
  • the shape of a virtual object displayed according to content selection may be set at the time of manufacture or by a user's manipulation.
  • 19D is a diagram for explaining a 3D virtual object mapped to a real space according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2
  • the shape of the virtual object may be determined based on the type of application and the type of object in the real space.
  • the electronic device may display the virtual object 1940 as a 3D virtual object in the form of a memo pad.
  • the virtual object 1940 may include selected note content information.
  • 19D shows that the virtual object 1940 is in the form of a 3D virtual object, but according to an embodiment, when the virtual object in the form of a panel is moved and mapped to an object in a real space, the type of selected content and the type of object in the real space Based on the type, it may be changed into a 3D virtual object form.
  • 19D shows a case of mapping a virtual object in the form of a panel or 3D virtual object to an object (eg, a desk) in a real space unrelated to content, but according to an embodiment, a virtual object in the form of a panel or 3D virtual object
  • a virtual object fixed in the real space may include content information displayed on the object in the real space.
  • 20A is a diagram for explaining an operation of displaying an execution screen of an electronic device according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2 ) displays a plurality of application icons.
  • the included application list 2010 may be displayed on a display (eg, the display module 160 of FIG. 1 or the display member 201 of FIG. 2 ).
  • the electronic device may display an application execution screen 2020 corresponding to the selected icon on the display.
  • the electronic device is a user for selecting one icon 2011 from the application list 2010 through a camera (eg, the camera module 180 of FIG. 1 or the third camera module 255 of FIG. 3 ).
  • the execution screen 2020 of the application may be displayed on a display (eg, the display module 160 of FIG. 1 or the display member 201 of FIG. 2).
  • the electronic device may display the execution screen 2020 of the contact application on the display.
  • 20B is a diagram for explaining a content selection operation of an electronic device according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2 ) displays a display (eg, the electronic device 101 of FIG. 1 ).
  • a user selecting content 2021 eg, one contact
  • a plurality of contents eg, contacts
  • a user input for selecting one piece of content may be a gesture input such as a pinch operation or a touch operation in which the user picks up the content using a thumb and forefinger.
  • a gesture input such as a pinch operation or a touch operation for selecting a specific contact 2021 may be received on the execution screen of the contact application.
  • a gesture input is not limited to a pinch operation or a touch operation.
  • the electronic device displays a virtual object 2030 related to the selected content 2021 on the display. can be displayed
  • a virtual object displayed according to content selection may be in the form of a panel or a 3D virtual object.
  • the shape of a virtual object displayed according to content selection may be set at the time of manufacture or by a user's manipulation.
  • the virtual object when in the form of a panel, the virtual object may include a thumbnail image of the selected contact 2021, and when in the form of a 3D virtual object, the virtual object may include a thumbnail image of the selected contact 2021 and a 3D virtual object in the shape of a body.
  • 20C is a diagram for explaining an operation of mapping a 3D virtual object to a real space according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2
  • a user input for mapping a virtual object in the form of an object to an object in a real space unrelated to content may be received.
  • the electronic device performs a release operation of moving a virtual object 2030 including a thumbnail image of a contact selected through a pinch operation and a 3D virtual object in the form of a body and mapping it to a desk, which is an object 2040 in a real space.
  • the virtual object 2030 may be fixed to the object 2040 in the real space.
  • 20D is a diagram for explaining a 3D virtual object mapped to a real space according to an embodiment.
  • an electronic device selects a contact through a pinch operation.
  • the shape of the virtual object may be determined based on the type of application and the type of object in the real space.
  • the electronic device converts the virtual object displayed according to the content selection into a 3D virtual object in the form of an emoji.
  • the 3D virtual object 2050 in the form of an emoji may have a 3D form in which a thumbnail image of a selected contact and a body related to the thumbnail image are combined, and information related to a function that can be performed using the contact information (2051 ) may be included.
  • At least one emoji-shaped 3D virtual object 2050 is information 2051 of a phone application, a message application, and/or an SNS application that can be performed using a selected contact displayed around the emoji shape. (e.g. icons).
  • the electronic device may display an execution screen of the selected function around the 3D virtual object. For example, when a user input for selecting an icon of a message application is received, the electronic device may display an execution screen of a message application for exchanging messages with a corresponding contact in the vicinity of the 3D virtual object.
  • 20E is a diagram for explaining an operation of updating a virtual object when an event occurs, according to an exemplary embodiment.
  • an electronic device determines an event for a selected contact. occurs, a 3D virtual object mapped to an object in a real space may be updated.
  • the electronic device may update the 3D virtual object to display the content 2052 of the new message in the form of a speech bubble and display it around the emoji. .
  • 21A is a diagram for explaining a content selection operation of an electronic device according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2
  • may display eg, the electronic device 200 of FIG. 2
  • a user input for selecting one content 2110 from among a plurality of contents included in the application execution screen displayed on the display module 160 of FIG. 1 or the display member 201 of FIG. 2 may be received.
  • a user input for selecting one piece of content may be a gesture input such as a pinch action of picking up the content with the user's thumb and forefinger or a touch action of pressing the content.
  • a gesture input such as a pinch operation or a touch operation for selecting the content 2110 (eg, a specific contact) on the execution screen of the contact application may be received.
  • a gesture input is not limited to a pinch operation or a touch operation.
  • the electronic device displays a virtual object 2120 related to the selected content 2110 on the display. can be displayed
  • the virtual object 2120 may be in the form of a preset panel or 3D virtual object.
  • the virtual object 2120 may include a panel shape in which a person's head and torso are simplified or a 3D virtual object.
  • 21B is a diagram for explaining an operation of mapping a 3D virtual object to a real space according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2 , according to content selection
  • a user input for mapping the displayed virtual object 2120 to an object 2130 in a real space unrelated to content may be received.
  • the electronic device moves the virtual object 2120 including a panel shape in which the head and body of a displayed person are simplified or a 3D virtual object shape based on the absence of a thumbnail image in the contact selected by the pinch operation, so as to display the image in real space.
  • the virtual object 2120 may be fixed to the object 2130 in the real space.
  • 21C is a diagram for explaining a 3D virtual object mapped to a real space according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2
  • a human head and torso When a virtual object including a simplified panel shape or a 3D virtual object shape is mapped to an object in a real space, the shape of the virtual object may be determined based on the type of application and the type of object in the real space.
  • the electronic device displays the head and torso of a person displayed according to the content selection.
  • a virtual object in the form of a simplified panel or 3D virtual object may be displayed in the form of a 3D virtual object.
  • the electronic device changes it to a 3D virtual object form and fixes it to an object in a real space
  • the electronic device may maintain the shape of a 3D virtual object and fix it to an object in a real space.
  • a virtual object fixed to an object in a real space may include information 2140 related to a function that can be performed using the selected contact information.
  • information 2140 related to a function that can be performed using the selected contact information.
  • a 3D virtual object in which a person's head and torso are simplified is information of a phone application, message application, and/or SNS application that can be performed using a selected contact, displayed around a simplified form of a person's head and torso. 2140 (eg icon).
  • the electronic device may display an execution screen of the selected function around the 3D virtual object. For example, when a user input for selecting an icon of a message application is received, the electronic device may display an execution screen of a message application for exchanging messages with a corresponding contact in the vicinity of the 3D virtual object.
  • a 3D virtual object mapped to an object in a real space may be updated.
  • the electronic device updates the 3D virtual object to display the content of the new message in the form of a speech bubble and display a simplified human head and torso around it. can do.
  • 22A is a diagram for explaining an operation of displaying an execution screen of an electronic device according to an exemplary embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2 ) displays a plurality of application icons.
  • the included application list 2210 may be displayed on a display (eg, the display module 160 of FIG. 1 or the display member 201 of FIG. 2 ).
  • the electronic device may display an application execution screen 2220 corresponding to the selected icon on the display.
  • the electronic device is a user for selecting one icon 2211 from the application list 2210 through a camera (eg, the camera module 180 of FIG. 1 or the third camera module 255 of FIG. 3 ).
  • the execution screen 2220 of the application may be displayed on a display (eg, the display module 160 of FIG. 1 or the display member 201 of FIG. 2).
  • the electronic device may display the execution screen 2220 of the message application on the display.
  • 22B is a diagram for explaining a content selection operation of an electronic device according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2
  • displays a display eg, the electronic device 101 of FIG. 1 .
  • a user input for displaying messages exchanged with one of the plurality of contacts 2230 included in the application execution screen displayed on the display module 160 of FIG. 1 or the display member 201 of FIG. 2 may be received. there is.
  • 22C is a diagram for explaining a content selection operation of an electronic device according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2 ) displays a display (eg, the electronic device 101 of FIG. 1 ).
  • a user input for selecting one message 2240 from among a plurality of messages exchanged with respect to the selected contact displayed on the display module 160 of FIG. 1 or the display member 201 of FIG. 2 may be received.
  • a user input for selecting one piece of content may be a gesture input such as a pinch action of picking up the content with the user's thumb and forefinger or a touch action of pressing the content.
  • a gesture input such as a pinch operation or a touch operation for selecting a specific message 2240 may be received on the execution screen of the message application.
  • a gesture input is not limited to a pinch operation or a touch operation.
  • the electronic device displays the selected content 2240 (eg, FIG. 22C ).
  • a virtual object related to the message may be displayed on the display.
  • a virtual object displayed according to content selection may be in the form of a panel or a 3D virtual object.
  • the shape of a virtual object displayed according to content selection may be set at the time of manufacture or by a user's manipulation.
  • the virtual object in the case of a panel shape, the virtual object may be a closed curve shape including the contents of the selected message 2240 .
  • the virtual object in the case of a 3D virtual object, the virtual object may include a panel in the form of a closed curve including the contents of the selected message 2240 and a 3D virtual object in the form of a speech bubble.
  • 22D is a diagram for explaining an operation of mapping a 3D virtual object to a real space according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2
  • a user input for mapping a virtual object in the form of an object to an object in a real space unrelated to content may be received.
  • the electronic device receives a user input for performing a release operation of moving the virtual object 2250 including the content of the message selected through a pinch operation and mapping it to a desk, which is an object 2260 in a real space
  • the virtual object 2250 is moved.
  • 2250 may be fixed to an object 2260 in real space.
  • the electronic device when a virtual object 2250 related to a message selected through a pinch operation is mapped to an object 2260 in a real space (eg, a desk in FIG. 22D), the electronic device converts the virtual object 2250 into a 3D virtual image. It can be displayed in the form of an object. For example, if the virtual object including the content of the message selected through the pinch operation is in the form of a panel, the electronic device may change the form to a 3D virtual object including a speech bubble and fix it to the object in the real space. If the virtual object including the content of the message selected through the pinch operation is a 3D virtual object including a speech bubble, the electronic device may maintain the 3D virtual object shape and fix it to the object in the real space.
  • 22E is a diagram for explaining a 3D virtual object mapped to a real space according to an embodiment.
  • the electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2 ) sends a message selected by a pinch operation.
  • the shape of the virtual object may be determined based on the type of application and the type of object in the real space.
  • the electronic device converts the virtual object displayed according to the message selection into a 3D virtual object in the form of an emoji.
  • the 3D virtual object 2270 in the form of an emoji may be a 3D form in which a thumbnail image of a contact who has sent and received a selected message and a body related to the thumbnail image are combined, and a virtual object in the form of a speech bubble including message content can be created.
  • 22F is a diagram for explaining an operation when a 3D virtual object is selected according to an exemplary embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2 ) displays a 3D image in the form of an emoji.
  • a message window 2290 including a selected message may be displayed around the 3D virtual object.
  • the electronic device displays a message window 2290 including a plurality of messages exchanged with a contact who has sent or received the selected message. It can be displayed around the virtual object.
  • 23A is a diagram for explaining an operation of displaying an execution screen of an electronic device according to an exemplary embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2 ) displays a plurality of application icons.
  • the included application list 2310 may be displayed on a display (eg, the display module 160 of FIG. 1 or the display member 201 of FIG. 2 ).
  • the electronic device displays an application execution screen corresponding to the selected icon. 2320 may be displayed on the display.
  • the electronic device is a user for selecting one icon 2311 from the application list 2310 through a camera (eg, the camera module 180 of FIG. 1 or the third camera module 255 of FIG. 3 ).
  • the execution screen 2320 of the application may be displayed on a display (eg, the display module 160 of FIG. 1 or the display member 201 of FIG. 2).
  • the electronic device may display the execution screen 2320 of the message application on the display.
  • 23B is a diagram for explaining a content selection operation of an electronic device according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2
  • may display eg, the electronic device 200 of FIG. 2
  • a user input for selecting one content 2330 from among a plurality of contacts displayed on the display module 160 of FIG. 1 or the display member 201 of FIG. 2 may be received.
  • a user input for selecting one piece of content may be a gesture input such as a pinch action of picking up the content with the user's thumb and forefinger or a touch action of pressing the content.
  • a gesture input such as a pinch operation or a touch operation for selecting content (eg, a specific contact 2330 of FIG. 23B ) may be received on the execution screen of the message application.
  • a gesture input is not limited to a pinch operation or a touch operation.
  • the electronic device may display a virtual object related to the selected content 2330 on the display. there is.
  • a virtual object displayed according to content selection may be in the form of a panel or a 3D virtual object.
  • the shape of a virtual object displayed according to content selection may be set at the time of manufacture or by a user's manipulation.
  • the virtual object in the case of a panel shape, the virtual object may be a thumbnail image of the selected contact 2330, and in the case of a 3D virtual object shape, the virtual object may include a thumbnail image of the selected contact 2330 and a body shape 3D virtual object.
  • 23C is a diagram for explaining an operation of mapping a virtual object to a real space according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2
  • a user input for mapping a virtual object in the form of an object to an object in a real space related to content may be received.
  • the electronic device performs a release operation of moving a virtual object 2340 including a thumbnail image of a contact selected through a pinch operation and a 3D virtual object in the form of a body, and mapping the virtual object 2340 to a figure, which is an object 2350 in a real space.
  • the virtual object 2340 may be fixed to the object 2350 in the real space.
  • 23D is a diagram for explaining a virtual object mapped to a real space according to an embodiment.
  • an electronic device selects a contact through a pinch operation.
  • the shape of the virtual object may be determined based on the type of application and the type of object in the real space.
  • the electronic device displays the virtual object displayed according to the contact selection as a speech bubble-shaped panel or a 3D virtual object. It can be changed to an object 2360 and displayed around the figure.
  • the panel or 3D virtual object 2360 may further include information of the selected contact, such as a thumbnail image and a name.
  • 23E is a diagram for explaining an operation of mapping a virtual object to a real space according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2 ) displays a message application execution screen. It is possible to receive a user input that additionally selects another contact and maps it to another object in the real space.
  • the electronic device may map another selected contact point to another figure in the real space in a state in which one selected contact point is mapped to one figure in the real space.
  • the electronic device receives a user input that performs a release operation of moving a virtual object 2341 in the form of a panel or a 3D virtual object related to a contact selected by a pinch operation and mapping it to another figure that is an object 2351 in a real space.
  • the virtual object 2341 may be fixed to the object 2351 in the real space.
  • 23F is a diagram for explaining a virtual object mapped to a real space according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2 ) displays an execution screen of a message application.
  • the electronic device changes the displayed virtual object into a speech bubble-shaped panel or a 3D virtual object 2361 according to the contact selection to display the surroundings of the figure. can be displayed on
  • the panel or 3D virtual object 2361 may further include information of the selected contact, such as a thumbnail image and a name.
  • the electronic device identifies properties of an object in a real space through a camera (eg, the camera module 180 in FIG. 1 or the third camera module 255 in FIG. 3 ), and identifies the properties of the object in the real space.
  • Attributes of the panel or the 3D virtual object 2361 may be determined based on the attributes. For example, the electronic device identifies at least one of shape, color, or size, which is an attribute of a figure in a real space, through a camera, and identifies at least one of color, font, or design, which is an attribute of a panel or 3D virtual object 2361. can decide
  • 24A is a diagram for explaining an operation of displaying an execution screen of an electronic device according to an exemplary embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2 ) displays a display (eg, the electronic device 101 of FIG. 1 ).
  • a user input for selecting one city weather 2411 from among a plurality of cities included in the execution screen 2410 of the weather application displayed on the display module 160 in FIG. 1 or the display member 201 in FIG. 2 is received.
  • the user's input for selecting the weather of one city may be a gesture input such as a pinch action of picking up content with the user's thumb and forefinger or a touch action of pressing the content.
  • a gesture input is not limited to a pinch operation or a touch operation.
  • the electronic device when the electronic device receives a gesture input for selecting the weather 2411 of one city from among the weather of a plurality of cities included in the execution screen 2410 of the weather application, the selected city weather ( 2411) may be displayed on the display.
  • a virtual object displayed according to content selection may be in the form of a panel or a 3D virtual object.
  • the shape of a virtual object displayed according to content selection may be set at the time of manufacture or by a user's manipulation.
  • the virtual object in the case of a panel shape, the virtual object may be a closed curve shape including information on the weather 2411 of the selected city.
  • the virtual object in the case of a 3D virtual object, the virtual object may include a panel in the form of a closed curve including information on the weather 2411 of the selected city and a 3D virtual object related to the corresponding weather.
  • 24B is a diagram for explaining an operation of mapping a virtual object to a real space according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2
  • an electronic device is in the form of a panel or 3D virtual
  • a user input for mapping a virtual object in the form of an object to an object in a real space unrelated to content may be received.
  • the electronic device moves a virtual object 2420 including a 3D virtual object related to weather and a panel including weather information selected through a pinch operation to move the object 2430 in the real space near the desk,
  • the virtual object 2420 may be fixed to the object 2430 in the real space.
  • 24C is a diagram for explaining an operation of mapping a 3D virtual object to a real space according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2
  • the virtual object may be displayed in the form of a 3D virtual object 2430 .
  • the electronic device changes it to a 3D virtual object related to the weather of the selected city, fixes it to an object in a real space, and performs a pinch operation. If the virtual object related to the weather information of the selected city is in the form of a 3D virtual object, the electronic device may maintain the form of the 3D virtual object and fix it to the object in the real space.
  • the electronic device may update a 3D virtual object fixed to an object in a real space to a 3D virtual object related to the changed weather.
  • 25A is a diagram for explaining an operation of displaying an execution screen of an electronic device according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2 ) displays a plurality of application icons.
  • the included application list 2510 may be displayed on a display (eg, the display module 160 of FIG. 1 or the display member 201 of FIG. 2 ).
  • the electronic device may display an application execution screen 2520 corresponding to the selected icon on the display.
  • the electronic device is a user for selecting one icon 2511 from the application list 2510 through a camera (eg, the camera module 180 of FIG. 1 or the third camera module 255 of FIG. 3 ).
  • the execution screen 5220 of the application may be displayed on a display (eg, the display module 160 of FIG. 1 or the display member 201 of FIG. 2).
  • the electronic device may display the execution screen 2520 of the photo application on the display.
  • 25B is a diagram for explaining an operation of mapping a virtual object to a real space according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2 ) displays a display (eg, the electronic device 101 of FIG. 1 ).
  • a user input for selecting one photo 2521 from among a plurality of photos displayed on the display module 160 of FIG. 1 or the display member 201 of FIG. 2 may be received.
  • the electronic device may receive a gesture input such as a pinch operation or a touch operation for selecting one photo 2521 by using the user's thumb and forefinger.
  • a gesture input such as a pinch operation or a touch operation for selecting one photo 2521 by using the user's thumb and forefinger.
  • the electronic device may display a virtual object related to the selected photo 2521 on the display.
  • a virtual object displayed according to a photo selection may be in the form of a panel or a 3D virtual object.
  • the shape of a virtual object displayed according to content selection may be set at the time of manufacture or by a user's manipulation.
  • the virtual object in the case of a panel shape, the virtual object may be a closed curve shape including the selected photo 2521 .
  • the virtual object in the case of a 3D virtual object, the virtual object may include a closed curve-shaped panel of the selected photo 2521 and a frame-shaped 3D virtual object.
  • 25C is a diagram for explaining an operation of mapping a 3D virtual object to a real space according to an embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2
  • a user input for mapping a virtual object in the form of an object to an object in a real space unrelated to content may be received.
  • the electronic device when the electronic device receives a user input for performing a release operation of moving the virtual object 2530 including the selected photo through a pinch operation and mapping the virtual object 2530 to the desk, which is the object 2540 in the real space, the virtual object 2530 ) can be fixed to the object 2540 in real space.
  • 25D is a diagram for explaining a 3D virtual object mapped to a real space according to an embodiment.
  • an electronic device (eg, the electronic device 101 of FIG. 1 , the processor 120 of FIG. 1 , or the electronic device 200 of FIG. 2 ) is selected through a pinch operation.
  • the electronic device may display the virtual object in the form of a 3D virtual object 2550 .
  • the electronic device changes to a 3D virtual object shape 2550 including a frame shape, fixes it to an object in a real space, and performs a pinch operation. If the virtual object including the photo selected through this is a 3D virtual object shape including a frame shape, the electronic device may maintain the 3D virtual object shape 2550 and fix it to the object in the real space.
  • 26 is a flowchart illustrating a content update operation of an external electronic device and a wearable electronic device when an event occurs in the external electronic device according to an embodiment.
  • the electronic device 104 may check the occurrence of an application update. For example, when an event of receiving a new message occurs in the message application, the electronic device 104 may confirm that an update has occurred.
  • the electronic device 104 may update the content of the application based on the update information. For example, the electronic device 104 may update the content of the application by displaying a new message of the message application.
  • the electronic device 104 may check whether it is being connected to the wearable electronic device 101 (eg, the electronic device 101 of FIG. 1 or the electronic device 200 of FIG. 2 ). there is.
  • the electronic device 104 may check whether or not it is connected to the wearable electronic device 101 again.
  • the electronic device 104 when connected to the wearable electronic device 101 (Operation 2603 - Yes), in Operation 2604, the electronic device 104 may transmit update information to the wearable electronic device 101 .
  • the electronic device 104 may transmit new message information to the wearable electronic device 101 .
  • the wearable electronic device 101 may update the content of an application installed in the wearable electronic device 101 based on update information received from the electronic device 101 . For example, when a message application linked to a message application of the electronic device 104 is also installed in the wearable electronic device 101, the wearable electronic device 101 sends a message to the wearable electronic device 101 based on received new message information. You can update the contents of installed message applications.
  • the wearable electronic device 101 may update content included in the virtual object. For example, when a virtual object related to a message application is mapped to an object in a real space, the wearable electronic device 101 may update the virtual object mapped to the real space. For example, the wearable electronic device 101 may display a speech bubble including content of a new message on the virtual object.
  • FIG. 27 is a flowchart illustrating an external electronic device and a content update operation of the wearable electronic device when an event occurs in the wearable electronic device according to an embodiment.
  • the wearable electronic device 101 (eg, the electronic device 101 of FIG. 1 or the electronic device 200 of FIG. 2 ) checks the occurrence of an application update.
  • the wearable electronic device 101 may confirm that an update has occurred.
  • the wearable electronic device 101 may update application content based on update information.
  • the wearable electronic device 101 may update application content by storing a new schedule in a calendar application.
  • the wearable electronic device 101 may update content included in the virtual object. For example, when a virtual object related to a calendar application is mapped to an object in a real space, the wearable electronic device 101 may update the virtual object mapped to the real space. For example, the wearable electronic device 101 may display new schedule information on a virtual object.
  • the wearable electronic device 101 may check whether it is being connected to the electronic device 104 (eg, the electronic device 104 of FIG. 1).
  • the wearable electronic device 101 may check whether or not it is connected to the electronic device 104 again.
  • the wearable electronic device 101 may transmit update information to the electronic device 104 .
  • the wearable electronic device 101 may transmit new schedule information to the electronic device 104 .
  • the electronic device 104 may update the content of an application installed in the electronic device 104 based on update information received from the wearable electronic device 101 .
  • the electronic device 104 may update the contents of a calendar application installed in the electronic device 104 based on the received new schedule information.
  • a wearable electronic device may include a display (eg, the display module 160 of FIG. 1 or the display member of FIG. 2 ). 201), a camera (eg, the camera module 180 of FIG. 1 or the third camera module 255 of FIG. 3 ), and at least one first sensor (eg, the sensor module 176 of FIG. 1 or the third camera module 255 of FIG. 3 ). a second camera module 253) and at least one processor (eg, the processor 120 of FIG. 1 ) operatively connected to the display, the camera, and the at least one first sensor.
  • a display eg, the display module 160 of FIG. 1 or the display member of FIG. 2
  • a camera eg, the camera module 180 of FIG. 1 or the third camera module 255 of FIG. 3
  • at least one first sensor eg, the sensor module 176 of FIG. 1 or the third camera module 255 of FIG. 3
  • a second camera module 253 and at least one processor eg, the processor 120 of FIG. 1 operatively connected to
  • the at least one processor displays an execution screen of an application on the display, and when a first user input for selecting one of a plurality of contents included in the execution screen of the application is received through the camera, the When a first virtual object related to the selected content is displayed on the display and a second user input for mapping the first virtual object to an object included in a real space is received through the camera, the at least one first virtual object is displayed.
  • the type of object in the real space is identified through a sensor, and if the type of object in the real space is related to the selected content or the first virtual object, at least one of the shape, position, or size of the object in the real space is determined.
  • a second virtual object related to the selected content is displayed on the display, and if the type of object in the real space is irrelevant to the selected content or the first virtual object, a third virtual object in the form of a 3D object related to the selected content is displayed.
  • a virtual object may be displayed on the display.
  • the at least one processor may determine the shape of the third object based on the type of object in the real space.
  • the processor further includes a memory, which may or may not be part of the processor(s), wherein the at least one processor identifies a type of object in the real space based on an artificial intelligence model stored in the memory. can do.
  • the at least one processor may update the second virtual object or the third virtual object based on information of the event.
  • the at least one processor may change the shape of the second virtual object or the third virtual object based on the event information.
  • the method further includes at least one second sensor, wherein the at least one processor detects a user's gaze through the at least one second sensor, and detects the detected user's gaze in the real space. Based on the fact that the second virtual object or the third virtual object is displayed on the display, based on the fact that the user's gaze does not face the object in the real space, the second virtual object or the third virtual object is displayed on the display. A part of or a part of the third virtual object may be deleted.
  • the second virtual object may include content information displayed on at least one of at least a part of an object in the real space or a periphery of the object in the real space.
  • the at least one processor displays an execution screen of the application related to the selected content to the second virtual object. It may be displayed around the object or the third virtual object.
  • the at least one processor when the first user input is received, identifies a plurality of objects included in the real space and a plurality of icons indicating that the first virtual object can be mapped. is displayed on each of the plurality of objects, and when the second user input is received on one of the plurality of icons, the type of object in the real space corresponding to the one icon through the at least one first sensor. can identify.
  • the at least one processor may further include a communication module, and if it is identified through the camera that an event related to the second virtual object or the third virtual object occurs, the at least one processor may use the communication module to communicate with the outside world. Whether or not the electronic device is connected is checked, and based on the confirmation that the connection with the external electronic device is confirmed, information on the event may be transmitted to the external electronic device through the communication module.
  • a control method of a wearable electronic device includes an operation of displaying an execution screen of an application on a display of the wearable electronic device, and a plurality of contents included in the execution screen of the application through a camera of the wearable electronic device.
  • a first user input for selecting one of content is received, displaying a first virtual object related to the selected content on the display, and attaching the first virtual object to an object included in a real space through the camera.
  • a second user input for mapping is received, an operation of identifying the type of object in the real space through at least one first sensor of the wearable electronic device, and the type of object in the real space corresponds to the selected content or the first sensor.
  • a second virtual object related to the selected content is displayed on the display based on at least one of the shape, position, or size of the object in the real space, and the type of the object in the real space is selected.
  • an operation of determining a shape of the third object based on the type of the object in the real space may be further included.
  • the operation of identifying the type of object may identify the type of object based on an artificial intelligence model stored in a memory of the wearable electronic device.
  • an operation of updating the second virtual object or the third virtual object based on information of the event may be further included.
  • the method may further include an operation of changing a shape of the second virtual object or the third virtual object based on the event information.
  • the second virtual object may include content information displayed on at least a part of the object or at least one of the object's surroundings.
  • an execution screen of the application related to the selected content is displayed as the second virtual object or the third virtual object.
  • An operation of displaying the surroundings may be further included.
  • the operation of identifying the type of object in the real space may include, if the first user input is received, an operation of identifying a plurality of objects included in the real space, and the first virtual object to be mapped. displaying a plurality of icons on each of the plurality of objects, and when the second user input is received on one of the plurality of icons, the one icon is displayed through the at least one first sensor. An operation of identifying the type of object in the corresponding real space may be included.
  • Electronic devices may be devices of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a camera
  • a wearable device e.g., a smart bracelet
  • first, second, or first or secondary may simply be used to distinguish a given component from other corresponding components, and may be used to refer to a given component in another aspect (eg, importance or order) is not limited.
  • a (e.g., first) component is said to be “coupled” or “connected” to another (e.g., second) component, with or without the terms “functionally” or “communicatively.”
  • the certain component may be connected to the other component directly (eg by wire), wirelessly, or at least through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as, for example, logic, logical blocks, parts, or circuits.
  • a module may be an integrally constructed component or a minimal unit of components or a portion thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • a storage medium eg, internal memory 136 or external memory 138
  • a machine eg, electronic device 101
  • a processor eg, the processor 120
  • a device eg, the electronic device 101
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • the storage medium is a tangible device and does not contain a signal (e.g. electromagnetic wave), and this term refers to the case where data is stored semi-permanently in the storage medium. It does not discriminate when it is temporarily stored.
  • a signal e.g. electromagnetic wave
  • the method according to various embodiments disclosed in this document may be included and provided in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product is distributed in the form of a device-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (eg downloaded or uploaded) online, directly between smart phones.
  • a device-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play StoreTM
  • two user devices e.g. It can be distributed (eg downloaded or uploaded) online, directly between smart phones.
  • at least part of the computer program product may be temporarily stored or temporarily created in a device-readable storage medium such as a manufacturer's server, an application store server, or a relay server's memory.
  • each component (eg, module or program) of the above-described components may include a single object or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. there is.
  • one or more components or operations among the aforementioned corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg modules or programs
  • the integrated component may perform one or more functions of each of the plurality of components identically or similarly to those performed by a corresponding component of the plurality of components prior to the integration. .
  • the actions performed by a module, program, or other component are executed sequentially, in parallel, iteratively, or heuristically, or one or more of the actions are executed in a different order, or omitted. or one or more other actions may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

웨어러블 전자 장치는, 디스플레이, 카메라, 적어도 하나의 제1 센서 및 디스플레이, 카메라 및 적어도 하나의 제1 센서와 작동적으로 연결된 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는, 어플리케이션의 실행 화면을 디스플레이에 표시하고, 카메라를 통해, 어플리케이션의 실행 화면에 포함된 복수의 컨텐트 중 하나의 컨텐트를 선택하는 제1 사용자 입력이 수신되면, 선택된 컨텐트와 관련된 제1 가상 오브젝트를 디스플레이에 표시하고, 카메라를 통해, 제1 가상 오브젝트를 실제 공간에 포함된 오브젝트에 매핑하기 위한 제2 사용자 입력이 수신되면, 적어도 하나의 제1 센서를 통해 실제 공간의 오브젝트의 종류를 식별하고, 실제 공간의 오브젝트의 종류가 선택된 컨텐트 또는 제1 가상 오브젝트와 관련된 것이면, 실제 공간의 오브젝트의 형태, 위치 또는 크기 중 적어도 하나를 기반으로 선택된 컨텐트와 관련된 제2 가상 오브젝트를 디스플레이에 표시하고, 실제 공간의 오브젝트의 종류가 선택된 컨텐트 또는 제1 가상 오브젝트와 무관하면, 선택된 컨텐트와 관련된 3D 오브젝트 형태인 제3 가상 오브젝트를 디스플레이에 표시할 수 있다.

Description

가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법
본 개시의 실시 예들은, 가상 오브젝트를 표시하는 웨어러블 전자 장치 및/또는 이의 제어 방법에 관한 것이다.
전자, 통신 기술이 발달함에 따라, 사용자 신체에 착용하더라도 큰 불편함 없이 사용할 수 있을 정도로 전자 장치가 소형화, 경량화될 수 있다. 예를 들어, 헤드 마운팅 장치(head mounting device, HMD), 스마트 시계(또는 밴드), 콘택트 렌즈형 장치, 반지형 장치, 장갑형 장치, 신발형 장치 또는 의복형 장치와 같은 웨어러블 전자 장치가 상용화되고 있다. 웨어러블 전자 장치는 신체에 직접 착용되므로, 휴대성 및 사용자의 접근성이 향상될 수 있다.
헤드 마운팅 형태의 전자 장치는, 사용자의 머리 또는 안면에 착용된 상태로 사용되는 장치로서, 증강 현실(augmented reality, AR)을 사용자에게 제공할 수 있다. 예를 들어, 증강 현실을 제공하는 헤드 마운팅 장치는 안경 형태로 구현되어, 사용자 시야 범위의 적어도 일부 공간에서 사물에 대한 정보를 이미지나 문자 형태로 사용자에게 제공할 수 있다.
증강 현실 환경에서, 웨어러블 전자 장치를 이용할 때 허공에 위치하는 가상 버튼을 누르기 위한 움직임이나 깊이(depth)가 있는 사용자 움직임은 주변 상황에 따라 원활히 수행하기 어려운 점, 가상 오브젝트에 대한 거리감을 명확히 인식하기 어려운 점이 야기될 수 있다. 팔 전체를 이용하여 액션을 장기간 수행할 경우 신체적 통증을 유발할 수 있는 점이 야기될 수 있다.
다양한 실시예들은, 증강 현실 환경에서, 사용자가 제스쳐를 통해 실행 중인 기능의 일부를 선택하여 기능과 관련된 가상 오브젝트를 실제 공간에 용이하게 고정하고, 가상 오브젝트가 실제 공간에 자연스럽게 배치되며, 정보의 가시성을 높일 수 있는 웨어러블 전자 장치 및 이의 제어 방법을 제공한다.
일 실시 예에 따르면, 웨어러블 전자 장치는, 디스플레이, 카메라, 적어도 하나의 제1 센서 및 상기 디스플레이, 상기 카메라 및 상기 적어도 하나의 제1 센서와 작동적으로 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 어플리케이션의 실행 화면을 상기 디스플레이에 표시하고, 상기 카메라를 통해, 상기 어플리케이션의 실행 화면에 포함된 복수의 컨텐트 중 하나의 컨텐트를 선택하는 제1 사용자 입력이 수신되면, 상기 선택된 컨텐트와 관련된 제1 가상 오브젝트를 상기 디스플레이에 표시하고, 상기 카메라를 통해, 상기 제1 가상 오브젝트를 실제 공간에 포함된 오브젝트에 매핑하기 위한 제2 사용자 입력이 수신되면, 상기 적어도 하나의 제1 센서를 통해 상기 실제 공간의 오브젝트의 종류를 식별하고, 상기 실제 공간의 오브젝트의 종류가 상기 선택된 컨텐트 또는 제1 가상 오브젝트와 관련된 것이면, 상기 실제 공간의 오브젝트의 형태, 위치 또는 크기 중 적어도 하나를 기반으로 상기 선택된 컨텐트와 관련된 제2 가상 오브젝트를 상기 디스플레이에 표시하고, 상기 실제 공간의 오브젝트의 종류가 상기 선택된 컨텐트 또는 제1 가상 오브젝트와 무관하면, 상기 선택된 컨텐트와 관련된 3D 오브젝트 형태인 제3 가상 오브젝트를 상기 디스플레이에 표시할 수 있다.
일 실시 예에 따라, 웨어러블 전자 장치의 제어 방법은, 어플리케이션의 실행 화면을 상기 웨어러블 전자 장치의 디스플레이에 표시하는 동작, 상기 웨어러블 전자 장치의 카메라를 통해, 상기 어플리케이션의 실행 화면에 포함된 복수의 컨텐트 중 하나의 컨텐트를 선택하는 제1 사용자 입력이 수신되면, 상기 선택된 컨텐트와 관련된 제1 가상 오브젝트를 상기 디스플레이에 표시하는 동작, 상기 카메라를 통해, 상기 제1 가상 오브젝트를 실제 공간에 포함된 오브젝트에 매핑하기 위한 제2 사용자 입력이 수신되면, 상기 웨어러블 전자 장치의 적어도 하나의 제1 센서를 통해 상기 실제 공간의 오브젝트의 종류를 식별하는 동작, 상기 실제 공간의 오브젝트의 종류가 상기 선택된 컨텐트 또는 제1 가상 오브젝트와 관련된 것이면, 상기 실제 공간의 오브젝트의 형태, 위치 또는 크기 중 적어도 하나를 기반으로 상기 선택된 컨텐트와 관련된 제2 가상 오브젝트를 상기 디스플레이에 표시하고, 상기 실제 공간의 오브젝트의 종류가 상기 선택된 컨텐트 또는 제1 가상 오브젝트와 무관하면, 상기 선택된 컨텐트와 관련된 3D 오브젝트 형태인 제3 가상 오브젝트를 상기 디스플레이에 표시하는 동작을 포함할 수 있다.
다양한 실시 예에 따른 웨어러블 전자 장치는, 증강 현실 환경에서, 사용자가 제스쳐를 통해 실행 중인 기능의 일부를 선택하여 기능과 관련된 가상 오브젝트를 실제 공간의 오브젝트에 용이하게 고정할 수 있다.
다양한 실시 예에 따른 웨어러블 전자 장치는, 사용자의 시선에 따라 상세 정보가 표시되어 정보의 가시성을 높일 수 있다.
다양한 실시 예에 따른 웨어러블 전자 장치는, 가상 오브젝트가 매핑되는 실제 공간의 오브젝트의 종류에 기반하여 가상 오브젝트의 형태가 결정할 수 있다. 따라서, 가상 오브젝트가 실제 공간에 자연스럽게 배치될 수 있다.
본 개시의 특정 실시 예의 상기 및 다른 측면, 특징, 및 이점은 첨부 도면과 함께 취해진 다음의 상세한 설명으로부터 더 명백할 것이며, 여기서:
도 1은 다양한 실시 예에 따른 네트워크 환경 내의 전자 장치의 블럭도이다.
도 2는 일 실시 예에 따른, 전자 장치의 사시도이다.
도 3은 일 실시 예에 따른, 전자 장치의 내부 구성을 설명하기 위한 제1 사시도이다.
도 4는 일 실시 예에 따른, 전자 장치의 내부 구성을 설명하기 위한 제2 사시도이다.
도 5는 일 실시 예에 따른, 전자 장치의 분해 사시도이다.
도 6은 일 실시 예에 따른 웨어러블 전자 장치의 가상 오브젝트 표시 동작을 설명하기 위한 흐름도이다.
도 7은 일 실시 예에 따른 웨어러블 전자 장치의 실행 화면 표시 동작을 설명하기 위한 도면이다.
도 8은 일 실시 예에 따른 웨어러블 전자 장치의 컨텐트 선택 동작을 설명하기 위한 도면이다.
도 9a는 일 실시 예에 따른 컨텐트 선택 동작에 따른 가상 오브젝트의 표시 동작을 설명하기 위한 도면이다.
도 9b는 일 실시 예에 따른 컨텐트 선택 동작에 따른 가상 오브젝트의 표시 동작을 설명하기 위한 도면이다.
도 9c는 일 실시 예에 따른 3D 가상 오브젝트가 컨텐트와 무관한 실제 공간에 매핑되는 동작을 설명하기 위한 도면이다.
도 9d는 일 실시 예에 따른 3D 가상 오브젝트가 컨텐트와 무관한 실제 공간에 매핑되는 동작을 설명하기 위한 도면이다.
도 10a는 일 실시 예에 따른 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다.
도 10b는 일 실시 예에 따른 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다.
도 10c는 일 실시 예에 따른 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다.
도 10d는 일 실시 예에 따른 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다.
도 10e는 일 실시 예에 따른 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다.
도 10f는 일 실시 예에 따른 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다.
도 10g는 일 실시 예에 따른 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다.
도 11은 일 실시 예에 따른 실제 공간에 매핑된 3D 가상 오브젝트를 설명하기 위한 도면이다.
도 12a는 일 실시 예에 따른 3D 가상 오브젝트를 선택한 경우의 동작을 설명하기 위한 도면이다.
도 12b는 일 실시 예에 따른 3D 가상 오브젝트를 선택한 경우의 동작을 설명하기 위한 도면이다.
도 13a는 일 실시 예에 따른 가상 오브젝트가 컨텐트와 관련있는 실제 공간에 매핑되는 동작을 설명하기 위한 도면이다.
도 13b는 일 실시 예에 따른 가상 오브젝트가 실제 공간에 매핑되는 동작을 설명하기 위한 도면이다.
도 14는 일 실시 예에 따른 컨텐트와 관련있는 실제 공간에 매핑된 가상 오브젝트를 설명하기 위한 도면이다.
도 15는 일 실시 예에 따른 웨어러블 전자 장치의 실행 화면 표시 동작을 설명하기 위한 도면이다.
도 16은 일 실시 예에 따른 웨어러블 전자 장치의 컨텐트 선택 동작을 설명하기 위한 도면이다.
도 17a는 일 실시 예에 따른 가상 오브젝트가 컨텐트와 관련있는 실제 공간에 매핑되는 동작을 설명하기 위한 도면이다.
도 17b는 일 실시 예에 따른 컨텐트와 관련있는 실제 공간에 매핑된 가상 오브젝트를 설명하기 위한 도면이다.
도 18a는 일 실시 예에 따른 가상 오브젝트가 컨텐트와 관련있는 실제 공간에 매핑되는 동작을 설명하기 위한 도면이다.
도 18b는 일 실시 예에 따른 컨텐트와 관련있는 실제 공간에 매핑된 가상 오브젝트를 설명하기 위한 도면이다.
도 18c는 일 실시 예에 따른 이벤트 발생시 가상 오브젝트를 업데이트하는 동작을 설명하기 위한 도면이다.
도 19a는 일 실시 예에 따른 웨어러블 전자 장치의 실행 화면 표시 동작을 설명하기 위한 도면이다.
도 19b는 일 실시 예에 따른 웨어러블 전자 장치의 실행 화면 표시 동작을 설명하기 위한 도면이다.
도 19c는 일 실시 예에 따른 웨어러블 전자 장치의 컨텐트 선택 동작을 설명하기 위한 도면이다.
도 19d는 일 실시 예에 따른 실제 공간에 매핑된 3D 가상 오브젝트를 설명하기 위한 도면이다.
도 20a는 일 실시 예에 따른 웨어러블 전자 장치의 실행 화면 표시 동작을 설명하기 위한 도면이다.
도 20b는 일 실시 예에 따른 웨어러블 전자 장치의 컨텐트 선택 동작을 설명하기 위한 도면이다.
도 20c는 일 실시 예에 따른 3D 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다.
도 20d는 일 실시 예에 따른 실제 공간에 매핑된 3D 가상 오브젝트를 설명하기 위한 도면이다.
도 20e는 일 실시 예에 따른 이벤트 발생시 가상 오브젝트를 업데이트하는 동작을 설명하기 위한 도면이다.
도 21a는 일 실시 예에 따른 웨어러블 전자 장치의 컨텐트 선택 동작을 설명하기 위한 도면이다.
도 21b는 일 실시 예에 따른 3D 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다.
도 21c는 일 실시 예에 따른 실제 공간에 매핑된 3D 가상 오브젝트를 설명하기 위한 도면이다.
도 22a는 일 실시 예에 따른 웨어러블 전자 장치의 실행 화면 표시 동작을 설명하기 위한 도면이다.
도 22b는 일 실시 예에 따른 웨어러블 전자 장치의 컨텐트 선택 동작을 설명하기 위한 도면이다.
도 22c는 일 실시 예에 따른 웨어러블 전자 장치의 컨텐트 선택 동작을 설명하기 위한 도면이다.
도 22d는 일 실시 예에 따른 3D 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다.
도 22e는 일 실시 예에 따른 실제 공간에 매핑된 3D 가상 오브젝트를 설명하기 위한 도면이다.
도 22f는 일 실시 예에 따른 3D 가상 오브젝트를 선택한 경우의 동작을 설명하기 위한 도면이다.
도 23a는 일 실시 예에 따른 웨어러블 전자 장치의 실행 화면 표시 동작을 설명하기 위한 도면이다.
도 23b는 일 실시 예에 따른 웨어러블 전자 장치의 컨텐트 선택 동작을 설명하기 위한 도면이다.
도 23c는 일 실시 예에 따른 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다.
도 23d는 일 실시 예에 따른 실제 공간에 매핑된 가상 오브젝트를 설명하기 위한 도면이다.
도 23e는 일 실시 예에 따른 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다.
도 23f는 일 실시 예에 따른 실제 공간에 매핑된 가상 오브젝트를 설명하기 위한 도면이다.
도 24a는 일 실시 예에 따른 웨어러블 전자 장치의 실행 화면 표시 동작을 설명하기 위한 도면이다.
도 24b는 일 실시 예에 따른 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다.
도 24c는 일 실시 예에 따른 3D 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다.
도 25a는 일 실시 예에 따른 웨어러블 전자 장치의 실행 화면 표시 동작을 설명하기 위한 도면이다.
도 25b는 일 실시 예에 따른 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다.
도 25c는 일 실시 예에 따른 3D 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다.
도 25d는 일 실시 예에 따른 실제 공간에 매핑된 3D 가상 오브젝트를 설명하기 위한 도면이다.
도 26은 일 실시 예에 따른 외부 전자 장치에서 이벤트 발생시 외부 전자 장치 및 웨어러블 전자 장치의 컨텐트 업데이트 동작을 설명하기 위한 흐름도이다.
도 27은 일 실시 예에 따른 웨어러블 전자 장치에서 이벤트 발생시 외부 전자 장치 및 웨어러블 전자 장치의 컨텐트 업데이트 동작을 설명하기 위한 흐름도이다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 (내장 메모리(136) 및/또는 외장 메모리(138)에 포함된) 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2는 일 실시 예에 따른, 전자 장치(200)(예: 도 1의 전자 장치(101))의 사시도이다.
도 2를 참조하면, 전자 장치(200)는 안경 형태의 웨어러블 전자 장치로서, 사용자는 전자 장치(200)를 착용한 상태에서 주변의 사물이나 환경을 시각적으로 인지할 수 있다. 예를 들어, 전자 장치(200)는 사용자의 눈 앞에 직접 영상을 제공할 수 있는 헤드 마운팅 장치(head mounting device, HMD) 또는 스마트 안경(smart glasses)일 수 있다. 도 2의 전자 장치(200)의 구성은 도 1의 전자 장치(101)의 구성과 전부 또는 일부가 동일할 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 전자 장치(200)의 외관을 형성하는 하우징(210)을 포함할 수 있다. 상기 하우징(210)은 전자 장치(200)의 부품들이 배치될 수 있는 공간을 제공할 수 있다. 예를 들어, 하우징(210)은 렌즈 프레임(202), 및 적어도 하나의 착용 부재(203)를 포함할 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 사용자에게 시각적인 정보를 제공할 수 있는 적어도 하나의 표시 부재(201)를 포함할 수 있다. 예를 들어, 표시 부재(201)는 렌즈, 디스플레이, 도파관 및/또는 터치 회로가 장착된 모듈을 포함할 수 있다. 일 실시예에 따르면, 표시 부재(201)는 투명 또는 반투명하게 형성될 수 있다. 일 실시예에 따르면, 표시 부재(201)는 반투명 재질의 글래스 또는 착색 농도가 조절됨에 따라 빛의 투과율이 조절될 수 있는 윈도우 부재를 포함할 수 있다. 일 실시예에 따르면, 표시 부재(201)는 한 쌍으로 제공되어, 전자 장치(200)가 사용자 신체에 착용된 상태에서, 사용자의 좌안과 우안에 각각 대응하게 배치될 수 있다.
일 실시 예에 따르면, 렌즈 프레임(202)은 표시 부재(201)의 적어도 일부를 수용할 수 있다. 예를 들어, 렌즈 프레임(202)은 표시 부재(201)의 가장자리의 적어도 일부를 둘러쌀 수 있다. 일 실시예에 따르면, 렌즈 프레임(202)은 표시 부재(201) 중 적어도 하나를 사용자의 눈에 상응하게 위치시킬 수 있다. 일 실시예에 따르면, 렌즈 프레임(202)은 일반적인 안경 구조의 림(rim)일 수 있다. 일 실시예에 따르면, 렌즈 프레임(202)은 표시 부재(201)를 둘러싸는 적어도 하나의 폐곡선을 포함할 수 있다.
일 실시 예에 따르면, 착용 부재(203)는 렌즈 프레임(202)에서 연장될 수 있다. 예를 들어, 착용 부재(203)는 렌즈 프레임(202)의 단부에서 연장되고, 렌즈 프레임(202)과 함께, 사용자의 신체(예: 귀)에 지지 또는 위치될 수 있다. 일 실시예에 따르면, 착용 부재(203)는 힌지 구조(229)를 통해 렌즈 프레임(202)에 대하여 회전 가능하게 결합될 수 있다. 일 실시예에 따르면, 착용 부재(203)는 사용자의 신체와 대면하도록 구성된 내 측면(231c) 및 상기 내 측면의 반대인 외 측면(231d)을 포함할 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 착용 부재(203)를 렌즈 프레임(202)에 대하여 접을 수 있도록 구성된 힌지 구조(229)를 포함할 수 있다. 상기 힌지 구조(229)는 렌즈 프레임(202)과 착용 부재(203) 사이에 배치될 수 있다. 전자 장치(200)를 착용하지 않은 상태에서, 사용자는 착용 부재(203)를 렌즈 프레임(202)에 대하여 일부가 중첩되도록 접어 휴대 또는 보관할 수 있다.
도 3은 다양한 실시예들에 따른, 전자 장치의 내부 구성을 설명하기 위한 제1 사시도이다. 도 4는 다양한 실시예들에 따른, 전자 장치의 내부 구성을 설명하기 위한 제2 사시도이다. 도 5는 다양한 실시예들에 따른, 전자 장치의 분해 사시도이다.
도 3, 4, 및 5를 참조하면, 전자 장치(200)는 하우징(210)에 수용된 부품들(예: 적어도 하나의 회로 기판(241)(예: PCB(printed circuit board), PBA(printed board assembly), FPCB(flexible PCB) 또는 RFPCB(rigid-flexible PCB)), 적어도 하나의 배터리(243), 스피커를 포함하는 적어도 하나의 스피커 모듈(245), 적어도 하나의 전원 전달 구조(246), 및 카메라를 포함하는 카메라 모듈(250))을 포함할 수 있다. 도 3 및 도 4의 하우징(210)의 구성은 도 2의 표시 부재(201), 렌즈 프레임(202), 착용 부재(203), 및 힌지 구조(229)의 구성과 전부 또는 일부가 동일할 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 카메라 모듈(250)(예: 적어도 카메라를 포함하는 도 1의 카메라 모듈(180))을 이용하여 사용자가 바라보는 또는 전자 장치(200)가 지향하는 방향(예: -Y 방향)의 사물이나 환경에 관한 시각적인 이미지를 획득 및/또는 인지하고, 네트워크(예: 도 1의 제1 네트워크(198) 또는 제2 네트워크(199))를 통해 외부의 전자 장치(예: 도 1의 전자 장치(102, 104) 또는 서버(108))로부터 사물 또는 환경에 관한 정보를 제공받을 수 있다. 다른 실시예에서, 전자 장치(200)는 제공받은 사물이나 환경에 관한 정보를 음향 또는 시각적인 형태로 사용자에게 제공할 수 있다. 전자 장치(200)는 제공받은 사물이나 환경에 관한 정보를 디스플레이 모듈(예: 적어도 디스플레이를 포함하는 도 1의 디스플레이 모듈(160))을 이용하여 시각적인 형태로 표시 부재(201)를 통해 사용자에게 제공할 수 있다. 예를 들어, 전자 장치(200)는 사물이나 환경에 관한 정보를 시각적인 형태로 구현하고 사용자 주변 환경의 실제 이미지와 조합함으로써, 전자 장치(200)는 증강 현실(augmented reality)을 구현할 수 있다.
일 실시 예에 따르면, 표시 부재(201)는 외부의 빛이 입사되는 방향(예: -Y 방향)을 향하는 제1 면(F1) 및 상기 제1 면(F1)의 반대 방향(예: +Y 방향)을 향하는 제2 면(F2)을 포함할 수 있다. 사용자가 전자 장치(200)를 착용한 상태에서, 제1 면(F1)을 통해 입사된 빛 또는 이미지의 적어도 일부는 사용자의 좌안 및/또는 우안과 마주보게 배치된 표시 부재(201)의 제2 면(F2)을 통과하여 사용자의 좌안 및/또는 우안으로 입사될 수 있다.
일 실시 예에 따르면, 렌즈 프레임(202)은 적어도 둘 이상의 프레임을 포함할 수 있다. 예를 들면, 렌즈 프레임(202)은 제1 프레임(202a) 및 제2 프레임(202b)을 포함할 수 있다. 일 실시예에 따르면, 전자 장치(200)를 사용자가 착용할 때, 제1 프레임(202a)은 사용자의 안면과 대면하는 부분의 프레임이고, 제2 프레임(202b)은 제1 프레임(202a)에 대하여 사용자가 바라보는 시선 방향(예: -Y 방향)으로 이격된 렌즈 프레임(202)의 일부일 수 있다.
일 실시 예에 따르면, 광 출력 모듈(211)은 사용자에게 이미지 및/또는 영상을 제공할 수 있다. 예를 들어, 광 출력 모듈(211)은 영상을 출력할 수 있는 디스플레이 패널(미도시), 및 사용자의 눈에 대응되고, 상기 영상을 표시 부재(201)로 가이드하는 렌즈(미도시)를 포함할 수 있다. 예를 들어, 사용자는 광 출력 모듈(211)의 렌즈를 통해 광 출력 모듈(211)의 디스플레이 패널로부터 출력된 영상을 획득할 수 있다. 일 실시 예에 따르면, 광 출력 모듈(211)은, 다양한 정보를 표시하도록 구성된 장치를 포함할 수 있다. 예를 들면, 광 출력 모듈(211)은 액정 표시 장치(liquid crystal display, LCD), 디지털 미러 표시 장치(digital mirror device, DMD), 실리콘 액정 표시 장치(liquid crystal on silicon, LCoS), 유기 발광 다이오드(organic light emitting diode, OLED) 또는 마이크로 엘이디(micro light emitting diode, micro LED) 중 적어도 하나를 포함할 수 있다. 일 실시예에 따르면, 광 출력 모듈(211) 및/또는 표시 부재(201)가, 액정 표시 장치, 디지털 미러 표시 장치, 또는 실리콘 액정 표시 장치 중 하나를 포함하는 경우, 전자 장치(200)는 광 출력 모듈(211) 및/또는 표시 부재(201)의 디스플레이 영역으로 빛을 조사하는 광원을 포함할 수 있다. 다른 실시 예에 따르면, 광 출력 모듈(211) 및/또는 표시 부재(201)가 유기 발광 다이오드, 또는 마이크로 엘이디 중 하나를 포함하는 경우, 전자 장치(200)는 별도의 광원을 포함하지 않고 사용자에게 가상 영상을 제공할 수 있다.
일 실시 예에 따르면, 광 출력 모듈(211)의 적어도 일부는 하우징(210) 내에 배치될 수 있다. 예를 들어, 광 출력 모듈(211)은 사용자의 오른쪽 눈 및 왼쪽 눈에 각각 대응되도록 착용 부재(203) 또는 렌즈 프레임(202)에 배치될 수 있다. 일 실시예에 따르면, 광 출력 모듈(211)은 표시 부재(201)와 연결되고, 표시 부재(201)를 통하여 사용자에게 영상을 제공할 수 있다. 예를 들어, 광 출력 모듈(211)에서 출력된 영상은 표시 부재(201)의 일단에 위치하는 입력 광학 부재를 통해 표시 부재(201)로 입사 되고, 표시 부재(201)의 적어도 일부에 위치하는 도파관(waveguide) 및 출력 광학 부재를 통해 사용자의 눈을 향하여 방사될 수 있다. 일 실시예에 따르면, 도파관은 글래스, 플라스틱, 또는 폴리머로 제작될 수 있으며, 내부 또는 외부의 일표면에 형성된 나노 패턴, 예를 들어, 다각형 또는 곡면 형상의 격자 구조(grating structure)를 포함할 수 있다. 일 실시예에 따르면, 도파관(waveguide)은 적어도 하나의 회절 요소(예: DOE(diffractive optical element), HOE(holographic optical element)) 또는 반사 요소(예: 반사 거울) 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 회로 기판(241)은 전자 장치(200)의 구동을 위한 부품들을 포함할 수 있다. 예를 들어, 회로 기판(241)은 적어도 하나의 직접회로 칩(integrated circuit chip)을 포함할 수 있으며, 도 1의 프로세서(120), 메모리(130), 전력 관리 모듈(188), 또는 통신 모듈(190) 중 적어도 하나는 상기 직접회로 칩에 제공될 수 있다. 일 실시예에 따르면, 회로 기판(241)은 하우징(210)의 착용 부재(203) 내에 배치될 수 있다. 일 실시예에 따르면, 회로 기판(241)은 전원 전달 구조(246)를 통하여 배터리(243)와 전기적으로 연결될 수 있다. 일 실시예에 따르면, 회로 기판(241)은 가요성 인쇄회로기판(205)와 연결되고, 가요성 인쇄회로기판(205)을 통하여 전자 장치의 전자 부품들(예: 회로를 포함하는 광(optical)/라이트(light) 출력 모듈(211), 카메라 모듈(250), 발광부에 전기 신호를 전달할 수 있다. 일 실시예에 따르면, 회로 기판(241)은 인터포저(interposer) 기판일 수 있다. 여기서 각 “모듈”은 회로를 포함할 수 있다.
다양한 실시예에 따르면, 가요성 인쇄회로 기판(205)은 회로 기판(241)으로부터 힌지 구조(229)를 가로질러 렌즈 프레임(202)의 내부로 연장될 수 있으며, 렌즈 프레임(202)의 내부에서 표시 부재(201) 둘레의 적어도 일부에 배치될 수 있다.
일 실시 예에 따르면, 배터리(243)(예: 도 1의 배터리(189))는 전자 장치(200)의 부품(예: 광/라이트 출력 모듈(211), 회로 기판(241), 스피커 모듈(245), 마이크 모듈(247), 및/또는 카메라 모듈(250))과 전기적으로 연결될 수 있고, 전자 장치(200)의 부품들에게 전력을 공급할 수 있다.
일 실시 예에 따르면, 배터리(243)의 적어도 일부는 착용 부재(203)에 배치될 수 있다. 일 실시예에 따르면, 배터리(243)는 착용 부재(203)의 단부(203a, 203b)에 (직접 또는 간접적으로) 인접하도록 배치될 수 있다. 예를 들어, 배터리(243)는 착용 부재(203)의 제1 단부(203a)에 배치된 제1 배터리(243a) 및 제2 단부(203b)에 배치된 제2 배터리(243b)를 포함할 수 있다.
다양한 실시예에 따르면, 스피커 모듈(245)(예: 예를 들어, 적어도 하나의 스피커를 포함하는, 도 1의 오디오 모듈(170) 또는 음향 출력 모듈(155))은 전기 신호를 소리로 변환시킬 수 있다. 상기 스피커 모듈(245)의 적어도 일부는 하우징(210)의 착용 부재(203) 내에 배치될 수 있다. 일 실시예에 따르면, 스피커 모듈(245)은 사용자의 귀에 대응되도록 착용 부재(203) 내에 위치할 수 있다. 일 실시예(예: 도 3)에 따르면, 스피커 모듈(245)은 회로 기판(241) 상에 배치될 수 있다. 예를 들어, 스피커 모듈(245)은 회로 기판(241)과 내측 케이스(예: 도 5의 내측 케이스(231)) 사이에 배치될 수 있다. 일 실시예(예: 도 4)에 따르면, 스피커 모듈(245)은 회로 기판(241)의 옆에 배치될 수 있다. 예를 들어, 스피커 모듈(245)은 회로 기판(241)과 배터리(243) 사이에 배치될 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 스피커 모듈(245) 및 회로 기판(241)과 연결된 연결 부재(248)을 포함할 수 있다. 연결 부재(248)은 스피커 모듈(245)에서 생성된 소리 및/또는 진동의 적어도 일부를 회로 기판(241)으로 전달할 수 있다. 일 실시예에 따르면, 연결 부재(248)는 스피커 모듈(245)과 일체형으로 형성될 수 있다. 예를 들어, 스피커 모듈(245)의 스피커 프레임에서 연장된 일 부분이 연결 부재(248)로 해석될 수 있다. 일 실시예(예: 도 3)에 따르면, 연결 부재(248)은 생략될 수 있다. 예를 들어, 스피커 모듈(245)이 회로 기판(241) 상에 배치된 경우, 연결 부재(248)은 생략될 수 있다.
일 실시 예에 따르면, 전원 전달 구조(246)는 배터리(243)의 전력을 전자 장치(200)의 전자 부품(예: 광 출력 모듈(211))으로 전달할 수 있다. 예를 들어, 전원 전달 구조(246)는, 배터리(243) 및/또는 회로기판(241)과 전기적으로 연결되고, 회로기판(241)은 전원 전달 구조(246)를 통해 수신한 전력을 광 출력 모듈(211)로 전달할 수 있다.
일 실시 예에 따르면, 전원 전달 구조(246)는 전력을 전달할 수 있는 구성일 수 있다. 예를 들어, 전원 전달 구조(246)는 가요성 인쇄회로기판 또는 와이어를 포함할 수 있다. 예를 들면, 와이어는 복수의 케이블들(미도시)을 포함할 수 있다. 다양한 실시 예에서, 전원 전달 구조(246)의 형태는 케이블의 개수 및/또는 종류 등을 고려하여 다양하게 변형될 수 있다.
일 실시 예에 따르면, 마이크 모듈(247)(예: 도 1의 입력 모듈(150) 및/또는 오디오 모듈(170))은 소리를 전기 신호로 변환할 수 있다. 일 실시예에 따르면, 마이크 모듈(247)은 렌즈 프레임(202)의 적어도 일부에 배치될 수 있다. 예를 들면, 적어도 하나의 마이크 모듈(247)은 전자 장치(200)의 하단(예: -X축을 향하는 방향) 및/또는 상단(예: X축을 향하는 방향)에 배치될 수 있다. 일 실시 예에 따르면, 전자 장치(200)는 적어도 하나의 마이크 모듈(247)에서 획득된 음성 정보(예: 소리)를 이용하여 사용자의 음성을 보다 명확하게 인식할 수 있다. 예를 들면, 전자 장치(200)는 획득된 음성 정보 및/또는 추가 정보(예: 사용자의 피부와 뼈의 저주파 진동)에 기반하여, 음성 정보와 주변 잡음을 구별할 수 있다. 예를 들면, 전자 장치(200)는, 사용자의 음성을 명확하게 인식할 수 있고, 주변 소음을 줄여주는 기능(예: 노이즈 캔슬링)을 수행할 수 있다.
일 실시 예에 따르면, 카메라 모듈(250)은 정지 영상 및/또는 동영상을 촬영할 수 있다. 상기 카메라 모듈(250)은 렌즈, 적어도 하나의 이미지 센서, 이미지 시그널 프로세서 또는 플래시 중 적어도 하나를 포함할 수 있다. 일 실시예에 따르면, 카메라 모듈(250)은 렌즈 프레임(202) 내에 배치되고, 표시 부재(201)의 주위에 배치될 수 있다.
일 실시 예에 따르면, 카메라 모듈(250)은 적어도 하나의 제1 카메라 모듈(251)을 포함할 수 있다. 일 실시예에 따르면, 제1 카메라 모듈(251)은 사용자의 눈(예: 동공(pupil)) 또는 시선의 궤적을 촬영할 수 있다. 예를 들어, 제1 카메라 모듈(251)은 발광부가 사용자의 눈으로 방사한 빛의 반사 패턴을 촬영할 수 있다. 예를 들면, 발광부는, 제1 카메라 모듈(251)을 이용한 시선의 궤적의 추적을 위한 적외선 대역의 빛을 방사할 수 있다. 예를 들어, 발광부는 IR LED를 포함할 수 있다. 일 실시예에 따르면, 프로세서(예: 도 1의 프로세서(120))는 표시 부재(201)에 투영되는 가상 영상이 사용자의 눈동자가 응시하는 방향에 대응되도록 상기 가상 영상의 위치를 조정할 수 있다. 일 실시예에 따르면, 제1 카메라 모듈(251)은 글로벌 셔터(GS) 방식의 카메라를 포함할 수 있고, 동일 규격, 및 성능의 복수개의 제1 카메라 모듈(251)들을 이용하여 사용자의 눈 또는 시선의 궤적을 추적할 수 있다.
다양한 실시예에 따르면, 제1 카메라 모듈(251)은, 사용자의 눈 또는 시선의 궤적과 관련된 정보(예: 궤적 정보)를 프로세서(예: 도 1의 프로세서(120))로 주기적으로 또는 비주기적으로 전송할 수 있다. 다른 실시예에 따르면, 제1 카메라 모듈(251)은 상기 궤적 정보에 기반하여, 사용자 시선이 변경되었음을 감지(예: 머리가 움직이지 않는 상태에서 눈이 기준치 이상 이동)하였을 때, 궤적 정보를 프로세서로 전송할 수 있다.
일 실시 예에 따르면, 카메라 모듈(250)은 제2 카메라 모듈(253)을 포함할 수 있다. 일 실시예에 따르면, 제2 카메라 모듈(253)은 외부의 이미지를 촬영할 수 있다. 일 실시예에 따르면, 제2 카메라 모듈(253)은 글로벌 셔터 방식 또는 롤링 셔터(rolling shutter, RS) 방식의 카메라일 수 있다. 일 실시예에 따르면, 제2 카메라 모듈(253)은 제2 프레임(202b)에 형성된 제2 광학 홀(223)을 통해 외부의 이미지를 촬영할 수 있다. 예를 들어, 제2 카메라 모듈(253)은, 고해상도의 컬러 카메라를 포함할 수 있으며, HR(high resolution) 또는 PV(photo video) 카메라일 수 있다. 또한, 제2 카메라 모듈(253)은, 자동 초점 기능(auto focus, AF)과 이미지 안정화 기능(optical image stabilizer, OIS)을 제공할 수 있다.
다양한 실시예들에 따르면(미도시), 전자 장치(200)는 제2 카메라 모듈(253)과 (직접 또는 간접적으로) 인접하도록 위치한 플래시(미도시)를 포함할 수 있다. 예를 들면, 플래시(미도시)는 제2 카메라 모듈(253)의 외부 이미지 획득 시, 전자 장치(200) 주변의 밝기(예: 조도)를 증대시키기 위한 광을 제공할 수 있으며, 어두운 환경, 다양한 광원의 혼입, 및/또는 빛의 반사로 인한 이미지 획득의 어려움을 감소시킬 수 있다.
일 실시 예에 따르면, 카메라 모듈(250)은 적어도 하나의 제3 카메라 모듈(255)을 포함할 수 있다. 일 실시예에 따르면, 제3 카메라 모듈(255)은 렌즈 프레임(202)에 형성된 제1 광학 홀(221)을 통해 사용자의 동작을 촬영할 수 있다. 예를 들어, 제3 카메라 모듈(255)은 사용자의 제스처(예: 손동작)를 촬영할 수 있다. 상기 제3 카메라 모듈(255) 및/또는 제1 광학 홀(221)은 렌즈 프레임(202)(예: 제2 프레임(202b))의 양 측단, 예를 들어, X 방향에서 렌즈 프레임(202)(예: 제2 프레임(202b))의 양 단부에 각각 배치될 수 있다. 일 실시예에 따르면, 제3 카메라 모듈(255)은 글로벌 셔터(global shutter, GS) 방식의 카메라일 수 있다. 예를 들면, 제3 카메라 모듈(255)은, 3DoF(degrees of freedom, 자유도), 또는 6DoF를 지원하는 카메라로 360도 공간(예: 전 방향), 위치 인식 및/또는 이동 인식을 제공할 수 있다. 일 실시예에 따르면, 제3 카메라 모듈(255)은, 스테레오 카메라로 동일 규격, 및 성능의 복수개의 글로벌 셔터 방식의 카메라를 이용하여 이동 경로 추적 기능(simultaneous localization and mapping, SLAM) 및 사용자 움직임 인식 기능을 수행할 수 있다. 일 실시예에 따르면, 제3 카메라 모듈(255)은 IR(infrared) 카메라(예: TOF(time of flight) camera, 또는 structured light camera)를 포함할 수 있다. 예를 들어, IR 카메라는 피사체와의 거리를 감지하기 위한 센서 모듈(예: 도 1의 센서 모듈(176))의 적어도 일부로 동작될 수 있다.
일 실시예에 따르면, 제1 카메라 모듈(251) 또는 제3 카메라 모듈(255) 중 적어도 하나는 센서 모듈(예: 도 1의 센서 모듈(176))로 대체될 수 있다. 예를 들면, 센서 모듈은, VCSEL(vertical cavity surface emitting laser), 적외선 센서, 및/또는 포토 다이오드(photodiode) 중 적어도 하나를 포함할 수 있다. 예를 들면, 포토 다이오드는 PIN(positive intrinsic negative) 포토 다이오드, 또는 APD(avalanche photo diode)를 포함할 수 있다. 상기 포토 다이오드는, 포토 디텍터(photo detector), 또는 포토 센서로 일컬어 질 수 있다.
일 실시예에 따르면, 제1 카메라 모듈(251), 제2 카메라 모듈(253) 또는 제3 카메라 모듈(255) 중 적어도 하나는, 복수의 카메라 모듈들(미도시)을 포함할 수 있다. 예를 들면, 제2 카메라 모듈(253)은 복수의 렌즈들(예: 광각 및 망원 렌즈) 및 이미지 센서들로 구성되어 전자 장치(200)의 한 면(예: -Y축을 향하는 면)에 배치될 수 있다. 예를 들면, 전자 장치(200)는 각각 다른 속성(예: 화각) 또는 기능을 가진 복수의 카메라 모듈들을 포함할 수 있고, 사용자의 선택 및/또는 궤적 정보에 기반하여, 카메라 모듈의 화각을 변경하도록 제어할 수 있다. 예를 들면, 상기 복수의 카메라 모듈들 중 적어도 하나는 광각 카메라이고, 적어도 다른 하나는 망원 카메라일 수 있다.
다양한 실시예에 따르면, 프로세서(예: 도 1의 프로세서(120))는 센서 모듈(예: 도 1의 센서 모듈(176))의 제스처 센서, 자이로 센서, 또는 가속도 센서 중 적어도 하나를 이용하여 획득한 전자 장치(200)의 정보 및 제3 카메라 모듈(255)을 이용하여 획득한 사용자의 동작(예: 전자 장치(200)에 대한 사용자 신체의 접근)을 이용하여, 전자 장치(200)의 움직임 및/또는 사용자의 움직임을 판단할 수 있다. 일 실시 예에 따르면, 전자 장치(200)는 서술된 센서 이외에 자기장 및 자력션을 이용하여 방위를 측정할 수 있는 자기(지자기) 센서, 및/또는 자기장의 세기를 이용하여 움직임 정보(예: 이동 방향 또는 이동 거리)를 획득할 수 있는 홀 센서를 포함할 수 있다. 예를 들면, 프로세서는 자기(지자기) 센서, 및/또는 홀 센서로부터 획득된 정보에 기반하여, 전자 장치(200)의 움직임 및/또는 사용자의 움직임을 판단할 수 있다.
다양한 실시예에 따르면(미도시), 전자 장치(200)는 사용자와의 상호 작용이 가능한 입력 기능(예: 터치, 및/또는 압력 감지 기능)을 수행할 수 있다. 예를 들면, 터치 및/또는 압력 감지 기능을 수행하도록 구성된 구성 요소(예: 터치 센서, 및/또는 압력 센서)가 착용 부재(203)의 적어도 일부에 배치될 수 있다. 전자 장치(200)는 상기 구성 요소를 통해 획득된 정보에 기반하여 표시 부재(201)를 통해 출력되는 가상 영상을 제어할 수 있다. 예를 들어, 터치 및/또는 압력 감지 기능과 관련된 센서는 저항막 방식(resistive type), 정전 용량 방식(capacitive type), 전자기 유도형(electro-magnetic type, EM), 또는 광 감지 방식(optical type)과 같은 다양한 방식으로 구성될 수 있다. 일 실시예에 따르면, 상기 터치 및/또는 압력 감지 기능을 수행하도록 구성된 구성 요소는 도 1의 입력 모듈(150)의 구성과 전부 또는 일부 동일할 수 있다.
여기서, 각 실시 예는 임의의 다른 실시 예와 조합하여 사용될 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 렌즈 프레임(202)의 내부 공간에 배치되고, 렌즈 프레임(202)의 강성 보다 높은 강성을 가지도록 형성된 보강 부재(260)를 포함할 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 렌즈 구조(270)를 포함할 수 있다. 상기 렌즈 구조(270)는 빛의 적어도 일부를 굴절시킬 수 있다. 예를 들어, 렌즈 구조(270)는 지정된 굴절력을 가진 도수 렌즈(prescription lens)일 수 있다. 일 실시 예에 따르면, 하우징(210)은 힌지 구조(229)의 일부분을 은폐할 수 있는 힌지 커버(227)를 포함할 수 있다. 상기 힌지 구조(229)의 다른 일부분은 후술할 내측 케이스(231)와 외측 케이스(233) 사이로 수용 또는 은폐될 수 있다.
다양한 실시예들에 따르면, 착용 부재(203)는 내측 케이스(231)와 외측 케이스(233)를 포함할 수 있다. 내측 케이스(231)는, 예를 들면, 사용자의 신체와 대면하거나 사용자의 신체에 직접 접촉하도록 구성된 케이스로서, 열 전도율이 낮은 물질, 예를 들면, 합성수지로 제작될 수 있다. 일 실시예에 따르면, 내측 케이스(231)는 사용자의 신체와 대면하는 내 측면(예: 도 2의 내 측면(231c))을 포함할 수 있다. 외측 케이스(233)는, 예를 들면, 적어도 부분적으로 열을 전달할 수 있는 물질(예: 금속 물질)을 포함하며, 내측 케이스(231)와 마주보게 결합될 수 있다. 일 실시예에 따르면, 외측 케이스(233)는 상기 내 측면(231c)의 반대인 외 측면(예: 도 2의 외 측면(231d))을 포함할 수 있다. 일 실시예에서, 회로 기판(241) 또는 스피커 모듈(245) 중 적어도 하나는 착용 부재(203) 내에서 배터리(243)와 분리된 공간에 수용될 수 있다. 도시된 실시예에서, 내측 케이스(231)는 회로 기판(241) 및/또는 스피커 모듈(245)을 포함하는 제1 케이스(231a)와, 배터리(243)를 수용하는 제2 케이스(231b)를 포함할 수 있으며, 외측 케이스(233)는 제1 케이스(231a)와 마주보게 결합하는 제3 케이스(233a)와, 제2 케이스(231b)와 마주보게 결합하는 제4 케이스(233b)를 포함할 수 있다. 예를 들어, 제1 케이스(231a)와 제3 케이스(233a)가 결합(이하, '제1 케이스 부분(231a, 233a)')하여 회로 기판(241) 및/또는 스피커 모듈(245)을 수용할 수 있고, 제2 케이스(231b)와 제4 케이스(233b)가 결합(이하, '제2 케이스 부분(231b, 233b)')하여 배터리(243)를 수용할 수 있다.
일 실시 예에 따르면, 제1 케이스 부분(231a, 233a)은 힌지 구조(229)를 통해 렌즈 프레임(202)에 회전 가능하게 결합되고, 제 2 케이스 부분(231b, 233b)은 연결 구조(235)를 통해 제1 케이스 부분(231a, 233a)의 단부에 연결 또는 장착될 수 있다. 어떤 실시예에서, 연결 구조(235) 중, 사용자 신체에 접촉하는 부분은 열 전도율이 낮은 물질, 예를 들면, 실리콘(silicone), 폴리우레탄(polyurethane)이나 고무와 같은 탄성체 재질로 제작될 수 있으며, 사용자 신체에 접촉하지 않는 부분은 열 전도율이 높은 물질(예: 금속 물질)로 제작될 수 있다. 예컨대, 회로 기판(241)이나 배터리(243)에서 열이 발생될 때, 연결 구조(235)는 사용자 신체에 접하는 부분으로 열이 전달되는 것을 차단하고, 사용자 신체와 접촉하지 않는 부분을 통해 열을 분산 또는 방출시킬 수 있다. 일 실시예에 따르면, 연결 구조(235) 중 사용자 신체와 접촉하게 구성된 부분은 내측 케이스(231)의 일부로서 해석될 수 있으며, 연결 구조(235) 중 사용자 신체와 접촉하지 않는 부분은 외측 케이스(233)의 일부로서 해석될 수 있다. 일 실시예에 따르면(미도시), 제1 케이스(231a)와 제2 케이스(231b)는 연결 구조(235) 없이 일체형으로 구성되고, 제3 케이스(233a)와 제4 케이스(233b)는 연결 구조(235) 없이 일체형으로 구성될 수 있다. 다양한 실시예에 따라, 도시된 구성요소 외에 다른 구성요소(예: 적어도 안테나를 포함하는 도 1의 안테나 모듈(197))를 더 포함할 수 있으며, 통신 회로를 포함하는 통신 모듈(190)을 이용하여, 네트워크(예: 도 1의 제1 네트워크(198) 또는 제2 네트워크(199))를 통해 외부의 전자 장치(예: 도 1의 전자 장치(102, 104) 또는 서버(108))로부터 사물 또는 환경에 관한 정보를 제공받을 수 있다.
도 6은 일 실시 예에 따른 전자 장치의 가상 오브젝트 표시 동작을 설명하기 위한 흐름도이다.
일 실시 예에 따라, 도 6을 참조하면, 610 동작에서, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 어플리케이션의 실행 화면을 디스플레이(예: 적어도 디스플레이를 각각 포함하는 도 1의 디스플레이 모듈(160) 또는 도 2의 표시 부재(201))에 표시할 수 있다.
예를 들어, 전자 장치는 복수의 어플리케이션 아이콘이 포함된 어플리케이션 리스트를 디스플레이에 표시할 수 있다. 카메라(예: 도 1의 카메라 모듈(180) 또는 도 3의 제3 카메라 모듈(255))를 통해 어플리케이션 리스트 중 하나의 아이콘을 선택하는 사용자 입력이 수신되면, 선택된 아이콘에 대응되는 어플리케이션 실행 화면을 디스플레이에 표시할 수 있다.
일 실시 예에 따른 어플리케이션 실행 화면을 표시하는 동작은 이하 도 7을 참조하여 설명하기로 한다.
일 실시 예에 따라, 620 동작에서, 전자 장치는 카메라(예: 도 1의 카메라 모듈(180) 또는 도 3의 제3 카메라 모듈(255))를 통해, 어플리케이션의 실행 화면에 포함된 복수의 컨텐트 중 하나의 컨텐트를 선택하는 제1 사용자 입력이 수신되면, 선택된 컨텐트와 관련된 제1 가상 오브젝트를 디스플레이에 표시할 수 있다.
예를 들어, 제1 사용자 입력은, 사용자가 엄지 및 검지를 이용해 컨텐트를 집는 핀치(pinch) 동작일 수 있다. 전자 장치는 어플리케이션의 실행 화면에 포함된 복수의 컨텐트 중 하나의 컨텐트를 선택하는 핀치 동작이 수신되면, 선택된 컨텐트와 관련된 제1 가상 오브젝트를 디스플레이에 표시할 수 있다. 일 실시 예에 따라, 제1 사용자 입력은 핀치 동작 이외의 터치 동작과 같은 제스쳐 입력일 수 있으며, 제스쳐 입력은 핀치 동작 또는 터치 동작에 한정되지 않는다.
일 실시 예에 따라, 제1 사용자 입력은 제스쳐 입력에 한정되지 않으며, 음성 입력 및/또는 시선 추적을 포함할 수 있다. 일 실시 예에 따라, 음성 임력 및/또는 시선 추척을 통해 가상 오브젝트를 실제 오브젝트에 매핑하는 동작은 이하 도 10a 내지 도 10g를 참조하여 설명하기로 한다.
일 실시 예에 따라, 제1 가상 오브젝트는 패널 형태 또는 3D 가상 오브젝트 형태일 수 있다. 일 실시 예에 따라, 제1 가상 오브젝트의 형태는 제조시에 설정되거나, 사용자의 조작에 의해 설정될 수 있다.
예를 들어, 제1 가상 오브젝트가 패널 형태인 경우, 전자 장치는 어플리케이션 실행 화면과 구분되는 폐곡선 형태(예: 사각형, 원형, 둥근 사각형, 타원형과 같은 도형)의 제1 가상 오브젝트를 생성하고, 제1 가상 오브젝트에 선택된 컨텐트 정보를 표시할 수 있다.
예를 들어, 제1 가상 오브젝트가 3D 가상 오브젝트 형태인 경우, 어플리케이션의 종류를 기반으로 3D 가상 오브젝트의 형태가 결정될 수 있다. 예를 들어, 실행 화면이 캘린더 어플리케이션의 실행 화면인 경우, 제1 가상 오브젝트는 탁상 캘린더 모양일 수 있고, 실행 화면이 알람 어플리케이션인 경우, 제1 가상 오브젝트는 탁상 시계 모양일 수 있다. 일 실시 예에 따라, 메모리(예: 도 1의 메모리(130))에는 어플리케이션 별로 3D 가상 오브젝트의 형태가 매핑되어 저장되어 있을 수 있다.
일 실시 예에 따라, 어플리케이션 실행 화면에서 하나의 컨텐트를 선택하는 동작은 이하 도 8을 참조하여 설명하기로 한다.
일 실시 예에 따라, 제1 사용자 입력에 기반하여 선택된 컨텐트와 관련된 제1 가상 오브젝트를 표시하는 동작은 이하 도 9a 및 도 9b를 참조하여 설명하기로 한다.
일 실시 예에 따라, 630 동작에서, 전자 장치는, 카메라(예: 도 1의 카메라 모듈(180) 또는 도 3의 제3 카메라 모듈(255))를 통해, 제1 가상 오브젝트를 실제 공간에 포함된 오브젝트에 매핑하기 위한 제2 사용자 입력이 수신되면, 적어도 하나의 센서(예: 도 1의 센서 모듈(176) 또는 도 3의 제2 카메라 모듈(253))를 통해 실제 공간의 오브젝트의 종류를 식별할 수 있다.
예를 들어, 제2 사용자 입력은 제1 가상 오브젝트를 이동시키는 제스쳐 입력 및 실제 공간에 포함된 오브젝트 근처에서 릴리즈(release)하는 제스쳐 입력을 포함할 수 있다. 일 실시 예에 따라, 제2 사용자 입력은 이에 한정되지 않으며, 제1 가상 오브젝트를 선택하고 실제 공간에 포함된 오브젝트를 선택하여 제1 가상 오브젝트와 실제 공간에 포함된 오브젝트를 매핑하는 제스쳐 입력일 수도 있다.
일 실시 예에 따라, 제2 사용자 입력은 제스쳐 입력에 한정되지 않으며, 음성 입력 및/또는 시선 추적을 포함할 수 있다. 일 실시 예에 따라, 음성 임력 및/또는 시선 추척을 통해 가상 오브젝트를 실제 오브젝트에 매핑하는 동작은 이하 도 10a 내지 도 10g를 참조하여 설명하기로 한다.
일 실시 예에 따라, 전자 장치는 적어도 하나의 센서(예: 카메라(예: 도 3의 제2 카메라 모듈(253)))를 통해 실제 공간에 위치한 복수의 오브젝트 중 제1 가상 오브젝트가 릴리즈된 오브젝트의 종류를 식별할 수 있다.
일 실시 예에 따라, 전자 장치는 적어도 하나의 센서(예: 도 1의 센서 모듈(176)(예: DoF(depth of field), Lidar))를 통해 실제 공간에 위치한 복수의 오브젝트의 존재를 식별하고, 제1 가상 오브젝트가 매핑될 수 있음을 알리는 복수의 아이콘을 실제 공간에 위치한 복수의 오브젝트 각각에 표시할 수 있다. 일 실시 예에 따라, 복수의 아이콘 중 하나의 아이콘에 제1 가상 오브젝트를 릴리즈하는 제2 사용자 입력이 수신되면, 카메라(예: 도 3의 제3 카메라 모듈(255) 및/또는 제2 카메라 모듈 (253))를 통해 오브젝트의 종류를 식별할 수 있다. 여기서, “카메라 모듈” 각각은 회로 및/또는 카메라를 포함한다.
일 실시 예에 따라, 실제 공간의 복수의 오브젝트 각각에 아이콘이 표시되는 동작은 선택적인 동작일 수 있다. 각 실제 공간의 오브젝트의 아이콘이 표시되지 않은 상태에서 실제 공간의 오브젝트에 제1 가상 오브젝트를 릴리즈하는 제2 사용자 입력이 수신되면, 전자 장치는 실제 공간의 오브젝트의 종류가 선택된 컨텐트 또는 제1 가상 오브젝트와 관련된 것인지 여부에 따라 제1 가상 오브젝트를 변경하여 표시할 수 있다. 일 실시 예에 따라, 실제 공간의 오브젝트의 아이콘이 표시되지 않은 상태에서 실제 공간의 오브젝트에 제1 가상 오브젝트를 릴리즈하는 제2 사용자 입력이 수신된 경우의 전자 장치의 동작은, 이하 640 동작에서 보다 자세히 설명하기로 한다.
일 실시 예에 따라, 실제 공간에 위치한 복수의 오브젝트에 아이콘을 표시하는 동작은 이하 도 13b를 참조하여 설명하기로 한다.
일 실시 예에 따라, 전자 장치는 카메라를 통해 제1 가상 오브젝트가 매핑된 실제 공간의 오브젝트의 이미지를 획득하고, 실제 공간의 오브젝트의 이미지를 메모리(예: 도 1의 메모리(130))에 저장된 인공지능 모델을 기반으로 실제 공간에 포함된 오브젝트의 종류를 결정할 수 있다. 예를 들어, 인공지능 모델은 오브젝트의 종류 및 해당 오브젝트의 복수의 형태를 입력 데이터로 하여 학습된 것일 수 있다.
일 실시 예에 따라, 전자 장치는 메모리에 오브젝트 별 복수의 형태와 관련된 정보를 저장하고, 메모리에 저장된 복수의 오브젝트 중 실제 공간의 오브젝트의 유사도가 가장 높은 오브젝트를 실제 공간의 오브젝트의 종류로 결정할 수 있다. 예를 들어, 유사도는 오브젝트의 형태 또는 오브젝트에 포함된 정보 중 적어도 하나를 기반으로 결정될 수 있다. 일 실시 예에 따라, 오브젝트의 형태란 오브젝트의 경계의 형태를 의미할 수 있고, 2D 형태 및 3D 형태를 포함할 수 있다. 일 실시 예에 따라, 오브젝트에 포함된 정보는 문자 정보 또는 이미지 정보 중 적어도 하나를 포함할 수 있다.
이상에서는 실제 공간의 오브젝트의 종류를 식별하는 동작이 전자 장치에서 수행되는 것으로 설명되었으나, 일 실시 예에 따라, 실제 공간의 오브젝트의 이미지가 서버(예: 도 1의 서버(108))로 전송되어 서버에서 실제 공간의 오브젝트의 종류를 식별하고, 서버가 식별 결과를 전자 장치에 전송할 수도 있다.
일 실시 예에 따라, 640 동작에서, 전자 장치는, 실제 공간의 오브젝트의 종류가 선택된 컨텐트 또는 제1 가상 오브젝트와 관련된 것이면, 실제 공간의 오브젝트에 포함된 정보, 실제 공간의 오브젝트의 형태, 위치 또는 크기 중 적어도 하나를 기반으로 선택된 컨텐트와 관련된 제2 가상 오브젝트를 디스플레이에 표시할 수 있다.
예를 들어, 전자 장치는, 제1 가상 오브젝트가 매핑된 실제 공간의 오브젝트가 선택된 컨텐트 또는 제1 가상 오브젝트와 관련된 것이면, 제2 가상 오브젝트를 실제 공간의 오브젝트의 적어도 일부 또는 실제 공간의 오브젝트의 주변 중 적어도 하나에 표시할 수 있으며, 제2 가상 오브젝트는 선택된 컨텐트 정보를 포함할 수 있다.
일 실시 예에 따라, 전자 장치는 실제 공간의 오브젝트를 분석하여, 제1 가상 오브젝트가 매핑된 실제 공간의 오브젝트가 선택된 컨텐트 또는 제1 가상 오브젝트와 관련된 것임을 확인할 수 있다.
예를 들어, 전자 장치는 제1 가상 오브젝트가 실제 공간의 오브젝트에 포함된 정보, 실제 공간의 오브젝트의 형태, 크기 또는 위치 중 적어도 하나를 기반으로 제1 가상 오브젝트가 매핑된 실제 공간의 오브젝트가 선택된 컨텐트 또는 제1 가상 오브젝트와 관련된 것임을 확인할 수 있다. 일 실시 예에 따라, 실제 공간의 오브젝트에 포함된 정보는 문자 정보 또는 이미지 정보 중 적어도 하나를 포함할 수 있다.
예를 들어, 실제 공간의 오브젝트가 달력인 경우, 전자 장치는 달력에 기재된 문자 정보를 통해 월 달력(monthly calendar)인지 또는 일 달력(daily calendar)인지 여부를 확인할 수 있으며, 실제 달력이 월 달력인지 일 달력인지에 따라, 제2 가상 오브젝트에 포함되는 정보 및 제2 가상 오브젝트가 표시되는 위치가 달라질 수 있다.
또 다른 실시 예로, 실제 공간의 오브젝트가 시계인 경우, 전자 장치는 시계에 기재된 문자 정보를 통해 아날로그 시계인지 디지털 시계인지 여부를 확인할 수 있으며, 실제 시계가 아날로그 시계인지 디지털 시계인지에 따라, 제2 가상 오브젝트에 포함되는 정보 및 제2 가상 오브젝트가 표시되는 위치가 달라질 수 있다.
일 실시 예에 따라, 전자 장치는 변경된 제2 가상 오브젝트를 실제 공간의 오브젝트의 일부 또는 주변 중 적어도 하나에 표시할 수 있다.
일 실시 예에 따라, 제1 가상 오브젝트가 매핑된 실제 공간의 오브젝트의 종류가 선택된 컨텐트 또는 제1 가상 오브젝트와 관련된 경우의 전자 장치의 동작은 이하 도 13a 및 도 14를 참조하여 설명하기로 한다.
일 실시 예에 따라, 전자 장치는, 실제 공간의 오브젝트의 종류가 선택된 컨텐트 또는 제1 가상 오브젝트와 무관하면, 선택된 컨텐트와 관련된 3D 오브젝트 형태인 제3 가상 오브젝트를 디스플레이에 표시할 수 있다.
일 실시 예에 따라, 전자 장치는, 제1 가상 오브젝트가 매핑된 실제 공간의 오브젝트의 종류를 기반으로 제3 오브젝트의 형태를 결정할 수 있다.
예를 들어, 선택된 컨텐트가 캘린더 어플리케이션의 컨텐트인 경우, 제1 가상 오브젝트가 매핑된 실제 공간의 오브젝트가 책상이면, 전자 장치는 탁상 캘린더 형태의 제3 가상 오브젝트를 표시할 수 있다. 제1 가상 오브젝트가 매핑된 실제 공간의 오브젝트가 벽이면 벽걸이 캘린더 형태의 제3 가상 오브젝트를 표시할 수 있다. 일 실시 예에 따라, 제3 가상 오브젝트의 형태는 캘린더 형태 이외에도 시계 형태, 이모지(emoji) 형태, 메모지 형태, 노트 형태일 수도 있다.
일 실시 예에 따라, 표시된 제3 가상 오브젝트를 이동시키는 사용자 입력이 수신되는 경우, 전자 장치는 제3 오브젝트가 새롭게 배치된 실제 공간의 오브젝트를 분석하고, 실제 공간의 오브젝트를 기반으로 제3 오브젝트를 제4 오브젝트로 변경할 수 있다. 예를 들어, 제1 가상 오브젝트가 매핑된 실제 공간의 오브젝트가 책상임에 따라, 탁상 캘린더 형태의 제3 가상 오브젝트가 표시될 수 있다. 이후, 제3 가상 오브젝트를 벽으로 이동시키는 사용자 입력이 수신되면, 전자 장치는 탁상 캘린더 형태의 제3 가상 오브젝트를, 벽걸이 캘린더 형태로 변경된 제4 가상 오브젝트를 새롭게 배치된 위치에 표시할 수 있다.
일 실시 예에 따라, 제1 가상 오브젝트가 매핑된 실제 공간의 오브젝트의 종류에 따라 제3 오브젝트의 형태가 결정되는 동작은 이하 도 9c 및 도 9d를 참조하여 설명한다.
일 실시 예에 따라, 제3 가상 오브젝트는 3D 가상 오브젝트 형태의 주변에 표시되는 컨텐트 정보를 더 포함할 수 있다.
일 실시 예에 따라, 3D 가상 오브젝트 형태의 주변에 표시되는 컨텐트 정보를 더 포함하는 제3 가상 오브젝트에 대해서는 이하 도 11을 참조하여 설명한다.
일 실시 예에 따라, 제3 가상 오브젝트의 형태와 제1 가상 오브젝트의 형태는 동일할 수 있다. 예를 들어, 제1 가상 오브젝트가 3D 가상 오브젝트인 경우, 제3 오브젝트의 형태는 제1 가상 오브젝트의 형태와 동일할 수 있다. 일 실시 예에 따라, 제1 가상 오브젝트가 3D 가상 오브젝트인 경우에도 제1 가상 오브젝트가 매핑되는 실제 공간의 오브젝트의 종류에 따라 제1 가상 오브젝트의 형태와 제3 가상 오브젝트의 형태가 상이할 수 있다. 예를 들어, 탁상 캘린더 형태의 제1 가상 오브젝트가 실제 공간의 벽에 매핑되는 경우, 제3 가상 오브젝트의 형태는 벽걸이 캘린더 형태로 변경될 수 있다.
일 실시 예에 따라, 전자 장치는, 실제 공간에 매핑된 제2 가상 오브젝트 또는 제3 가상 오브젝트를 선택하는 제3 사용자 입력이 수신되면, 선택된 컨텐트와 관련된 어플리케이션의 실행 화면을 제2 가상 오브젝트 또는 제3 가상 오브젝트 주변에 표시할 수 있다.
일 실시 예에 따라, 제2 가상 오브젝트 또는 제3 가상 오브젝트를 선택함에 따라 어플리케이션 실행 화면이 표시되는 동작은 이하 도 12a 및 도 12b를 참조하여 설명한다.
일 실시 예에 따라, 전자 장치는 적어도 하나의 제2 센서(예: 도 1의 센서 모듈(176) 또는 도 3의 제1 카메라 모듈(251))를 통해 사용자의 시선을 검출하고, 검출된 사용자의 시선이 가상 오브젝트가 매핑된 실제 공간의 오브젝트를 향함에 기반하여, 제2 가상 오브젝트 또는 제3 가상 오브젝트를 디스플레이에 표시할 수 있다.
일 실시 예에 따라, 전자 장치는 검출된 사용자의 시선이 가상 오브젝트가 매핑된 실제 공간의 오브젝트를 향하지 않음에 기반하여, 제2 가상 오브젝트의 일부 또는 제3 가상 오브젝트의 일부를 삭제할 수 있다.
예를 들어, 제2 가상 오브젝트가 실제 공간의 오브젝트의 주변에 표시된 컨텐트 정보를 포함하거나, 제3 가상 오브젝트가 3D 가상 오브젝트 형태의 주변에 표시되는 컨텐트 정보를 포함하면, 전자 장치는 사용자의 시선이 가상 오브젝트가 매핑된 실제 공간의 오브젝트를 향하지 않으면 실제 공간의 오브젝트의 주변에 표시된 컨텐트 정보 또는 3D 가상 오브젝트 형태의 주변에 표시되는 컨텐트 정보는 삭제할 수 있다.
일 실시 예에 따라, 선택된 컨텐트와 관련된 이벤트가 발생되면, 전자 장치는 이벤트의 정보를 기반으로 제2 가상 오브젝트 또는 제3 가상 오브젝트를 업데이트할 수 있다. 예를 들어, 선택된 컨텐트와 관련된 이벤트는 전자 장치 또는 외부 전자 장치(예: 도 1의 전자 장치(104))에 의해 발생될 수 있다.
일 실시 예에 따라, 전자 장치는 발생된 이벤트의 정보를 기반으로 제2 가상 오브젝트 또는 제3 가상 오브젝트의 형태를 변경할 수 있다. 일 실시 예에 따라 제2 가상 오브젝트 또는 제3 가상 오브젝트의 형태가 변경되는 동작은 이하 도 18c를 참조하여 설명하기로 한다.
일 실시 예에 따라, 외부 전자 장치에서 선택된 컨텐트와 관련된 이벤트가 발생하는 경우, 전자 장치는 외부 전자 장치에서 수신된 이벤트에 대한 정보를 기반으로 제2 가상 오브젝트 또는 제3 가상 오브젝트를 업데이트할 수 있다.
일 실시 예에 따라, 외부 전자 장치에서 선택된 컨텐트와 관련된 이벤트가 발생하는 경우의 동작은 이하 도 26을 참조하여 설명하기로 한다.
일 실시 예에 따라, 전자 장치는 카메라를 통해 제2 가상 오브젝트 또는 제3 가상 오브젝트와 관련된 이벤트가 발생됨을 식별하면, 통신 모듈(예: 통신 회로를 포함하는 도 1의 통신 모듈(190))을 통해 외부 전자 장치(예: 도 1의 전자 장치(104))와의 연결 여부를 확인할 수 있다. 외부 전자 장치와 연결됨이 확인됨을 기반으로, 통신 모듈을 통해 이벤트에 대한 정보를 외부 전자 장치로 전송할 수 있다.
일 실시 예에 따라, 전자 장치에서 선택된 컨텐트와 관련된 이벤트가 발생하는 경우의 동작은 이하 도 27을 참조하여 설명하기로 한다.
일 실시 예에 따라, 가상 오브젝트를 실제 오브젝트에 매핑하는 동작은 전자 장치에서 구현 가능한 각 어플리케이션에서 적용될 수 있다. 예를 들어, 캘린더 어플리케이션에서 적용되는 동작은 이하 도 7 내지 도 14, 알람 어플리케이션에서 적용되는 동작은 도 15 내지 도 18c, 메모 어플리케이션에서 적용되는 동작은 도 19a 내지 도 19d, 연락처 어플리케이션에서 적용되는 동작은 도 20a 내지 도 21c, 메시지 어플리케이션에서 적용되는 동작은 도 22a 내지 도 23f, 날씨 어플리케이션에서 적용되는 동작은 도 24a 내지 24c, 그리고 사진 어플리케이션에서 적용되는 동작은 도 25a 내지 도 25d를 참조하여 설명하기로 한다.
도 7은 일 실시 예에 따른 전자 장치의 실행 화면 표시 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 7을 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 복수의 어플리케이션 아이콘을 포함하는 어플리케이션 리스트(710)를 디스플레이(예: 도 1의 디스플레이 모듈(160) 또는 도 2의 표시 부재(201))에 표시할 수 있다. 여기서, “프로세서” 각각은 프로세싱 회로를 포함한다.
일 실시 예에 따라, 전자 장치는 어플리케이션 리스트(710) 중 하나의 아이콘(711)을 선택하는 사용자 입력이 수신되면, 선택된 아이콘에 대응되는 어플리케이션 실행 화면(720)을 디스플레이에 표시할 수 있다. 예를 들어, 전자 장치는 카메라(예: 도 1의 카메라 모듈(180) 또는 도 3의 제3 카메라 모듈(255))를 통해 어플리케이션 리스트(710) 중 하나의 아이콘(711)을 선택하기 위한 사용자(10)의 손 제스쳐를 수신하면, 어플리케이션의 실행 화면(720)을 디스플레이(예: 도 1의 디스플레이 모듈(160) 또는 도 2의 표시 부재(201))에 표시할 수 있다.
예를 들어, 전자 장치는 사용자(10)가 어플리케이션 리스트(710)에서 캘린더 어플리케이션의 아이콘(711)을 선택하는 사용자 입력이 수신되면, 캘린더 어플리케이션의 실행 화면(720)을 디스플레이에 표시할 수 있다.
도 8은 일 실시 예에 따른 전자 장치의 컨텐트 선택 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 8을 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 디스플레이(예: 도 1의 디스플레이 모듈(160) 또는 도 2의 표시 부재(201))에 표시된 어플리케이션 실행 화면에 포함된 복수의 컨텐트 중 하나의 컨텐트(810)를 선택하는 사용자 입력을 수신할 수 있다.
예를 들어, 하나의 컨텐트를 선택하는 사용자 입력은, 사용자가 엄지 및 검지를 이용해 컨텐트를 집는 핀치(pinch) 동작 또는 컨텐트를 누르는 터치 동작과 같은 제스쳐 입력일 수 있다. 예를 들어, 캘린더 어플리케이션의 실행 화면에서 특정 날짜(810)와 같은 컨텐트를 선택하는 핀치 동작 또는 터치 동작과 같은 제스쳐 입력을 수신할 수 있다. 일 실시 예에 따라, 제스쳐 입력은 핀치 동작 또는 터치 동작에 한정되지 않는다.
일 실시 예에 따라, 전자 장치는 어플리케이션의 실행 화면에 포함된 복수의 컨텐트 중 하나의 컨텐트(810)를 선택하는 제스쳐 입력이 수신되면, 선택된 컨텐트(810)와 관련된 가상 오브젝트를 디스플레이에 표시할 수 있다.
일 실시 예에 따라, 컨텐트 선택에 따라 표시되는 가상 오브젝트는 패널 형태 또는 3D 가상 오브젝트 형태일 수 있다. 일 실시 예에 따라, 컨텐트 선택에 따라 표시되는 가상 오브젝트의 형태는 제조시에 설정되거나, 사용자의 조작에 의해 설정될 수 있다.
일 실시 예에 따라, 컨텐트 선택에 따라 표시되는 가상 오브젝트가 패널 형태인 실시 예는 이하 도 9a를 참조하여 설명한다.
일 실시 예에 따라, 컨텐트 선택에 따라 표시되는 가상 오브젝트가 3D 가상 오브젝트 형태인 실시 예는 이하 도 9b를 참조하여 설명한다.
도 9a는 일 실시 예에 따른 컨텐트 선택 동작에 따른 가상 오브젝트의 표시 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 9a를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 디스플레이(예: 도 1의 디스플레이 모듈(160) 또는 도 2의 표시 부재(201))에 표시된 어플리케이션 실행 화면에 포함된 복수의 컨텐트 중 하나의 컨텐트를 선택하는 사용자 입력이 수신되면, 어플리케이션의 실행 화면과 구분되는 패널 형태의 가상 오브젝트(910)를 표시할 수 있다. 예를 들어, 전자 장치는 어플리케이션의 실행 화면에 팝업(pop-up) 또는 플로팅(floating)된 패널 형태의 가상 오브젝트(910)를 표시할 수 있다.
예를 들어, 컨텐트 선택에 따라 표시된 가상 오브젝트가 패널 형태인 경우, 가상 오브젝트는 폐곡선 형태(예: 사각형, 원형, 둥근 사각형, 타원형과 같은 도형)일 수 있다.
일 실시 예에 따라, 전자 장치는 폐곡선 형태의 가상 오브젝트 내에 선택된 컨텐트 정보를 표시할 수 있다. 예를 들어, 캘린더 어플리케이션에서 특정 날짜를 선택하는 사용자 입력이 수신된 경우, 전자 장치는 특정 날짜의 컨텐트 정보인, 스케줄 정보를 패널 형태의 가상 오브젝트 내에 표시할 수 있다.
도 9b는 일 실시 예에 따른 컨텐트 선택 동작에 따른 가상 오브젝트의 표시 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 9b를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 디스플레이(예: 도 1의 디스플레이 모듈(160) 또는 도 2의 표시 부재(201))에 표시된 어플리케이션 실행 화면에 포함된 복수의 컨텐트 중 하나의 컨텐트를 선택하는 사용자 입력이 수신되면, 어플리케이션의 실행 화면과 구분되는 3D 가상 오브젝트 형태의 가상 오브젝트(920)를 표시할 수 있다. 예를 들어, 전자 장치는 어플리케이션의 실행 화면에 팝업 또는 플로팅된 3D 가상 오브젝트 형태의 가상 오브젝트(920)를 표시할 수 있다.
예를 들어, 컨텐트 선택에 따라 표시되는 가상 오브젝트가 3D 가상 오브젝트 형태인 경우, 어플리케이션의 종류를 기반으로 3D 가상 오브젝트의 형태가 결정될 수 있다. 예를 들어, 실행 화면이 캘린더 어플리케이션의 실행 화면인 경우, 가상 오브젝트는 탁상 캘린더 모양일 수 있다. 실행 화면이 알람 어플리케이션인 경우, 가상 오브젝트는 탁상 시계 모양일 수 있다. 일 실시 예에 따라, 메모리(예: 도 1의 메모리(130))에는 어플리케이션 별로 3D 가상 오브젝트의 형태가 매핑되어 저장되어 있을 수 있다.
이상에서는 컨텐트 선택에 따라 도 9a에 도시된 패널 형태 또는 도 9b에 도시된 3D 가상 오브젝트 형태의 가상 오브젝트가 표시되는 것으로 도시되었으나, 일 실시 예에 따르면, 컨텐트 선택에 따라 도 9a에 도시된 패널 형태 표시 후 핀치 동작을 유지하며 이동하는 제스쳐가 입력되면, 도 9b에 도시된 3D 가상 오브젝트 형태의 가상 오브젝트로 변경될 수도 있다.
도 9c는 일 실시 예에 따른 3D 가상 오브젝트가 컨텐트와 무관한 실제 공간에 매핑되는 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 9c를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 3D 가상 오브젝트 형태의 가상 오브젝트(930)를 컨텐트와 무관한 실제 공간의 오브젝트(940)에 매핑하는 경우, 실제 공간의 오브젝트(940)의 종류를 기반으로 가상 오브젝트(930)의 형태를 결정할 수 있다.
예를 들어, 실제 공간의 오브젝트(940)가 책상인 경우, 전자 장치는 가상 오브젝트(930)를 탁상 캘린더 형태의 3D 가상 오브젝트를 표시할 수 있다. 예를 들어, 가상 오브젝트(930)는 컨텐트 정보가 포함된 패널 형태를 포함하는 탁상 캘린더 형태의 3D 가상 오브젝트일 수 있다.
도 9c에서는 가상 오브젝트(930)가 3D 가상 오브젝트 형태인 것으로 도시하였으나, 일 실시 예에 따라, 패널 형태의 가상 오브젝트가 이동하여 실제 공간의 오브젝트에 매핑되면, 선택된 컨텐트의 종류 및 실제 공간의 오브젝트의 종류를 기반으로 3D 가상 오브젝트 형태로 변경될 수도 있다.
도 9d는 일 실시 예에 따른 3D 가상 오브젝트가 컨텐트와 무관한 실제 공간에 매핑되는 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 9d를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 실제 공간의 오브젝트가 벽인 경우, 가상 오브젝트(950)를 벽걸이 캘린더 형태의 3D 가상 오브젝트로 표시할 수 있다. 예를 들어, 가상 오브젝트(950)는 컨텐트 정보가 포함된 패널 형태를 포함하는 벽걸이 캘린더 형태의 3D 가상 오브젝트일 수 있다.
도 9a 내지 도 9d에서는 사용자의 제스쳐 입력을 통해 가상 오브젝트를 실제 공간의 오브젝트에 매핑하는 것으로 도시 및 설명하였으나, 사용자의 음성 입력 및/또는 시선 추적을 통해 전자 장치는 가상 오브젝트를 실제 공간의 오브젝트에 매핑할 수도 있으며, 이에 대해서는 이하 도 10a 내지 도 10g를 참조하여 설명하기로 한다.
도 10a는 일 실시 예에 따른 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다. 도 10b는 일 실시 예에 따른 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다. 도 10c는 일 실시 예에 따른 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다. 도 10d는 일 실시 예에 따른 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다. 도 10e는 일 실시 예에 따른 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다. 도 10f는 일 실시 예에 따른 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다. 도 10g는 일 실시 예에 따른 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 10a를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 디스플레이(예: 도 1의 디스플레이 모듈(160) 또는 도 2의 표시 부재(201))에 어플리케이션 실행 화면(1010)이 표시된 상태에서, 어플리케이션 실행 화면(1010)과 관련된 가상 오브젝트를 실제 오브젝트에 매핑하기 위한 사용자 입력을 수신할 수 있다. 예를 들어, 전자 장치는 실제 오브젝트를 제어하기 위한 어플리케이션 실행 화면(1010)과 관련된 가상 오브젝트를 실제 오브젝트에 매핑하기 위한 음성 입력(1020)(예: 공기 청정기 옆에 놔줘(put this next to air purifier))을 수신할 수 있다.
일 실시 예에 따라, 전자 장치는 카메라(예: 도 1의 카메라 모듈(180))를 통해 수신된 실제 공간의 이미지에서 어플리케이션 실행 화면(1010)과 관련된 가상 오브젝트를 실제 오브젝트(예: 공기 청정기)가 식별되면, 도 10d에 도시된 바와 같이, 실제 오브젝트(1040)의 주변에 가상 오브젝트(1050)를 표시할 수 있다.
일 실시 예에 따라, 카메라를 통해 수신된 실제 공간의 이미지에서 어플리케이션 실행 화면(1010)과 관련된 가상 오브젝트를 실제 오브젝트(예: 공기 청정기)가 식별되지 않으면, 도 10b에 도시된 바와 같이 카메라를 통해 실제 오브젝트가 인식되도록 실제 오브젝트를 응시할 것을 요청하는 메시지(1030)을 표시할 수 있다.
일 실시 예에 따라, 도 10c를 참조하면, 전자 장치는 사용자가 응시하는 실제 공간의 이미지를 카메라를 통해 획득하고, 이미지 분석을 통해 실제 공간에 포함된 실제 오브젝트(1040)(예: 공기 청정기)를 인식할 수 있다.
일 실시 예에 따라, 전자 장치는 이미지 분석을 통해 인식된 실제 오브젝트(1040)와 저장된 실제 오브젝트의 정보(예: 제품 모델 정보)가 일치하는지 여부를 확인할 수 있다. 일 실시 예에 따라, 전자 장치는 인식된 실제 오브젝트(1040)가 메모리(예: 도 1의 메모리(130))에 저장된 실제 오브젝트의 정보와 일치하는지 여부를 확인할 수 있다. 또는, 전자 장치는 서버(예: 도 1의 서버(108))에 인식된 실제 오브젝트(1040)에 대한 정보를 전송하고, 인식된 실제 오브젝트(1040)와 저장된 실제 오브젝트의 정보가 일치하는지 여부에 대한 결과를 수신할 수 있다.
일 실시 예에 따라, 인식된 실제 오브젝트(1040)와 저장된 실제 오브젝트의 정보가 일치하면, 도 10d에 도시된 바와 같이, 실제 오브젝트(1040)의 주변에 실제 오브젝트(1040)를 제어하기 위한 가상 오브젝트(1050)(예: 어플리케이션 실행 화면 또는 위젯 화면)를 표시할 수 있다. 일 실시 예에 따라, 인식된 실제 오브젝트(1040)와 저장된 실제 오브젝트의 정보가 일치하지 않는 경우는 이하 도 10g를 참조하여 설명하기로 한다.
일 실시 예에 따라, 실제 오브젝트(1040)의 위치가 변경(예: 거실 -> 방)되는 경우, 전자 장치는 위치가 변경된 실제 오브젝트(1040)의 주변에 가상 오브젝트(1050)를 표시할 수 있다.
일 실시 예에 따라, 실제 오브젝트 주변에 표시되는 가상 오브젝트는 도 10e에 도시된 바와 같이, 실제 오브젝트와 관련된 3D 가상 오브젝트(1060)를 더 포함할 수 있다. 예를 들어, 도 10e를 참조하면, 공기 청정기의 주변에 표시되는 가상 오브젝트에는 실제 오브젝트의 3D 미니어쳐 형태의 3D 가상 오브젝트(1060)가 더 포함될 수 있다.
일 실시 예에 따라, 전자 장치는 실제 오브젝트가 위치한 공간과 다른 공간에서 실제 오브젝트와 관련된 가상 오브젝트를 호출하여 실제 오브젝트를 제어할 수 있다. 예를 들어, 도 10f에 도시된 바와 같이, 실제 오브젝트가 위치하지 않은 다른 공간에 표시되는 가상 오브젝트에 실제 오브젝트의 3D 미니어처 형태의 3D 가상 오브젝트(1060)가 포함됨으로써, 사용자가 제어하는 실제 오브젝트에 대한 정보를 직관적으로 제공할 수 있다.
일 실시 예에 따라, 인식된 실제 오브젝트(1040)와 저장된 실제 오브젝트의 정보(예: 제품 모델 정보)가 일치하지 않으면, 도 10g에 도시된 바와 같이, 실제 오브젝트의 위치와 무관한 디스플레이(예: 도 1의 디스플레이 모듈(160))의 일 영역에 가상 오브젝트(1070)(예: 어플리케이션 실행 화면 또는 위젯 화면)를 표시할 수 있다. 예를 들어, 카메라를 통해 인식된 공기 청정기의 정보와, 전자 장치의 메모리 또는 서버에 저장된 공기 청정기의 정보가 일치하지 않는 경우, 전자 장치는 카메라를 통해 인식된 공기 청정기가 아닌 시야에 포함되지 않은 공기 청정기를 제어하는 것으로 판단하고, 공기 청정기를 제어하기 위한 가상 오브젝트(1070)를 인식된 공기 청정기의 위치와는 무관한 디스플레이의 일 영역에 표시할 수 있다.
도 11은 일 실시 예에 따른 실제 공간에 매핑된 3D 가상 오브젝트를 설명하기 위한 도면이다.
일 실시 예에 따라, 도 11을 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 도 11a에 도시된 바와 같이, 3D 가상 오브젝트 형태의 가상 오브젝트(1110)를 컨텐트와 무관한 실제 공간의 오브젝트에 매핑하고 릴리즈하는 사용자 입력이 수신되면, 3D 가상 오브젝트 형태의 가상 오브젝트(1110)를 실제 공간의 오브젝트에 고정하고, 3D 가상 오브젝트 형태의 일부 또는 주변에 선택된 컨텐트 정보(1111)를 표시할 수 있다.
일 실시 예에 따라, 전자 장치는 3D 가상 오브젝트 형태 상에는 선택된 컨텐트의 요약 정보를 표시하고 3D 가상 오브젝트 형태 주변에는 선택된 컨텐트의 상세 정보(1111)를 표시할 수 있다.
예를 들어, 전자 장치는 탁상 캘린더 형태의 오브젝트(1110)를 책상 위에 고정하고, 탁상 캘린더 형태 상에는 캘린더 어플리케이션 실행 화면에서 선택된 날짜 정보를 표시하고, 탁상 캘린더 형태 주변에는 선택된 날짜와 관련된 스케줄 정보(1111)를 표시할 수 있다.
일 실시 예에 따라, 전자 장치는 적어도 하나의 제2 센서(예: 도 1의 센서 모듈(176) 또는 도 3의 제1 카메라 모듈(251))를 통해 사용자의 시선을 검출하고, 검출된 사용자의 시선이 가상 오브젝트가 매핑된 실제 공간의 오브젝트를 향함에 기반하여, 가상 오브젝트(1110)에 상세 정보(1111)를 표시할 수 있다.
일 실시 예에 따라, 전자 장치는 검출된 사용자의 시선이 가상 오브젝트가 매핑된 실제 공간의 오브젝트를 향하지 않음에 기반하여, 가상 오브젝트(1110)에 상세 정보(1111)를 삭제할 수 있다.
도 12a는 일 실시 예에 따른 3D 가상 오브젝트를 선택한 경우의 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 12a를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 실제 공간에 매핑된 가상 오브젝트를 선택하는 사용자 입력이 수신되면, 선택된 컨텐트와 관련된 어플리케이션의 실행 화면(1210)을 가상 오브젝트의 주변에 표시할 수 있다.
도 12b는 일 실시 예에 따른 3D 가상 오브젝트를 선택한 경우의 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 12b를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 실제 공간에 매핑된 가상 오브젝트를 선택하는 사용자 입력이 수신되면, 선택된 컨텐트와 관련된 상세 정보(1220)를 포함하는 어플리케이션의 실행 화면을 가상 오브젝트의 주변에 표시할 수 있다.
이상에서는 가상 오브젝트 선택에 따라 어플리케이션의 실행 화면 또는 상세 정보를 포함하는 어플리케이션의 실행 화면을 표시하는 것으로 도시하였으나, 일 실시 예에 따라, 가상 오브젝트 선택에 따라 어플리케이션의 실행 화면을 표시한 후 설정된 시간이 지나면 상세 정보를 더 표시하는 형태로 구현될 수도 있다.
도 13a는 일 실시 예에 따른 가상 오브젝트가 컨텐트와 관련있는 실제 공간에 매핑되는 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 13a를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 패널 형태의 가상 오브젝트(1310)를 컨텐트와 관련된 실제 공간의 오브젝트(1320)에 매핑하는 경우, 실제 공간의 오브젝트(1320)(예: 도 13A의 캘린더)의 종류를 기반으로 가상 오브젝트의 형태를 결정할 수 있다.
예를 들어, 전자 장치는 컨텐트 선택에 따라 표시된 패널 형태의 가상 오브젝트(1310)가 이동하여 실제 공간의 캘린더(1320)에 매핑되면, 캘린더(1320)의 일부 또는 캘린더(1320)의 주변에 표시되는 컨텐트 정보를 포함하는 가상 오브젝트를 표시할 수 있다.
일 실시 예에 따라, 전자 장치는 캘린더(1320)의 형태, 위치 또는 크기 중 적어도 하나를 기반으로 선택된 컨텐트와 관련된 가상 오브젝트를 디스플레이에 표시할 수 있다.
일 실시 예에 따라, 실제 공간의 오브젝트의 형태, 위치 또는 크기 중 적어도 하나를 기반으로 가상 오브젝트를 표시하는 동작은 이하 도 14를 참조하여 설명하기로 한다.
도 13a에서는 가상 오브젝트(1310)가 패널 형태인 것으로 도시하였으나, 일 실시 예에 따라, 3D 가상 오브젝트 형태의 가상 오브젝트가 이동하여 실제 공간의 오브젝트에 매핑되면, 실제 공간의 오브젝트의 종류를 기반으로 패널 형태로 변경될 수도 있다.
도 13b는 일 실시 예에 따른 가상 오브젝트가 실제 공간에 매핑되는 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 13b를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 컨텐트 선택에 따라 표시된 패널 형태의 가상 오브젝트(1310)를 이동하는 경우, 적어도 하나의 센서(예: 도 1의 센서 모듈(176)(예: DoF(depth of field), Lidar))를 통해 실제 공간에 위치한 복수의 오브젝트의 존재를 식별하고, 가상 오브젝트(1310)가 매핑될 수 있음을 알리는 복수의 아이콘(1330, 1331, 1332, 1333, 1334)을 실제 공간에 위치한 복수의 오브젝트 각각에 표시할 수 있다.
일 실시 예에 따라, 복수의 아이콘(1330, 1331, 1332, 1333, 1334) 중 하나의 아이콘에 가상 오브젝트(1310)를 매핑하는 사용자 입력이 수신되면, 하나의 아이콘에 대응되는 오브젝트의 형태, 위치 또는 크기 중 적어도 하나를 기반으로 가상 오브젝트(1310)를 변형하고, 변형된 가상 오브젝트를 하나의 아이콘에 대응되는 오브젝트의 일부 또는 주변 중 적어도 하나에 표시할 수 있다. 예를 들어, 실제 공간에 위치한 오브젝트의 형태, 위치 또는 크기 중 적어도 일부는 적어도 하나의 센서를 통해 획득된 것일 수 있다.
일 실시 예에 따라, 복수의 아이콘(1330, 1331, 1332, 1333, 1334) 중 하나의 아이콘에 가상 오브젝트(1310)를 매핑하는 사용자 입력이 수신되면, 카메라(예: 도 3의 제3 카메라 모듈(255) 및/똔는 제2 카메라 모듈 (253))를 통해 오브젝트의 종류를 식별할 수 있다. 일 실시 예에 따라, 매핑된 실제 공간의 오브젝트의 종류가 선택된 컨텐트와 관련된 것인지 여부를 기반으로 가상 오브젝트의 형태가 결정될 수 있다. 일 실시 예에 따라, 가상 오브젝트의 형태를 결정하는 동작은 도 9c, 도 9d 및 도 13a에 설명하였으므로, 중복된 설명은 생략한다.
도 14는 일 실시 예에 따른 컨텐트와 관련있는 실제 공간에 매핑된 가상 오브젝트를 설명하기 위한 도면이다.
일 실시 예에 따라, 도 14를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 도 13a에 도시된 패널 형태의 가상 오브젝트(1310)를 컨텐트와 관련된 실제 공간의 오브젝트(1320)(예: 캘린더)에 매핑하는 경우, 캘린더(1320)의 형태, 위치 또는 크기 중 적어도 하나를 기반으로 선택된 컨텐트와 관련된 가상 오브젝트를 디스플레이(예: 도 1의 디스플레이 모듈(160))에 표시할 수 있다.
예를 들어, 전자 장치는, 컨텐트 선택에 기반하여 표시된 가상 오브젝트가 매핑된 실제 공간의 오브젝트가 선택된 컨텐트와 관련된 것이면, 가상 오브젝트를 실제 공간의 오브젝트의 형태, 위치 또는 크기 중 적어도 하나를 기반으로 변형할 수 있다. 일 실시 예에 따라, 전자 장치는 변형된 가상 오브젝트를 실제 공간의 오브젝트의 적어도 일부 또는 실제 공간의 오브젝트의 주변 중 적어도 하나에 표시할 수 있다. 예를 들어, 변형된 가상 오브젝트는 실제 공간의 오브젝트의 적어도 일부 또는 실제 공간의 오브젝트의 주변 중 적어도 하나에 표시되는 컨텐트 정보(1410)일 수 있다.
예를 들어, 전자 장치는 실제 공간의 오브젝트의 일부에는 선택된 컨텐트의 요약 정보를 표시하고 실제 공간의 오브젝트의 주변에는 선택된 컨텐트의 상세 정보(1410)를 표시할 수 있다.
예를 들어, 전자 장치는 실제 공간의 캘린더 상에는 캘린더 어플리케이션 실행 화면에서 선택된 날짜 정보를 표시하고, 실제 공간의 캘린더 주변에는 선택된 날짜와 관련된 스케줄 정보(1410)를 표시할 수 있다.
일 실시 예에 따라, 전자 장치는 적어도 하나의 제2 센서(예: 도 1의 센서 모듈(176) 또는 도 3의 제1 카메라 모듈(251))를 통해 사용자의 시선을 검출하고, 검출된 사용자의 시선이 가상 오브젝트가 매핑된 실제 공간의 오브젝트를 향함에 기반하여, 실제 공간의 캘린더 주변에 상세 정보(1410)를 표시할 수 있다.
일 실시 예에 따라, 전자 장치는 검출된 사용자의 시선이 가상 오브젝트가 매핑된 실제 공간의 오브젝트를 향하지 않음에 기반하여, 실제 공간의 캘린더 주변에 상세 정보(1111)(예: 도 11의 1111를 참조)를 삭제할 수 있다.
도 15는 일 실시 예에 따른 전자 장치의 실행 화면 표시 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 15를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 복수의 어플리케이션 아이콘을 포함하는 어플리케이션 리스트(1510)를 디스플레이(예: 도 1의 디스플레이 모듈(160) 또는 도 2의 표시 부재(201))에 표시할 수 있다.
일 실시 예에 따라, 전자 장치는 어플리케이션 리스트(1510) 중 하나의 아이콘(1511)을 선택하는 사용자 입력이 수신되면, 선택된 아이콘에 대응되는 어플리케이션 실행 화면(1520)을 디스플레이에 표시할 수 있다. 예를 들어, 전자 장치는 카메라(예: 도 1의 카메라 모듈(180) 또는 도 3의 제3 카메라 모듈(255))를 통해 어플리케이션 리스트(1510) 중 하나의 아이콘(1511)을 선택하기 위한 사용자(10)의 손 제스쳐를 수신하면, 어플리케이션의 실행 화면(1520)을 디스플레이(예: 도 1의 디스플레이 모듈(160) 또는 도 2의 표시 부재(201))에 표시할 수 있다.
예를 들어, 전자 장치는 사용자(10)가 어플리케이션 리스트(1510)에서 알람 어플리케이션의 아이콘(1511)을 선택하는 사용자 입력이 수신되면, 알람 어플리케이션의 실행 화면(1520)을 디스플레이에 표시할 수 있다.
도 16은 일 실시 예에 따른 전자 장치의 컨텐트 선택 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 16을 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 디스플레이(예: 도 1의 디스플레이 모듈(160) 또는 도 2의 표시 부재(201))에 표시된 어플리케이션 실행 화면에 포함된 복수의 컨텐트 중 하나의 컨텐트(1610)를 선택하는 사용자 입력을 수신할 수 있다.
예를 들어, 하나의 컨텐트를 선택하는 사용자 입력은, 사용자가 엄지 및 검지를 이용해 컨텐트를 집는 핀치(pinch) 동작 또는 컨텐트를 누르는 터치 동작과 같은 제스쳐 입력일 수 있다. 예를 들어, 알람 어플리케이션의 실행 화면에서 컨텐트(1610)(예: 특정 알람)를 선택하는 핀치 동작 또는 터치 동작과 같은 제스쳐 입력을 수신할 수 있다. 일 실시 예에 따라, 제스쳐 입력은 핀치 동작 또는 터치 동작에 한정되지 않는다.
일 실시 예에 따라, 전자 장치는 어플리케이션의 실행 화면에 포함된 복수의 컨텐트 중 하나의 컨텐트(1610)를 선택하는 제스쳐 입력이 수신되면, 선택된 컨텐트(1610)와 관련된 가상 오브젝트를 디스플레이에 표시할 수 있다.
일 실시 예에 따라, 컨텐트 선택에 따라 표시되는 가상 오브젝트는 패널 형태 또는 3D 가상 오브젝트 형태일 수 있다. 일 실시 예에 따라, 컨텐트 선택에 따라 표시되는 가상 오브젝트의 형태는 제조시에 설정되거나, 사용자의 조작에 의해 설정될 수 있다.
일 실시 예에 따라, 컨텐트 선택에 따라 표시되는 가상 오브젝트가 패널 형태인 실시 예는 이하 도 17a 및 18a를 참조하여 설명한다.
도 17a는 일 실시 예에 따른 가상 오브젝트가 컨텐트와 관련있는 실제 공간에 매핑되는 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 17a를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 패널 형태의 가상 오브젝트(1710)를 컨텐트와 관련된 실제 공간의 오브젝트(1720)에 매핑하는 경우, 실제 공간의 오브젝트(1720)의 종류를 기반으로 가상 오브젝트의 형태를 결정할 수 있다.
예를 들어, 전자 장치는 컨텐트 선택에 따라 표시된 패널 형태의 가상 오브젝트(1710)가 이동하여 실제 공간의 오브젝트(1720)(예: 탁상 시계)에 매핑되면, 탁상 시계(1720)의 일부 또는 탁상 시계(1720)의 주변에 표시되는 컨텐트 정보를 포함하는 가상 오브젝트를 표시할 수 있다.
도 17b는 일 실시 예에 따른 컨텐트와 관련있는 실제 공간에 매핑된 가상 오브젝트를 설명하기 위한 도면이다.
일 실시 예에 따라, 도 17b를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 도 17a에 도시된 패널 형태의 가상 오브젝트(1710)를 컨텐트와 관련된 실제 공간의 오브젝트(1720)에 매핑하는 경우, 탁상 시계(1720)의 형태, 위치 또는 크기 중 적어도 하나를 기반으로 선택된 컨텐트와 관련된 가상 오브젝트를 디스플레이(예: 도 1의 디스플레이 모듈(160))에 표시할 수 있다.
예를 들어, 전자 장치는 변형된 가상 오브젝트를 실제 공간의 오브젝트의 적어도 일부 또는 실제 공간의 오브젝트의 주변 중 적어도 하나에 표시할 수 있다. 예를 들어, 변형된 가상 오브젝트는 실제 공간의 오브젝트의 적어도 일부 또는 실제 공간의 오브젝트의 주변 중 적어도 하나에 표시되는 컨텐트 정보(1730)일 수 있다.
예를 들어, 전자 장치는 실제 공간의 탁상 시계 주변에 선택된 알람과 관련된 정보(1730)를 표시할 수 있다.
도 17a 및 도 17b에서는 알람 어플리케이션의 실행 화면에서 선택된 컨텐트를 실제 공간의 탁상 시계에 매핑하는 것으로 도시하였으나, 일 실시 예에 따라, 선택된 컨텐트가 선택된 컨텐트와 무관한 실제 공간의 오브젝트(예: 책상)에 매핑되는 경우, 시계 형태(예: 탁상 시계 형태)의 3D 가상 오브젝트가 실제 공간의 오브젝트에 매핑되고, 3D 가상 오브젝트의 일부 또는 주변 중 적어도 일부에 선택된 컨텐트에 대한 정보가 표시될 수 있다.
도 18a는 일 실시 예에 따른 가상 오브젝트가 컨텐트와 관련있는 실제 공간에 매핑되는 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 18a를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 디스플레이(예: 도 1의 디스플레이 모듈(160) 또는 도 2의 표시 부재(201))에 표시된 어플리케이션 실행 화면(1810)에 포함된 복수의 컨텐트 중 하나의 컨텐트를 선택하는 사용자 입력을 수신할 수 있다.
예를 들어, 하나의 컨텐트를 선택하는 사용자 입력은, 사용자가 엄지 및 검지를 이용해 컨텐트를 집는 핀치(pinch) 동작 또는 컨텐트를 선택하는 터치 동작과 같은 제스쳐 입력일 수 있다. 예를 들어, 알람 어플리케이션의 실행 화면(예: 도 18a의 1810 참조)에서 특정 알람을 선택하는 핀치 동작 또는 터치 동작과 같은 제스쳐 입력을 수신할 수 있다. 일 실시 예에 따라, 제스쳐 입력은 핀치 동작 또는 터치 동작에 한정되지 않는다.
일 실시 예에 따라, 전자 장치는 어플리케이션의 실행 화면에 포함된 복수의 컨텐트 중 하나의 컨텐트를 선택하는 제스쳐 입력이 수신되면, 선택된 컨텐트와 관련된 가상 오브젝트(1820)를 디스플레이에 표시할 수 있다.
일 실시 예에 따라, 전자 장치는, 패널 형태의 가상 오브젝트(1820)를 컨텐트와 관련된 실제 공간의 오브젝트(1830)에 매핑하는 경우, 실제 공간의 오브젝트(1830)의 종류를 기반으로 가상 오브젝트의 형태를 결정할 수 있다.
예를 들어, 전자 장치는 컨텐트 선택에 따라 표시된 패널 형태의 가상 오브젝트(1820)가 이동하여 실제 공간의 오브젝트(1830)(예: 손목 시계)에 매핑되면, 손목 시계(1830)의 일부 또는 손목 시계(1830)의 주변에 표시되는 컨텐트 정보를 포함하는 가상 오브젝트를 표시할 수 있다.
도 18b는 일 실시 예에 따른 컨텐트와 관련있는 실제 공간에 매핑된 가상 오브젝트를 설명하기 위한 도면이다.
일 실시 예에 따라, 도 18b를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 도 18a에 도시된 패널 형태의 가상 오브젝트(1820)를 컨텐트와 관련된 실제 공간의 오브젝트(1830)에 매핑하는 경우, 손목 시계(1830)의 형태, 위치 또는 크기 중 적어도 하나를 기반으로 선택된 컨텐트와 관련된 가상 오브젝트를 디스플레이(예: 도 1의 디스플레이 모듈(160))에 표시할 수 있다.
예를 들어, 전자 장치는 변형된 가상 오브젝트를 실제 공간의 오브젝트의 적어도 일부 또는 실제 공간의 오브젝트의 주변 중 적어도 하나에 표시할 수 있다. 예를 들어, 변형된 가상 오브젝트는 실제 공간의 오브젝트의 적어도 일부 또는 실제 공간의 오브젝트의 주변 중 적어도 하나에 표시되는 컨텐트 정보(1840)일 수 있다.
예를 들어, 전자 장치는 실제 공간의 손목 시계 주변에 선택된 알람과 관련된 정보(1840)를 표시할 수 있다.
도 18a 및 도 18b에서는 알람 어플리케이션의 실행 화면에서 선택된 컨텐트를 실제 공간의 손목 시계에 매핑하는 것으로 도시하였으나, 일 실시 예에 따라, 선택된 컨텐트가 선택된 컨텐트와 무관한 실제 공간의 오브젝트(예: 손목)에 매핑되는 경우, 시계 형태(예: 손목 시계 형태)의 3D 가상 오브젝트가 실제 공간의 오브젝트에 매핑되고, 3D 가상 오브젝트의 일부 또는 주변 중 적어도 일부에 선택된 컨텐트에 대한 정보가 표시될 수 있다.
도 18c는 일 실시 예에 따른 이벤트 발생시 가상 오브젝트를 업데이트하는 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 18c를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 선택된 컨텐트와 관련된 이벤트가 발생되면, 이벤트의 정보를 기반으로 실제 공간의 오브젝트에 매핑된 가상 오브젝트를 업데이트할 수 있다. 예를 들어, 선택된 컨텐트와 관련된 이벤트는 전자 장치 또는 외부 전자 장치(예: 도 1의 전자 장치(104))에 의해 발생될 수 있다.
예를 들어, 도 18b에 도시된 바와 같이 특정 알람에 대한 컨텐트가 손목 시계에 매핑되어, 손목 시계의 일부 또는 주변에 특정 알람과 관련된 컨텐트 정보가 표시된 상태에서, 알람이 설정된 시간이 도래하면, 전자 장치는 특정 알람에 대한 이벤트가 발생한 것으로 보고 매핑된 가상 오브젝트를 업데이트할 수 있다. 예를 들어, 전자 장치는 손목 시계의 형태, 위치 또는 크기 중 적어도 하나를 기반으로 알람이 발생했음을 알리는 그래픽 오브젝트(1850)를 표시할 수 있다.
일 실시 예에 따라, 전자 장치는 알람이 설정된 시간이 도래했음을 알리는 소리 또는 진동을 제공할 수 있다.
일 실시 예에 따라, 전자 장치는 그래픽 오브젝트(1850)에서 'OK'버튼을 선택하는 사용자 입력이 수신되면, 그래픽 오브젝트(1850)를 삭제하고, 도 18b에 도시된 바와 같이 손목 시계의 일부 또는 주변에 특정 알람과 관련된 컨텐트 정보가 가상 오브젝트로 표시된 상태로 돌아갈 수 있다. 일 실시 예에 따라, 특정 알람이 일회성인 경우, 그래픽 오브젝트(1850)에서 'OK'버튼을 선택하는 사용자 입력이 수신되면, 전자 장치는 손목 시계에 매핑된 가상 오브젝트를 삭제할 수 있다.
도 19a는 일 실시 예에 따른 전자 장치의 실행 화면 표시 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 19a를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 실제 공간의 외부 전자 장치의 화면(1910) 상에 수행된 컨텐트 선택을 위한 사용자 입력(1920)을 수신할 수 있다. 예를 들어, 전자 장치는 외부 전자 장치의 화면(1910) 내에 표시된 노트 컨텐트를 외부 전자 장치의 화면(1910) 밖으로 꺼내기 위한 사용자 입력(들)(1920)(예: 스와이프 동작)을 수신할 수 있다.
일 실시 예에 따라, 외부 전자 장치의 화면(1910)의 밖으로 꺼내고자 하는 노트 컨텐트를 선택하고 스와이프 동작(1920)이 수행될 수 있다. 예를 들어, 외부 전자 장치의 화면(1910)의 밖으로 복수 개의 노트 컨텐트를 꺼내고자 하는 경우, 노트 컨텐트의 개수만큼 스와이프 동작(1920)이 수신될 수 있다.
도 19b는 일 실시 예에 따른 전자 장치의 실행 화면 표시 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 19b를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 외부 전자 장치의 화면에서 꺼내진 복수의 컨텐트에 각각 대응되는 복수의 가상 오브젝트(1930)을 디스플레이(예: 도 1의 디스플레이 모듈(160) 또는 도 2의 표시 부재(201))에 표시할 수 있다.
도 19c는 일 실시 예에 따른 전자 장치의 컨텐트 선택 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 19c를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 디스플레이(예: 도 1의 디스플레이 모듈(160) 또는 도 2의 표시 부재(201))에 표시된 복수의 컨텐트 중 하나의 컨텐트(1931)를 선택하는 사용자 입력을 수신할 수 있다.
예를 들어, 하나의 컨텐트를 선택하는 사용자 입력은, 사용자가 엄지 및 검지를 이용해 컨텐트를 집는 핀치(pinch) 동작 또는 터치 동작과 같은 제스쳐 입력일 수 있다. 예를 들어, 복수의 노트 컨텐트 중 하나의 노트 컨텐트(1931)를 선택하는 핀치 동작 또는 터치 동작과 같은 제스쳐 입력을 수신할 수 있다. 일 실시 예에 따라, 제스쳐 입력은 핀치 동작 또는 터치 동작에 한정되지 않는다.
일 실시 예에 따라, 전자 장치는 복수의 컨텐트 중 하나의 컨텐트(1931)를 선택하는 제스쳐 입력이 수신되면, 선택된 컨텐트(1931)와 관련된 가상 오브젝트를 디스플레이에 표시할 수 있다.
일 실시 예에 따라, 컨텐트 선택에 따라 표시되는 가상 오브젝트는 패널 형태 또는 3D 가상 오브젝트 형태일 수 있다. 일 실시 예에 따라, 컨텐트 선택에 따라 표시되는 가상 오브젝트의 형태는 제조시에 설정되거나, 사용자의 조작에 의해 설정될 수 있다.
도 19d는 일 실시 예에 따른 실제 공간에 매핑된 3D 가상 오브젝트를 설명하기 위한 도면이다.
일 실시 예에 따라, 도 19d를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 패널 형태 또는 3D 가상 오브젝트 형태의 가상 오브젝트를 컨텐트와 무관한 실제 공간의 오브젝트에 매핑하는 경우, 어플리케이션의 종류 및 실제 공간의 오브젝트의 종류를 기반으로 가상 오브젝트의 형태를 결정할 수 있다.
예를 들어, 실제 공간의 오브젝트가 책상인 경우, 전자 장치는 가상 오브젝트(1940)를 메모지 형태의 3D 가상 오브젝트로 표시할 수 있다. 예를 들어, 가상 오브젝트(1940)는 선택된 노트 컨텐트 정보를 포함할 수 있다.
도 19d에서는 가상 오브젝트(1940)가 3D 가상 오브젝트 형태인 것으로 도시하였으나, 일 실시 예에 따라, 패널 형태의 가상 오브젝트가 이동하여 실제 공간의 오브젝트에 매핑되면, 선택된 컨텐트의 종류 및 실제 공간의 오브젝트의 종류를 기반으로 3D 가상 오브젝트 형태로 변경될 수도 있다.
도 19d에서는 패널 형태 또는 3D 가상 오브젝트 형태의 가상 오브젝트를 컨텐트와 무관한 실제 공간의 오브젝트(예: 책상)에 매핑하는 경우를 도시하였으나, 일 실시 예에 따라, 패널 형태 또는 3D 가상 오브젝트 형태의 가상 오브젝트가 컨텐트와 관련된 실제 공간의 오브젝트(예: 메모지, 노트)에 매핑되는 경우, 실제 공간에 고정되는 가상 오브젝트는 실제 공간의 오브젝트 상에 표시되는 컨텐트 정보를 포함할 수 있다.
도 20a는 일 실시 예에 따른 전자 장치의 실행 화면 표시 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 20a를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 복수의 어플리케이션 아이콘을 포함하는 어플리케이션 리스트(2010)를 디스플레이(예: 도 1의 디스플레이 모듈(160) 또는 도 2의 표시 부재(201))에 표시할 수 있다.
일 실시 예에 따라, 전자 장치는 어플리케이션 리스트(2010) 중 하나의 아이콘(2011)을 선택하는 사용자 입력이 수신되면, 선택된 아이콘에 대응되는 어플리케이션 실행 화면(2020)을 디스플레이에 표시할 수 있다. 예를 들어, 전자 장치는 카메라(예: 도 1의 카메라 모듈(180) 또는 도 3의 제3 카메라 모듈(255))를 통해 어플리케이션 리스트(2010) 중 하나의 아이콘(2011)을 선택하기 위한 사용자(10)의 손 제스쳐를 수신하면, 어플리케이션의 실행 화면(2020)을 디스플레이(예: 도 1의 디스플레이 모듈(160) 또는 도 2의 표시 부재(201))에 표시할 수 있다.
예를 들어, 전자 장치는 사용자(10)가 어플리케이션 리스트(2010)에서 연락처 어플리케이션의 아이콘(2011)을 선택하는 사용자 입력이 수신되면, 연락처 어플리케이션의 실행 화면(2020)을 디스플레이에 표시할 수 있다.
도 20b는 일 실시 예에 따른 전자 장치의 컨텐트 선택 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 20b를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 디스플레이(예: 도 1의 디스플레이 모듈(160) 또는 도 2의 표시 부재(201))에 표시된 어플리케이션 실행 화면에 포함된 복수의 컨텐트(예: 연락처들) 중 컨텐트(2021)(예: 하나의 연락처)를 선택하는 사용자 입력을 수신할 수 있다.
예를 들어, 하나의 컨텐트를 선택하는 사용자 입력은, 사용자가 엄지 및 검지를 이용해 컨텐트를 집는 핀치(pinch) 동작 또는 터치 동작과 같은 제스쳐 입력일 수 있다. 예를 들어, 연락처 어플리케이션의 실행 화면에서 특정 연락처(2021)를 선택하는 핀치 동작 또는 터치 동작과 같은 제스쳐 입력을 수신할 수 있다. 일 실시 예에 따라, 제스쳐 입력은 핀치 동작 또는 터치 동작에 한정되지 않는다.
일 실시 예에 따라, 전자 장치는 어플리케이션의 실행 화면에 포함된 복수의 컨텐트 중 하나의 컨텐트(2021)를 선택하는 제스쳐 입력이 수신되면, 선택된 컨텐트(2021)와 관련된 가상 오브젝트(2030)를 디스플레이에 표시할 수 있다.
일 실시 예에 따라, 컨텐트 선택에 따라 표시되는 가상 오브젝트는 패널 형태 또는 3D 가상 오브젝트 형태일 수 있다. 일 실시 예에 따라, 컨텐트 선택에 따라 표시되는 가상 오브젝트의 형태는 제조시에 설정되거나, 사용자의 조작에 의해 설정될 수 있다. 예를 들어, 패널 형태인 경우, 가상 오브젝트는 선택된 연락처(2021)의 섬네일 이미지를 포함할 수 있고, 3D 가상 오브젝트 형태인 경우, 가상 오브젝트는 선택된 연락처(2021)의 섬네일 이미지 및 신체 형태의 3D 가상 오브젝트를 포함할 수 있다.
도 20c는 일 실시 예에 따른 3D 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 20c를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 패널 형태 또는 3D 가상 오브젝트 형태의 가상 오브젝트를 컨텐트와 무관한 실제 공간의 오브젝트에 매핑하는 사용자 입력을 수신할 수 있다.
예를 들어, 전자 장치는 핀치 동작으로 선택된 연락처의 섬네일 이미지 및 신체 형태의 3D 가상 오브젝트를 포함하는 가상 오브젝트(2030)를 이동하여 실제 공간의 오브젝트(2040)인 책상에 매핑하는 릴리즈 동작을 수행하는 사용자 입력이 수신되면, 가상 오브젝트(2030)를 실제 공간의 오브젝트(2040)에 고정할 수 있다.
도 20d는 일 실시 예에 따른 실제 공간에 매핑된 3D 가상 오브젝트를 설명하기 위한 도면이다.
일 실시 예에 따라, 도 20d를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 핀치 동작으로 선택된 연락처의 섬네일 이미지 및 신체 형태의 3D 가상 오브젝트를 포함하는 가상 오브젝트가 실제 공간의 오브젝트에 매핑되면, 어플리케이션의 종류 및 실제 공간의 오브젝트의 종류를 기반으로 가상 오브젝트의 형태를 결정할 수 있다.
예를 들어, 연락처 어플리케이션의 실행 화면에서 컨텐트가 선택되고, 선택된 컨텐트와 관련된 가상 오브젝트가 실제 공간의 오브젝트인 책상에 매핑되면, 전자 장치는 컨텐트 선택에 따라 표시된 가상 오브젝트를 이모지 형태의 3D 가상 오브젝트(2050)로 표시할 수 있다. 예를 들어, 이모지 형태의 3D 가상 오브젝트(2050)는 선택된 연락처의 섬네일 이미지 및 섬네일 이미지와 관련된 신체가 조합된 3D 형태일 수 있으며, 연락처 정보를 이용하여 수행할 수 있는 기능과 관련된 정보(2051)를 포함할 수 있다. 예를 들어, 적어도 하나의 이모지 형태의 3D 가상 오브젝트(2050)는 이모지 형태의 주변에 표시된, 선택된 연락처를 이용하여 수행할 수 있는 전화 어플리케이션, 메시지 어플리케이션 및/또는 SNS 어플리케이션의 정보(2051)(예: 아이콘)을 포함할 수 있다.
일 실시 예에 따라, 기능과 관련된 정보 중 하나를 선택하는 사용자 입력이 수신되면, 전자 장치는 선택된 기능의 실행 화면을 3D 가상 오브젝트의 주변에 표시할 수 있다. 예를 들어, 메시지 어플리케이션의 아이콘이 선택되는 사용자 입력이 수신되면, 전자 장치는 해당 연락처와 메시지를 주고 받을 수 있는 메시지 어플리케이션의 실행 화면을 3D 가상 오브젝트의 주변에 표시할 수 있다.
도 20e는 일 실시 예에 따른 이벤트 발생시 가상 오브젝트를 업데이트하는 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 20e를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 선택된 연락처에 대한 이벤트가 발생하면, 실제 공간의 오브젝트에 매핑된 3D 가상 오브젝트를 업데이트할 수 있다.
예를 들어, 선택된 연락처로부터 새로운 메시지가 수신되는 이벤트가 발생하면, 전자 장치는, 새로운 메시지의 내용(2052)을 말풍선 형태로 표시하여 이모지 형태의 주변에 표시하도록 3D 가상 오브젝트를 업데이트할 수 있다.
도 21a는 일 실시 예에 따른 전자 장치의 컨텐트 선택 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 21a를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 디스플레이(예: 도 1의 디스플레이 모듈(160) 또는 도 2의 표시 부재(201))에 표시된 어플리케이션 실행 화면에 포함된 복수의 컨텐트 중 하나의 컨텐트(2110)를 선택하는 사용자 입력을 수신할 수 있다.
예를 들어, 하나의 컨텐트를 선택하는 사용자 입력은, 사용자가 엄지 및 검지를 이용해 컨텐트를 집는 핀치(pinch) 동작 또는 컨텐트를 누르는 터치 동작과 같은 제스쳐 입력일 수 있다. 예를 들어, 연락처 어플리케이션의 실행 화면에서 컨텐트(2110)(예: 특정 연락처)를 선택하는 핀치 동작 또는 터치 동작과 같은 제스쳐 입력을 수신할 수 있다. 일 실시 예에 따라, 제스쳐 입력은 핀치 동작 또는 터치 동작에 한정되지 않는다.
일 실시 예에 따라, 전자 장치는 어플리케이션의 실행 화면에 포함된 복수의 컨텐트 중 하나의 컨텐트(2110)를 선택하는 제스쳐 입력이 수신되면, 선택된 컨텐트(2110)와 관련된 가상 오브젝트(2120)를 디스플레이에 표시할 수 있다.
일 실시 예에 따라, 선택된 연락처(2110)에 섬네일 이미지가 없는 경우, 가상 오브젝트(2120)는 기설정된 패널 형태 또는 3D 가상 오브젝트 형태일 수 있다. 예를 들어, 가상 오브젝트(2120)는 사람의 머리와 몸통을 단순화한 패널 형태 또는 3D 가상 오브젝트를 포함할 수 있다.
도 21b는 일 실시 예에 따른 3D 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 21b를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 컨탠트 선택에 따라 표시된 가상 오브젝트(2120)를 컨텐트와 무관한 실제 공간의 오브젝트(2130)에 매핑하는 사용자 입력을 수신할 수 있다.
예를 들어, 전자 장치는 핀치 동작으로 선택된 연락처에 섬네일 이미지가 없음에 기반하여 표시된 사람의 머리와 몸통을 단순화한 패널 형태 또는 3D 가상 오브젝트 형태를 포함하는 가상 오브젝트(2120)를 이동하여 실제 공간의 오브젝트(2130)인 책상에 매핑하는 릴리즈 동작을 수행하는 사용자 입력이 수신되면, 가상 오브젝트(2120)를 실제 공간의 오브젝트(2130)에 고정할 수 있다.
도 21c는 일 실시 예에 따른 실제 공간에 매핑된 3D 가상 오브젝트를 설명하기 위한 도면이다.
일 실시 예에 따라, 도 21c를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 사람의 머리와 몸통을 단순화한 패널 형태 또는 3D 가상 오브젝트 형태를 포함하는 가상 오브젝트가 실제 공간의 오브젝트에 매핑되면, 어플리케이션의 종류 및 실제 공간의 오브젝트의 종류를 기반으로 가상 오브젝트의 형태를 결정할 수 있다.
예를 들어, 연락처 어플리케이션의 실행 화면에서 섬네일 이미지가 없는 컨텐트가 선택되고, 선택된 컨텐트와 관련된 가상 오브젝트가 실제 공간의 오브젝트인 책상에 매핑되면, 전자 장치는 컨텐트 선택에 따라 표시된 사람의 머리와 몸통을 단순화한 패널 형태 또는 3D 가상 오브젝트 형태의 가상 오브젝트를 3D 가상 오브젝트 형태로 표시할 수 있다. 예를 들어, 컨텐트 선택에 따라 표시된 가상 오브젝트가 패널 형태인 경우, 전자 장치는 3D 가상 오브젝트 형태로 변경하여 실제 공간의 오브젝트에 고정하고, 컨텐트 선택에 따라 표시된 가상 오브젝트가 3D 가상 오브젝트 형태인 경우, 전자 장치는 3D 가상 오브젝트 형태를 유지하여 실제 공간의 오브젝트에 고정할 수 있다.
일 실시 예에 따라, 실제 공간의 오브젝트에 고정된 가상 오브젝트는 선택된 연락처 정보를 이용하여 수행할 수 있는 기능과 관련된 정보(2140)를 포함할 수 있다. 예를 들어, 사람의 머리와 몸통을 단순화한 3D 가상 오브젝트는 사람의 머리와 몸통을 단순화한 형태 주변에 표시된, 선택된 연락처를 이용하여 수행할 수 있는 전화 어플리케이션, 메시지 어플리케이션 및/또는 SNS 어플리케이션의 정보(2140)(예: 아이콘)을 포함할 수 있다.
일 실시 예에 따라, 기능과 관련된 정보 중 하나를 선택하는 사용자 입력이 수신되면, 전자 장치는 선택된 기능의 실행 화면을 3D 가상 오브젝트의 주변에 표시할 수 있다. 예를 들어, 메시지 어플리케이션의 아이콘이 선택되는 사용자 입력이 수신되면, 전자 장치는 해당 연락처와 메시지를 주고 받을 수 있는 메시지 어플리케이션의 실행 화면을 3D 가상 오브젝트의 주변에 표시할 수 있다.
일 실시 예에 따라, 선택된 연락처에 대한 이벤트가 발생하면, 실제 공간의 오브젝트에 매핑된 3D 가상 오브젝트를 업데이트할 수 있다.
예를 들어, 선택된 연락처로부터 새로운 메시지가 수신되는 이벤트가 발생하면, 전자 장치는, 새로운 메시지의 내용을 말풍선 형태로 표시하여 사람의 머리와 몸통을 단순화한 형태의 주변에 표시하도록 3D 가상 오브젝트를 업데이트할 수 있다.
도 22a는 일 실시 예에 따른 전자 장치의 실행 화면 표시 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 22a를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 복수의 어플리케이션 아이콘을 포함하는 어플리케이션 리스트(2210)를 디스플레이(예: 도 1의 디스플레이 모듈(160) 또는 도 2의 표시 부재(201))에 표시할 수 있다.
일 실시 예에 따라, 전자 장치는 어플리케이션 리스트(2210) 중 하나의 아이콘(2211)을 선택하는 사용자 입력이 수신되면, 선택된 아이콘에 대응되는 어플리케이션 실행 화면(2220)을 디스플레이에 표시할 수 있다. 예를 들어, 전자 장치는 카메라(예: 도 1의 카메라 모듈(180) 또는 도 3의 제3 카메라 모듈(255))를 통해 어플리케이션 리스트(2210) 중 하나의 아이콘(2211)을 선택하기 위한 사용자(10)의 손 제스쳐를 수신하면, 어플리케이션의 실행 화면(2220)을 디스플레이(예: 도 1의 디스플레이 모듈(160) 또는 도 2의 표시 부재(201))에 표시할 수 있다.
예를 들어, 전자 장치는 사용자(10)가 어플리케이션 리스트(2210)에서 메시지 어플리케이션의 아이콘(2211)을 선택하는 사용자 입력이 수신되면, 메시지 어플리케이션의 실행 화면(2220)을 디스플레이에 표시할 수 있다.
도 22b는 일 실시 예에 따른 전자 장치의 컨텐트 선택 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 22b를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 디스플레이(예: 도 1의 디스플레이 모듈(160) 또는 도 2의 표시 부재(201))에 표시된 어플리케이션 실행 화면에 포함된 복수의 연락처 중 하나의 연락처(2230)에 대해 주고 받은 메시지들을 표시하기 위한 사용자 입력을 수신할 수 있다.
도 22c는 일 실시 예에 따른 전자 장치의 컨텐트 선택 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 22c를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 디스플레이(예: 도 1의 디스플레이 모듈(160) 또는 도 2의 표시 부재(201))에 표시된 선택된 연락처에 대해 주고 받은 복수의 메시지들 중 하나의 메시지(2240)를 선택하는 사용자 입력을 수신할 수 있다.
예를 들어, 하나의 컨텐트를 선택하는 사용자 입력은, 사용자가 엄지 및 검지를 이용해 컨텐트를 집는 핀치(pinch) 동작 또는 컨텐트를 누르는 터치 동작과 같은 제스쳐 입력일 수 있다. 예를 들어, 메시지 어플리케이션의 실행 화면에서 특정 메시지(2240)를 선택하는 핀치 동작 또는 터치 동작과 같은 제스쳐 입력을 수신할 수 있다. 일 실시 예에 따라, 제스쳐 입력은 핀치 동작 또는 터치 동작에 한정되지 않는다.
일 실시 예에 따라, 전자 장치는 어플리케이션의 실행 화면에 포함된 복수의 컨텐트 중 하나의 컨텐트(2240)(예: 메시지)를 선택하는 제스쳐 입력이 수신되면, 선택된 컨텐트(2240)(예: 도 22c의 메시지)와 관련된 가상 오브젝트를 디스플레이에 표시할 수 있다.
일 실시 예에 따라, 컨텐트 선택에 따라 표시되는 가상 오브젝트는 패널 형태 또는 3D 가상 오브젝트 형태일 수 있다. 일 실시 예에 따라, 컨텐트 선택에 따라 표시되는 가상 오브젝트의 형태는 제조시에 설정되거나, 사용자의 조작에 의해 설정될 수 있다. 예를 들어, 패널 형태인 경우, 가상 오브젝트는 선택된 메시지(2240)의 내용을 포함하는 폐곡선 형태일 수 있다. 3D 가상 오브젝트 형태인 경우, 가상 오브젝트는 선택된 메시지(2240)의 내용을 포함하는 폐곡선 형태의 패널 및 말풍선 형태의 3D 가상 오브젝트를 포함할 수 있다.
도 22d는 일 실시 예에 따른 3D 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 22d를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 패널 형태 또는 3D 가상 오브젝트 형태의 가상 오브젝트를 컨텐트와 무관한 실제 공간의 오브젝트에 매핑하는 사용자 입력을 수신할 수 있다.
예를 들어, 전자 장치는 핀치 동작으로 선택된 메시지의 내용을 포함하는 가상 오브젝트(2250)를 이동하여 실제 공간의 오브젝트(2260)인 책상에 매핑하는 릴리즈 동작을 수행하는 사용자 입력이 수신되면, 가상 오브젝트(2250)를 실제 공간의 오브젝트(2260)에 고정할 수 있다.
일 실시 예에 따라, 핀치 동작을 통해 선택된 메시지와 관련된 가상 오브젝트(2250)가 실제 공간의 오브젝트(2260)(예; 도 22d의 책상)에 매핑되면, 전자 장치는 가상 오브젝트(2250)를 3D 가상 오브젝트 형태로 표시할 수 있다. 예를 들어, 핀치 동작을 통해 선택된 메시지의 내용을 포함하는 가상 오브젝트가 패널 형태인 경우, 전자 장치는 말풍선 형태를 포함하는 3D 가상 오브젝트 형태로 변경하여 실제 공간의 오브젝트에 고정할 수 있다. 핀치 동작을 통해 선택된 메시지의 내용을 포함하는 가상 오브젝트가 말풍선 형태를 포함하는 3D 가상 오브젝트 형태인 경우, 전자 장치는 3D 가상 오브젝트 형태를 유지하여 실제 공간의 오브젝트에 고정할 수 있다.
도 22e는 일 실시 예에 따른 실제 공간에 매핑된 3D 가상 오브젝트를 설명하기 위한 도면이다.
일 실시 예에 따라, 도 22e를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 핀치 동작으로 선택된 메시지의 내용을 포함하는 가상 오브젝트가 실제 공간의 오브젝트에 매핑되면, 어플리케이션의 종류 및 실제 공간의 오브젝트의 종류를 기반으로 가상 오브젝트의 형태를 결정할 수 있다.
예를 들어, 메시지 어플리케이션의 실행 화면에서 메시지가 선택되고, 선택된 메시지와 관련된 가상 오브젝트가 실제 공간의 오브젝트인 책상에 매핑되면, 전자 장치는 메시지 선택에 따라 표시된 가상 오브젝트를 이모지 형태의 3D 가상 오브젝트(2270)로 표시할 수 있다. 예를 들어, 이모지 형태의 3D 가상 오브젝트(2270)는 선택된 메시지를 주고 받은 연락처의 섬네일 이미지 및 섬네일 이미지와 관련된 신체가 조합된 3D 형태일 수 있으며, 메시지 내용을 포함하는 말풍선 형태의 가상 오브젝트를 포함할 수 있다.
도 22f는 일 실시 예에 따른 3D 가상 오브젝트를 선택한 경우의 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 22f를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 이모지 형태의 3D 가상 오브젝트를 선택하는 사용자 입력(2280)이 수신되면, 선택된 메시지가 포함된 메시지 창(2290)을 3D 가상 오브젝트의 주변에 표시할 수 있다. 예를 들어, 이모지 형태의 3D 가상 오브젝트를 선택하는 사용자 입력(2280)이 수신되면, 전자 장치는 선택된 메시지를 송신 또는 수신한 연락처와 주고 받은 복수의 메시지를 포함하는 메시지 창(2290)을 3D 가상 오브젝트의 주변에 표시할 수 있다.
도 23a는 일 실시 예에 따른 전자 장치의 실행 화면 표시 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 23a를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 복수의 어플리케이션 아이콘을 포함하는 어플리케이션 리스트(2310)를 디스플레이(예: 도 1의 디스플레이 모듈(160) 또는 도 2의 표시 부재(201))에 표시할 수 있다.
일 실시 예에 따라, 전자 장치는 어플리케이션 리스트(2310) 중 하나의 아이콘(2311)을 선택하는 사용자 입력(도 23a의 사용자의 손(10) 참조)이 수신되면, 선택된 아이콘에 대응되는 어플리케이션 실행 화면(2320)을 디스플레이에 표시할 수 있다. 예를 들어, 전자 장치는 카메라(예: 도 1의 카메라 모듈(180) 또는 도 3의 제3 카메라 모듈(255))를 통해 어플리케이션 리스트(2310) 중 하나의 아이콘(2311)을 선택하기 위한 사용자(10)의 손 제스쳐를 수신하면, 어플리케이션의 실행 화면(2320)을 디스플레이(예: 도 1의 디스플레이 모듈(160) 또는 도 2의 표시 부재(201))에 표시할 수 있다.
예를 들어, 전자 장치는 사용자(10)가 어플리케이션 리스트(2310)에서 메시지 어플리케이션의 아이콘(2311)을 선택하는 사용자 입력이 수신되면, 메시지 어플리케이션의 실행 화면(2320)을 디스플레이에 표시할 수 있다.
도 23b는 일 실시 예에 따른 전자 장치의 컨텐트 선택 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 23b를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 디스플레이(예: 도 1의 디스플레이 모듈(160) 또는 도 2의 표시 부재(201))에 표시된 복수의 연락처 중 하나의 컨텐트(2330)를 선택하는 사용자 입력을 수신할 수 있다.
예를 들어, 하나의 컨텐트를 선택하는 사용자 입력은, 사용자가 엄지 및 검지를 이용해 컨텐트를 집는 핀치(pinch) 동작 또는 컨텐트를 누르는 터치 동작과 같은 제스쳐 입력일 수 있다. 예를 들어, 메시지 어플리케이션의 실행 화면에서 컨텐트(예: 도 23b의 특정 연락처(2330))를 선택하는 핀치 동작 또는 터치 동작과 같은 제스쳐 입력을 수신할 수 있다. 일 실시 예에 따라, 제스쳐 입력은 핀치 동작 또는 터치 동작에 한정되지 않는다.
일 실시 예에 따라, 전자 장치는 어플리케이션의 실행 화면에 포함된 복수의 컨텐트 중 하나의 컨텐트(2330)를 선택하는 제스쳐 입력이 수신되면, 선택된 컨텐트(2330)와 관련된 가상 오브젝트를 디스플레이에 표시할 수 있다.
일 실시 예에 따라, 컨텐트 선택에 따라 표시되는 가상 오브젝트는 패널 형태 또는 3D 가상 오브젝트 형태일 수 있다. 일 실시 예에 따라, 컨텐트 선택에 따라 표시되는 가상 오브젝트의 형태는 제조시에 설정되거나, 사용자의 조작에 의해 설정될 수 있다. 예를 들어, 패널 형태인 경우, 가상 오브젝트는 선택된 연락처(2330)의 섬네일 이미지일 수 있고, 3D 가상 오브젝트 형태인 경우, 가상 오브젝트는 선택된 연락처(2330)의 섬네일 이미지 및 신체 형태의 3D 가상 오브젝트를 포함할 수 있다.
도 23c는 일 실시 예에 따른 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 23c를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 패널 형태 또는 3D 가상 오브젝트 형태의 가상 오브젝트를 컨텐트와 관련된 실제 공간의 오브젝트에 매핑하는 사용자 입력을 수신할 수 있다.
예를 들어, 전자 장치는 핀치 동작으로 선택된 연락처의 섬네일 이미지 및 신체 형태의 3D 가상 오브젝트를 포함하는 가상 오브젝트(2340)를 이동하여 실제 공간의 오브젝트(2350)인 피규어에 매핑하는 릴리즈 동작을 수행하는 사용자 입력이 수신되면, 가상 오브젝트(2340)를 실제 공간의 오브젝트(2350)에 고정할 수 있다.
도 23d는 일 실시 예에 따른 실제 공간에 매핑된 가상 오브젝트를 설명하기 위한 도면이다.
일 실시 예에 따라, 도 23d를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 핀치 동작으로 선택된 연락처의 섬네일 이미지 및 신체 형태의 3D 가상 오브젝트를 포함하는 가상 오브젝트가 실제 공간의 오브젝트에 매핑되면, 어플리케이션의 종류 및 실제 공간의 오브젝트의 종류를 기반으로 가상 오브젝트의 형태를 결정할 수 있다.
예를 들어, 메시지 어플리케이션의 실행 화면에서 연락처가 선택되고, 선택된 연락처와 관련된 가상 오브젝트가 실제 공간의 오브젝트인 피규어에 매핑되면, 전자 장치는 연락처 선택에 따라 표시된 가상 오브젝트를 말풍선 형태의 패널 또는 3D 가상 오브젝트(2360)로 변경하여 피규어 주변에 표시할 수 있다. 일 실시 예에 따라, 패널 또는 3D 가상 오브젝트(2360)는 섬네일 이미지 및 이름과 같은 선택된 연락처의 정보를 더 포함할 수 있다.
도 23e는 일 실시 예에 따른 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 23e를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 메시지 어플리케이션의 실행 화면에서 다른 연락처를 추가로 선택하여 실제 공간의 다른 오브젝트에 매핑하는 사용자 입력을 수신할 수 있다.
예를 들어, 전자 장치는 실제 공간의 하나의 피규어에 선택된 하나의 연락처가 매핑된 상태에서, 실제 공간의 다른 피규어에 선택된 다른 연락처를 매핑할 수 있다.
예를 들어, 전자 장치는 핀치 동작으로 선택된 연락처와 관련된 패널 형태 또는 3D 가상 오브젝트 형태의 가상 오브젝트(2341)를 이동하여 실제 공간의 오브젝트(2351)인 다른 피규어에 매핑하는 릴리즈 동작을 수행하는 사용자 입력이 수신되면, 가상 오브젝트(2341)를 실제 공간의 오브젝트(2351)에 고정할 수 있다.
도 23f는 일 실시 예에 따른 실제 공간에 매핑된 가상 오브젝트를 설명하기 위한 도면이다.
일 실시 예에 따라, 도 23f를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 메시지 어플리케이션의 실행 화면에서 연락처가 선택되고, 선택된 연락처와 관련된 가상 오브젝트가 실제 공간의 오브젝트인 피규어에 매핑되면, 전자 장치는 연락처 선택에 따라 표시된 가상 오브젝트를 말풍선 형태의 패널 또는 3D 가상 오브젝트(2361)로 변경하여 피규어 주변에 표시할 수 있다. 일 실시 예에 따라, 패널 또는 3D 가상 오브젝트(2361)는 섬네일 이미지 및 이름과 같은 선택된 연락처의 정보를 더 포함할 수 있다.
일 실시 예에 따라, 전자 장치는 카메라(예: 도 1의 카메라 모듈(180) 또는 도 3의 제3 카메라 모듈(255))를 통해 실제 공간의 오브젝트의 속성을 식별하고, 실제 공간의 오브젝트의 속성을 기반으로 패널 또는 3D 가상 오브젝트(2361)의 속성을 결정할 수 있다. 예를 들어, 전자 장치는 카메라를 통해 실제 공간의 피규어의 속성인, 형태, 색상 또는 크기 중 적어도 하나를 식별하고, 패널 또는 3D 가상 오브젝트(2361)의 속성인 색상, 글씨체 또는 디자인 중 적어도 하나를 결정할 수 있다.
도 24a는 일 실시 예에 따른 전자 장치의 실행 화면 표시 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 24a를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 디스플레이(예: 도 1의 디스플레이 모듈(160) 또는 도 2의 표시 부재(201))에 표시된 날씨 어플리케이션의 실행 화면(2410)에 포함된 복수의 도시의 날씨 중 하나의 도시의 날씨(2411)를 선택하는 사용자 입력을 수신할 수 있다. 예를 들어, 하나의 도시의 날씨를 선택하는 사용자 입력은, 사용자가 엄지 및 검지를 이용해 컨텐트를 집는 핀치(pinch) 동작 또는 컨텐트를 누르는 터치 동작과 같은 제스쳐 입력일 수 있다. 일 실시 예에 따라, 제스쳐 입력은 핀치 동작 또는 터치 동작에 한정되지 않는다.
일 실시 예에 따라, 전자 장치는 날씨 어플리케이션의 실행 화면(2410)에 포함된 복수의 도시의 날씨 중 하나의 도시의 날씨(2411)를 선택하는 제스쳐 입력이 수신되면, 선택된 하나의 도시의 날씨(2411)와 관련된 가상 오브젝트를 디스플레이에 표시할 수 있다.
일 실시 예에 따라, 컨텐트 선택에 따라 표시되는 가상 오브젝트는 패널 형태 또는 3D 가상 오브젝트 형태일 수 있다. 일 실시 예에 따라, 컨텐트 선택에 따라 표시되는 가상 오브젝트의 형태는 제조시에 설정되거나, 사용자의 조작에 의해 설정될 수 있다. 예를 들어, 패널 형태인 경우, 가상 오브젝트는 선택된 도시의 날씨(2411)의 정보를 포함하는 폐곡선 형태일 수 있다. 3D 가상 오브젝트 형태인 경우, 가상 오브젝트는 선택된 도시의 날씨(2411)의 정보를 포함하는 폐곡선 형태의 패널 및 해당 날씨와 관련된 3D 가상 오브젝트를 포함할 수 있다.
도 24b는 일 실시 예에 따른 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 24b를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 패널 형태 또는 3D 가상 오브젝트 형태의 가상 오브젝트를 컨텐트와 무관한 실제 공간의 오브젝트에 매핑하는 사용자 입력을 수신할 수 있다.
예를 들어, 전자 장치는 핀치 동작으로 선택된 날씨 정보를 포함하는 패널 및 날씨와 관련된 3D 가상 오브젝트를 포함하는 가상 오브젝트(2420)를 이동하여 실제 공간의 오브젝트(2430)인 책상의 근처로 이동시키고, 책상에 매핑하는 릴리즈 동작을 수행하는 사용자 입력이 수신되면, 가상 오브젝트(2420)를 실제 공간의 오브젝트(2430)에 고정할 수 있다.
도 24c는 일 실시 예에 따른 3D 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 24c를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 핀치 동작을 통해 선택된 메시지와 관련된 가상 오브젝트가 실제 공간의 오브젝트인 책상에서 릴리즈되면, 가상 오브젝트를 3D 가상 오브젝트 형태(2430)로 표시할 수 있다. 예를 들어, 핀치 동작을 통해 선택된 도시의 날씨의 정보와 관련된 가상 오브젝트가 패널 형태인 경우, 전자 장치는 선택된 도시의 날씨와 관련된 3D 가상 오브젝트 형태로 변경하여 실제 공간의 오브젝트에 고정하고, 핀치 동작을 통해 선택된 도시의 날씨의 정보와 관련된 가상 오브젝트가 3D 가상 오브젝트 형태인 경우, 전자 장치는 3D 가상 오브젝트 형태를 유지하여 실제 공간의 오브젝트에 고정할 수 있다.
일 실시 예에 따라, 선택된 도시의 날씨가 변경되는 이벤트가 발생되면, 전자 장치는 실제 공간의 오브젝트에 고정된 3D 가상 오브젝트를 변경된 날씨와 관련된 3D 가상 오브젝트로 업데이트할 수 있다.
도 25a는 일 실시 예에 따른 전자 장치의 실행 화면 표시 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 25a를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 복수의 어플리케이션 아이콘을 포함하는 어플리케이션 리스트(2510)를 디스플레이(예: 도 1의 디스플레이 모듈(160) 또는 도 2의 표시 부재(201))에 표시할 수 있다.
일 실시 예에 따라, 전자 장치는 어플리케이션 리스트(2510) 중 하나의 아이콘(2511)을 선택하는 사용자 입력이 수신되면, 선택된 아이콘에 대응되는 어플리케이션 실행 화면(2520)을 디스플레이에 표시할 수 있다. 예를 들어, 전자 장치는 카메라(예: 도 1의 카메라 모듈(180) 또는 도 3의 제3 카메라 모듈(255))를 통해 어플리케이션 리스트(2510) 중 하나의 아이콘(2511)을 선택하기 위한 사용자(10)의 손 제스쳐를 수신하면, 어플리케이션의 실행 화면(5220)을 디스플레이(예: 도 1의 디스플레이 모듈(160) 또는 도 2의 표시 부재(201))에 표시할 수 있다.
예를 들어, 전자 장치는 사용자(10)가 어플리케이션 리스트(2510)에서 사진 어플리케이션의 아이콘(2511)을 선택하는 사용자 입력이 수신되면, 사진 어플리케이션의 실행 화면(2520)을 디스플레이에 표시할 수 있다.
도 25b는 일 실시 예에 따른 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 25b를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 디스플레이(예: 도 1의 디스플레이 모듈(160) 또는 도 2의 표시 부재(201))에 표시된 복수의 사진 중 하나의 사진(2521)을 선택하는 사용자 입력을 수신할 수 있다.
예를 들어, 전자 장치는 사용자가 엄지 및 검지를 이용해 하나의 사진(2521)을 선택하는 핀치(pinch) 동작 또는 터치 동작과 같은 제스쳐 입력을 수신할 수 있다.
일 실시 예에 따라, 전자 장치는 하나의 사진(2521)를 선택하는 제스쳐 입력이 수신되면, 선택된 사진(2521)과 관련된 가상 오브젝트를 디스플레이에 표시할 수 있다.
일 실시 예에 따라, 사진 선택에 따라 표시되는 가상 오브젝트는 패널 형태 또는 3D 가상 오브젝트 형태일 수 있다. 일 실시 예에 따라, 컨텐트 선택에 따라 표시되는 가상 오브젝트의 형태는 제조시에 설정되거나, 사용자의 조작에 의해 설정될 수 있다. 예를 들어, 패널 형태인 경우, 가상 오브젝트는 선택된 사진(2521)을 포함하는 폐곡선 형태일 수 있다. 3D 가상 오브젝트 형태인 경우, 가상 오브젝트는 선택된 사진(2521)을 폐곡선 형태의 패널 및 액자 형태 3D 가상 오브젝트를 포함할 수 있다.
도 25c는 일 실시 예에 따른 3D 가상 오브젝트를 실제 공간에 매핑하는 동작을 설명하기 위한 도면이다.
일 실시 예에 따라, 도 25c를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 패널 형태 또는 3D 가상 오브젝트 형태의 가상 오브젝트를 컨텐트와 무관한 실제 공간의 오브젝트에 매핑하는 사용자 입력을 수신할 수 있다.
예를 들어, 전자 장치는 핀치 동작으로 선택된 사진을 포함하는 가상 오브젝트(2530)를 이동하여 실제 공간의 오브젝트(2540)인 책상에 매핑하는 릴리즈 동작을 수행하는 사용자 입력이 수신되면, 가상 오브젝트(2530)를 실제 공간의 오브젝트(2540)에 고정할 수 있다.
도 25d는 일 실시 예에 따른 실제 공간에 매핑된 3D 가상 오브젝트를 설명하기 위한 도면이다.
일 실시 예에 따라, 도 25d를 참조하면, 전자 장치(예: 도 1의 전자 장치(101), 도 1의 프로세서(120) 또는 도 2의 전자 장치(200))는, 핀치 동작을 통해 선택된 사진과 관련된 가상 오브젝트가 실제 공간의 오브젝트인 책상에 매핑되면, 전자 장치는 가상 오브젝트를 3D 가상 오브젝트 형태(2550)로 표시할 수 있다. 예를 들어, 핀치 동작을 통해 선택된 사진을 포함하는 가상 오브젝트가 패널 형태인 경우, 전자 장치는 액자 형태를 포함하는 3D 가상 오브젝트 형태(2550)로 변경하여 실제 공간의 오브젝트에 고정하고, 핀치 동작을 통해 선택된 사진을 포함하는 가상 오브젝트가 액자 형태를 포함하는 3D 가상 오브젝트 형태인 경우, 전자 장치는 3D 가상 오브젝트 형태(2550)를 유지하여 실제 공간의 오브젝트에 고정할 수 있다.
도 26은 일 실시 예에 따른 외부 전자 장치에서 이벤트 발생시 외부 전자 장치 및 웨어러블 전자 장치의 컨텐트 업데이트 동작을 설명하기 위한 흐름도이다.
일 실시 예에 따라, 도 26을 참조하면, 2601 동작에서, 전자 장치(104)(예: 도 1의 전자 장치(104))는 어플리케이션의 업데이트 발생을 확인할 수 있다. 예를 들어, 메시지 어플리케이션에 새로운 메시지가 수신되는 이벤트가 발생한 경우, 전자 장치(104)는 업데이트가 발생된 것으로 확인할 수 있다.
일 실시 예에 따라, 2602 동작에서, 전자 장치(104)는 업데이트 정보를 기반으로 어플리케이션의 컨텐트를 업데이트할 수 있다. 예를 들어, 전자 장치(104)는 메시지 어플리케이션의 새로운 메시지를 표시하여 어플리케이션의 컨텐트를 업데이트할 수 있다.
일 실시 예에 따라, 2603 동작에서, 전자 장치(104)는 웨어러블 전자 장치(101)(예: 도 1의 전자 장치(101) 또는 도 2의 전자 장치(200))와 연결 중인지 여부를 확인할 수 있다.
일 실시 예에 따라, 웨어러블 전자 장치(101)와 연결되지 않은 상태이면(2603 동작-아니오), 전자 장치(104)는 웨어러블 전자 장치(101)와 연결 여부를 다시 확인할 수 있다.
일 실시 예에 따라, 웨어러블 전자 장치(101)와 연결된 상태이면(2603 동작-예), 2604 동작에서, 전자 장치(104)는 웨어러블 전자 장치(101)에 업데이트 정보를 전송할 수 있다. 예를 들어, 전자 장치(104)는 새로운 메시지 정보를 웨어러블 전자 장치(101)에 전송할 수 있다.
일 실시 예에 따라, 2605 동작에서, 웨어러블 전자 장치(101)는 전자 장치(101)로부터 수신된 업데이트 정보를 기반으로 웨어러블 전자 장치(101)에 설치된 어플리케이션의 컨텐트를 업데이트할 수 있다. 예를 들어, 웨어러블 전자 장치(101)에도 전자 장치(104)의 메시지 어플리케이션과 연동된 메시지 어플리케이션이 설치된 경우, 웨어러블 전자 장치(101)는 수신된 새로운 메시지 정보를 기반으로 웨어러블 전자 장치(101)에 설치된 메시지 어플리케이션의 컨텐트를 업데이트할 수 있다.
일 실시 예에 따라, 2606 동작에서, 웨어러블 전자 장치(101)는 가상 오브젝트에 포함된 컨텐트를 업데이트할 수 있다. 예를 들어, 실제 공간의 오브젝트에 메시지 어플리케이션과 관련된 가상 오브젝트가 매핑된 경우, 웨어러블 전자 장치(101)는 실제 공간에 매핑된 가상 오브젝트를 업데이트할 수 있다. 예를 들어, 웨어러블 전자 장치(101)는 가상 오브젝트에 새로운 메시지의 내용을 포함하는 말풍선을 표시할 수 있다.
도 27은 일 실시 예에 따른 웨어러블 전자 장치에서 이벤트 발생시 외부 전자 장치 및 웨어러블 전자 장치의 컨텐트 업데이트 동작을 설명하기 위한 흐름도이다.
일 실시 예에 따라, 도 27을 참조하면, 2701 동작에서, 웨어러블 전자 장치(101)(예: 도 1의 전자 장치(101) 또는 도 2의 전자 장치(200))는 어플리케이션의 업데이트 발생을 확인할 수 있다. 예를 들어, 사용자가 제스쳐를 통해 캘린더 어플리케이션에 새로운 일정을 입력하는 이벤트가 발생한 경우, 웨어러블 전자 장치(101)는 업데이트가 발생된 것으로 확인할 수 있다.
일 실시 예에 따라, 2702 동작에서, 웨어러블 전자 장치(101)는 업데이트 정보를 기반으로 어플리케이션의 컨텐트를 업데이트할 수 있다. 예를 들어, 웨어러블 전자 장치(101)는 캘린더 어플리케이션에 새로운 일정을 저장함으로써 어플리케이션의 컨텐트를 업데이트할 수 있다.
일 실시 예에 따라, 2703 동작에서, 웨어러블 전자 장치(101)는 가상 오브젝트에 포함된 컨텐트를 업데이트할 수 있다. 예를 들어, 실제 공간의 오브젝트에 캘린더 어플리케이션과 관련된 가상 오브젝트가 매핑된 경우, 웨어러블 전자 장치(101)는 실제 공간에 매핑된 가상 오브젝트를 업데이트할 수 있다. 예를 들어, 웨어러블 전자 장치(101)는 가상 오브젝트에 새로운 일정 정보를 표시할 수 있다.
일 실시 예에 따라, 2704 동작에서, 웨어러블 전자 장치(101)는 전자 장치(104)(예: 도 1의 전자 장치(104))와 연결 중인지 여부를 확인할 수 있다.
일 실시 예에 따라, 전자 장치(104)와 연결되지 않은 상태이면(2704 동작-아니오), 웨어러블 전자 장치(101)는 전자 장치(104)와 연결 여부를 다시 확인할 수 있다.
일 실시 예에 따라, 전자 장치(104)와 연결된 상태이면(2704 동작-예), 2705 동작에서, 웨어러블 전자 장치(101)는 전자 장치(104)에 업데이트 정보를 전송할 수 있다. 예를 들어, 웨어러블 전자 장치(101)는 새로운 일정 정보를 전자 장치(104)에 전송할 수 있다.
일 실시 예에 따라, 2706 동작에서, 전자 장치(104)는 웨어러블 전자 장치(101)로부터 수신된 업데이트 정보를 기반으로 전자 장치(104)에 설치된 어플리케이션의 컨텐트를 업데이트할 수 있다. 예를 들어, 예를 들어, 전자 장치(104)는 수신된 새로운 일정 정보를 기반으로 전자 장치(104)에 설치된 캘린더 어플리케이션의 컨텐트를 업데이트할 수 있다.
다양한 실시 예에 따르면, 웨어러블 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 전자 장치(200))는, 디스플레이(예: 도 1의 디스플레이 모듈(160) 또는 도 2의 표시 부재(201)), 카메라(예: 도 1의 카메라 모듈(180) 또는 도 3의 제3 카메라 모듈(255)), 적어도 하나의 제1 센서(예: 도 1의 센서 모듈(176) 또는 도 3의 제2 카메라 모듈(253)) 및 상기 디스플레이, 상기 카메라 및 상기 적어도 하나의 제1 센서와 작동적으로 연결된 적어도 하나의 프로세서(예: 도 1의 프로세서(120))를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 어플리케이션의 실행 화면을 상기 디스플레이에 표시하고, 상기 카메라를 통해, 상기 어플리케이션의 실행 화면에 포함된 복수의 컨텐트 중 하나의 컨텐트를 선택하는 제1 사용자 입력이 수신되면, 상기 선택된 컨텐트와 관련된 제1 가상 오브젝트를 상기 디스플레이에 표시하고, 상기 카메라를 통해, 상기 제1 가상 오브젝트를 실제 공간에 포함된 오브젝트에 매핑하기 위한 제2 사용자 입력이 수신되면, 상기 적어도 하나의 제1 센서를 통해 상기 실제 공간의 오브젝트의 종류를 식별하고, 상기 실제 공간의 오브젝트의 종류가 상기 선택된 컨텐트 또는 상기 제1 가상 오브젝트와 관련된 것이면, 상기 실제 공간의 오브젝트의 형태, 위치 또는 크기 중 적어도 하나를 기반으로 상기 선택된 컨텐트와 관련된 제2 가상 오브젝트를 상기 디스플레이에 표시하고, 상기 실제 공간의 오브젝트의 종류가 상기 선택된 컨텐트 또는 상기 제1 가상 오브젝트와 무관하면, 상기 선택된 컨텐트와 관련된 3D 오브젝트 형태인 제3 가상 오브젝트를 상기 디스플레이에 표시할 수 있다.
일 실시 예에 따라, 상기 적어도 하나의 프로세서는, 상기 실제 공간의 오브젝트의 종류를 기반으로 상기 제3 오브젝트의 형태를 결정할 수 있다.
일 실시 예에 따라, 상기 프로세서(들)의 일부이거나 아닐 수 있는,메모리를 더 포함하고, 상기 적어도 하나의 프로세서는, 상기 메모리에 저장된 인공지능 모델을 기반으로 상기 실제 공간의 오브젝트의 종류를 식별할 수 있다.
일 실시 예에 따라, 상기 적어도 하나의 프로세서는, 상기 선택된 컨텐트와 관련된 이벤트가 발생되면, 상기 이벤트의 정보를 기반으로 상기 제2 가상 오브젝트 또는 상기 제3 가상 오브젝트를 업데이트할 수 있다.
일 실시 예에 따라, 상기 적어도 하나의 프로세서는, 상기 이벤트의 정보를 기반으로 상기 제2 가상 오브젝트 또는 상기 제3 가상 오브젝트의 형태를 변경할 수 있다.
일 실시 예에 따라, 적어도 하나의 제2 센서를 더 포함하고, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 제2 센서를 통해 사용자의 시선을 검출하고, 상기 검출된 사용자의 시선이 상기 실제 공간의 오브젝트를 향함에 기반하여, 상기 제2 가상 오브젝트 또는 상기 제3 가상 오브젝트를 상기 디스플레이에 표시하고, 상기 검출된 사용자의 시선이 상기 실제 공간의 오브젝트를 향하지 않음에 기반하여, 상기 제2 가상 오브젝트의 일부 또는 상기 제3 가상 오브젝트의 일부를 삭제할 수 있다.
일 실시 예에 따라, 상기 제2 가상 오브젝트는, 상기 실제 공간의 오브젝트의 적어도 일부 또는 상기 실제 공간의 오브젝트의 주변 중 적어도 하나에 표시되는 컨텐트 정보를 포함하는 것일 수 있다.
일 실시 예에 따라, 상기 적어도 하나의 프로세서는, 상기 제2 가상 오브젝트 또는 상기 제3 가상 오브젝트를 선택하는 제3 사용자 입력이 수신되면, 상기 선택된 컨텐트와 관련된 상기 어플리케이션의 실행 화면을 상기 제2 가상 오브젝트 또는 상기 제3 가상 오브젝트 주변에 표시할 수 있다.
일 실시 예에 따라, 상기 적어도 하나의 프로세서는, 상기 제1 사용자 입력이 수신되면, 상기 실제 공간에 포함된 복수의 오브젝트를 식별하고, 상기 제1 가상 오브젝트가 매핑될 수 있음을 알리는 복수의 아이콘을 상기 복수의 오브젝트 각각에 표시하고, 상기 복수의 아이콘 중 하나의 아이콘에 상기 제2 사용자 입력이 수신되면, 상기 적어도 하나의 제1 센서를 통해 상기 하나의 아이콘에 대응되는 실제 공간의 오브젝트의 종류를 식별할 수 있다.
일 실시 예에 따라, 통신 모듈을 더 포함하고, 상기 적어도 하나의 프로세서는, 상기 카메라를 통해 상기 제2 가상 오브젝트 또는 상기 제3 가상 오브젝트와 관련된 이벤트가 발생됨을 식별하면, 상기 통신 모듈을 통해 외부 전자 장치와의 연결 여부를 확인하고, 상기 외부 전자 장치와 연결됨이 확인됨을 기반으로, 상기 통신 모듈을 통해 상기 이벤트에 대한 정보를 상기 외부 전자 장치로 전송할 수 있다.
일 실시 예에 따라, 웨어러블 전자 장치의 제어 방법은, 어플리케이션의 실행 화면을 상기 웨어러블 전자 장치의 디스플레이에 표시하는 동작, 상기 웨어러블 전자 장치의 카메라를 통해, 상기 어플리케이션의 실행 화면에 포함된 복수의 컨텐트 중 하나의 컨텐트를 선택하는 제1 사용자 입력이 수신되면, 상기 선택된 컨텐트와 관련된 제1 가상 오브젝트를 상기 디스플레이에 표시하는 동작, 상기 카메라를 통해, 상기 제1 가상 오브젝트를 실제 공간에 포함된 오브젝트에 매핑하기 위한 제2 사용자 입력이 수신되면, 상기 웨어러블 전자 장치의 적어도 하나의 제1 센서를 통해 상기 실제 공간의 오브젝트의 종류를 식별하는 동작, 상기 실제 공간의 오브젝트의 종류가 상기 선택된 컨텐트 또는 상기 제1 가상 오브젝트와 관련된 것이면, 상기 실제 공간의 오브젝트의 형태, 위치 또는 크기 중 적어도 하나를 기반으로 상기 선택된 컨텐트와 관련된 제2 가상 오브젝트를 상기 디스플레이에 표시하고, 상기 실제 공간의 오브젝트의 종류가 상기 선택된 컨텐트 또는 상기 제1 가상 오브젝트와 무관하면, 상기 선택된 컨텐트와 관련된 3D 오브젝트 형태인 제3 가상 오브젝트를 상기 디스플레이에 표시하는 동작을 포함할 수 있다.
일 실시 예에 따라, 상기 실제 공간의 오브젝트의 종류를 기반으로 상기 제3 오브젝트의 형태를 결정하는 동작을 더 포함할 수 있다.
일 실시 예에 따라, 상기 오브젝트의 종류를 식별하는 동작은, 상기 웨어러블 전자 장치의 메모리에 저장된 인공지능 모델을 기반으로 상기 오브젝트의 종류를 식별할 수 있다.
일 실시 예에 따라, 상기 선택된 컨텐트와 관련된 이벤트가 발생되면, 상기 이벤트의 정보를 기반으로 상기 제2 가상 오브젝트 또는 상기 제3 가상 오브젝트를 업데이트하는 동작을 더 포함할 수 있다.
일 실시 예에 따라, 상기 이벤트의 정보를 기반으로 상기 제2 가상 오브젝트 또는 상기 제3 가상 오브젝트의 형태를 변경하는 동작을 더 포함할 수 있다.
일 실시 예에 따라, 상기 웨어러블 전자 장치의 적어도 하나의 제2 센서를 통해 사용자의 시선을 검출하는 동작, 상기 검출된 사용자의 시선이 상기 실제 공간의 오브젝트를 향함에 기반하여, 상기 제2 가상 오브젝트 또는 상기 제3 가상 오브젝트를 상기 디스플레이에 표시하고, 상기 검출된 사용자의 시선이 상기 실제 공간의 오브젝트를 향하지 않음에 기반하여, 상기 제2 가상 오브젝트의 일부 또는 상기 제3 가상 오브젝트의 일부를 삭제하는 동작을 더 포함할 수 있다.
일 실시 예에 따라, 상기 제2 가상 오브젝트는, 상기 오브젝트의 적어도 일부 또는 상기 오브젝트의 주변 중 적어도 하나에 표시되는 컨텐트 정보를 포함하는 것일 수 있다.
일 실시 예에 따라, 상기 제2 가상 오브젝트 또는 상기 제3 가상 오브젝트를 선택하는 제3 사용자 입력이 수신되면, 상기 선택된 컨텐트와 관련된 상기 어플리케이션의 실행 화면을 상기 제2 가상 오브젝트 또는 상기 제3 가상 오브젝트 주변에 표시하는 동작을 더 포함할 수 있다.
일 실시 예에 따라, 상기 실제 공간의 오브젝트의 종류를 식별하는 동작은, 상기 제1 사용자 입력이 수신되면, 상기 실제 공간에 포함된 복수의 오브젝트를 식별하는 동작, 상기 제1 가상 오브젝트가 매핑될 수 있음을 알리는 복수의 아이콘을 상기 복수의 오브젝트 각각에 표시하는 동작 및 상기 복수의 아이콘 중 하나의 아이콘에 상기 제2 사용자 입력이 수신되면, 상기 적어도 하나의 제1 센서를 통해 상기 하나의 아이콘에 대응되는 실제 공간의 오브젝트의 종류를 식별하는 동작을 포함할 수 있다.
일 실시 예에 따라, 상기 카메라를 통해 상기 제2 가상 오브젝트 또는 상기 제3 가상 오브젝트와 관련된 이벤트가 발생됨을 식별하면, 상기 웨어러블 전자 장치의 통신 모듈을 통해 외부 전자 장치와의 연결 여부를 확인하는 동작 및 상기 외부 전자 장치와 연결됨이 확인됨을 기반으로, 상기 통신 모듈을 통해 상기 이벤트에 대한 정보를 상기 외부 전자 장치로 전송하는 동작을 더 포함할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 적어도 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 웨어러블 전자 장치에 있어서,
    디스플레이;
    카메라;
    적어도 하나의 제1 센서; 및
    상기 디스플레이, 상기 카메라 및 상기 적어도 하나의 제1 센서와 작동적으로 연결된 적어도 하나의 프로세서;를 포함하고,
    상기 적어도 하나의 프로세서는,
    어플리케이션의 실행 화면을 상기 디스플레이에 표시하도록 제어하고,
    상기 카메라를 통해, 상기 어플리케이션의 실행 화면에 포함된 복수의 컨텐트 중 하나의 컨텐트를 선택하는 제1 사용자 입력이 수신됨에 적어도 기반하여, 상기 선택된 컨텐트와 관련된 제1 가상 오브젝트를 상기 디스플레이에 표시하도록 제어하고,
    상기 카메라를 통해, 상기 제1 가상 오브젝트를 실제 공간에 포함된 오브젝트에 매핑하기 위한 제2 사용자 입력이 수신됨에 적어도 기반하여, 상기 적어도 하나의 제1 센서를 통해 상기 실제 공간의 오브젝트의 종류를 식별하고,
    상기 실제 공간의 오브젝트의 종류가 상기 선택된 컨텐트 및/또는 상기 제1 가상 오브젝트와 관련된 것임에 적어도 응답하여, 상기 실제 공간의 오브젝트의 형태, 위치 또는 크기 중 적어도 하나에 적어도 기반하여 상기 선택된 컨텐트와 관련된 제2 가상 오브젝트를 상기 디스플레이에 표시하도록 제어하고, 상기 실제 공간의 오브젝트의 종류가 상기 선택된 컨텐트 및/또는 상기 제1 가상 오브젝트와 무관함에 응답하여, 상기 선택된 컨텐트와 관련된 3D 오브젝트 형태인 제3 가상 오브젝트를 상기 디스플레이에 표시하도록 제어하도록 설정된 웨어러블 전자 장치.
  2. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 실제 공간의 오브젝트의 종류에 적어도 기반하여 상기 제3 오브젝트의 형태를 결정하는, 웨어러블 전자 장치.
  3. 제1항에 있어서,
    메모리;를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 메모리에 저장된 인공지능 모델에 적어도 기반하여 상기 실제 공간의 오브젝트의 종류를 식별하는 웨어러블 전자 장치.
  4. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 선택된 컨텐트와 관련된 이벤트가 발생됨에 적어도 응답하여, 상기 이벤트의 정보에 적어도 기반하여 상기 제2 가상 오브젝트 및/또는 상기 제3 가상 오브젝트를 업데이트하는 웨어러블 전자 장치.
  5. 제4항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 이벤트의 정보에 적어도 기반하여 상기 제2 가상 오브젝트 및/또는 상기 제3 가상 오브젝트의 형태를 변경하는 웨어러블 전자 장치.
  6. 제1항에 있어서,
    적어도 하나의 제2 센서;를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 제2 센서를 통해 사용자의 시선을 검출하고,
    상기 검출된 사용자의 시선이 상기 실제 공간의 오브젝트를 향함에 적어도 기반하여, 상기 제2 가상 오브젝트 및/또는 상기 제3 가상 오브젝트를 상기 디스플레이에 표시하고, 상기 검출된 사용자의 시선이 상기 실제 공간의 오브젝트를 향하지 않음에 적어도 기반하여, 상기 제2 가상 오브젝트의 일부 및/또는 상기 제3 가상 오브젝트의 일부를 삭제하는 웨어러블 전자 장치.
  7. 제1항에 있어서,
    상기 제2 가상 오브젝트는,
    상기 실제 공간의 오브젝트의 적어도 일부 또는 상기 실제 공간의 오브젝트의 주변 중 적어도 하나에 표시되는 컨텐트 정보를 포함하는 것인, 웨어러블 전자 장치.
  8. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제2 가상 오브젝트 및/또는 상기 제3 가상 오브젝트를 선택하는 제3 사용자 입력이 수신됨에 적어도 기반하여, 상기 선택된 컨텐트와 관련된 상기 어플리케이션의 실행 화면을 상기 제2 가상 오브젝트 및/또는 상기 제3 가상 오브젝트 주변에 표시하는 전자 장치.
  9. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제1 사용자 입력이 수신됨에 적어도 기반하여, 상기 실제 공간에 포함된 복수의 오브젝트를 식별하고,
    상기 제1 가상 오브젝트가 매핑될 수 있음을 알리는 복수의 아이콘을 상기 복수의 오브젝트 각각에 표시하도록 제어하고,
    상기 복수의 아이콘 중 하나의 아이콘에 상기 제2 사용자 입력이 수신됨에 적어도 기반하여, 상기 적어도 하나의 제1 센서를 통해 상기 하나의 아이콘에 대응되는 실제 공간의 오브젝트의 종류를 식별하는 웨어러블 전자 장치.
  10. 제1항에 있어서,
    통신 회로를 포함하는 통신 모듈;을 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 카메라를 통해 상기 제2 가상 오브젝트 및/또는 상기 제3 가상 오브젝트와 관련된 이벤트가 발생됨을 식별함에 적어도 기반하여, 상기 통신 모듈을 통해 외부 전자 장치와의 연결 여부를 확인하고,
    상기 외부 전자 장치와 연결됨이 확인됨에 적어도 기반하여, 상기 통신 모듈을 통해 상기 이벤트에 대한 정보를 상기 외부 전자 장치로 전송하도록 제어하는 웨어러블 전자 장치.
  11. 웨어러블 전자 장치의 제어 방법에 있어서,
    어플리케이션의 실행 화면을 상기 웨어러블 전자 장치의 디스플레이에 표시하는 동작;
    상기 웨어러블 전자 장치의 카메라를 통해, 상기 어플리케이션의 실행 화면에 포함된 복수의 컨텐트 중 하나의 컨텐트를 선택하는 제1 사용자 입력이 수신됨에 적어도 기반하여, 상기 선택된 컨텐트와 관련된 제1 가상 오브젝트를 상기 디스플레이에 표시하는 동작;
    상기 카메라를 통해, 상기 제1 가상 오브젝트를 실제 공간에 포함된 오브젝트에 매핑하기 위한 제2 사용자 입력이 수신됨에 적어도 기반하여, 상기 웨어러블 전자 장치의 적어도 하나의 제1 센서를 통해 상기 실제 공간의 오브젝트의 종류를 식별하는 동작;
    상기 실제 공간의 오브젝트의 종류가 상기 선택된 컨텐트 및/또는 상기 제1 가상 오브젝트와 관련된 것임에 적어도 응답하여, 상기 실제 공간의 오브젝트의 형태, 위치 또는 크기 중 적어도 하나를 기반으로 상기 선택된 컨텐트와 관련된 제2 가상 오브젝트를 상기 디스플레이에 표시하고, 상기 실제 공간의 오브젝트의 종류가 상기 선택된 컨텐트 또는 제1 가상 오브젝트와 무관함에 적어도 응답하여, 상기 선택된 컨텐트와 관련된 3D 오브젝트 형태인 제3 가상 오브젝트를 상기 디스플레이에 표시하는 동작;을 포함하는 웨어러블 전자 장치의 제어 방법.
  12. 제11항에 있어서,
    상기 실제 공간의 오브젝트의 종류를 기반으로 상기 제3 오브젝트의 형태를 결정하는 동작;을 더 포함하는 웨어러블 전자 장치의 제어 방법.
  13. 제11항에 있어서,
    상기 오브젝트의 종류를 식별하는 동작은,
    상기 웨어러블 전자 장치의 메모리에 저장된 인공지능 모델을 기반으로 상기 실제 공간의 오브젝트의 종류를 식별하는 웨어러블 전자 장치의 제어 방법.
  14. 제11항에 있어서,
    상기 선택된 컨텐트와 관련된 이벤트가 발생되면, 상기 이벤트의 정보를 기반으로 상기 제2 가상 오브젝트 또는 상기 제3 가상 오브젝트를 업데이트하는 동작;을 더 포함하는 웨어러블 전자 장치의 제어 방법.
  15. 제14항에 있어서,
    상기 이벤트의 정보에 적어도 기반하여 상기 제2 가상 오브젝트 및/또는 상기 제3 가상 오브젝트의 형태를 변경하는 동작;을 더 포함하는 웨어러블 전자 장치의 제어 방법.
PCT/KR2022/095128 2021-11-02 2022-10-19 가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법 WO2023080767A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/979,306 US20230135420A1 (en) 2021-11-02 2022-11-02 Wearable electronic device for displaying virtual object and method of controlling the same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2021-0148523 2021-11-02
KR20210148523 2021-11-02
KR1020220004440A KR20230063829A (ko) 2021-11-02 2022-01-12 가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법
KR10-2022-0004440 2022-01-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/979,306 Continuation US20230135420A1 (en) 2021-11-02 2022-11-02 Wearable electronic device for displaying virtual object and method of controlling the same

Publications (1)

Publication Number Publication Date
WO2023080767A1 true WO2023080767A1 (ko) 2023-05-11

Family

ID=86241524

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/095128 WO2023080767A1 (ko) 2021-11-02 2022-10-19 가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법

Country Status (1)

Country Link
WO (1) WO2023080767A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016045814A (ja) * 2014-08-25 2016-04-04 泰章 岩井 仮想現実サービス提供システム、仮想現実サービス提供方法
KR20170046947A (ko) * 2015-10-22 2017-05-04 엘지전자 주식회사 이동 단말기 및 제어 방법
KR20190053278A (ko) * 2016-10-04 2019-05-17 페이스북, 인크. 가상 공간에서의 사용자 상호작용을 위한 컨트롤 및 인터페이스
KR102051202B1 (ko) * 2017-03-28 2019-12-05 주식회사 메카비전 가상 오브젝트의 처리가 가능한 스마트 안경
US20200404159A1 (en) * 2019-05-31 2020-12-24 Microsoft Technology Licensing, Llc Techniques to set focus in camera in a mixed-reality environment with hand gesture interaction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016045814A (ja) * 2014-08-25 2016-04-04 泰章 岩井 仮想現実サービス提供システム、仮想現実サービス提供方法
KR20170046947A (ko) * 2015-10-22 2017-05-04 엘지전자 주식회사 이동 단말기 및 제어 방법
KR20190053278A (ko) * 2016-10-04 2019-05-17 페이스북, 인크. 가상 공간에서의 사용자 상호작용을 위한 컨트롤 및 인터페이스
KR102051202B1 (ko) * 2017-03-28 2019-12-05 주식회사 메카비전 가상 오브젝트의 처리가 가능한 스마트 안경
US20200404159A1 (en) * 2019-05-31 2020-12-24 Microsoft Technology Licensing, Llc Techniques to set focus in camera in a mixed-reality environment with hand gesture interaction

Similar Documents

Publication Publication Date Title
WO2016018070A1 (en) Wearable glasses and method of displaying image via the wearable glasses
WO2015142023A1 (en) Method and wearable device for providing a virtual input interface
WO2017164708A1 (en) Electronic device and method of providing information in electronic device
WO2022065624A1 (en) Electronic device including flexible display
WO2018139790A1 (ko) 이동 단말기
WO2018169102A1 (ko) 이동 단말기
WO2021246660A1 (ko) 플렉서블 디스플레이를 구비한 전자 장치 및 그 동작 방법
WO2021075910A1 (en) Electronic device and method for operating screen capturing by electronic device
WO2023080767A1 (ko) 가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법
WO2021246661A1 (ko) 플렉서블 디스플레이를 구비한 전자 장치 및 그 동작 방법
WO2022014958A1 (ko) 확장 가능한 디스플레이를 포함하는 전자 장치
WO2022030746A1 (ko) 관성 센서를 이용하여 전자 장치의 착용 상태를 감지하는 전자 장치 및 그 제어 방법
WO2023090690A1 (ko) 가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법
WO2024029784A1 (ko) 가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법
WO2024090970A1 (ko) 메타버스에서 외부 장치를 사용하는 전자 장치 및 이의 제어 방법
WO2015080344A1 (ko) 이동 단말기 및 이동 단말기의 제어방법
WO2023085763A1 (ko) 전자 장치와 웨어러블 전자 장치 사이에서 증강 현실 서비스에 관련된 컨텐츠를 제공하는 방법 및 장치
WO2024029699A1 (ko) 가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법
WO2024058436A1 (ko) 영상을 표시하는 전자 장치 및 이의 제어 방법
WO2021006388A1 (ko) 이동 단말기 및 이동 단말기를 구비한 전자장치
WO2024122946A1 (ko) 가상 객체를 표시하는 전자 장치 및 이의 동작 방법
WO2024029803A1 (ko) 증강 현실에서 공간에 따라 오브젝트를 배치하는 전자 장치 및 전자 장치의 동작 방법.
WO2019240318A1 (ko) 이동 단말기 및 그 제어방법
WO2024080611A1 (ko) 전자 장치 및 이를 이용한 사용자 인터랙션에 따른 화면 제어 방법
WO2023136625A1 (ko) 안테나를 포함하는 웨어러블 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22890498

Country of ref document: EP

Kind code of ref document: A1