WO2024029803A1 - 증강 현실에서 공간에 따라 오브젝트를 배치하는 전자 장치 및 전자 장치의 동작 방법. - Google Patents

증강 현실에서 공간에 따라 오브젝트를 배치하는 전자 장치 및 전자 장치의 동작 방법. Download PDF

Info

Publication number
WO2024029803A1
WO2024029803A1 PCT/KR2023/010507 KR2023010507W WO2024029803A1 WO 2024029803 A1 WO2024029803 A1 WO 2024029803A1 KR 2023010507 W KR2023010507 W KR 2023010507W WO 2024029803 A1 WO2024029803 A1 WO 2024029803A1
Authority
WO
WIPO (PCT)
Prior art keywords
space
electronic device
plane
information
configuration
Prior art date
Application number
PCT/KR2023/010507
Other languages
English (en)
French (fr)
Inventor
이현준
우민성
김경화
김선호
박상현
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220153207A external-priority patent/KR20240019671A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US18/383,963 priority Critical patent/US20240054694A1/en
Publication of WO2024029803A1 publication Critical patent/WO2024029803A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • Various embodiments disclosed in this document relate to an electronic device that arranges objects in space in augmented reality and a method of operating the electronic device.
  • electronic devices are moving away from the uniform rectangular shape and are gradually being transformed into various shapes.
  • electronic devices are gradually developing into wearable electronic devices that can be worn on any part of the body.
  • Wearable electronic devices may include head mounted display (HMD) devices that can be worn on the head, such as glasses.
  • a wearable electronic device may include glasses-type augmented reality (AR) glasses and/or smart glasses that implement various contents on transparent glass (eg, lenses).
  • a wearable electronic device may be an HMD device and may include a video see-through (VST) device that captures a real environment using a camera and displays the captured image in a form that overlaps a virtual image.
  • Wearable electronic devices, HMD devices, and/or VST devices may provide virtual reality services and/or augmented reality services (eg, augmented reality worlds, augmented reality functions) to users using cameras.
  • virtual reality services and/or augmented reality services eg, augmented reality worlds, augmented reality functions
  • the HMD device may implement virtual reality and/or augmented reality in response to execution of an augmented reality-related application on a communication-connected electronic device, and provide the user with a virtual reality and/or augmented reality.
  • Reality services and/or augmented reality services may be provided.
  • an electronic device uses a VST device to provide an augmented reality service based on augmented reality (e.g., virtual reality (VR), augmented reality (AR), mixed reality (MR), extended reality (XR)) technology.
  • augmented reality e.g., virtual reality (VR), augmented reality (AR), mixed reality (MR), extended reality (XR)
  • VR virtual reality
  • AR augmented reality
  • MR mixed reality
  • XR extended reality
  • the electronic device can display objects with a specified configuration and arrangement by rearranging them according to the characteristics of the space.
  • Electronic devices include a display, a sensor that detects the distance to an actual object in space, a camera that photographs the front, a memory, and a processor, and the processor uses the camera and the sensor.
  • Analyze the first space store information on the first space and information related to the configuration of the object, which is a virtual object placed by the user in the first space, in the memory, and use the camera and the sensor to 2 space can be analyzed, the configuration of the object can be rearranged based on the analyzed information of the second space, and the rearranged object can be displayed on the display.
  • a method of operating an electronic device includes analyzing a first space using a camera and a sensor, information on the first space, and a virtual object placed by a user in the first space.
  • An operation of storing information related to the composition of an object in a memory, an operation of analyzing a second space using the camera and the sensor, an operation of rearranging the composition of the object based on the analyzed information of the second space, and An operation of displaying the rearranged object on a display may be included.
  • an electronic device can analyze space and automatically arrange objects to suit the characteristics of each space.
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to various embodiments.
  • FIG. 2A is a diagram illustrating the configuration of an electronic device according to various embodiments.
  • FIGS. 2B and 2C are perspective views schematically showing the front and back sides of a wearable electronic device, according to an embodiment of the present disclosure.
  • FIG. 2D is a block diagram of an electronic device according to various embodiments.
  • FIG. 3 is a flowchart illustrating a method by which a processor analyzes space and places objects according to various embodiments.
  • FIG. 4 is a diagram illustrating an example of an electronic device performing spatial analysis and analyzing objects arranged in space, according to various embodiments.
  • FIG. 5A is a flowchart illustrating a method by which an electronic device stores the configuration of an object placed by a user in a first space, according to various embodiments.
  • Figures 5B to 5F are diagrams showing example screens of each operation described in Figure 5A.
  • FIG. 6 is a diagram illustrating an example of a first configuration stored in a memory by an electronic device according to various embodiments.
  • FIG. 7A is a flowchart illustrating a method in which an electronic device loads and displays a stored object configuration in a second space, according to various embodiments.
  • FIGS. 7B to 7F are diagrams showing examples of each operation described in FIG. 7A.
  • FIG. 8A is a flowchart illustrating a method in which an electronic device loads and displays a stored object configuration in a third space, according to various embodiments.
  • FIGS. 8B to 8F are diagrams showing examples of each operation described in FIG. 8A.
  • FIG. 9A is a flowchart illustrating a method in which an electronic device loads and displays a stored object configuration in a fourth space, according to various embodiments.
  • FIGS. 9B to 9F are diagrams showing examples of each operation shown in FIG. 9A.
  • FIG. 10A is a flowchart illustrating a method in which an electronic device loads and displays a stored object configuration in a fifth space, according to various embodiments.
  • FIGS. 10B to 10F are diagrams showing examples of each operation shown in FIG. 10A.
  • FIG. 11A is a flowchart illustrating a method by which an electronic device outputs reconstructed content in a sixth space, according to various embodiments.
  • FIGS. 11B to 11E are diagrams showing example screens of each operation described in FIG. 11A.
  • Figure 12 is a flowchart showing the operation of a processor of an augmented reality headgear according to various embodiments.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100, according to various embodiments.
  • the electronic device 101 communicates with the electronic device 102 through a first network 198 (e.g., a short-range wireless communication network) or a second network 199. It is possible to communicate with at least one of the electronic device 104 or the server 108 through (e.g., a long-distance wireless communication network). According to one embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • a first network 198 e.g., a short-range wireless communication network
  • a second network 199 e.g., a long-distance wireless communication network.
  • the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or may include an antenna module 197.
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added to the electronic device 101.
  • some of these components e.g., sensor module 176, camera module 180, or antenna module 197) are integrated into one component (e.g., display module 160). It can be.
  • the processor 120 for example, executes software (e.g., program 140) to operate at least one other component (e.g., hardware or software component) of the electronic device 101 connected to the processor 120. It can be controlled and various data processing or calculations can be performed. According to one embodiment, as at least part of data processing or computation, the processor 120 stores commands or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132. The commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • software e.g., program 140
  • the processor 120 stores commands or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132.
  • the commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • the processor 120 includes a main processor 121 (e.g., a central processing unit or an application processor) or an auxiliary processor 123 that can operate independently or together (e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • a main processor 121 e.g., a central processing unit or an application processor
  • auxiliary processor 123 e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
  • the electronic device 101 includes a main processor 121 and a secondary processor 123
  • the secondary processor 123 may be set to use lower power than the main processor 121 or be specialized for a designated function. You can.
  • the auxiliary processor 123 may be implemented separately from the main processor 121 or as part of it.
  • the auxiliary processor 123 may, for example, act on behalf of the main processor 121 while the main processor 121 is in an inactive (e.g., sleep) state, or while the main processor 121 is in an active (e.g., application execution) state. ), together with the main processor 121, at least one of the components of the electronic device 101 (e.g., the display module 160, the sensor module 176, or the communication module 190) At least some of the functions or states related to can be controlled.
  • co-processor 123 e.g., image signal processor or communication processor
  • may be implemented as part of another functionally related component e.g., camera module 180 or communication module 190. there is.
  • the auxiliary processor 123 may include a hardware structure specialized for processing artificial intelligence models.
  • Artificial intelligence models can be created through machine learning. For example, such learning may be performed in the electronic device 101 itself on which the artificial intelligence model is performed, or may be performed through a separate server (e.g., server 108).
  • Learning algorithms may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but It is not limited.
  • An artificial intelligence model may include multiple artificial neural network layers.
  • Artificial neural networks include deep neural network (DNN), convolutional neural network (CNN), recurrent neural network (RNN), restricted boltzmann machine (RBM), belief deep network (DBN), bidirectional recurrent deep neural network (BRDNN), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the examples described above.
  • artificial intelligence models may additionally or alternatively include software structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101. Data may include, for example, input data or output data for software (e.g., program 140) and instructions related thereto.
  • Memory 130 may include volatile memory 132 or non-volatile memory 134.
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142, middleware 144, or application 146.
  • the input module 150 may receive commands or data to be used in a component of the electronic device 101 (e.g., the processor 120) from outside the electronic device 101 (e.g., a user).
  • the input module 150 may include, for example, a microphone, mouse, keyboard, keys (eg, buttons), or digital pen (eg, stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101.
  • the sound output module 155 may include, for example, a speaker or a receiver. Speakers can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 can visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector, and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 170 can convert sound into an electrical signal or, conversely, convert an electrical signal into sound. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device (e.g., directly or wirelessly connected to the electronic device 101). Sound may be output through the electronic device 102 (e.g., speaker or headphone).
  • the electronic device 102 e.g., speaker or headphone
  • the sensor module 176 detects the operating state (e.g., power or temperature) of the electronic device 101 or the external environmental state (e.g., user state) and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 includes, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 177 may support one or more designated protocols that can be used to connect the electronic device 101 directly or wirelessly with an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 can convert electrical signals into mechanical stimulation (e.g., vibration or movement) or electrical stimulation that the user can perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 can capture still images and moving images.
  • the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 can manage power supplied to the electronic device 101.
  • the power management module 188 may be implemented as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101.
  • the battery 189 may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • Communication module 190 is configured to provide a direct (e.g., wired) communication channel or wireless communication channel between electronic device 101 and an external electronic device (e.g., electronic device 102, electronic device 104, or server 108). It can support establishment and communication through established communication channels. Communication module 190 operates independently of processor 120 (e.g., an application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication.
  • processor 120 e.g., an application processor
  • the communication module 190 is a wireless communication module 192 (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (e.g., : LAN (local area network) communication module, or power line communication module) may be included.
  • a wireless communication module 192 e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 e.g., : LAN (local area network) communication module, or power line communication module
  • the corresponding communication module is a first network 198 (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (e.g., legacy It may communicate with an external electronic device 104 through a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network
  • the wireless communication module 192 uses subscriber information (e.g., International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
  • subscriber information e.g., International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 192 may support 5G networks after 4G networks and next-generation communication technologies, for example, NR access technology (new radio access technology).
  • NR access technology provides high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low latency). -latency communications)) can be supported.
  • the wireless communication module 192 may support high frequency bands (eg, mmWave bands), for example, to achieve high data rates.
  • the wireless communication module 192 uses various technologies to secure performance in high frequency bands, for example, beamforming, massive array multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. It can support technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna.
  • the wireless communication module 192 may support various requirements specified in the electronic device 101, an external electronic device (e.g., electronic device 104), or a network system (e.g., second network 199).
  • the wireless communication module 192 supports Peak data rate (e.g., 20 Gbps or more) for realizing eMBB, loss coverage (e.g., 164 dB or less) for realizing mmTC, or U-plane latency (e.g., 164 dB or less) for realizing URLLC.
  • Peak data rate e.g., 20 Gbps or more
  • loss coverage e.g., 164 dB or less
  • U-plane latency e.g., 164 dB or less
  • the antenna module 197 may transmit or receive signals or power to or from the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator made of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is connected to the plurality of antennas by, for example, the communication module 190. can be selected. Signals or power may be transmitted or received between the communication module 190 and an external electronic device through the at least one selected antenna.
  • other components eg, radio frequency integrated circuit (RFIC) may be additionally formed as part of the antenna module 197.
  • RFIC radio frequency integrated circuit
  • a mmWave antenna module includes: a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side) of the printed circuit board and capable of transmitting or receiving signals in the designated high frequency band. can do.
  • a first side e.g., bottom side
  • a designated high frequency band e.g., mmWave band
  • a plurality of antennas e.g., array antennas
  • peripheral devices e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199.
  • Each of the external electronic devices 102 or 104 may be of the same or different type as the electronic device 101.
  • all or part of the operations performed in the electronic device 101 may be executed in one or more of the external electronic devices 102, 104, or 108.
  • the electronic device 101 may perform the function or service instead of executing the function or service on its own.
  • one or more external electronic devices may be requested to perform at least part of the function or service.
  • One or more external electronic devices that have received the request may execute at least part of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device 101.
  • the electronic device 101 may process the result as is or additionally and provide it as at least part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology can be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of Things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or server 108 may be included in the second network 199.
  • the electronic device 101 may be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
  • FIG. 2A is a diagram illustrating the configuration of an electronic device 200 (eg, the electronic device 101 of FIG. 1) according to various embodiments.
  • the electronic device 200 may be manufactured to be worn on the user's head.
  • the electronic device 200 may be configured in the form of at least one of glasses, goggles, a helmet, or a hat, but is not limited thereto.
  • the electronic device 200 includes both eyes of the user (e.g., left eye and/or right eye), a plurality of transparent members corresponding to each (e.g., first transparent member 220 and/or second transparent member) (230)).
  • the electronic device 200 may provide images related to an augmented reality (AR) service to the user.
  • the electronic device 200 projects or displays a virtual object (e.g., an object) on the first transparent member 220 and/or the second transparent member 230, thereby allowing the user to use the first transparent member 220 and/or the second transparent member 230.
  • a virtual object e.g., an object
  • At least one virtual object may be visible overlapping the reality perceived through the first transparent member 220 and/or the second transparent member 230.
  • the electronic device 200 includes a main body 223, a support part (e.g., a first support part 221, a second support part 222), and a hinge part (e.g., a first support part 222). It may include a hinge portion 240-1 and a second hinge portion 240-2.
  • the main body portion 223 and the support portions 221 and 222 may be operatively connected through hinge portions 240-1 and 240-2.
  • the main body 223 may include a portion formed to be at least partially placed on the user's nose.
  • the supports 221 and 222 may include a support member that can be worn over the user's ears.
  • the support parts 221 and 222 may include a first support part 221 mounted on the left ear and/or a second support part 222 mounted on the right ear.
  • the first hinge part 240-1 may connect the first support part 221 and the main body 223 so that the first support part 221 can rotate with respect to the main body 223.
  • the second hinge portion 240-2 may connect the second support portion 222 and the main body portion 223 so that the second support portion 222 can rotate with respect to the main body portion 223.
  • the hinge portions 240-1 and 240-2 of the electronic device 200 may be omitted.
  • the main body 223 and the support parts 221 and 222 may be directly connected.
  • the main body 223 includes at least one transparent member (e.g., a first transparent member 220, a second transparent member 230), at least one display module (e.g., a first display module ( 214-1), a second display module 214-2), at least one camera module (e.g., a front camera module 213), a gaze tracking camera module (e.g., a first gaze tracking camera module 212-1) , a second eye tracking camera module 212-2), a recognition camera module (e.g., a first recognition camera module 211-1, a second recognition camera module 211-2), and at least one microphone. (For example, it may include a first microphone 241-1 and a second microphone 241-2).
  • a first transparent member e.g., a first transparent member 220, a second transparent member 230
  • at least one display module e.g., a first display module ( 214-1), a second display module 214-2
  • at least one camera module e.g., a front camera module 213
  • light generated by the display modules 214-1 and 214-2 may be projected onto the transparent members 220 and 230 to display information.
  • light generated in the first display module 214-1 may be projected on the first transparent member 220
  • light generated in the second display module 214-2 may be projected on the second transparent member ( 230).
  • the user can perceive a reality in which virtual objects (e.g., an object) are overlapped.
  • a display module that can be included in the electronic device 200 can be changed to a display module that includes various information display methods.
  • a separate display module e.g., a first display module 214-1, a second display module ( Information can be displayed without 214-2)
  • the display module 160 described in FIG. 1 may mean the transparent members 220 and 230 and the display panel included in the transparent members 220 and 230.
  • virtual objects may include information related to an application program running on the electronic device 200 and/or a user's transparent member ( 220, 230), it may include information related to external objects located in the actual space perceived. External objects may include objects that exist in real space.
  • the actual space perceived by the user through the transparent members 220 and 230 will hereinafter be referred to as the user's field of view (FoV) area.
  • the electronic device 200 may select an area determined to be the user's field of view (FoV) from image information related to the actual space acquired through a camera module (e.g., the shooting camera module 213) of the electronic device 200. At least some of the external objects included can be checked.
  • the electronic device 200 may output a virtual object (eg, object) related to the identified external object through the display modules 214-1 and 214-2.
  • the electronic device 200 creates a virtual object (e.g., object) related to an augmented reality service based on image information related to the real space acquired through the photography camera module 213 of the electronic device 200. can be displayed together.
  • the electronic device 200 includes a display module disposed corresponding to both eyes of the user (e.g., a first display module 214-1 corresponding to the left eye, and/or a second display module corresponding to the right eye). (214-2)), a virtual object (e.g., object) can be displayed.
  • the electronic device 200 displays a virtual object (e.g., object) based on preset setting information (e.g., resolution, frame rate, brightness, and/or display area). It can be displayed.
  • preset setting information e.g., resolution, frame rate, brightness, and/or display area
  • the transparent members 220 and 230 may include a condenser lens (not shown) and/or a waveguide (e.g., the first waveguide 220-1 and/or the second waveguide 230-1). You can.
  • the first waveguide 220-1 may be partially located in the first transparent member 220
  • the second waveguide 230-1 may be partially located in the second transparent member 230.
  • Light emitted from the display modules 214-1 and 214-2 may be incident on one surface of the transparent members 220 and 230.
  • Light incident on one side of the transparent members 220 and 230 may be transmitted to the user through the waveguides 220-1 and 230-1 located within the transparent members 220 and 230.
  • the waveguides 220-1 and 230-1 may be made of glass, plastic, or polymer, and may include a nanopattern formed on one of the inner or outer surfaces.
  • the nanopattern may include a polygonal or curved lattice structure.
  • light incident on one surface of the transparent members 220 and 230 may be propagated or reflected inside the waveguides 220-1 and 230-1 by nano-patterns and transmitted to the user.
  • the waveguides 220-1 and 230-1 include at least one diffractive element (e.g., a diffractive optical element (DOE), a holographic optical element (HOE)) or a reflective element (e.g., a reflective mirror). It can contain one.
  • the waveguides 220-1 and 230-1 guide the light emitted from the display modules 214-1 and 214-2 to the user's eyes using at least one diffractive element or reflective element. You can.
  • the electronic device 200 includes a shooting camera module 213 (e.g., RGB) for capturing an image corresponding to the user's field of view (FoV) and/or measuring the distance to an object.
  • Camera module e.g., RGB
  • Eye tracking camera module 212-1, 212-2
  • recognition camera module to recognize a certain space camera module
  • the photographing camera module 213 may photograph the front direction of the electronic device 200
  • the eye-tracking camera modules 212-1 and 212-2 may film in a direction opposite to the photographing direction of the photographing camera module 213. You can take pictures in any direction.
  • the first eye tracking camera module 212-1 may partially photograph the user's left eye
  • the second eye tracking camera module 212-2 may partially photograph the user's right eye
  • the photographing camera module 213 may include a high resolution camera module such as a high resolution (HR) camera module and/or a photo video (PV) camera module.
  • the eye tracking camera modules 212-1 and 212-2 may detect the user's pupils and track the gaze direction. The tracked gaze direction can be used to move the center of a virtual image including a virtual object (eg, object) in response to the gaze direction.
  • the recognition camera modules 211-1 and 211-2 may detect a user gesture and/or a certain space within a preset distance (eg, a certain space).
  • the recognition camera modules 211-1 and 211-2 may include a camera module including a global shutter (GS).
  • the recognition camera modules 211-1 and 211-2 include GS in which the rolling shutter (RS) phenomenon can be reduced in order to detect and track fast hand movements and/or fine movements such as fingers. It could be a camera module.
  • GS global shutter
  • RS rolling shutter
  • the electronic device 200 uses at least one camera module (211-1, 211-2, 212-1, 212-2, 213) to focus and/or focus on the left eye and/or the right eye.
  • the eye corresponding to the secondary eye can be detected.
  • the electronic device 200 may detect the eye corresponding to the primary eye and/or the secondary eye based on the user's gaze direction with respect to an external object or virtual object (eg, object).
  • At least one camera module included in the electronic device 200 shown in FIG. 2A may not be limited.
  • at least one camera module e.g., a photographing camera module 213, an eye tracking camera module 212-1, 212-2, and /Or the number and position of the recognition camera modules (211-1, 211-2) can be changed in various ways.
  • the electronic device 200 includes at least one camera module (e.g., a photographing camera module 213, an eye tracking camera module 212-1, 212-2), and/or a recognition camera module 211- 1, 211-2)) may include at least one light emitting device (illumination LED) (eg, the first light emitting device 242-1 and the second light emitting device 242-2) to increase the accuracy.
  • the first light-emitting device 242-1 may be placed in a portion corresponding to the user's left eye
  • the second light-emitting device 242-2 may be disposed in a portion corresponding to the user's right eye.
  • the light-emitting devices 242-1 and 242-2 may be used as an auxiliary means to increase accuracy when photographing the user's eyes with the eye-tracking camera modules 212-1 and 212-2, and may be used as an auxiliary means to increase accuracy by using infrared wavelengths. It may include an IR LED that generates light.
  • the light emitting devices 242-1 and 242-2 detect the subject to be photographed due to a dark environment or mixing and reflected light of various light sources when photographing the user's gesture with the recognition camera modules 211-1 and 211-2. It can be used as an auxiliary method when this is not easy.
  • the electronic device 200 may include a microphone (eg, a first microphone 241-1 and a second microphone 241-2) for receiving the user's voice and surrounding sounds.
  • a microphone eg, a first microphone 241-1 and a second microphone 241-2
  • the microphones 241-1 and 241-2 may be components included in the audio module 170 of FIG. 1.
  • the first support portion 221 and/or the second support portion 222 is a printed circuit board (PCB) (e.g., a first printed circuit board 231-1, a second printed circuit Board 231-2), speakers (e.g., first speaker 232-1, second speaker 232-2), and/or batteries (e.g., first battery 233-1, It may include a second battery 233-2).
  • PCB printed circuit board
  • speakers e.g., first speaker 232-1, second speaker 232-2
  • batteries e.g., first battery 233-1, It may include a second battery 233-2.
  • the speakers 232-1 and 232-2 include a first speaker 232-1 for transmitting an audio signal to the user's left ear and a second speaker for transmitting an audio signal to the user's right ear ( 232-2) may be included.
  • Speakers 232-1 and 232-2 may be components included in the audio module 170 of FIG. 1.
  • the electronic device 200 may be equipped with a plurality of batteries 233-1 and 233-2, and may perform printing through a power management module (e.g., the power management module 188 of FIG. 1). Power can be supplied to the circuit boards 231-1 and 231-2.
  • the plurality of batteries 233-1 and 233-2 may be electrically connected to a power management module (eg, the power management module 188 of FIG. 1).
  • the electronic device 200 was described as a device that displays augmented reality, but the electronic device 200 may be a device that displays virtual reality (VR).
  • the transparent members 220 and 230 may be made of an opaque material so that the user cannot perceive the actual space through the transparent members 220 and 230.
  • the transparent members 220 and 230 may function as the display module 160.
  • the transparent members 220 and 230 may include a display panel that displays information.
  • the electronic device 200 may include at least one sensor (eg, a wearing sensor, a motion sensor, a touch sensor, not shown) and a communication module (not shown).
  • at least one sensor may sense whether the electronic device 200 is worn on the user's body and the posture in which it is worn.
  • the at least one sensor may include at least one of a proximity sensor and a grip sensor.
  • at least one sensor may detect the amount of change in posture that occurs due to the user's movement.
  • the at least one sensor may include an acceleration sensor and a gyro sensor. The acceleration sensor can sense acceleration in three axes, and the gyro sensor can sense angular velocity based on three axes.
  • At least one sensor may detect gestures such as a user's finger touch and swipe action.
  • the electronic device 200 may perform control including at least one or a combination of two or more of music play, stop, next music play, and previous music play in response to touch data sensed by at least one sensor.
  • the communication module may be a module that communicates wirelessly with the outside.
  • the communication module may include a UWB (ultra wide band) module, BT (bluetooth) network, BLE (Bluetooth low energy) network, Wi-Fi (Wireless Fidelity) network, ANT+ network, LTE (long-term evolution) network, Communication can be established with other devices and/or an Access Point (AP) through at least one or a combination of two or more of a 5th generation (5G) network and a Narrowband Internet of Things (NB-IoT) network.
  • UWB ultra wide band
  • BT bluetooth
  • BLE Bluetooth low energy
  • Wi-Fi Wireless Fidelity
  • ANT+ long-term evolution
  • LTE long-term evolution
  • a UWB module (eg, the first UWB module 341 and/or the second UWB module 342 in FIG. 3) may be located on the front of the electronic device 200.
  • the UWB module 340 may include at least one UWB antenna.
  • each UWB antenna may be arranged in a right triangle shape, and the distances of each UWB antenna may be similar.
  • the front imaging camera module 213 may be arranged between each UWB antenna.
  • the UWB module e.g., the first UWB module 341 and/or the second UWB module 342 in FIG. 3 is a first recognition camera module located on the front of the electronic device 200 ( 211-1) and the second recognition camera module 211-2.
  • the electronic device 200 acquires relative position information (e.g., distance, direction) with an external electronic device (e.g., the external electronic device 500 of FIG. 3) through the UWB module 340. You can.
  • the electronic device 200 may activate at least some functions of the electronic device 200 in response to the fact that the relative distance from the external electronic device 500 is less than a specified value.
  • the electronic device 200 can track the user's gaze direction through the gaze tracking camera modules 212-1 and 212-2, and an external electronic device to be controlled based on the tracked gaze direction. (500) can be selected.
  • the electronic device 200 may determine the user's gaze direction through a UWB module (e.g., the first UWB module 341 and/or the second UWB module 342 of FIG. 3), and the determined The external electronic device 500 to be controlled can be selected based on the gaze direction.
  • the electronic device 200 may determine the user's gaze direction using at least one of the UWB module and the gaze tracking camera modules 212-1 and 212-2.
  • the electronic device 200 may determine the type of the external electronic device 500 based on the image of the external electronic device 500 acquired through the front imaging camera module 213, and the external electronic device 200 may determine the type of the external electronic device 500.
  • a control command corresponding to the type (500) can be generated.
  • the electronic device 200 may determine the user's motion through the recognition camera modules 211-1 and 211-2 and generate a control command based on the determined user's motion.
  • the wearable electronic device 200 is described as a device that displays augmented reality or virtual reality using the first glass 215 and the second glass 225, but the wearable electronic device 200 is not limited thereto. no.
  • the wearable electronic device 200 may include a video see-through (VST) device.
  • VST video see-through
  • FIGS. 2B and 2C are perspective views schematically showing the front and back of a wearable electronic device 270 according to an embodiment of the present disclosure.
  • the wearable electronic device 270 uses a plurality of cameras (e.g., a first camera (e.g., a first camera (e.g., 273) and a second camera 274 may be disposed.
  • a first camera e.g., a first camera (e.g., 273)
  • a second camera 274 may be disposed.
  • the wearable electronic device 270 may include a first camera 273 corresponding to the user's left eye and a second camera 274 corresponding to the user's right eye.
  • the wearable electronic device 270 uses the first camera 273 and the second camera 274 to capture external images in the front direction (e.g., -y direction) of the wearable electronic device 270.
  • the wearable electronic device 270 has a first side 271 (e.g., front) exposed to the external environment (e.g., see FIG. 2B) and is not exposed to the external environment, and when worn, the user's It may include a second side 272 (e.g., the back) (e.g., see Figure 2C) that is in close contact with the skin.
  • first side 271 of the device 270 may be exposed to the external environment, and the second side 272 of the wearable electronic device 270 may be at least partially in close contact with the user's face.
  • At least one distance sensor 281, 282, 283, and/or 284 may be disposed on the first surface 271 of the wearable electronic device 270.
  • at least one distance sensor 281, 282, 283, and/or 284 may measure the distance to at least one object disposed around the wearable electronic device 270.
  • At least one distance sensor 281, 282, 283, and/or 284 may include an infrared sensor, an ultrasonic sensor, and/or a light detection and ranging (LiDAR) sensor.
  • LiDAR light detection and ranging
  • At least one distance sensor 281, 282, 283, and/or 284 may be implemented based on an infrared sensor, an ultrasonic sensor, and/or a LiDAR sensor.
  • FIG. 2B according to various embodiments, four distance sensors 281, 282, 283, and 284 are shown as disposed on the first side 271 of the wearable electronic device 270, but the distance sensor is not limited thereto. .
  • the wearable electronic device 270 displays a plurality of displays (e.g., the first display 275) corresponding to the rear direction (e.g., +y direction, opposite to the user's gaze direction) of the wearable electronic device 270. ), the second display 276 may be disposed.
  • the second side 272 (e.g., rear) of the wearable electronic device 270 includes the first display 275 corresponding to the user's left eye, and The second display 276 may be disposed corresponding to the user's right eye.
  • the first display 275 may be disposed to correspond to the user's left eye. It can be arranged, and the second display 276 can be arranged corresponding to the user's right eye.
  • the wearable electronic device 270 may have a plurality of eye tracking cameras (e.g., a first eye tracking camera 291 and a second eye tracking camera 292) disposed at least partially on the second surface 272.
  • the plurality of eye tracking cameras 291 and 292 can track the movement of the user's eyes.
  • the first eye tracking camera 291 can track the movement of the user's left eye
  • the first eye tracking camera 291 can track the movement of the user's left eye.
  • the eye tracking camera 292 can track the movement of the user's right eye.
  • the wearable electronic device 270 tracks the eye movement tracked using a plurality of eye tracking cameras 291 and 292. Based on this, the direction the user is looking can be confirmed.
  • a plurality of face recognition cameras are disposed at least partially on the second side 272 of the wearable electronic device 270. It can be.
  • the plurality of face recognition cameras 295 and 296 may recognize the user's face when the wearable electronic device 270 is worn on the user's face.
  • the wearable electronic device 270 may use a plurality of face recognition cameras 295 and 296 to determine whether the wearable electronic device 270 is worn on the user's face.
  • FIG. 2D is a block diagram of an electronic device according to various embodiments.
  • the electronic device 200 (e.g., the electronic device 101 of FIG. 1) includes a processor 250 (e.g., the processor 120 of FIG. 1) and a camera 213 (e.g., the electronic device 101 of FIG. 1). Camera 180), sensor 280 (e.g., sensor 176 in FIG. 1), display 214 (e.g., display 160 in FIG. 1), and/or memory 260 (e.g., sensor 176 in FIG. 1). It may include a memory 130).
  • the components included in FIG. 2 are some of the components included in the electronic device 200, and the electronic device 200 may also include various other components as shown in FIG. 1 .
  • the camera 213 can capture images of the front of the electronic device.
  • the camera 213 may be the front camera module 213 of FIG. 2A.
  • the camera 213 may transmit an image captured from the front to the processor 250.
  • the sensor 280 can measure the relative distance between an external object and an electronic device.
  • the sensor 280 may include at least one of an image distance sensor 280, an optical distance sensor 280, an ultrasonic distance sensor 280, or a radio wave distance sensor 280.
  • various sensors 280 eg, depth sensor 280 capable of measuring distance or displacement may be included in the distance sensor 280.
  • the sensor 280 may measure the distance in a stereo-type. In one embodiment, the sensor 280 may combine two two-dimensional image sensors 280 and measure the distance using the viewpoint mismatch between the pair of image sensors 280. For example, the stereo camera 213 may measure the depth of pixels in the image based on the image difference of each camera 213.
  • the sensor 280 may measure the distance using a time of flight (TOF) method.
  • the sensor 280 can measure the distance using the time it takes for light or radio waves output from the sensor 280 to be reflected by another object and return.
  • the sensor 280 may measure the distance using a light quantity measurement method.
  • the sensor 280 which can measure the distance by measuring the amount of light, can measure the distance based on the amount of light flowing into the sensor 280.
  • the sensor 280 may determine that the smaller the amount of light received by the sensor 280, the longer the distance, and the larger the amount of light received by the sensor 280, the shorter the distance.
  • the sensor 280 may measure the distance by analyzing a light pattern displayed by irradiating a specific object (Structured Pattern). This sensor 280 can measure the distance between two points in a light pattern displayed on a specific object. It can be determined that the smaller the distance between two points is, the longer the distance between the sensor 280 and the specific object, and the larger the distance between the two points is, the shorter the distance between the sensor 280 and the specific object. In addition, the sensor 280 can measure distance in various ways.
  • the display 214 may display a screen generated by the processor 250.
  • display 214 may include display 214 modules 214-1 and 214-2 of FIG. 2A.
  • the display 214 may display an image captured by the camera 213 and an object created by the processor 250.
  • the display 214 may display information by projecting light related to the object generated by the processor 250 onto the transparent members 220 and 230.
  • the display 214 projects light that can display a virtual object (e.g., an object) onto transparent members 220 and 230, at least partially formed of a transparent material, so that the user can view the virtual object (e.g., an object). can perceive overlapping realities.
  • a virtual object e.g., an object
  • transparent members 220 and 230 at least partially formed of a transparent material
  • the processor 250 may analyze space and place objects.
  • an object may include an object that occupies a portion of space and/or a context that does not occupy space, such as a sound.
  • an object may include an icon related to the execution of a designated application, an icon for providing information, and/or a sound source to be played.
  • Objects referred to in the present invention include all elements such as images, voices, and motions that can be used in virtual reality, and are not limited to this embodiment.
  • the processor 250 may analyze the first space. For example, the processor 250 analyzes the first space based on the image of the first space captured by the camera 213 and the relative distance to the object existing in the first space measured by the sensor 280, Information related to the first space can be obtained.
  • information related to the first space may include the number of the plane included in the first space, the direction, position, rotation angle, and/or size value of the plane relative to the electronic device.
  • the processor 250 may obtain information related to the configuration of the object by analyzing the configuration of the object placed by the user.
  • information related to an object may include the object's position relative to the electronic device, information about the plane on which it is dependent (e.g., the number of the plane), its position, rotation, size value, and/or relationship to the dependent plane. May include application information.
  • the processor 250 may store the configuration of objects arranged in space in the memory 260.
  • the processor 250 may store information on the first space and information related to the configuration of objects placed by the user in the memory 260.
  • processor 250 may determine the number of planes included in the first space, the direction, position, rotation angle, and/or size value of the plane relative to the electronic device, and the relative position of the object relative to the electronic device.
  • information about the dependent plane e.g., number of the plane
  • relative position with the dependent plane e.g., rotation, size value, and/or related application information
  • processor 250 may determine the number of planes included in the first space, the direction, position, rotation angle, and/or size value of the plane relative to the electronic device, and the relative position of the object relative to the electronic device.
  • information about the dependent plane e.g., number of the plane
  • relative position with the dependent plane e.g., rotation, size value, and/or related application information
  • processor 250 may determine the number of planes included in the first space, the direction, position, rotation angle, and/or size value of the plane relative to the electronic device, and the relative position of the object relative to the electronic device.
  • information about the dependent plane e.g., number of the
  • the processor 250 may analyze the second space. For example, the processor 250 analyzes the second space based on the image of the second space captured by the camera 213 and the relative distance to the object existing in the second space measured by the sensor 280, Information related to the second space can be obtained.
  • information related to the second space may include the number of the plane included in the second space, the direction, position, rotation angle, and/or size value of the plane relative to the electronic device.
  • the processor 250 may rearrange the configuration of stored objects based on the analyzed information of the second space.
  • the processor 250 may compare the first space and the second space.
  • the processor 250 may compare information on at least one plane included in the first space with information on at least one plane included in the second space.
  • the processor 250 may adjust the configuration of the first configuration object and place it based on the result of comparing the first space and the second space.
  • the processor 250 can adjust the position and size of the object in the first configuration to arrange it. there is.
  • the processor 250 may display the rearranged object on the display 214.
  • the processor 250 may rearrange and adjust the objects in the first configuration to fit the second space and display the objects on the display 214 in the second space.
  • the processor 250 is included in the electronic device 200 or is included in an external electronic device physically separated from the electronic device 200, and controls the electronic device 200 and/or It may be included in an external electronic device physically connected to 200 and control the electronic device 200.
  • the memory 260 may temporarily or non-temporarily store information related to space and/or information related to objects.
  • an augmented reality headgear including a lens and a processor that can be used in front of the user's eyes.
  • the processor analyzes a first space visible to the user through the lens, stores information about the first space and information about the configuration of a virtual object displayed on the lens so that it appears in the first space, Analyze a second space that the user can see through the lens, and select a virtual object that appears in the second space according to the configuration of the object based on information derived from the analysis of the first space and the second space. It can be set to display on the lens.
  • the lenses may be goggle or spectacle lenses, although additional types of lenses may be possible.
  • Information derived from the first space analysis includes information about at least one plane included in the first space
  • information derived from the second space analysis includes information about at least one plane included in the second space.
  • the processor compares information about at least one plane included in the first space with information about at least one plane included in the second space, and displays the virtual object to appear in the second space based on the comparison result. It is set to do so.
  • the comparison result may define a ratio between corresponding parameters of at least one plane included in the first space and at least one plane included in the second space.
  • the processor is configured to scale the object in the display of the object so that it appears in the second space corresponding to the ratio.
  • FIG. 3 is a flowchart illustrating a method by which the processor 250 analyzes space and places objects according to various embodiments.
  • a user may input a command to place an object in the first space and save the object arrangement configuration.
  • the processor 250 may analyze the first space in operation 310.
  • the processor 250 analyzes the first space based on the image of the first space captured by the camera 213 and the relative distance to the object existing in the first space measured by the sensor 280. And, information related to the first space can be obtained.
  • information related to the first space may include the number of the plane included in the first space, the direction, position, rotation angle, and/or size value of the plane relative to the electronic device.
  • the processor 250 may store information on the first space analyzed in operation 320 and the configuration of objects placed by the user in the first space.
  • the processor 250 may check whether an object exists in the first space in response to a user's command.
  • the processor 250 may display a guidance pop-up and end execution in response to the fact that an object does not exist in the first space.
  • the processor 250 may analyze the configuration of the object placed by the user in response to the presence of the object in the first space.
  • the processor 250 may obtain information related to the configuration of the object by analyzing the configuration of the object placed by the user.
  • information related to an object may include the object's position relative to the electronic device, information about the plane on which it is dependent (e.g., the number of the plane), its position, rotation, size value, and/or relationship to the dependent plane. May include application information.
  • the processor 250 may store the configuration of objects arranged in the first space in the memory 260.
  • the processor 250 may store information on the first space and information related to the configuration of objects placed by the user in the memory 260.
  • processor 250 may determine the number of planes included in the first space, the direction, position, rotation angle, and/or size value of the plane relative to the electronic device, and the relative position of the object relative to the electronic device.
  • information about the dependent plane e.g., number of the plane
  • relative position with the dependent plane e.g., rotation, size value, and/or related application information
  • processor 250 may determine the number of planes included in the first space, the direction, position, rotation angle, and/or size value of the plane relative to the electronic device, and the relative position of the object relative to the electronic device.
  • information about the dependent plane e.g., number of the plane
  • relative position with the dependent plane e.g., rotation, size value, and/or related application information
  • processor 250 may determine the number of planes included in the first space, the direction, position, rotation angle, and/or size value of the plane relative to the electronic device, and the relative position of the object relative to the electronic device.
  • information about the dependent plane e.g., number of the
  • the processor 250 may analyze the second space in operation 330.
  • the user may input a command to load the first configuration stored in the memory 260.
  • a command to load the first configuration stored in the memory 260 For example, the user inputs a gesture to select a designated icon (e.g., an application list) displayed on display 214, followed by a gesture to select a designated icon (e.g., a first configuration icon) associated with a command to invoke the first configuration. You can enter .
  • a designated icon e.g., an application list
  • a designated icon e.g., a first configuration icon
  • the processor 250 analyzes the second space based on the image of the second space captured by the camera 213 and the relative distance to the object existing in the second space measured by the sensor 280. And, information related to the second space can be obtained.
  • information related to the second space may include the number of the plane included in the second space, the direction, position, rotation angle, and/or size value of the plane relative to the electronic device.
  • the processor 250 may rearrange the configuration of the stored object based on the analyzed information of the second space.
  • the processor 250 may compare the first space and the second space.
  • the processor 250 may compare information on at least one plane included in the first space with information on at least one plane included in the second space.
  • the processor 250 may adjust the configuration of the first configuration object and place it based on the result of comparing the first space and the second space.
  • the processor 250 can adjust the position and size of the object in the first configuration to arrange it. there is.
  • the processor 250 may display the rearranged object on the display 214 in operation 350.
  • the processor 250 may rearrange and adjust the objects in the first configuration to fit the second space and display the objects on the display 214 in the second space.
  • the processor 250 may rearrange objects based on the user's additional placement input.
  • the user may input to rearrange the objects in the second space arranged by the processor 250 using a movement gesture.
  • FIG. 4 is a diagram illustrating an example in which the electronic device 200 according to various embodiments performs spatial analysis and analyzes objects arranged in space.
  • the processor 250 may analyze the space and store information related to the space in the memory 260.
  • the processor 250 analyzes the space based on the image of the space captured by the camera 213 and the relative distance to the object existing in the space measured by the sensor 280, and provides information related to the space. can be obtained.
  • information related to space may include the number of a plane included in the space, and the direction, position, rotation angle, and/or size value of the plane relative to the electronic device 200.
  • the space-related information may include the number of a plane included in the space, the direction, position, rotation angle, and/or size of the absolute plane centered on the Earth coordinate system.
  • the first space may include a first plane 410 and a second plane 420.
  • information related to space may include information related to the first plane 410 and information related to the second plane 420.
  • the processor 250 may analyze the composition of an object and store information related to the composition of the object.
  • the information related to the object includes the object's relative position based on the electronic device 200, information about the dependent plane (e.g., the number of the plane), and the relative position, rotation, and size with the dependent plane. May contain values and/or related application information.
  • the information related to the object may include information about the dependent plane (e.g., plane number), the absolute position, rotation, and size of the object in the Earth coordinate system, and/or related application information.
  • the dependent plane e.g., plane number
  • the absolute position, rotation, and size of the object in the Earth coordinate system e.g., the absolute position, rotation, and size of the object in the Earth coordinate system, and/or related application information.
  • the first space may include a first object 430 and a second object 440.
  • the object-related information may include information related to the first object 430 and information related to the second object 440.
  • FIG. 5A is a flowchart illustrating a method in which an electronic device (e.g., the electronic device 200 of FIG. 2D) according to various embodiments stores the configuration of an object placed by a user in a first space.
  • an electronic device e.g., the electronic device 200 of FIG. 2D
  • FIG. 5A stores the configuration of an object placed by a user in a first space.
  • Figures 5B to 5F are diagrams showing example screens of each operation described in Figure 5A.
  • FIG. 5A and the embodiments of FIGS. 5B to 5F may correspond to operations 310 and 320 in FIG. 3 .
  • the processor 250 may obtain an object placement input in the first space in operation 510.
  • a user may arrange objects displayed on the display 214 while wearing the electronic device 200.
  • the user can input to place objects using a movement gesture.
  • the movement gesture may include holding an object with a hand in a space corresponding to the position of the object displayed on the display 214 and opening the hand at a desired location to move the object.
  • Movement gestures are not limited to the above operations and may include gestures of various embodiments that the electronic device 200 can recognize.
  • 5b represents the arrangement of objects 501-1, 501-2, 501-3, 501-4, 501-5, and 501-6 in the first space displayed on the display 214, according to one embodiment. This is a diagram showing the screen included.
  • the user uses gestures to select objects 501-1, 501-2, 501-3, 501-4, 501-5, and 501-6 displayed on the display 214 in the first space as shown in FIG. 5B. It can be placed.
  • the processor 250 may obtain an input that stores the configuration of the placed object in operation 520.
  • the user may input a command to store the object arrangement configuration in the electronic device 200.
  • the user may input a gesture to select a designated icon displayed on display 214 (e.g., an application list), and then select a designated icon (e.g., a “+” button) associated with a command to save the object placement configuration.
  • a designated icon e.g., a “+” button
  • a gesture for selecting an icon may include selecting with the hand at a spatial location corresponding to the location of the icon.
  • the gesture for selecting an icon is not limited to the above operation and may include gestures of various embodiments that the electronic device 200 can recognize.
  • FIG. 5C is a diagram illustrating a screen including an icon for storing an object arrangement configuration displayed on the display 214, according to an embodiment.
  • the user After inputting a gesture to select the menu icon 502-1 as shown in FIG. 5C, the user places an object in the electronic device 200 by inputting a gesture to select the save icon 502-3 from the menu list 502-2. You can enter a command to save the configuration.
  • the processor 250 may analyze the first space in operation 530.
  • the processor 250 analyzes the first space based on the image of the first space captured by the camera 213 and the relative distance to the object existing in the first space measured by the sensor 280. And, information related to the first space can be obtained.
  • information related to the first space may include the number of the plane included in the first space, and the direction, position, rotation angle, and/or size value of the plane relative to the electronic device 200.
  • FIG. 5D is a diagram illustrating an example of a screen in which the processor 250 analyzes the first space captured by the camera 213, according to an embodiment.
  • the electronic device 200 may analyze the first plane 503-1 and the second plane 503-2 included in the first space, as shown in FIG. 5D.
  • the processor 250 analyzes the first space and determines the numbers of the first plane 503-1 and/or the second plane 503-2 included in the first space, and the electronic device 200. It may include relative direction, position, rotation angle, and/or size values.
  • the processor 250 may analyze the configuration of an object placed by the user in the first space in operation 540.
  • the processor 250 may check whether an object exists in the first space in response to a user's command.
  • the processor 250 may display a guidance pop-up and end execution in response to the fact that an object does not exist in the first space.
  • the processor 250 may analyze the configuration of the object placed by the user in response to the presence of the object in the first space.
  • the processor 250 may obtain information related to the configuration of the object by analyzing the configuration of the object placed by the user.
  • the information related to the object includes the position of the object relative to the electronic device 200, information about the dependent plane (e.g., number of the plane), position, rotation, size value, and relative position with the dependent plane. /or may include related application information.
  • FIG. 5E is a diagram illustrating an example of a screen in which the processor 250 analyzes the configuration of an object placed by a user, according to one embodiment.
  • the electronic device 200 has a configuration of objects 501-1, 501-2, 501-3, 501-4, 501-5, and 501-6 placed by the user, as shown in FIG. 5E. By analyzing, information related to the composition of the object can be obtained.
  • the processor 250 may store the configuration of the object arranged in the first space in the memory 260 in operation 550.
  • the processor 250 may store information on the first space and information related to the configuration of objects placed by the user in the memory 260.
  • the processor 250 may include the number of the plane included in the first space, the direction, position, rotation angle, and/or size value of the plane relative to the electronic device 200, and the electronic device 200 of the object.
  • Relative position based on, information about the dependent plane (e.g. number of the plane) relative position with the dependent plane, rotation, size value and/or related application information, for example, of the 'first configuration'
  • the name can be stored in memory 260.
  • FIG. 5F is a diagram illustrating an example of a screen after the processor 250 stores the configuration of objects arranged in the first space, according to one embodiment.
  • the processor 250 stores the first configuration (e.g., space #1), which is a configuration of objects arranged in the first space, and then adds the first configuration to the menu list 502-2. 1
  • An icon (502-4) related to configuration can be displayed.
  • FIG. 6 is a diagram illustrating an example of a first configuration stored in the memory 260 by an electronic device (e.g., the electronic device 200 of FIG. 2D) according to various embodiments.
  • an electronic device e.g., the electronic device 200 of FIG. 2D
  • the information stored in the first configuration may include information related to space and information related to objects.
  • the first configuration includes a first plane 603-1, a second plane 603-2, and objects 601-1 and 601-2 corresponding to the first space. , 601-3, 601-4, 601-5, 601-6).
  • the information stored in the first configuration includes the numbers of the first plane 603-1 and the second plane 603-2 included in the first space, and the relative plane based on the electronic device 200. direction, position, rotation angle and/or size value and the electronic device 200 of the objects 601-1, 601-2, 601-3, 601-4, 601-5, and 601-6. It may include relative position, information about the dependent plane (e.g., plane number), relative position with the dependent plane, rotation, size value, and/or related application information.
  • information about the dependent plane e.g., plane number
  • relative position with the dependent plane e.g., rotation, size value, and/or related application information.
  • FIG. 7A is a flowchart illustrating a method in which an electronic device (e.g., the electronic device 200 of FIG. 2D) loads and displays a stored object configuration in a second space according to various embodiments.
  • an electronic device e.g., the electronic device 200 of FIG. 2D
  • loads and displays a stored object configuration in a second space according to various embodiments.
  • FIGS. 7B to 7F are diagrams showing examples of each operation described in FIG. 7A.
  • FIG. 7A and the embodiment of FIGS. 7B to 7F may correspond to operations 330 to 350 in FIG. 3 .
  • the second space may be a space where the number and direction of planes included in the first space match, and the size matches within a specified range.
  • the processor 250 may obtain an input that retrieves the first configuration in the second space at operation 710.
  • the user may input a command to load the first configuration stored in the memory 260.
  • the user inputs a gesture to select a designated icon (e.g., an application list) displayed on display 214, followed by a gesture to select a designated icon (e.g., a first configuration icon) associated with a command to invoke the first configuration.
  • a designated icon e.g., an application list
  • a designated icon e.g., a first configuration icon
  • a gesture for selecting an icon may include selecting with the hand at a spatial location corresponding to the location of the icon.
  • the gesture for selecting an icon is not limited to the above operation and may include gestures of various embodiments that the electronic device 200 can recognize.
  • FIG. 7B may be an example of a screen displayed on the display 214 in the second space, according to an embodiment.
  • FIG. 7C is a diagram illustrating a screen including a designated icon (eg, a first configuration icon) related to a command for calling an object arrangement configuration, according to one embodiment.
  • a designated icon eg, a first configuration icon
  • the user After inputting a gesture to select the menu icon 702-1 as shown in FIG. 7C, the user inputs a gesture to select the first configuration icon 702-3 from the menu list 702-2 to enter the electronic device 200. You can enter a command to bring up the object placement configuration.
  • the processor 250 may analyze the second space in operation 720.
  • the processor 250 analyzes the second space based on the image of the second space captured by the camera 213 and the relative distance to the object existing in the second space measured by the sensor 280. And, information related to the second space can be obtained.
  • information related to the second space may include the number of the plane included in the second space, and the direction, position, rotation angle, and/or size value of the plane relative to the electronic device 200.
  • FIG. 7D is a diagram illustrating an example of a screen in which the processor 250 analyzes the second space captured by the camera 213, according to an embodiment.
  • the electronic device 200 may analyze the first plane 703-1 and the second plane 703-2 existing in the second space, as shown in FIG. 7D.
  • the processor 250 analyzes the second space and determines the numbers of the first plane 703-1 and/or the second plane 703-2 included in the second space and the electronic device 200. It may include relative direction, position, rotation angle, and/or size values.
  • the processor 250 may rearrange the configuration of the first configuration object based on the analyzed information of the second space.
  • the processor 250 may compare the first space and the second space.
  • the processor 250 may compare information on at least one plane included in the first space with information on at least one plane included in the second space.
  • the processor 250 may adjust the configuration of the first configuration object and place it based on the result of comparing the first space and the second space.
  • the processor 250 may adjust the size of the object in the first configuration and place it.
  • Figure 7e shows that according to one embodiment, the processor 250 corresponds to the size ratio of the first plane 703-1 in the second space and the first plane 603-1 in the first space, The size of the dependent object 601-6 can be adjusted and placed to correspond to the first plane 703-1 of the second space.
  • the second plane 703-2 in the second space corresponds to the size ratio of the second plane 603-2 in the first space, and the objects 601-1 and 601- subordinate to the first plane 2, 601-3, 601-4, and 601-5) can be arranged and adjusted to correspond to the second plane 703-2 in the second space.
  • the processor 250 may display the rearranged object on the display 214 in operation 740.
  • 7F is a screen including relocated objects 701-1, 701-2, 701-3, 701-4, 701-5, and 701-6 displayed on display 214, according to one embodiment. This is a drawing showing.
  • the processor 250 rearranges the objects 601-1, 601-2, 601-3, 601-4, 601-5, and 601-6 of the first configuration to fit the second space. and adjustment, the objects 701-1, 701-2, 701-3, 701-4, 701-5, and 701-6 can be displayed on the display 214 in the second space.
  • the processor 250 may rearrange objects based on the user's additional placement input.
  • the user selects objects 701-1, 701-2, 701-3, 701-4, 701-5, and 701-6 in the second space arranged by the processor 250. , you can input to rearrange using the movement gesture.
  • the movement gesture may include holding an object with a hand in a space corresponding to the position of the object displayed on the display 214 and opening the hand at a desired location to move the object.
  • Movement gestures are not limited to the above operations and may include gestures of various embodiments that the electronic device 200 can recognize.
  • FIG. 8A is a flowchart illustrating a method in which an electronic device (e.g., the electronic device 200 of FIG. 2D) loads and displays a stored object configuration in a third space, according to various embodiments.
  • an electronic device e.g., the electronic device 200 of FIG. 2D
  • loads and displays a stored object configuration in a third space according to various embodiments.
  • FIGS. 8B to 8F are diagrams showing examples of each operation described in FIG. 8A.
  • FIG. 8A and the embodiments of FIGS. 8B to 8F may correspond to operations 330 to 350 in FIG. 3 .
  • the third space may be a space in which the number and direction of planes included in the first space match, and the sizes do not match by more than a specified range.
  • the processor 250 may obtain an input that retrieves the first configuration in the third space in operation 810.
  • the user may input a command to load the first configuration stored in the memory 260.
  • the user inputs a gesture to select a designated icon (e.g., an application list) displayed on display 214, followed by a gesture to select a designated icon (e.g., a first configuration icon) associated with a command to invoke the first configuration.
  • a designated icon e.g., an application list
  • a designated icon e.g., a first configuration icon
  • a gesture for selecting an icon may include selecting with the hand at a spatial location corresponding to the location of the icon.
  • the gesture for selecting an icon is not limited to the above operation and may include gestures of various embodiments that the electronic device 200 can recognize.
  • FIG. 8B may be an example of a screen displayed on the display 214 in a third space, according to an embodiment.
  • FIG. 8C is a diagram illustrating a screen including a designated icon (eg, a first configuration icon) related to a command for calling an object arrangement configuration, according to one embodiment.
  • a designated icon eg, a first configuration icon
  • the user After inputting a gesture to select the menu icon 802-1 as shown in FIG. 8C, the user inputs a gesture to select the first configuration icon 802-3 from the menu list 802-2 to enter the electronic device 200. You can enter a command to bring up the object placement configuration.
  • the processor 250 may analyze the third space in operation 820.
  • the processor 250 analyzes the third space based on the image of the third space captured by the camera 213 and the relative distance to the object existing in the third space measured by the sensor 280. And, information related to the third space can be obtained.
  • information related to the third space may include the number of the plane included in the third space, and the direction, position, rotation angle, and/or size value of the plane relative to the electronic device 200.
  • FIG. 8D is a diagram illustrating an example of a screen in which the processor 250 analyzes the third space captured by the camera 213, according to one embodiment.
  • the electronic device 200 may analyze the first plane 803-1 and the second plane 803-2 existing in the third space, as shown in FIG. 8D.
  • the processor 250 analyzes the third space and determines the numbers of the first plane 803-1 and/or the second plane 803-2 included in the third space and the electronic device 200. It may include relative direction, position, rotation angle, and/or size values.
  • the processor 250 may rearrange the configuration of the object in the first configuration based on the information of the analyzed third space in operation 830.
  • the processor 250 may compare the first space and the third space.
  • the processor 250 may compare information on at least one plane included in the first space with information on at least one plane included in the third space.
  • the processor 250 may adjust the configuration of the first configuration object and place it based on the result of comparing the first space and the third space.
  • the processor 250 determines the location of the object in the first configuration. and can be placed by adjusting the size.
  • FIG. 8E is a diagram illustrating an example of a screen that rearranges an object of the first configuration to fit a third space, according to an embodiment.
  • the position of the object 601-6 dependent on the first plane corresponding to the size ratio of the first plane 803-1 in the third space and the first plane 603-1 in the first space And the size can be adjusted and placed to correspond to the first plane 803-1 of the third space.
  • the object 601 dependent on the second plane can be adjusted and arranged to correspond to the second plane 803-2 of the third space.
  • the objects 601-1, 601-2, 601-3, 601-4, and 601-5 placed on the second plane 603-2 of the first space have 1 row. Although it is arranged in 5 rows, in response to the size of the second plane 803-2 in the third space being inconsistent with the size of the second plane 603-2 in the first space within the specified range, the objects 601-1 and 601- 2, 601-3, 601-4, 601-5) can be arranged in 2 rows and 3 columns.
  • the moved objects 601-1 and 601-5 may be determined according to specified rules (e.g., objects related to applications that the user uses more than a specified number of times).
  • the processor 250 may display the rearranged object on the display 214 in operation 840.
  • 8F is a screen including relocated objects 801-1, 801-2, 801-3, 801-4, 801-5, and 801-6 displayed on display 214, according to one embodiment. This is a drawing showing.
  • the processor 250 rearranges the objects 601-1, 601-2, 601-3, 601-4, 601-5, and 601-6 of the first configuration to fit the third space. and adjustment, the objects 801-1, 801-2, 801-3, 801-4, 801-5, and 801-6 can be displayed on the display 214 in the third space.
  • the processor 250 may rearrange objects based on the user's additional placement input.
  • the user selects objects 801-1, 801-2, 801-3, 801-4, 801-5, and 801-6 in the third space arranged by the processor 250. , you can input to rearrange using the movement gesture.
  • a movement gesture may include holding an object with a hand in a space corresponding to the position of the object displayed on the display 214 and opening the hand at a desired location to move the object.
  • Movement gestures are not limited to the above operations and may include gestures of various embodiments that the electronic device 200 can recognize.
  • FIG. 9A is a flowchart illustrating a method in which an electronic device (e.g., the electronic device 200 of FIG. 2D) according to various embodiments retrieves and displays a stored object configuration in a fourth space.
  • an electronic device e.g., the electronic device 200 of FIG. 2D
  • FIGS. 9B to 9F are diagrams showing examples of each operation shown in FIG. 9A.
  • FIG. 9A and the embodiment of FIGS. 9B to 9F may correspond to operations 330 to 350 of FIG. 3 .
  • the fourth space may be a space where the number of planes included in the first space does not match.
  • the processor 250 may obtain an input that retrieves the first configuration in the fourth space at operation 910.
  • the user may input a command to load the first configuration stored in the memory 260.
  • the user inputs a gesture to select a designated icon (e.g., an application list) displayed on display 214, followed by a gesture to select a designated icon (e.g., a first configuration icon) associated with a command to invoke the first configuration.
  • a designated icon e.g., an application list
  • a designated icon e.g., a first configuration icon
  • a gesture for selecting an icon may include selecting with the hand at a spatial location corresponding to the location of the icon.
  • the gesture for selecting an icon is not limited to the above operation and may include gestures of various embodiments that the electronic device 200 can recognize.
  • FIG. 9B may be an example of a screen displayed on the display 214 in the fourth space, according to an embodiment.
  • FIG. 9C is a diagram illustrating a screen including a designated icon (eg, a first configuration icon) related to a command for calling an object arrangement configuration, according to one embodiment.
  • a designated icon eg, a first configuration icon
  • the user After inputting a gesture to select the menu icon 902-1 as shown in FIG. 9C, the user inputs a gesture to select the first configuration icon 902-3 from the menu list 902-2 to enter the electronic device 200. You can enter a command to bring up the object placement configuration.
  • the processor 250 may analyze the fourth space in operation 920.
  • the processor 250 analyzes the fourth space based on the image of the fourth space captured by the camera 213 and the relative distance to the object existing in the fourth space measured by the sensor 280. And, information related to the fourth space can be obtained.
  • information related to the fourth space may include the number of the plane included in the fourth space, and the direction, position, rotation angle, and/or size value of the plane relative to the electronic device 200.
  • FIG. 9D is a diagram illustrating an example of a screen in which the processor 250 analyzes the fourth space captured by the camera 213, according to an embodiment.
  • the electronic device 200 may analyze the first plane 903-1 existing in the fourth space, as shown in FIG. 9D.
  • the processor 250 analyzes the fourth space and determines the number of the first plane 903-1 included in the fourth space, the relative direction, position, rotation angle, and /or may include a size value.
  • the processor 250 may rearrange the configuration of the object in the first configuration based on the information of the analyzed fourth space in operation 930.
  • the processor 250 may compare the first space and the fourth space.
  • the processor 250 may compare information on at least one plane included in the first space with information on at least one plane included in the fourth space.
  • the processor 250 may adjust the configuration of the first configuration object and place it based on the result of comparing the first space and the fourth space.
  • the processor 250 may adjust the position and size of the object in the first configuration to arrange it.
  • FIG. 9E is a diagram illustrating an example of a screen that rearranges an object of the first configuration to fit the fourth space according to an embodiment.
  • the position of the object 601-6 dependent on the first plane corresponding to the size ratio of the first plane 903-1 in the fourth space and the first plane 603-1 in the first space And the size can be adjusted and placed to correspond to the first plane 903-1 of the fourth space.
  • the configuration of objects 601-1, 601-2, 601-3, 601-4, and 601-5 dependent on the second plane.
  • the location can be arranged to be dependent on the first plane 903-1 of the fourth space.
  • the objects 601-1, 601-2, 601-3, 601-4, and 601-5 placed on the second plane 603-2 of the first space have 1 row. It is arranged in 5 rows, but in response to the fact that the second plane does not exist in the fourth space, the objects 601-1, 601-2, 601-3, 601-4, and 601-5 are placed in the first plane of the fourth space. It can be placed on the plane (903-1).
  • the configuration of objects (601-1, 601-2, 601-3, 601-4, 601-5) dependent on the second plane and The location can be arranged in a floating form.
  • the processor 250 may display the rearranged object on the display 214 in operation 940.
  • 9F is a screen including relocated objects 901-1, 901-2, 901-3, 901-4, 901-5, and 901-6 displayed on display 214, according to one embodiment. This is a drawing showing.
  • the processor 250 rearranges the objects 601-1, 601-2, 601-3, 601-4, 601-5, and 601-6 of the first configuration to fit the fourth space. and adjustment, the objects 901-1, 901-2, 901-3, 901-4, 901-5, and 901-6 can be displayed on the display 214 in the fourth space.
  • the processor 250 may rearrange objects based on the user's additional placement input.
  • the user selects objects 901-1, 901-2, 901-3, 901-4, 901-5, and 901-6 in the fourth space arranged by the processor 250. , you can input to rearrange using the movement gesture.
  • the movement gesture may include holding an object with a hand in a space corresponding to the position of the object displayed on the display 214 and opening the hand at a desired location to move the object.
  • Movement gestures are not limited to the above operations and may include gestures of various embodiments that the electronic device 200 can recognize.
  • FIG. 10A is a flowchart illustrating a method in which an electronic device (e.g., the electronic device 200 of FIG. 2D) according to various embodiments loads and displays a stored object configuration in a fifth space.
  • an electronic device e.g., the electronic device 200 of FIG. 2D
  • loads and displays a stored object configuration in a fifth space e.g., the electronic device 200 of FIG. 2D
  • FIGS. 10B to 10F are diagrams showing examples of each operation shown in FIG. 10A.
  • FIG. 10A and the embodiment of FIGS. 10B to 10F may correspond to operations 330 to 350 in FIG. 3 .
  • the processor 250 may obtain an input that directly calls up the first configuration in the fifth space.
  • the user may input a command to load the first configuration stored in the memory 260.
  • the user inputs a gesture to select a designated icon (e.g., an application list) displayed on display 214, followed by a gesture to select a designated icon (e.g., a first configuration icon) associated with a command to invoke the first configuration.
  • a designated icon e.g., an application list
  • a designated icon e.g., a first configuration icon
  • a gesture for selecting an icon may include selecting with the hand at a spatial location corresponding to the location of the icon.
  • the gesture for selecting an icon is not limited to the above operation and may include gestures of various embodiments that the electronic device 200 can recognize.
  • FIG. 10B may be an example of a screen displayed on the display 214 in the fifth space, according to an embodiment.
  • FIG. 10C is a diagram illustrating a screen including a designated icon (eg, a first configuration icon) related to a command for calling an object arrangement configuration, according to an embodiment.
  • a designated icon eg, a first configuration icon
  • the user After inputting a gesture to select the menu icon 1002-1 as shown in FIG. 10C, the user enters a movement gesture for the first configuration icon 1002-3 in the menu list 1002-2 to enter the electronic device 200.
  • a command can be entered to load the object arrangement configuration of the first configuration as is.
  • the movement gesture may include holding an object with a hand in a space corresponding to the position of the object displayed on the display 214 and opening the hand at a desired location to move the object.
  • Movement gestures are not limited to the above operations and may include gestures of various embodiments that the electronic device 200 can recognize.
  • the processor 250 may display the object group of the first configuration on the display 214 in operation 1020.
  • 10d is a diagram illustrating a screen including an object group 601 of the first configuration displayed on the display 214, according to an embodiment.
  • the processor 250 in response to a command (e.g., a movement gesture for the first configuration icon) that calls up the arrangement configuration of the object group 601 of the first configuration as is, creates an object group of the first configuration. (601) can be displayed on the display 214.
  • a command e.g., a movement gesture for the first configuration icon
  • the processor 250 in response to a command (e.g., a movement gesture for the first configuration icon) that calls up the arrangement configuration of the object group 601 of the first configuration as is, creates an object group of the first configuration. (601) can be displayed on the display 214 along with a virtual plane.
  • a command e.g., a movement gesture for the first configuration icon
  • the processor 250 may obtain the user's batch input in operation 1030.
  • FIG. 10E is a diagram illustrating a screen in which the first object group 601 is moved in position and changed in size by a user, according to one embodiment.
  • the user may input the object group 601 of the first configuration to change the location using a movement gesture.
  • the movement gesture may include holding the object group 601 with the hand in a space corresponding to the position of the object group 601 displayed on the display 214 and opening the hand at the desired location to move. there is.
  • Movement gestures are not limited to the above operations and may include gestures of various embodiments that the electronic device 200 can recognize.
  • the user may input the object group 601 of the first configuration to change the size using a size change gesture.
  • the size change gesture may include a zoom-in/or zoom-out operation in a space corresponding to the position of the object group 601 displayed on the display 214.
  • the size change gesture is not limited to the above operations and may include gestures of various embodiments that the electronic device 200 can recognize.
  • the processor 250 may display the first configuration object according to the user's placement input in operation 1040.
  • FIG. 10F shows, according to one embodiment, the first object group 601 displayed on the display 214 includes objects 1001-1, 1001-2, 1001-3, 1001-4, and 1001 rearranged by the user. This is a diagram showing a screen including -5, 1001-6).
  • the processor 250 in the fifth space, configures the object group 601 of the first configuration as objects 1001-1, 1001-2, and 1001-3 whose positions and sizes have been changed by the user. , 1001-4, 1001-5, 1001-6) can be displayed on the display 214.
  • FIG. 11A is a flowchart illustrating a method by which an electronic device (e.g., the electronic device 200 of FIG. 2D) outputs reconstructed content in a sixth space according to various embodiments.
  • an electronic device e.g., the electronic device 200 of FIG. 2D
  • FIGS. 11B to 11E are diagrams showing example screens of each operation described in FIG. 11A.
  • FIG. 11A and the embodiments of FIGS. 11B to 11E may correspond to operations 310 to 350 in FIG. 3 .
  • the processor 250 may obtain object placement in a first space and a first context input in operation 1110.
  • a user may arrange objects displayed on the display 214 while wearing the electronic device 200.
  • the user can input to place objects using a movement gesture.
  • a movement gesture may include holding an object with a hand in a space corresponding to the position of the object displayed on the display 214 and opening the hand at a desired location to move the object.
  • Movement gestures are not limited to the above operations and may include gestures of various embodiments that the electronic device 200 can recognize.
  • Figure 11b (a) shows objects 501-1, 501-2, 501-3, 501-4, 501-5, and 501- in the first space displayed on the display 214, according to one embodiment. This is a diagram showing the screen including the arrangement of 6).
  • the user uses gestures to select objects 501-1, 501-2, 501-3, 501-4, and 501-5 displayed on the display 214 in the first space, as shown in figure (a) of FIG. 11B. 501-6) can be placed.
  • a user may configure contexts output from the electronic device 200 while wearing the electronic device 200.
  • the context may include the display 214 of the electronic device 200 in the first space, such as background effects (e.g., wallpapers), background music, and/or vibration patterns, an audio module (e.g., the sound output module of FIG. 1 ( 155)) and/or may include a visual, auditory, and/or tactile environment constituted by various types of electronic devices 200 that may be output from a haptic module (e.g., the haptic module 179 of FIG. 1). there is.
  • background effects e.g., wallpapers
  • an audio module e.g., the sound output module of FIG. 1 ( 155)
  • a visual, auditory, and/or tactile environment constituted by various types of electronic devices 200 that may be output from a haptic module (e.g., the haptic module 179 of FIG. 1). there is.
  • a user can use a selection gesture to provide input to configure contexts.
  • a selection gesture may include selecting a visualized context with a hand in space corresponding to the location of the visualized context displayed on display 214.
  • the selection gesture is not limited to the above operation and may include gestures of various embodiments that the electronic device 200 can recognize.
  • Figure 11b (b) is a diagram illustrating a screen including visualized contexts 1110-1 and 1120-1 output from the electronic device 200, according to an embodiment.
  • the user can configure the contexts 1110-1 and 1120-1 output from the electronic device 200 using gestures in the first space, as shown in figure (b) of FIG. 11B.
  • the processor 250 may store information on the first space, the configuration of the placed object, and the first context in operation 1120.
  • information related to the first context may be included in information in the first space.
  • the processor 250 may obtain input that stores the configuration and context of the placed object.
  • the user may input a command to store the object arrangement configuration in the electronic device.
  • the user may input a gesture to select a specified icon displayed on display 214 (e.g., an application list) followed by a gesture to select a specified icon (e.g., a “” button) associated with a command to save the object placement configuration.
  • a gesture to select a specified icon displayed on display 214 e.g., an application list
  • a specified icon e.g., a “” button
  • a gesture for selecting an icon may include selecting with the hand at a spatial location corresponding to the location of the icon.
  • the gesture for selecting an icon is not limited to the above operation and may include gestures of various embodiments that the electronic device 200 can recognize.
  • FIG. 11C is a diagram illustrating a screen including icons for storing object placement and context configuration displayed on the display 214, according to one embodiment.
  • the user inputs a gesture to select the menu icon 502-1 and then inputs a gesture to select the save icon 502-3 from the menu list 502-2 to place an object on the electronic device 200. You can enter a command to save the configuration.
  • the processor 250 analyzes the first space based on the image of the first space captured by the camera 213 and the relative distance to the object existing in the first space measured by the sensor 280. And, information related to the first space can be obtained.
  • information related to the first space may include the number of the plane included in the first space, and the direction, position, rotation angle, and/or size value of the plane relative to the electronic device 200.
  • the processor 250 may store the configuration of the object placed in the first space and the first context in the memory 260.
  • the processor 250 may determine the number of planes included in the first space, the direction, position, rotation angle, and/or size of the plane relative to the electronic device 200, and the electronic device 200 of the object.
  • Relative position based on, information about the dependent plane (e.g. number of the plane) relative position with the dependent plane, rotation, size value and/or related application information, background effect information, background music information and/or Haptic vibration pattern information can be stored in the memory 260 under the name of ‘first configuration’.
  • the processor 250 may analyze the sixth space and reconstruct the object and the first context based on information in the sixth space.
  • the processor 250 may obtain an input that calls up the first configuration in the sixth space.
  • the user may input a command to load the first configuration stored in the memory 260.
  • the user inputs a gesture to select a designated icon (e.g., an application list) displayed on display 214, followed by a gesture to select a designated icon (e.g., a first configuration icon) associated with a command to invoke the first configuration.
  • a designated icon e.g., an application list
  • a designated icon e.g., a first configuration icon
  • a gesture for selecting an icon may include selecting with the hand at a spatial location corresponding to the location of the icon.
  • the gesture for selecting an icon is not limited to the above operation and may include gestures of various embodiments that the electronic device 200 can recognize.
  • FIG. 11D may be an example of a screen displayed on the display 214 in the sixth space, according to an embodiment.
  • Figure (a) of FIG. 11D is a diagram illustrating a screen including a designated icon (eg, a first configuration icon) related to a command for object placement and calling up context configuration, according to one embodiment.
  • a designated icon eg, a first configuration icon
  • the user inputs a gesture to select the menu icon 1102-1 and then inputs a gesture to select the first configuration icon 1102-3 from the menu list 1102-2 to select the electronic Commands to load object placement and context configuration can be entered into the device 200.
  • Figure (b) of FIG. 11D is a diagram visualizing the context configuration applied to the sixth space, according to one embodiment. As shown in figure (b) of FIG. 11D, the sixth wallpaper 1110-6 and/or the sixth background music 1120-6 may be applied in the sixth space.
  • the processor 250 may analyze the sixth space.
  • the processor 250 analyzes the sixth space based on the image of the sixth space captured by the camera 213 and the relative distance to the object existing in the sixth space measured by the sensor 280. And, information related to the sixth space can be obtained.
  • information related to the sixth space may include the number of the plane included in the sixth space, and the direction, position, rotation angle, and/or size value of the plane relative to the electronic device 200.
  • the processor 250 may reconstruct the first configuration object and the first context based on the analyzed information of the sixth space.
  • the processor 250 may compare the first space and the sixth space.
  • the processor 250 may compare information on at least one plane included in the first space with information on at least one plane included in the sixth space.
  • the processor 250 adjusts and arranges the configuration of the object in the first configuration and reconstructs the first context. You can.
  • the processor may output the reconstructed context in operation 1140.
  • FIG. 11E shows relocated objects 1101-1, 1101-2, 1101-3, 1101-4, 1101-5, and 1101-6 displayed on the display 214 and an electronic device (1101-6), according to one embodiment.
  • This is a diagram showing a screen including visualization configurations 1110-1 and 1120-1 of the first context output at 200).
  • the processor 250 stores the objects 501-1, 501-2, 501-3, 501-4, 501-5, and 501-6 of the first configuration in the sixth space, as shown in figure (a) of FIG. 11E. By rearranging and adjusting accordingly, the objects 1101-1, 1101-2, 1101-3, 1101-4, 1101-5, and 1101-6 can be displayed on the display 214 in the sixth space.
  • the processor 250 may apply the first contexts 1110-1 and 1120-1 to the sixth space and output them, as shown in (b) of FIG. 11E.
  • the processor 250 may equally apply the first contexts 1110-1 and 1120-1 stored in the first configuration to the sixth space.
  • Figure 12 is a flowchart showing the operation of a processor of an augmented reality headgear according to various embodiments.
  • an augmented reality headgear includes a usable lens and processor in front of the user's eyes.
  • the processor analyzes a first space visible to the user through the lens (block 1201), stores information in the first space and information related to the configuration of the virtual object displayed in the lens to appear in the first space (block 1202) ), analyze the second space visible to the user through the lens (block 1203), and determine the second space according to the configuration of the object based on information derived from the analysis of the first space and the second space.
  • the lens may be configured to display the virtual object shown in (block 1204).
  • the lenses may be goggle or spectacle lenses, although additional types of lenses may be possible.
  • Information derived from the first space analysis includes information about at least one plane included in the first space
  • information derived from the second space analysis includes information about at least one plane included in the second space. do.
  • the processor compares information on at least one plane included in the first space with information on at least one plane included in the second space (block 1205) and displays a virtual object appearing in the second space based on the comparison result. It is composed.
  • the comparison result may define, for example, a ratio between corresponding parameters of at least one plane included in the first space and at least one plane included in the second space (block 1206).
  • the processor is configured to scale the object in the display of the object proportionally so that it appears in the second space (block 1207).
  • An electronic device includes a display, a sensor that detects the distance to an actual object in a space, a camera that photographs the front, a memory, and a processor, wherein the processor uses the camera and the sensor to Analyzes the first space and stores information related to the configuration of the object, which is a virtual object placed by the user in the first space, in the memory, and analyzes the second space using the camera and the sensor. And, based on the analyzed information of the second space, the configuration of the object may be rearranged, and the rearranged object may be displayed on the display.
  • the information on the first space includes information on the plane included in the first space, direction, position, rotation angle, size value, background music, and background of the plane relative to the electronic device. At least one of the effects, and the information of the second space may include the number of the plane included in the second space, the direction, position, rotation angle, and/or size value of the plane relative to the electronic device. there is.
  • the information related to the configuration of the object includes the position of the object relative to the electronic device, information about the dependent plane, position relative to the dependent plane, rotation, and size values. and/or may include related application information.
  • the processor determines the object of the object based on a result of comparing information on at least one plane included in the first space and information on at least one plane included in the second space.
  • the configuration can be rearranged.
  • the processor generates the object in the first space in response to the fact that the number, direction, and size of the planes included in the second space and the first space match, and that the size matches within a specified range.
  • the size of the object can be adjusted and placed so as to correspond to the ratio of the size of the plane where the object is placed and the plane of the second space corresponding to the plane where the object is placed in the first space.
  • the processor may, in response to the fact that the number and direction of planes included in the second space and the first space match and the size of the planes differ by more than a specified range, generate the object in the first space.
  • the position and size of the objects can be adjusted and placed so that the objects are included in the size of the plane of the second space corresponding to the plane on which is placed.
  • the processor in response to a discrepancy in the number of planes included in the second space and the first space, the processor generates the second space corresponding to the plane on which the object is placed in the first space.
  • the position and size of the object can be adjusted and placed based on the characteristics of the plane of space.
  • the processor uses the camera and the sensor to display the first space in response to a user's object placement input in the first space and an input for storing the configuration of the placed object.
  • the second space may be analyzed using the camera and the sensor in response to an input that retrieves the user's configuration of the stored object in the second space.
  • the processor does not analyze the second space and, in response to an input that retrieves the configuration of the stored object as is, retrieves the configuration of the stored object as is. It can be displayed on the display.
  • the user's object placement input may include the user's gesture input in a space corresponding to the object displayed on the display.
  • a method of operating an electronic device includes analyzing a first space using a camera and a sensor, information on the first space, and configuring an object that is a virtual object placed by a user in the first space.
  • An operation of storing related information in a memory, an operation of analyzing a second space using the camera and the sensor, an operation of rearranging the configuration of the object based on the analyzed information of the second space, and the rearranged object It may include an operation of displaying on the display.
  • the information on the first space includes information on the plane included in the first space, the direction, position, rotation angle, size value, and background of the plane relative to the electronic device. It includes at least one of music and background effects, and the information of the second space includes the number of the plane included in the second space, the direction, position, rotation angle, and/or size value of the plane relative to the electronic device. It can be included.
  • information related to the configuration of the object includes a position of the object relative to the electronic device, information about a dependent plane, a relative position with the dependent plane, and rotation. , may include size values and/or related application information.
  • the object based on a result of comparing information on at least one plane included in the first space and information on at least one plane included in the second space, the object The configuration can be rearranged.
  • the object in the first space may include an operation of adjusting the size of the object and placing it so as to correspond to a ratio of the size of the plane on which the object is placed and the plane of the second space corresponding to the plane on which the object is placed in the first space.
  • the object in the first space may include an operation of adjusting the position and size of the objects so that the objects are included in the size of the plane of the second space corresponding to the plane on which is placed.
  • the second space in response to a discrepancy in the number of planes included in the second space and the first space, the second space corresponding to the plane on which the object is placed in the first space It may include an operation of adjusting the position and size of the object and placing it based on the characteristics of the plane of space.
  • the first space in response to a user's object placement input in the first space and an input for storing the configuration of the placed object, the first space is operated using the camera and the sensor. It may include an operation of analyzing, and an operation of analyzing the second space using the camera and the sensor in response to an input that retrieves the user's configuration of the stored object in the second space.
  • the configuration of the stored object in response to the fact that an input for retrieving the configuration of the stored object is an input for retrieving the configuration of the stored object, without analyzing the second space, the configuration of the stored object is stored as is. It may include an operation of displaying information on the display.
  • the user's object placement input may include the user's gesture input in a space corresponding to the object displayed on the display.
  • Electronic devices may be of various types.
  • Electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, or home appliances.
  • Electronic devices according to embodiments of this document are not limited to the above-described devices.
  • first, second, or first or second may be used simply to distinguish one component from another, and to refer to that component in other respects (e.g., importance or order) is not limited.
  • One (e.g., first) component is said to be “coupled” or “connected” to another (e.g., second) component, with or without the terms “functionally” or “communicatively.”
  • any of the components can be connected to the other components directly (e.g. wired), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as logic, logic block, component, or circuit, for example. It can be used as A module may be an integrated part or a minimum unit of the parts or a part thereof that performs one or more functions. For example, according to one embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document are one or more instructions stored in a storage medium (e.g., built-in memory 136 or external memory 138) that can be read by a machine (e.g., electronic device 101). It may be implemented as software (e.g., program 140) including these.
  • a processor e.g., processor 120
  • the one or more instructions may include code generated by a compiler or code that can be executed by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves), and this term refers to cases where data is semi-permanently stored in the storage medium. There is no distinction between temporary storage cases.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play Store TM ) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • a machine-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play Store TM
  • two user devices e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • at least a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component (e.g., module or program) of the above-described components may include a single or plural entity, and some of the plurality of entities may be separately placed in other components. there is.
  • one or more of the components or operations described above may be omitted, or one or more other components or operations may be added.
  • multiple components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component of the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, or omitted. Alternatively, one or more other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

다양한 실시예에 따른 전자 장치에서, 전자 장치는 디스플레이, 공간 내의 실제 객체와의 거리를 감지하는 센서, 전면을 촬영하는 카메라, 메모리 및 프로세서를 포함하고, 상기 프로세서는 상기 카메라 및 상기 센서를 이용하여 제 1 공간을 분석하고, 상기 제 1 공간의 정보 및 상기 제 1 공간에서 사용자에 의하여 배치된 가상 객체인 오브젝트의 구성과 관련된 정보를 상기 메모리에 저장하고, 상기 카메라 및 상기 센서를 이용하여 제 2 공간을 분석하고, 분석된 상기 제 2 공간의 정보에 기반하여, 상기 오브젝트의 구성을 재배치하고, 상기 재배치한 오브젝트를 상기 디스플레이에 표시할 수 있다. 이 밖에 다양한 실시예들이 가능하다.

Description

증강 현실에서 공간에 따라 오브젝트를 배치하는 전자 장치 및 전자 장치의 동작 방법.
본 문서에 개시된 다양한 실시예들은, 증강 현실에서 공간에 따라 오브젝트를 배치하는 전자 장치 및 전자 장치의 동작 방법에 관한 것이다.
최근 기술의 발달에 따라, 전자 장치는 획일적인 장방형 형상에서 벗어나, 점차 다양한 형상으로 변모되어 가고 있다. 예를 들어, 전자 장치는 사용자의 이용 편의성을 증대시키기 위하여, 신체 일부에 착용이 가능한 웨어러블 전자 장치(wearable electronic device)로 점차 발전하고 있다.
웨어러블 전자 장치는 안경과 같이, 머리에 착용 가능한 헤드 마운트 디스플레이(head mounted display(HMD), 안경형 웨어러블 장치) 장치를 포함할 수 있다. 예를 들어, 웨어러블 전자 장치는 투명한 글래스(예: 렌즈)에 다양한 컨텐츠를 구현하는 안경 형태의 증강 현실(augmented reality; AR) 글래스 및/또는 스마트 글래스(smart glass)를 포함할 수 있다. 다른 예를 들어, 웨어러블 전자 장치는 HMD 장치이면서, 카메라를 이용하여 실제 환경을 촬영하고, 촬영된 영상을 가상의 이미지에 겹치는 형태로 표시하는 VST(video see-through) 장치를 포함할 수 있다. 웨어러블 전자 장치, HMD 장치 및/또는 VST 장치는 카메라를 이용하여, 가상 현실 서비스 및/또는 증강 현실 서비스(예: 증강 현실 세계, 증강 현실 기능)를 사용자에게 제공할 수 있다. 예를 들어, HMD 장치가 사용자의 머리에 착용된 상태에서, HMD 장치는 통신 연결된 전자 장치에서의 증강 현실 관련 어플리케이션의 실행에 응답하여, 가상 현실 및/또는 증강 현실을 구현할 수 있으며, 사용자에게 가상 현실 서비스 및/또는 증강 현실 서비스를 제공할 수 있다.
상술한 정보는 본 개시에 대한 이해를 돕기 위한 목적으로 하는 배경 기술로 제공될 수 있다. 상술한 내용 중 어느 것도 본 개시와 관련하여 종래 기술(prior art)로서 적용될 수 있는지에 관해서는 어떠한 주장이나 결정이 제기되지 않는다.
일 실시예에 따르면, 전자 장치는 VST 장치를 이용하여, 증강 현실(예: VR(virtual reality), AR(augmented reality), MR(mixed reality), XR(extended reality)) 기술에 기반한 증강 현실 서비스(예: 가상 현실 서비스)를 사용자에게 제공할 수 있다. 전자 장치는 증강 현실 영역에서, 지정된 구성 및 배치를 가지는 오브젝트들을, 공간의 특성에 맞게 재배치하여 표시할 수 있다.
본 문서에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 문서에 개시된 다양한 실시예에 따른 전자 장치는, 디스플레이, 공간 내의 실제 객체와의 거리를 감지하는 센서, 전면을 촬영하는 카메라, 메모리 및 프로세서를 포함하고, 상기 프로세서는 상기 카메라 및 상기 센서를 이용하여 제 1 공간을 분석하고, 상기 제 1 공간의 정보 및 상기 제 1 공간에서 사용자에 의하여 배치된 가상 객체인 오브젝트의 구성과 관련된 정보를 상기 메모리에 저장하고, 상기 카메라 및 상기 센서를 이용하여 제 2 공간을 분석하고, 분석된 상기 제 2 공간의 정보에 기반하여, 상기 오브젝트의 구성을 재배치하고, 상기 재배치한 오브젝트를 상기 디스플레이에 표시할 수 있다.
본 문서에 개시된 다양한 실시예에 따른 전자 장치의 동작 방법은, 카메라 및 센서를 이용하여 제 1 공간을 분석하는 동작, 상기 제 1 공간의 정보 및 상기 제 1 공간에서 사용자에 의하여 배치된 가상 객체인 오브젝트의 구성과 관련된 정보를 메모리에 저장하는 동작, 상기 카메라 및 상기 센서를 이용하여 제 2 공간을 분석하는 동작, 분석된 상기 제 2 공간의 정보에 기반하여, 상기 오브젝트의 구성을 재배치하는 동작 및 상기 재배치한 오브젝트를 디스플레이에 표시하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 전자 장치는 공간을 분석하여 각 공간의 특성에 맞도록 오브젝트들을 자동으로 배치할 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도면의 설명과 관련하여, 동일 또는 유사한 구성 요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블럭도이다.
도 2a는 다양한 실시예들에 따른 전자 장치의 구성도를 도시한 도면이다.
도 2b 및 도 2c는, 본 개시의 일 실시예에 따른, 웨어러블 전자 장치의 전면 및 후면을 개략적으로 나타내는 사시도이다.
도 2d는, 다양한 실시예에 따른 전자 장치의 블록도이다.
도 3은, 다양한 실시예에 따른 프로세서가 공간을 분석하여 오브젝트를 배치하는 방법을 도시한 흐름도이다.
도 4는, 다양한 실시예에 따른 전자 장치가, 공간 분석 및 공간에 배치된 오브젝트를 분석하는 예시를 도시한 도면이다.
도 5a는, 다양한 실시예에 따른 전자 장치가 제 1 공간에서 사용자가 배치한 오브젝트의 구성을 저장하는 방법을 도시한 흐름도이다.
도 5b 내지 도 5f는 도 5a에 기재된 각 동작의 예시 화면을 도시한 도면이다.
도 6은, 다양한 실시예에 따른 전자 장치가, 메모리에 저장한 제 1 구성의 예시를 도시한 도면이다.
도 7a는, 다양한 실시예에 따른 전자 장치가 저장된 오브젝트 구성을 제 2 공간에서 불러와서 표시하는 방법을 도시한 흐름도이다.
도 7b 내지 도 7f는 도 7a에 기재된 각 동작의 예시를 도시한 도면이다.
도 8a는, 다양한 실시예에 따른 전자 장치가 저장된 오브젝트 구성을 제 3 공간에서 불러와서 표시하는 방법을 도시한 흐름도이다.
도 8b 내지 도 8f는 도 8a에 기재된 각 동작의 예시를 도시한 도면이다.
도 9a는, 다양한 실시예에 따른 전자 장치가 저장된 오브젝트 구성을 제 4 공간에서 불러와서 표시하는 방법을 도시한 흐름도이다.
도 9b 내지 도 9f는 도 9a에 기재된 각 동작의 예시를 도시한 도면이다.
도 10a는, 다양한 실시예에 따른 전자 장치가 저장된 오브젝트 구성을 제 5 공간에서 불러와서 표시하는 방법을 도시한 흐름도이다.
도 10b 내지 도 10f는 도 10a에 기재된 각 동작의 예시를 도시한 도면이다.
도 11a는 다양한 실시예에 따른 전자 장치가 제 6 공간에서 재구성된 컨텐츠를 출력하는 방법을 도시하는 흐름도이다.
도 11b 내지 도 11e은 도 11a에 기재된 각 동작의 예시 화면을 도시한 도면이다.
도 12는 다양한 실시예에 따른 증강 현실 헤드기어의 프로세서의 동작을 나타내는 흐름도이다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2a는 다양한 실시예들에 따른 전자 장치(200)(예: 도 1의 전자 장치(101))의 구성도를 도시한 도면이다.
다양한 실시예에서, 전자 장치(200)는 사용자의 머리 부분에 착용되는 형태로 제작된 전자 장치(200)일 수 있다. 예를 들어, 전자 장치(200)는 안경(glass), 고글(goggles), 헬멧 또는 모자 중 적어도 하나의 형태로 구성될 수 있으나, 이에 한정되지 않는다. 일 실시예에 따르면, 전자 장치(200)는 사용자의 양안(예: 좌안 및/또는 우안), 각각에 대응하는 복수 개의 투명 부재(예: 제 1 투명 부재(220) 및/또는 제 2 투명 부재(230))를 포함할 수 있다.
전자 장치(200)는 사용자에게 증강 현실(augumented reality; AR) 서비스와 관련된 영상을 제공할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 제1 투명 부재(220) 및/또는 제2 투명 부재(230)에 가상 객체(예 : 오브젝트)를 투영하거나, 표시함으로써, 사용자가 전자 장치의 제1 투명 부재(220) 및/또는 제2 투명 부재(230)를 통해 인지하는 현실에 적어도 하나의 가상 객체(예 : 오브젝트)가 겹쳐 보이도록 할 수 있다.
도 2a를 참조하면, 일 실시예에 따른 전자 장치(200)는 본체부(223), 지지부(예: 제 1 지지부(221), 제 2 지지부(222)), 및 힌지부(예: 제1 힌지부(240-1), 제2 힌지부(240-2))를 포함할 수 있다.
다양한 실시예에 따르면, 본체부(223)와 지지부(221, 222)는 힌지부(240-1, 240-2)를 통해 작동적으로 연결될 수 있다. 본체부(223)는 사용자의 코에 적어도 부분적으로 거치될 수 있도록 형성된 부분을 포함할 수 있다.
다양한 실시예에 따르면, 지지부(221, 222)는 사용자의 귀에 걸쳐질 수 있는 형태의 지지 부재를 포함할 수 있다. 지지부(221, 222)는 왼쪽 귀에 거치되는 제 1 지지부(221) 및/또는 오른쪽 귀에 거치되는 제 2 지지부(222)를 포함할 수 있다.
다양한 실시예에 따르면, 제1 힌지부(240-1)는 제1 지지부(221)가 본체부(223)에 대해 회전 가능하도록 제1 지지부(221)와 본체부(223)를 연결할 수 있다. 제2 힌지부(240-2)는 제2 지지부(222)가 본체부(223)에 대해 회전 가능하도록 제2 지지부(222)와 본체부(223)를 연결할 수 있다. 다른 실시예에 따르면, 전자 장치(200)의 힌지부(240-1, 240-2)는 생략될 수 있다. 예를 들어, 본체부(223)와 지지부(221, 222)는 바로 연결될 수 있다.
다양한 실시예에 따르면, 본체부(223)는 적어도 하나의 투명 부재(예: 제1 투명 부재(220), 제2 투명 부재(230)), 적어도 하나의 디스플레이 모듈(예: 제1 디스플레이 모듈(214-1), 제2 디스플레이 모듈(214-2)), 적어도 하나의 카메라 모듈(예: 전방 촬영 카메라 모듈(213), 시선 추적 카메라 모듈(예: 제1 시선 추적 카메라 모듈(212-1), 제2 시선 추적 카메라 모듈(212-2)), 인식용 카메라 모듈(예: 제1 인식용 카메라 모듈(211-1), 제2 인식용 카메라 모듈(211-2)) 및 적어도 하나의 마이크(예: 제1 마이크(241-1), 제2 마이크(241-2))를 포함할 수 있다.
도 2a에서 설명되는 전자 장치(200)의 경우, 디스플레이 모듈(214-1, 214-2)에서 생성된 광이 투명 부재(220, 230)에 투영되어 정보를 표시할 수 있다. 예를 들어, 제1 디스플레이 모듈(214-1)에서 생성된 광은 제1 투명 부재(220)에 투영될 수 있고, 제2 디스플레이 모듈(214-2)에서 생성된 광은 제2 투명 부재(230)에 투영될 수 있다. 적어도 일부가 투명한 소재로 형성된 투명 부재(220, 230)에 가상 객체(예 : 오브젝트)를 표시할 수 있는 광이 투영됨으로써, 사용자는 가상 객체(예 : 오브젝트)가 중첩된 현실을 인지할 수 있다. 이 경우, 도 1에서 설명한 디스플레이 모듈(160)은 도 2a에 도시된 전자 장치(200)에서 디스플레이 모듈(214-1, 214-2) 및 투명 부재(220, 230)를 포함하는 것으로 이해될 수 있다. 다만, 본 발명에서 설명되는 전자 장치(200)가 앞서 설명한 방식을 통해 정보를 표시하는 것으로 한정되는 것은 아니다. 전자 장치(200)에 포함될 수 있는 디스플레이 모듈은 다양한 방식의 정보 표시 방법을 포함하는 디스플레이 모듈로 변경될 수 있다. 예를 들어, 투명 부재(220, 230) 자체에 투명 소재의 발광 소자를 포함하는 디스플레이 패널이 내장된 경우에는 별도의 디스플레이 모듈(예: 제1 디스플레이 모듈(214-1), 제2 디스플레이 모듈(214-2))없이 정보를 표시할 수 있다. 이 경우, 도 1에서 설명한 디스플레이 모듈(160)은 투명 부재(220, 230)와 투명 부재(220, 230)에 포함되는 디스플레이 패널을 의미할 수 있다.
다양한 실시예에 따르면, 디스플레이 모듈(214-1, 214-2)을 통해 출력되는 가상 객체(예 : 오브젝트)는 전자 장치(200)에서 실행되는 어플리케이션 프로그램과 관련된 정보 및/또는 사용자가 투명 부재(220, 230)를 통해 인지하는 실제 공간에 위치한 외부 객체와 관련된 정보를 포함할 수 있다. 외부 객체는 실제 공간에 존재하는 사물을 포함할 수 있다. 사용자가 투명 부재(220, 230)를 통해 인지하는 실제 공간을 이하에서는 사용자의 시야각(field of view; FoV) 영역으로 호칭하기로 한다. 예를 들어, 전자 장치(200)는 전자 장치(200)의 카메라 모듈(예: 촬영용 카메라 모듈(213))을 통해 획득한 실제 공간과 관련된 영상 정보에서 사용자의 시야각(FoV)으로 판단되는 영역의 적어도 일부에 포함된 외부 객체를 확인할 수 있다. 전자 장치(200)는 확인한 외부 객체와 관련된 가상 객체(예 : 오브젝트)를 디스플레이 모듈(214-1, 214-2)을 통해 출력할 수 있다.
다양한 실시예에 따르면, 전자 장치(200)는 전자 장치(200)의 촬영용 카메라 모듈(213)을 통해 획득한 실제 공간과 관련된 영상 정보에 기반하여 증강 현실 서비스와 관련된 가상 객체(예 : 오브젝트)를 함께 표시할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 사용자의 양안에 대응하여 배치된 디스플레이 모듈(예: 좌안에 대응되는 제1 디스플레이 모듈(214-1), 및/또는 우안에 대응되는 제2 디스플레이 모듈(214-2))을 기반으로 가상 객체(예 : 오브젝트)를 표시할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 미리 설정된 설정 정보(예: 해상도(resolution), 프레임 레이트(frame rate), 밝기, 및/또는 표시 영역)를 기반으로 가상 객체(예 : 오브젝트)를 표시할 수 있다.
다양한 실시예에 따르면, 투명 부재(220, 230)는 집광 렌즈(미도시) 및/또는 도파관(예: 제1 도파관(220-1) 및/또는 제2 도파관(230-1))을 포함할 수 있다. 예를 들어, 제1 도파관(220-1)은 제1 투명 부재(220)에 부분적으로 위치할 수 있고, 제2 도파관(230-1)은 제2 투명 부재(230)에 부분적으로 위치할 수 있다. 디스플레이 모듈(214-1, 214-2)에서 방출된 광은 투명 부재(220, 230)의 일면으로 입사될 수 있다. 투명 부재(220, 230)의 일면으로 입사된 광은 투명 부재(220, 230) 내에 위치한 도파관(220-1, 230-1)을 통해 사용자에게 전달될 수 있다. 도파관(220-1, 230-1)은 글래스, 플라스틱, 또는 폴리머로 제작될 수 있고, 내부 또는 외부의 일표면에 형성된 나노 패턴을 포함할 수 있다. 예를 들어, 나노 패턴은 다각형 또는 곡면 형상의 격자 구조(grating structure)를 포함할 수 있다. 일 실시예에 따르면, 투명 부재(220, 230)의 일면으로 입사된 광은 나노 패턴에 의해 도파관(220-1, 230-1) 내부에서 전파 또는 반사되어 사용자에게 전달될 수 있다. 일 실시예에 따르면, 도파관(220-1, 230-1)은 적어도 하나의 회절 요소(예: DOE(diffractive optical element), HOE(holographic optical element)) 또는 반사 요소(예: 반사 거울) 중 적어도 하나를 포함할 수 있다. 일 실시예에 따르면, 도파관(220-1, 230-1)은 적어도 하나의 회절 요소 또는 반사 요소를 이용하여 디스플레이 모듈(214-1, 214-2)로부터 방출된 광을 사용자의 눈으로 유도할 수 있다.
다양한 실시예에 따르면, 전자 장치(200)는 사용자의 시야각(FoV, field of view)에 대응되는 영상을 촬영하거나 및/또는 객체와의 거리를 측정하기 위한 촬영용 카메라 모듈(213)(예: RGB 카메라 모듈), 사용자가 바라보는 시선의 방향을 확인하기 위한 시선 추적 카메라 모듈(eye tracking camera module)(212-1, 212-2), 및/또는 일정 공간을 인식하기 위한 인식용 카메라 모듈(gesture camera module)(211-1, 211-2)을 포함할 수 있다. 예를 들어, 촬영용 카메라 모듈(213)은 전자 장치(200)의 전면 방향을 촬영할 수 있고, 시선 추적 카메라 모듈(212-1, 212-2)은 상기 촬영용 카메라 모듈(213)의 촬영 방향과 반대되는 방향을 촬영할 수 있다. 예를 들어, 제1 시선 추적 카메라 모듈(212-1)은 사용자의 좌안을 부분적으로 촬영하고, 제2 시선 추적 카메라 모듈(212-2)은 사용자의 우안을 부분적으로 촬영할 수 있다. 일 실시예에 따르면, 촬영용 카메라 모듈(213)은 HR(high resolution) 카메라 모듈 및/또는 PV(photo video) 카메라 모듈과 같은 고해상도의 카메라 모듈을 포함할 수 있다. 일 실시예에 따르면, 시선 추적 카메라 모듈(212-1, 212-2)은 사용자의 눈동자를 검출하여, 시선 방향을 추적할 수 있다. 추적된 시선 방향은 가상 객체(예 : 오브젝트)를 포함하는 가상 영상의 중심이 상기 시선 방향에 대응하여 이동되는데 활용될 수 있다. 일 실시예에 따르면, 인식용 카메라 모듈(211-1, 211-2)은 미리 설정된 거리 이내(예: 일정 공간)에서의 사용자 제스처 및/또는 일정 공간을 감지할 수 있다. 인식용 카메라 모듈(211-1, 211-2)은 GS(global shutter)를 포함하는 카메라 모듈을 포함할 수 있다. 예를 들어, 인식용 카메라 모듈(211-1, 211-2)은 빠른 손동작 및/또는 손가락과 같은 미세한 움직임을 검출 및 추적하기 위해, RS(rolling shutter) 현상이 감소될 수 있는 GS를 포함하는 카메라 모듈일 수 있다.
다양한 실시예에 따르면, 전자 장치(200)는 적어도 하나의 카메라 모듈(211-1, 211-2, 212-1, 212-2, 213)을 사용하여, 좌안 및/또는 우안 중에서 주시안 및/또는 보조시안에 대응되는 눈을 감지할 수 있다. 예를 들어, 전자 장치(200)는 외부 객체 또는 가상 객체(예 : 오브젝트)에 대한 사용자의 시선 방향에 기반하여, 주시안 및/또는 보조시안에 대응되는 눈을 감지할 수 있다.
도 2a에 도시된 전자 장치(200)에 포함되는 적어도 하나의 카메라 모듈(예: 촬영용 카메라 모듈(213), 시선 추적 카메라 모듈(212-1, 212-2) 및/또는 인식용 카메라 모듈(211-1, 211-2))의 개수 및 위치는 한정되지 않을 수 있다. 예를 들어, 전자 장치(200)의 형태(예: 모양 또는 크기)에 기반하여 적어도 하나의 카메라 모듈(예: 촬영용 카메라 모듈(213), 시선 추적 카메라 모듈(212-1, 212-2) 및/또는 인식용 카메라 모듈(211-1, 211-2))의 개수 및 위치는 다양하게 변경될 수 있다.
다양한 실시예에 따르면, 전자 장치(200)는 적어도 하나의 카메라 모듈(예: 촬영용 카메라 모듈(213), 시선 추적 카메라 모듈(212-1, 212-2) 및/또는 인식용 카메라 모듈(211-1, 211-2))의 정확도를 높이기 위한 적어도 하나의 발광 장치(illumination LED)(예: 제1 발광 장치(242-1), 제2 발광 장치(242-2))를 포함할 수 있다. 예를 들어, 제1 발광 장치(242-1)는 사용자의 좌안에 대응하는 부분에 배치될 수 있고, 제2 발광 장치(242-2)는 사용자의 우안에 대응하는 부분에 배치될 수 있다. 일 실시예에서, 발광 장치(242-1, 242-2)는 시선 추적 카메라 모듈(212-1, 212-2)로 사용자의 눈동자를 촬영할 때 정확도를 높이기 위한 보조 수단으로 사용될 수 있고, 적외선 파장의 광을 발생시키는 IR LED를 포함할 수 있다. 또한, 발광 장치(242-1, 242-2)는 인식용 카메라 모듈(211-1, 211-2)로 사용자의 제스처를 촬영할 때 어두운 환경이나 여러 광원의 혼입 및 반사 빛 때문에 촬영하고자 하는 피사체 검출이 용이하지 않을 때 보조 수단으로 사용될 수 있다.
다양한 실시예에 따르면, 전자 장치(200)는 사용자의 음성 및 주변 소리를 수신하기 위한 마이크(예: 제1 마이크(241-1), 제2 마이크(241-2))를 포함할 수 있다. 예를 들어, 마이크(241-1, 241-2)는 도 1의 오디오 모듈(170)에 포함된 구성 요소일 수 있다.
다양한 실시예에 따르면, 제 1 지지부(221) 및/또는 제 2 지지부(222)는 인쇄 회로 기판(PCB, printed circuit board)(예: 제1 인쇄 회로 기판(231-1), 제2 인쇄 회로 기판(231-2)), 스피커(speaker)(예: 제1 스피커(232-1), 제2 스피커(232-2)), 및/또는 배터리(예: 제1 배터리(233-1), 제2 배터리(233-2))를 포함할 수 있다.
다양한 실시예에 따르면, 스피커(232-1, 232-2)는 사용자의 좌측 귀에 오디오 신호를 전달하기 위한 제 1 스피커(232-1) 및 사용자의 우측 귀에 오디오 신호를 전달하기 위한 제 2 스피커(232-2)를 포함할 수 있다. 스피커(232-1, 232-2)는 도 1의 오디오 모듈(170)에 포함된 구성 요소일 수 있다.
다양한 실시예에 따르면, 전자 장치(200)는 복수 개의 배터리(233-1, 233-2)가 구비될 수 있고, 전력 관리 모듈(예: 도 1의 전력 관리 모듈(188))을 통해, 인쇄 회로 기판(231-1, 231-2)에 전력을 공급할 수 있다. 예를 들어, 복수 개의 배터리(233-1, 233-2)는 전력 관리 모듈(예: 도 1의 전력 관리 모듈(188))과 전기적으로 연결될 수 있다.
앞에서는, 전자 장치(200)가 증강 현실을 표시하는 장치인 것으로 설명하였으나, 전자 장치(200)는 가상 현실(virtual reality; VR)을 표시하는 장치일 수 있다. 이 경우, 사용자가 투명 부재(220, 230)를 통해 실제 공간을 인식할 수 없도록 투명 부재(220, 230)는 불투명한 소재로 형성될 수 있다. 또한, 투명 부재(220, 230)는 디스플레이 모듈(160)로써 기능할 수 있다. 예를 들어, 투명 부재(220, 230)는 정보를 표시하는 디스플레이 패널을 포함할 수 있다.
다양한 실시예들에 따르면, 전자 장치(200)는 적어도 하나의 센서(예: 착용 감지 센서, 모션 센서, 터치 센서, 미도시) 및 통신 모듈(미도시)을 포함할 수 있다. 일 실시예예 따르면, 적어도 하나의 센서는 전자 장치(200)가 사용자의 신체에 착용여부 및 착용된 자세를 센싱할 수 있다. 예를 들어, 적어도 하나의 센서는 근접 센서 및 그립 센서 중 적어도 하나를 포함할 수 있다. 일 실시예예 따르면, 적어도 하나의 센서는 사용자의 움직임으로 인해 발생하는 자세 변화량을 감지할 수 있다. 예를 들어, 적어도 하나의 센서는 가속도 센서 및 자이로 센서를 포함할 수 있다. 가속도 센서가 3축에 대한 가속도를 센싱하고, 자이로 센서가 3축을 기준으로 하는 각속도를 센싱할 수 있다. 일 실시예예 따르면, 적어도 하나의 센서는 사용자의 손가락 터치 및 스와이프(swipe) 행위와 같은 제스처를 감지할 수 있다. 전자 장치(200)는 적어도 하나의 센서에서 센싱된 터치 데이터에 응답하여, 음악 재생, 중지, 다음 음악 재생, 및 이전 음악 재생 중 적어도 하나 또는 둘 이상의 조합을 포함하는 제어를 수행할 수 있다. 일 실시예예 따르면, 통신 모듈은 무선으로 외부와 통신하는 모듈일 수 있다. 예를 들어, 통신 모듈은 UWB(ultra wide band) 모듈, BT(bluetooth) 네트워크, BLE(Bluetooth low energy) 네트워크, Wi-Fi(Wireless Fidelity) 네트워크, ANT+ 네트워크, LTE(long-term evolution) 네트워크, 5G(5th generation) 네트워크, 및 NB-IoT(Narrowband Internet of Things) 네트워크 중 적어도 하나 또는 둘 이상의 조합을 통해 다른 기기 및/또는 AP(Access Point)와 통신을 수립할 수 있다.
다양한 실시예에 따르면, UWB 모듈(예 : 도 3의 제 1 UWB 모듈(341) 및/또는 제 2 UWB 모듈(342))은 전자 장치(200)의 전면부에 위치할 수 있다.
일 실시예에 따르면, UWB 모듈(340)은 적어도 하나의 UWB 안테나를 포함할 수 있다. 예를 들어, 각 UWB 안테나는 직삼각형 형태로 배치될 수 있고, 각 UWB 안테나의 거리가 비슷하도록 배치될 수 있다. 예를 들어, 각 UWB 안테나가 직삼각형으로 배치됨에 대응하여, 각 UWB 안테나 사이에 전방 촬영 카메라 모듈(213)이 배치될 수 있다. 일 실시예에 따르면, UWB 모듈(예: 도 3의 제 1 UWB 모듈(341) 및/또는 제 2 UWB 모듈(342))은 전자 장치(200)의 전면부에 위치한 제1 인식용 카메라 모듈(211-1) 및 제2 인식용 카메라 모듈(211-2)의 주변에 배치될 수 있다.
일 실시예에 따르면, 전자 장치(200)는 UWB 모듈(340)을 통하여, 외부 전자 장치(예 : 도 3의 외부 전자 장치(500))와의 상대적인 위치 정보(예: 거리, 방향)를 획득할 수 있다. 예를 들어, 전자 장치(200)는 외부 전자 장치 (500)와의 상대적인 거리가 지정된 값 미만임에 대응하여 전자 장치(200)의 적어도 일부의 기능을 활성화할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 시선 추적 카메라 모듈(212-1, 212-2)을 통하여 사용자의 시선 방향을 추적할 수 있고, 추적된 시선 방향에 기반하여 제어하고자 하는 외부 전자 장치(500)를 선택할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 UWB 모듈(예: 도 3의 제 1 UWB 모듈(341) 및/또는 제 2 UWB 모듈(342))을 통하여 사용자의 시선 방향을 결정할 수 있고, 결정된 시선 방향에 기반하여 제어하고자 하는 외부 전자 장치(500)를 선택할 수 있다. 전자 장치(200)는 UWB 모듈 및 시선 추적 카메라 모듈(212-1, 212-2) 중 적어도 하나를 이용하여 사용자의 시선 방향을 결정할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 전방 촬영 카메라 모듈(213)을 통하여 획득한 외부 전자 장치(500)의 이미지에 기반하여 외부 전자 장치(500)의 종류를 결정할 수 있고, 외부 전자 장치(500)의 종류에 대응하는 제어 명령을 생성할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 인식용 카메라 모듈(211-1, 211-2)을 통하여 사용자의 동작을 결정할 수 있고, 결정된 사용자의 동작에 기반하여 제어 명령을 생성할 수 있다.
다양한 실시예들에 따른 도 2a에서, 웨어러블 전자 장치(200)를 제1 글래스(215) 및 제2 글래스(225)를 이용하여 증강 현실 또는 가상 현실을 표시하는 장치로 설명하였지만, 이에 한정하는 것은 아니다. 예를 들어, 웨어러블 전자 장치(200)는 VST(video see-through) 장치를 포함할 수 있다. 이와 관련하여, 후술하는 도 2b 및 도 2c에서 다양한 실시예들이 설명될 것이다.
도 2b 및 도 2c는, 본 개시의 일 실시예에 따른, 웨어러블 전자 장치(270)의 전면 및 후면을 개략적으로 나타내는 사시도이다.
도 2b 및 도 2c를 참조하면, 웨어러블 전자 장치(270)는 웨어러블 전자 장치(270)의 전면 방향(예: -y방향, 사용자의 응시 방향)에 대응하여 복수의 카메라(예: 제1 카메라(273) 및 제2 카메라(274)가 배치될 수 있다. 예를 들어, 웨어러블 전자 장치(270)는 사용자의 좌안에 대응되는 제1 카메라(273) 및 사용자의 우안에 대응되는 제2 카메라(274)를 포함할 수 있다. 웨어러블 전자 장치(270)는 제1 카메라(273) 및 제2 카메라(274)를 이용하여, 웨어러블 전자 장치(270)의 정면 방향(예: -y방향)에 대한 외부 환경을 촬영할 수 있다. 웨어러블 전자 장치(270)는 외부 환경에 노출되는 제1 면(271)(예: 전면)(예: 도 2b 참조) 및 외부 환경에 노출되지 않으면서, 착용 시, 사용자의 피부에 밀착되는 제2 면(272)(예: 후면)(예: 도 2c 참조)을 포함할 수 있다. 예를 들어, 웨어러블 전자 장치(270)가 사용자의 얼굴에 착용되는 경우, 웨어러블 전자 장치(270)의 제1 면(271)은 외부 환경에 노출되는 상태이고, 웨어러블 전자 장치(270)의 제2 면(272)은 사용자의 얼굴에 적어도 부분적으로 밀착되는 상태일 수 있다.
일 실시예에서, 웨어러블 전자 장치(270)의 제1 면(271)에는 적어도 하나의 거리 센서(281, 282, 283, 및/또는 284)가 배치될 수 있다. 예를 들어, 적어도 하나의 거리 센서(281, 282, 283, 및/또는 284)는 웨어러블 전자 장치(270)의 주변에 배치된 적어도 하나의 오브젝트와의 거리를 측정할 수 있다. 적어도 하나의 거리 센서(281, 282, 283, 및/또는 284)는 적외선 센서, 초음파 센서, 및/또는 라이다(light detection and ranging; LiDAR) 센서를 포함할 수 있다. 적어도 하나의 거리 센서(281, 282, 283, 및/또는 284)는 적외선 센서, 초음파 센서, 및/또는 라이다 센서를 기반으로 구현될 수 있다.
다양한 실시예들에 따른 도 2b에서, 웨어러블 전자 장치(270)의 제1 면(271)에 4개의 거리 센서(281, 282, 283, 및 284)가 배치된 것으로 도시하였으나, 이에 한정하는 것은 아니다.
일 실시예에서, 웨어러블 전자 장치(270)는 웨어러블 전자 장치(270)의 후면 방향(예: +y방향, 사용자의 응시 방향의 반대 방향)에 대응하여 복수의 디스플레이(예: 제1 디스플레이(275), 제 2 디스플레이(276)가 배치될 수 있다. 예를 들어, 웨어러블 전자 장치(270)의 제 2 면(272)(예: 후면)는 사용자의 좌안에 대응되는 제1 디스플레이(275) 및 사용자의 우안에 대응되는 제2 디스플레이(276)가 배치될 수 있다. 예를 들어, 웨어러블 전자 장치(270)가 사용자의 얼굴에 착용되는 경우, 사용자의 좌안에 대응하여 제1 디스플레이(275)가 배치될 수 있고, 사용자의 우안에 대응하여 제2 디스플레이(276)가 배치될 수 있다.
일 실시예에서, 웨어러블 전자 장치(270)는 제2 면(272)에 적어도 부분적으로 복수의 시선 추적 카메라(예: 제1 시선 추적 카메라(291), 제2 시선 추적 카메라(292) 가 배치될 수 있다. 예를 들어, 복수의 시선 추적 카메라(291, 292)는 사용자의 눈동자의 움직임을 추적할 수 있다. 제1 시선 추적 카메라(291)는 사용자의 좌안의 움직임을 추적할 수 있고, 제2 시선 추적 카메라(292)는 사용자의 우안의 움직임을 추적할 수 있다. 일 실시예에서, 웨어러블 전자 장치(270)는 복수의 시선 추적 카메라(291, 292)를 이용하여 추적된 눈동자의 움직임에 기반하여, 사용자가 응시하는 방향을 확인할 수 있다.
일 실시예에서, 웨어러블 전자 장치(270)의 제2 면(272)에는 적어도 부분적으로 복수의 얼굴 인식 카메라(예: 제1 얼굴 인식 카메라(295), 제2 얼굴 인식 카메라(296))가 배치될 수 있다. 예를 들어, 복수의 얼굴 인식 카메라(295, 296)는 웨어러블 전자 장치(270)가 사용자의 얼굴에 착용되는 상황에서 사용자의 얼굴을 인식할 수 있다. 일 실시예에서, 웨어러블 전자 장치(270)는 복수의 얼굴 인식 카메라(295, 296)를 이용하여 웨어러블 전자 장치(270)가 사용자의 얼굴에 착용되었는지 여부를 판단할 수도 있다.
도 2d는, 다양한 실시예에 따른 전자 장치의 블록도이다.
도 2d를 참조하면, 전자 장치(200)(예 : 도 1의 전자 장치(101)) 는 프로세서(250)(예: 도 1의 프로세서(120)), 카메라(213)(예: 도 1의 카메라(180)), 센서(280)(예 : 도 1의 센서(176)), 디스플레이(214)(예: 도 1의 디스플레이(160)) 및/또는 메모리(260)(예: 도 1의 메모리(130))를 포함할 수 있다. 도 2에 포함된 구성 요소는 전자 장치(200)에 포함된 구성들의 일부에 대한 것이며 전자 장치(200)는 이 밖에도 도 1에 도시된 것과 같이 다양한 구성요소를 포함할 수 있다.
카메라(213)는 전자 장치의 전방을 촬영할 수 있다. 예를 들어, 카메라(213)는 도 2a의 전방 촬영용 카메라 모듈(213)일 수 있다.
일 실시예에 따르면, 카메라(213)는 전방을 촬영한 영상을 프로세서(250)에 전달할 수 있다.
센서(280)는 외부 객체와 전자 장치 사이의 상대적인 거리를 측정할 수 있다. 예를 들어, 센서(280)는 이미지 거리 센서(280), 광학식 거리 센서(280), 초음파 방식의 거리 센서(280) 또는 전파 방식의 거리 센서(280) 중 적어도 하나를 포함할 수 있다. 이 밖에도 거리 또는 변위를 측정할 수 있는 다양한 센서(280)(예 : depth 센서(280))가 거리 센서(280)에 포함될 수 있다.
일 실시예에서 센서(280)는 스테레오 방식(stereo-type)으로 거리를 측정할 수 있다. 일 실시예에서, 센서(280)는 두개의 2차원 이미지 센서(280)를 결합하여, 한 쌍의 이미지 센서(280) 사이의 시점 불일치를 이용하여 거리를 측정할 수 있다. 예를 들어, 스테레오 카메라(213)는 각 카메라(213)의 영상 차이를 기반으로 영상 내의 픽셀의 뎁스(depth)를 측정할 수 있다.
일 실시예에서 센서(280)는 TOF(time of flight) 방식으로 거리를 측정할 수 있다. 센서(280)는 센서(280)에서 출력된 빛 또는 전파가 다른 물체에 반사되어 되돌아오는데 소요되는 시간을 이용하여 거리를 측정할 수 있다. 일 실시예에서, 센서(280)는 광량 측정 방식으로 거리를 측정할 수 있다. 광량 측정 방식으로 거리를 측정할 수 있는 센서(280)는 센서(280)로 유입되는 광량에 기반하여 거리를 측정할 수 있다. 센서(280)는 센서(280)가 수신한 광량이 적을수록 거리가 길고, 센서(280)가 수신한 광량이 많을수록 거리가 짧은 것으로 판정할 수 있다.
일 실시예에서 센서(280)는 특정 물체에 조사되어 표시된 광 패턴을 분석하는 방식(Structured Pattern)으로 거리를 측정할 수 있다. 이러한 센서(280)는 특정 물체에 표시된 광 패턴에서 두 점 사이의 거리를 측정할 수 있다. 두 점 사이의 간격이 작을수록 센서(280)와 특정 물체 사이의 거리가 길고, 두 점 사이의 간격이 클수록 센서(280)와 특정 물체 사이의 거리가 짧은 것으로 판정할 수 있다. 이 밖에도 센서(280)는 다양한 방식으로 거리를 측정할 수 있다.
디스플레이(214)는 프로세서(250)가 생성한 화면을 표시할 수 있다. 예를 들어, 디스플레이(214)는, 도 2a의 디스플레이(214) 모듈(214-1, 214-2)를 포함할 수 있다.
일 실시예에 따르면, 디스플레이(214)는, 카메라(213)가 촬영한 영상 및 프로세서(250)가 생성한 오브젝트를 표시할 수 있다.
일 실시예에 따르면, 디스플레이(214)는, 프로세서(250)가 생성한 오브젝트와 관련된 광을 투명 부재(220, 230)에 투영하여 정보를 표시할 수 있다. 예를 들어, 디스플레이(214)는 적어도 일부가 투명한 소재로 형성된 투명 부재(220, 230)에 가상 객체(예 : 오브젝트)를 표시할 수 있는 광이 투영됨으로써, 사용자는 가상 객체(예 : 오브젝트)가 중첩된 현실을 인지할 수 있다.
프로세서(250)는 공간을 분석하여 오브젝트를 배치할 수 있다.
다양한 실시예에 따르면, 오브젝트는 공간의 일부를 점유하는 객체 및/또는 사운드와 같이 공간을 점유하지 않는 컨텍스트를 포함할 수 있다. 예를 들어, 오브젝트는 지정된 어플리케이션의 실행과 관련된 아이콘, 정보 제공을 위한 아이콘 및/또는 재생되는 음원을 포함할 수 있다. 본 발명에서 지칭하는 오브젝트는 가상 현실에서 사용될 수 있는 영상, 음성, 모션과 같은 요소들을 모두 포함하며, 본 실시예에 한정되지 않는다.
일 실시예에 따른 프로세서(250)는, 제 1 공간을 분석할 수 있다. 예를 들어, 프로세서(250)는 카메라(213)가 촬영한 제 1 공간의 영상 및 센서(280)가 측정한 제 1 공간에 존재하는 객체와의 상대적 거리에 기반하여 제 1 공간을 분석하고, 제 1 공간과 관련된 정보를 획득할 수 있다.
예를 들어, 제 1 공간과 관련된 정보는 제 1 공간에 포함된 플레인의 번호, 전자 장치를 기준으로 하는 상대적인 플레인의 방향, 위치, 회전 각도 및/또는 크기 값을 포함할 수 있다.
일 실시예에 따르면, 프로세서(250)는 사용자가 배치한 오브젝트의 구성을 분석하여, 오브젝트의 구성과 관련된 정보를 획득할 수 있다.
예를 들어, 오브젝트와 관련된 정보는 전자 장치를 기준으로 하는 상대적인 오브젝트의 위치, 종속되어 있는 플레인에 대한 정보(예 : 플레인의 넘버) 종속된 플레인과의 상대적인 위치, 회전, 크기 값 및/또는 관련 어플리케이션 정보를 포함할 수 있다.
일 실시예에 따르면, 프로세서(250)는, 공간에 배치된 오브젝트의 구성을 메모리(260)에 저장할 수 있다.
일 실시예에 따르면, 프로세서(250)는 제 1 공간의 정보와, 사용자가 배치한 오브젝트의 구성과 관련된 정보를 메모리(260)에 저장할 수 있다.
예를 들어, 프로세서(250)는 제 1 공간에 포함된 플레인의 번호, 전자 장치를 기준으로 하는 상대적인 플레인의 방향, 위치, 회전 각도 및/또는 크기 값 및 오브젝트의 전자 장치를 기준으로 하는 상대적인 위치, 종속되어 있는 플레인에 대한 정보(예 : 플레인의 넘버) 종속된 플레인과의 상대적인 위치, 회전, 크기 값 및/또는 관련 어플리케이션 정보를 '제 1 구성'의 명칭으로 메모리(260)에 저장할 수 있다.
일 실시예에 따른 프로세서(250)는, 제 2 공간을 분석할 수 있다. 예를 들어, 프로세서(250)는 카메라(213)가 촬영한 제 2 공간의 영상 및 센서(280)가 측정한 제 2 공간에 존재하는 객체와의 상대적 거리에 기반하여 제 2 공간을 분석하고, 제 2 공간과 관련된 정보를 획득할 수 있다.
예를 들어, 제 2 공간과 관련된 정보는 제 2 공간에 포함된 플레인의 번호, 전자 장치를 기준으로 하는 상대적인 플레인의 방향, 위치, 회전 각도 및/또는 크기 값을 포함할 수 있다.
일 실시예에 따르면, 프로세서(250)는, 분석된 제 2 공간의 정보에 기반하여 저장된 오브젝트의 구성을 재배치할 수 있다.
일 실시예에 따르면, 프로세서(250)는 제 1 공간과 제 2 공간을 비교할 수 있다.
예를 들어, 프로세서(250)는 제 1 공간에 포함된 적어도 하나의 플레인의 정보와 제 2 공간에 포함된 적어도 하나의 플레인의 정보를 비교할 수 있다.
일 실시예에 따르면, 프로세서(250)는 제 1 공간과 제 2 공간을 비교한 결과에 기반하여, 프로세서(250)는 제 1 구성의 오브젝트의 구성을 조절하여 배치할 수 있다.
예를 들어, 제 1 공간 및 제 2 공간에 포함된 플레인의 개수, 방향 및 스케일이 지정된 범위에서 일치함에 대응하여, 프로세서(250)는 제 1 구성의 오브젝트의 위치 및 크기를 조절하여 배치할 수 있다.
일 실시예에 따르면, 프로세서(250)는, 재배치한 오브젝트를 디스플레이(214)에 표시할 수 있다.
일 실시예에 따르면, 프로세서(250)는, 제 1 구성의 오브젝트들을 제 2 공간에 맞게 재배치 및 조절하여, 제 2 공간에서 오브젝트들을 디스플레이(214)에 표시할 수 있다.
일 실시예에 따른 프로세서(250)는, 전자 장치(200)에 포함되거나, 전자 장치(200)와 물리적으로 분리된 외부 전자 장치에 포함되어, 전자 장치(200)를 제어하거나 및/또는 전자 장치(200)와 물리적으로 연결된 외부 전자 장치에 포함되어 전자 장치(200)를 제어할 수 있다.
메모리(260)는 공간과 관련된 정보 및/또는 오브젝트와 관련된 정보를 일시적으로 또는 비일시적으로 저장할 수 있다.
상기와 같은 구성으로 증강 현실 헤드 기어(augmented reality headgear)는 사용자의 눈앞에 사용 가능한 렌즈와 프로세서를 포함하여 제공된다. 상기 프로세서는 상기 렌즈를 통해 사용자가 볼 수 있는 제1 공간을 분석하고, 상기 제1 공간에 대한 정보 및 상기 렌즈에 디스플레이되는 가상 객체의 구성에 관한 정보를 상기 제1 공간에 나타나도록 저장하고, 상기 렌즈를 통해 사용자가 볼 수 있는 제2 공간을 분석하고, 상기 제1 공간 및 상기 제2 공간의 분석으로부터 도출된 정보에 기반하여 상기 객체의 구성에 따라 상기 제2 공간에 나타난 가상 객체를 상기 렌즈에 표시하도록 설정될 수 있다. 상기 렌즈는 고글 또는 안경 렌즈일 수 있지만 추가 유형의 렌즈가 가능할 수 있다.
제1 공간 분석에서 도출된 정보는 제1 공간에 포함된 적어도 하나의 평면에 대한 정보를 포함하고, 제2 공간 분석에서 도출된 정보는 제2 공간에 포함된 적어도 하나의 평면에 대한 정보를 포함한다. 상기 프로세서는, 제1 공간에 포함된 적어도 하나의 평면에 대한 정보와 제2 공간에 포함된 적어도 하나의 평면에 대한 정보를 비교하고, 비교 결과에 기반하여 가상 객체가 제2 공간에 나타나도록 표시하도록 설정된다. 상기 비교 결과는 예를 들어, 제1 공간에 포함된 적어도 하나의 평면과 제2 공간에 포함된 적어도 하나의 평면의 대응하는 파라미터 사이의 비율을 정의할 수 있다. 이들 또는 다른 경우에, 프로세서는 상기 비율에 대응하여 제2 공간에 나타나도록 객체의 디스플레이에서 객체의 크기를 조정하도록 구성된다.
도 3은, 다양한 실시예에 따른 프로세서(250)가 공간을 분석하여 오브젝트를 배치하는 방법을 도시한 흐름도이다.
일 실시예에 따르면, 사용자는 제 1 공간에 대하여 오브젝트를 배치하고, 오브젝트 배치 구성을 저장하는 명령을 입력할 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 동작 310에서 제 1 공간을 분석할 수 있다.
일 실시예에 따르면, 프로세서(250)는 카메라(213)가 촬영한 제 1 공간의 영상 및 센서(280)가 측정한 제 1 공간에 존재하는 객체와의 상대적 거리에 기반하여 제 1 공간을 분석하고, 제 1 공간과 관련된 정보를 획득할 수 있다.
예를 들어, 제 1 공간과 관련된 정보는 제 1 공간에 포함된 플레인의 번호, 전자 장치를 기준으로 하는 상대적인 플레인의 방향, 위치, 회전 각도 및/또는 크기 값을 포함할 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 동작 320에서 분석된 제 1 공간의 정보 및 제 1 공간에서 사용자가 배치한 오브젝트의 구성을 저장할 수 있다.
일 실시예에 따르면, 프로세서(250)는, 사용자의 명령에 대응하여 제 1 공간에 오브젝트가 존재하는지 여부를 확인할 수 있다.
예를 들어, 프로세서(250)는, 제 1 공간에 오브젝트가 존재하지 않음에 대응하여, 안내 팝업을 표시하고, 실행을 종료할 수 있다.
예를 들어, 프로세서(250)는, 제 1 공간에 오브젝트가 존재함에 대응하여, 사용자가 배치한 오브젝트의 구성을 분석할 수 있다.
일 실시예에 따르면, 프로세서(250)는 사용자가 배치한 오브젝트의 구성을 분석하여, 오브젝트의 구성과 관련된 정보를 획득할 수 있다.
예를 들어, 오브젝트와 관련된 정보는 전자 장치를 기준으로 하는 상대적인 오브젝트의 위치, 종속되어 있는 플레인에 대한 정보(예 : 플레인의 넘버) 종속된 플레인과의 상대적인 위치, 회전, 크기 값 및/또는 관련 어플리케이션 정보를 포함할 수 있다.
일 실시예에 따르면, 프로세서(250)는, 제 1 공간에 배치된 오브젝트의 구성을 메모리(260)에 저장할 수 있다.
일 실시예에 따르면, 프로세서(250)는 제 1 공간의 정보와, 사용자가 배치한 오브젝트의 구성과 관련된 정보를 메모리(260)에 저장할 수 있다.
예를 들어, 프로세서(250)는 제 1 공간에 포함된 플레인의 번호, 전자 장치를 기준으로 하는 상대적인 플레인의 방향, 위치, 회전 각도 및/또는 크기 값 및 오브젝트의 전자 장치를 기준으로 하는 상대적인 위치, 종속되어 있는 플레인에 대한 정보(예 : 플레인의 넘버) 종속된 플레인과의 상대적인 위치, 회전, 크기 값 및/또는 관련 어플리케이션 정보를 '제 1 구성'의 명칭으로 메모리(260)에 저장할 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 동작 330에서 제 2 공간을 분석할 수 있다.
일 실시예에 따르면, 사용자는 전자 장치를 착용한 상태에서, 메모리(260)에 저장된 제 1 구성을 불러오는 명령을 입력할 수 있다. 예를 들어, 사용자는 디스플레이(214)에 표시되는 지정된 아이콘(예 : 어플리케이션 리스트)을 선택하는 제스처 입력 이후, 제 1 구성을 불러오는 명령과 관련된 지정된 아이콘(예 : 제 1 구성 아이콘)을 선택하는 제스처를 입력할 수 있다.
일 실시예에 따르면, 프로세서(250)는 카메라(213)가 촬영한 제 2 공간의 영상 및 센서(280)가 측정한 제 2 공간에 존재하는 객체와의 상대적 거리에 기반하여 제 2 공간을 분석하고, 제 2 공간과 관련된 정보를 획득할 수 있다.
예를 들어, 제 2 공간과 관련된 정보는 제 2 공간에 포함된 플레인의 번호, 전자 장치를 기준으로 하는 상대적인 플레인의 방향, 위치, 회전 각도 및/또는 크기 값을 포함할 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 동작 340에서, 분석된 제 2 공간의 정보에 기반하여 저장된 오브젝트의 구성을 재배치할 수 있다.
일 실시예에 따르면, 프로세서(250)는 제 1 공간과 제 2 공간을 비교할 수 있다.
예를 들어, 프로세서(250)는 제 1 공간에 포함된 적어도 하나의 플레인의 정보와 제 2 공간에 포함된 적어도 하나의 플레인의 정보를 비교할 수 있다.
일 실시예에 따르면, 프로세서(250)는 제 1 공간과 제 2 공간을 비교한 결과에 기반하여, 프로세서(250)는 제 1 구성의 오브젝트의 구성을 조절하여 배치할 수 있다.
예를 들어, 제 1 공간 및 제 2 공간에 포함된 플레인의 개수, 방향 및 스케일이 지정된 범위에서 일치함에 대응하여, 프로세서(250)는 제 1 구성의 오브젝트의 위치 및 크기를 조절하여 배치할 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 동작 350에서, 재배치한 오브젝트를 디스플레이(214)에 표시할 수 있다.
일 실시예에 따르면, 프로세서(250)는, 제 1 구성의 오브젝트들을 제 2 공간에 맞게 재배치 및 조절하여, 제 2 공간에서 오브젝트들을 디스플레이(214)에 표시할 수 있다.
일 실시예에 따르면, 프로세서(250)는, 사용자의 추가 배치 입력에 기반하여, 오브젝트들을 재배치할 수 있다.
일 실시예에 따르면, 사용자는, 프로세서(250)에 의하여 배치된 제 2 공간에서의 오브젝트들을, 이동 제스처를 이용하여 재배치하도록 입력할 수 있다.
도 4는, 다양한 실시예에 따른 전자 장치(200)가, 공간 분석 및 공간에 배치된 오브젝트를 분석하는 예시를 도시한 도면이다.
다양한 실시예에 따르면, 프로세서(250)는 공간을 분석하여 공간과 관련된 정보를 메모리(260)에 저장할 수 있다.
일 실시예에 따르면, 프로세서(250)는 카메라(213)가 촬영한 공간의 영상 및 센서(280)가 측정한 공간에 존재하는 객체와의 상대적 거리에 기반하여 공간을 분석하고, 공간과 관련된 정보를 획득할 수 있다.
일 실시예에 따르면, 공간에 관련된 정보는 공간에 포함된 플레인의 번호, 전자 장치(200)를 기준으로 하는 상대적인 플레인의 방향, 위치, 회전 각도 및/또는 크기 값을 포함할 수 있다.
일 실시예에 따르면, 공간에 관련된 정보는 공간에 포함된 플레인의 번호, 지구좌표계를 중심으로하는 절대적인 플레인의 방향, 위치, 회전 각도 및/또는 크기 값을 포함할 수 있다.
다양한 실시예에 따르면, 도 4 에서, 제 1 공간에는 제 1 플레인(410)과 제 2 플레인(420)이 포함될 수 있다.
일 실시예에 따르면, 공간과 관련된 정보는 제 1 플레인(410)과 관련된 정보 및 제 2 플레인(420)과 관련된 정보를 포함할 수 있다.
예를 들어, 제 1 플레인과 관련된 정보는 1번 플레인(410)(플레인의 번호), 앞방향(전자 장치(200) 기준 방향), x=0.2, y=0.5, z=1.5(전자 장치(200) 기준 위치), 가로 2 및 세로 2(플레인의 크기)를 포함할 수 있다.
예를 들어, 제 2 플레인과 관련된 정보는 2번 플레인(420)(플레인의 번호), 바닥 방향(전자 장치(200) 기준 방향), x=0, y=-0.2, z=0.8(전자 장치(200) 기준 위치), 가로 1.1 및 세로 0.5(플레인의 크기)를 포함할 수 있다.
다양한 실시예에 따르면, 프로세서(250)는 오브젝트의 구성을 분석하여 오브젝트의 구성과 관련된 정보를 저장할 수 있다.
일 실시예에 따르면, 오브젝트와 관련된 정보는 오브젝트의 전자 장치(200)를 기준으로 하는 상대적인 위치, 종속되어 있는 플레인에 대한 정보(예 : 플레인의 넘버) 종속된 플레인과의 상대적인 위치, 회전, 크기 값 및/또는 관련 어플리케이션 정보를 포함할 수 있다.
일 실시예에 따르면, 오브젝트와 관련된 정보는 종속되어 있는 플레인에 대한 정보(예 : 플레인의 넘버), 지구좌표계 상 절대적인 오브젝트의 위치, 회전, 크기 값 및/또는 관련 어플리케이션 정보를 포함할 수 있다.
다양한 실시예에 따르면, 도 4 에서, 제 1 공간에는 제 1 오브젝트(430)와 제2 오브젝트(440)가 포함될 수 있다.
일 실시예에 따르면, 오브젝트와 관련된 정보는 제 1 오브젝트(430)와 관련된 정보 및 제 2 오브젝트(440)와 관련된 정보를 포함할 수 있다.
예를 들어, 제 1 오브젝트(430)와 관련된 정보는 x=-0.2, y=0.2, z=0.8(전자 장치(200) 기준 위치), 2번 플레인(420)(종속되어 있는 플레인의 넘버), x=-0.2, y=0.15, z=0(종속되어 있는 플레인과의 상대적 위치, x=0, y=0, z=0(종속되어있는 플레인과의 상대적인 회전 값), 및/또는 x=0.2, y=0.2, z=0.2(종속된 플레인과의 상대적 크기)를 포함할 수 있다.
예를 들어, 제 2 오브젝트(440)와 관련된 정보는 x=0.1, y=0.5, z=1.5(전자 장치(200) 기준 위치), 1번 플레인(410)(종속되어 있는 플레인의 넘버), x=-0.1, y=0, z=0(종속되어 있는 플레인과의 상대적 위치 및/또는 x=0, y=0, z=0(종속되어있는 플레인과의 상대적인 회전 값), x=0.2, y=0.2, z=0.2(종속된 플레인과의 상대적 크기)를 포함할 수 있다.
도 5a는, 다양한 실시예에 따른 전자 장치(예 : 도 2d의 전자 장치(200))가 제 1 공간에서 사용자가 배치한 오브젝트의 구성을 저장하는 방법을 도시한 흐름도이다.
도 5b 내지 도 5f는 도 5a에 기재된 각 동작의 예시 화면을 도시한 도면이다.
다양한 실시예에 따른 도 5a 흐름도 및 도 5b 내지 도 5f의 실시예는, 도 3에서 동작 310 및 동작 320에 대응되는 실시예일 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 동작 510에서, 제 1 공간에서의 오브젝트 배치 입력을 획득할 수 있다.
일 실시예에 따르면, 사용자는 전자 장치(200)를 착용한 상태에서, 디스플레이(214)에 표시되는 오브젝트들을 배치할 수 있다.
예를 들어, 사용자는 이동 제스처를 이용하여, 오브젝트들을 배치하도록 입력할 수 있다.
예를 들어, 이동 제스처는, 디스플레이(214)에 표시되는 오브젝트의 위치에 대응하는 공간에서 손으로 오브젝트를 쥐고, 이동하고자하는 위치에서 손을 펴는 동작을 포함할 수 있다. 이동 제스처는 상기 동작에 한정되지 않고, 전자 장치(200)가 인식할 수 있는 다양한 실시예의 제스처를 포함할 수 있다.
5b는 일 실시예에 따라, 디스플레이(214)에 표시되는 제 1 공간에서의 오브젝트들(501-1, 501-2, 501-3, 501-4, 501-5, 501-6)의 배치를 포함하는 화면을 도시한 도면이다.
사용자는 도 5b와 같이 제 1 공간에서, 제스처를 이용하여 디스플레이(214)에 표시되는 오브젝트들(501-1, 501-2, 501-3, 501-4, 501-5, 501-6)을 배치할 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 동작 520에서, 배치된 오브젝트의 구성을 저장하는 입력을 획득할 수 있다.
일 실시예에 따르면, 사용자는 전자 장치(200)를 착용한 상태에서, 전자장치(200)에 오브젝트 배치 구성을 저장하는 명령을 입력할 수 있다.
예를 들어, 사용자는 디스플레이(214)에 표시되는 지정된 아이콘(예 : 어플리케이션 리스트)을 선택하는 제스처 입력 이후, 오브젝트 배치 구성을 저장하는 명령과 관련된 지정된 아이콘(예 : “+” 버튼)을 선택하는 제스처를 입력할 수 있다.
예를 들어, 아이콘을 선택하는 제스처는 아이콘의 위치에 대응하는 공간의 위치에서 손으로 선택하는 동작을 포함할 수 있다. 아이콘을 선택하는 제스처는 상기 동작에 한정되지 않고, 전자 장치(200)가 인식할 수 있는 다양한 실시예의 제스처를 포함할 수 있다.
도 5c는 일 실시예에 따라, 디스플레이(214)에 표시되는 오브젝트 배치 구성을 저장하는 아이콘을 포함하는 화면을 도시한 도면이다.
사용자는 도 5c와 같이 메뉴 아이콘(502-1)을 선택하는 제스처 입력 이후, 메뉴 리스트(502-2)에서 저장 아이콘(502-3)을 선택하는 제스쳐를 입력하여 전자 장치(200)에 오브젝트 배치 구성을 저장하는 명령을 입력할 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 동작 530에서, 제 1 공간을 분석할 수 있다.
일 실시예에 따르면, 프로세서(250)는 카메라(213)가 촬영한 제 1 공간의 영상 및 센서(280)가 측정한 제 1 공간에 존재하는 객체와의 상대적 거리에 기반하여 제 1 공간을 분석하고, 제 1 공간과 관련된 정보를 획득할 수 있다.
예를 들어, 제 1 공간과 관련된 정보는 제 1 공간에 포함된 플레인의 번호, 전자 장치(200)를 기준으로 하는 상대적인 플레인의 방향, 위치, 회전 각도 및/또는 크기 값을 포함할 수 있다.
도 5d는 일 실시예에 따라, 프로세서(250)가 카메라(213)가 촬영한 제 1 공간을 분석하는 화면의 예시를 도시한 도면이다.
일 실시예에 따르면, 전자 장치(200)는 도 5d와 같이, 제 1 공간에 포함되는 제 1 플레인(503-1) 및 제 2 플레인(503-2)을 분석할 수 있다.
예를 들어, 프로세서(250)는 제 1 공간을 분석하여, 제 1 공간에 포함된 제 1 플레인(503-1) 및/또는 제 2 플레인(503-2)의 번호, 전자 장치(200)를 기준으로 하는 상대적인 방향, 위치, 회전 각도 및/또는 크기 값을 포함할 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 동작 540에서, 제 1 공간에서 사용자가 배치한 오브젝트의 구성을 분석할 수 있다.
일 실시예에 따르면, 프로세서(250)는, 사용자의 명령에 대응하여 제 1 공간에 오브젝트가 존재하는지 여부를 확인할 수 있다.
예를 들어, 프로세서(250)는, 제 1 공간에 오브젝트가 존재하지 않음에 대응하여, 안내 팝업을 표시하고, 실행을 종료할 수 있다.
예를 들어, 프로세서(250)는, 제 1 공간에 오브젝트가 존재함에 대응하여, 사용자가 배치한 오브젝트의 구성을 분석할 수 있다.
일 실시예에 따르면, 프로세서(250)는 사용자가 배치한 오브젝트의 구성을 분석하여, 오브젝트의 구성과 관련된 정보를 획득할 수 있다.
예를 들어, 오브젝트와 관련된 정보는 전자 장치(200)를 기준으로 하는 상대적인 오브젝트의 위치, 종속되어 있는 플레인에 대한 정보(예 : 플레인의 넘버) 종속된 플레인과의 상대적인 위치, 회전, 크기 값 및/또는 관련 어플리케이션 정보를 포함할 수 있다.
도 5e는 일 실시예에 따라, 프로세서(250)가 사용자가 배치한 오브젝트의 구성을 분석하는 화면의 예시를 도시한 도면이다.
일 실시예에 따르면, 전자 장치(200)는 도 5e와 같이, 사용자가 배치한 오브젝트들(501-1, 501-2, 501-3, 501-4, 501-5, 501-6)의 구성을 분석하여, 오브젝트의 구성과 관련된 정보를 획득할 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 동작 550에서, 제 1 공간에 배치된 오브젝트의 구성을 메모리(260)에 저장할 수 있다.
일 실시예에 따르면, 프로세서(250)는 제 1 공간의 정보와, 사용자가 배치한 오브젝트의 구성과 관련된 정보를 메모리(260)에 저장할 수 있다.
예를 들어, 프로세서(250)는 제 1 공간에 포함된 플레인의 번호, 전자 장치(200)를 기준으로 하는 상대적인 플레인의 방향, 위치, 회전 각도 및/또는 크기 값 및 오브젝트의 전자 장치(200)를 기준으로 하는 상대적인 위치, 종속되어 있는 플레인에 대한 정보(예 : 플레인의 넘버) 종속된 플레인과의 상대적인 위치, 회전, 크기 값 및/또는 관련 어플리케이션 정보를 예를 들어, '제 1 구성'의 명칭으로 메모리(260)에 저장할 수 있다.
도 5f는 일 실시예에 따라, 프로세서(250)가 제 1 공간에서 배치된 오브젝트의 구성을 저장한 후의 화면의 예시를 도시한 도면이다.
일 실시예에 따르면, 프로세서(250)는 도 5f와 같이, 제 1 공간에서 배치된 오브젝트의 구성인 제 1 구성(예 : space #1)을 저장한 이후, 메뉴 리스트(502-2)에 제 1 구성과 관련된 아이콘(502-4)을 표시할 수 있다.
도 6은, 다양한 실시예에 따른 전자 장치(예 : 도 2d의 전자 장치(200))가, 메모리(260)에 저장한 제 1 구성의 예시를 도시한 도면이다.
다양한 실시예에 따르면, 제 1 구성으로 저장된 정보에는 공간과 관련된 정보 및 오브젝트와 관련된 정보를 포함할 수 있다.
도 6을 참조하면, 제 1 구성에는 제 1 공간에 대응하는 제 1 플레인(603-1), 제 2 플레인(603-2) 및 제 1 공간에 배치된 오브젝트들(601-1, 601-2, 601-3, 601-4, 601-5, 601-6)을 포함할 수 있다.
일 실시예에 따르면, 제 1 구성으로 저장된 정보에는 제 1 공간에 포함된 제1 플레인(603-1) 및 제 2 플레인(603-2)의 번호, 전자 장치(200)를 기준으로 하는 상대적인 플레인의 방향, 위치, 회전 각도 및/또는 크기 값 및 오브젝트들(601-1, 601-2, 601-3, 601-4, 601-5, 601-6)의 전자 장치(200)를 기준으로 하는 상대적인 위치, 종속되어 있는 플레인에 대한 정보(예 : 플레인의 넘버) 종속된 플레인과의 상대적인 위치, 회전, 크기 값 및/또는 관련 어플리케이션 정보를 포함할 수 있다.
도 7a는, 다양한 실시예에 따른 전자 장치(예 : 도 2d의 전자 장치(200))가 저장된 오브젝트 구성을 제 2 공간에서 불러와서 표시하는 방법을 도시한 흐름도이다.
도 7b 내지 도 7f는 도 7a에 기재된 각 동작의 예시를 도시한 도면이다.
다양한 실시예에 따른 도 7a 흐름도 및 도 7b 내지 도 7f의 실시예는, 도 3에서 동작 330 내지 동작 350에 대응되는 실시예일 수 있다.
도 7b 내지 도 7f의 실시예에서, 제 2 공간은 제 1 공간에 포함된 플레인의 개수, 방향이 일치하고, 크기가 지정된 범위에서 일치하는 공간일 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 동작 710에서, 제 2 공간에서 제 1 구성을 불러오는 입력을 획득할 수 있다.
일 실시예에 따르면, 사용자는 전자 장치(200)를 착용한 상태에서, 메모리(260)에 저장된 제 1 구성을 불러오는 명령을 입력할 수 있다.
예를 들어, 사용자는 디스플레이(214)에 표시되는 지정된 아이콘(예 : 어플리케이션 리스트)을 선택하는 제스처 입력 이후, 제 1 구성을 불러오는 명령과 관련된 지정된 아이콘(예 : 제 1 구성 아이콘)을 선택하는 제스처를 입력할 수 있다.
예를 들어, 아이콘을 선택하는 제스처는 아이콘의 위치에 대응하는 공간의 위치에서 손으로 선택하는 동작을 포함할 수 있다. 아이콘을 선택하는 제스처는 상기 동작에 한정되지 않고, 전자 장치(200)가 인식할 수 있는 다양한 실시예의 제스처를 포함할 수 있다.
도 7b는 일 실시예에 따라, 제 2 공간에서 디스플레이(214)에 표시되는 화면의 예시일 수 있다.
도 7c는 일 실시예에 따라, 오브젝트 배치 구성을 불러오는 명령과 관련된 지정된 아이콘(예 : 제 1 구성 아이콘)을 포함하는 화면을 도시한 도면이다.
사용자는 도 7c와 같이 메뉴 아이콘(702-1)을 선택하는 제스처 입력 이후, 메뉴 리스트(702-2)에서 제 1 구성 아이콘(702-3)을 선택하는 제스쳐를 입력하여 전자 장치(200)에 오브젝트 배치 구성을 불러오는 명령을 입력할 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 동작 720에서, 제 2 공간을 분석할 수 있다.
일 실시예에 따르면, 프로세서(250)는 카메라(213)가 촬영한 제 2 공간의 영상 및 센서(280)가 측정한 제 2 공간에 존재하는 객체와의 상대적 거리에 기반하여 제 2 공간을 분석하고, 제 2 공간과 관련된 정보를 획득할 수 있다.
예를 들어, 제 2 공간과 관련된 정보는 제 2 공간에 포함된 플레인의 번호, 전자 장치(200)를 기준으로 하는 상대적인 플레인의 방향, 위치, 회전 각도 및/또는 크기 값을 포함할 수 있다.
도 7d는 일 실시예에 따라, 프로세서(250)가 카메라(213)가 촬영한 제 2 공간을 분석하는 화면의 예시를 도시한 도면이다.
일 실시예에 따르면, 전자 장치(200)는 도 7d와 같이, 제 2 공간에 존재하는 제 1 플레인(703-1) 및 제 2 플레인(703-2)을 분석할 수 있다.
예를 들어, 프로세서(250)는 제 2 공간을 분석하여, 제 2 공간에 포함된 제 1 플레인(703-1) 및/또는 제 2 플레인(703-2)의 번호, 전자 장치(200)를 기준으로 하는 상대적인 방향, 위치, 회전 각도 및/또는 크기 값을 포함할 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 동작 730에서, 분석된 제 2 공간의 정보에 기반하여 제 1 구성의 오브젝트의 구성을 재배치할 수 있다.
일 실시예에 따르면, 프로세서(250)는 제 1 공간과 제 2 공간을 비교할 수 있다.
예를 들어, 프로세서(250)는 제 1 공간에 포함된 적어도 하나의 플레인의 정보와 제 2 공간에 포함된 적어도 하나의 플레인의 정보를 비교할 수 있다.
일 실시예에 따르면, 프로세서(250)는 제 1 공간과 제 2 공간을 비교한 결과에 기반하여, 프로세서(250)는 제 1 구성의 오브젝트의 구성을 조절하여 배치할 수 있다.
예를 들어, 제 1 공간 및 제 2 공간에 포함된 플레인의 개수, 방향 및 스케일이 지정된 범위에서 일치함에 대응하여, 프로세서(250)는 제 1 구성의 오브젝트의 크기를 조절하여 배치할 수 있다.
도 7e는 일 실시예에 따라, 프로세서(250)는 제 2 공간의 제 1 플레인(703-1)과 제 1 공간의 제 1 플레인(603-1)의 크기 비율에 대응하여, 제 1 플레인에 종속되는 오브젝트(601-6)의 크기를 제 2 공간의 제 1 플레인(703-1)에 대응되도록 조절하여 배치할 수 있다.
예를 들어, 제 2 공간의 제 2 플레인(703-2)이 제 1 공간의 제 2 플레인(603-2)의 크기 비율에 대응하여, 제 1 플레인에 종속되는 오브젝트(601-1, 601-2, 601-3, 601-4, 601-5)의 크기를 제 2 공간의 제 2 플레인(703-2)에 대응되게 조절하여 배치할 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 동작 740에서, 재배치한 오브젝트를 디스플레이(214)에 표시할 수 있다.
도 7f는, 일 실시예에 따라, 디스플레이(214)에 표시되는 재배치된 오브젝트들(701-1, 701-2, 701-3, 701-4, 701-5, 701-6)을 포함하는 화면을 도시한 도면이다.
일 실시예에 따르면, 프로세서(250)는, 제 1 구성의 오브젝트들(601-1, 601-2, 601-3, 601-4, 601-5, 601-6)을 제 2 공간에 맞게 재배치 및 조절하여, 제 2 공간에서 오브젝트들(701-1, 701-2, 701-3, 701-4, 701-5, 701-6)을 디스플레이(214)에 표시할 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 사용자의 추가 배치 입력에 기반하여, 오브젝트들을 재배치할 수 있다.
일 실시예에 따르면, 사용자는, 프로세서(250)에 의하여 배치된 제 2 공간에서의 오브젝트들(701-1, 701-2, 701-3, 701-4, 701-5, 701-6)을, 이동 제스처를 이용하여 재배치하도록 입력할 수 있다.
예를 들어, 이동 제스처는, 디스플레이(214)에 표시되는 오브젝트의 위치에 대응하는 공간에서 손으로 오브젝트를 쥐고, 이동하고자하는 위치에서 손을 펴는 동작을 포함할 수 있다. 이동 제스처는 상기 동작에 한정되지 않고, 전자 장치(200)가 인식할 수 있는 다양한 실시예의 제스처를 포함할 수 있다.
도 8a는, 다양한 실시예에 따른 전자 장치(예 : 도 2d의 전자 장치(200))가 저장된 오브젝트 구성을 제 3 공간에서 불러와서 표시하는 방법을 도시한 흐름도이다.
도 8b 내지 도 8f는 도 8a에 기재된 각 동작의 예시를 도시한 도면이다.
다양한 실시예에 따른 도 8a 흐름도 및 도 8b 내지 도 8f의 실시예는, 도 3에서 동작 330 내지 동작 350에 대응되는 실시예일 수 있다.
도 8b 내지 도 8f의 실시예에서, 제 3 공간은 제 1 공간에 포함된 플레인의 개수 및 방향이 일치하고, 크기가 지정된 범위 이상 불일치하는 공간일 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 동작 810에서, 제 3 공간에서 제 1 구성을 불러오는 입력을 획득할 수 있다.
일 실시예에 따르면, 사용자는 전자 장치(200)를 착용한 상태에서, 메모리(260)에 저장된 제 1 구성을 불러오는 명령을 입력할 수 있다.
예를 들어, 사용자는 디스플레이(214)에 표시되는 지정된 아이콘(예 : 어플리케이션 리스트)을 선택하는 제스처 입력 이후, 제 1 구성을 불러오는 명령과 관련된 지정된 아이콘(예 : 제 1 구성 아이콘)을 선택하는 제스처를 입력할 수 있다.
예를 들어, 아이콘을 선택하는 제스처는 아이콘의 위치에 대응하는 공간의 위치에서 손으로 선택하는 동작을 포함할 수 있다. 아이콘을 선택하는 제스처는 상기 동작에 한정되지 않고, 전자 장치(200)가 인식할 수 있는 다양한 실시예의 제스처를 포함할 수 있다.
도 8b는 일 실시예에 따라, 제 3 공간에서 디스플레이(214)에 표시되는 화면의 예시일 수 있다.
도 8c는 일 실시예에 따라, 오브젝트 배치 구성을 불러오는 명령과 관련된 지정된 아이콘(예 : 제 1 구성 아이콘)을 포함하는 화면을 도시한 도면이다.
사용자는 도 8c와 같이 메뉴 아이콘(802-1)을 선택하는 제스처 입력 이후, 메뉴 리스트(802-2)에서 제 1 구성 아이콘(802-3)을 선택하는 제스쳐를 입력하여 전자 장치(200)에 오브젝트 배치 구성을 불러오는 명령을 입력할 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 동작 820에서, 제 3 공간을 분석할 수 있다.
일 실시예에 따르면, 프로세서(250)는 카메라(213)가 촬영한 제 3 공간의 영상 및 센서(280)가 측정한 제 3 공간에 존재하는 객체와의 상대적 거리에 기반하여 제 3 공간을 분석하고, 제 3 공간과 관련된 정보를 획득할 수 있다.
예를 들어, 제 3 공간과 관련된 정보는 제 3 공간에 포함된 플레인의 번호, 전자 장치(200)를 기준으로 하는 상대적인 플레인의 방향, 위치, 회전 각도 및/또는 크기 값을 포함할 수 있다.
도 8d는 일 실시예에 따라, 프로세서(250)가 카메라(213)가 촬영한 제 3 공간을 분석하는 화면의 예시를 도시한 도면이다.
일 실시예에 따르면, 전자 장치(200)는 도 8d와 같이, 제 3 공간에 존재하는 제 1 플레인(803-1) 및 제 2 플레인(803-2)을 분석할 수 있다.
예를 들어, 프로세서(250)는 제 3 공간을 분석하여, 제 3 공간에 포함된 제 1 플레인(803-1) 및/또는 제 2 플레인(803-2)의 번호, 전자 장치(200)를 기준으로 하는 상대적인 방향, 위치, 회전 각도 및/또는 크기 값을 포함할 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 동작 830에서, 분석된 제 3 공간의 정보에 기반하여 제 1 구성의 오브젝트의 구성을 재배치할 수 있다.
일 실시예에 따르면, 프로세서(250)는 제 1 공간과 제 3 공간을 비교할 수 있다.
예를 들어, 프로세서(250)는 제 1 공간에 포함된 적어도 하나의 플레인의 정보와 제 3 공간에 포함된 적어도 하나의 플레인의 정보를 비교할 수 있다.
일 실시예에 따르면, 프로세서(250)는 제 1 공간과 제 3 공간을 비교한 결과에 기반하여, 프로세서(250)는 제 1 구성의 오브젝트의 구성을 조절하여 배치할 수 있다.
예를 들어, 제 1 공간 및 제 3 공간에 포함된 플레인의 개수 및 방향이 지정된 범위에서 일치하고, 플레인의 크기가 지정된 범위에서 불일치함에 대응하여, 프로세서(250)는 제 1 구성의 오브젝트의 위치 및 크기를 조절하여 배치할 수 있다.
도 8e는, 일 실시예에 따라 제 1 구성의 오브젝트를 제 3 공간에 맞게 재배치하는 화면의 예시를 도시한 도면이다.
예를 들어, 제 3 공간의 제 1 플레인(803-1)과 제 1 공간의 제 1 플레인(603-1)의 크기 비율에 대응하여, 제 1 플레인에 종속되는 오브젝트(601-6)의 위치 및 크기를 제 3 공간의 제 1 플레인(803-1)에 대응되도록 조절하여 배치할 수 있다.
예를 들어, 제 3 공간의 제 2 플레인(803-2)이 제 1 공간의 제 2 플레인(603-2)의 크기가 지정된 범위에서 불일치함에에 대응하여, 제 2 플레인에 종속되는 오브젝트(601-1, 601-2, 601-3, 601-4, 601-5)의 구성 및 위치를 제 3 공간의 제 2 플레인(803-2)에 대응되게 조절하여 배치할 수 있다.
예를 들어, 제 1 구성에서, 제 1 공간의 제 2 플레인(603-2)에 배치되는 오브젝트들(601-1, 601-2, 601-3, 601-4, 601-5)은 1행 5열로 배치되었으나, 제 3 공간의 제 2 플레인(803-2)이 제 1 공간의 제 2 플레인(603-2)의 크기가 지정된 범위에서 불일치 함에 대응하여, 오브젝트들(601-1, 601-2, 601-3, 601-4, 601-5)을 2행 3열로 배치할 수 있다. 이동되는 오브젝트들(601-1, 601-5)은, 지정된 규칙(예 : 사용자가 지정된 횟수 이상 사용하는 어플리케이션과 관련된 오브젝트)에 따라 결정될 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 동작 840에서, 재배치한 오브젝트를 디스플레이(214)에 표시할 수 있다.
도 8f는, 일 실시예에 따라, 디스플레이(214)에 표시되는 재배치된 오브젝트들(801-1, 801-2, 801-3, 801-4, 801-5, 801-6)을 포함하는 화면을 도시한 도면이다.
일 실시예에 따르면, 프로세서(250)는, 제 1 구성의 오브젝트들(601-1, 601-2, 601-3, 601-4, 601-5, 601-6)을 제 3 공간에 맞게 재배치 및 조절하여, 제 3 공간에서 오브젝트들(801-1, 801-2, 801-3, 801-4, 801-5, 801-6)을 디스플레이(214)에 표시할 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 사용자의 추가 배치 입력에 기반하여, 오브젝트들을 재배치할 수 있다.
일 실시예에 따르면, 사용자는, 프로세서(250)에 의하여 배치된 제 3 공간에서의 오브젝트들(801-1, 801-2, 801-3, 801-4, 801-5, 801-6)을, 이동 제스처를 이용하여 재배치하도록 입력할 수 있다.
예를 들어, 이동 제스처는, 디스플레이(214)에 표시되는 오브젝트의 위치에 대응하는 공간에서 손으로 오브젝트를 쥐고, 이동하고자 하는 위치에서 손을 펴는 동작을 포함할 수 있다. 이동 제스처는 상기 동작에 한정되지 않고, 전자 장치(200)가 인식할 수 있는 다양한 실시예의 제스처를 포함할 수 있다.
도 9a는, 다양한 실시예에 따른 전자 장치(예 : 도 2d의 전자 장치(200))가 저장된 오브젝트 구성을 제 4 공간에서 불러와서 표시하는 방법을 도시한 흐름도이다.
도 9b 내지 도 9f는 도 9a에 기재된 각 동작의 예시를 도시한 도면이다.
다양한 실시예에 따른 도 9a 흐름도 및 도 9b 내지 도 9f의 실시예는, 도 3에서 동작 330 내지 동작 350에 대응되는 실시예일 수 있다.
도 9b 내지 도 9f의 실시예에서, 제 4 공간은 제 1 공간과 공간에 포함된 플레인의 개수가 불일치하는 공간일 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 동작 910에서, 제 4 공간에서 제 1 구성을 불러오는 입력을 획득할 수 있다.
일 실시예에 따르면, 사용자는 전자 장치(200)를 착용한 상태에서, 메모리(260)에 저장된 제 1 구성을 불러오는 명령을 입력할 수 있다.
예를 들어, 사용자는 디스플레이(214)에 표시되는 지정된 아이콘(예 : 어플리케이션 리스트)을 선택하는 제스처 입력 이후, 제 1 구성을 불러오는 명령과 관련된 지정된 아이콘(예 : 제 1 구성 아이콘)을 선택하는 제스처를 입력할 수 있다.
예를 들어, 아이콘을 선택하는 제스처는 아이콘의 위치에 대응하는 공간의 위치에서 손으로 선택하는 동작을 포함할 수 있다. 아이콘을 선택하는 제스처는 상기 동작에 한정되지 않고, 전자 장치(200)가 인식할 수 있는 다양한 실시예의 제스처를 포함할 수 있다.
도 9b는 일 실시예에 따라, 제 4 공간에서 디스플레이(214)에 표시되는 화면의 예시일 수 있다.
도 9c는 일 실시예에 따라, 오브젝트 배치 구성을 불러오는 명령과 관련된 지정된 아이콘(예 : 제 1 구성 아이콘)을 포함하는 화면을 도시한 도면이다.
사용자는 도 9c와 같이 메뉴 아이콘(902-1)을 선택하는 제스처 입력 이후, 메뉴 리스트(902-2)에서 제 1 구성 아이콘(902-3)을 선택하는 제스쳐를 입력하여 전자 장치(200)에 오브젝트 배치 구성을 불러오는 명령을 입력할 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 동작 920에서, 제 4 공간을 분석할 수 있다.
일 실시예에 따르면, 프로세서(250)는 카메라(213)가 촬영한 제 4 공간의 영상 및 센서(280)가 측정한 제 4 공간에 존재하는 객체와의 상대적 거리에 기반하여 제 4 공간을 분석하고, 제 4 공간과 관련된 정보를 획득할 수 있다.
예를 들어, 제 4 공간과 관련된 정보는 제 4 공간에 포함된 플레인의 번호, 전자 장치(200)를 기준으로 하는 상대적인 플레인의 방향, 위치, 회전 각도 및/또는 크기 값을 포함할 수 있다.
도 9d는 일 실시예에 따라, 프로세서(250)가 카메라(213)가 촬영한 제 4 공간을 분석하는 화면의 예시를 도시한 도면이다.
일 실시예에 따르면, 전자 장치(200)는 도 9d와 같이, 제 4 공간에 존재하는 제 1 플레인(903-1)을 분석할 수 있다.
예를 들어, 프로세서(250)는 제 4 공간을 분석하여, 제 4 공간에 포함된 제 1 플레인(903-1)의 번호, 전자 장치(200)를 기준으로 하는 상대적인 방향, 위치, 회전 각도 및/또는 크기 값을 포함할 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 동작 930에서, 분석된 제 4 공간의 정보에 기반하여 제 1 구성의 오브젝트의 구성을 재배치할 수 있다.
일 실시예에 따르면, 프로세서(250)는 제 1 공간과 제 4 공간을 비교할 수 있다.
예를 들어, 프로세서(250)는 제 1 공간에 포함된 적어도 하나의 플레인의 정보와 제 4 공간에 포함된 적어도 하나의 플레인의 정보를 비교할 수 있다.
일 실시예에 따르면, 프로세서(250)는 제 1 공간과 제 4 공간을 비교한 결과에 기반하여, 프로세서(250)는 제 1 구성의 오브젝트의 구성을 조절하여 배치할 수 있다.
예를 들어, 제 1 공간 및 제 4 공간에 포함된 플레인의 개수가 불일치함에 대응하여, 프로세서(250)는 제 1 구성의 오브젝트의 위치 및 크기를 조절하여 배치할 수 있다.
도 9e는, 일 실시예에 따라 제 1 구성의 오브젝트를 제 4 공간에 맞게 재배치하는 화면의 예시를 도시한 도면이다.
예를 들어, 제 4 공간의 제 1 플레인(903-1)과 제 1 공간의 제 1 플레인(603-1)의 크기 비율에 대응하여, 제 1 플레인에 종속되는 오브젝트(601-6)의 위치 및 크기를 제 4 공간의 제 1 플레인(903-1)에 대응되도록 조절하여 배치할 수 있다.
예를 들어, 제 4 공간에는 제 2 플레인이 존재하지 않음에 대응하여,, 제 2 플레인에 종속되는 오브젝트(601-1, 601-2, 601-3, 601-4, 601-5)의 구성 및 위치를 제 4공간의 제 1 플레인(903-1)에 종속되게 배치할 수 있다.
예를 들어, 제 1 구성에서, 제 1 공간의 제 2 플레인(603-2)에 배치되는 오브젝트들(601-1, 601-2, 601-3, 601-4, 601-5)은 1행 5열로 배치되었으나, 제 4 공간에 제 2 플레인이 존재하지 않음에 대응하여, 오브젝트들(601-1, 601-2, 601-3, 601-4, 601-5)을 제 4 공간의 제 1 플레인(903-1)에 배치할 수 있다.
예를 들어, 제 4 공간에는 제 2 플레인이 존재하지 않음에 대응하여, 제 2 플레인에 종속되는 오브젝트(601-1, 601-2, 601-3, 601-4, 601-5)의 구성 및 위치를 플러팅(floating) 형태로 배치할 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 동작 940에서, 재배치한 오브젝트를 디스플레이(214)에 표시할 수 있다.
도 9f는, 일 실시예에 따라, 디스플레이(214)에 표시되는 재배치된 오브젝트들(901-1, 901-2, 901-3, 901-4, 901-5, 901-6)을 포함하는 화면을 도시한 도면이다.
일 실시예에 따르면, 프로세서(250)는, 제 1 구성의 오브젝트들(601-1, 601-2, 601-3, 601-4, 601-5, 601-6)을 제 4 공간에 맞게 재배치 및 조절하여, 제 4 공간에서 오브젝트들(901-1, 901-2, 901-3, 901-4, 901-5, 901-6)을 디스플레이(214)에 표시할 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 사용자의 추가 배치 입력에 기반하여, 오브젝트들을 재배치할 수 있다.
일 실시예에 따르면, 사용자는, 프로세서(250)에 의하여 배치된 제 4 공간에서의 오브젝트들(901-1, 901-2, 901-3, 901-4, 901-5, 901-6)을, 이동 제스처를 이용하여 재배치하도록 입력할 수 있다.
예를 들어, 이동 제스처는, 디스플레이(214)에 표시되는 오브젝트의 위치에 대응하는 공간에서 손으로 오브젝트를 쥐고, 이동하고자하는 위치에서 손을 펴는 동작을 포함할 수 있다. 이동 제스처는 상기 동작에 한정되지 않고, 전자 장치(200)가 인식할 수 있는 다양한 실시예의 제스처를 포함할 수 있다.
도 10a는, 다양한 실시예에 따른 전자 장치(예 : 도 2d의 전자 장치(200))가 저장된 오브젝트 구성을 제 5 공간에서 불러와서 표시하는 방법을 도시한 흐름도이다.
도 10b 내지 도 10f는 도 10a에 기재된 각 동작의 예시를 도시한 도면이다.
다양한 실시예에 따른 도 10a 흐름도 및 도 10b 내지 도 10f의 실시예는, 도 3에서 동작 330 내지 동작 350에 대응되는 실시예일 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 동작 1010에서, 제 5 공간에서 제 1 구성을 그대로 불러오는 입력을 획득할 수 있다.
일 실시예에 따르면, 사용자는 전자 장치(200)를 착용한 상태에서, 메모리(260)에 저장된 제 1 구성을 불러오는 명령을 입력할 수 있다.
예를 들어, 사용자는 디스플레이(214)에 표시되는 지정된 아이콘(예 : 어플리케이션 리스트)을 선택하는 제스처 입력 이후, 제 1 구성을 불러오는 명령과 관련된 지정된 아이콘(예 : 제 1 구성 아이콘)을 선택하는 제스처를 입력할 수 있다.
예를 들어, 아이콘을 선택하는 제스처는 아이콘의 위치에 대응하는 공간의 위치에서 손으로 선택하는 동작을 포함할 수 있다. 아이콘을 선택하는 제스처는 상기 동작에 한정되지 않고, 전자 장치(200)가 인식할 수 있는 다양한 실시예의 제스처를 포함할 수 있다.
도 10b는 일 실시예에 따라, 제 5 공간에서 디스플레이(214)에 표시되는 화면의 예시일 수 있다.
도 10c는 일 실시예에 따라, 오브젝트 배치 구성을 불러오는 명령과 관련된 지정된 아이콘(예 : 제 1 구성 아이콘)을 포함하는 화면을 도시한 도면이다.
사용자는 도 10c와 같이 메뉴 아이콘(1002-1)을 선택하는 제스처 입력 이후, 메뉴 리스트(1002-2)에서 제 1 구성 아이콘(1002-3)에 대하여 이동 제스쳐를 입력하여 전자 장치(200)에 제 1 구성의 오브젝트 배치 구성을 그대로 불러오는 명령을 입력할 수 있다.
예를 들어, 이동 제스처는, 디스플레이(214)에 표시되는 오브젝트의 위치에 대응하는 공간에서 손으로 오브젝트를 쥐고, 이동하고자하는 위치에서 손을 펴는 동작을 포함할 수 있다. 이동 제스처는 상기 동작에 한정되지 않고, 전자 장치(200)가 인식할 수 있는 다양한 실시예의 제스처를 포함할 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 동작 1020에서, 제 1 구성의 오브젝트그룹을 디스플레이(214)에 표시할 수 있다.
10d는, 일 실시예에 따라, 디스플레이(214)에 표시되는 제 1 구성의 오브젝트 그룹(601)을 포함하는 화면을 도시한 도면이다.
일 실시예에 따르면, 프로세서(250)는, 제 1 구성의 오브젝트 그룹(601)의 배치 구성을 그대로 불러오는 명령(예 : 제 1 구성 아이콘에 대한 이동 제스처)에 대응하여, 제 1 구성의 오브젝트 그룹(601)을 디스플레이(214)에 표시할 수 있다.
일 실시예에 따르면, 프로세서(250)는, 제 1 구성의 오브젝트 그룹(601)의 배치 구성을 그대로 불러오는 명령(예 : 제 1 구성 아이콘에 대한 이동 제스처)에 대응하여, 제 1 구성의 오브젝트 그룹(601)을 가상의 플레인과 함께 디스플레이(214)에 표시할 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 동작 1030에서, 사용자의 배치 입력을 획득할 수 있다.
도 10e는, 일 실시예에 따라, 사용자에 의하여 제 1 오브젝트 그룹(601)이 위치 이동 및 크기가 변경된 화면을 도시한 도면이다.
일 실시예에 따르면, 사용자는, 제 1 구성의 오브젝트 그룹(601)을, 이동 제스처를 이용하여 위치를 변경하도록 입력할 수 있다.
예를 들어, 이동 제스처는, 디스플레이(214)에 표시되는 오브젝트 그룹(601)의 위치에 대응하는 공간에서 손으로 오브젝트 그룹(601)을 쥐고, 이동하고자하는 위치에서 손을 펴는 동작을 포함할 수 있다. 이동 제스처는 상기 동작에 한정되지 않고, 전자 장치(200)가 인식할 수 있는 다양한 실시예의 제스처를 포함할 수 있다.
일 실시예에 따르면, 사용자는, 제 1 구성의 오브젝트 그룹(601)을, 크기 변경 제스처를 이용하여 크기를 변경하도록 입력할 수 있다.
예를 들어, 크기 변경 제스처는, 디스플레이(214)에 표시되는 오브젝트 그룹(601)의 위치에 대응하는 공간에서 줌인/또는 줌 아웃 동작을 포함할 수 있다. 크기 변경 제스처는 상기 동작에 한정되지 않고, 전자 장치(200)가 인식할 수 있는 다양한 실시예의 제스처를 포함할 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 동작 1040에서, 사용자의 배치 입력에 따라제 1 구성 오브젝트를 표시할 수 있다.
도 10f는, 일 실시예에 따라, 디스플레이(214)에 표시되는 제 1 오브젝트 그룹(601)이 사용자에 의하여 재배치된 오브젝트들(1001-1, 1001-2, 1001-3, 1001-4, 1001-5, 1001-6)을 포함하는 화면을 도시한 도면이다.
일 실시예에 따르면, 프로세서(250)는, 제 5 공간에서, 제 1 구성의 오브젝트 그룹(601)이 사용자에 의하여 위치 이동 및 크기가 변경된 오브젝트들(1001-1, 1001-2, 1001-3, 1001-4, 1001-5, 1001-6)을 디스플레이(214)에 표시할 수 있다.
도 11a는 다양한 실시예에 따른 전자 장치(예 : 도 2d의 전자 장치(200))가 제 6 공간에서 재구성된 컨텐츠를 출력하는 방법을 도시하는 흐름도이다.
도 11b 내지 도 11e은 도 11a에 기재된 각 동작의 예시 화면을 도시한 도면이다.
다양한 실시예에 따른 도 11a 흐름도 및 도 11b 내지 도 11e의 실시예는, 도 3에서 동작 310 내지 350에 대응되는 실시예일 수 있다.
다양한 실시예에 따르면, 프로세서(250)는 동작 1110에서, 제 1 공간에서의 오브젝트 배치 및 제 1 컨텍스트 입력을 획득할 수 있다.
일 실시예에 따르면, 사용자는 전자 장치(200)를 착용한 상태에서, 디스플레이(214)에 표시되는 오브젝트들을 배치할 수 있다.
예를 들어, 사용자는 이동 제스처를 이용하여, 오브젝트들을 배치하도록 입력할 수 있다.
예를 들어, 이동 제스처는, 디스플레이(214)에 표시되는 오브젝트의 위치에 대응하는 공간에서 손으로 오브젝트를 쥐고, 이동하고자 하는 위치에서 손을 펴는 동작을 포함할 수 있다. 이동 제스처는 상기 동작에 한정되지 않고, 전자 장치(200)가 인식할 수 있는 다양한 실시예의 제스처를 포함할 수 있다.
11b의 그림(a)는 일 실시예에 따라, 디스플레이(214)에 표시되는 제 1 공간에서의 오브젝트들(501-1, 501-2, 501-3, 501-4, 501-5, 501-6)의 배치를 포함하는 화면을 도시한 도면이다.
사용자는 도 11b의 그림(a)와 같이 제 1 공간에서, 제스처를 이용하여 디스플레이(214)에 표시되는 오브젝트들(501-1, 501-2, 501-3, 501-4, 501-5, 501-6)을 배치할 수 있다.
일 실시예에 따르면, 사용자는 전자 장치(200)를 착용한 상태에서, 전자 장치(200)에서 출력되는 컨텍스트들을 구성할 수 있다.
예를 들어, 컨텍스트는 배경 효과(예 : 월페이퍼), 배경 음악 및/또는 진동 패턴과 같이 제 1 공간에서 전자 장치(200)의 디스플레이(214), 오디오 모듈(예 : 도 1의 음향 출력 모듈(155)) 및/또는 햅틱 모듈(예 : 도 1 의 햅틱 모듈(179))에서 출력될 수 있는 다양한 형태의 전자 장치(200)가 구성하는 시각적, 청각적 및/또는 촉각적 환경을 포함할 수 있다.
예를 들어, 사용자는 선택 제스처를 이용하여, 컨텍스트들을 구성하도록 입력할 수 있다.
예를 들어, 선택 제스처는, 디스플레이(214)에 표시되는 시각화된 컨텍스트의 위치에 대응하는 공간에서 손으로 시각화된 컨텍스트를 선택하는 동작을 포함할 수 있다. 선택 제스처는 상기 동작에 한정되지 않고, 전자 장치(200)가 인식할 수 있는 다양한 실시예의 제스처를 포함할 수 있다.
11b의 그림(b)는 일 실시예에 따라, 전자 장치(200)에서 출력되는 시각화된 컨텍스트(1110-1, 1120-1)를 포함하는 화면을 도시한 도면이다.
사용자는 도 11b의 그림(b)와 같이 제 1 공간에서, 제스처를 이용하여 전자 장치(200)에서 출력되는 컨텍스트들(1110-1, 1120-1)을 구성할 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 동작 1120에서, 제 1 공간의 정보, 배치된 오브젝트의 구성 및 제 1 컨텍스트를 저장할 수 있다.
일 실시예에 따르면, 제 1 컨텍스트와 관련된 정보는 제 1 공간의 정보에 포함될 수 있다.
일 실시예에 다르면, 프로세서(250)는, 배치된 오브젝트의 구성 및 컨텍스트를 저장하는 입력을 획득할 수 있다.
일 실시예에 따르면, 사용자는 전자 장치(200)를 착용한 상태에서, 전자장치에 오브젝트 배치 구성을 저장하는 명령을 입력할 수 있다.
예를 들어, 사용자는 디스플레이(214)에 표시되는 지정된 아이콘(예 : 어플리케이션 리스트)을 선택하는 제스처 입력 이후, 오브젝트 배치 구성을 저장하는 명령과 관련된 지정된 아이콘(예 : “”버튼)을 선택하는 제스처를 입력할 수 있다.
예를 들어, 아이콘을 선택하는 제스처는 아이콘의 위치에 대응하는 공간의 위치에서 손으로 선택하는 동작을 포함할 수 있다. 아이콘을 선택하는 제스처는 상기 동작에 한정되지 않고, 전자 장치(200)가 인식할 수 있는 다양한 실시예의 제스처를 포함할 수 있다.
도 11c는 일 실시예에 따라, 디스플레이(214)에 표시되는 오브젝트 배치 및 컨텍스트 구성을 저장하는 아이콘을 포함하는 화면을 도시한 도면이다.
사용자는 도 11c와 같이 메뉴 아이콘(502-1)을 선택하는 제스처 입력 이후, 메뉴 리스트(502-2)에서 저장 아이콘(502-3)을 선택하는 제스쳐를 입력하여 전자 장치(200)에 오브젝트 배치 구성을 저장하는 명령을 입력할 수 있다.
일 실시예에 따르면, 프로세서(250)는 카메라(213)가 촬영한 제 1 공간의 영상 및 센서(280)가 측정한 제 1 공간에 존재하는 객체와의 상대적 거리에 기반하여 제 1 공간을 분석하고, 제 1 공간과 관련된 정보를 획득할 수 있다.
예를 들어, 제 1 공간과 관련된 정보는 제 1 공간에 포함된 플레인의 번호, 전자 장치(200)를 기준으로 하는 상대적인 플레인의 방향, 위치, 회전 각도 및/또는 크기 값을 포함할 수 있다.
일 실시예에 따르면, 프로세서(250)는, 제 1 공간에 배치된 오브젝트 및 제 1 컨텍스트의 구성을 메모리(260)에 저장할 수 있다.
예를 들어, 프로세서(250)는 제 1 공간에 포함된 플레인의 번호, 전자 장치(200)를 기준으로 하는 상대적인 플레인의 방향, 위치, 회전 각도 및/또는 크기, 및 오브젝트의 전자 장치(200)를 기준으로 하는 상대적인 위치, 종속되어 있는 플레인에 대한 정보(예 : 플레인의 넘버) 종속된 플레인과의 상대적인 위치, 회전, 크기 값 및/또는 관련 어플리케이션 정보, 배경 효과 정보, 배경 음악 정보 및/또는 햅틱 진동 패턴 정보를 '제 1 구성'의 명칭으로 메모리(260)에 저장할 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 동작 1130에서, 제 6 공간을 분석하고, 제 6 공간의 정보에 기반하여 오브젝트 및 제 1 컨텍스트를 재구성할 수 있다.
일 실시예에 따르면, 프로세서(250)는, 제 6 공간에서 제 1 구성을 불러오는 입력을 획득할 수 있다.
일 실시예에 따르면, 사용자는 전자 장치(200)를 착용한 상태에서, 메모리(260)에 저장된 제 1 구성을 불러오는 명령을 입력할 수 있다.
예를 들어, 사용자는 디스플레이(214)에 표시되는 지정된 아이콘(예 : 어플리케이션 리스트)을 선택하는 제스처 입력 이후, 제 1 구성을 불러오는 명령과 관련된 지정된 아이콘(예 : 제 1 구성 아이콘)을 선택하는 제스처를 입력할 수 있다.
예를 들어, 아이콘을 선택하는 제스처는 아이콘의 위치에 대응하는 공간의 위치에서 손으로 선택하는 동작을 포함할 수 있다. 아이콘을 선택하는 제스처는 상기 동작에 한정되지 않고, 전자 장치(200)가 인식할 수 있는 다양한 실시예의 제스처를 포함할 수 있다.
도 11d는 일 실시예에 따라, 제 6 공간에서 디스플레이(214)에 표시되는 화면의 예시일 수 있다.
도 11d의 그림(a)는 일 실시예에 따라, 오브젝트 배치 및 컨텍스트 구성을 불러오는 명령과 관련된 지정된 아이콘(예 : 제 1 구성 아이콘)을 포함하는 화면을 도시한 도면이다.
사용자는 도 11d의 그림(a)와 같이 메뉴 아이콘(1102-1)을 선택하는 제스처 입력 이후, 메뉴 리스트(1102-2)에서 제 1 구성 아이콘(1102-3)을 선택하는 제스쳐를 입력하여 전자 장치(200)에 오브젝트 배치 및 컨텍스트 구성을 불러오는 명령을 입력할 수 있다.
도 11d의 그림(b)는 일 실시예에 따라, 제 6 공간에 적용된 컨텍스트 구성을 시각화한 도면이다. 도 11d의 그림(b)와 같이, 제 6 공간에서는 제 6 월페이퍼(1110-6) 및/또는 제 6 배경음악(1120-6)이 적용되어 있을 수 있다.
다양한 실시예에 따르면, 프로세서(250)는, 제 6 공간을 분석할 수 있다.
일 실시예에 따르면, 프로세서(250)는 카메라(213)가 촬영한 제 6 공간의 영상 및 센서(280)가 측정한 제 6 공간에 존재하는 객체와의 상대적 거리에 기반하여 제 6 공간을 분석하고, 제 6 공간과 관련된 정보를 획득할 수 있다.
예를 들어, 제 6 공간과 관련된 정보는 제 6 공간에 포함된 플레인의 번호, 전자 장치(200)를 기준으로 하는 상대적인 플레인의 방향, 위치, 회전 각도 및/또는 크기 값을 포함할 수 있다.
일 실시예에 따르면, 프로세서(250)는, 분석된 제 6 공간의 정보에 기반하여 제 1 구성의 오브젝트 및 제 1 컨텍스트를 재구성할 수 있다.
일 실시예에 따르면, 프로세서(250)는 제 1 공간과 제 6 공간을 비교할 수 있다.
예를 들어, 프로세서(250)는 제 1 공간에 포함된 적어도 하나의 플레인의 정보와 제 6 공간에 포함된 적어도 하나의 플레인의 정보를 비교할 수 있다.
일 실시예에 따르면, 프로세서(250)는 제 1 공간과 제 6 공간을 비교한 결과에 기반하여, 프로세서(250)는 제 1 구성의 오브젝트의 구성을 조절하여 배치하고, 제 1 컨텍스트를 재구성할 수 있다.
다양한 실시예에 따르면, 프로세서는, 동작 1140에서, 재구성된 컨텍스트를 출력할 수 있다.
도 11e는, 일 실시예에 따라, 디스플레이(214)에 표시되는 재배치된 오브젝트들(1101-1, 1101-2, 1101-3, 1101-4, 1101-5, 1101-6) 및 전자 장치(200)에서 출력되는 제 1 컨텍스트의 시각화 구성(1110-1, 1120-1)을 포함하는 화면을 도시한 도면이다.
프로세서(250)는, 도 11e의 그림 (a)과 같이 제 1 구성의 오브젝트들(501-1, 501-2, 501-3, 501-4, 501-5, 501-6)을 제 6 공간에 맞게 재배치 및 조절하여, 제 6 공간에서 오브젝트들(1101-1, 1101-2, 1101-3, 1101-4, 1101-5, 1101-6)을 디스플레이(214)에 표시할 수 있다.
프로세서(250)는, 도 11e의 그림 (b)와 같이 제 1 컨텍스트들(1110-1, 1120-1)을 제 6 공간에 적용하여 출력할 수 있다. 예를 들어, 프로세서(250)는 제 1 구성으로 저장한 제 1 컨텍스트들(1110-1, 1120-1)을 제 6 공간에서 동일하게 적용할 수 있다.
도 12는 다양한 실시예에 따른 증강 현실 헤드기어의 프로세서의 동작을 나타내는 흐름도이다.
도 12를 참조하면, 증강 현실 헤드 기어(augmented reality headgear)는 사용자의 눈앞에 사용 가능한 렌즈와 프로세서를 포함한다. 상기 프로세서는 렌즈를 통해 사용자가 볼 수 있는 제1 공간을 분석하고(블록 1201), 제1 공간의 정보 및 렌즈에 표시된 가상 객체의 구성과 관련된 정보를 제1 공간에 나타나도록 저장하고(블록 1202), 상기 렌즈를 통해 사용자가 볼 수 있는 제2 공간을 분석하고(블록 1203), 상기 제1 공간 및 상기 제2 공간의 분석으로부터 도출된 정보에 기반하여 상기 객체의 구성에 따라 상기 제2 공간에 나타난 가상 객체를 상기 렌즈에 표시하도록 설정될 수 있다(블록 1204). 상기 렌즈는 고글 또는 안경 렌즈일 수 있지만 추가 유형의 렌즈가 가능할 수 있다.
제1 공간 분석에서 도출된 정보는 제1 공간에 포함된 적어도 하나의 평면에 대한 정보를 포함하고, 제2 공간 분석에서 도출된 정보는 제2 공간에 포함된 적어도 하나의 평면에 대한 정보를 포함한다. 프로세서는 제1 공간에 포함된 적어도 하나의 평면의 정보와 제2 공간에 포함된 적어도 하나의 평면의 정보를 비교하고(블록 1205) 비교 결과에 기반으로 제2 공간에 등장하는 가상 객체를 표시하도록 구성된다. 비교 결과는 예를 들어, 제1 공간에 포함된 적어도 하나의 평면과 제2 공간에 포함된 적어도 하나의 평면의 대응하는 파라미터 사이의 비율을 정의할 수 있다(블록 1206). 이들 또는 다른 경우에, 프로세서는 비율에 대응하여 제2 공간에 나타나도록 객체의 디스플레이에서 객체의 크기를 조정하도록 구성된다(블록 1207).
다양한 실시예에 따른 전자 장치는, 디스플레이, 공간 내의 실제 객체와의 거리를 감지하는 센서, 전면을 촬영하는 카메라, 메모리 및 프로세서를 포함하고, 상기 프로세서는 상기 카메라 및 상기 센서를 이용하여 제 1 공간을 분석하고, 상기 제 1 공간의 정보 및 상기 제 1 공간에서 사용자에 의하여 배치된 가상 객체인 오브젝트의 구성과 관련된 정보를 상기 메모리에 저장하고, 상기 카메라 및 상기 센서를 이용하여 제 2 공간을 분석하고, 분석된 상기 제 2 공간의 정보에 기반하여, 상기 오브젝트의 구성을 재배치하고, 상기 재배치한 오브젝트를 상기 디스플레이에 표시할 수 있다.
다양한 실시예에 따른 전자 장치에서, 상기 제 1 공간의 정보는 상기 제 1 공간에 포함된 플레인의 정보, 전자 장치를 기준으로 하는 상대적인 플레인의 방향, 위치, 회전 각도, 크기 값, 배경 음악 및 배경 효과 중 적어도 하나를 포함하고, 상기 제 2 공간의 정보는 상기 제 2 공간에 포함된 플레인의 번호, 전자 장치를 기준으로 하는 상대적인 플레인의 방향, 위치, 회전 각도 및/또는 크기 값을 포함 할 수 있다.
다양한 실시예에 따른 전자 장치에서, 상기 오브젝트의 구성과 관련된 정보는, 상기 전자 장치를 기준으로 하는 상대적인 오브젝트의 위치, 종속되어 있는 플레인에 대한 정보, 종속된 플레인과의 상대적인 위치, 회전, 크기 값 및/또는 관련 어플리케이션 정보를 포함할 수 있다.
다양한 실시예에 따른 전자 장치에서, 상기 프로세서는 상기 제 1 공간에 포함된 적어도 하나의 플레인의 정보와 상기 제 2 공간에 포함된 적어도 하나의 플레인의 정보를 비교한 결과에 기반하여, 상기 오브젝트의 구성을 재배치할 수 있다.
다양한 실시예에 따른 전자 장치에서, 상기 프로세서는 상기 제 2 공간과 상기 제 1 공간에 포함된 플레인의 개수, 방향이 일치하고, 크기가 지정된 범위에서 일치함에 대응하여, 상기 제 1 공간에서 상기 오브젝트가 배치된 플레인과, 상기 제 1 공간에서 상기 오브젝트가 배치된 플레인에 대응되는 상기 제 2 공간의 플레인의 크기의 비율에 대응되도록 상기 오브젝트의 크기를 조절하여 배치할 수 있다.
다양한 실시예에 따른 전자 장치에서, 상기 프로세서는 상기 제 2 공간과 상기 제 1 공간에 포함된 플레인의 개수 및 방향이 일치하고, 크기가 지정된 범위 이상 불일치함에 대응하여, 상기 제 1 공간에서 상기 오브젝트가 배치된 플레인에 대응되는 상기 제 2 공간의 플레인의 크기에 상기 오브젝트들이 포함되도록 상기 오브젝트의 위치 및 크기를 조절하여 배치할 수 있다.
다양한 실시예에 따른 전자 장치에서, 상기 프로세서는 상기 제 2 공간과 상기 제 1 공간에 포함된 플레인의 개수가 불일치함에 대응하여, 상기 제 1 공간에서 상기 오브젝트가 배치된 플레인에 대응되는 상기 제 2 공간의 플레인의 특성에 기반하여 상기 오브젝트의 위치 및 크기를 조절하여 배치할 수 있다.
다양한 실시예에 따른 전자 장치에서, 상기 프로세서는 상기 제 1 공간에서 사용자의 오브젝트 배치 입력 및 상기 배치된 오브젝트의 구성을 저장하는 입력에 대응하여, 상기 카메라 및 상기 센서를 이용하여 상기 제 1 공간을 분석하고, 상기 제 2 공간에서 사용자의 상기 저장된 오브젝트의 구성을 불러오는 입력에 대응하여 상기 카메라 및 상기 센서를 이용하여 상기 제 2 공간을 분석할 수 있다.
다양한 실시예에 따른 전자 장치에서, 상기 프로세서는 상기 저장된 오브젝트의 구성을 불러오는 입력이 상기 저장된 오브젝트의 구성 그대로를 불러오는 입력임에 대응하여, 상기 제 2 공간을 분석하지 않고, 상기 저장된 오브젝트의 구성 그대로 상기 디스플레이에 표시할 수 있다.
다양한 실시예에 따른 전자 장치에서, 상기 사용자의 오브젝트 배치 입력은 상기 디스플레이에 표시되는 상기 오브젝트에 대응하는 공간에서 사용자의 제스처 입력을 포함할 수 있다.
다양한 실시예에 따른 전자 장치의 동작 방법은, 카메라 및 센서를 이용하여 제 1 공간을 분석하는 동작, 상기 제 1 공간의 정보 및 상기 제 1 공간에서 사용자에 의하여 배치된 가상 객체인 오브젝트의 구성과 관련된 정보를 메모리에 저장하는 동작, 상기 카메라 및 상기 센서를 이용하여 제 2 공간을 분석하는 동작, 분석된 상기 제 2 공간의 정보에 기반하여, 상기 오브젝트의 구성을 재배치하는 동작 및 상기 재배치한 오브젝트를 디스플레이에 표시하는 동작을 포함할 수 있다.
다양한 실시예에 따른 전자 장치의 동작 방법에서, 상기 제 1 공간의 정보는 상기 제 1 공간에 포함된 플레인의 정보, 전자 장치를 기준으로 하는 상대적인 플레인의 방향, 위치, 회전 각도, 크기 값, 배경 음악 및 배경 효과 중 적어도 하나를 포함하고, 상기 제 2 공간의 정보는 상기 제 2 공간에 포함된 플레인의 번호, 전자 장치를 기준으로 하는 상대적인 플레인의 방향, 위치, 회전 각도 및/또는 크기 값을 포함할 수 있다.
다양한 실시예에 따른 전자 장치의 동작 방법에서, 상기 오브젝트의 구성과 관련된 정보는, 상기 전자 장치를 기준으로 하는 상대적인 오브젝트의 위치, 종속되어 있는 플레인에 대한 정보, 종속된 플레인과의 상대적인 위치, 회전, 크기 값 및/또는 관련 어플리케이션 정보를 포함할 수 있다.
다양한 실시예에 따른 전자 장치의 동작 방법에서, 상기 제 1 공간에 포함된 적어도 하나의 플레인의 정보와 상기 제 2 공간에 포함된 적어도 하나의 플레인의 정보를 비교한 결과에 기반하여, 상기 오브젝트의 구성을 재배치할 수 있다.
다양한 실시예에 따른 전자 장치의 동작 방법에서, 상기 제 2 공간과 상기 제 1 공간에 포함된 플레인의 개수, 방향이 일치하고, 크기가 지정된 범위에서 일치함에 대응하여, 상기 제 1 공간에서 상기 오브젝트가 배치된 플레인과, 상기 제 1 공간에서 상기 오브젝트가 배치된 플레인에 대응되는 상기 제 2 공간의 플레인의 크기의 비율에 대응되도록 상기 오브젝트의 크기를 조절하여 배치하는 동작을 포함할 수 있다.
다양한 실시예에 따른 전자 장치의 동작 방법에서, 상기 제 2 공간과 상기 제 1 공간에 포함된 플레인의 개수 및 방향이 일치하고, 크기가 지정된 범위 이상 불일치함에 대응하여, 상기 제 1 공간에서 상기 오브젝트가 배치된 플레인에 대응되는 상기 제 2 공간의 플레인의 크기에 상기 오브젝트들이 포함되도록 상기 오브젝트의 위치 및 크기를 조절하여 배치하는 동작을 포함할 수 있다.
다양한 실시예에 따른 전자 장치의 동작 방법에서, 상기 제 2 공간과 상기 제 1 공간에 포함된 플레인의 개수가 불일치함에 대응하여, 상기 제 1 공간에서 상기 오브젝트가 배치된 플레인에 대응되는 상기 제 2 공간의 플레인의 특성에 기반하여 상기 오브젝트의 위치 및 크기를 조절하여 배치하는 동작을 포함할 수 있다.
다양한 실시예에 따른 전자 장치의 동작 방법에서, 상기 제 1 공간에서 사용자의 오브젝트 배치 입력 및 상기 배치된 오브젝트의 구성을 저장하는 입력에 대응하여, 상기 카메라 및 상기 센서를 이용하여 상기 제 1 공간을 분석하는 동작, 및 상기 제 2 공간에서 사용자의 상기 저장된 오브젝트의 구성을 불러오는 입력에 대응하여 상기 카메라 및 상기 센서를 이용하여 상기 제 2 공간을 분석하는 동작을 포함할 수 있다.
다양한 실시예에 따른 전자 장치의 동작 방법에서, 상기 저장된 오브젝트의 구성을 불러오는 입력이 상기 저장된 오브젝트의 구성 그대로를 불러오는 입력임에 대응하여, 상기 제 2 공간을 분석하지 않고, 상기 저장된 오브젝트의 구성 그대로 상기 디스플레이에 표시하는 동작을 포함할 수 있다.
다양한 실시예에 따른 전자 장치의 동작 방법에서, 상기 사용자의 오브젝트 배치 입력은 상기 디스플레이에 표시되는 상기 오브젝트에 대응하는 공간에서 사용자의 제스처 입력을 포함할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    디스플레이;
    공간 내의 실제 객체와의 거리를 감지하는 센서;
    전면을 촬영하는 카메라;
    메모리; 및
    프로세서를 포함하고,
    상기 프로세서는
    상기 카메라 및 상기 센서를 이용하여 제 1 공간을 분석하고,
    상기 제 1 공간의 정보 및 상기 제 1 공간에서 사용자에 의하여 배치된 가상 객체인 오브젝트의 구성과 관련된 정보를 상기 메모리에 저장하고,
    상기 카메라 및 상기 센서를 이용하여 제 2 공간을 분석하고,
    분석된 상기 제 2 공간의 정보에 기반하여, 상기 오브젝트의 구성을 재배치하고,
    상기 재배치한 오브젝트를 상기 디스플레이에 표시하는 전자 장치.
  2. 제 1 항에 있어서,
    상기 제 1 공간의 정보는
    상기 제 1 공간에 포함된 플레인의 정보, 전자 장치를 기준으로 하는 상대적인 플레인의 방향, 위치, 회전 각도, 크기 값, 배경 음악 및 배경 효과 중 적어도 하나를 포함하고,
    상기 제 2 공간의 정보는
    상기 제 2 공간에 포함된 플레인의 번호, 전자 장치를 기준으로 하는 상대적인 플레인의 방향, 위치, 회전 각도 및/또는 크기 값을 포함하는
    전자 장치.
  3. 제 1 항에 있어서,
    상기 오브젝트의 구성과 관련된 정보는,
    상기 전자 장치를 기준으로 하는 상대적인 오브젝트의 위치, 종속되어 있는 플레인에 대한 정보, 종속된 플레인과의 상대적인 위치, 회전, 크기 값 및/또는 관련 어플리케이션 정보를 포함하는
    전자 장치.
  4. 제 3 항에 있어서,
    상기 프로세서는
    상기 제 1 공간에 포함된 적어도 하나의 플레인의 정보와 상기 제 2 공간에 포함된 적어도 하나의 플레인의 정보를 비교한 결과에 기반하여, 상기 오브젝트의 구성을 재배치하는
    전자 장치.
  5. 제 4 항에 있어서,
    상기 프로세서는
    상기 제 2 공간과 상기 제 1 공간에 포함된 플레인의 개수, 방향이 일치하고, 크기가 지정된 범위에서 일치함에 대응하여,
    상기 제 1 공간에서 상기 오브젝트가 배치된 플레인과, 상기 제 1 공간에서 상기 오브젝트가 배치된 플레인에 대응되는 상기 제 2 공간의 플레인의 크기의 비율에 대응되도록 상기 오브젝트의 크기를 조절하여 배치하는
    전자 장치.
  6. 제 4 항에 있어서,
    상기 프로세서는
    상기 제 2 공간과 상기 제 1 공간에 포함된 플레인의 개수 및 방향이 일치하고, 크기가 지정된 범위 이상 불일치함에 대응하여,
    상기 제 1 공간에서 상기 오브젝트가 배치된 플레인에 대응되는 상기 제 2 공간의 플레인의 크기에 상기 오브젝트들이 포함되도록 상기 오브젝트의 위치 및 크기를 조절하여 배치하는
    전자 장치.
  7. 제 4 항에 있어서,
    상기 프로세서는
    상기 제 2 공간과 상기 제 1 공간에 포함된 플레인의 개수가 불일치함에 대응하여,
    상기 제 1 공간에서 상기 오브젝트가 배치된 플레인에 대응되는 상기 제 2 공간의 플레인의 특성에 기반하여 상기 오브젝트의 위치 및 크기를 조절하여 배치하는
    전자 장치.
  8. 제 1 항에 있어서,
    상기 프로세서는
    상기 제 1 공간에서 사용자의 오브젝트 배치 입력 및 상기 배치된 오브젝트의 구성을 저장하는 입력에 대응하여,
    상기 카메라 및 상기 센서를 이용하여 상기 제 1 공간을 분석하고,
    상기 제 2 공간에서 사용자의 상기 저장된 오브젝트의 구성을 불러오는 입력에 대응하여
    상기 카메라 및 상기 센서를 이용하여 상기 제 2 공간을 분석하는
    전자 장치.
  9. 제 8 항에 있어서,
    상기 프로세서는
    상기 저장된 오브젝트의 구성을 불러오는 입력이
    상기 저장된 오브젝트의 구성 그대로를 불러오는 입력임에 대응하여,
    상기 제 2 공간을 분석하지 않고, 상기 저장된 오브젝트의 구성 그대로 상기 디스플레이에 표시하는
    전자 장치.
  10. 전자 장치의 동작 방법에 있어서,
    카메라 및 센서를 이용하여 제 1 공간을 분석하는 동작;
    상기 제 1 공간의 정보 및 상기 제 1 공간에서 사용자에 의하여 배치된 가상 객체인 오브젝트의 구성과 관련된 정보를 메모리에 저장하는 동작;
    상기 카메라 및 상기 센서를 이용하여 제 2 공간을 분석하는 동작;
    분석된 상기 제 2 공간의 정보에 기반하여, 상기 오브젝트의 구성을 재배치하는 동작; 및
    상기 재배치한 오브젝트를 디스플레이에 표시하는 동작을 포함하는
    전자 장치의 동작 방법.
  11. 제 10 항에 있어서,
    상기 제 1 공간의 정보는
    상기 제 1 공간에 포함된 플레인의 정보, 전자 장치를 기준으로 하는 상대적인 플레인의 방향, 위치, 회전 각도, 크기 값, 배경 음악 및 배경 효과 중 적어도 하나를 포함하고,
    상기 제 2 공간의 정보는
    상기 제 2 공간에 포함된 플레인의 번호, 전자 장치를 기준으로 하는 상대적인 플레인의 방향, 위치, 회전 각도 및/또는 크기 값을 포함하는
    전자 장치의 동작 방법.
  12. 제 10 항에 있어서,
    상기 오브젝트의 구성과 관련된 정보는,
    상기 전자 장치를 기준으로 하는 상대적인 오브젝트의 위치, 종속되어 있는 플레인에 대한 정보, 종속된 플레인과의 상대적인 위치, 회전, 크기 값 및/또는 관련 어플리케이션 정보를 포함하는
    전자 장치의 동작 방법.
  13. 제 12 항에 있어서,
    상기 제 1 공간에 포함된 적어도 하나의 플레인의 정보와 상기 제 2 공간에 포함된 적어도 하나의 플레인의 정보를 비교한 결과에 기반하여, 상기 오브젝트의 구성을 재배치하는
    전자 장치의 동작 방법.
  14. 제 13 항에 있어서,
    상기 제 2 공간과 상기 제 1 공간에 포함된 플레인의 개수, 방향이 일치하고, 크기가 지정된 범위에서 일치함에 대응하여,
    상기 제 1 공간에서 상기 오브젝트가 배치된 플레인과, 상기 제 1 공간에서 상기 오브젝트가 배치된 플레인에 대응되는 상기 제 2 공간의 플레인의 크기의 비율에 대응되도록 상기 오브젝트의 크기를 조절하여 배치하는 동작을 포함하는
    전자 장치의 동작 방법.
  15. 증강 현실 헤드 기어(augmented reality headgear)로서,
    사용자의 눈앞에 사용되는 렌즈; 및
    프로세서를 포함하고, 상기 프로세서는,
    상기 렌즈를 통해 사용자가 볼 수 있는 제1 공간을 분석하고,
    상기 제1 공간의 정보 및 상기 렌즈에 표시되는 가상 객체의 구성 정보를 상기 제1 공간에 나타나도록 저장하고,
    상기 렌즈를 통해 사용자가 볼 수 있는 제2 공간을 분석하고,
    상기 제1 공간 및 상기 제2 공간의 분석으로부터 도출된 정보에 기반하여 상기 객체의 구성에 따라 상기 제2 공간에 나타난 가상 객체를 상기 렌즈에 디스플레이하도록 설정된 증강 현실 헤드 기어.
PCT/KR2023/010507 2022-08-04 2023-07-20 증강 현실에서 공간에 따라 오브젝트를 배치하는 전자 장치 및 전자 장치의 동작 방법. WO2024029803A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/383,963 US20240054694A1 (en) 2022-08-04 2023-10-26 Electronic device for placing object according to space in augmented reality and operation method of electronic device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0097497 2022-08-04
KR20220097497 2022-08-04
KR10-2022-0153207 2022-11-16
KR1020220153207A KR20240019671A (ko) 2022-08-04 2022-11-16 증강 현실에서 공간에 따라 오브젝트를 배치하는 전자 장치 및 전자 장치의 동작 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/383,963 Continuation US20240054694A1 (en) 2022-08-04 2023-10-26 Electronic device for placing object according to space in augmented reality and operation method of electronic device

Publications (1)

Publication Number Publication Date
WO2024029803A1 true WO2024029803A1 (ko) 2024-02-08

Family

ID=89849260

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/010507 WO2024029803A1 (ko) 2022-08-04 2023-07-20 증강 현실에서 공간에 따라 오브젝트를 배치하는 전자 장치 및 전자 장치의 동작 방법.

Country Status (1)

Country Link
WO (1) WO2024029803A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140130675A (ko) * 2012-02-10 2014-11-11 소니 주식회사 화상 처리 디바이스, 및 컴퓨터 프로그램 제품
US20150187108A1 (en) * 2013-12-31 2015-07-02 Daqri, Llc Augmented reality content adapted to changes in real world space geometry
KR20200098034A (ko) * 2019-02-11 2020-08-20 삼성전자주식회사 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법
KR20210081904A (ko) * 2019-12-24 2021-07-02 엘지전자 주식회사 Xr 컨텐트 제공 방법 및 디바이스
KR102308937B1 (ko) * 2017-02-28 2021-10-05 매직 립, 인코포레이티드 혼합 현실 디바이스에서의 가상 및 실제 객체 레코딩

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140130675A (ko) * 2012-02-10 2014-11-11 소니 주식회사 화상 처리 디바이스, 및 컴퓨터 프로그램 제품
US20150187108A1 (en) * 2013-12-31 2015-07-02 Daqri, Llc Augmented reality content adapted to changes in real world space geometry
KR102308937B1 (ko) * 2017-02-28 2021-10-05 매직 립, 인코포레이티드 혼합 현실 디바이스에서의 가상 및 실제 객체 레코딩
KR20200098034A (ko) * 2019-02-11 2020-08-20 삼성전자주식회사 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법
KR20210081904A (ko) * 2019-12-24 2021-07-02 엘지전자 주식회사 Xr 컨텐트 제공 방법 및 디바이스

Similar Documents

Publication Publication Date Title
WO2021246660A1 (ko) 플렉서블 디스플레이를 구비한 전자 장치 및 그 동작 방법
WO2022019497A1 (ko) 디스플레이 및 카메라 장치를 포함하는 전자 장치
WO2023017954A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치 및 이의 제어 방법
WO2023287007A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치 및 그의 동작 방법
WO2022050566A1 (ko) 슬라이더블 전자 장치 및 상기 전자 장치에서 투명 디스플레이를 이용하는 방법
WO2024029803A1 (ko) 증강 현실에서 공간에 따라 오브젝트를 배치하는 전자 장치 및 전자 장치의 동작 방법.
WO2022050544A1 (ko) 슬라이더블 전자 장치 및 상기 전자 장치에서 투명 디스플레이를 이용하는 방법
WO2022030746A1 (ko) 관성 센서를 이용하여 전자 장치의 착용 상태를 감지하는 전자 장치 및 그 제어 방법
WO2021246661A1 (ko) 플렉서블 디스플레이를 구비한 전자 장치 및 그 동작 방법
WO2024029784A1 (ko) 가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법
WO2023090690A1 (ko) 가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법
WO2023085763A1 (ko) 전자 장치와 웨어러블 전자 장치 사이에서 증강 현실 서비스에 관련된 컨텐츠를 제공하는 방법 및 장치
WO2024191063A1 (ko) 사용자 인터페이스를 제공하는 방법 및 이를 지원하는 웨어러블 전자 장치
WO2024117730A1 (ko) 물체를 식별하는 전자 장치 및 이의 제어 방법
WO2024029779A1 (ko) 열 전달 부재를 포함하는 웨어러블 전자 장치
WO2024058436A1 (ko) 영상을 표시하는 전자 장치 및 이의 제어 방법
WO2024122946A1 (ko) 가상 객체를 표시하는 전자 장치 및 이의 동작 방법
WO2024029732A1 (ko) 시각적 왜곡 보정을 위한 전자 장치 및 방법
WO2022231193A1 (ko) 카메라 모듈 및 이를 포함하는 전자 장치
WO2024029699A1 (ko) 가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법
WO2023080767A1 (ko) 가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법
WO2022014994A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치
WO2024049126A1 (ko) 어플리케이션의 속성 정보를 제어하는 전자 장치 및 이의 제어 방법
WO2024039165A1 (ko) 외부 전자 장치의 설정 정보를 결정하는 전자 장치 및 전자 장치의 동작 방법
WO2024039199A1 (ko) 스피커 조립체 및 이를 포함하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23850310

Country of ref document: EP

Kind code of ref document: A1