WO2024043550A1 - 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 방법 및 이를 지원하는 전자 장치 - Google Patents

원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 방법 및 이를 지원하는 전자 장치 Download PDF

Info

Publication number
WO2024043550A1
WO2024043550A1 PCT/KR2023/010695 KR2023010695W WO2024043550A1 WO 2024043550 A1 WO2024043550 A1 WO 2024043550A1 KR 2023010695 W KR2023010695 W KR 2023010695W WO 2024043550 A1 WO2024043550 A1 WO 2024043550A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
remote control
control device
external electronic
processor
Prior art date
Application number
PCT/KR2023/010695
Other languages
English (en)
French (fr)
Inventor
문춘경
김도형
유주연
이승준
임용준
한훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2024043550A1 publication Critical patent/WO2024043550A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/80—Homes; Buildings
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/30—Control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • H04Q9/04—Arrangements for synchronous operation

Definitions

  • This disclosure relates to a method for controlling an external electronic device using a remote control device and an electronic device supporting the same.
  • wearable electronic devices such as head mounting devices (HMD), smart watches (or bands), contact lens-type devices, ring-type devices, glove-type devices, shoe-type devices, or garment-type devices. It is being commercialized. Since wearable electronic devices are worn directly on the body, portability and user accessibility can be improved.
  • An HMD device is a device worn on a user's head or face and can provide augmented reality (AR) to the user.
  • AR augmented reality
  • an HMD device that provides augmented reality may be implemented in the form of glasses and provide information about objects in the form of images or text to the user in at least a portion of the user's field of view.
  • HMD devices can provide virtual reality (VR) to users. For example, it is possible to provide an excellent sense of immersion by outputting independent images to both eyes of the user and outputting content provided from an external input to the user in the form of video or sound.
  • HMD devices may provide mixed reality (MR) and/or extended reality (XR).
  • MR mixed reality
  • XR extended reality
  • a user can control an electronic device (eg, home appliance) using a remote control device (eg, remote control).
  • a user can control the electronic device using a remote control device dedicated to the electronic device.
  • a remote control device dedicated to the electronic device.
  • a user can control the functions of a TV using a TV remote control device and control the functions of an air conditioner using an air conditioner's remote control.
  • the user may have the inconvenience of having to use a remote control device dedicated to the electronic device every time he or she uses the electronic device.
  • the present disclosure uses a remote control device that allows a user wearing an electronic device (e.g., a HMD device) to control an electronic device (e.g., a home appliance) that the user wants using a single remote control device. It relates to a method for controlling an external electronic device and an electronic device that supports the same.
  • an electronic device e.g., a HMD device
  • an electronic device e.g., a home appliance
  • An electronic device may include a communication module and at least one processor. At least one processor may be configured to detect the first remote control device. At least one processor may be configured to establish a communication connection with the first remote control device through the communication module. At least one processor may be configured to determine a first external electronic device to be controlled using the first remote control device. At least one processor may be configured to enable the communication module to establish a communication connection between the electronic device and the first external electronic device. At least one processor may be configured to perform an operation for mapping at least one key of the first remote control device and at least one function of the first external electronic device. At least one processor may be configured to control the first external electronic device to perform the at least one function using at least one key of the first remote control device and the first remote control device.
  • a method for controlling an external electronic device using a remote control device in an electronic device may include detecting a first remote control device.
  • the method may include establishing a communication connection with the first remote control device through a communication module of the electronic device.
  • the method may include determining a first external electronic device to be controlled using the first remote control device.
  • the method may include establishing a communication connection between the electronic device and the first external electronic device.
  • the method may include performing an operation for mapping at least one key of the first remote control device and at least one function of the first external electronic device.
  • the method may include controlling the first external electronic device to perform the at least one function using the first remote control device.
  • An electronic device may include a communication module and at least one processor. At least one processor may be configured to detect the first external electronic device. At least one processor may be configured to enable the communication module to establish a communication connection between the electronic device and the first external electronic device. At least one processor may be configured to detect the first remote control device. At least one processor may be configured to establish a communication connection with the first remote control device through the communication module. The at least one processor may be configured to perform an operation for mapping at least one key of the first remote control device and at least one function of the first external electronic device. The at least one processor may be configured to control the first external electronic device to perform the at least one function using the first remote control device.
  • a non-transitory computer-readable medium recording computer-executable instructions, wherein the computer-executable instructions, when executed, cause an electronic device including at least one processor to acquire at least one image. It can be.
  • the computer-executable instructions when executed, may configure an electronic device including at least one processor to obtain at least one region of interest associated with an object within the at least one image.
  • the computer-executable instructions when executed, may configure an electronic device including at least one processor to detect a first remote control device.
  • the computer-executable instructions, when executed, may be configured to cause an electronic device including at least one processor to establish a communication connection with the first remote control device through the communication module.
  • the computer-executable instructions when executed, may be configured to cause an electronic device including at least one processor to determine a first external electronic device to be controlled using the first remote control device.
  • the computer-executable instructions may configure an electronic device including at least one processor to configure the communication module to establish a communication connection between the electronic device and the first external electronic device.
  • the computer-executable instructions when executed, cause an electronic device including at least one processor to perform an operation to map at least one key of the first remote control device and at least one function of the first external electronic device. It can be configured to perform.
  • the computer-executable instructions when executed, cause an electronic device including at least one processor to use at least one key of the first remote control device and the first remote control device to cause the first external electronic device to: It may be configured to control to perform the at least one function.
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to one embodiment.
  • FIG. 2 is an example diagram for explaining the structure of an electronic device according to an embodiment.
  • Figure 3 is a block diagram of an electronic device, according to one embodiment.
  • FIG. 4 is a flowchart illustrating a method for controlling an external electronic device using a remote control device, according to an embodiment.
  • FIGS. 5A and 5B are exemplary diagrams illustrating a method of detecting a first remote control device according to an embodiment.
  • FIG. 6 is a flowchart illustrating a method for establishing a connection with a first remote control device, according to one embodiment.
  • Figure 7 is an example diagram explaining a method of establishing a connection with a first remote control device, according to an embodiment.
  • FIG. 8 is a flowchart illustrating a method of determining a first external electronic device, according to an embodiment.
  • FIG. 9 is an example diagram illustrating a method of determining a first external electronic device, according to an embodiment.
  • Figure 10 is a flowchart for determining a first external electronic device, according to one embodiment.
  • FIG. 11 is an example diagram illustrating a method of determining a first external electronic device, according to an embodiment.
  • FIG. 12A is a flowchart illustrating a method of mapping at least one key of a first remote control device and at least one function of a first external electronic device, according to an embodiment.
  • FIG. 12B is an example diagram illustrating a method of mapping at least one key of a first remote control device and at least one function of a first external electronic device, according to an embodiment.
  • FIG. 13A is a flowchart illustrating a method of mapping at least one key of a first remote control device and at least one function of a first external electronic device, according to an embodiment.
  • FIG. 13B is an example diagram illustrating a method of mapping at least one key of a first remote control device and at least one function of a first external electronic device, according to an embodiment.
  • 14A, 14B, and 14C illustrate a method of mapping at least one key of a first remote control device and at least one function of a first external electronic device using a second mapping method, according to an embodiment. These are examples to explain.
  • FIG. 15 is an example diagram illustrating a method of mapping at least one key of a first remote control device and at least one function of a first external electronic device using a third mapping method, according to an embodiment.
  • FIG. 16 is an example diagram illustrating a method of controlling a first external electronic device to perform at least one function using a first remote control device, according to an embodiment.
  • FIG. 17 is a flowchart illustrating a mode related to switching of a first external electronic device, according to an embodiment.
  • FIG. 18 is an example diagram illustrating a mode related to switching of a first external electronic device, according to an embodiment.
  • FIG. 19 is a system diagram explaining a method for controlling an external electronic device using a remote control device, according to an embodiment.
  • FIG. 20 is a flowchart illustrating a method for controlling an external electronic device using a remote control device, according to an embodiment.
  • FIG. 21 is an example diagram illustrating a method for controlling an external electronic device using a remote control device, according to an embodiment.
  • FIG. 22 is an example diagram illustrating a method for controlling an external electronic device using a remote control device, according to an embodiment.
  • FIG. 23A is a flowchart illustrating a method for controlling an external electronic device using a remote control device, according to an embodiment.
  • FIG. 23B is an example diagram illustrating a method for controlling an external electronic device using a remote control device, according to an embodiment.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100, according to one embodiment.
  • the electronic device 101 communicates with the electronic device 102 through a first network 198 (e.g., a short-range wireless communication network) or a second network 199. It is possible to communicate with at least one of the electronic device 104 or the server 108 through (e.g., a long-distance wireless communication network). According to one embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • a first network 198 e.g., a short-range wireless communication network
  • a second network 199 e.g., a long-distance wireless communication network.
  • the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or may include an antenna module 197.
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added to the electronic device 101.
  • some of these components e.g., sensor module 176, camera module 180, or antenna module 197) are integrated into one component (e.g., display module 160). It can be.
  • the processor 120 for example, executes software (e.g., program 140) to operate at least one other component (e.g., hardware or software component) of the electronic device 101 connected to the processor 120. It can be controlled and various data processing or calculations can be performed. According to one embodiment, as at least part of data processing or computation, the processor 120 stores instructions or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132. The commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • software e.g., program 140
  • the processor 120 stores instructions or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132.
  • the commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • the processor 120 includes the main processor 121 (e.g., a central processing unit or an application processor) or an auxiliary processor 123 that can operate independently or together (e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • the main processor 121 e.g., a central processing unit or an application processor
  • an auxiliary processor 123 e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
  • the electronic device 101 includes a main processor 121 and a secondary processor 123
  • the secondary processor 123 may be set to use lower power than the main processor 121 or be specialized for a designated function. You can.
  • the auxiliary processor 123 may be implemented separately from the main processor 121 or as part of it.
  • the auxiliary processor 123 may, for example, act on behalf of the main processor 121 while the main processor 121 is in an inactive (e.g., sleep) state, or while the main processor 121 is in an active (e.g., application execution) state. ), together with the main processor 121, at least one of the components of the electronic device 101 (e.g., the display module 160, the sensor module 176, or the communication module 190) At least some of the functions or states related to can be controlled.
  • co-processor 123 e.g., image signal processor or communication processor
  • may be implemented as part of another functionally related component e.g., camera module 180 or communication module 190. there is.
  • the auxiliary processor 123 may include a hardware structure specialized for processing artificial intelligence models.
  • Artificial intelligence models can be created through machine learning. For example, such learning may be performed in the electronic device 101 itself on which the artificial intelligence model is performed, or may be performed through a separate server (e.g., server 108).
  • Learning algorithms may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but It is not limited.
  • An artificial intelligence model may include multiple artificial neural network layers.
  • Artificial neural networks include deep neural network (DNN), convolutional neural network (CNN), recurrent neural network (RNN), restricted boltzmann machine (RBM), belief deep network (DBN), bidirectional recurrent deep neural network (BRDNN), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the examples described above.
  • artificial intelligence models may additionally or alternatively include software structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101. Data may include, for example, input data or output data for software (e.g., program 140) and instructions related thereto.
  • Memory 130 may include volatile memory 132 or non-volatile memory 134.
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142, middleware 144, or application 146.
  • the input module 150 may receive commands or data to be used in a component of the electronic device 101 (e.g., the processor 120) from outside the electronic device 101 (e.g., a user).
  • the input module 150 may include, for example, a microphone, mouse, keyboard, keys (eg, buttons), or digital pen (eg, stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101.
  • the sound output module 155 may include, for example, a speaker or a receiver. Speakers can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 can visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector, and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 170 can convert sound into an electrical signal or, conversely, convert an electrical signal into sound. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device (e.g., directly or wirelessly connected to the electronic device 101). Sound may be output through the electronic device 102 (e.g., speaker or headphone).
  • the electronic device 102 e.g., speaker or headphone
  • the sensor module 176 detects the operating state (e.g., power or temperature) of the electronic device 101 or the external environmental state (e.g., user state) and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 includes, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 177 may support one or more designated protocols that can be used to connect the electronic device 101 directly or wirelessly with an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 can convert electrical signals into mechanical stimulation (e.g., vibration or movement) or electrical stimulation that the user can perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 can capture still images and moving images.
  • the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 can manage power supplied to the electronic device 101.
  • the power management module 188 may be implemented as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101.
  • the battery 189 may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • Communication module 190 is configured to provide a direct (e.g., wired) communication channel or wireless communication channel between electronic device 101 and an external electronic device (e.g., electronic device 102, electronic device 104, or server 108). It can support establishment and communication through established communication channels. Communication module 190 operates independently of processor 120 (e.g., an application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication.
  • processor 120 e.g., an application processor
  • the communication module 190 may be a wireless communication module 192 (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (e.g., : LAN (local area network) communication module, or power line communication module) may be included.
  • a wireless communication module 192 e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 e.g., : LAN (local area network) communication module, or power line communication module
  • the corresponding communication module is a first network 198 (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (e.g., legacy It may communicate with an external electronic device 104 through a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network
  • the wireless communication module 192 uses subscriber information (e.g., International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
  • subscriber information e.g., International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 192 may support 5G networks after 4G networks and next-generation communication technologies, for example, NR access technology (new radio access technology).
  • NR access technology provides high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low latency). -latency communications)) can be supported.
  • the wireless communication module 192 may support high frequency bands (eg, mmWave bands), for example, to achieve high data rates.
  • the wireless communication module 192 uses various technologies to secure performance in high frequency bands, for example, beamforming, massive array multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. It can support technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna.
  • the wireless communication module 192 may support various requirements specified in the electronic device 101, an external electronic device (e.g., electronic device 104), or a network system (e.g., second network 199).
  • the wireless communication module 192 supports Peak data rate (e.g., 20 Gbps or more) for realizing eMBB, loss coverage (e.g., 164 dB or less) for realizing mmTC, or U-plane latency (e.g., 164 dB or less) for realizing URLLC.
  • Peak data rate e.g., 20 Gbps or more
  • loss coverage e.g., 164 dB or less
  • U-plane latency e.g., 164 dB or less
  • the antenna module 197 may transmit or receive signals or power to or from the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator made of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is connected to the plurality of antennas by, for example, the communication module 190. can be selected. Signals or power may be transmitted or received between the communication module 190 and an external electronic device through the at least one selected antenna.
  • other components eg, radio frequency integrated circuit (RFIC) may be additionally formed as part of the antenna module 197.
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • a mmWave antenna module includes: a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side) of the printed circuit board and capable of transmitting or receiving signals in the designated high frequency band. can do.
  • a mmWave antenna module includes: a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side)
  • peripheral devices e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199.
  • Each of the external electronic devices 102 or 104 may be of the same or different type as the electronic device 101.
  • all or part of the operations performed in the electronic device 101 may be executed in one or more of the external electronic devices 102, 104, or 108.
  • the electronic device 101 may perform the function or service instead of executing the function or service on its own.
  • one or more external electronic devices may be requested to perform at least part of the function or service.
  • One or more external electronic devices that have received the request may execute at least part of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device 101.
  • the electronic device 101 may process the result as is or additionally and provide it as at least part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology can be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of Things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or server 108 may be included in the second network 199.
  • the electronic device 101 may be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
  • An electronic device may be of various types.
  • Electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, or home appliances.
  • Electronic devices according to embodiments of this document are not limited to the above-described devices.
  • first, second, or first or second may be used simply to distinguish one component from another, and to refer to that component in other respects (e.g., importance or order) is not limited.
  • One (e.g., first) component is said to be “coupled” or “connected” to another (e.g., second) component, with or without the terms “functionally” or “communicatively.”
  • any of the components can be connected to the other components directly (e.g. wired), wirelessly, or through a third component.
  • module used in one embodiment of this document may include a unit implemented in hardware, software, or firmware, and may be interchangeable with terms such as logic, logic block, component, or circuit, for example. can be used
  • a module may be an integrated part or a minimum unit of the parts or a part thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • One embodiment of the present document is one or more instructions stored in a storage medium (e.g., built-in memory 136 or external memory 138) that can be read by a machine (e.g., electronic device 101). It may be implemented as software (e.g., program 140) including these.
  • a processor e.g., processor 120
  • the one or more instructions may include code generated by a compiler or code that can be executed by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves), and this term refers to cases where data is semi-permanently stored in the storage medium. There is no distinction between temporary storage cases.
  • a method according to an embodiment disclosed in this document may be provided and included in a computer program product.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play Store TM ) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component (e.g., module or program) of the above-described components may include a single or multiple entities, and some of the multiple entities may be separately placed in other components.
  • one or more of the above-described corresponding components or operations may be omitted, or one or more other components or operations may be added.
  • multiple components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components in the same or similar manner as those performed by the corresponding component of the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, omitted, or , or one or more other operations may be added.
  • FIG. 2 is an example diagram for explaining the structure of the electronic device 201 according to an embodiment.
  • the electronic device 201 (e.g., electronic device 101) includes one or more first cameras 211-1 and 211-2 and one or more second cameras 212. -1, 212-2), and one or more third cameras 213.
  • images acquired through one or more first cameras 211-1 and 211-2 may be used for detecting a hand gesture by a user, tracking the user's head, and/or spatial recognition.
  • one or more first cameras 211-1 and 211-2 may be global shutter (GS) cameras.
  • GS global shutter
  • one or more first cameras 211-1 and 211-2 may perform a simultaneous localization and mapping (SLAM) operation through depth photography. In one embodiment, one or more first cameras 211-1 and 211-2 may perform spatial recognition for 6 degrees of freedom (6DoF).
  • SLAM simultaneous localization and mapping
  • 6DoF 6 degrees of freedom
  • images acquired through one or more second cameras 212-1 and 212-2 may be used to detect and track the user's pupils.
  • one or more of the second cameras 212-1 and 212-2 may be GS cameras.
  • the one or more second cameras 212-1 and 212-2 may correspond to the left and right eyes, respectively, and the performance of the one or more second cameras 212-1 and 212-2 is the same. can do.
  • one or more third cameras 213 may be high-resolution cameras. In one embodiment, one or more third cameras 213 may perform an auto-focusing (AF) function and a shake correction function. In one embodiment, the one or more third cameras 213 may be GS cameras or rolling shutter (RS) cameras.
  • AF auto-focusing
  • RS rolling shutter
  • the electronic device 201 may include one or more light emitting elements 214-1 and 214-2.
  • the light emitting elements 214-1 and 214-2 may be different from the light source described later that irradiates light to the screen output area of the display.
  • the light emitting elements (214-1, 214-2) perform eye detection when detecting and tracking the user's pupils through one or more second cameras (212-1, 212-2). Light can be irradiated to facilitate this.
  • the light emitting elements 214-1 and 214-2 may each include a light emitting diode (LED). In one embodiment, the light emitting elements 214-1 and 214-2 may emit light in the infrared region. In one embodiment, the light emitting elements 214-1 and 214-2 may be attached around the frame of the electronic device 201. In one embodiment, the light-emitting elements 214-1 and 214-2 are located around one or more first cameras 211-1 and 211-2, and when the electronic device 201 is used in a dark environment, one or more Gesture detection, head tracking, and spatial recognition by the first cameras 211-1 and 211-2 can be assisted. In one embodiment, the light-emitting elements 214-1 and 214-2 are located around one or more third cameras 213, and when the electronic device 201 is used in a dark environment, the one or more third cameras 213 ) can assist in image acquisition.
  • LED light emitting diode
  • the electronic device 201 may include batteries 235-1 and 235-2.
  • the batteries 235-1 and 235-2 may store power to operate the remaining components of the electronic device 201.
  • the electronic device 201 includes a first display 251, a second display 252, one or more input optical members 253-1 and 253-2, and one or more transparent members 290-1. , 290-2), and one or more screen display portions 254-1 and 254-2.
  • the first display 251 and the second display 252 may be, for example, a liquid crystal display (LCD), a digital mirror device (DMD), or a silicon liquid crystal display.
  • the device may include a liquid crystal on silicon (LCoS), an organic light emitting diode (OLED), or a micro light emitting diode (micro LED).
  • the electronic device 201 transmits light to the screen output area of the display. It may include a light source that irradiates. In one embodiment, when the first display 251 and the second display 252 are capable of generating light on their own (for example, when made of one of organic light emitting diodes or micro LEDs), the electronic device 201 is installed separately. Even if it does not include a light source, a virtual image of relatively good quality can be provided to the user.
  • one or more transparent members 290-1 and 290-2 may be disposed to face the user's eyes when the user wears the electronic device 201.
  • the one or more transparent members 290-1 and 290-2 may include at least one of a glass plate, a plastic plate, or a polymer.
  • the user when wearing the electronic device 201, the user can view the outside world through one or more transparent members 290-1 and 290-2.
  • one or more input optical members 253-1 and 253-2 may guide light generated by the first display 251 and the second display 252 to the user's eyes.
  • a first display 251 and a second display 252 are displayed on one or more screen display portions 254-1 and 254-2 on one or more transparent members 290-1 and 290-2.
  • An image based on the light generated is formed, and the user can see the image formed on one or more screen display portions 254-1 and 254-2.
  • the electronic device 201 may include one or more optical waveguides (not shown).
  • the optical waveguide can transmit light generated by the first display 251 and the second display 252 to the user's eyes.
  • the electronic device 201 may include one optical waveguide corresponding to the left eye and the right eye.
  • the optical waveguide may include at least one of glass, plastic, or polymer.
  • the optical waveguide may include a nanopattern formed on one of its inner or outer surfaces, for example, a polygonal or curved grating structure.
  • the optical waveguide may include a free-form prism. In this case, the optical waveguide may provide incident light to the user through a reflection mirror.
  • the optical waveguide includes at least one of at least one diffractive element (e.g., a diffractive optical element (DOE), a holographic optical element (HOE)) or a reflective element (e.g., a reflective mirror), and is included in the optical waveguide.
  • a diffractive element e.g., a diffractive optical element (DOE), a holographic optical element (HOE)
  • a reflective element e.g., a reflective mirror
  • Display light emitted from a light source may be guided to the user's eyes using at least one diffractive element or reflective element.
  • the diffractive element may include an input/output optical member.
  • the reflective element may include a member that causes total reflection.
  • the electronic device 201 may include one or more voice input devices 262-1, 262-2, and 262-3 and one or more voice output devices 263-1 and 263-2. there is.
  • the electronic device 201 may include a first PCB 270-1 and a second PCB 270-2.
  • the first PCB (270-1) and the second PCB (270-2) include one or more first cameras (211-1, 211-2), one or more second cameras (212-1, 212-2), It may be set to transmit electrical signals to components included in the electronic device 201, such as one or more third cameras 213, displays, audio modules, and sensors.
  • the first PCB 270-1 and the second PCB 270-2 may include a flexible printed circuit board (FPCB).
  • the first PCB 270-1 and the second PCB 270-2 may each include a first substrate, a second substrate, and an interposer disposed between the first substrate and the second substrate. You can.
  • Figure 3 is a block diagram of an electronic device 301, according to one embodiment.
  • the electronic device 301 may be included in the electronic device 101 of FIG. 1 or the electronic device 201 of FIG. 2 .
  • electronic device 301 may be a HMD device, capable of providing augmented reality, virtual reality, mixed reality, and/or extended reality.
  • the electronic device 301 includes a communication module 310, a camera module 320, a display module 330, a sensor 340, an audio module 341, a microphone 342, and a speaker 343. , memory 350, and/or processor 360.
  • communication module 310 may be included in communication module 190 of FIG. 1 .
  • the communication module 310 may communicate and connect the electronic device 301 with a remote control device (eg, remote control), a server, and/or at least one external electronic device.
  • a remote control device eg, remote control
  • the communication module 310 can communicate and connect the electronic device 301 and the remote control device.
  • the communication module 310 connects the electronic device 301 and a server (e.g., IoT server) that allows control of external electronic devices using Internet of Things (IoT) technology. You can.
  • the communication module 310 may communicate and connect the electronic device 301 and at least one external electronic device (eg, an IoT device registered in an IoT server).
  • devices that the communication module 310 can connect to the electronic device 301 are not limited to the above-mentioned remote control device, server, and/or at least one external electronic device.
  • communication module 310 may receive commands from a remote control device.
  • a short-range communication module e.g., Bluetooth, Wi-Fi
  • an infrared (IR) communication module also referred to as an “IR sensor” may receive commands from a remote control device that is in communication communication with the electronic device 301 .
  • the communication module 310 for receiving commands from a remote control device is not limited to the short-range communication module and IR communication module described above.
  • camera module 320 may be included in camera module 180 of FIG. 1 .
  • the camera module 320 may include a plurality of cameras.
  • the camera module 320 may include cameras for detecting hand gestures by a user, tracking the user's head, and/or spatial recognition (e.g., one or more first cameras 211-1, 211 of FIG. 2 -2)) may be included.
  • the camera module 320 may include cameras (e.g., one or more second cameras 212-1 and 212-2 in FIG. 2) used to detect and track the user's eyes.
  • the camera module 320 may include a camera (eg, the third camera 213 in FIG. 2) for performing an automatic focusing function and a shake correction function.
  • the cameras included in the camera module 320 are not limited to the examples described above, and the camera module 320 may not include at least some of the cameras described above.
  • the display module 330 may be included in the display module 160 of FIG. 1 .
  • sensor 340 may obtain information about the movement (and direction) of the electronic device.
  • sensor 340 may include a six-axis sensor, a magnetic sensor, a proximity sensor, and/or an optical sensor.
  • the audio module 341 may be included in the audio module 170 of FIG. 1.
  • microphone 342 may be included in input module 150 of FIG. 1 .
  • speaker 343 may be included in sound output module 155 of FIG. 1 .
  • memory 350 may be included in memory 130 of FIG. 1 .
  • the memory 350 may store information for performing an operation to control an external electronic device using a remote control device. Information stored by the memory 350 will be described later.
  • processor 360 may be included in processor 120 of FIG. 1 .
  • the processor 360 may generally control operations for controlling an external electronic device using a remote control device.
  • the processor 360 may include one or more processors to perform an operation to control an external electronic device using a remote control device. The operation of the processor 360 to control an external electronic device using a remote control device will be described with reference to FIG. 4 and below.
  • the electronic device 301 includes a communication module 310, a camera module 320, a display module 330, a sensor 340, a memory 350, an audio module 341, a microphone 342, and a speaker ( 343), and the processor 360, but is not limited thereto.
  • the electronic device 301 may further include at least one of the components shown in FIG. 1 or FIG. 2 .
  • the electronic device 301 may not include at least one of the components shown in FIG. 3 .
  • the electronic device 301 may include a communication module 310 and at least one processor 360.
  • At least one processor 360 may be configured to detect the first remote control device.
  • At least one processor 360 may be configured to establish a communication connection with the first remote control device through the communication module 310.
  • At least one processor 360 may be configured to determine a first external electronic device to be controlled using the first remote control device.
  • At least one processor 360 may be configured to control the communication module 310 so that the communication module 310 establishes a communication connection between the electronic device 301 and the first external electronic device.
  • At least one processor 360 may be configured to perform an operation for mapping at least one key of the first remote control device and at least one function of the first external electronic device.
  • At least one processor 360 is configured to control the first external electronic device to perform the at least one function using at least one key of the first remote control device and the first remote control device. You can.
  • the electronic device 301 further includes a camera module 320, and the at least one processor 360 acquires an image through the camera module 320 and operates based on the image. , It may be configured to detect the first remote control device that exists in a range corresponding to the line of sight of the user wearing the electronic device 301.
  • the at least one processor 360 detects movement of the first remote control device and, based on detecting the movement of the first remote control device, generates a first remote control device corresponding to the first remote control device. 2 It may be configured to request an external electronic device to forward a command of the first remote control device to the electronic device 301 and establish a communication connection with the first remote control device.
  • the at least one processor 360 communicates with the first remote control device via the communication module 310 from the first remote control device via the second external electronic device and the server. It may be configured to receive a user input input to the first remote control device for a communication connection, and to establish a communication connection with the first remote control device based on the user input.
  • the at least one processor 360 detects the first external electronic device, and the communication module 310 establishes a communication connection between the first external electronic device and the electronic device 301. It may be configured to control the communication module 310 to set .
  • the at least one processor 360 outputs a list of external electronic devices that can be controlled using the first remote control device, based on the communication connection with the first remote control device being established, Based on the user input to the list, the first external electronic device is determined among the external electronic devices, and the communication module 310 establishes a communication connection between the first external electronic device and the electronic device 301. It may be configured to control the communication module 310 to set .
  • the at least one processor 360 configures at least one object corresponding to at least one function of the first external electronic device to be arranged in a three-dimensional space around the electronic device 301.
  • the at least one object is displayed through the display module 330 of the electronic device 301 so that it is visible to the user wearing the electronic device 301, and among the at least one object, the object is visible to the user's gaze. Selecting a corresponding object and, through the communication module 310, information about the key of the first remote control device to which the user input is to be mapped, from the first remote control device, a function corresponding to the object and may be configured to map functions corresponding to the selected object to keys of the first remote control device.
  • the at least one processor 360 is configured to group groups that prioritize the at least one function based on the user's usage history for each of the at least one function of the first external electronic device. and, based on the priorities of the groups, display the at least one object through the display module 330 so that the user sees it as being placed in a three-dimensional space around the electronic device 301. It may be configured to display at least one object.
  • the at least one processor 360 is configured to operate the first remote control device when the at least one function of the first external electronic device is mapped to at least one key of the first remote control device.
  • An object representing at least one function mapped to overlap with the at least one key may be configured to display through the display module 330 of the electronic device 301.
  • the electronic device 301 may include a communication module 310 and at least one processor 360.
  • At least one processor 360 may be configured to detect a first external electronic device.
  • At least one processor 360 may be configured to control the communication module 310 so that the communication module 310 establishes a communication connection between the electronic device 301 and the first external electronic device.
  • At least one processor 360 may be configured to detect the first remote control device.
  • At least one processor 360 may be configured to establish a communication connection with the first remote control device through the communication module 310.
  • the at least one processor 360 may be configured to perform an operation for mapping at least one key of the first remote control device and at least one function of the first external electronic device.
  • the at least one processor 360 may be configured to control the first external electronic device to perform the at least one function using the first remote control device.
  • the at least one processor 360 is configured to include at least one remote control device capable of controlling the first external electronic device when the first external electronic device and the electronic device 301 are connected in communication. It may be configured to display information about through the display module 330 of the electronic device 301.
  • FIG. 4 is a flowchart 400 illustrating a method for controlling an external electronic device using a remote control device, according to an embodiment.
  • processor 360 may detect a first remote control device.
  • the processor 360 may detect (or recognize) a remote control device (hereinafter referred to as a “first remote control device”) for controlling an external electronic device.
  • first remote control device a remote control device for controlling an external electronic device.
  • the processor 360 may detect the first remote control device based on an image acquired through the camera module 320.
  • the processor 360 detects a user wearing the electronic device 301 through the camera module 320 (e.g., one or more second cameras 212-1 and 212-2 of FIG. 2). gaze can be detected.
  • the processor 360 through the camera module 320 (e.g., one or more first cameras 211-1 and 211-2 of FIG. 2), selects a range (e.g., view) corresponding to the user's gaze. ) can obtain an image of the first remote control device located within.
  • the processor 360 may detect the first remote control device by comparing the acquired image with a plurality of images stored in the memory 350 and each including remote control devices.
  • the processor 360 retrieves information about the first remote control device from the memory 350 (e.g., type, name, and model name of the first remote control device, and what the first remote control device performs). functions, external electronic devices dedicated to the first remote control device, and operating status) can be obtained.
  • information about the first remote control device e.g., type, name, and model name of the first remote control device, and what the first remote control device performs.
  • the processor 360 determines the field of view range ( Example: An image for a first remote control device located in a designated area (from the center of the field of view of the camera module 320) may be acquired.
  • the processor 360 may detect the first remote control device by comparing the acquired image with a plurality of images stored in the memory 350 and each including remote control devices.
  • the processor 360 may obtain information about the first remote control device from the memory 350 by detecting the first remote control device.
  • the processor 360 detects the first remote control device based on the image acquired through the camera module 320, but the present invention is not limited thereto.
  • the processor 360 may detect a first remote control device located in the direction toward which the electronic device faces through the communication module 310 (e.g., ultra wideband (UWB) communication module 310).
  • UWB ultra wideband
  • FIGS. 5A and 5B are exemplary diagrams illustrating a method of detecting a first remote control device according to an embodiment.
  • the processor 360 detects the electronic device 301 on the user's body (e.g., the user's face) through the sensor 340 (e.g., a proximity sensor). It can be detected that it is worn.
  • the processor 360 is configured to set the electronic device 301 in a mode (hereinafter referred to as " You can enter the home control mode (also referred to as “home control mode”).
  • the electronic device 301 and an external electronic device may be registered in the IoT network.
  • the electronic device 301 uses the user account of the electronic device 301 to set a location (e.g., location) and/or to an IoT server (hereinafter referred to as “server”) that provides IoT services.
  • server an IoT server
  • the electronic device 301 may register an external electronic device that can be controlled through a server.
  • the processor 360 causes the electronic device 301 to enter a mode for controlling the function of the registered external electronic device based on user input. can do.
  • the processor 360 may operate the external device registered in association with the designated location and/or the designated location in the IoT server. Information about the electronic device and information about a remote control device for controlling an external electronic device can be obtained. For example, when the electronic device 301 enters a mode for controlling the function of an external electronic device, the processor 360 receives information about the external electronic device and external information from the server through the communication module 310. Information about a remote control device for controlling an electronic device can be received. The processor 360 may store information about the external electronic device and information about the remote control device received from the server in the memory 350 .
  • information about the external electronic device includes the type, name, and model name of the external electronic device, functions performed by the external electronic device (e.g., functions of the external electronic device that can be performed by remote control), operating status, and external electronic device. It may include information about a remote control device corresponding to the electronic device and/or an image of an external electronic device. In one embodiment, images of an external electronic device can be used to detect the external electronic device.
  • the information about the remote control device includes the type, name, model name of the remote control device, functions that the remote control device can perform, information about external electronic devices to which the remote control device is dedicated, operating status, and /or may include an image of the remote control device.
  • an image of a remote control device can be used to detect the remote control device.
  • the image for the remote control device may be at least one image to be used for comparison with the image for the first remote control device in operation 401.
  • the processor 360 may cause the electronic device to enter a mode for controlling the function of an external electronic device (home control mode).
  • reference numeral 501 denotes a view 511 shown to the user through the electronic device 301 (e.g., one or more transparent members 290-1 and 290-2 of FIG. 2). It can be expressed. The view may include remote control device 1 (513) and remote control device 515 placed on the desk (517).
  • reference numeral 502 indicates that when the gaze of the user wearing the electronic device 301 moves (e.g., when the user wearing the electronic device moves his head to the left), the electronic device 301 The view 521 shown to the user can be displayed through .
  • the processor 360 may detect remote control device 1 (513) located in a range corresponding to the user's gaze. For example, the processor 360 determines that remote control device 1 513 is present in a range corresponding to the user's gaze for a specified period of time (e.g., the user's gaze is fixed on the remote control device 513 for a specified period of time). case) can be checked. The processor 360 may perform an operation to detect remote control device 1 (513) based on confirmation that remote control device 1 (513) exists in a range corresponding to the user's gaze for a specified time. .
  • the processor 360 provides an indication 533 (e.g., remote control device 1513) indicating that remote control device 1 (513) has been detected (or an operation to detect remote control device 1 (513) is being performed). 1 (a virtual line indicating the outer boundary of 513) can be displayed through the display module 330. However, it is not limited thereto, and the processor 360 performs an operation to detect remote control device 1 (513) in addition to or in place of the indication 533 (or detecting remote control device 1 (513)). Audio indicating that the device is being built can be output through the speaker.
  • an indication 533 e.g., remote control device 1513
  • 1 a virtual line indicating the outer boundary of 513
  • Audio indicating that the device is being built can be output through the speaker.
  • the processor 360 when remote control device 1 (513) located in a range corresponding to the user's gaze is detected, the processor 360, together with the indication 533, Information 543 about 1 (513) can be displayed through the display module 330.
  • the present invention is not limited to this, and the processor 360 may output audio representing information 543 about remote control device 1 (513) through a speaker in addition to or instead of the information 543.
  • reference numeral 505 indicates that when the gaze of the user wearing the electronic device 301 moves (e.g., when the user wearing the electronic device 301 moves his head to the right), the electronic device The view 551 shown to the user can be indicated through 301.
  • the processor 360 may detect remote control device 2 (515) located in a range corresponding to the user's gaze. For example, the processor 360 may confirm that remote control device 2 515 exists in a range corresponding to the user's gaze for a specified period of time. The processor 360 may perform an operation to detect remote control device 2 (515) based on confirmation that remote control device 2 (515) exists in a range corresponding to the user's gaze for a specified time. . The processor 360 provides an indication 563 (e.g., remote control device 2 513) indicating that remote control device 2 (515) has been detected (or an operation to detect remote control device 2 (515) is being performed). ) can be displayed through the display module 330.
  • an indication 563 e.g., remote control device 2 513
  • the processor 360 performs an operation to detect remote control device 2 (515) in addition to or in place of the indication 533 (or detecting remote control device 2 (515)). Audio indicating that the device is being built can be output through the speaker.
  • the processor 360 sends a message to remote control device 2 (515) along with the indication 563.
  • Information 565 can be displayed through the display module 330.
  • the processor 360 may output audio representing information 565 about remote control device 2 (515) through a speaker in addition to or instead of the information 565.
  • the processor 360 may establish a connection with the first remote control device through the communication module 310.
  • the processor 360 may establish a connection to receive a command based on user input input to the first remote control device from the first remote control device.
  • FIGS. 6 and 7 a method of establishing a connection with the first remote control device will be described.
  • FIG. 6 is a flowchart 600 illustrating a method of establishing a connection with a first remote control device, according to one embodiment.
  • FIG. 7 is an example diagram 700 illustrating a method of establishing a connection with a first remote control device, according to an embodiment.
  • processor 360 may detect movement of the first remote control device.
  • the processor 360 may detect movement of the first remote control device based on a plurality of images continuously acquired through the camera module 320.
  • the processor 360 when the electronic device 301 and the first remote control device are in a communication state, moves the first remote control device based on information received from the first remote control device. can be detected.
  • the first remote control device may detect movement of the first remote control device through a motion sensor (eg, an acceleration sensor) included in the first remote control device.
  • the processor 360 obtains information about the movement of the first remote control device detected in the first remote control device from the first remote control device through the communication module 310, thereby controlling the movement of the first remote control device. can be detected.
  • processor 360 may detect a user gesture of gripping a first remote control device. For example, the processor 360 may detect a user gesture of gripping the first remote control device based on an image acquired through the camera module 320.
  • processor 360 may detect movement of the first remote control device and a user gesture of gripping the first remote control device.
  • processor 360 when movement of the first remote control device is detected (and/or when a user gesture of gripping the first remote control device is detected), information indicative of the first remote control device can be output. For example, as shown by reference numeral 701, when the first remote control device 711 is moved, the processor 360 displays an indication 722 indicating the first remote control device to the display module 330. It can be displayed through . For example, as shown at reference numeral 701, when the first remote control device 711 is moved, the processor 360 may output audio indicating the first remote control device through a speaker. .
  • the processor 360 requests a second external electronic device corresponding to the first remote control device to forward a command of the first remote control device to the electronic device 301. You can. For example, when movement of the first remote control device is detected, the processor 360 transmits a command of the first remote control device to the second external electronic device corresponding to the first remote control device to the electronic device 301. You may request that it be forwarded to .
  • the second external electronic device corresponding to the first remote control device may be an external electronic device to which the first remote control device is dedicated (hereinafter referred to as “second external electronic device”).
  • the second external electronic device may be a TV.
  • the second external electronic device may include an external electronic device currently controlled by user input input to the first remote control device.
  • the processor 360 is a second external electronic device that receives a command corresponding to the user input when a user input for selecting a button of the first remote control device is input to the first remote control device.
  • the device may transmit a request to transmit the command to the electronic device 301 (hereinafter also referred to as a “command transmission request”) to a second external electronic device.
  • the processor 360 may transmit a command transmission request to a server (e.g., an IoT server where the electronic device 301 and the second external electronic device are registered) through the communication module 310.
  • the server may transmit the received command transmission request to a second external electronic device.
  • the processor 360 transmits a command transfer request to the second external electronic device, so that when the second external electronic device receives a command corresponding to the user input from the first remote control device, the second remote control device
  • the external electronic device may be prevented from performing a function corresponding to the received command.
  • the second external electronic device when receiving a command transmission request from a server, the second external electronic device performs a function corresponding to the received command even if the second external electronic device receives a command corresponding to the user input from the first remote control device. It may be in a standby state where no action is performed.
  • processor 360 may establish a communication connection with the first remote control device.
  • the processor 360 may establish a communication connection with the first remote control device based on user input input from the first remote control device.
  • user input input from the first remote control device may include user input designated for establishing a communication connection with the electronic device and the first remote control device.
  • the first remote control device includes user input selecting a designated button on the first remote control device (e.g., a button associated with an OK function), a designated movement of the first remote control device, and/or a designated button from the user. May obtain specified user input, including voice input.
  • the first remote control device may transmit a command corresponding to the specified user input to the second external electronic device.
  • the second external electronic device may transmit a command corresponding to the designated user input received from the first remote control device to the server.
  • the server may transmit a command corresponding to the designated user input received from the second external electronic device to the electronic device 301.
  • the processor 360 may receive a command corresponding to the designated user input received from the server through the communication module 310.
  • the processor 360 may establish a communication connection between the electronic device and the first remote control device based on receiving a command corresponding to the specified user input.
  • the processor 360 may control the communication module 310 to establish a communication connection between the electronic device 301 and the first remote control device.
  • the first remote control device is a device that can be connected to the electronic device 301 using short-range wireless communication (e.g., Bluetooth, Wi-Fi) (e.g., the first remote control device is connected to the short-range wireless communication module 310 )
  • the processor 360 causes the short-range wireless communication module to establish a communication connection between the electronic device 301 and the first remote control device, based on receiving a command corresponding to the specified user input.
  • the wireless communication module can be controlled.
  • the processor 360 configures the first remote control such that, when a communication connection between the electronic device and the first remote control device is established, the communication connection established between the first remote control device and the second external electronic device is released.
  • the device and/or a second external electronic device can be controlled.
  • the processor 360 when the first remote control device is a device (e.g., remote control) set to control a second external electronic device using infrared (IR) communication or radio frequency (RF) communication, the processor 360 , the electronic device 301 can be set to receive a command corresponding to the user input input to the first remote control device through the second external electronic device and the server. For example, when a user input for a command is input to the first remote control device, the processor 360 transmits the command to the second external electronic device and the second external electronic device transmits the command to the first remote control device. It can be set to transmit a command to a server and have the server transmit the command to the electronic device 301.
  • IR infrared
  • RF radio frequency
  • the processor 360 may output information indicating that a communication connection with the first remote control device is established.
  • the processor 360 displays a designated area 723 of the transparent member as information indicating that a communication connection with the first remote control device is established through the display module 330.
  • the processor 360 may output audio indicating that a communication connection with a remote control device is established through a speaker along with the virtual image 721.
  • the processor 360 may output information indicating a second external electronic device corresponding to the first remote control device.
  • the processor 360 may, as shown at reference numeral 703, place a second remote control device corresponding to the first remote control device 711 within the designated area 723 of the transparent member for a designated time (or temporarily).
  • a virtual image 723 representing the external electronic device 712 and an indication 732 representing the second external electronic device within the view may be displayed through the display module 330 .
  • the processor 360 when the second external electronic device 712 exists within a range corresponding to the user's gaze, the second external electronic device 712 1 A designated area 723 of the transparent member to indicate that it can be controlled by the remote control device 711 (e.g., to indicate that the second external electronic device 712 can be determined as the first external electronic device, which will be described later).
  • a display module displays a virtual image 731 representing a second external electronic device 712 corresponding to the first remote control device 711 within the view, and an indication 732 representing the second external electronic device 712 within the view. It can be displayed through (330).
  • the processor 360 may determine a first external electronic device to be controlled using the first remote control device. For example, the processor 360 determines an external electronic device (hereinafter referred to as “first external electronic device”) to perform a function based on a command corresponding to a user input input to the first remote control device. You can.
  • first external electronic device an external electronic device
  • the processor 360 may control the communication module 310 to establish a communication connection between the electronic device 301 and the first external electronic device. However, if a communication connection between the electronic device 301 and the first external electronic device is pre-established, operation 407 may not be performed.
  • FIG. 8 is a flowchart 800 illustrating a method of determining a first external electronic device, according to an embodiment.
  • FIG. 9 is an example diagram 900 illustrating a method of determining a first external electronic device, according to an embodiment.
  • the processor 360 may detect a first external electronic device.
  • the processor 360 monitors the gaze of the user wearing the electronic device through the camera module 320 (e.g., one or more second cameras 212-1 and 212-2 in FIG. 2). It can be detected.
  • the processor 360 through the camera module 320 (e.g., one or more first cameras 211-1 and 211-2 of FIG. 2), selects a range (e.g., view) corresponding to the user's gaze. ) can obtain an image of the first external electronic device located within.
  • the processor 360 may detect the first external electronic device by comparing the acquired image with a plurality of images stored in the memory 350 and each including external electronic devices.
  • the processor 360 retrieves information about the first external electronic device from the memory 350 (e.g., type, name, and model name of the first external electronic device, and what the first external electronic device performs). function, operating state) can be obtained.
  • information about the first external electronic device e.g., type, name, and model name of the first external electronic device, and what the first external electronic device performs. function, operating state
  • the processor 360 determines the field of view range ( Example: An image for a first external electronic device located in a designated area (from the center of the field of view of the camera module 320) may be acquired.
  • the processor 360 may detect the first external electronic device by comparing the acquired image with a plurality of images stored in the memory 350 and each including external electronic devices.
  • the processor 360 may obtain information about the first external electronic device from the memory 350 by detecting the first external electronic device.
  • the processor 360 detects the first external electronic device based on the image acquired through the camera module 320, but the present invention is not limited thereto.
  • the processor 360 may detect a first external electronic device located in the direction toward which the electronic device faces through the communication module 310 (eg, UWB communication module 310).
  • the processor 360 may output information indicating that the first external electronic device is detected. For example, in FIG. 9, when the air conditioner 911 is detected as the first external electronic device, the processor 360 displays an indication 912 indicating that the air conditioner 911 has been detected through the display module 330. It can be displayed. For example, in FIG. 9, when the air conditioner 911 is detected as the first external electronic device, the processor 360 provides an indication 912 indicating that the air conditioner 911 has been detected, and Information 915 (e.g., model name and name of the air conditioner 911) can be displayed through the display module 330. For example, when the air conditioner 911 is detected as the first external electronic device, the processor 360 may output audio indicating that the air conditioner 911 has been detected through a speaker.
  • Information 915 e.g., model name and name of the air conditioner 911
  • the processor 360 may output information indicating that the first external electronic device can be controlled using the first remote control device. For example, in FIG. 9, when the air conditioner 911 is detected as the first external electronic device, the processor 360 indicates that the air conditioner 911 can be controlled using the first external electronic device 711. To this end, a virtual image 913 representing the air conditioner 911 may be displayed in a designated area 723 of the transparent member (e.g., the upper right area of the transparent member).
  • the processor 360 outputs audio through a speaker for different times based on whether the first external electronic device is the electronic device 301 and the current control target using the first remote control device. can do. For example, when the first external electronic device is currently the control target using the first remote control device, the processor 360 outputs audio (e.g., a connection sound to be output during the first time) through the speaker for the first time. can do.
  • the processor 360 turns on the speaker. Through this, audio (e.g., a connection sound to be output during the second time) can be output for a second time longer than the first time.
  • the processor 360 may control the communication module 310 to establish a communication connection between the electronic device and the first external electronic device. However, if a communication connection between the electronic device and the first external electronic device has already been established, the operation of establishing a communication connection between the electronic device and the first external electronic device in operation 803 may not be performed. In this case, the processor 360 may determine the first external electronic device detected in operation 801 as a control target using the first remote control device.
  • the processor 360 with the first external electronic device detected, based on a designated user input to the electronic device 301 (or the first remote control device), configures a short-range communication module (e.g., Bluetooth module, Wi-Fi module) may control the short-range communication module to establish a communication connection between the electronic device 301 and the first external electronic device.
  • a short-range communication module e.g., Bluetooth module, Wi-Fi module
  • processor 360 may, with a first external electronic device detected, transmit from electronic device 301 based on designated user input to electronic device 301 (or first remote control device). It can be set so that the command is transmitted to the first external electronic device through the server.
  • a communication connection is established between the electronic device 301 and the first external electronic device based on a specified user input to the electronic device 301 (or the first remote control device).
  • the processor 360 performs communication based on detecting that the first external electronic device exists in a range corresponding to the user's gaze for a specified period of time.
  • the module 310 may control the communication module 310 to establish a communication connection between the electronic device 301 and the first external electronic device.
  • FIG. 10 is a flowchart 1000 illustrating a method of determining a first external electronic device, according to an embodiment.
  • FIG. 11 is an example diagram 1100 illustrating a method of determining a first external electronic device, according to an embodiment.
  • the processor 360 may display a list of external electronic devices controllable using the first remote control device through the display module 330. there is. For example, when a communication connection with the first remote control device is established, the processor 360 may display a list of external electronic devices that can be controlled using the first remote control device through the display module 330. .
  • external electronic devices included in the list may include external electronic devices that can perform functions using the first remote control device through a mapping operation in operation 409, which will be described later.
  • the processor 360 when a communication connection with the first remote control device 1111 is established, information 1121 indicating a TV that can be controlled using the first remote control device 1111 ) (e.g., the name of the TV and an image representing the TV), information 1131 representing the air conditioner (e.g., the name of the air conditioner and an image representing the air conditioner), and information 1141 representing the air purifier (e.g., the name of the air purifier and an image representing an air purifier) can be displayed through the display module 330.
  • information 1121 indicating a TV that can be controlled using the first remote control device 1111 e.g., the name of the TV and an image representing the TV
  • information 1131 representing the air conditioner e.g., the name of the air conditioner and an image representing the air conditioner
  • information 1141 representing the air purifier e.g., the name of the air purifier and an image representing an air purifier
  • the processor 360 when a communication connection with the first remote control device 1111 is established and the first remote control device 1111 exists within a range corresponding to the user's line of sight , information representing the TV 1121, information representing the air conditioner 1131, and information representing the air purifier 1141, which can be controlled using the first remote control device 1111, are displayed through the display module 330. You can.
  • the processor 360 displays information 1112 about the first remote control device 1111 that is communicated with the electronic device 301 through the display module 330. It can be displayed.
  • the processor 360 may determine the first external electronic device based on a user input while displaying the list. For example, the processor 360 may select one external electronic device from among external electronic devices included in the list, based on user input. The processor 360 may determine the selected external electronic device as the first external electronic device.
  • the processor 360 selects information 1131 representing the air conditioner among information 1121 representing the TV, information 1131 representing the air conditioner, and information 1141 representing the air purifier. Based on the user input, an air conditioner may be selected as the first external electronic device.
  • the communication module 310 establishes a communication connection between the electronic device 301 and the first external electronic device. can be controlled.
  • selection of the first external electronic device is illustrated based on a user input on a screen displayed through the display 330, but the method is not limited thereto.
  • the processor 360 outputs a voice related to the screen displayed through the display 330 through the speaker 343 and receives the user's voice through the microphone 342, thereby controlling the first external electronic device. You can choose.
  • the processor 360 maps at least one key of the first remote control device and at least one function of the first external electronic device. ) can be performed.
  • the processor 360 may check at least one function of the first external electronic device stored in the memory 350.
  • the processor 360 may map at least one function of the identified first external electronic device and at least one key (eg, a button of the first remote control device) of the first remote control device.
  • the processor 360 when the electronic device 301 is connected to communication with the first external electronic device, the processor 360 stores a remote control device (e.g., a first remote control device) corresponding to the first external electronic device stored in the memory 350. You can check information about at least one key of a remote control dedicated to an external electronic device. For example, the processor 360 may check the functions of the first external electronic device corresponding to each of the plurality of keys of the remote control dedicated to the first external electronic device. For example, the processor 360 may create a mapping relationship (hereinafter, You can check information about (referred to as “mapping relationships”).
  • mapping relationships hereinafter, You can check information about
  • the processor 360 controls at least one function of the first external electronic device and the first remote control device, based on information about at least one key of the remote control device corresponding to the first external electronic device. At least one key can be mapped. For example, based on the mapping relationship, the processor 360 selects a plurality of keys of the remote control dedicated to the first external electronic device that have been mapped to the functions of the first external electronic device to a plurality of keys of the first remote control device. With the keys, remapping (hereinafter also referred to as “remapping”) can be performed.
  • the remapping operation includes, when a key of the first remote control device is input, a command corresponding to a key of the remote control corresponding to the first external electronic device, which is mapped to the input key of the first remote control device. This may be an operation to ensure that the information is transmitted to the first external electronic device.
  • FIG. 12A is a flowchart 1200a illustrating a method of mapping at least one key of a first remote control device and at least one function of a first external electronic device, according to an embodiment.
  • FIG. 12B is an example diagram 1200b illustrating a method of mapping at least one key of a first remote control device and at least one function of a first external electronic device, according to an embodiment.
  • the processor 360 may display an image representing a plurality of mapping methods through the display module 330.
  • the processor 360 displays a virtual image 1210 for selecting a plurality of mapping methods through the display module 330. It can be displayed through.
  • the virtual image 1210 includes information 1221 and 1222 indicating the first external electronic device, information 1211 and 1212 indicating the first remote control device 1213, and information 1231 indicating that a mapping operation is performed.
  • the second mapping method may include an object 1242 corresponding to the mapping method (hereinafter also referred to as “simple mapping”), and an object 1243 corresponding to the third mapping method (hereinafter, also referred to as “simple mapping”).
  • the virtual image 1210 is not limited to this, and the virtual image 1210 includes information 1222 indicating the first external electronic device, information 1211 indicating the first remote control device, and information 1231 indicating that the mapping operation is performed. It may include only the object 1241 corresponding to the first mapping method, the object 1242 corresponding to the second mapping method, and the object 1243 corresponding to the third mapping method.
  • the processor 360 may check whether a first mapping method is selected from among a plurality of mapping methods.
  • the processor 360 selects the first mapping method among the object 1243 corresponding to the first mapping method, the object 1242 corresponding to the second mapping method, and the object 1241 corresponding to the third mapping method.
  • the first mapping method may be selected based on the user input for the object 1243 corresponding to the first mapping method.
  • the first mapping method may be a method of mapping at least one key of the first remote control device and at least one function of the first external electronic device based on a user input.
  • the processor 360 may perform a mapping operation using the second mapping method or the third mapping method. .
  • the mapping operation performed using the second or third mapping method will be described later with reference to FIGS. 14 and 15.
  • the processor 360 may output an object corresponding to the function in 3D space.
  • the processor 360 displays at least one object corresponding to at least one function of the first external electronic device so that the user sees the object as being placed in a three-dimensional space around the electronic device. It can be displayed through the display module 330.
  • the processor 360 as shown by reference numeral 1202, creates at least one object 1251, 1252, 1253, 1254, 1255, and 1256 corresponding to at least one function of the first external electronic device. It can be displayed through the display module 330.
  • processor 360 may select an object corresponding to the user's gaze.
  • the processor 360 selects an object corresponding to the user's gaze (e.g., an object disposed in the direction the user's gaze is directed) from among at least one object corresponding to at least one function of the first external electronic device. You can choose. For example, the processor 360 may select the object 1254 corresponding to the user's gaze at reference numeral 1202.
  • processor 360 may confirm key input of the first remote control device.
  • the processor 360 selects a first external electronic device corresponding to the object corresponding to the user's gaze from the first remote control device through the communication module 310. Information about the key of the first remote control device to which the user input is to be mapped may be received.
  • processor 360 may map objects and keys.
  • the processor 360 may map the function of the first external electronic device corresponding to the object corresponding to the user's gaze and the key of the first remote control device where the user input was input. For example, at reference numeral 1202-1, after the object 1254 corresponding to the user's gaze is selected, a key (e.g., before detecting the first remote control device, the function of the first external electronic device corresponding to the selected object 1243 (e.g., setting of the air conditioner) is received. A function to reduce temperature) can be mapped to the key from which the user input was received.
  • a key e.g., before detecting the first remote control device
  • the function of the first external electronic device corresponding to the selected object 1243 e.g., setting of the air conditioner
  • a function to reduce temperature can be mapped to the key from which the user input was received.
  • the processor 360 when a user input for the key is received, performs a function set to the key for which the user input was received (e.g., a first remote control Before detecting the device, information 1258 indicating a function set to increase the volume for the second external electronic device dedicated to the first remote control device may be displayed through the display module 330.
  • a function set to the key for which the user input was received e.g., a first remote control
  • information 1258 indicating a function set to increase the volume for the second external electronic device dedicated to the first remote control device may be displayed through the display module 330.
  • the processor 360 may perform the mapping operation again based on the user input after the function of the first external electronic device corresponding to the selected object and the key on which the user input is received are mapped.
  • the processor 360 executes a function of a first external electronic device (e.g., a function for reducing the set temperature of an air conditioner) corresponding to the selected object 1243 to the user.
  • a function corresponding to the selected object 1253 and the selected key can be mapped.
  • the processor 360 displays information 1257 indicating that the function corresponding to the selected object 1253 and the selected key are mapped through the display module 330. You can.
  • FIGS. 12A and 12B illustrate that a mapping operation is performed based on user input on a screen displayed through the display 330 (e.g., an image representing a plurality of mapping methods, an object corresponding to a function), It is not limited to this.
  • the processor 360 outputs a voice related to the screen displayed through the display 330 through the speaker 343 and receives the user's voice through the microphone 342 to perform a mapping operation. there is.
  • FIG. 13A is a flowchart 1300a illustrating a method of mapping at least one key of a first remote control device and at least one function of a first external electronic device, according to an embodiment.
  • FIG. 13B is an example diagram 1300b illustrating a method of mapping at least one key of a first remote control device and at least one function of a first external electronic device, according to an embodiment.
  • the processor 360 may classify a plurality of functions into groups based on usage history.
  • the processor 360 prioritizes (e.g., assigns priority to) a plurality of functions of the first external electronic device based on the usage history of the plurality of functions of the first external electronic device. ) can be classified into groups.
  • the processor 360 receives the usage history of a plurality of functions of the first external electronic device (e.g., each of the plurality of functions of the first external electronic device during a specified time) from the server through the communication module 310. You can receive information about the number of times it has been used. Based on the received information, the processor 360 classifies the plurality of functions of the first external electronic device into groups with priority in order of high usage history of the plurality of functions of the first external electronic device. You can.
  • processor 360 may output an object corresponding to a function in 3D space.
  • the processor 360 informs the user that a plurality of objects corresponding to a plurality of functions of the first external electronic device are arranged in a three-dimensional space around the electronic device according to the priorities of the groups.
  • the plurality of objects can be displayed through the display module 330.
  • the processor 360 configures the plurality of objects so that, based on the user of the electronic device (or the electronic device), the higher the priority of the groups, the more the plurality of objects appear to be placed in a space closer to the user.
  • Objects can be displayed through the display module 330.
  • the processor 360 uses the first space 1312 (e.g., 1st priority function placement area) and the second space 1313. ) (e.g., 2nd priority function placement area), and a third space 1314 (e.g., 3rd priority function placement area) can be set.
  • the processor 360 assigns the function belonging to the 1st priority group as the highest priority.
  • Objects corresponding to the 1st priority, objects corresponding to functions belonging to the 2nd priority group as the next priority, and objects corresponding to functions belonging to the 3rd priority group as the 2nd priority are arranged.
  • the plurality of objects may be displayed through the display module 330.
  • the processor 360 selects the first priority group based on the priorities of the groups into which the functions of the air conditioner are classified.
  • Objects 1321, 1322, 1323, 1324) corresponding to functions belonging to the second-rank group, objects (1331, 1332, 1333, 1334) corresponding to functions belonging to the third-rank group, functions belonging to the third-rank group Objects corresponding to can be displayed through the display module 330.
  • processor 360 may select an object using a virtual laser pointer.
  • the processor 360 may select, from among the plurality of objects, an object disposed at a location pointed by a virtual laser pointer that appears to the user as being emitted from the first remote control device 1316.
  • an object disposed at a location pointed by a virtual laser pointer that appears to the user as being emitted from the first remote control device 1316 For example, at reference numeral 1302-1, a display of a virtual laser pointer 1317 that appears to the user as emitting from the first remote control device 1316 as the first remote control device 1316 changes the direction it faces. may change.
  • the processor 360 may select the object 1322 corresponding to the virtual cylinder 1322-1 placed at the position pointed by the virtual laser pointer 1317, as shown by reference numeral 1302-1.
  • reference numeral 1302-1 illustrates that a virtual cylinder 1322-1 corresponding to the object 1322 is displayed, and the virtual cylinder 1322-1 is pointed by the virtual laser pointer 1317.
  • the object 1322 placed at the position pointed by the virtual laser pointer 1317 may be selected without the virtual cylinder 1322-1 being displayed.
  • processor 360 may confirm key input of the first remote control device.
  • processor 360 may map objects and keys.
  • the processor 360 when a user input for a key of a first remote control device is received after an object is selected from a plurality of objects, receives the function and the user input corresponding to the selected object.
  • the key of the first remote control device can be mapped.
  • the processor 360 after the object 1322 is selected, selects the key of the first remote control device (e.g., before detecting the first remote control device, the first remote control device is
  • the object 1322 and the key may be mapped.
  • the processor 360 may display information 1351 about the mapping between the object 1322 and the key through the display module 330.
  • the processor 360 may perform the mapping operation again based on the user input after the function of the first external electronic device corresponding to the selected object and the key on which the user input is received are mapped.
  • the processor 360 executes a function of a first external electronic device (e.g., a function for reducing the set temperature of an air conditioner) corresponding to the selected object 1322 to the user.
  • a function of a first external electronic device e.g., a function for reducing the set temperature of an air conditioner
  • the processor 360 executes a function of a first external electronic device (e.g., a function for reducing the set temperature of an air conditioner) corresponding to the selected object 1322 to the user.
  • a function of a first external electronic device e.g., a function for reducing the set temperature of an air conditioner
  • the processor 360 maps the function corresponding to the selected object 1323 (e.g., a function for increasing the set temperature of the air conditioner) and the selected key.
  • the information 1361 can be displayed through the display module 330.
  • 13A and 13B illustrate that a mapping operation is performed based on user input for a screen displayed through the display 330 (e.g., an object corresponding to a function, a virtual laser pointer), but the mapping operation is not limited thereto.
  • the processor 360 outputs a voice related to the screen displayed through the display 330 through the speaker 343 and receives the user's voice through the microphone 342 to perform a mapping operation. there is.
  • 14A to 14C are examples illustrating a method of mapping at least one key of a first remote control device and at least one function of a first external electronic device using a second mapping method, according to an embodiment. These are the provinces (1401, 1402, 1403).
  • the second mapping method uses a designated mapping (or a designated mapping relationship) to link at least one key of the first remote control device and at least one key of the first external electronic device. It may be a method of mapping one function.
  • the mapping between at least one key of the first remote control device and at least one function of the first external electronic device may be performed by an application for controlling the external electronic device using the remote control device. It can be specified (or set) in advance by the developer.
  • the designated mapping between at least one key of the first remote control device and at least one function of the first external electronic device may be stored in a server.
  • the processor 360 may receive a designated mapping between at least one key of the first remote control device and at least one function of the first external electronic device from the server through the communication module 310.
  • the processor 360 may store in the memory 350 a designated mapping between at least one key of the first remote control device and at least one function of the first external electronic device received from the server.
  • FIG. 14A when the first remote control device is the TV remote control 1410, a plurality of keys of the TV remote control 1410 are placed on the TV remote control 1410 by the second mapping method.
  • a virtual image 1410-1 including a plurality of keys of a remote control for an air conditioner each mapped to may be displayed.
  • the volume control key 1411 of the remote control 1410 for a TV may be remapped to the temperature control key of the remote control for an air conditioner (or mapped to the temperature control function of the air conditioner).
  • the channel change key 1413 of the TV remote control 1410 may be remapped to the wind speed control key of the air conditioner remote control (or mapped to the wind speed control function of the air conditioner).
  • the processor 360 when mapping between at least one key of the first remote control device and at least one function of the first external electronic device is performed, at least one key of the first remote control device
  • An object corresponding to at least one function of the first external electronic device on one key e.g., an object 1412 representing a temperature control key of an air conditioner remote control, an object 1414 representing a wind speed control key of an air conditioner remote control) can be displayed through the display module 330.
  • Figure 14b shows that when the first remote control device is a remote control for an air conditioner 1420 (e.g., a remote control for an air conditioner that supports Bluetooth), the remote control for an air conditioner 1420 is displayed by a second mapping method.
  • a virtual image 1420-1 including a plurality of keys of a TV remote control each mapped to a plurality of keys of the air conditioner remote control 1420 may be displayed.
  • the temperature control key 1421 of the remote control 1420 for an air conditioner may be remapped to the volume control key 1422 of the remote control for a TV.
  • the air volume control key 1423 of the air conditioner remote control 1420 may be remapped to the channel change key 1424 of the TV remote control.
  • the processor 360 when mapping between at least one key of the first remote control device and at least one function of the first external electronic device is performed, at least one key of the first remote control device An object corresponding to at least one function of the first external electronic device on one key (e.g., an object 1422 representing a volume control key of a TV remote control, an object 1424 representing a channel change key of a TV remote control) Can be displayed through the display module 330.
  • a remote control for an air conditioner 1430 is used by the second mapping method.
  • a virtual image 1430-1 including a plurality of keys of a TV remote control each mapped to a plurality of keys of the air conditioner remote control 1430 may be displayed.
  • the processor 360 when remapping between at least one key of the remote control for an air conditioner 1430 and the remote control for a TV is performed, at least one key of the remote control for an air conditioner 1430 (e.g.
  • An object corresponding to at least one function of the TV remote control (e.g., TV remote control) on the temperature control key 1431 of the air conditioner remote control 1430 and the wind speed control key 1433 of the air conditioner remote control 1420.
  • An object 1432 representing a volume control key and an object 1434 representing a channel change key of a TV remote control may be displayed through the display module 330.
  • FIG. 15 is an example diagram illustrating a method of mapping at least one key of a first remote control device and at least one function of a first external electronic device using a third mapping method, according to an embodiment.
  • the third mapping method allows controlling at least one function of the first external electronic device using at least one key of the designated remote control when the first remote control device is a designated remote control. Mapping method may be included.
  • the designated remote control may be a remote control capable of natural user interface (NUI) processing (hereinafter referred to as a “designated remote control” or “simple remote control”).
  • the designated remote control may be an integrated smart remote control capable of communication connection to a server and capable of controlling a plurality of external electronic devices communicationally connected to the designated remote control without being dedicated to a specific external electronic device.
  • the designated remote control includes a power key 1511, a movement key 1512 (e.g., a key to move the selection), a confirmation key 1513, and a cancel key ( As shown in (1514), it may include a remote control that includes only a minimum number of keys for selecting and executing functions of an external electronic device.
  • the keys included in the designated remote control are not limited to the examples described above, and the designated remote control may further include additional keys not mentioned above.
  • reference numerals 1502 and 1503 may represent examples for explaining operations of selecting a function of a first external electronic device in order to control the first external electronic device through a designated remote control.
  • a virtual image 1520 for controlling the function of the robot cleaner is displayed in the display module 330.
  • the image 1520 includes information 1521 indicating that the first external electronic device is a robot cleaner, an object 1522 for powering on/off the robot cleaner, and cleaning information of the robot cleaner.
  • object 1522 for turning the power on/off of the robot cleaner is selected (or activated).
  • the object 1522 for powering the robot cleaner on/off may be highlighted.
  • the processor 360 turns the power on/off of the robot cleaner.
  • the selection can be moved from the object 1522 for on/off to the object 1522 for controlling the cleaning function of the robot cleaner.
  • the processor 360 cleans the object 1522 for controlling the cleaning function of the robot vacuum cleaner.
  • An object 1532 representing the detailed functions of the function can be selected. For example, when the selection is moved to the object 1522 for controlling the cleaning function of the robot vacuum cleaner, from the object 1522 for powering on/off the robot vacuum cleaner to the object 1532 representing detailed functions of the cleaning function.
  • the highlight can be moved with .
  • objects included in the virtual image for controlling the function of the first external electronic device may vary depending on the type of the first external electronic device. You can.
  • the virtual image 1540 includes information 1541 indicating that the first external electronic device is an air purifier, as shown by reference numeral 1504, and the power of the air purifier. It may include an object 1542 for on/off, and an object 1543 for a function of adjusting the purification intensity of the air purifier.
  • the virtual image 1550 includes information 1551 indicating that the first external electronic device is an air conditioner, as shown by reference numeral 1505, and power on/off of the air conditioner. It may include an object 1552 for and an object 1553 for the function of controlling the temperature of the air conditioner.
  • the processor 360 may control the first external electronic device to perform at least one function using the first remote control device.
  • the processor 360 operates when at least one function of the first external electronic device is mapped to at least one key of the first remote control device (or a key of the remote control device corresponding to the first external electronic device). at least one key is remapped to at least one key of the first remote control device), based on the user input for the at least one key of the first remote control device, A command corresponding to at least one key may be received through the communication module 310.
  • the processor 360 may transmit the command to the first external electronic device through the communication module 310.
  • the first external electronic device may perform the function of the first external electronic device corresponding to the command.
  • FIG. 16 is an example diagram 1600 illustrating a method of controlling a first external electronic device to perform at least one function using a first remote control device, according to an embodiment.
  • the processor 360 may control the first external electronic device to perform the function of the first external electronic device corresponding to the command.
  • the processor 360 may configure the first external electronic device to adjust the cooling temperature.
  • the processor 360 may display information indicating the function of the first external electronic device corresponding to the key of the first remote control device where the user input was input through the display module 330.
  • the processor 360 stores information indicating the function of the first external electronic device 912 corresponding to the key of the first remote control device 711 through which the user input was input. 1611 can be displayed through the display module 330 to overlap the position where the first external electronic device 912 is visible.
  • the processor 360 performs the function of the first external electronic device 912 corresponding to the key of the first remote control device 711 through which the user input was input (or the first remote control Audio indicating that a user input is input to the keys of the device 711 may be output through a speaker.
  • processor 360 is configured to: when at least one function of the first external electronic device is mapped to at least one key of the first remote control device, An object representing at least one function of the mapped first external electronic device may be displayed through the display module 330 to overlap at least one key.
  • the processor 360 is configured to, when at least one key of the remote control device corresponding to the first external electronic device is remapped to at least one key of the first remote control device, An object representing at least one key of the remote control device corresponding to the remapped first external electronic device may be displayed through the display module 330 to overlap one key.
  • the processor 360 determines the location of the first external electronic device or the location of the first remote control device (or the location of the first external electronic device).
  • An image e.g., image 1520, image 1540 of FIG. 15, or Image 1550
  • FIG. 17 is a flowchart 1700 for explaining a mode related to switching of a first external electronic device, according to an embodiment.
  • FIG. 18 is an example diagram illustrating a mode related to switching of a first external electronic device, according to an embodiment.
  • the processor 360 operates in a state in which a connection with the first remote control device is established and the first external electronic device is detected (or the first external electronic device In an autonomous and communication-connected state, a user input for selecting a mode related to switching of the first external electronic device may be received.
  • the processor 360 detects the first external electronic device present within a range corresponding to the user's gaze, thereby detecting the electronic device and the first external electronic device. can be connected to communication. For example, after the connection with the first remote control device is established, the processor 360 detects the external electronic device 1 existing within a first range corresponding to the user's gaze, thereby detecting the electronic device 301 and the external electronic device. Device 1 can be connected to communication. When the range corresponding to the user's gaze changes from the first range to the first range, the processor 360 detects the external electronic device 2 existing in the first range, thereby detecting the electronic device 301 and the external electronic device 2 can be connected for communication.
  • the mode for changing the communication connection with the first external electronic device existing in the range corresponding to the user's line of sight, according to a change in the range corresponding to the user's line of sight is referred to as the “first mode” (or the first mode of the electronic device) mode)” or “soft link”.
  • the processor 360 detects that the first external electronic device and another external electronic device are within a range corresponding to the user's current gaze due to a change in the user's gaze. Even if its presence is detected, a communication connection between the electronic device 301 and the first external electronic device can be maintained.
  • the mode for maintaining the communication connection with the first external electronic device that was connected to the electronic device 301, regardless of the change in the range corresponding to the user's gaze is referred to as the “second mode” (or the second mode of the electronic device) mode)”, “hard link”, or “hard lock”.
  • the mode related to switching the first external electronic device may include a first mode and a second mode.
  • processor 360 may input a designated user input (e.g., a long press) to select a mode (e.g., first mode or second mode) associated with switching the first external electronic device to the first remote control device.
  • a mode e.g., first mode or second mode
  • the designated user input can be received from the first remote control device through the communication module 310.
  • the processor 360 receives a designated user input to select a mode related to switching of the first external electronic device through an input device (e.g., microphone, touch pad) of the electronic device 301. You can receive it.
  • processor 360 may select a mode based on user input. For example, the processor 360 may select the first mode or the second mode.
  • the processor 360 when the first remote control device 1811 and the first external electronic device 1821 are detected, the processor 360 performs the first remote control through the display module 330. Indications 1812 and 1822 indicating that the device 1811 and the first external electronic device 1821 are detected may be displayed. In one embodiment, the processor 360, when connected to the first remote control device 1811 and the first external electronic device 1821, displays information on the designated area 1831 of the transparent member through the display module 330. Images 1832 and 1833 indicating communication connection with the first remote control device 1811 and the first external electronic device 1821 may be displayed.
  • the processor 360 transmits information 1841 guiding a user input for changing the mode of the electronic device 301 from the first mode to the second mode to the display module. It can be displayed through (330).
  • the processor 360 when a user input for changing the mode of the electronic device 301 from the first mode to the second mode is received from the first remote control device 1811 (e.g., the first mode When information indicating that a user input for changing the mode of the electronic device 301 from the first mode to the second mode is received from the remote control device 1811), the mode of the electronic device 301 is changed to the first mode. You can change to the second mode from .
  • the processor 360 displays the second mode within the designated area 1831, as shown by reference numeral 1802.
  • Information 1851 e.g., information indicating that the electronic device 301 is operating in the second mode
  • the processor 360 in the second mode, detects that an external electronic device different from the first external electronic device exists within a range corresponding to the user's current gaze due to a change in the user's gaze.
  • a communication connection can be maintained between the device 301 and the first external electronic device. For example, as shown in reference numeral 1803, even if the range corresponding to the user's gaze changes and an external electronic device other than the first external electronic device 1821 exists within the range corresponding to the user's gaze, the electronic device A communication connection can be maintained between 301 and the first external electronic device 1821.
  • the processor 360 uses the first remote control device 1811 to control the first external electronic device (1821) even if the first external electronic device (1821) does not exist within the range corresponding to the user's line of sight. 1821) can be controlled. For example, even if the first external electronic device 1821 does not exist within the range corresponding to the user's line of sight, the first external electronic device 1821 (e.g., air conditioner) is controlled using the first remote control device 1811. You can transmit commands for controlling the cooling temperature.
  • the processor 360 displays information 1881 indicating that a user input corresponding to a command for controlling the cooling temperature using the first external electronic device 1821 (e.g., an air conditioner) is input to the first remote control device 1811. It can be displayed through the module 330.
  • FIG. 19 is a system diagram 1900 illustrating a method for controlling an external electronic device using a remote control device, according to an embodiment.
  • the electronic device 301, the first external electronic device 1950, and the second external electronic device 1930 may be registered with the server 1940 that provides IoT services. there is.
  • the electronic device 301 may detect the first remote control device 1920.
  • the electronic device 301 may detect movement of the first remote control device 1920 after the first remote control device 1920 is detected.
  • the electronic device 301 may detect movement of the first remote control device 1920 after the first remote control device 1920 is detected.
  • the electronic device 301 may transmit a command transmission request to the server 1940.
  • the server 1940 may transmit a command transmission request to the second external electronic device 1930 corresponding to the first remote control device 1920.
  • the first remote control device 1920 may transmit a designated command to the second external electronic device 1930 for communication connection with the electronic device 301.
  • the second external electronic device 1930 may transmit the specified command to the server 1940.
  • the server 1940 may transmit the designated command to the electronic device 301.
  • the electronic device 301 may establish a communication connection with the first remote control device 1920 in response to receiving the specified command.
  • the electronic device 301 may use the first remote control device 1920 to determine the first external electronic device 1950 on which the function is to be performed.
  • the electronic device 301 may establish a communication connection with the first external electronic device 1950.
  • the electronic device 301 may perform a mapping operation to control the first external electronic device 1950 using the first remote control device 1920.
  • the first remote control device 1920 may transmit a command corresponding to the user input.
  • the electronic device 301 based on a command from the first remote control device 1920, causes the second external electronic device 1930 to perform a function corresponding to the command. 2 A command can be transmitted to the external electronic device 1930.
  • a communication connection is made with the first external electronic device 1950, thereby using the first remote control device 1920 to establish a first
  • it is illustrated as controlling the external electronic device 1950, it is not limited thereto.
  • a communication connection with the first remote control device 1920 is established, using the first remote control device 1920, An example of controlling the first external electronic device 1950 will now be described.
  • FIG. 20 is a flowchart 2000 illustrating a method for controlling an external electronic device using a remote control device, according to an embodiment.
  • FIG. 21 is an example diagram 2100 illustrating a method for controlling an external electronic device using a remote control device, according to an embodiment.
  • the processor 360 may detect a first external electronic device through the communication module 310.
  • the processor 360 monitors the gaze of the user wearing the electronic device through the camera module 320 (e.g., one or more second cameras 212-1 and 212-2 in FIG. 2). It can be detected.
  • the processor 360 through the camera module 320 (e.g., one or more first cameras 211-1 and 211-2 of FIG. 2), selects a range (e.g., view) corresponding to the user's gaze. ) can obtain an image of the first external electronic device located within.
  • the processor 360 may detect the first external electronic device by comparing the acquired image with a plurality of images stored in the memory 350 and each including external electronic devices.
  • the processor 360 determines the field of view range ( Example: An image for a first external electronic device located in a designated area (from the center of the field of view of the camera module 320) may be acquired.
  • the processor 360 may detect the first external electronic device by comparing the acquired image with a plurality of images stored in the memory 350 and each including external electronic devices.
  • the processor 360 detects the first external electronic device based on the image acquired through the camera module 320, but the present invention is not limited thereto.
  • the processor 360 may detect a first external electronic device located in the direction toward which the electronic device 301 faces through the communication module 310 (eg, UWB communication module 310).
  • the processor 360 may output information indicating that the first external electronic device is detected.
  • the processor 360 may request information about the first external electronic device from the server. After transmitting the request, the processor 360 may receive information about the first external electronic device from the server through the communication module 310.
  • the information about the first external electronic device includes the type, name, model name, function performed by the first external electronic device, operating status, and/or information for communication connection with the first external electronic device. may include.
  • information about the first external electronic device is not limited to the above example.
  • the processor 360 may control the communication module 310 to establish a communication connection between the electronic device 301 and the first external electronic device.
  • the processor 360 may, in a state in which the first external electronic device is detected, use a short-range communication module (e.g., Bluetooth) based on a designated user input to the electronic device 301 (or the first remote control device).
  • a short-range communication module e.g., Bluetooth
  • a communication connection between the electronic device 301 and the first external electronic device can be established through the module (Wi-Fi module).
  • the processor 360 is configured to control at least the first external electronic device when the first external electronic device is detected or when a communication connection between the electronic device 301 and the first external electronic device is established.
  • Information about one remote control device can be obtained. For example, when the first external electronic device is detected or when a communication connection between the electronic device 301 and the first external electronic device is established, the processor 360 sends the first information to the server through the communication module 310. 1 Information about at least one remote control device capable of controlling an external electronic device may be requested. After transmitting the request, the processor 360 may receive information about at least one remote control device capable of controlling the first external electronic device from the server through the communication module 310.
  • Information about at least one remote control device received from the server may include a list of protocols, manufacturer codes, and data codes of at least one remote control device.
  • the date code is a command code for recognizing an IR command when the remote control device uses IR communication and may be an IR signal value corresponding to each of at least one key of the remote control device.
  • the processor 360 may display the received information through the display module 330.
  • the processor 360 controls the first external electronic device 2101 to be positioned adjacent to (or at least partially overlaps) an area on the transparent member where the first external electronic device 2101 is visible.
  • Information 2102 about at least one remote control device can be displayed through the display module 330.
  • the information 2102 includes an image 2110 and information 2111 for remote control device 1, an image 2120 and information 2121 for remote control device 2, and an image 2130 for remote control device 3. and information 2131.
  • the information 2102 about at least one remote control device capable of controlling the first external electronic device is not limited to the above-described example.
  • processor 360 may detect a first remote control device.
  • the processor 360 detects the first remote control device when the first external electronic device is detected or when a user input is input after a communication connection between the electronic device and the first external electronic device is established. The action can be performed.
  • processor 360 may establish a connection with a first remote control device.
  • the processor 360 may perform an operation to map at least one key of the first remote control device and at least one function of the first external electronic device.
  • operation 2009 is at least partially the same or similar to operation 409 of FIG. 4, overlapping descriptions will be omitted.
  • the processor 360 may control the first external electronic device to perform at least one function using the first remote control device.
  • operation 2011 is at least partially the same or similar to operation 411 of FIG. 4, overlapping descriptions will be omitted.
  • the processor 360 outputs a voice related to the screen displayed through the display 330 through the speaker 343 and receives the user's voice through the microphone 342 to control the remote control device. You can perform actions for
  • FIG. 22 is an example diagram 2200 illustrating a method for controlling an external electronic device using a remote control device, according to an embodiment.
  • the processor 360 operates in a mode for the electronic device 301 to control an external electronic device based on a user input while the electronic device 301 is worn by the user. You can enter (home control mode).
  • the processor 360 may detect at least one external electronic device disposed in a range corresponding to the user's gaze. there is. For example, in FIG. 22, when a bathroom is registered as a designated place (e.g., a room) in the server, the processor 360 configures at least one external electronic device ( Example: toilet seat (2201), bathtub/shower (2202), cabinet (2203), sink (2204), storage cabinet (2205)) can be detected.
  • the processor 360 provides an indication (or highlight) indicating that at least one external electronic device has been detected and information about the at least one external electronic device (2211, 2212, 2213). , 2214, 2215) can be displayed through the display module 330.
  • the processor 360 may output audio indicating that at least one external electronic device has been detected through a speaker.
  • FIG. 23A is a flowchart 2300a illustrating a method for controlling an external electronic device using a remote control device, according to an embodiment.
  • FIG. 23B is an example diagram 2300b illustrating a method for controlling an external electronic device using a remote control device, according to an embodiment.
  • the processor 360 may detect a first external electronic device.
  • the cabinet 2312 existing in a range corresponding to the user's line of sight may be detected as the first external electronic device to be controlled using the first remote control device 2311. You can.
  • the processor 360 may output an indication and audio indicating that the cabinet 2312 has been detected, and information 2313 indicating that the designated place is a restroom.
  • the processor 360 may display a function of the first external electronic device.
  • the processor 360 when the type of the first remote control device 2311 is a simple remote control, the processor 360 is displayed adjacent to the first remote control device 2311 or the cabinet 2312 and operates in the cabinet 2312.
  • Virtual images 2321 and 2322 for controlling functions can be displayed through the display module 330.
  • the virtual images 2321 and 2322 include a plurality of functions of the cabinet 2312 (e.g., light function (light type and intensity control function), screen function (function related to the screen of the cabinet 2312), DA (digital function), It may include a plurality of objects representing appliance functions.
  • the processor 360 may control the function of the first external electronic device using the first remote control device.
  • the processor 360 may control the function of the cabinet 2312 using the first remote control device 2311 while the virtual images 2321 and 2322 are displayed.
  • the processor 360 uses the first remote control device 2311 to control the cabinets included in the virtual images 2321 and 2322, as shown in reference numerals 2302-1 and 2303-1.
  • the highlight for selecting an object representing the function (2312) can be moved or the object can be selected.
  • processor 360 may select (and execute) a light function of cabinet 2312, as shown at reference numeral 2302-1.
  • the processor 360 may select (and execute) the power on/off function of the cabinet 2312, as shown at reference numeral 2302-1.
  • a method for controlling an external electronic device using a remote control device in the electronic device 301 may include detecting a first remote control device.
  • the method may include establishing a communication connection with the first remote control device through the communication module 310 of the electronic device 301.
  • the method may include determining a first external electronic device to be controlled using the first remote control device.
  • the method may include establishing a communication connection between the electronic device 301 and the first external electronic device through the communication module 310.
  • the method may include performing an operation for mapping at least one key of the first remote control device and at least one function of the first external electronic device.
  • the method may include controlling the first external electronic device to perform the at least one function using the first remote control device.
  • the operation of detecting the first remote control device includes acquiring an image through the camera module 320 of the electronic device 301 and, based on the image, detecting the electronic device 301. It may include detecting the first remote control device that exists in a range corresponding to the line of sight of the user wearing it.
  • establishing a communication connection with the first remote control device comprises detecting movement of the first remote control device, based on detecting movement of the first remote control device, a first Requesting a second external electronic device corresponding to the remote control device to transmit a command of the first remote control device to the electronic device 301, and establishing a communication connection with the first remote control device.
  • the operation of establishing a communication connection with the first remote control device includes, through the communication module 310, from the first remote control device, via the second external electronic device and the server, In order to establish a communication connection with the first remote control device, it includes receiving a user input input to the first remote control device and establishing a communication connection with the first remote control device based on the user input. can do.
  • determining the first external electronic device includes detecting the first external electronic device and establishing a communication connection between the first external electronic device and the electronic device 301. can do.
  • the operation of determining the first external electronic device includes outputting a list of external electronic devices that can be controlled using the first remote control device based on the communication connection with the first remote control device being established.
  • An operation of determining the first external electronic device among the external electronic devices based on a user input to the list, and establishing a communication connection between the first external electronic device and the electronic device 301. Can include actions.
  • the operation of performing the mapping operation involves placing at least one object corresponding to at least one function of the first external electronic device in a three-dimensional space around the electronic device.
  • the operation of displaying the at least one object through the display module 330 of the electronic device 301 includes information on the user's usage history for each of the at least one function of the first external electronic device. Based on this, an operation of classifying the at least one function into groups with priorities, and based on the priorities of the groups, the at least one object is arranged in a three-dimensional space around the electronic device 301 This may include an operation of displaying the at least one object through the display module 330 so that it is visible to the user.
  • controlling the first external electronic device to perform the at least one function using the first remote control device may include controlling the at least one function of the first external electronic device to perform the at least one function.
  • an object representing the mapped at least one function is displayed on the display module of the electronic device 301 so as to overlap with the at least one key of the first remote control device.
  • 330 may include a display operation.
  • the computer-readable recording media includes storage media such as magnetic storage media (eg, ROM, floppy disk, hard disk, etc.) and optical read media (eg, CD-ROM, DVD, etc.).

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Business, Economics & Management (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Civil Engineering (AREA)
  • Architecture (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Telephone Function (AREA)

Abstract

일 실시예에 따른 전자 장치는, 통신 모듈 및 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는, 제 1 원격 제어 장치를 검출하도록 구성될 수 있다. 적어도 하나의 프로세서는, 상기 통신 모듈을 통하여, 상기 제 1 원격 제어 장치와의 통신 연결을 설정하도록 구성될 수 있다. 적어도 하나의 프로세서는, 상기 제 1 원격 제어 장치를 이용하여 제어될 제 1 외부 전자 장치를 결정하도록 구성될 수 있다. 적어도 하나의 프로세서는, 상기 통신 모듈이 상기 전자 장치 및 상기 제 1 외부 전자 장치 간 통신 연결을 설정하도록 구성될 수 있다. 적어도 하나의 프로세서는, 상기 제 1 원격 제어 장치의 적어도 하나의 키 및 상기 제 1 외부 전자 장치의 적어도 하나의 기능을 매핑하기 위한 동작을 수행하도록 구성될 수 있다. 적어도 하나의 프로세서는, 상기 제 1 원격 제어 장치의 적어도 하나의 키 및 상기 제 1 원격 제어 장치를 이용하여, 상기 제 1 외부 전자 장치가 상기 적어도 하나의 기능을 수행하도록 제어하도록 구성될 수 있다.

Description

원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 방법 및 이를 지원하는 전자 장치
본 개시는 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 방법 및 이를 지원하는 전자 장치에 관한 것이다.
통신 기술이 발달함에 따라, 사용자 신체에 착용하더라도 큰 불편함 없이 사용할 수 있을 정도로 전자 장치가 소형화, 경량화되고 있다. 예를 들어, 헤드 마운팅 장치(head mounting device; HMD), 스마트 시계(또는 밴드), 콘택트 렌즈형 장치, 반지형 장치, 장갑형 장치, 신발형 장치 또는 의복형 장치와 같은 웨어러블(wearable) 전자 장치가 상용화되고 있다. 웨어러블 전자 장치는 신체에 직접 착용되므로, 휴대성 및 사용자의 접근성이 향상될 수 있다.
HMD 장치는, 사용자의 머리 또는 안면에 착용된 상태로 사용되는 장치로서, 증강 현실(augmented reality; AR)을 사용자에게 제공할 수 있다. 예를 들어, 증강 현실을 제공하는 HMD 장치는 안경 형태로 구현되어, 사용자 시야 범위의 적어도 일부 공간에서 사물에 대한 정보를 이미지나 문자 형태로 사용자에게 제공할 수 있다. HMD 장치는, 가상 현실(virtual reality; VR)을 사용자에게 제공할 수 있다. 예를 들어, 사용자의 양안에 각각 독립된 영상을 출력하여, 사용자에게 외부 입력으로부터 제공되는 콘텐츠를 영상 또는 음향 형태로 출력함으로써 뛰어난 몰입감을 제공할 수 있다. 또한, HMD 장치는, 혼합 현실(mixed reality; MR) 및/또는 확장 현실(extended reality; XR)을 제공할 수 있다.
사용자는, 원격 제어 장치(예: 리모컨)를 이용하여, 전자 장치(예: 가전 제품)를 제어할 수 있다. 사용자는, 전자 장치에 전용하는 원격 제어 장치를 이용하여 상기 전자 장치를 제어할 수 있다. 예를 들어, 사용자는, TV 용 원격 제어 장치를 이용하여, TV의 기능을 제어하고, 에어컨(air conditioner)의 리모컨을 이용하여, 에어컨의 기능을 제어할 수 있다. 이러한 경우, 사용자는, 사용하고자 하는 전자 장치를 사용 시 마다, 전자 장치에 전용하는 원격 제어 장치를 이용해야 하는 불편이 있을 수 있다.
본 개시는, 전자 장치(예: HMD 장치)를 착용한 사용자가 하나의 원격 제어 장치를 이용하여, 사용자가 원하는 전자 장치(예: 가전 제품)을 제어할 수 있도록 하는, 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 방법 및 이를 지원하는 전자 장치에 관한 것이다.
본 개시가 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 문서와 관련된 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시예에 따른 전자 장치는, 통신 모듈 및 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는, 제 1 원격 제어 장치를 검출하도록 구성될 수 있다. 적어도 하나의 프로세서는, 상기 통신 모듈을 통하여, 상기 제 1 원격 제어 장치와의 통신 연결을 설정하도록 구성될 수 있다. 적어도 하나의 프로세서는, 상기 제 1 원격 제어 장치를 이용하여 제어될 제 1 외부 전자 장치를 결정하도록 구성될 수 있다. 적어도 하나의 프로세서는, 상기 통신 모듈이 상기 전자 장치 및 상기 제 1 외부 전자 장치 간 통신 연결을 설정하도록 구성될 수 있다. 적어도 하나의 프로세서는, 상기 제 1 원격 제어 장치의 적어도 하나의 키 및 상기 제 1 외부 전자 장치의 적어도 하나의 기능을 매핑하기 위한 동작을 수행하도록 구성될 수 있다. 적어도 하나의 프로세서는, 상기 제 1 원격 제어 장치의 적어도 하나의 키 및 상기 제 1 원격 제어 장치를 이용하여, 상기 제 1 외부 전자 장치가 상기 적어도 하나의 기능을 수행하도록 제어하도록 구성될 수 있다.
일 실시예에 따른 전자 장치에서 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 방법은, 제 1 원격 제어 장치를 검출하는 동작을 포함할 수 있다. 상기 방법은, 상기 전자 장치의 통신 모듈을 통하여, 상기 제 1 원격 제어 장치와의 통신 연결을 설정하는 동작을 포함할 수 있다. 상기 방법은, 상기 제 1 원격 제어 장치를 이용하여 제어될 제 1 외부 전자 장치를 결정하는 동작을 포함할 수 있다. 상기 방법은, 상기 전자 장치 및 상기 제 1 외부 전자 장치 간 통신 연결을 설정하는 동작을 포함할 수 있다. 상기 방법은, 상기 제 1 원격 제어 장치의 적어도 하나의 키 및 상기 제 1 외부 전자 장치의 적어도 하나의 기능을 매핑하기 위한 동작을 수행하는 동작을 포함할 수 있다. 상기 방법은, 상기 제 1 원격 제어 장치를 이용하여, 상기 제 1 외부 전자 장치가 상기 적어도 하나의 기능을 수행하도록 제어하는 동작을 포함할 수 있다.
일 실시예에 따른 전자 장치는, 통신 모듈 및 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는, 제 1 외부 전자 장치를 검출하도록 구성될 수 있다. 적어도 하나의 프로세서는, 상기 통신 모듈이 상기 전자 장치 및 상기 제 1 외부 전자 장치 간 통신 연결을 설정하도록 구성될 수 있다. 적어도 하나의 프로세서는, 상기 제 1 원격 제어 장치를 검출하도록 구성될 수 있다. 적어도 하나의 프로세서는, 상기 통신 모듈을 통하여, 상기 제 1 원격 제어 장치와의 통신 연결을 설정하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 제 1 원격 제어 장치의 적어도 하나의 키 및 상기 제 1 외부 전자 장치의 적어도 하나의 기능을 매핑하기 위한 동작을 수행하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 제 1 원격 제어 장치를 이용하여, 상기 제 1 외부 전자 장치가 상기 적어도 하나의 기능을 수행하도록 제어하도록 구성될 수 있다.
일 실시예에서, 컴퓨터 실행 가능 명령어들을 기록한 비-일시적인 컴퓨터 판독 가능 매체에 있어서, 상기 컴퓨터 실행 가능 명령어들은, 실행 시, 적어도 하나의 프로세서를 포함하는 전자 장치가, 적어도 하나의 이미지를 획득하도록 구성될 수 있다. 상기 컴퓨터 실행 가능 명령어들은, 실행 시, 적어도 하나의 프로세서를 포함하는 전자 장치가, 상기 적어도 하나의 이미지 내에서 객체와 관련된 적어도 하나의 관심 영역을 획득하도록 구성될 수 있다. 상기 컴퓨터 실행 가능 명령어들은, 실행 시, 적어도 하나의 프로세서를 포함하는 전자 장치가, 제 1 원격 제어 장치를 검출하도록 구성될 수 있다. 상기 컴퓨터 실행 가능 명령어들은, 실행 시, 적어도 하나의 프로세서를 포함하는 전자 장치가, 상기 통신 모듈을 통하여, 상기 제 1 원격 제어 장치와의 통신 연결을 설정하도록 구성될 수 있다. 상기 컴퓨터 실행 가능 명령어들은, 실행 시, 적어도 하나의 프로세서를 포함하는 전자 장치가, 상기 제 1 원격 제어 장치를 이용하여 제어될 제 1 외부 전자 장치를 결정하도록 구성될 수 있다. 상기 컴퓨터 실행 가능 명령어들은, 실행 시, 적어도 하나의 프로세서를 포함하는 전자 장치가, 상기 통신 모듈이 상기 전자 장치 및 상기 제 1 외부 전자 장치 간 통신 연결을 설정하도록 구성될 수 있다. 상기 컴퓨터 실행 가능 명령어들은, 실행 시, 적어도 하나의 프로세서를 포함하는 전자 장치가, 상기 제 1 원격 제어 장치의 적어도 하나의 키 및 상기 제 1 외부 전자 장치의 적어도 하나의 기능을 매핑하기 위한 동작을 수행하도록 구성될 수 있다. 상기 컴퓨터 실행 가능 명령어들은, 실행 시, 적어도 하나의 프로세서를 포함하는 전자 장치가, 상기 제 1 원격 제어 장치의 적어도 하나의 키 및 상기 제 1 원격 제어 장치를 이용하여, 상기 제 1 외부 전자 장치가 상기 적어도 하나의 기능을 수행하도록 제어하도록 구성될 수 있다.
도 1은, 일 실시예에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는, 일 실시예에 따른 전자 장치의 구조를 설명하기 위한 예시 도면이다.
도 3은, 일 실시예에 따른, 전자 장치의 블록도이다.
도 4는, 일 실시예에 따른, 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 방법을 설명하는 흐름도이다.
도 5a 및 도 5b는, 일 실시예에 따른, 제 1 원격 제어 장치를 검출하는 방법을 설명하는 예시도들이다.
도 6은, 일 실시예에 따른, 제 1 원격 제어 장치와의 연결을 설정하는 방법을 설명하는 흐름도이다.
도 7은, 일 실시예에 따른, 제 1 원격 제어 장치와의 연결을 설정하는 방법을 설명하는 예시도이다.
도 8은, 일 실시예에 따른, 제 1 외부 전자 장치를 결정하는 방법을 설명하는 흐름도이다.
도 9는, 일 실시예에 따른, 제 1 외부 전자 장치를 결정하는 방법을 설명하는 예시도이다.
도 10은, 일 실시예에 따른, 제 1 외부 전자 장치를 결정하는 흐름도이다.
도 11은, 일 실시예에 따른, 제 1 외부 전자 장치를 결정하는 방법을 설명하는 예시도이다.
도 12a는, 일 실시예에 따른, 제 1 원격 제어 장치의 적어도 하나의 키 및 제 1 외부 전자 장치의 적어도 하나의 기능을 매핑하는 방법을 설명하는 흐름도이다.
도 12b는, 일 실시예에 따른, 제 1 원격 제어 장치의 적어도 하나의 키 및 제 1 외부 전자 장치의 적어도 하나의 기능을 매핑하는 방법을 설명하는 예시도이다.
도 13a는, 일 실시예에 따른, 제 1 원격 제어 장치의 적어도 하나의 키 및 제 1 외부 전자 장치의 적어도 하나의 기능을 매핑하는 방법을 설명하는 흐름도이다.
도 13b는, 일 실시예에 따른, 제 1 원격 제어 장치의 적어도 하나의 키 및 제 1 외부 전자 장치의 적어도 하나의 기능을 매핑하는 방법을 설명하는 예시도이다.
도 14a, 도 14b 및 도 14c는, 일 실시예에 따른, 제 2 매핑 방식을 이용하여, 제 1 원격 제어 장치의 적어도 하나의 키 및 제 1 외부 전자 장치의 적어도 하나의 기능을 매핑하는 방법을 설명하는 예시도들이다.
도 15는, 일 실시예에 따른, 제 3 매핑 방식을 이용하여, 제 1 원격 제어 장치의 적어도 하나의 키 및 제 1 외부 전자 장치의 적어도 하나의 기능을 매핑하는 방법을 설명하는 예시도이다.
도 16은, 일 실시예에 따른, 제 1 원격 제어 장치를 이용하여, 제 1 외부 전자 장치가 적어도 하나의 기능을 수행하도록 제어하는 방법을 설명하는 예시도이다.
도 17은, 일 실시예에 따른, 제 1 외부 전자 장치의 전환과 관련된 모드를 설명하기 위한 흐름도이다.
도 18은, 일 실시예에 따른, 제 1 외부 전자 장치의 전환과 관련된 모드를 설명하기 위한 예시도이다.
도 19는, 일 실시예에 따른, 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 방법을 설명하는 시스템 도면이다.
도 20은, 일 실시예에 따른, 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 방법을 설명하는 흐름도이다.
도 21은, 일 실시예에 따른, 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 방법을 설명하는 예시도이다.
도 22는, 일 실시예에 따른, 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 방법을 설명하는 예시도이다.
도 23a는, 일 실시예에 따른, 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 방법을 설명하는 흐름도이다.
도 23b는, 일 실시예에 따른, 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 방법을 설명하는 예시도이다.
도 1은, 일 실시예에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
일 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
본 문서에 개시된 일 실시예에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 일 실시예 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 일 실시예에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 일 실시예는 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 일 실시예에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
일 실시예에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 일 실시예에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 일 실시예에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 2는, 일 실시예에 따른 전자 장치(201)의 구조를 설명하기 위한 예시 도면이다.
도 2를 참조하면, 일 실시예에서, 전자 장치(201)(예: 전자 장치(101))는 하나 이상의 제 1 카메라들(211-1, 211-2), 하나 이상의 제 2 카메라들(212-1, 212-2), 및 하나 이상의 제 3 카메라들(213)을 포함할 수 있다. 일 실시예에서, 하나 이상의 제 1 카메라들(211-1, 211-2)을 통하여 획득된 이미지는 사용자에 의한 손 제스처 검출, 사용자의 머리 추적, 및/또는 공간 인식에 이용될 수 있다. 일 실시예에서, 하나 이상의 제 1 카메라들(211-1, 211-2)은 GS(Global shutter) 카메라일 수 있다.
일 실시예에서, 하나 이상의 제 1 카메라들(211-1, 211-2)은 깊이 촬영을 통한 SLAM(simultaneous localization and mapping) 연산을 수행할 수 있다. 일 실시예에서, 하나 이상의 제 1 카메라들(211-1, 211-2)은 6DoF(degrees of freedom)를 위한 공간 인식을 수행할 수 있다.
일 실시예에서, 하나 이상의 제 2 카메라들(212-1, 212-2)을 통하여 획득된 이미지는 사용자의 눈동자를 검출하고 추적하는 데 이용될 수 있다. 일 실시예에서, 하나 이상의 제 2 카메라들(212-1, 212-2)은 GS 카메라일 수 있다. 일 실시예에서, 하나 이상의 제 2 카메라들(212-1, 212-2)은 각각 좌안 및 우안에 대응될 수 있고, 하나 이상의 제 2 카메라들(212-1, 212-2)의 성능은 동일할 수 있다.
일 실시예에서, 하나 이상의 제 3 카메라(213)는 고해상도의 카메라일 수 있다. 일 실시예에서, 하나 이상의 제 3 카메라(213)는 자동 포커싱(auto-focusing, AF) 기능과 떨림 보정 기능을 수행할 수 있다. 일 실시예에서, 하나 이상의 제 3 카메라(213)는 GS 카메라이거나, RS(rolling shutter) 카메라일 수 있다.
일 실시예에서, 전자 장치(201)는 하나 이상의 발광 소자들(214-1, 214-2)을 포함할 수 있다. 일 실시예에서, 발광 소자들(214-1, 214-2)은 디스플레이의 화면 출력 영역으로 빛을 조사하는, 후술할 광원과는 상이할 수 있다. 일 실시예에서, 발광 소자들(214-1, 214-2)은 하나 이상의 제2 카메라들(212-1, 212-2)를 통하여 사용자의 눈동자를 검출하고 추적하는 경우에 있어서, 눈동자 검출을 용이하게 하기 위한 빛을 조사할 수 있다.
일 실시예에서, 발광 소자들(214-1, 214-2)은 각각 LED(light emitting diode)를 포함할 수 있다. 일 실시예에서, 발광 소자들(214-1, 214-2)은 적외선 영역의 빛을 조사할 수 있다. 일 실시예에서, 발광 소자들(214-1, 214-2)은 전자 장치(201)의 프레임 주변에 부착될 수 있다. 일 실시예에서, 발광 소자들(214-1, 214-2)은 하나 이상의 제1 카메라들(211-1, 211-2) 주변에 위치하고, 전자 장치(201)가 어두운 환경에서 사용될 때 하나 이상의 제1 카메라들(211-1, 211-2)에 의한 제스처 검출, 머리 추적, 및 공간 인식을 보조할 수 있다. 일 실시예에서, 발광 소자들(214-1, 214-2)은 하나 이상의 제3 카메라들(213) 주변에 위치하고, 전자 장치(201)가 어두운 환경에서 사용될 때 하나 이상의 제3 카메라들(213)에 의한 이미지 획득을 보조할 수 있다.
일 실시예에서, 전자 장치(201)는 배터리들(235-1, 235-2)을 포함할 수 있다. 배터리들(235-1, 235-2)은 전자 장치(201)의 나머지 구성요소들을 동작시키기 위한 전력을 저장할 수 있다.
일 실시예에서, 전자 장치(201)는 제1 디스플레이(251), 제2 디스플레이(252), 하나 이상의 입력 광학 부재들(253-1, 253-2), 하나 이상의 투명 부재들(290-1, 290-2), 및 하나 이상의 화면 표시 부분들(254-1, 254-2)을 포함할 수 있다.
일 실시예에서, 제1 디스플레이(251) 및 제2 디스플레이(252)는, 예를 들면, 액정 표시 장치(liquid crystal display; LCD), 디지털 미러 표시 장치(digital mirror device; DMD), 실리콘 액정 표시 장치(liquid crystal on silicon; LCoS), 유기 발광 다이오드(organic light emitting diode; OLED) 또는 마이크로 엘이디(micro light emitting diode; micro LED)를 포함할 수 있다.
일 실시예에서, 제1 디스플레이(251) 및 제2 디스플레이(252)가 액정 표시 장치, 디지털 미러 표시 장치 또는 실리콘 액정 표시 장치 중 하나로 이루어지는 경우, 전자 장치(201)는 디스플레이의 화면 출력 영역으로 빛을 조사하는 광원을 포함할 수 있다. 일 실시예에서, 제1 디스플레이(251) 및 제2 디스플레이(252)가 자체적으로 빛을 발생시킬 수 있는 경우(예컨대, 유기 발광 다이오드 또는 마이크로 엘이디 중 하나로 이루어지는 경우), 전자 장치(201)는 별도의 광원을 포함하지 않더라도 사용자에게 상대적으로 양호한 품질의 가상 영상을 제공할 수 있다.
일 실시예에서, 하나 이상의 투명 부재들(290-1, 290-2)은 사용자가 전자 장치(201)를 착용하였을 때 사용자의 눈에 대면하게 배치될 수 있다. 일 실시예에서, 하나 이상의 투명 부재들(290-1, 290-2)은 글래스 플레이트, 플라스틱 플레이트 또는 폴리머 중 적어도 하나를 포함할 수 있다. 일 실시예에서, 사용자는 전자 장치(201)를 착용하였을 때 하나 이상의 투명 부재들(290-1, 290-2)을 통하여 외부 세계를 볼 수 있다. 일 실시예에서, 하나 이상의 입력 광학 부재들(253-1, 253-2)은 제1 디스플레이(251) 및 제2 디스플레이(252)에서 생성한 빛을 사용자의 눈으로 유도할 수 있다. 일 실시예에서, 하나 이상의 투명 부재들(290-1, 290-2) 위의 하나 이상의 화면 표시 부분들(254-1, 254-2) 위에 제1 디스플레이(251) 및 제2 디스플레이(252)에서 생성한 빛에 기초한 상이 맺히고, 사용자는 하나 이상의 화면 표시 부분들(254-1, 254-2) 위에 맺힌 상을 볼 수 있다.
일 실시예에서, 전자 장치(201)는 하나 이상의 광 도파로들(미도시)을 포함할 수 있다. 광 도파로는 제1 디스플레이(251) 및 제2 디스플레이(252)에서 생성한 빛을 사용자의 눈으로 전달할 수 있다. 전자 장치(201)는 좌안 및 우안에 대응하여 각각 하나씩의 광 도파로를 포함할 수 있다. 일 실시예에서, 광 도파로는 글래스, 플라스틱 또는 폴리머 중 적어도 하나를 포함할 수 있다. 일 실시예에서, 광 도파로는 내부 또는 외부의 일표면에 형성된 나노 패턴, 예를 들어, 다각형 또는 곡면 형상의 격자 구조(grating structure)를 포함할 수 있다. 일 실시예에서, 광 도파로는 free-form형 프리즘을 포함할 수 있고, 이 경우, 광 도파로는 입사된 광을 반사 미러를 통해 사용자에게 제공할 수 있다. 일 실시예에서, 광 도파로는 적어도 하나의 회절 요소(예: DOE(diffractive optical element), HOE(holographic optical element)) 또는 반사 요소(예: 반사 거울) 중 적어도 하나를 포함하고, 광 도파로에 포함된 적어도 하나의 회절 요소 또는 반사 요소를 이용하여 광원으로부터 방출된 디스플레이 광을 사용자의 눈으로 유도할 수 있다. 일 실시예에서, 회절 요소는 입력/출력 광학 부재를 포함할 수 있다. 일 실시예에서, 반사 요소는 전반사를 일으키는 부재를 포함할 수 있다.
일 실시예에서, 전자 장치(201)는 하나 이상의 음성 입력 장치들(262-1, 262-2, 262-3) 및 하나 이상의 음성 출력 장치들(263-1, 263-2)을 포함할 수 있다.
일 실시예에서, 전자 장치(201)는 제1 PCB(270-1) 및 제2 PCB(270-2)를 포함할 수 있다. 제1 PCB(270-1) 및 제2 PCB(270-2)는 하나 이상의 제1 카메라들(211-1, 211-2), 하나 이상의 제2 카메라들(212-1, 212-2), 하나 이상의 제3 카메라(213), 디스플레이들, 오디오 모듈, 및 센서와 같은, 전자 장치(201)에 포함되는 구성 요소에 전기 신호를 전달하도록 설정될 수 있다. 일 실시예에서, 제1 PCB(270-1) 및 제2 PCB(270-2)는 FPCB(flexible printed circuit board)를 포함할 수 있다. 일 실시예에서, 제1 PCB(270-1) 및 제2 PCB(270-2)는 각각 제1 기판, 제2 기판, 및 제1 기판과 상기 제2 기판 사이에 배치된 인터포저를 포함할 수 있다.
도 3은, 일 실시예에 따른, 전자 장치(301)의 블록도이다.
도 3을 참조하면, 일 실시예에서, 전자 장치(301)는, 도 1의 전자 장치(101) 또는 도 2의 전자 장치(201)에 포함될 수 있다. 예를 들어, 전자 장치(301)는, 증강현실, 가상 현실, 혼합 현실, 및/또는 확장 현실을 제공할 수 있는, HMD 장치일 수 있다.
일 실시예에서, 전자 장치(301)는, 통신 모듈(310), 카메라 모듈(320), 디스플레이 모듈(330), 센서(340), 오디오 모듈(341), 마이크(342), 스피커(343), 메모리(350), 및/또는 프로세서(360)를 포함할 수 있다.
일 실시예에서, 통신 모듈(310)은 도 1의 통신 모듈(190)에 포함될 수 있다.
일 실시예에서, 통신 모듈(310)은, 전자 장치(301)를, 원격 제어 장치(예: 리모컨), 서버, 및/또는 적어도 하나의 외부 전자 장치와 통신 연결할 수 있다. 예를 들어, 통신 모듈(310)은, 전자 장치(301) 및 원격 제어 장치를 통신 연결할 수 있다. 예를 들어, 통신 모듈(310)은, 전자 장치(301)와, 사물인터넷(internet of things; IoT) 기술을 이용하여 외부 전자 장치를 제어할 수 있도록 하는 서버(예: IoT 서버)를 통신 연결할 수 있다. 예를 들어, 통신 모듈(310)은, 전자 장치(301)와 적어도 하나의 외부 전자 장치(예: IoT 서버에 등록된 IoT 디바이스)를 통신 연결할 수 있다. 다만, 통신 모듈(310)이, 전자 장치(301)와 연결할 수 있는 장치는 전술한 원격 제어 장치, 서버, 및/또는 적어도 하나의 외부 전자 장치에 제한되지 않는다.
일 실시예에서, 통신 모듈(310)은, 원격 제어 장치로부터, 명령을 수신할 수 있다. 예를 들어, 근거리 통신 모듈(예: 블루투스, 와이 파이)은, 전자 장치(301)와 통신 연결된 원격 제어 장치로부터, 원격 제어 장치로 입력된 사용자 입력에 대응하는 명령(예: 외부 전자 장치의 기능을 제어하기 위한 명령)을 수신할 수 있다. 예를 들어, IR(infrared) 통신(적외선 통신) 모듈("IR 센서"로도 지칭됨)은, 전자 장치(301)와 통신 연결된 원격 제어 장치로부터, 명령을 수신할 수 있다. 다만, 원격 제어 장치로부터 명령을 수신하기 위한 통신 모듈(310)은 전술한 근거리 통신 모듈 및 IR 통신 모듈에 제한되지 않는다.
일 실시예에서, 카메라 모듈(320)은 도 1의 카메라 모듈(180)에 포함될 수 있다.
일 실시예에서, 카메라 모듈(320)은 복수의 카메라들을 포함할 수 있다. 예를 들어, 카메라 모듈(320)은, 사용자에 의한 손 제스처 검출, 사용자의 머리 추적, 및/또는 공간 인식을 위한 카메라들(예: 도 2의 하나 이상의 제 1 카메라들(211-1, 211-2))을 포함할 수 있다. 예를 들어, 카메라 모듈(320)은, 사용자의 눈동자를 검출하고 추적하는데 이용되는 카메라들(예: 도 2의 하나 이상의 제 2 카메라들(212-1, 212-2))을 포함할 수 있다. 예를 들어, 카메라 모듈(320)은, 자동 포커싱 기능과 떨림 보정 기능을 수행하기 위한 카메라(예: 도 2의 제 3 카메라(213))를 포함할 수 있다. 다만, 카메라 모듈(320)이 포함하는 카메라들은 전술한 예시에 제한되지 않으며, 카메라 모듈(320)은 전술한 카메라들 중 적어도 일부를 포함하지 않을 수 있다.
일 실시예에서, 디스플레이 모듈(330)은, 도 1의 디스플레이 모듈(160)에 포함될 수 있다.
일 실시예에서, 센서(340)는 전자 장치의 움직임(및 방향)에 대한 정보를 획득할 수 있다. 일 실시예에서, 센서(340)는, 6축 센서, 자기 센서, 근접 센서, 및/또는 광 센서를 포함할 수 있다.
일 실시예에서, 오디오 모듈(341)은, 도 1의 오디오 모듈(170)에 포함될 수 있다. 일 실시예에서, 마이크(342)는, 도 1의 입력 모듈(150)에 포함될 수 있다. 일 실시예에서, 스피커(343)는, 도 1의 음향 출력 모듈(155)에 포함될 수 있다.
일 실시예에서, 메모리(350)는 도 1의 메모리(130)에 포함될 수 있다.
일 실시예에서, 메모리(350)는, 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 동작을 수행하기 위한 정보를 저장할 수 있다. 메모리(350)가 저장하는 정보에 대해서는 후술하도록 한다.
일 실시예에서, 프로세서(360)는 도 1의 프로세서(120)에 포함될 수 있다.
일 실시예에서, 프로세서(360)는, 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 동작을 전반적으로 제어할 수 있다. 일 실시예에서, 프로세서(360)는, 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 동작을 수행하기 위한 하나 이상의 프로세서들을 포함할 수 있다. 프로세서(360)가 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 동작에 대해서는 도 4 이하를 참조하여 설명하도록 한다.
도 3에서 전자 장치(301)가 통신 모듈(310), 카메라 모듈(320), 디스플레이 모듈(330), 센서(340), 메모리(350), 오디오 모듈(341), 마이크(342), 스피커(343), 및 프로세서(360)를 포함하는 것으로 예시하고 있지만 이에 제한되지 않는다. 예를 들어, 전자 장치(301)는, 도 1 또는 도 2에 도시된 구성들 중 적어도 하나의 구성을 더 포함할 수 있다. 예를 들어, 전자 장치(301)는, 도 3에 도시된 구성들 중 적어도 하나를 포함하지 않을 수 있다.
일 실시예에 따른 전자 장치(301)는, 통신 모듈(310) 및 적어도 하나의 프로세서(360)를 포함할 수 있다. 적어도 하나의 프로세서(360)는, 제 1 원격 제어 장치를 검출하도록 구성될 수 있다. 적어도 하나의 프로세서(360)는, 상기 통신 모듈(310)을 통하여, 상기 제 1 원격 제어 장치와의 통신 연결을 설정하도록 구성될 수 있다. 적어도 하나의 프로세서(360)는, 상기 제 1 원격 제어 장치를 이용하여 제어될 제 1 외부 전자 장치를 결정하도록 구성될 수 있다. 적어도 하나의 프로세서(360)는, 상기 통신 모듈(310)이 상기 전자 장치(301) 및 상기 제 1 외부 전자 장치를 통신 연결을 설정하도록 통신 모듈(310)을 제어하도록 구성될 수 있다. 적어도 하나의 프로세서(360)는, 상기 제 1 원격 제어 장치의 적어도 하나의 키 및 상기 제 1 외부 전자 장치의 적어도 하나의 기능을 매핑하기 위한 동작을 수행하도록 구성될 수 있다. 적어도 하나의 프로세서(360)는, 상기 제 1 원격 제어 장치의 적어도 하나의 키 및 상기 제 1 원격 제어 장치를 이용하여, 상기 제 1 외부 전자 장치가 상기 적어도 하나의 기능을 수행하도록 제어하도록 구성될 수 있다.
일 실시예에서, 상기 전자 장치(301)는 카메라 모듈(320)을 더 포함하고, 상기 적어도 하나의 프로세서(360)는, 상기 카메라 모듈(320)을 통하여 이미지를 획득하고, 상기 이미지에 기반하여, 상기 전자 장치(301)를 착용한 사용자의 시선에 대응하는 범위에 존재하는 상기 제 1 원격 제어 장치를 검출하도록 구성될 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서(360)는, 상기 제 1 원격 제어 장치의 움직임을 검출하고, 상기 제 1 원격 제어 장치의 움직임을 검출함에 기반하여, 제 1 원격 제어 장치에 대응하는 제 2 외부 전자 장치로, 상기 제 1 원격 제어 장치의 명령을 상기 전자 장치(301)로 전달(forward)하도록 요청하고, 및 상기 제 1 원격 제어 장치와의 통신 연결을 설정하도록 구성될 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서(360)는, 상기 통신 모듈(310)을 통하여, 상기 제 1 원격 제어 장치로부터, 상기 제 2 외부 전자 장치 및 서버를 거쳐, 상기 제 1 원격 제어 장치와의 통신 연결을 위하여 상기 제 1 원격 제어 장치로 입력되는 사용자 입력을 수신하고, 및 상기 사용자 입력에 기반하여, 상기 제 1 원격 제어 장치와의 통신 연결을 설정하도록 구성될 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서(360)는, 상기 제 1 외부 전자 장치를 검출하고, 및 상기 통신 모듈(310)이 상기 제 1 외부 전자 장치 및 상기 전자 장치(301)를 간 통신 연결을 설정하도록 상기 통신 모듈(310)을 제어하도록 구성될 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서(360)는, 상기 제 1 원격 제어 장치와의 통신 연결이 설정됨에 기반하여, 제 1 원격 제어 장치를 이용하여 제어 가능한 외부 전자 장치들의 리스트를 출력하고, 상기 리스트에 대한 사용자 입력에 기반하여, 상기 외부 전자 장치들 중에서 상기 제 1 외부 전자 장치를 결정하고, 및 상기 통신 모듈(310)이 상기 제 1 외부 전자 장치 및 상기 전자 장치(301) 간 통신 연결을 설정하도록 상기 통신 모듈(310)을 제어하도록 구성될 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서(360)는, 상기 제 1 외부 전자 장치의 적어도 하나의 기능에 대응하는 적어도 하나의 오브젝트(object)가 전자 장치(301) 주변 3차원 공간 상에 배치되는 것으로 상기 전자 장치(301)를 착용한 사용자에게 보이도록, 상기 적어도 하나의 오브젝트를 상기 전자 장치(301)의 디스플레이 모듈(330)을 통하여 표시하고, 상기 적어도 하나의 오브젝트 중에서, 상기 사용자의 시선에 대응하는 오브젝트를 선택하고, 상기 통신 모듈(310)을 통하여, 상기 제 1 원격 제어 장치로부터, 상기 오브젝트에 대응하는 기능이 매핑될, 사용자 입력이 입력된 상기 제 1 원격 제어 장치의 키에 대한 정보를 수신하고, 및 상기 선택된 오브젝트에 대응하는 기능을 상기 제 1 원격 제어 장치의 키에 매핑하도록 구성될 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서(360)는, 상기 제 1 외부 전자 장치의 적어도 하나의 기능 각각에 대한 상기 사용자의 사용 이력에 기반하여, 상기 적어도 하나의 기능을 우선 순위를 가지는 그룹들로 분류하고, 및 상기 그룹들의 우선 순위에 기반하여, 상기 적어도 하나의 오브젝트가 상기 전자 장치(301) 주변 3차원 공간 상에 배치되는 것으로 상기 사용자에게 보이도록, 상기 디스플레이 모듈(330)을 통하여 상기 적어도 하나의 오브젝트를 표시하도록 구성될 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서(360)는, 상기 제 1 외부 전자 장치의 상기 적어도 하나의 기능이 상기 제 1 원격 제어 장치의 적어도 하나의 키에 매핑된 경우, 상기 제 1 원격 제어 장치의 상기 적어도 하나의 키와 중첩되도록 상기 매핑된 적어도 하나의 기능을 나타내는 오브젝트를 상기 전자 장치(301)의 디스플레이 모듈(330)을 통하여 표시하도록 구성될 수 있다.
일 실시예에 따른 전자 장치(301)는, 통신 모듈(310) 및 적어도 하나의 프로세서(360)를 포함할 수 있다. 적어도 하나의 프로세서(360)는, 제 1 외부 전자 장치를 검출하도록 구성될 수 있다. 적어도 하나의 프로세서(360)는, 상기 통신 모듈(310)이 상기 전자 장치(301) 및 상기 제 1 외부 전자 장치 간 통신 연결을 설정하도록 상기 통신 모듈(310)을 제어하도록 구성될 수 있다. 적어도 하나의 프로세서(360)는, 상기 제 1 원격 제어 장치를 검출하도록 구성될 수 있다. 적어도 하나의 프로세서(360)는, 상기 통신 모듈(310)을 통하여, 상기 제 1 원격 제어 장치와의 통신 연결을 설정하도록 구성될 수 있다. 상기 적어도 하나의 프로세서(360)는, 상기 제 1 원격 제어 장치의 적어도 하나의 키 및 상기 제 1 외부 전자 장치의 적어도 하나의 기능을 매핑하기 위한 동작을 수행하도록 구성될 수 있다. 상기 적어도 하나의 프로세서(360)는, 상기 제 1 원격 제어 장치를 이용하여, 상기 제 1 외부 전자 장치가 상기 적어도 하나의 기능을 수행하도록 제어하도록 구성될 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서(360)는, 상기 제 1 외부 전자 장치 및 상기 전자 장치(301)가 통신 연결된 경우, 상기 제 1 외부 전자 장치를 제어할 수 있는 적어도 하나의 원격 제어 장치에 대한 정보를 상기 전자 장치(301)의 디스플레이 모듈(330)을 통하여 표시하도록 구성될 수 있다.
도 4는, 일 실시예에 따른, 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 방법을 설명하는 흐름도(400)이다.
도 4를 참조하면, 동작 401에서, 일 실시예에서, 프로세서(360)는, 제 1 원격 제어 장치를 검출할 수 있다. 예를 들어, 프로세서(360)는, 외부 전자 장치를 제어하기 위한 원격 제어 장치(이하, "제 1 원격 제어 장치"로 지칭함)를 감지(또는 인식)할 수 있다.
일 실시예에서, 프로세서(360)는, 카메라 모듈(320)을 통하여 획득된 이미지에 기반하여, 제 1 원격 제어 장치를 검출할 수 있다.
일 실시예에서, 프로세서(360)는, 카메라 모듈(320)(예: 도 2의 하나 이상의 제 2 카메라들(212-1, 212-2))을 통하여, 전자 장치(301)를 착용한 사용자의 시선을 검출할 수 있다. 프로세서(360)는, 카메라 모듈(320)(예: 도 2의 하나 이상의 제 1 카메라들(211-1, 211-2))을 통하여, 사용자의 시선에 대응하는 범위(예: 뷰(view)) 내에 위치하는 제 1 원격 제어 장치에 대한 이미지를 획득할 수 있다. 프로세서(360)는, 획득된 이미지와, 메모리(350)에 저장되고 원격 제어 장치들을 각각 포함하는 복수의 이미지들을 비교함으로써, 제 1 원격 제어 장치를 검출할 수 있다. 프로세서(360)는, 제 1 원격 제어 장치를 검출함으로써, 메모리(350)로부터 제 1 원격 제어 장치에 대한 정보(예: 제 1 원격 제어 장치의 타입, 명칭, 모델명, 제 1 원격 제어 장치가 수행할 수 있는 기능, 제 1 원격 제어 장치가 전용하는 외부 전자 장치, 작동 상태)를 획득할 수 있다.
일 실시예에서, 프로세서(360)는, 카메라 모듈(320)(예: 도 2의 하나 이상의 제 1 카메라들(211-1, 211-2))을 통하여, 카메라 모듈(320)의 화각 범위(예: 카메라 모듈(320)의 화각의 중심으로부터 지정된 영역)에 위치하는 제 1 원격 제어 장치에 대한 이미지를 획득할 수 있다. 프로세서(360)는, 획득된 이미지와, 메모리(350)에 저장되고 원격 제어 장치들을 각각 포함하는 복수의 이미지들을 비교함으로써, 제 1 원격 제어 장치를 검출할 수 있다. 프로세서(360)는, 제 1 원격 제어 장치를 검출함으로써, 메모리(350)로부터 제 1 원격 제어 장치에 대한 정보를 획득할 수 있다.
전술한 예시들에서, 프로세서(360)가 카메라 모듈(320)을 통하여 획득된 이미지에 기반하여, 제 1 원격 제어 장치를 검출하는 것으로 예시하고 있지만, 이에 제한되지 않는다. 예를 들어, 프로세서(360)는, 통신 모듈(310)(예: UWB(ultra wideband) 통신 모듈(310))을 통하여, 전자 장치가 향하는 방향에 위치하는 제 1 원격 제어 장치를 검출할 수도 있다.
이하, 도 5a 및 도 5b를 참조하여, 제 1 원격 제어 장치를 검출하는 방법에 대하여 설명하도록 한다.
도 5a 및 도 5b는, 일 실시예에 따른, 제 1 원격 제어 장치를 검출하는 방법을 설명하는 예시도들이다.
도 5a 및 도 5b를 참조하면, 일 실시예에서, 프로세서(360)는, 센서(340)(예: 근접 센서)를 통하여, 전자 장치(301)가 사용자의 신체(예: 사용자의 얼굴)에 착용됨을 검출할 수 있다. 일 실시예에서, 프로세서(360)는, 전자 장치(301)가 사용자의 신체에 착용된 상태에서, 사용자 입력에 기반하여, 전자 장치(301)가 외부 전자 장치를 제어하기 위한 모드(이하, "home control 모드"로도 지칭됨)로 진입하도록 할 수 있다. 일 실시예에서, 전자 장치(301) 및 외부 전자 장치는, IoT 네트워크에 등록될 수 있다. 예를 들어, 전자 장치(301)는, 전자 장치(301)의 사용자의 계정을 이용하여, IoT 서비스를 제공하는 IoT 서버(이하, "서버"로 지칭함)에 지정된 위치(예: location) 및/또는 지정된 장소(예: 룸(room))와 연관하여, 전자 장치(301)가 서버를 통하여 제어 가능한 외부 전자 장치를 등록할 수 있다. 일 실시예에서, 프로세서(360)는, 외부 전자 장치가 IoT 네트워크에 등록된 경우, 사용자 입력에 기반하여, 전자 장치(301)가 상기 등록된 외부 전자 장치의 기능을 제어하기 위한 모드로 진입하도록 할 수 있다.
일 실시예에서, 프로세서(360)는, 전자 장치(301)가 외부 전자 장치의 기능을 제어하기 위한 모드로 진입한 경우, IoT 서버에 상기 지정된 위치 및/또는 상기 지정된 장소와 연관되어 등록된 외부 전자 장치에 대한 정보 및 외부 전자 장치를 제어하기 위한 원격 제어 장치에 대한 정보를 획득할 수 있다. 예를 들어, 프로세서(360)는, 전자 장치(301)가 외부 전자 장치의 기능을 제어하기 위한 모드로 진입한 경우, 서버로부터, 통신 모듈(310)을 통하여, 외부 전자 장치에 대한 정보 및 외부 전자 장치를 제어하기 위한 원격 제어 장치에 대한 정보를 수신할 수 있다. 프로세서(360)는, 서버로부터 수신된, 외부 전자 장치에 대한 정보 및 원격 제어 장치에 대한 정보를, 메모리(350)에 저장할 수 있다.
일 실시예에서, 외부 전자 장치에 대한 정보는, 외부 전자 장치의 타입, 명칭, 모델명, 외부 전자 장치가 수행하는 기능(예: 원격 제어에 의해 수행 가능한 외부 전자 장치의 기능), 작동 상태, 외부 전자 장치에 대응하는 원격 제어 장치에 대한 정보, 및/또는 외부 전자 장치에 대한 이미지를 포함할 수 있다. 일 실시예에서, 외부 전자 장치에 대한 이미지는, 외부 전자 장치를 검출하기 위하여 이용될 수 있다.
일 실시예에서, 원격 제어 장치에 대한 정보는, 원격 제어 장치의 타입, 명칭, 모델명, 원격 제어 장치가 수행할 수 있는 기능, 원격 제어 장치가 전용하는 외부 전자 장치에 대한 정보, 작동 상태, 및/또는 원격 제어 장치에 대한 이미지를 포함할 수 있다. 일 실시예에서, 원격 제어 장치에 대한 이미지는, 원격 제어 장치를 검출하기 위하여 이용될 수 있다. 예를 들어, 원격 제어 장치에 대한 이미지는, 동작 401에서, 제 1 원격 제어 장치에 대한 이미지와의 비교를 위하여 이용될 적어도 하나의 이미지일 수 있다.
일 실시예에서, 프로세서(360)는, 참조 부호 501에 도시된 바와 같이, 전자 장치가 외부 전자 장치의 기능을 제어하기 위한 모드(home control mode)로 진입하도록 할 수 있다. 일 실시예에서, 참조 부호 501은, 전자 장치(301)(예: 도 2의 하나 이상의 투명 부재들(290-1, 290-2))를 통하여 사용자에게 보여지는 뷰(view)(511)를 나타낼 수 있다. 상기 뷰는, 책상(517)에 놓여진 원격 제어 장치 1(513) 및 원격 제어 장치(515)를 포함할 수 있다.
일 실시예에서, 참조 부호 502는, 전자 장치(301)를 착용한 사용자의 시선이 이동되는 경우(예: 전자 장치를 착용한 사용자가 머리를 왼쪽 방향으로 이동한 경우), 전자 장치(301)를 통하여 사용자에게 보여지는 뷰(521)를 나타낼 수 있다.
일 실시예에서, 참조 부호 503에서, 프로세서(360)는, 사용자의 시선에 대응하는 범위에 위치하는 원격 제어 장치 1(513)를 검출할 수 있다. 예를 들어, 프로세서(360)는, 사용자의 시선에 대응하는 범위에 원격 제어 장치 1(513)이 지정된 시간 동안 존재함(예: 사용자의 시선이 원격 제어 장치(513)에 지정된 시간 동안 고정되는 경우)을 확인할 수 있다. 프로세서(360)는, 사용자의 시선에 대응하는 범위에 원격 제어 장치 1(513)이 지정된 시간 동안 존재함을 확인함에 기반하여, 원격 제어 장치 1(513)을 검출하기 위한 동작을 수행할 수 있다. 프로세서(360)는, 원격 제어 장치 1(513)이 검출됨(또는 원격 제어 장치 1(513)을 검출하는 동작이 수행되는 중임)을 나타내는 인디케이션(indication)(533)(예: 원격 제어 장치 1(513)의 외곽 경계선을 나타내는 가상 라인)를 디스플레이 모듈(330)을 통하여 표시할 수 있다. 다만, 이에 제한되지 않으며, 프로세서(360)는, 상기 인디케이션(533)에 추가적으로 또는 대체하여, 원격 제어 장치 1(513)이 검출됨(또는 원격 제어 장치 1(513)을 검출하는 동작이 수행되는 중임)을 나타내는 오디오를 스피커를 통하여 출력할 수 있다.
일 실시예에서, 참조 부호 504에서, 프로세서(360)는, 사용자의 시선에 대응하는 범위에 위치하는 원격 제어 장치 1(513)이 검출된 경우, 상기 인디케이션(533)과 함께, 원격 제어 장치 1(513)에 대한 정보(543)를 디스플레이 모듈(330)을 통하여 표시할 수 있다. 다만, 이에 제한되지 않으며, 프로세서(360)는, 상기 정보(543)에 추가적으로 또는 대체하여, 원격 제어 장치 1(513)에 대한 정보(543)를 나타내는 오디오를 스피커를 통하여 출력할 수 있다.
일 실시예에서, 참조 부호 505는, 전자 장치(301)를 착용한 사용자의 시선이 이동되는 경우(예: 전자 장치(301)를 착용한 사용자가 머리를 오른쪽 방향으로 이동한 경우), 전자 장치(301)를 통하여 사용자에게 보여지는 뷰(551)를 나타낼 수 있다.
일 실시예에서, 참조 부호 506에서, 프로세서(360)는, 사용자의 시선에 대응하는 범위에 위치하는 원격 제어 장치 2(515)를 검출할 수 있다. 예를 들어, 프로세서(360)는, 사용자의 시선에 대응하는 범위에 원격 제어 장치 2(515)가 지정된 시간 동안 존재함을 확인할 수 있다. 프로세서(360)는, 사용자의 시선에 대응하는 범위에 원격 제어 장치 2(515)가 지정된 시간 동안 존재함을 확인함에 기반하여, 원격 제어 장치 2(515)를 검출하기 위한 동작을 수행할 수 있다. 프로세서(360)는, 원격 제어 장치 2(515)가 검출됨(또는 원격 제어 장치 2(515)를 검출하는 동작이 수행되는 중임)을 나타내는 인디케이션(563)(예: 원격 제어 장치 2(513)의 외곽 경계선을 나타내는 가상 라인)를 디스플레이 모듈(330)을 통하여 표시할 수 있다. 다만, 이에 제한되지 않으며, 프로세서(360)는, 상기 인디케이션(533)에 추가적으로 또는 대체하여, 원격 제어 장치 2(515)가 검출됨(또는 원격 제어 장치 2(515)를 검출하는 동작이 수행되는 중임)을 나타내는 오디오를 스피커를 통하여 출력할 수 있다. 일 실시예에서, 프로세서(360)는, 사용자의 시선에 대응하는 범위에 위치하는 원격 제어 장치 2(515)가 검출된 경우, 상기 인디케이션(563)과 함께, 원격 제어 장치 2(515)에 대한 정보(565)를 디스플레이 모듈(330)을 통하여 표시할 수 있다. 다만, 이에 제한되지 않으며, 프로세서(360)는, 상기 정보(565)에 추가적으로 또는 대체하여, 원격 제어 장치 2(515)에 대한 정보(565)를 나타내는 오디오를 스피커를 통하여 출력할 수 있다.
도 4를 다시 참조하면, 동작 403에서, 일 실시예에서, 프로세서(360)는, 통신 모듈(310)을 통하여, 제 1 원격 제어 장치와의 연결을 설정할 수 있다. 예를 들어, 프로세서(360)는, 제 1 원격 제어 장치로 입력되는 사용자 입력에 의한 명령을, 제 1 원격 제어 장치로부터 수신하기 위한 연결을 설정할 수 있다. 이하, 도 6 내지 도 7을 참조하여, 제 1 원격 제어 장치와의 연결을 설정하는 방법에 대하여 설명하도록 한다.
도 6은, 일 실시예에 따른, 제 1 원격 제어 장치와의 연결을 설정하는 방법을 설명하는 흐름도(600)이다.
도 7은, 일 실시예에 따른, 제 1 원격 제어 장치와의 연결을 설정하는 방법을 설명하는 예시도(700)이다.
도 6 및 도 7을 참조하면, 동작 601에서, 일 실시예에서, 프로세서(360)는, 제 1 원격 제어 장치의 움직임을 검출할 수 있다.
일 실시예에서, 프로세서(360)는, 카메라 모듈(320)을 통하여 연속적으로 획득되는 복수의 이미지들에 기반하여, 제 1 원격 제어 장치의 움직임을 검출할 수 있다.
일 실시예에서, 프로세서(360)는, 전자 장치(301) 및 제 1 원격 제어 장치가 통신 연결된 상태에 있는 경우, 제 1 원격 제어 장치로부터 수신된 정보에 기반하여, 제 1 원격 제어 장치의 움직임을 검출할 수 있다. 예를 들어, 제 1 원격 제어 장치는, 제 1 원격 제어 장치에 포함된 모션 센서(예: 가속도 센서)를 통하여, 제 1 원격 제어 장치의 움직임을 검출할 수 있다. 프로세서(360)는, 제 1 원격 제어 장치로부터, 통신 모듈(310)을 통하여, 제 1 원격 제어 장치에서 검출된 제 1 원격 제어 장치의 움직임에 대한 정보를 획득함으로써, 제 1 원격 제어 장치의 움직임을 검출할 수 있다.
일 실시예에서, 프로세서(360)는, 제 1 원격 제어 장치를 그립(grip)하는 사용자 제스처를 검출할 수 있다. 예를 들어, 프로세서(360)는, 카메라 모듈(320)을 통하여 획득되는 이미지에 기반하여, 제 1 원격 제어 장치를 그립하는 사용자 제스처를 검출할 수 있다.
일 실시예에서, 프로세서(360)는, 제 1 원격 제어 장치를 그립하는 사용자 제스처 및 제 1 원격 제어 장치의 움직임을 검출할 수 있다.
일 실시예에서, 프로세서(360)는, 제 1 원격 제어 장치의 움직임이 검출된 경우(및/또는 제 1 원격 제어 장치를 그립하는 사용자 제스처가 검출된 경우), 제 1 원격 제어 장치를 나타내는 정보를 출력할 수 있다. 예를 들어, 참조 부호 701에 도시된 바와 같이, 프로세서(360)는, 제 1 원격 제어 장치(711)가 이동된 경우, 제 1 원격 제어 장치를 나타내는 인디케이션(722)을 디스플레이 모듈(330)를 통하여 표시할 수 있다. 예를 들어, 참조 부호 701에 도시된 바와 같이, 프로세서(360)는, 제 1 원격 제어 장치(711)가 이동된 경우, 제 1 원격 제어 장치를 나타냄을 나타내는 오디오를 스피커를 통하여 출력할 수 있다.
동작 603에서, 일 실시예에서, 프로세서(360)는, 제 1 원격 제어 장치에 대응하는 제 2 외부 전자 장치로, 제 1 원격 제어 장치의 명령을 전자 장치(301)로 전달(forward)하도록 요청할 수 있다. 예를 들어, 프로세서(360)는, 제 1 원격 제어 장치의 움직임이 검출된 경우, 제 1 원격 제어 장치에 대응하는 제 2 외부 전자 장치로, 제 1 원격 제어 장치의 명령을 전자 장치(301)로 전달하도록 요청할 수 있다.
일 실시예에서, 제 1 원격 제어 장치에 대응하는 제 2 외부 전자 장치는, 제 1 원격 제어 장치가 전용하도록 설정된 외부 전자 장치(이하, "제 2 외부 전자 장치"로 지칭함)일 수 있다. 예를 들어, 제 1 원격 제어 장치가 TV 제어에 전용되도록 설정된 경우, 제 2 외부 전자 장치는 TV일 수 있다. 다만, 이에 제한되지 않는다. 예를 들어, 제 2 외부 전자 장치는, 제 1 원격 제어 장치로 입력되는 사용자 입력에 의해 현재 제어되는 외부 전자 장치를 포함할 수 있다.
일 실시예에서, 프로세서(360)는, 제 1 원격 제어 장치로 제 1 원격 제어 장치의 버튼(button)을 선택하는 사용자 입력이 입력될 경우, 사용자 입력에 대응하는 명령을 수신하는 제 2 외부 전자 장치가 상기 명령을 전자 장치(301)로 전달하도록 하는 요청(이하, "명령 전달 요청"으로도 지칭함)을 제 2 외부 전자 장치로 전송할 수 있다. 예를 들어, 프로세서(360)는, 통신 모듈(310)을 통하여, 서버(예: 전자 장치(301) 및 제 2 외부 전자 장치가 등록된 IoT 서버)로, 명령 전달 요청을 전송할 수 있다. 상기 서버는, 수신된 명령 전달 요청을, 제 2 외부 전자 장치로 전송할 수 있다.
일 실시예에서, 프로세서(360)가, 제 2 외부 전자 장치로, 명령 전달 요청을 전달함으로써, 제 2 외부 전자 장치가 제 1 원격 제어 장치로부터 사용자 입력에 대응하는 명령을 수신하는 경우, 제 2 외부 전자 장치에서 상기 수신된 명령에 대응하는 기능을 수행하지 않도록 할 수 있다. 일 실시예에서, 제 2 외부 전자 장치는, 서버로부터 명령 전달 요청을 수신한 경우, 제 2 외부 전자 장치가 제 1 원격 제어 장치로부터 사용자 입력에 대응하는 명령을 수신하더라도 수신된 명령에 대응하는 기능을 수행하지 않는 대기 상태에 있을 수 있다.
동작 605에서, 일 실시예에서, 프로세서(360)는, 제 1 원격 제어 장치와의 통신 연결을 설정할 수 있다.
일 실시예에서, 프로세서(360)는, 제 1 원격 제어 장치로부터, 제 1 원격 제어 장치에서 입력된 사용자 입력에 기반하여, 제 1 원격 제어 장치와의 통신 연결을 설정할 수 있다. 일 실시예에서, 제 1 원격 제어 장치에서 입력된 사용자 입력은, 전자 장치 및 제 1 원격 제어 장치와의 통신 연결을 설정하기 위하여 지정된 사용자 입력을 포함할 수 있다.
일 실시예에서, 제 1 원격 제어 장치는, 제 1 원격 제어 장치의 지정된 버튼(예: 확인 기능과 관련된 버튼)을 선택하는 사용자 입력, 제 1 원격 제어 장치의 지정된 움직임, 및/또는 사용자의 지정된 음성 입력을 포함하는 지정된 사용자 입력을 획득할 수 있다. 제 1 원격 제어 장치는, 지정된 사용자 입력에 대응하는 명령을 제 2 외부 전자 장치로 전송할 수 있다. 제 2 외부 전자 장치는, 제 1 원격 제어 장치로부터 수신된 상기 지정된 사용자 입력에 대응하는 명령을 서버로 전달할 수 있다. 서버는 상기 제 2 외부 전자 장치로부터 수신된 상기 지정된 사용자 입력에 대응하는 명령을 전자 장치(301)로 전송할 수 있다. 프로세서(360)는, 통신 모듈(310)을 통하여 상기 서버로부터 수신된 상기 지정된 사용자 입력에 대응하는 명령을 수신할 수 있다. 프로세서(360)는, 상기 지정된 사용자 입력에 대응하는 명령을 수신함에 기반하여, 전자 장치 및 제 1 원격 제어 장치 간 통신 연결을 설정할 수 있다.
일 실시예에서, 프로세서(360)는, 통신 모듈(310)이 전자 장치(301) 및 제 1 원격 제어 장치 간 통신 연결을 설정하도록 통신 모듈(310)을 제어할 수 있다. 예를 들어, 제 1 원격 제어 장치가 근거리 무선 통신(예: 블루투스, 와이 파이)을 이용하여 전자 장치(301)와 연결 가능한 장치인 경우(예: 제 1 원격 제어 장치가 근거리 무선 통신 모듈(310)을 포함하는 경우), 프로세서(360)는, 상기 지정된 사용자 입력에 대응하는 명령을 수신함에 기반하여, 근거리 무선 통신 모듈이 전자 장치(301) 및 제 1 원격 제어 장치 간 통신 연결을 설정하도록 근거리 무선 통신 모듈을 제어할 수 있다. 일 실시예에서, 프로세서(360)는, 전자 장치 및 제 1 원격 제어 장치 간 통신 연결이 설정된 경우, 제 1 원격 제어 장치 및 제 2 외부 전자 장치 간 설정되었던 통신 연결이 해제되도록, 제 1 원격 제어 장치 및/또는 제 2 외부 전자 장치를 제어할 수 있다.
일 실시예에서, 제 1 원격 제어 장치가, IR(infrared) 통신 또는 RF(radio frequency) 통신을 이용하여 제 2 외부 전자 장치를 제어하도록 설정된 장치(예: 리모컨)인 경우, 프로세서(360)는, 제 2 외부 전자 장치 및 서버를 거쳐, 제 1 원격 제어 장치로 입력되는 사용자 입력에 대응하는 명령을 전자 장치(301)이 수신하도록 설정할 수 있다. 예를 들어, 프로세서(360)는, 명령을 위한 사용자 입력이 제 1 원격 제어 장치로 입력될 경우, 제 1 원격 제어 장치가 상기 명령을 제 2 외부 전자 장치로 전송하고 제 2 외부 전자 장치가 상기 명령을 서버로 전송하고 상기 서버가 상기 명령을 전자 장치(301)로 전송하도록, 설정할 수 있다.
일 실시예에서, 프로세서(360)는, 제 1 원격 제어 장치와의 통신 연결이 설정된 경우, 제 1 원격 제어 장치와의 통신 연결이 설정됨을 나타내는 정보를 출력할 수 있다. 예를 들어, 프로세서(360)는, 참조 부호 702에 도시된 바와 같이, 디스플레이 모듈(330)을 통하여, 제 1 원격 제어 장치와의 통신 연결이 설정됨을 나타내는 정보로서, 투명 부재의 지정된 영역(723)(예: 투명 부재의 우측 상단 영역)에 제 1 원격 제어 장치를 나타내는 가상 이미지(721)를 표시할 수 있다. 예를 들어, 프로세서(360)는, 상기 가상 이미지(721)와 함께, 스피커를 통하여, 1 원격 제어 장치와의 통신 연결이 설정됨을 나타내는 오디오를 출력할 수 있다.
일 실시예에서, 프로세서(360)는, 제 1 원격 제어 장치와의 통신 연결이 설정된 경우, 제 1 원격 제어 장치에 대응하는 제 2 외부 전자 장치를 나타내는 정보를 출력할 수 있다. 예를 들어, 프로세서(360)는, 참조 부호 703에 도시된 바와 같이, 지정된 시간 동안(또는 일시적으로), 투명 부재의 지정된 영역(723) 내에 제 1 원격 제어 장치(711)에 대응하는 제 2 외부 전자 장치(712)를 나타내는 가상 이미지(723)와, 뷰 내에서 제 2 외부 전자 장치를 나타내는 인디케이션(732)을 디스플레이 모듈(330)을 통하여 표시할 수 있다. 예를 들어, 프로세서(360)는, 참조 부호 703에 도시된 바와 같이, 사용자의 시선에 대응하는 범위 내에 제 2 외부 전자 장치(712)가 존재하는 경우, 제 2 외부 전자 장치(712)가 제 1 원격 제어 장치(711)에 의해 제어 가능함을 나타내도록(예: 제 2 외부 전자 장치(712)가 후술할 제 1 외부 전자 장치로 결정될 수 있음을 나타내도록), 투명 부재의 지정된 영역(723) 내에 제 1 원격 제어 장치(711)에 대응하는 제 2 외부 전자 장치(712)를 나타내는 가상 이미지(731)과, 뷰 내에서 제 2 외부 전자 장치(712)를 나타내는 인디케이션(732)을 디스플레이 모듈(330)을 통하여 표시할 수 있다.
다시 도 4를 참조하면, 동작 405에서, 일 실시예에서, 프로세서(360)는, 제 1 원격 제어 장치를 이용하여 제어될 제 1 외부 전자 장치를 결정할 수 있다. 예를 들어, 프로세서(360)는, 제 1 원격 제어 장치로 입력되는 사용자 입력에 대응하는 명령에 기반하여, 기능을 수행할 외부 전자 장치(이하, "제 1 외부 전자 장치"로 지칭함)를 결정할 수 있다.
동작 407에서, 일 실시예에서, 프로세서(360)는, 통신 모듈(310)이 전자 장치(301) 및 제 1 외부 전자 장치 간 통신 연결을 설정하도록 통신 모듈(310)을 제어할 수 있다. 다만, 전자 장치(301) 및 제 1 외부 전자 장치 간 통신 연결이 기설정된 경우, 동작 407은 수행되지 않을 수 있다.
이하, 도 8 내지 도 11을 참조하여, 동작 405의 제 1 외부 전자 장치를 결정하는 동작 및 동작 407의 제 1 외부 전자 장치와의 통신 연결을 설정하는 방법에 대하여 설명하도록 한다.
도 8은, 일 실시예에 따른, 제 1 외부 전자 장치를 결정하는 방법을 설명하는 흐름도(800)이다.
도 9는, 일 실시예에 따른, 제 1 외부 전자 장치를 결정하는 방법을 설명하는 예시도(900)이다.
도 8 및 도 9를 참조하면, 동작 801에서, 일 실시예에서, 프로세서(360)는, 제 1 외부 전자 장치를 검출할 수 있다.
일 실시예에서, 프로세서(360)는, 카메라 모듈(320)(예: 도 2의 하나 이상의 제 2 카메라들(212-1, 212-2))을 통하여, 전자 장치를 착용한 사용자의 시선을 검출할 수 있다. 프로세서(360)는, 카메라 모듈(320)(예: 도 2의 하나 이상의 제 1 카메라들(211-1, 211-2))을 통하여, 사용자의 시선에 대응하는 범위(예: 뷰(view)) 내에 위치하는 제 1 외부 전자 장치에 대한 이미지를 획득할 수 있다. 프로세서(360)는, 획득된 이미지와, 메모리(350)에 저장되고 외부 전자 장치들을 각각 포함하는 복수의 이미지들을 비교함으로써, 제 1 외부 전자 장치를 검출할 수 있다. 프로세서(360)는, 제 1 외부 전자 장치를 검출함으로써, 메모리(350)로부터 제 1 외부 전자 장치에 대한 정보(예: 제 1 외부 전자 장치의 타입, 명칭, 모델명, 제 1 외부 전자 장치가 수행하는 기능, 작동 상태)를 획득할 수 있다.
일 실시예에서, 프로세서(360)는, 카메라 모듈(320)(예: 도 2의 하나 이상의 제 1 카메라들(211-1, 211-2))을 통하여, 카메라 모듈(320)의 화각 범위(예: 카메라 모듈(320)의 화각의 중심으로부터 지정된 영역)에 위치하는 제 1 외부 전자 장치에 대한 이미지를 획득할 수 있다. 프로세서(360)는, 획득된 이미지와, 메모리(350)에 저장되고 외부 전자 장치들을 각각 포함하는 복수의 이미지들을 비교함으로써, 제 1 외부 전자 장치를 검출할 수 있다. 프로세서(360)는, 제 1 외부 전자 장치를 검출함으로써, 메모리(350)로부터 제 1 외부 전자 장치에 대한 정보를 획득할 수 있다.
전술한 예시들에서, 프로세서(360)가 카메라 모듈(320)을 통하여 획득된 이미지에 기반하여, 제 1 외부 전자 장치를 검출하는 것으로 예시하고 있지만, 이에 제한되지 않는다. 예를 들어, 프로세서(360)는, 통신 모듈(310)(예: UWB 통신 모듈(310))을 통하여, 전자 장치가 향하는 방향에 위치하는 제 1 외부 전자 장치를 검출할 수도 있다.
일 실시예에서, 프로세서(360)는 제 1 외부 전자 장치가 검출된 경우, 제 1 외부 전자 장치가 검출됨을 나타내는 정보를 출력할 수 있다. 예를 들어, 도 9에서, 프로세서(360)는, 제 1 외부 전자 장치로서 에어컨(911)이 검출된 경우, 에어컨(911)이 검출됨을 나타내는 인디케이션(912)을 디스플레이 모듈(330)을 통하여 표시할 수 있다. 예를 들어, 도 9에서, 프로세서(360)는, 제 1 외부 전자 장치로서 에어컨(911)이 검출된 경우, 에어컨(911)이 검출됨을 나타내는 인디케이션(912)과 함께, 에어컨(911)에 대한 정보(915)(예: 에어컨(911)의 모델명, 명칭)을 디스플레이 모듈(330)을 통하여 표시할 수 있다. 예를 들어, 프로세서(360)는, 제 1 외부 전자 장치로서 에어컨(911)이 검출된 경우, 에어컨(911)이 검출됨을 나타내는 오디오를 스피커를 통하여 출력할 수 있다.
일 실시예에서, 프로세서(360)는 제 1 외부 전자 장치가 검출된 경우, 제 1 외부 전자 장치가 제 1 원격 제어 장치를 이용하여 제어 가능함을 나타내는 정보를 출력할 수 있다. 예를 들어, 도 9에서, 프로세서(360)는, 제 1 외부 전자 장치로서 에어컨(911)이 검출된 경우, 에어컨(911)이 제 1 외부 전자 장치(711)를 이용하여 제어 가능함을 나타내기 위하여, 투명 부재의 지정된 영역(723)(예: 투명 부재의 우측 상단 영역)에 에어컨(911)을 나타내는 가상 이미지(913)를 표시할 수 있다.
일 실시예에서, 프로세서(360)는, 제 1 외부 전자 장치가 전자 장치(301)와 현재 제 1 원격 제어 장치를 이용한 제어 대상인지 여부에 기반하여, 서로 다른 시간들 동안 오디오를 스피커를 통하여 출력할 수 있다. 예를 들어, 프로세서(360)는, 제 1 외부 전자 장치가 현재 제 1 원격 제어 장치를 이용한 제어 대상인 경우, 스피커를 통하여, 제 1 시간 동안 오디오(예: 제 1 시간 동안 출력될 연결음)을 출력할 수 있다. 프로세서(360)는, 제 1 외부 전자 장치가 동작 801을 통하여 검출된 에어컨(911)인 경우(예: 제 1 외부 전자 장치가 현재 제 1 원격 제어 장치를 이용한 제어 대상이 아닌 경우), 스피커를 통하여, 제 1 시간 보다 긴 제 2 시간 동안 오디오(예: 제 2 시간 동안 출력될 연결음)을 출력할 수 있다.
동작 803에서, 일 실시예에서, 프로세서(360)는, 통신 모듈(310)이 전자 장치 및 제 1 외부 전자 장치 간 통신 연결을 설정하도록, 통신 모듈(310)을 제어할 수 있다. 다만, 전자 장치 및 제 1 외부 전자 장치 간 통신 연결이 이미 설정된 경우, 동작 803의 전자 장치 및 제 1 외부 전자 장치 간 통신 연결을 설정하는 동작을 수행되지 않을 수 있다. 이러한 경우, 프로세서(360)는, 동작 801에서 검출된 제 1 외부 전자 장치를 제 1 원격 제어 장치를 이용한 제어 대상으로 결정할 수 있다.
일 실시예에서, 프로세서(360)는, 제 1 외부 전자 장치가 검출된 상태에서, 전자 장치(301)(또는 제 1 원격 제어 장치)에 대한 지정된 사용자 입력에 기반하여, 근거리 통신 모듈(예: 블루투스 모듈, 와이 파이 모듈)이 전자 장치(301) 및 제 1 외부 전자 장치 간 통신 연결을 설정하도록 근거리 통신 모듈을 제어할 수 있다. 예를 들어, 프로세서(360)는, 제 1 외부 전자 장치가 검출된 상태에서, 전자 장치(301)(또는 제 1 원격 제어 장치)에 대한 지정된 사용자 입력에 기반하여, 전자 장치(301)로부터 전송되는 명령이 서버를 거쳐 제 1 외부 전자 장치로 전송되도록, 설정할 수 있다.
일 실시예에서, 전술한 예시들에서, 전자 장치(301)(또는 제 1 원격 제어 장치)에 대한 지정된 사용자 입력에 기반하여, 전자 장치(301) 및 제 1 외부 전자 장치 간 통신 연결이 설정되는 것으로 예시하고 있지만, 이에 제한되지 않는다. 예를 들어, 프로세서(360)는, 동작 801을 통하여 제 1 외부 전자 장치가 검출된 후, 사용자의 시선에 대응하는 범위에 제 1 외부 전자 장치가 지정된 시간 동안 존재함을 검출함에 기반하여, 통신 모듈(310)이 전자 장치(301) 및 제 1 외부 전자 장치 간 통신 연결을 설정하도록, 통신 모듈(310)을 제어할 수 있다.
도 10은, 일 실시예에 따른, 제 1 외부 전자 장치를 결정하는 방법을 설명하는 흐름도(1000)이다.
도 11은, 일 실시예에 따른, 제 1 외부 전자 장치를 결정하는 방법을 설명하는 예시도(1100)이다.
도 10 및 도 11을 참조하면, 동작 1001에서, 일 실시예에서, 프로세서(360)는, 제 1 원격 제어 장치를 이용하여 제어 가능한 외부 전자 장치들의 리스트를 디스플레이 모듈(330)을 통하여 표시할 수 있다. 예를 들어, 프로세서(360)는, 제 1 원격 제어 장치와의 통신 연결이 설정된 경우, 제 1 원격 제어 장치를 이용하여 제어 가능한 외부 전자 장치들의 리스트를 디스플레이 모듈(330)을 통하여 표시할 수 있다.
일 실시예에서, 상기 리스트에 포함된 외부 전자 장치들은, 후술할 동작 409의 매핑 동작을 통하여 제 1 원격 제어 장치를 이용하여 기능을 수행할 수 있는 외부 전자 장치들을 포함할 수 있다.
일 실시예에서, 도 11에서, 프로세서(360)는, 제 1 원격 제어 장치(1111)와의 통신 연결이 설정된 경우, 제 1 원격 제어 장치(1111)를 이용하여 제어 가능한, TV를 나타내는 정보(1121)(예: TV의 명칭 및 TV를 나타내는 이미지), 에어컨을 나타내는 정보(1131)(예: 에어컨의 명칭 및 에어컨을 나타내는 이미지), 및 공기 청정기를 나타내는 정보(1141)(예: 공기 청정기의 명칭 및 공기 청정기를 나타내는 이미지)를 디스플레이 모듈(330)을 통하여 표시할 수 있다.
일 실시예에서, 도 11에서, 프로세서(360)는, 제 1 원격 제어 장치(1111)와의 통신 연결이 설정되고, 제 1 원격 제어 장치(1111)가 사용자의 시선에 대응하는 범위 내에 존재하는 경우, 제 1 원격 제어 장치(1111)를 이용하여 제어 가능한, TV를 나타내는 정보(1121), 에어컨을 나타내는 정보(1131), 및 공기 청정기를 나타내는 정보(1141)를 디스플레이 모듈(330)을 통하여 표시할 수 있다.
일 실시예에서, 프로세서(360)는, 도 11에 도시된 바와 같이, 디스플레이 모듈(330)을 통하여, 전자 장치(301)와 통신 연결된 제 1 원격 제어 장치(1111)에 대한 정보(1112)를 표시할 수 있다.
동작 1003에서, 일 실시예에서, 프로세서(360)는, 상기 리스트를 표시하는 동안, 사용자 입력에 기반하여, 제 1 외부 전자 장치를 결정할 수 있다. 예를 들어, 프로세서(360)는, 사용자 입력에 기반하여, 리스트에 포함된 외부 전자 장치들 중 하나의 외부 전자 장치를 선택할 수 있다. 프로세서(360)는, 선택된 외부 전자 장치를 제 1 외부 전자 장치로서 결정할 수 있다.
일 실시예에서, 도 11에서, 프로세서(360)는, TV를 나타내는 정보(1121), 에어컨을 나타내는 정보(1131), 및 공기 청정기를 나타내는 정보(1141) 중에서, 에어컨을 나타내는 정보(1131)에 대한 사용자 입력에 기반하여, 제 1 외부 전자 장치로서, 에어컨을 선택할 수 있다. 일 실시예에서, 도 10에 도시하지는 않았지만, 제 1 외부 전자 장치가 선택된 경우, 통신 모듈(310)이 전자 장치(301) 및 제 1 외부 전자 장치 간 통신 연결을 설정하도록, 통신 모듈(310)을 제어할 수 있다.
도 11에서는, 디스플레이(330)를 통해 표시되는 화면에 대한 사용자 입력에 기반하여 제 1 외부 전자 장치를 선택하는 것으로 예시하고 있지만, 이에 제한되지 않는다. 예를 들어, 프로세서(360)는, 디스플레이(330)를 통해 표시되는 화면과 관련된 음성을 스피커(343)를 통하여 출력하고 마이크(342)를 통하여 사용자의 음성을 수신하여, 제 1 외부 전자 장치를 선택할 수 있다.
도 4를 다시 참조하면, 동작 409에서, 일 실시예에서, 프로세서(360)는, 제 1 원격 제어 장치의 적어도 하나의 키(key) 및 제 1 외부 전자 장치의 적어도 하나의 기능을 매핑(mapping)하기 위한 동작을 수행할 수 있다.
일 실시예에서, 프로세서(360)는, 전자 장치(301)가 제 1 외부 전자 장치와 통신 연결된 경우, 메모리(350)에 저장된, 제 1 외부 전자 장치의 적어도 하나의 기능을 확인할 수 있다. 프로세서(360)는, 상기 확인된 제 1 외부 전자 장치의 적어도 하나의 기능 및 제 1 원격 제어 장치의 적어도 하나의 키(예: 제 1 원격 제어 장치의 버튼)를 매핑할 수 있다.
일 실시예에서, 프로세서(360)는, 전자 장치(301)가 제 1 외부 전자 장치와 통신 연결된 경우, 메모리(350)에 저장된, 제 1 외부 전자 장치에 대응하는 원격 제어 장치(예: 제 1 외부 전자 장치에 전용하는 리모컨)의 적어도 하나의 키에 대한 정보를 확인할 수 있다. 예를 들어, 프로세서(360)는, 제 1 외부 전자 장치에 전용하는 리모컨의 복수의 키들 각각에 대응하는 제 1 외부 전자 장치의 기능들을 확인할 수 있다. 예를 들어, 프로세서(360)는, 제 1 외부 전자 장치에 전용하는 리모컨의 복수의 키들 및 상기 복수의 키들 각각에 대한 사용자 입력 시 수행될 제 1 외부 전자 장치의 기능들 간 매핑 관계(이하, "매핑 관계"로 지칭함)에 대한 정보를 확인할 수 있다. 일 실시예에서, 프로세서(360)는, 제 1 외부 전자 장치에 대응하는 원격 제어 장치의 적어도 하나의 키에 대한 정보에 기반하여, 제 1 외부 전자 장치의 적어도 하나의 기능 및 제 1 원격 제어 장치의 적어도 하나의 키를 매핑할 수 있다. 예를 들어, 프로세서(360)는, 상기 매핑 관계에 기반하여, 제 1 외부 전자 장치의 기능들에 매핑되었던 제 1 외부 전자 장치에 전용하는 리모컨의 복수의 키들을, 제 1 원격 제어 장치의 복수의 키들로, 다시 매핑(이하, "리매핑(remapping)"으로도 지칭함)할 수 있다. 일 실시예에서, 리매핑 동작은, 제 1 원격 제어 장치의 키에 대한 입력 시, 상기 입력된 제 1 원격 제어 장치의 키에 매핑된, 제 1 외부 전자 장치에 대응하는 리모컨의 키에 대응하는 명령이 제 1 외부 전자 장치로 전송되도록 하기 위한 동작일 수 있다.
이하, 도 12a 내지 도 15를 참조하여, 제 1 원격 제어 장치의 적어도 하나의 키 및 제 1 외부 전자 장치의 적어도 하나의 기능을 매핑하기 위한 방법에 대하여 설명하도록 한다.
도 12a는, 일 실시예에 따른, 제 1 원격 제어 장치의 적어도 하나의 키 및 제 1 외부 전자 장치의 적어도 하나의 기능을 매핑하는 방법을 설명하는 흐름도(1200a)이다.
도 12b는, 일 실시예에 따른, 제 1 원격 제어 장치의 적어도 하나의 키 및 제 1 외부 전자 장치의 적어도 하나의 기능을 매핑하는 방법을 설명하는 예시도(1200b)이다.
도 12a 및 도 12b를 참조하면, 동작 1201에서, 일 실시예에서, 프로세서(360)는, 디스플레이 모듈(330)을 통하여, 복수의 매핑 방식들을 나타내는 이미지를 표시할 수 있다. 예를 들어, 참조 부호 1201-1에서, 프로세서(360)는, 제 1 외부 전자 장치와의 통신 연결이 설정된 경우, 복수의 매핑 방식들을 선택하기 위한 가상 이미지(1210)를 디스플레이 모듈(330)를 통하여 표시할 수 있다. 상기 가상 이미지(1210)는, 제 1 외부 전자 장치를 나타내는 정보(1221, 1222), 제 1 원격 제어 장치(1213)를 나타내는 정보(1211, 1212), 및 매핑 동작이 수행됨을 나타내는 정보(1231)와 함께, 제 1 매핑 방식(이하, "커스텀(custom) 매핑"으로도 지칭됨)에 대응하는 오브젝트(object)(1241), 제 2 매핑 방식(이하, "다이렉트(direct) 매핑"으로도 지칭됨)에 대응하는 오브젝트(1242), 및 제 3 매핑 방식(이하, "심플(simple) 매핑"으로도 지칭됨)에 대응하는 오브젝트(1243)를 포함할 수 있다. 다만, 이에 제한되지 않으며, 상기 가상 이미지(1210)는, 제 1 외부 전자 장치를 나타내는 정보(1222), 제 1 원격 제어 장치를 나타내는 정보(1211), 및 매핑 동작이 수행됨을 나타내는 정보(1231)를 포함함 없이, 제 1 매핑 방식에 대응하는 오브젝트(1241), 제 2 매핑 방식에 대응하는 오브젝트(1242), 및 제 3 매핑 방식에 대응하는 오브젝트(1243)만을 포함할 수 있다.
동작 1202에서, 일 실시예에서, 프로세서(360)는, 복수의 매핑 방식들 중에서 제 1 매핑 방식이 선택되는지 여부를 확인할 수 있다.
일 실시예에서, 프로세서(360)는, 제 1 매핑 방식에 대응하는 오브젝트(1243), 제 2 매핑 방식에 대응하는 오브젝트(1242), 및 제 3 매핑 방식에 대응하는 오브젝트(1241) 중에서, 제 1 매핑 방식에 대응하는 오브젝트(1243)에 대한 사용자 입력에 기반하여, 제 1 매핑 방식을 선택할 수 있다.
일 실시예에서, 제 1 매핑 방식은, 사용자 입력에 기반하여, 제 1 원격 제어 장치의 적어도 하나의 키 및 제 1 외부 전자 장치의 적어도 하나의 기능을 매핑하는 방식일 수 있다.
동작 1202에서 복수의 매핑 방식들 중에서 제 1 매핑 방식이 선택되지 않은 경우, 동작 1203에서, 일 실시예에서, 프로세서(360)는 제 2 매핑 방식 또는 제 3 매핑 방식으로 매핑 동작을 수행할 수 있다. 제 2 매핑 방식 또는 제 3 매핑 방식으로 수행되는 매핑 동작에 대해서는 도 14 및 도 15를 참조하여 후술하도록 한다.
동작 1202에서 복수의 매핑 방식들 중에서 제 1 매핑 방식이 선택된 경우, 동작 1204에서, 일 실시예에서, 프로세서(360)는 기능에 대응하는 오브젝트를 3D 공간에 출력할 수 있다. 예를 들어, 프로세서(360)는, 제 1 외부 전자 장치의 적어도 하나의 기능에 대응하는 적어도 하나의 오브젝트가 전자 장치 주변 3차원 공간 상에 배치되는 것으로 사용자에게 보이도록, 상기 적어도 하나의 오브젝트를 디스플레이 모듈(330)을 통하여, 표시할 수 있다. 예를 들어, 프로세서(360)는, 참조 부호 1202에 도시된 바와 같이, 제 1 외부 전자 장치의 적어도 하나의 기능에 대응하는 적어도 하나의 오브젝트(1251, 1252, 1253, 1254, 1255, 1256)를 디스플레이 모듈(330)을 통하여 표시할 수 있다.
동작 1205에서, 일 실시예에서, 프로세서(360)는 사용자 시선에 대응하는 오브젝트를 선택할 수 있다.
일 실시예에서, 프로세서(360)는, 제 1 외부 전자 장치의 적어도 하나의 기능에 대응하는 적어도 하나의 오브젝트 중에서, 사용자 시선에 대응하는 오브젝트(예: 사용자 시선이 향하는 방향에 배치된 오브젝트)를 선택할 수 있다. 예를 들어, 프로세서(360)는, 참조 부호 1202에서, 사용자 시선에 대응하는 오브젝트(1254)를 선택할 수 있다.
동작 1206에서, 일 실시예에서, 프로세서(360)는 제 1 원격 제어 장치의 키 입력을 확인할 수 있다.
일 실시예에서, 프로세서(360)는, 사용자 시선에 대응하는 오브젝트가 선택된 후, 통신 모듈(310)을 통하여, 제 1 원격 제어 장치로부터, 사용자 시선에 대응하는 오브젝트에 대응하는 제 1 외부 전자 장치의 기능이 매핑될, 사용자 입력이 입력된 제 1 원격 제어 장치의 키에 대한 정보를 수신할 수 있다.
동작 1207에서, 일 실시예에서, 프로세서(360)는 오브젝트 및 키를 매핑할 수 있다.
프로세서(360)는, 상기 정보에 기반하여, 사용자 시선에 대응하는 오브젝트에 대응하는 제 1 외부 전자 장치의 기능 및 상기 사용자 입력이 입력된 제 1 원격 제어 장치의 키를 매핑시킬 수 있다. 예를 들어, 참조 부호 1202-1에서, 사용자 시선에 대응하는 오브젝트(1254)가 선택된 후, 제 1 원격 제어 장치(1213)로부터, 키(예: 제 1 원격 제어 장치 검출 전, 제 1 원격 제어 장치가 전용하는 제 2 외부 전자 장치에 대하여 볼륨을 증가시키도록 설정된 키)에 대한 사용자 입력이 수신된 경우, 상기 선택된 오브젝트(1243)에 대응하는 제 1 외부 전자 장치의 기능(예: 에어컨의 설정 온도를 감소시키기 위한 기능)을, 상기 사용자 입력이 수신된 키에 매핑시킬 수 있다. 일 실시예에서, 프로세서(360)는, 참조 부호 1202-1에 도시된 바와 같이, 상기 키에 대한 사용자 입력이 수신된 경우, 상기 사용자 입력이 수신된 키에 설정된 기능(예: 제 1 원격 제어 장치 검출 전, 제 1 원격 제어 장치가 전용하는 제 2 외부 전자 장치에 대하여 볼륨을 증가시키도록 설정된 기능)을 나타내는 정보(1258)를 디스플레이 모듈(330)을 통하여 표시할 수 있다.
일 실시예에서, 프로세서(360)는, 선택된 오브젝트에 대응하는 제 1 외부 전자 장치의 기능 및 사용자 입력이 수신된 키가 매핑된 후, 사용자 입력에 기반하여, 매핑 동작을 다시 수행할 수 있다. 예를 들어, 참조 부호 1202-1에서, 프로세서(360)는, 상기 선택된 오브젝트(1243)에 대응하는 제 1 외부 전자 장치의 기능(예: 에어컨의 설정 온도를 감소시키기 위한 기능)을, 상기 사용자 입력이 수신된 키에 매핑시킨 후, 상기 오브젝트(1243)와 다른 오브젝트(1253)를 선택하고 제 1 원격 제어 장치의 상기 키를 선택한 경우, 상기 선택된 오브젝트(1253)에 대응하는 기능 및 상기 선택된 키를 매핑시킬 수 있다. 이러한 경우, 프로세서(360)는, 참조 부호 1202에 도시된 바와 같이, 상기 선택된 오브젝트(1253)에 대응하는 기능 및 상기 선택된 키가 매핑됨을 나타내는 정보(1257)를 디스플레이 모듈(330)을 통하여 표시할 수 있다.
도 12a 및 도 12b에서는, 디스플레이(330)를 통해 표시되는 화면(예: 복수의 매핑 방식들을 나타내는 이미지, 기능에 대응하는 오브젝트)에 대한 사용자 입력에 기반하여 매핑 동작을 수행하는 것으로 예시하고 있지만, 이에 제한되지 않는다. 예를 들어, 프로세서(360)는, 디스플레이(330)를 통해 표시되는 화면과 관련된 음성을 스피커(343)를 통하여 출력하고 마이크(342)를 통하여 사용자의 음성을 수신하여, 매핑 동작을 수행할 수 있다.
도 13a는, 일 실시예에 따른, 제 1 원격 제어 장치의 적어도 하나의 키 및 제 1 외부 전자 장치의 적어도 하나의 기능을 매핑하는 방법을 설명하는 흐름도(1300a)이다.
도 13b는, 일 실시예에 따른, 제 1 원격 제어 장치의 적어도 하나의 키 및 제 1 외부 전자 장치의 적어도 하나의 기능을 매핑하는 방법을 설명하는 예시도(1300b)이다.
도 13a 및 도 13b를 참조하면, 동작 1301에서, 일 실시예에서, 프로세서(360)는, 사용 이력에 기반하여, 복수의 기능들을 그룹들로 분류할 수 있다.
일 실시예에서, 프로세서(360)는, 제 1 외부 전자 장치의 복수의 기능들에 대한 사용 이력에 기반하여, 제 1 외부 전자 장치의 복수의 기능들을 우선 순위를 가지는(예: 우선 순위가 할당된) 그룹들로 분류할 수 있다. 프로세서(360)는, 서버로부터, 통신 모듈(310)을 통하여, 제 1 외부 전자 장치의 복수의 기능들에 대한 사용 이력(예: 지정된 시간 동안, 제 1 외부 전자 장치의 복수의 기능들 각각을 사용한 횟수들)에 대한 정보를 수신할 수 있다. 프로세서(360)는, 수신된 정보에 기반하여, 제 1 외부 전자 장치의 복수의 기능들을, 제 1 외부 전자 장치의 복수의 기능들의 사용 이력이 높은 순서로, 우선 순위를 가지는 그룹들로 분류할 수 있다.
동작 1302에서, 일 실시예에서, 프로세서(360)는 기능에 대응하는 오브젝트를 3D 공간에 출력할 수 있다.
일 실시예에서, 프로세서(360)는, 상기 그룹들의 우선 순위에 따라, 제 1 외부 전자 장치의 복수의 기능들에 대응하는 복수의 오브젝트들이, 전자 장치 주변 3차원 공간 상에 배치되는 것으로 사용자에게 보이도록, 상기 복수의 오브젝트들을 디스플레이 모듈(330)을 통하여 표시할 수 있다. 예를 들어, 프로세서(360)는, 전자 장치의 사용자(또는 전자 장치)를 기준으로, 상기 복수의 오브젝트들이 상기 그룹들의 우선 순위가 높을수록 사용자와 가까운 공간에 배치된 것으로 보이도록, 상기 복수의 오브젝트들을 디스플레이 모듈(330)을 통하여 표시할 수 있다. 예를 들어, 프로세서(360)는, 참조 부호 1301-1에 도시된 바와 같이, 사용자(1311)를 기준으로, 제 1 공간(1312)(예: 1 순위 기능 배치 영역), 제 2 공간(1313)(예: 2 순위 기능 배치 영역), 및 제 3 공간(1314)(예: 3 순위 기능 배치 영역)을 설정할 수 있다, 프로세서(360)는, 가장 높은 우선 순위로서 1 순위의 그룹에 속하는 기능들에 대응하는 오브젝트들, 1 순위 다음 우선 순위로서 2 순위의 그룹에 속하는 기능들에 대응하는 오브젝트들, 및 2 순위 다음 우선 순위로서 3 순위의 그룹에 속하는 기능들에 대응하는 오브젝트들이 배치된 것으로 사용자에게 보이도록, 상기 복수의 오브젝트들을 디스플레이 모듈(330)을 통하여 표시할 수 있다.
일 실시예에서, 참조 부호 1302-1에 도시된 바와 같이, 프로세서(360)는, 제 1 외부 전자 장치가 에어컨인 경우, 에어컨의 기능들이 분류된 그룹들의 우선순위에 기반하여, 1 순위의 그룹에 속하는 기능들에 대응하는 오브젝트들(1321, 1322, 1323, 1324), 2 순위의 그룹에 속하는 기능들에 대응하는 오브젝트들(1331, 1332, 1333, 1334), 3 순위의 그룹에 속하는 기능들에 대응하는 오브젝트들을, 디스플레이 모듈(330)을 통하여 표시할 수 있다.
동작 1303에서, 일 실시예에서, 프로세서(360)는 가상 레이저 포인터를 이용하여 오브젝트를 선택할 수 있다.
일 실시예에서, 프로세서(360)는, 복수의 오브젝트들 중에서, 제 1 원격 제어 장치(1316)로부터 방출되는 것으로 사용자에게 보이는 가상 레이저 포인터에 의해 포인팅되는 위치에 배치된 오브젝트를 선택할 수 있다. 예를 들어, 참조 부호 1302-1에서, 제 1 원격 제어 장치(1316)가 향하는 방향을 변경함에 따라, 제 1 원격 제어 장치(1316)로부터 방출되는 것으로 사용자에게 보이는 가상 레이저 포인터(1317)의 표시가 변경될 수 있다. 프로세서(360)는, 참조 부호 1302-1에 도시된 바와 같이, 가상 레이저 포인터(1317)에 의해 포인팅되는 위치에 배치된 가상 원기둥(1322-1)에 대응하는 오브젝트(1322)를 선택할 수 있다. 다만, 참조 부호 1302-1에서는 오브젝트(1322)에 대응하는 가상 원기둥(1322-1)이 표시되고, 가상 레이저 포인터(1317)에 의해 가상 원기둥(1322-1)이 포인팅되는 것으로 예시하고 있지만, 이에 제한되지 않는다. 예를 들어, 가상 원기둥(1322-1)이 표시됨 없이, 가상 레이저 포인터(1317)에 의해 포인팅되는 위치에 배치된 오브젝트(1322)가 선택될 수 있다.
동작 1304에서, 일 실시예에서, 프로세서(360)는 제 1 원격 제어 장치의 키 입력을 확인할 수 있다.
동작 1305에서, 일 실시예에서, 프로세서(360)는 오브젝트 및 키를 매핑시킬 수 있다.
일 실시예에서, 프로세서(360)는, 복수의 오브젝트들 중에서 오브젝트가 선택된 후, 제 1 원격 제어 장치의 키에 대한 사용자 입력이 수신된 경우, 상기 선택된 오브젝트에 대응하는 기능 및 상기 사용자 입력이 수신된 제 1 원격 제어 장치의 키를 매핑시킬 수 있다. 예를 들어, 프로세서(360)는, 참조 부호 1303-1에서, 오브젝트(1322)가 선택된 후, 제 1 원격 제어 장치의 키(예: 제 1 원격 제어 장치 검출 전, 제 1 원격 제어 장치가 전용하는 제 2 외부 전자 장치에 대하여 볼륨을 증가시키도록 설정된 키)에 대한 사용자 입력이 수신된 경우, 오브젝트(1322) 및 상기 키를 매핑시킬 수 있다. 프로세서(360)는, 오브젝트(1322) 및 상기 키가 매핑된 경우, 오브젝트(1322) 및 상기 키 간 매핑에 대한 정보(1351)를 디스플레이 모듈(330)을 통하여 표시할 수 있다.
일 실시예에서, 프로세서(360)는, 선택된 오브젝트에 대응하는 제 1 외부 전자 장치의 기능 및 사용자 입력이 수신된 키가 매핑된 후, 사용자 입력에 기반하여, 매핑 동작을 다시 수행할 수 있다. 예를 들어, 참조 부호 1304-1에서, 프로세서(360)는, 상기 선택된 오브젝트(1322)에 대응하는 제 1 외부 전자 장치의 기능(예: 에어컨의 설정 온도를 감소시키기 위한 기능)을, 상기 사용자 입력이 수신된 키에 매핑시킨 후, 제 1 원격 제어 장치의 상기 키를 선택하고 가상 레이저 포인터(1317)를 이용하여 상기 오브젝트(1322)와 다른 오브젝트(1323)(또는 다른 오브젝트(1323)에 대응하는 가상 원기둥(1323-1))를 선택한 경우, 상기 선택된 오브젝트(1323)에 대응하는 기능 및 상기 선택된 키를 매핑시킬 수 있다. 이러한 경우, 프로세서(360)는, 참조 부호 1304-1에 도시된 바와 같이, 상기 선택된 오브젝트(1323)에 대응하는 기능(예: 에어컨의 설정 온도를 증가시키기 위한 기능) 및 상기 선택된 키가 매핑됨을 나타내는 정보(1361)를 디스플레이 모듈(330)을 통하여 표시할 수 있다.
도 13a 및 도 13b에서는, 디스플레이(330)를 통해 표시되는 화면(예: 기능에 대응하는 오브젝트, 가상 레이저 포인터)에 대한 사용자 입력에 기반하여 매핑 동작을 수행하는 것으로 예시하고 있지만, 이에 제한되지 않는다. 예를 들어, 프로세서(360)는, 디스플레이(330)를 통해 표시되는 화면과 관련된 음성을 스피커(343)를 통하여 출력하고 마이크(342)를 통하여 사용자의 음성을 수신하여, 매핑 동작을 수행할 수 있다.
도 14a 내지 도 14c는, 일 실시예에 따른, 제 2 매핑 방식을 이용하여, 제 1 원격 제어 장치의 적어도 하나의 키 및 제 1 외부 전자 장치의 적어도 하나의 기능을 매핑하는 방법을 설명하는 예시도들(1401, 1402, 1403)이다.
도 14a 내지 도 14c를 참조하면, 일 실시예에서, 제 2 매핑 방식은, 지정된 매핑(또는 지정된 매핑 관계)을 이용하여, 제 1 원격 제어 장치의 적어도 하나의 키 및 제 1 외부 전자 장치의 적어도 하나의 기능을 매핑하는 방식일 수 있다. 예를 들어, 제 2 매핑 방식에서, 제 1 원격 제어 장치의 적어도 하나의 키 및 제 1 외부 전자 장치의 적어도 하나의 기능 간 매핑은, 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 어플리케이션의 개발자에 의해 미리 지정(또는 설정)될 수 있다. 일 실시예에서, 제 1 원격 제어 장치의 적어도 하나의 키 및 제 1 외부 전자 장치의 적어도 하나의 기능 간 지정된 매핑은, 서버에 저장될 수 있다. 프로세서(360)는, 통신 모듈(310)을 통하여, 서버로부터, 제 1 원격 제어 장치의 적어도 하나의 키 및 제 1 외부 전자 장치의 적어도 하나의 기능 간 지정된 매핑을 수신할 수 있다. 프로세서(360)는, 서버로부터 수신된 제 1 원격 제어 장치의 적어도 하나의 키 및 제 1 외부 전자 장치의 적어도 하나의 기능 간 지정된 매핑을 메모리(350)에 저장할 수 있다.
일 실시예에서, 도 14a에서, 제 1 원격 제어 장치가 TV 용 리모컨(1410)인 경우, 제 2 매핑 방식에 의해, TV 용 리모컨(1410) 상에, TV 용 리모컨(1410)의 복수의 키들에 각각 매핑된 에어컨 용 리모컨의 복수의 키들을 포함하는 가상 이미지(1410-1)가 표시될 수 있다. 예를 들어, 도 14a에서, TV 용 리모컨(1410)의 볼륨 조절 키(1411)는 에어컨 용 리모컨의 온도 조절 키에 리매핑(또는 에어컨의 온도 조절 기능에 매핑)될 수 있다. 예를 들어, 도 14a, TV 용 리모컨(1410)의 채널 변경 키(1413)는 에어컨 용 리모컨의 바람 세기 조절 키에 리매핑(또는 에어컨의 바람 세기 조절 기능에 매핑)될 수 있다. 일 실시예에서, 도 14a에서, 프로세서(360)는, 제 1 원격 제어 장치의 적어도 하나의 키 및 제 1 외부 전자 장치의 적어도 하나의 기능 간 매핑이 수행된 경우, 제 1 원격 제어 장치의 적어도 하나의 키 상에 제 1 외부 전자 장치의 적어도 하나의 기능에 대응하는 오브젝트(예: 에어컨 용 리모컨의 온도 조절 키를 나타내는 오브젝트(1412), 에어컨 용 리모컨의 바람 세기 조절 키를 나타내는 오브젝트(1414))를 디스플레이 모듈(330)을 통하여 표시할 수 있다.
일 실시예에서, 도 14b는, 제 1 원격 제어 장치가 에어컨 용 리모컨(1420)(예: 블루투스를 지원하는 에어컨 용 리모컨)인 경우, 에어컨 용 리모컨(1420) 상에, 제 2 매핑 방식에 의해, 에어컨 용 리모컨(1420)의 복수의 키들에 각각 매핑된 TV 용 리모컨의 복수의 키들을 포함하는 가상 이미지(1420-1)가 표시될 수 있다. 예를 들어, 도 14b에서, 에어컨 용 리모컨(1420)의 온도 조절 키(1421)는 TV 용 리모컨의 볼륨 조절 키(1422)에 리매핑될 수 있다. 예를 들어, 도 14b에서, 에어컨 용 리모컨(1420)의 풍량 조절 키(1423)는 TV 용 리모컨의 채널 변경 키(1424)에 리매핑될 수 있다. 일 실시예에서, 도 14b에서, 프로세서(360)는, 제 1 원격 제어 장치의 적어도 하나의 키 및 제 1 외부 전자 장치의 적어도 하나의 기능 간 매핑이 수행된 경우, 제 1 원격 제어 장치의 적어도 하나의 키 상에 제 1 외부 전자 장치의 적어도 하나의 기능에 대응하는 오브젝트(예: TV 용 리모컨의 볼륨 조절 키를 나타내는 오브젝트(1422), TV 용 리모컨의 채널 변경 키를 나타내는 오브젝트(1424))를 디스플레이 모듈(330)을 통하여 표시할 수 있다.
일 실시예에서, 도 14c에서, 제 1 원격 제어 장치가 에어컨 용 리모컨(1430)(예: IR 통신을 이용하는 에어컨 용 리모컨)인 경우, 에어컨 용 리모컨(1430) 상에, 제 2 매핑 방식에 의해, 에어컨 용 리모컨(1430)의 복수의 키들에 각각 매핑된 TV 용 리모컨의 복수의 키들을 포함하는 가상 이미지(1430-1)가 표시될 수 있다. 일 실시예에서, 도 14c에서, 프로세서(360)는, 에어컨 용 리모컨(1430)의 적어도 하나의 키 및 TV 용 리모컨 간 리매핑이 수행된 경우, 에어컨 용 리모컨(1430)의 적어도 하나의 키(예: 에어컨 용 리모컨(1430)의 온도 조절 키(1431), 에어컨 용 리모컨(1420)의 바람 세기 조절 키(1433)) 상에 TV 용 리모컨의 적어도 하나의 기능에 대응하는 오브젝트(예: TV 용 리모컨의 볼륨 조절 키를 나타내는 오브젝트(1432), TV 용 리모컨의 채널 변경 키를 나타내는 오브젝트(1434))를 디스플레이 모듈(330)을 통하여 표시할 수 있다.
도 15는, 일 실시예에 따른, 제 3 매핑 방식을 이용하여, 제 1 원격 제어 장치의 적어도 하나의 키 및 제 1 외부 전자 장치의 적어도 하나의 기능을 매핑하는 방법을 설명하는 예시도이다.
도 15를 참조하면, 제 3 매핑 방식은, 제 1 원격 제어 장치가 지정된 리모컨인 경우, 지정된 리모컨의 적어도 하나의 키를 이용하여, 제 1 외부 전자 장치의 적어도 하나의 기능을 제어할 수 있도록 하는 매핑 방식을 포함할 수 있다.
일 실시예에서, 상기 지정된 리모컨은 NUI(natural user interface) 처리가 가능한 리모컨(이하, "지정된 리모컨" 또는 "심플 리모컨"으로 지칭함)일 수 있다. 일 실시예에서, 지정된 리모컨은, 서버에 통신 연결 가능하고, 특정 외부 전자 장치에 전용하지 않고 지정된 리모컨에 통신 연결된 복수의 외부 전자 장치들을 제어할 수 있는 통합형 스마트 리모컨일 수 있다.
일 실시예에서, 지정된 리모컨은, 도 15의 참조 부호 1501과 같이, 전원 키(1511), 이동 키(1512)(예: 선택을 이동시키기 위한 키), 확인 키(1513), 및 취소 키(1514)와 같이, 외부 전자 장치의 기능을 선택 및 실행시키기 위한 최소한의 키들만을 포함하는 리모컨을 포함할 수 있다. 다만, 지정된 리모컨이 포함하는 키들은 전술한 예시들에 제한되지 않으며, 지정된 리모컨은 전술하지 않은 추가적인 키를 더 포함할 수 있다.
일 실시예에서, 참조 부호 1502 및 참조 부호 1503은, 지정된 리모컨을 통하여 제 1 외부 전자 장치를 제어하기 위하여, 제 1 외부 전자 장치의 기능을 선택하는 동작들을 설명하기 위한 예시들을 나타낼 수 있다. 참조 부호 1502 및 참조 부호 1503에서, 제 1 외부 전자 장치가 로봇 청소기이고, 제 1 원격 제어 장치의 종류가 지정된 리모컨인 경우, 로봇 청소기의 기능을 제어하기 위한 가상 이미지(1520)가 디스플레이 모듈(330)을 통하여 표시될 수 있다. 참조 부호 1502에서, 이미지(1520)는, 제 1 외부 전자 장치가 로봇 청소기임을 나타내는 정보(1521), 로봇 청소기의 파워 온/오프(power on/off)를 위한 오브젝트(1522), 로봇 청소기의 청소 기능을 제어하기 위한 오브젝트(1522), 로봇 청소기의 배터리의 기능을 제어하기 위한 오브젝트(1523), 및 로봇 청소기의 흡입 세기를 제어하기 위한 오브젝트(1525)를 포함할 수 있다. 참조 부호 1502에서, 로봇 청소기의 파워 온/오프를 위한 오브젝트(1522)가 선택됨(또는 활성화됨)이 표시될 수 있다. 예를 들어, 로봇 청소기의 파워 온/오프를 위한 오브젝트(1522)가 선택됨을 나타내기 위하여, 로봇 청소기의 파워 온/오프를 위한 오브젝트(1522)가 하이라이트(highlight)될 수 있다. 로봇 청소기의 파워 온/오프를 위한 오브젝트(1522)가 선택된 상태에서, 지정된 리모컨의 확인 키(1513)에 대한 사용자 입력이 수신된 경우, 프로세서(360)는, 로봇 청소기가 파워 온 또는 파워 오프되도록, 로봇 청소기를 제어할 수 있다. 일 실시예에서, 로봇 청소기의 파워 온/오프를 위한 오브젝트(1522)가 선택된 상태에서, 지정된 리모컨의 이동 키(1512)에 대한 사용자 입력이 수신된 경우, 프로세서(360)는, 로봇 청소기의 파워 온/오프를 위한 오브젝트(1522)로부터, 로봇 청소기의 청소 기능을 제어하기 위한 오브젝트(1522)로 선택을 이동시킬 수 있다. 로봇 청소기의 청소 기능을 제어하기 위한 오브젝트(1522)로 선택이 이동된 경우, 참조 부호 1503에 도시된 바와 같이, 프로세서(360)는, 로봇 청소기의 청소 기능을 제어하기 위한 오브젝트(1522)의 청소 기능의 세부 기능들을 나타내는 오브젝트(1532)를 선택할 수 있다. 예를 들어, 로봇 청소기의 청소 기능을 제어하기 위한 오브젝트(1522)로 선택이 이동된 경우, 로봇 청소기의 파워 온/오프를 위한 오브젝트(1522)로부터, 청소 기능의 세부 기능들을 나타내는 오브젝트(1532)로 하이라이트가 이동될 수 있다.
일 실시예에서, 로봇 청소기의 기능을 제어하기 위한 가상 이미지(1520)와 같이, 제 1 외부 전자 장치의 기능을 제어하기 위한 가상 이미지가 포함하는 오브젝트들은, 제 1 외부 전자 장치의 종류에 따라 다를 수 있다. 예를 들어, 제 1 외부 전자 장치가 공기 청정기인 경우, 가상 이미지(1540)는, 참조 부호 1504에 도시된 바와 같이, 제 1 외부 전자 장치가 공기 청정기임을 나타내는 정보(1541), 공기 청정기의 파워 온/오프를 위한 오브젝트(1542), 및 공기 청정기의 청정 세기를 조절하는 기능을 위한 오브젝트(1543)를 포함할 수 있다. 예를 들어, 제 1 외부 전자 장치가 에어컨인 경우, 가상 이미지(1550)는, 참조 부호 1505에 도시된 바와 같이, 제 1 외부 전자 장치가 에어컨임을 나타내는 정보(1551), 에어컨의 파워 온/오프를 위한 오브젝트(1552), 및 에어컨의 온도를 조절하는 기능을 위한 오브젝트(1553)를 포함할 수 있다.
도 4를 다시 참조하면, 동작 411에서, 일 실시예에서, 프로세서(360)는, 제 1 원격 제어 장치를 이용하여, 제 1 외부 전자 장치가 적어도 하나의 기능을 수행하도록 제어할 수 있다.
일 실시예에서, 프로세서(360)는, 제 1 외부 전자 장치의 적어도 하나의 기능이 제 1 원격 제어 장치의 적어도 하나의 키에 매핑된 경우(또는 제 1 외부 전자 장치에 대응하는 원격 제어 장치의 적어도 하나의 키가 제 1 원격 제어 장치의 적어도 하나의 키에 리매핑된 경우), 제 1 원격 제어 장치의 적어도 하나의 키에 대한 사용자 입력에 기반하여, 사용자 입력이 수신된 제 1 원격 제어 장치의 적어도 하나의 키에 대응하는 명령을, 통신 모듈(310)을 통하여, 수신할 수 있다. 프로세서(360)는, 통신 모듈(310)을 통하여, 상기 명령을 제 1 외부 전자 장치로 전송할 수 있다. 상기 명령이 제 1 외부 전자 장치에서 수신된 경우, 제 1 외부 전자 장치는 상기 명령에 대응하는 제 1 외부 전자 장치의 기능을 수행할 수 있다.
도 16은, 일 실시예에 따른, 제 1 원격 제어 장치를 이용하여, 제 1 외부 전자 장치가 적어도 하나의 기능을 수행하도록 제어하는 방법을 설명하는 예시도(1600)이다.
도 16을 참조하면, 일 실시예에서, 제 1 외부 전자 장치(912)의 적어도 하나의 기능이 제 1 원격 제어 장치(711)의 적어도 하나의 키에 매핑된 후, 제 1 원격 제어 장치(711)로 사용자의 손가락(1612)를 이용하여 사용자 입력이 입력될 수 있다. 프로세서(360)는, 통신 모듈(310)을 통하여, 제 1 원격 제어 장치(711)로부터(또는 제 1 원격 제어 장치(711)로부터 제 1 원격 제어 장치(711)에 대응하는 외부 전자 장치, 및 서버를 거쳐) 상기 사용자 입력이 입력된 제 1 원격 제어 장치(711)의 키에 대응하는 명령을 수신할 수 있다. 프로세서(360)는, 상기 명령이 수신된 경우, 제 1 외부 전자 장치가 상기 명령에 대응하는 제 1 외부 전자 장치의 기능을 수행하도록 제어할 수 있다. 예를 들어, 프로세서(360)는, 상기 명령이 제 1 외부 전자 장치(예: 에어컨)의 냉방 온도를 조절하기 위한 명령인 경우, 상기 제 1 외부 전자 장치가 냉방 온도를 조절하도록, 제 1 외부 전자 장치를 제어할 수 있다. 일 실시예에서, 프로세서(360)는, 상기 사용자 입력이 입력된 제 1 원격 제어 장치의 키에 대응하는 제 1 외부 전자 장치의 기능을 나타내는 정보를 디스플레이 모듈(330)을 통하여 표시할 수 있다. 예를 들어, 도 16에 도시된 바와 같이, 프로세서(360)는, 상기 사용자 입력이 입력된 제 1 원격 제어 장치(711)의 키에 대응하는 제 1 외부 전자 장치(912)의 기능을 나타내는 정보(1611)를 제 1 외부 전자 장치(912)이 보여지는 위치와 중첩하도록 디스플레이 모듈(330)을 통하여 표시할 수 있다. 다만, 이에 제한되지 않으며, 프로세서(360)는, 상기 사용자 입력이 입력된 제 1 원격 제어 장치(711)의 키에 대응하는 제 1 외부 전자 장치(912)의 기능이 수행됨(또는 제 1 원격 제어 장치(711)의 키에 사용자 입력이 입력됨)을 나타내는 오디오를 스피커를 통하여 출력할 수 있다.
도 4를 다시 참조하면, 일 실시예에서, 프로세서(360)는, 제 1 외부 전자 장치의 적어도 하나의 기능이 제 1 원격 제어 장치의 적어도 하나의 키에 매핑된 경우, 제 1 원격 제어 장치의 적어도 하나의 키와 중첩되도록 상기 매핑된 제 1 외부 전자 장치의 적어도 하나의 기능을 나타내는 오브젝트를 디스플레이 모듈(330)을 통하여 표시할 수 있다.
일 실시예에서, 프로세서(360)는, 제 1 외부 전자 장치에 대응하는 원격 제어 장치의 적어도 하나의 키가 제 1 원격 제어 장치의 적어도 하나의 키에 리매핑된 경우, 제 1 원격 제어 장치의 적어도 하나의 키와 중첩되도록 상기 리매핑된 제 1 외부 전자 장치에 대응하는 원격 제어 장치의 적어도 하나의 키를 나타내는 오브젝트를 디스플레이 모듈(330)을 통하여 표시할 수 있다.
일 실시예에서, 프로세서(360)는, 제 1 원격 제어 장치기 지정된 리모컨(예: 심플 리모컨)인 경우, 제 1 외부 전자 장치의 위치 또는 제 1 원격 제어 장치의 위치(또는 제 1 외부 전자 장치의 위치 또는 제 1 원격 제어 장치의 위치로부터 지정된 거리만큼 이격된 위치)에, 제 1 외부 전자 장치를 제어하기 위한 오브젝트들을 포함하는 이미지(예: 도 15의 이미지(1520), 이미지(1540), 또는 이미지(1550))를 디스플레이 모듈(330)을 통하여 표시할 수 있다.
도 17은, 일 실시예에 따른, 제 1 외부 전자 장치의 전환과 관련된 모드를 설명하기 위한 흐름도(1700)이다.
도 18은, 일 실시예에 따른, 제 1 외부 전자 장치의 전환과 관련된 모드를 설명하기 위한 예시도이다.
도 17 및 도 18을 참조하면, 동작 1701에서, 일 실시예에서, 프로세서(360)는, 제 1 원격 제어 장치와의 연결이 설정되고 제 1 외부 전자 장치가 검출된 상태(또는 제 1 외부 전자 자치와 통신 연결된 상태)에서, 제 1 외부 전자 장치의 전환과 관련된 모드를 선택하기 위한 사용자 입력을 수신할 수 있다.
일 실시예에서, 프로세서(360)는, 제 1 원격 제어 장치와의 연결이 설정된 후, 사용자의 시선에 대응하는 범위 내에 존재하는 제 1 외부 전자 장치를 검출함으로써, 전자 장치 및 제 1 외부 전자 장치를 통신 연결할 수 있다. 예를 들어, 프로세서(360)는, 제 1 원격 제어 장치와의 연결이 설정된 후, 사용자의 시선에 대응하는 제 1 범위 내에 존재하는 외부 전자 장치 1을 검출함으로써, 전자 장치(301) 및 외부 전자 장치 1을 통신 연결할 수 있다. 프로세서(360)는, 사용자의 시선에 대응하는 범위가 상기 제 1 범위로부터 제 1 범위로 변경된 경우, 상기 제 1 범위에 존재하는 외부 전자 장치 2를 검출함으로써, 전자 장치(301) 및 외부 전자 장치 2를 통신 연결할 수 있다. 이하에서, 사용자의 시선에 대응하는 범위의 변경에 따라, 사용자의 시선에 대응하는 범위에 존재하는 제 1 외부 전자 장치와의 통신 연결을 변경하는 모드를 "제 1 모드(또는 전자 장치의 제 1 모드)" 또는 "soft link"로 지칭하기로 한다.
일 실시예에서, 프로세서(360)는, 제 1 원격 제어 장치와의 연결이 설정된 후, 사용자의 시선의 변경에 의해 사용자의 현재 시선에 대응하는 범위 내에 제 1 외부 전자 장치와 다른 외부 전자 장치가 존재함을 검출되더라도, 전자 장치(301) 및 제 1 외부 전자 장치를 통신 연결을 유지할 수 있다. 이하에서, 사용자의 시선에 대응하는 범위의 변경과 관계 없이, 전자 장치(301)와 통신 연결되었던 제 1 외부 전자 장치와의 통신 연결을 유지하는 모드를 "제 2 모드(또는 전자 장치의 제 2 모드)", "hard link", 또는 "hard lock"으로 지칭하기로 한다.
일 실시예에서, 제 1 외부 전자 장치의 전환과 관련된 모드는, 제 1 모드 및 제 2 모드를 포함할 수 있다.
일 실시예에서, 프로세서(360)는, 제 1 원격 제어 장치로 제 1 외부 전자 장치의 전환과 관련된 모드(예: 제 1 모드 또는 제 2 모드)를 선택하는 지정된 사용자 입력(예: 롱 프레스(long press) 입력)이 수신된 경우, 통신 모듈(310)을 통하여, 제 1 원격 제어 장치로부터 상기 지정된 사용자 입력을 수신할 수 있다. 다만, 이에 제한되지 않으며, 프로세서(360)는, 전자 장치(301)의 입력 장치(예: 마이크, 터치 패드)를 통하여, 제 1 외부 전자 장치의 전환과 관련된 모드를 선택하기 위하여 지정된 사용자 입력을 수신할 수 있다.
동작 1702에서, 일 실시예에서, 프로세서(360)는, 사용자 입력에 기반하여, 모드를 선택할 수 있다. 예를 들어, 프로세서(360)는, 제 1 모드 또는 제 2 모드를 선택할 수 있다.
이하, 도 18을 참조하여, 제 1 외부 전자 장치의 전환과 관련된 모드에 대하여 보다 상세히 설명하도록 한다.
일 실시예에서, 참조 부호 1801에서, 프로세서(360)는, 제 1 원격 제어 장치(1811) 및 제 1 외부 전자 장치(1821)가 검출된 경우, 디스플레이 모듈(330)을 통하여, 제 1 원격 제어 장치(1811) 및 제 1 외부 전자 장치(1821)가 검출됨을 나타내는 인디케이션들(1812, 1822)를 표시할 수 있다. 일 실시예에서, 프로세서(360)는, 제 1 원격 제어 장치(1811) 및 제 1 외부 전자 장치(1821)와 통신 연결된 경우, 디스플레이 모듈(330)을 통하여, 투명 부재의 지정된 영역(1831) 상에, 제 1 원격 제어 장치(1811) 및 제 1 외부 전자 장치(1821)와 통신 연결됨을 나타내는 이미지들(1832, 1833)를 표시할 수 있다.
일 실시예에서, 참조 부호 1801에서, 프로세서(360)는, 전자 장치가 제 1 모드(soft link)로 동작하는 경우, 전자 장치(301)가 제 1 모드(soft link)로 동작 중임을 나타내는 정보(1842)를 디스플레이를 통하여 표시할 수 있다. 일 실시예에서, 참조 부호 1801에서, 프로세서(360)는, 전자 장치(301)의 모드를 제 1 모드로부터 제 2 모드로 변경하기 위한 사용자 입력을 가이드(guide)하는 정보(1841)를 디스플레이 모듈(330)을 통하여 표시할 수 있다.
일 실시예에서, 프로세서(360)는, 제 1 원격 제어 장치(1811)로부터 제 1 모드로부터 제 2 모드로 전자 장치(301)의 모드를 변경하기 위한 사용자 입력이 수신된 경우(예: 제 1 원격 제어 장치(1811)에서 제 1 모드로부터 제 2 모드로 전자 장치(301)의 모드를 변경하기 위한 사용자 입력이 입력됨을 나타내는 정보가 수신된 경우), 전자 장치(301)의 모드를 제 1 모드로부터 제 2 모드로 변경할 수 있다. 일 실시예에서, 프로세서(360)는, 전자 장치(301)의 모드가 제 1 모드로부터 제 2 모드로 변경된 경우, 참조 부호 1802에 도시된 바와 같이, 지정된 영역(1831) 내에 제 2 모드를 나타내는 정보(1851)(예: 전자 장치(301)가 제 2 모드로 동작 중임을 나타내는 정보)를 디스플레이 모듈(330)을 통하여 표시할 수 있다.
일 실시예에서, 프로세서(360)는, 제 2 모드에서, 사용자의 시선의 변경에 의해 사용자의 현재 시선에 대응하는 범위 내에 제 1 외부 전자 장치와 다른 외부 전자 장치가 존재함을 검출되더라도, 전자 장치(301) 및 제 1 외부 전자 장치를 통신 연결을 유지할 수 있다. 예를 들어, 참조 부호 1803에 도시된 바와 같이, 사용자의 시선에 대응하는 범위가 변경되어 사용자의 시선에 대응하는 범위 내에 제 1 외부 전자 장치(1821)와 다른 외부 전자 장치가 존재하더라도, 전자 장치(301) 및 제 1 외부 전자 장치(1821)를 통신 연결을 유지할 수 있다. 프로세서(360)는, 제 2 모드에서, 사용자의 시선에 대응하는 범위 내에 제 1 외부 전자 장치(1821)가 존재하지 않더라도, 제 1 원격 제어 장치(1811)를 이용하여, 제 1 외부 전자 장치(1821)를 제어할 수 있다. 예를 들어, 사용자의 시선에 대응하는 범위 내에 제 1 외부 전자 장치(1821)가 존재하지 않더라도, 제 1 원격 제어 장치(1811)를 이용하여, 제 1 외부 전자 장치(1821)(예: 에어컨)로 냉방 온도 조절을 위한 명령을 전송할 수 있다. 프로세서(360)는, 제 1 외부 전자 장치(1821)(예: 에어컨)로 냉방 온도 조절을 위한 명령에 대응하는 사용자 입력이 제 1 원격 제어 장치(1811)로 입력됨을 나타내는 정보(1881)를 디스플레이 모듈(330)을 통하여 표시할 수 있다.
도 19는, 일 실시예에 따른, 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 방법을 설명하는 시스템 도면(1900)이다.
도 19를 참조하면, 일 실시예에서, 전자 장치(301), 제 1 외부 전자 장치(1950), 및 제 2 외부 전자 장치(1930)는, IoT 서비스를 제공하는 서버(1940)에 등록될 수 있다.
동작 1901에서, 일 실시예에서, 전자 장치(301)는 제 1 원격 제어 장치(1920)를 검출할 수 있다.
동작 1903에서, 일 실시예에서, 전자 장치(301)는, 제 1 원격 제어 장치(1920)가 검출된 후, 제 1 원격 제어 장치(1920)의 움직임을 검출할 수 있다.
동작 1903에서, 일 실시예에서, 전자 장치(301)는, 제 1 원격 제어 장치(1920)가 검출된 후, 제 1 원격 제어 장치(1920)의 움직임을 검출할 수 있다.
동작 1905에서, 일 실시예에서, 전자 장치(301)는, 제 1 원격 제어 장치(1920)의 움직임이 검출된 경우, 서버(1940)로, 명령 전달 요청을 전송할 수 있다.
동작 1907에서, 일 실시예에서, 서버(1940)는, 명령 전달 요청을 제 1 원격 제어 장치(1920)에 대응하는 제 2 외부 전자 장치(1930)로 전송할 수 있다.
동작 1909에서, 일 실시예에서, 제 1 원격 제어 장치(1920)는, 전자 장치(301)와의 통신 연결을 위하여 지정된 명령을, 제 2 외부 전자 장치(1930)로 전송할 수 있다.
동작 1911에서, 일 실시예에서, 제 2 외부 전자 장치(1930)는, 상기 지정된 명령을 서버(1940)로 전송할 수 있다.
동작 1913에서, 일 실시예에서, 서버(1940)는, 상기 지정된 명령을 전자 장치(301)로 전송할 수 있다.
동작 1915에서, 일 실시예에서, 전자 장치(301)는, 상기 지정된 명령을 수신함에 응답하여, 제 1 원격 제어 장치(1920)와의 통신 연결을 설정할 수 있다.
동작 1917에서, 일 실시예에서, 전자 장치(301)는 제 1 원격 제어 장치(1920)를 이용하여 기능이 수행될 제 1 외부 전자 장치(1950)를 결정할 수 있다.
동작 1919에서, 일 실시예에서, 전자 장치(301)는 제 1 외부 전자 장치(1950)와 통신 연결할 수 있다.
동작 1921에서, 일 실시예에서, 전자 장치(301)는, 제 1 원격 제어 장치(1920)를 이용하여, 제 1 외부 전자 장치(1950)를 제어하기 위한 매핑 동작을 수행할 수 있다.
동작 1923에서, 일 실시예에서, 제 1 원격 제어 장치(1920)는, 사용자 입력에 대응하는 명령을 전송할 수 있다.
동작 1925에서, 일 실시예에서, 전자 장치(301)는, 제 1 원격 제어 장치(1920)로부터 명령에 기반하여, 제 2 외부 전자 장치(1930)가 상기 명령에 대응하는 기능을 수행하도록, 제 2 외부 전자 장치(1930)로 명령을 전송할 수 있다.
전술한 도 4 내지 도 19에서는, 제 1 원격 제어 장치(1920)와의 통신 연결 설정 후, 제 1 외부 전자 장치(1950)와 통신 연결함으로써, 제 1 원격 제어 장치(1920)를 이용하여, 제 1 외부 전자 장치(1950)를 제어하는 것으로 예시하고 있지만, 이에 제한되지 않는다. 이하 도 20 및 도 21을 참조하여, 제 1 외부 전자 장치(1950)와 통신 연결 후, 제 1 원격 제어 장치(1920)와의 통신 연결을 설정함으로써, 제 1 원격 제어 장치(1920)를 이용하여, 제 1 외부 전자 장치(1950)를 제어하는 예시에 대하여 설명하도록 한다.
도 20은, 일 실시예에 따른, 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 방법을 설명하는 흐름도(2000)이다.
도 21은, 일 실시예에 따른, 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 방법을 설명하는 예시도(2100)이다.
도 20 및 도 21을 참조하면, 동작 2001에서, 일 실시예에서, 프로세서(360)는, 통신 모듈(310)을 통하여, 제 1 외부 전자 장치를 검출할 수 있다.
일 실시예에서, 프로세서(360)는, 카메라 모듈(320)(예: 도 2의 하나 이상의 제 2 카메라들(212-1, 212-2))을 통하여, 전자 장치를 착용한 사용자의 시선을 검출할 수 있다. 프로세서(360)는, 카메라 모듈(320)(예: 도 2의 하나 이상의 제 1 카메라들(211-1, 211-2))을 통하여, 사용자의 시선에 대응하는 범위(예: 뷰(view)) 내에 위치하는 제 1 외부 전자 장치에 대한 이미지를 획득할 수 있다. 프로세서(360)는, 획득된 이미지와, 메모리(350)에 저장되고 외부 전자 장치들을 각각 포함하는 복수의 이미지들을 비교함으로써, 제 1 외부 전자 장치를 검출할 수 있다.
일 실시예에서, 프로세서(360)는, 카메라 모듈(320)(예: 도 2의 하나 이상의 제 1 카메라들(211-1, 211-2))을 통하여, 카메라 모듈(320)의 화각 범위(예: 카메라 모듈(320)의 화각의 중심으로부터 지정된 영역)에 위치하는 제 1 외부 전자 장치에 대한 이미지를 획득할 수 있다. 프로세서(360)는, 획득된 이미지와, 메모리(350)에 저장되고 외부 전자 장치들을 각각 포함하는 복수의 이미지들을 비교함으로써, 제 1 외부 전자 장치를 검출할 수 있다.
전술한 예시들에서, 프로세서(360)가 카메라 모듈(320)을 통하여 획득된 이미지에 기반하여, 제 1 외부 전자 장치를 검출하는 것으로 예시하고 있지만, 이에 제한되지 않는다. 예를 들어, 프로세서(360)는, 통신 모듈(310)(예: UWB 통신 모듈(310))을 통하여, 전자 장치(301)가 향하는 방향에 위치하는 제 1 외부 전자 장치를 검출할 수도 있다.
일 실시예에서, 프로세서(360)는 제 1 외부 전자 장치가 검출된 경우, 제 1 외부 전자 장치가 검출됨을 나타내는 정보를 출력할 수 있다.
일 실시예에서, 프로세서(360)는, 통신 모듈(310)을 통하여, 제 1 외부 전자 장치가 검출된 경우, 서버로부터 제 1 외부 전자 장치에 대한 정보를 요청할 수 있다. 프로세서(360)는, 상기 요청을 전송한 후, 통신 모듈(310)을 통하여, 서버로부터, 제 1 외부 전자 장치에 대한 정보를 수신할 수 있다. 제 1 외부 전자 장치에 대한 정보는, 제 1 외부 전자 장치의 타입, 명칭, 모델명, 제 1 외부 전자 장치가 수행하는 기능, 작동 상태, 및/또는 제 1 외부 전자 장치와의 통신 연결을 위한 정보를 포함할 수 있다. 다만, 제 1 외부 전자 장치에 대한 정보는 전술한 예시에 제한되지 않는다.
동작 2003에서, 일 실시예에서, 프로세서(360)는, 통신 모듈(310)이 전자 장치(301) 및 제 1 외부 전자 장치 간 통신 연결을 설정하도록, 통신 모듈(310)을 제어할 수 있다. 예를 들어, 프로세서(360)는, 제 1 외부 전자 장치가 검출된 상태에서, 전자 장치(301)(또는 제 1 원격 제어 장치)에 대한 지정된 사용자 입력에 기반하여, 근거리 통신 모듈(예: 블루투스 모듈, 와이 파이 모듈)을 통하여, 전자 장치(301) 및 제 1 외부 전자 장치 간 통신 연결을 설정할 수 있다.
일 실시예에서, 프로세서(360)는, 제 1 외부 전자 장치가 검출된 경우 또는 전자 장치(301) 및 제 1 외부 전자 장치 간 통신 연결이 설정된 경우, 제 1 외부 전자 장치를 제어할 수 있는 적어도 하나의 원격 제어 장치에 대한 정보를 획득할 수 있다. 예를 들어, 프로세서(360)는, 제 1 외부 전자 장치가 검출된 경우 또는 전자 장치(301) 및 제 1 외부 전자 장치 간 통신 연결이 설정된 경우, 통신 모듈(310)을 통하여, 서버로, 제 1 외부 전자 장치를 제어할 수 있는 적어도 하나의 원격 제어 장치에 대한 정보를 요청할 수 있다. 프로세서(360)는, 상기 요청을 전송한 후, 통신 모듈(310)을 통하여, 서버로부터, 제 1 외부 전자 장치를 제어할 수 있는 적어도 하나의 원격 제어 장치에 대한 정보를 수신할 수 있다. 서버로부터 수신되는 적어도 하나의 원격 제어 장치에 대한 정보는 적어도 하나의 원격 제어 장치의 프로토콜(protocol), 제조사 코드, 및 데이터 코드의 리스트를 수신할 수 있다. 데이트 코드는, 원격 제어 장치가 IR 통신을 이용하는 원격 제어 장치인 경우 IR 명령을 인식하기 위한 명령 코드로서 원격 제어 장치의 적어도 하나의 키 각각에 대응하는 IR 신호 값일 수 있다.
일 실시예에서, 프로세서(360)는, 제 1 외부 전자 장치를 제어할 수 있는 적어도 하나의 원격 제어 장치에 대한 정보가 수신된 경우, 수신된 정보를, 디스플레이 모듈(330)을 통하여 표시할 수 있다. 예를 들어, 도 21에서, 프로세서(360)는, 제 1 외부 전자 장치(2101)이 보여지는 투명 부재 상의 영역에 인접하는 위치에(또는 적어도 일부가 중첩하도록) 제 1 외부 전자 장치를 제어할 수 있는 적어도 하나의 원격 제어 장치에 대한 정보(2102)를 디스플레이 모듈(330)을 통하여 표시할 수 있다. 상기 정보(2102)는, 원격 제어 장치 1에 대한 이미지(2110) 및 정보(2111), 원격 제어 장치 2에 대한 이미지(2120) 및 정보(2121), 및 원격 제어 장치 3에 대한 이미지(2130) 및 정보(2131)을 포함할 수 있다. 다만, 제 1 외부 전자 장치를 제어할 수 있는 적어도 하나의 원격 제어 장치에 대한 정보(2102)는, 전술한 예시에 제한되지 않는다.
도 20을 다시 참조하면, 동작 2005에서, 일 실시예에서, 프로세서(360)는, 제 1 원격 제어 장치를 검출할 수 있다.
동작 2005는, 도 4의 동작 401과 적어도 일부가 동일 또는 유사하므로, 중복되는 설명은 생략하기로 한다.
일 실시예에서, 프로세서(360)는, 제 1 외부 전자 장치가 검출된 경우 또는 전자 장치 및 제 1 외부 전자 장치 간 통신 연결이 설정된 후 사용자 입력이 입력된 경우, 제 1 원격 제어 장치를 검출하는 동작을 수행할 수 있다.
동작 2007에서, 일 실시예에서, 프로세서(360)는, 제 1 원격 제어 장치와의 연결을 설정할 수 있다.
동작 2007은, 도 4의 동작 403과 적어도 일부가 동일 또는 유사하므로, 중복되는 설명은 생략하기로 한다.
동작 2009에서, 일 실시예에서, 프로세서(360)는, 제 1 원격 제어 장치의 적어도 하나의 키 및 제 1 외부 전자 장치의 적어도 하나의 기능을 매핑하기 위한 동작을 수행할 수 있다.
동작 2009는, 도 4의 동작 409와 적어도 일부가 동일 또는 유사하므로, 중복되는 설명은 생략하기로 한다.
동작 2011에서, 일 실시예에서, 프로세서(360)는, 제 1 원격 제어 장치를 이용하여, 제 1 외부 전자 장치가 적어도 하나의 기능을 수행하도록 제어할 수 있다.
동작 2011는, 도 4의 동작 411과 적어도 일부가 동일 또는 유사하므로, 중복되는 설명은 생략하기로 한다.
도 20 및 도 21에서는, 디스플레이(330)를 통해 표시되는 화면에 대한 사용자 입력에 기반하여 원격 제어 장치를 제어하기 위한 동작을 수행하는 것으로 예시하고 있지만, 이에 제한되지 않는다. 예를 들어, 프로세서(360)는, 디스플레이(330)를 통해 표시되는 화면과 관련된 음성을 스피커(343)를 통하여 출력하고 마이크(342)를 통하여 사용자의 음성을 수신하여, 원격 제어 장치를 제어하기 위한 동작을 수행할 수 있다.
도 22는, 일 실시예에 따른, 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 방법을 설명하는 예시도(2200)이다.
도 22를 참조하면, 일 실시예에서, 프로세서(360)는, 전자 장치(301)가 사용자에 착용된 상태에서, 사용자 입력에 기반하여, 전자 장치(301)가 외부 전자 장치를 제어하기 위한 모드(home control 모드)로 진입하도록 할 수 있다.
일 실시예에서, 프로세서(360)는, 전자 장치(301)가 외부 전자 장치를 제어하기 위한 모드로 진입한 경우, 사용자의 시선에 대응하는 범위에 배치된 적어도 하나의 외부 전자 장치를 검출할 수 있다. 예를 들어, 도 22에서, 프로세서(360)는, 서버에 지정된 장소(예: 룸)로서 화장실이 등록된 경우, 화장실 내에서 사용자의 시선에 대응하는 범위에 배치된 적어도 하나의 외부 전자 장치(예: 좌변기(2201), 욕조 샤워기(2202), 캐비닛(2203), 세면대(2204), 수납장(2205))를 검출할 수 있다. 프로세서(360)는, 적어도 하나의 외부 전자 장치가 검출된 경우, 적어도 하나의 외부 전자 장치가 검출됨을 나타내는 인디케이션(또는 하이라이트 표시) 및 적어도 하나의 외부 전자 장치에 대한 정보(2211, 2212, 2213, 2214, 2215)를 디스플레이 모듈(330)을 통하여 표시할 수 있다. 프로세서(360)는, 적어도 하나의 외부 전자 장치가 검출된 경우, 적어도 하나의 외부 전자 장치가 검출됨을 나타내는 오디오를 스피커를 통하여 출력할 수 있다.
도 23a는, 일 실시예에 따른, 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 방법을 설명하는 흐름도(2300a)이다.
도 23b는, 일 실시예에 따른, 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 방법을 설명하는 예시도(2300b)이다.
도 23a 및 도 23b를 참조하면, 동작 2301에서, 일 실시예에서, 프로세서(360)는 제 1 외부 전자 장치를 검출할 수 있다. 예를 들어, 도 12b의 참조 부호 2301-1에서, 사용자의 시선에 대응하는 범위에 존재하는 캐비닛(2312)를 제 1 원격 제어 장치(2311)을 이용하여 제어될 제 1 외부 전자 장치로서 검출할 수 있다.
일 실시예에서, 프로세서(360)는, 캐비닛(2312)이 검출된 경우, 캐비닛(2312)이 검출됨을 나타내는 인디케이션 및 오디오, 지정된 장소가 화장실임을 나타내는 정보(2313)를 출력할 수 있다.
동작 2302에서, 일 실시예에서, 프로세서(360)는 제 1 외부 전자 장치의 기능을 표시할 수 있다.
일 실시예에서, 프로세서(360)는, 제 1 원격 제어 장치(2311)의 종류가 심플 리모컨인 경우, 제 1 원격 제어 장치(2311) 또는 캐비닛(2312)에 인접하여 표시되고 캐비닛(2312)의 기능을 제어하기 위한 가상 이미지(2321, 2322)를 디스플레이 모듈(330)을 통하여 표시할 수 있다. 상기 가상 이미지(2321, 2322)는, 캐비닛(2312)의 복수의 기능들(예: light 기능(광의 종류 및 세기 조절 기능), screen 기능(캐비닛(2312)의 스크린과 관련된 기능), DA(digital appliance) 기능)을 나타내는 복수의 오브젝트들을 포함할 수 있다.
동작 2303에서, 일 실시예에서, 프로세서(360)는 제 1 원격 제어 장치를 이용하여 제 1 외부 전자 장치의 기능을 제어할 수 있다.
일 실시예에서, 프로세서(360)는, 상기 가상 이미지(2321, 2322)가 표시된 상태에서 제 1 원격 제어 장치(2311)를 이용하여 캐비닛(2312)의 기능을 제어할 수 있다. 예를 들어, 프로세서(360)는, 참조 부호 2302-1 및 참조 부호 2303-1에 도시된 바와 같이, 제 1 원격 제어 장치(2311)를 이용하여, 가상 이미지(2321, 2322)에 포함된 캐비닛(2312)의 기능을 나타내는 오브젝트의 선택을 위한 하이라이트를 이동시키거나, 상기 오브젝트를 선택할 수 있다. 예를 들어, 프로세서(360)는, 참조 부호 2302-1에서 도시되 바와 같이, 캐비닛(2312)의 light 기능을 선택(및 실행)할 수 있다. 예를 들어, 프로세서(360)는, 참조 부호 2302-1에서 도시되 바와 같이, 캐비닛(2312)의 파워 온/오프 기능을 선택(및 실행)할 수 있다.
일 실시예에 따른 전자 장치(301)에서 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 방법은, 제 1 원격 제어 장치를 검출하는 동작을 포함할 수 있다. 상기 방법은, 상기 전자 장치(301)의 통신 모듈(310)을 통하여, 상기 제 1 원격 제어 장치와의 통신 연결을 설정하는 동작을 포함할 수 있다. 상기 방법은, 상기 제 1 원격 제어 장치를 이용하여 제어될 제 1 외부 전자 장치를 결정하는 동작을 포함할 수 있다. 상기 방법은, 상기 통신 모듈(310)을 통하여, 상기 전자 장치(301) 및 상기 제 1 외부 전자 장치 간 통신 연결을 설정하는 동작을 포함할 수 있다. 상기 방법은, 상기 제 1 원격 제어 장치의 적어도 하나의 키 및 상기 제 1 외부 전자 장치의 적어도 하나의 기능을 매핑하기 위한 동작을 수행하는 동작을 포함할 수 있다. 상기 방법은, 상기 제 1 원격 제어 장치를 이용하여, 상기 제 1 외부 전자 장치가 상기 적어도 하나의 기능을 수행하도록 제어하는 동작을 포함할 수 있다.
일 실시예에서, 상기 제 1 원격 제어 장치를 검출하는 동작은, 상기 전자 장치(301)의 카메라 모듈(320)을 통하여 이미지를 획득하는 동작 및 상기 이미지에 기반하여, 상기 전자 장치(301)를 착용한 사용자의 시선에 대응하는 범위에 존재하는 상기 제 1 원격 제어 장치를 검출하는 동작을 포함할 수 있다.
일 실시예에서, 상기 제 1 원격 제어 장치와의 통신 연결을 설정하는 동작은, 상기 제 1 원격 제어 장치의 움직임을 검출하는 동작, 상기 제 1 원격 제어 장치의 움직임을 검출함에 기반하여, 제 1 원격 제어 장치에 대응하는 제 2 외부 전자 장치로, 상기 제 1 원격 제어 장치의 명령을 상기 전자 장치(301)로 전달하도록 요청하는 동작, 및 상기 제 1 원격 제어 장치와의 통신 연결을 설정하는 동작을 포함할 수 있다.
일 실시예에서, 상기 제 1 원격 제어 장치와의 통신 연결을 설정하는 동작은, 상기 통신 모듈(310)을 통하여, 상기 제 1 원격 제어 장치로부터, 상기 제 2 외부 전자 장치 및 서버를 거쳐, 상기 제 1 원격 제어 장치와의 통신 연결을 위하여 상기 제 1 원격 제어 장치로 입력되는 사용자 입력을 수신하는 동작 및 상기 사용자 입력에 기반하여, 상기 제 1 원격 제어 장치와의 통신 연결을 설정하는 동작을 포함할 수 있다.
일 실시예에서, 상기 제 1 외부 전자 장치를 결정하는 동작은, 상기 제 1 외부 전자 장치를 검출하는 동작 및 상기 제 1 외부 전자 장치 및 상기 전자 장치(301)를 통신 연결을 설정하는 동작을 포함할 수 있다.
일 실시예에서, 상기 제 1 외부 전자 장치를 결정하는 동작은, 상기 제 1 원격 제어 장치와의 통신 연결이 설정됨에 기반하여, 제 1 원격 제어 장치를 이용하여 제어 가능한 외부 전자 장치들의 리스트를 출력하는 동작, 상기 리스트에 대한 사용자 입력에 기반하여, 상기 외부 전자 장치들 중에서 상기 제 1 외부 전자 장치를 결정하는 동작, 및 상기 제 1 외부 전자 장치 및 상기 전자 장치(301)를 통신 연결을 설정하는 동작을 포함할 수 있다.
일 실시예에서, 상기 매핑하기 위한 동작을 수행하는 동작은, 상기 제 1 외부 전자 장치의 적어도 하나의 기능에 대응하는 적어도 하나의 오브젝트(object)가 전자 장치 주변 3차원 공간 상에 배치되는 것으로 상기 전자 장치(301)를 착용한 사용자에게 보이도록, 상기 적어도 하나의 오브젝트를 상기 전자 장치(301)의 디스플레이 모듈(330)을 통하여 표시하는 동작, 상기 적어도 하나의 오브젝트 중에서, 상기 사용자의 시선에 대응하는 오브젝트를 선택하는 동작, 상기 통신 모듈(310)을 통하여, 상기 제 1 원격 제어 장치로부터, 상기 오브젝트에 대응하는 기능이 매핑될, 사용자 입력이 입력된 상기 제 1 원격 제어 장치의 키에 대한 정보를 수신하는 동작, 및 상기 선택된 오브젝트에 대응하는 기능을 상기 제 1 원격 제어 장치의 키에 매핑하는 동작을 포함할 수 있다.
일 실시예에서, 상기 적어도 하나의 오브젝트를 상기 전자 장치(301)의 디스플레이 모듈(330)을 통하여 표시하는 동작은, 상기 제 1 외부 전자 장치의 적어도 하나의 기능 각각에 대한 상기 사용자의 사용 이력에 기반하여, 상기 적어도 하나의 기능을 우선 순위를 가지는 그룹들로 분류하는 동작, 및 상기 그룹들의 우선 순위에 기반하여, 상기 적어도 하나의 오브젝트가 상기 전자 장치(301) 주변 3차원 공간 상에 배치되는 것으로 상기 사용자에게 보이도록, 상기 디스플레이 모듈(330)을 통하여 상기 적어도 하나의 오브젝트를 표시하는 동작을 포함할 수 있다.
일 실시예에서, 상기 제 1 원격 제어 장치를 이용하여, 상기 제 1 외부 전자 장치가 상기 적어도 하나의 기능을 수행하도록 제어하는 동작은, 상기 제 1 외부 전자 장치의 상기 적어도 하나의 기능이 상기 제 1 원격 제어 장치의 적어도 하나의 키에 매핑된 경우, 상기 제 1 원격 제어 장치의 상기 적어도 하나의 키와 중첩되도록 상기 매핑된 적어도 하나의 기능을 나타내는 오브젝트를 상기 전자 장치(301)의 디스플레이 모듈(330)을 통하여 표시하는 동작을 포함할 수 있다.
또한, 상술한 본 문서의 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, CD-ROM, DVD 등)와 같은 저장매체를 포함한다.

Claims (15)

  1. 전자 장치(301)에 있어서,
    통신 모듈(310); 및
    적어도 하나의 프로세서(360)를 포함하고,
    상기 적어도 하나의 프로세서(360)는,
    제 1 원격 제어 장치를 검출하고,
    상기 통신 모듈(310)을 통하여, 상기 제 1 원격 제어 장치와의 통신 연결을 설정하고,
    상기 제 1 원격 제어 장치를 이용하여 제어될 제 1 외부 전자 장치를 결정하고,
    상기 통신 모듈(310)이 상기 전자 장치(301) 및 상기 제 1 외부 전자 장치 간 통신 연결을 설정하도록 상기 통신 모듈(310)을 제어하고,
    상기 제 1 원격 제어 장치의 적어도 하나의 키(key) 및 상기 제 1 외부 전자 장치의 적어도 하나의 기능을 매핑(mapping)하기 위한 동작을 수행하고, 및
    상기 제 1 원격 제어 장치를 이용하여, 상기 제 1 외부 전자 장치가 상기 적어도 하나의 기능을 수행하도록 제어하도록 구성된 전자 장치.
  2. 제 1 항에 있어서,
    카메라 모듈(320)을 더 포함하고,
    상기 적어도 하나의 프로세서(360)는,
    상기 카메라 모듈(320)을 통하여 이미지를 획득하고,
    상기 이미지에 기반하여, 상기 전자 장치(301)를 착용한 사용자의 시선에 대응하는 범위에 존재하는 상기 제 1 원격 제어 장치를 검출하도록 구성된 전자 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 적어도 하나의 프로세서(360)는,
    상기 제 1 원격 제어 장치의 움직임을 검출하고,
    상기 제 1 원격 제어 장치의 움직임을 검출함에 기반하여, 제 1 원격 제어 장치에 대응하는 제 2 외부 전자 장치로, 상기 제 1 원격 제어 장치의 명령을 상기 전자 장치(301)로 전달(forward)하도록 요청하고, 및
    상기 제 1 원격 제어 장치와의 통신 연결을 설정하도록 구성된 전자 장치.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서(360)는,
    상기 통신 모듈(310)을 통하여, 상기 제 1 원격 제어 장치로부터, 상기 제 2 외부 전자 장치 및 서버를 거쳐, 상기 제 1 원격 제어 장치와의 통신 연결을 위하여 상기 제 1 원격 제어 장치로 입력되는 사용자 입력을 수신하고, 및
    상기 사용자 입력에 기반하여, 상기 제 1 원격 제어 장치와의 통신 연결을 설정하도록 구성된 전자 장치.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서(360)는,
    상기 제 1 외부 전자 장치를 검출하고, 및
    상기 통신 모듈(310)이 상기 제 1 외부 전자 장치 및 상기 전자 장치(301) 간 통신 연결을 설정하도록 상기 통신 모듈(310)을 제어하도록 구성된 전자 장치.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서(360)는,
    상기 제 1 원격 제어 장치와의 통신 연결이 설정됨에 기반하여, 제 1 원격 제어 장치를 이용하여 제어 가능한 외부 전자 장치들의 리스트를 출력하고,
    상기 리스트에 대한 사용자 입력에 기반하여, 상기 외부 전자 장치들 중에서 상기 제 1 외부 전자 장치를 결정하고, 및
    상기 통신 모듈(310)이 상기 제 1 외부 전자 장치 및 상기 전자 장치(301) 간 통신 연결을 설정하도록 상기 통신 모듈(310)을 제어하도록 구성된 전자 장치.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서(360)는,
    상기 제 1 외부 전자 장치의 적어도 하나의 기능에 대응하는 적어도 하나의 오브젝트(object)가 전자 장치(301) 주변 3차원 공간 상에 배치되는 것으로 상기 전자 장치(301)를 착용한 사용자에게 보이도록, 상기 적어도 하나의 오브젝트를 상기 전자 장치(301)의 디스플레이 모듈(330)을 통하여 표시하고,
    상기 적어도 하나의 오브젝트 중에서, 상기 사용자의 시선에 대응하는 오브젝트를 선택하고,
    상기 통신 모듈(310)을 통하여, 상기 제 1 원격 제어 장치로부터, 상기 오브젝트에 대응하는 기능이 매핑될, 사용자 입력이 입력된 상기 제 1 원격 제어 장치의 키에 대한 정보를 수신하고, 및
    상기 선택된 오브젝트에 대응하는 기능을 상기 제 1 원격 제어 장치의 키에 매핑하도록 구성된 전자 장치.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서(360)는,
    상기 제 1 외부 전자 장치의 적어도 하나의 기능 각각에 대한 상기 사용자의 사용 이력에 기반하여, 상기 적어도 하나의 기능을 우선 순위를 가지는 그룹들로 분류하고, 및
    상기 그룹들의 우선 순위에 기반하여, 상기 적어도 하나의 오브젝트가 상기 전자 장치(301) 주변 3차원 공간 상에 배치되는 것으로 상기 사용자에게 보이도록, 상기 디스플레이 모듈(330)을 통하여 상기 적어도 하나의 오브젝트를 표시하도록 구성된 전자 장치.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서(360)는,
    상기 제 1 외부 전자 장치의 상기 적어도 하나의 기능이 상기 제 1 원격 제어 장치의 적어도 하나의 키에 매핑된 경우, 상기 제 1 원격 제어 장치의 상기 적어도 하나의 키와 중첩되도록 상기 매핑된 적어도 하나의 기능을 나타내는 오브젝트를 상기 전자 장치(301)의 디스플레이 모듈(330)을 통하여 표시하도록 구성된 전자 장치.
  10. 전자 장치(301)에서 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 방법에 있어서,
    제 1 원격 제어 장치를 검출하는 동작;
    상기 전자 장치의 통신 모듈(310)을 통하여, 상기 제 1 원격 제어 장치와의 통신 연결을 설정하는 동작;
    상기 제 1 원격 제어 장치를 이용하여 제어될 제 1 외부 전자 장치를 결정하는 동작;
    상기 통신 모듈(310)이 상기 전자 장치(301) 및 상기 제 1 외부 전자 장치 간 통신 연결을 설정하도록 상기 통신 모듈(310)을 제어하는 동작;
    상기 제 1 원격 제어 장치의 적어도 하나의 키 및 상기 제 1 외부 전자 장치의 적어도 하나의 기능을 매핑하기 위한 동작을 수행하는 동작; 및
    상기 제 1 원격 제어 장치를 이용하여, 상기 제 1 외부 전자 장치가 상기 적어도 하나의 기능을 수행하도록 제어하는 동작을 포함하는 방법.
  11. 제 10 항에 있어서,
    상기 제 1 원격 제어 장치를 검출하는 동작은,
    상기 전자 장치(301)의 카메라 모듈(320)을 통하여 이미지를 획득하는 동작; 및
    상기 이미지에 기반하여, 상기 전자 장치(301)를 착용한 사용자의 시선에 대응하는 범위에 존재하는 상기 제 1 원격 제어 장치를 검출하는 동작을 포함하는 방법.
  12. 제 10 항 또는 제 11 항에 있어서,
    상기 제 1 원격 제어 장치와의 통신 연결을 설정하는 동작은,
    상기 제 1 원격 제어 장치의 움직임을 검출하는 동작;
    상기 제 1 원격 제어 장치의 움직임을 검출함에 기반하여, 제 1 원격 제어 장치에 대응하는 제 2 외부 전자 장치로, 상기 제 1 원격 제어 장치의 명령을 상기 전자 장치(301)로 전달하도록 요청하는 동작; 및
    상기 제 1 원격 제어 장치와의 통신 연결을 설정하는 동작을 포함하는 방법.
  13. 제 10 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 제 1 원격 제어 장치와의 통신 연결을 설정하는 동작은,
    상기 통신 모듈(310)을 통하여, 상기 제 1 원격 제어 장치로부터, 상기 제 2 외부 전자 장치 및 서버를 거쳐, 상기 제 1 원격 제어 장치와의 통신 연결을 위하여 상기 제 1 원격 제어 장치로 입력되는 사용자 입력을 수신하는 동작; 및
    상기 사용자 입력에 기반하여, 상기 제 1 원격 제어 장치와의 통신 연결을 설정하는 동작을 포함하는 방법.
  14. 제 10 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 제 1 외부 전자 장치를 결정하는 동작은,
    상기 제 1 외부 전자 장치를 검출하는 동작; 및
    상기 제 1 외부 전자 장치 및 상기 전자 장치(301) 간 통신 연결을 설정하는 동작을 포함하는 방법.
  15. 제 10 항 내지 제 14 항 중 어느 한 항에 있어서,
    상기 제 1 외부 전자 장치를 결정하는 동작은,
    상기 제 1 원격 제어 장치와의 통신 연결이 설정됨에 기반하여, 제 1 원격 제어 장치를 이용하여 제어 가능한 외부 전자 장치들의 리스트를 출력하는 동작;
    상기 리스트에 대한 사용자 입력에 기반하여, 상기 외부 전자 장치들 중에서 상기 제 1 외부 전자 장치를 결정하는 동작; 및
    상기 제 1 외부 전자 장치 및 상기 전자 장치(301)를 통신 연결을 설정하는 동작을 포함하는 방법.
PCT/KR2023/010695 2022-08-25 2023-07-24 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 방법 및 이를 지원하는 전자 장치 WO2024043550A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0107197 2022-08-25
KR1020220107197A KR20240028880A (ko) 2022-08-25 2022-08-25 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 방법 및 이를 지원하는 전자 장치

Publications (1)

Publication Number Publication Date
WO2024043550A1 true WO2024043550A1 (ko) 2024-02-29

Family

ID=90013687

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/010695 WO2024043550A1 (ko) 2022-08-25 2023-07-24 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 방법 및 이를 지원하는 전자 장치

Country Status (2)

Country Link
KR (1) KR20240028880A (ko)
WO (1) WO2024043550A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060112531A (ko) * 2005-04-27 2006-11-01 삼성전자주식회사 통합 리모콘의 기능을 제공하는 디스플레이 장치 및 방법
US20170201706A1 (en) * 2014-11-08 2017-07-13 Amlogic (Shanghai), Inc. Split-type television
KR20190094381A (ko) * 2016-12-05 2019-08-13 매직 립, 인코포레이티드 혼합 현실 환경의 가상 사용자 입력 콘트롤들
US10425677B2 (en) * 2012-03-29 2019-09-24 Lg Electronics Inc. Multimedia device connected to at least one electronic device and controlling method thereof
KR102017692B1 (ko) * 2013-01-07 2019-10-21 엘지전자 주식회사 적어도 하나 이상의 전자 디바이스와 연결된 멀티미디어 디바이스 및 그 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060112531A (ko) * 2005-04-27 2006-11-01 삼성전자주식회사 통합 리모콘의 기능을 제공하는 디스플레이 장치 및 방법
US10425677B2 (en) * 2012-03-29 2019-09-24 Lg Electronics Inc. Multimedia device connected to at least one electronic device and controlling method thereof
KR102017692B1 (ko) * 2013-01-07 2019-10-21 엘지전자 주식회사 적어도 하나 이상의 전자 디바이스와 연결된 멀티미디어 디바이스 및 그 제어 방법
US20170201706A1 (en) * 2014-11-08 2017-07-13 Amlogic (Shanghai), Inc. Split-type television
KR20190094381A (ko) * 2016-12-05 2019-08-13 매직 립, 인코포레이티드 혼합 현실 환경의 가상 사용자 입력 콘트롤들

Also Published As

Publication number Publication date
KR20240028880A (ko) 2024-03-05

Similar Documents

Publication Publication Date Title
WO2021162378A1 (ko) 마이크 모듈을 포함하는 전자 장치
WO2019231306A2 (ko) 전자 디바이스
WO2018169102A1 (ko) 이동 단말기
WO2017204498A1 (ko) 이동 단말기
WO2022092517A1 (ko) 디스플레이를 포함하는 웨어러블 전자 장치, 그 디스플레이를 제어하는 방법, 및 그 웨어러블 전자 장치 및 케이스를 포함하는 시스템
WO2024043550A1 (ko) 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 방법 및 이를 지원하는 전자 장치
WO2022149737A1 (ko) 카메라 모듈 및 이를 포함하는 전자 장치
WO2024029699A1 (ko) 가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법
WO2024029784A1 (ko) 가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법
WO2023191314A1 (ko) 정보를 제공하는 방법 및 이를 지원하는 전자 장치
WO2024071681A1 (ko) 이미지를 제공하는 방법 및 이를 지원하는 웨어러블 전자 장치
WO2023090690A1 (ko) 가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법
WO2024058436A1 (ko) 영상을 표시하는 전자 장치 및 이의 제어 방법
WO2024076058A1 (ko) 센서를 포함하는 웨어러블 전자 장치 및 이의 동작 방법
WO2023101194A1 (ko) 운송 수단 내 증강 현실 콘텐츠 제공 방법, 이를 수행하는 웨어러블 장치 및 전자 장치
WO2024071903A1 (ko) 헤드 마운트 디스플레이 장치 및 그의 착용 상태 감지 방법
WO2023027300A1 (ko) 전자 장치, 헤드-마운티드 디스플레이 장치, 웨어러블 장치 및 그 동작 방법
WO2024029779A1 (ko) 열 전달 부재를 포함하는 웨어러블 전자 장치
WO2024029804A1 (ko) 장애물 관련 정보를 표시하기 위한 웨어러블 전자 장치, 동작 방법, 및 저장 매체
WO2024034823A1 (ko) 전자 장치 및 이를 이용한 폴딩 상태 변경에 따른 화면 표시 방법
WO2024101747A1 (ko) 카메라를 포함하는 웨어러블 전자 장치 및 이의 동작 방법
WO2024072136A1 (ko) 오디오를 처리하는 전자 장치 및 전자 장치의 동작 방법
WO2024039199A1 (ko) 스피커 조립체 및 이를 포함하는 전자 장치
WO2022124561A1 (ko) 복수의 센서를 이용한 전자 장치의 제어 방법 및 그 전자 장치
WO2023200178A1 (ko) 롤러블 디스플레이를 포함하는 전자 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23857586

Country of ref document: EP

Kind code of ref document: A1