WO2023027411A1 - 외부 전자 장치를 제어하는 전자 장치 및 그의 동작 방법 - Google Patents

외부 전자 장치를 제어하는 전자 장치 및 그의 동작 방법 Download PDF

Info

Publication number
WO2023027411A1
WO2023027411A1 PCT/KR2022/012241 KR2022012241W WO2023027411A1 WO 2023027411 A1 WO2023027411 A1 WO 2023027411A1 KR 2022012241 W KR2022012241 W KR 2022012241W WO 2023027411 A1 WO2023027411 A1 WO 2023027411A1
Authority
WO
WIPO (PCT)
Prior art keywords
remote control
electronic device
control device
information
processor
Prior art date
Application number
PCT/KR2022/012241
Other languages
English (en)
French (fr)
Inventor
소병석
윤대연
윤응식
나혜윤
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220015253A external-priority patent/KR20230029487A/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN202280057281.7A priority Critical patent/CN117836650A/zh
Priority to EP22861621.5A priority patent/EP4290266A1/en
Priority to US17/961,280 priority patent/US11914803B2/en
Publication of WO2023027411A1 publication Critical patent/WO2023027411A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/74—Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems
    • G01S13/76—Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems wherein pulse-type signals are transmitted
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/02—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using radio waves
    • G01S3/14—Systems for determining direction or deviation from predetermined direction
    • G01S3/46—Systems for determining direction or deviation from predetermined direction using antennas spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Definitions

  • the following embodiments relate to an electronic device that controls an external electronic device and an operating method thereof.
  • UWB communication is a communication technology that transmits signals using very short pulses (several nanoseconds) with low power over a wide band compared to conventional communication.
  • FCC Federal Communications Commission
  • TOA time of arrival
  • AOA angle of arrival
  • a device to be controlled may be determined according to a pointing direction of a remote control device.
  • a virtual coordinate system may be established.
  • an electronic device may be provided that obtains information about a pointing direction of a remote control device by setting a global coordinate system based on a reference electronic device in an indoor environment.
  • An electronic device includes a communication module that performs communication through one or more antennas; a sensor module for measuring a yaw of the electronic device; a memory in which computer-executable instructions are stored; and a processor accessing the memory to execute the instructions, wherein the instructions, when executed, determine relative position information of the remote control device with respect to the electronic device, the relative position information, the sensor Coordinates of the remote control device based on the azimuth information of the electronic device and the azimuth information of the remote control device measured as modules and orientation of the remote control device on a global coordinate system based on the electronic device
  • the electronic device may be configured to calculate a direction angle (yaw) and to determine a control target device to be controlled by the remote control device based on the coordinates and the angle.
  • the instructions may further configure the processor to control the electronic device to control the control target device through the remote control device when the control target device is determined.
  • the instructions include the angle (yaw) of the orientation direction of the remote control device on the global coordinate system, a pitch angle of the remote control device, and a pitch angle of the remote control device.
  • the processor may be further configured to control the electronic device to correct orientation information of the remote control device based on a roll angle.
  • the relative location information may include information about a distance from the remote control device to the electronic device; and information about a direction from the remote control device to the electronic device and an angle corresponding to the pointing direction of the remote control device.
  • the relative location information of the remote control device with respect to the electronic device may include information about a distance from each of a plurality of antennas included in the remote control device to the electronic device; And it may be determined based on information about the distance between the plurality of antennas.
  • the azimuth (yaw) of the remote control device may be measured through a sensor module included in the remote control device.
  • the electronic device may perform ultra wide band (UWB) communication with the remote control device.
  • UWB ultra wide band
  • the commands are configured to determine the control target device based on the coordinates of the remote control apparatus on the global coordinate system, the angle of the orientation direction, and a pre-registered detectable area.
  • the processor may be configured to control the electronic device.
  • the remote control device may include two antennas, and the directing direction of the remote control device may be determined as a direction perpendicular to a straight line connecting the two antennas.
  • An operating method of an electronic device includes determining relative location information of a remote control device with respect to the electronic device; Based on the relative position information, the azimuth information of the electronic device, and the azimuth information of the remote control device, the coordinates of the remote control device and the coordinates of the remote control device on a global coordinate system based on the electronic device. calculating an angle (yaw) of the direction of orientation; and determining a control target device to be controlled by the remote control apparatus based on the coordinates and the angle.
  • the method may further include controlling the control target device through the remote control apparatus.
  • the method may include the angle (yaw) of the orientation direction of the remote control device, a pitch angle of the remote control device, and a pitch angle of the remote control device on the global coordinate system.
  • An operation of correcting orientation information of the remote control device based on a roll angle may be further included.
  • the relative location information may include information about a distance from the remote control device to the electronic device; and information about a direction from the remote control device to the electronic device and an angle corresponding to the pointing direction of the remote control device.
  • the relative location information of the remote control device with respect to the electronic device may include information about a distance from each of a plurality of antennas included in the remote control device to the electronic device; And it may be determined based on information about the distance between the plurality of antennas.
  • the azimuth (yaw) of the remote control device may be measured through a sensor module included in the remote control device.
  • the electronic device may perform ultra wide band (UWB) communication with the remote control device.
  • UWB ultra wide band
  • the operation of determining the control target device is determined based on the coordinates of the remote control apparatus on the global coordinate system, the angle of the pointing direction, and a pre-registered detectable area. action may be included.
  • the remote control device may include two antennas, and the directing direction of the remote control device may be determined as a direction perpendicular to a straight line connecting the two antennas.
  • a computer-readable recording medium may include, when executed, an operation of determining, by the electronic device, relative position information of a remote control device with respect to the electronic device; Based on the relative position information, the azimuth information of the electronic device, and the azimuth information of the remote control device, the coordinates of the remote control device and the coordinates of the remote control device on a global coordinate system based on the electronic device. calculating an angle (yaw) of the direction of orientation; and a program for controlling an operation of determining a control target device to be controlled by the remote control apparatus based on the coordinates and the angle may be recorded.
  • the operation of determining the control target device is determined based on the coordinates of the remote control apparatus on the global coordinate system, the angle of the pointing direction, and a pre-registered detectable area.
  • a program may be recorded that includes an operation of performing a control target device and, when the control target device is determined, causes the electronic device to further perform an operation of controlling the control target device through the remote control apparatus.
  • an electronic device may be provided that obtains information about a pointing direction of a remote control device by setting a global coordinate system based on a reference electronic device in an indoor environment.
  • an electronic device that controls a control target device through a remote control device may be provided without a separate space setting process for determining the location of the remote control device in an indoor environment.
  • FIGS. 1A and 1B are block diagrams of an example of a reference electronic device according to various embodiments.
  • FIGS. 2A and 2B are diagrams for explaining an example of a remote control device according to various embodiments.
  • FIG. 3 is a diagram for explaining an example of an indoor environment in which a reference electronic device, one or more devices, and a remote control device for controlling the devices are located, according to various embodiments.
  • FIG. 4 is a diagram for explaining an example of a method of measuring a distance between a reference electronic device and a remote control device according to various embodiments.
  • 5A to 5C are diagrams for explaining an example of an operation of determining relative position information of a remote control device with respect to a reference electronic device according to various embodiments.
  • 6A and 6B are diagrams for explaining an example of an operation of determining a directing direction of a remote control device on a global coordinate system based on a reference electronic device according to various embodiments.
  • FIG. 7 is a flowchart illustrating an example of an operation of a reference electronic device according to various embodiments.
  • FIG. 8 is a flowchart illustrating an example of an operation of determining relative position information of a remote control device with respect to a reference electronic device according to various embodiments of the present disclosure.
  • 9A to 9C are diagrams for explaining an example of an operation of determining a directing direction of a remote control device on a global coordinate system based on a reference electronic device according to various embodiments.
  • FIGS. 1A and 1B are block diagrams of an example of a reference electronic device according to various embodiments.
  • the reference electronic device 100 includes a memory 120, a processor 130 (eg, including a processing circuit), and a communication unit 150 (eg, a communication circuit). included) and a sensing unit 191 (eg, including one or more sensors).
  • a memory 120 e.g., a main memory
  • a processor 130 e.g, including a processing circuit
  • a communication unit 150 e.g, a communication circuit
  • a sensing unit 191 eg, including one or more sensors.
  • various embodiments need not include all of the illustrated components.
  • the reference electronic device 100 may be implemented with more or fewer components than illustrated components.
  • the reference electronic device 100 includes a memory 120, a processor 130, a communication unit 150, a sensing unit 191, and a display 110 ), a tuner unit 140, a sensing unit 160, an input/output unit 170, a video processing unit 180, an audio processing unit 115, an audio output unit 126, and a power supply unit 190. there is.
  • the processor 130 performs a function of controlling data processing, overall operation of the reference electronic device 100 and signal flow between internal components of the reference electronic device 100 .
  • the processor 130 may execute an operation system (OS) and various applications stored in the memory 120 when there is a user's input or when a pre-set and stored condition is satisfied.
  • OS operation system
  • the processor 130 stores signals or data input from the outside of the reference electronic device 100, or RAM used as a storage area corresponding to various tasks performed in the reference electronic device 100, the reference electronic device 100 It may include a ROM and a processor in which a control program for control of is stored.
  • the processor 130 may include a graphic processing unit (not shown) for graphic processing corresponding to video.
  • the processor 130 may be implemented as a system on chip (SoC) in which a core (not shown) and a GPU (not shown) are integrated.
  • SoC system on chip
  • the processor 130 may include a single core, a dual core, a triple core, a quad core, and multiple cores thereof.
  • the processor 130 may include a plurality of processors.
  • the processor 130 may be implemented as a main processor (not shown) and a sub processor (not shown) operating in a sleep mode.
  • the processor 130 executes one or more instructions stored in the memory 120, and through the sensing unit 191 including the at least one sensor, at least one sensor corresponding to the at least one sensor. A sensing value can be detected.
  • the processor 130 executes one or more instructions stored in the memory 120, and when it is determined that at least one detected sensing value is equal to or greater than a preset threshold value, the remote control device 200 ) may determine that the reference electronic device 100 has been touched.
  • the processor 130 executes one or more instructions stored in the memory 120 to obtain at least one detected sensing value and the remote control device 200 received from the remote control device 200. By comparing the sensed values of , it may be determined that the remote control device 200 has touched the reference electronic device 100 .
  • the processor 130 requests identification information of the remote control device 200 by executing one or more instructions stored in the memory 120, and sends the identification information of the remote control device 200.
  • the processor 130 may confirm that the remote control device 200 is a device pre-registered in the reference electronic device 100 based on the identification information of the remote control device 200 .
  • the processor 130 executes one or more instructions stored in the memory 120 so that the remote control device 200 is placed on the reference electronic device 100 based on at least one sensed value. It is possible to determine a touch area touched on .
  • the processor 130 compares at least one sensing value detected corresponding to at least one sensor by executing one or more instructions stored in the memory 120, and based on the comparison result , One or more sensors determined to be disposed close to a point where the remote control device 200 is touched on the reference electronic device 100 may be determined. Also, the processor 130 may determine the touch area based on the determined one or more sensors.
  • the processor 130 may receive state information about an operation being executed in the remote control device 200 from the remote control device 200 through the communication unit 150 .
  • the processor 130 executes one or more instructions stored in the memory 120, based on the state information received on the remote control device 200, to set a predetermined touch area corresponding to the determined touch area. function can be performed.
  • the processor 130 executes one or more instructions stored in the memory 120 so that the remote control device 200 is placed on the reference electronic device 100 based on at least one sensed value. It is possible to determine the number of touches touched on .
  • the processor 130 may perform a preset function corresponding to the number of touches by executing one or more instructions stored in the memory 120 .
  • the processor 130 executes one or more instructions stored in the memory 120 to preliminarily perform a function corresponding to at least one touch area on the reference electronic device 100 based on a user input. can be set
  • the processor 130 may preset a function corresponding to the number of touches performed on at least one touch region on the reference electronic device 100 based on a user input by executing one or more instructions stored in the memory 120 .
  • the memory 120 may store various data, programs, or applications for driving and controlling the reference electronic device 100 under the control of the processor 130 .
  • the memory 120 includes a video processing unit 180, a display 110, an audio processing unit 115, an audio output unit 126, a power supply unit 130, a tuner unit 140, a communication unit 150, and a sensing unit 160. , input/output signals or data corresponding to driving of the input/output unit 170 may be stored.
  • the memory 120 includes an operating system 121 for controlling the reference electronic device 100 and the processor 130, an application 122 initially provided by a manufacturer or downloaded from the outside, a graphical user interface (GUI) related to the application, Objects for providing a GUI (eg, image text, icons, buttons, etc.), user information, documents, databases, or related data may be stored.
  • GUI graphical user interface
  • the memory 120 receives an input signal from the remote control device 200 and controls a channel corresponding to the input signal accordingly, or switches to a channel scroll user interface mode when the input signal corresponds to a predetermined input.
  • a TV viewer module 123 including one or more instructions for entering, a character recognition module 124 including one or more instructions for recognizing information from content received from an external device (not shown), an external device (not shown) ) may include an MBR module 125 that includes one or more instructions for channel control from .
  • the memory 120 includes ROM, RAM, or a memory card (eg, micro SD card, USB memory, not shown) mounted in the reference electronic device 100 . Also, the memory 120 may include a non-volatile memory, a volatile memory, a hard disk drive (HDD), or a solid state drive (SSD).
  • ROM read only memory
  • RAM random access memory
  • a memory card eg, micro SD card, USB memory, not shown
  • the memory 120 may include a non-volatile memory, a volatile memory, a hard disk drive (HDD), or a solid state drive (SSD).
  • HDD hard disk drive
  • SSD solid state drive
  • the memory 120 may be a flash memory type, a hard disk type, a multimedia card micro type, or a card type memory (eg SD or XD memory, etc.), RAM (RAM, Random Access Memory), SRAM (Static Random Access Memory), ROM (ROM, Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory) ), a magnetic memory, a magnetic disk, and an optical disk may include at least one type of storage medium.
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrical Erasable Programmable Read-Only Memory
  • PROM Programmable Read-Only Memory
  • a magnetic memory a magnetic disk, and an optical disk may include at least one type of storage medium.
  • the display 110 displays a video included in a broadcast signal received through the tuner unit 140 on the screen under the control of the processor 130 . Also, the display 110 may display content (eg, video) input through the communication unit 150 or the input/output unit 170 . The display 110 may output an image stored in the memory 120 under the control of the processor 130 .
  • content eg, video
  • the display 110 may output an image stored in the memory 120 under the control of the processor 130 .
  • the display 110 converts the image signal, data signal, OSD signal, and/or control signal processed by the processor 130 to generate a driving signal.
  • the display 110 may be implemented with a plasma display panel (PDP), a liquid crystal display (LCD), an organic light emitting diode (OLED), a cathode ray tube (CRT), a flexible display, and the like. It can be implemented as a 3D display.
  • the display 110 may be configured as a touch screen and used as an input device in addition to an output device.
  • the tuner unit 140 determines the frequency of a channel desired to be received by the reference electronic device 100 among many radio wave components through amplification, mixing, resonance, etc. of a broadcast signal received by wire or wirelessly. You can select only by tuning.
  • the broadcast signal includes audio, video, and additional information (eg, Electronic Program Guide (EPG)).
  • EPG Electronic Program Guide
  • the tuner unit 140 generates a channel number according to a user input (eg, a control signal received from the remote control device 200, for example, a channel number input, a channel up-down input, and a channel input on an EPG screen).
  • a broadcast signal can be received in a frequency band corresponding to .
  • the tuner unit 140 may receive broadcast signals from various sources such as terrestrial broadcasting, cable broadcasting, satellite broadcasting, and Internet broadcasting.
  • the tuner unit 140 may receive a broadcasting signal from a source such as analog broadcasting or digital broadcasting.
  • the broadcast signal received through the tuner unit 140 is decoded (eg, audio decoding, video decoding, or additional information decoding) and separated into audio, video, and/or additional information.
  • the separated audio, video and/or additional information may be stored in the memory 120 under the control of the processor 130 .
  • the tuner unit 140 of the reference electronic device 100 may be one or plural.
  • the tuner unit 140 is implemented as an all-in-one with the reference electronic device 100, or a separate device having a tuner unit electrically connected to the reference electronic device 100 (for example, a set-top box). (set-top box, not shown), and a tuner unit (not shown) connected to the input/output unit 170).
  • the communication unit 150 may connect the reference electronic device 100 with an external device (eg, an audio device) (not shown) under the control of the processor 130 .
  • the processor 130 may transmit/receive content to/from an external device (not shown) connected through the communication unit 150, download an application from the external device (not shown), or perform web browsing.
  • the communication unit 150 may include one of wireless LAN 151 , Bluetooth 152 , and wired Ethernet 153 corresponding to the performance and structure of the reference electronic device 100 . Also, the communication unit 150 may include a combination of wireless LAN 151, Bluetooth 152, and wired Ethernet 153.
  • the communication unit 150 may receive a control signal of the remote control device 200 under control of the processor 130 .
  • the control signal may be implemented as a Bluetooth type, an RF signal type, or a Wi-Fi type.
  • the communication unit 150 may perform other short-range communication (eg, near field communication (NFC), bluetooth low energy (BLE), UWB communication) other than Bluetooth.
  • NFC near field communication
  • BLE bluetooth low energy
  • UWB communication other short-range communication
  • the communication unit 150 may include an antenna for performing communication.
  • the reference electronic device 100 may include a UWB antenna for performing UWB communication.
  • the communication unit 150 of the reference electronic device 100 may include one or more antennas.
  • the sensing unit 160 detects a user's voice, a user's video, or a user's interaction, and includes a microphone 161, a camera unit 162 (eg, including one or more cameras), and a light receiving unit 163. can do.
  • the microphone 161 receives the user's utterance.
  • the microphone 161 may convert the received voice into an electrical signal and output the electrical signal to the processor 130 .
  • the user's voice may include, for example, a voice corresponding to a menu or function of the reference electronic device 100 .
  • the camera unit 162 can obtain images such as still images or moving images. Images captured through the image sensor may be processed through the processor 130 or a separate image processing unit (not shown).
  • the image(s) processed by the camera unit 162 may be stored in the memory 120 or transmitted to the outside through the communication unit 150 .
  • Two or more camera units 162 may be provided according to the configuration of the reference electronic device 100 .
  • the light receiving unit 163 receives an optical signal (including a control signal) received from the external remote control device 200 .
  • the light receiving unit 163 may receive an optical signal corresponding to a user input (eg, touch, pressure, touch gesture, voice, or motion) from the remote control device 200 .
  • a control signal may be extracted from the received optical signal under the control of the processor 130 .
  • the light receiving unit 163 may receive a control signal corresponding to a channel up/down button for channel switching from the remote control device 200 .
  • the input/output unit 170 receives video (eg, video), audio (eg, voice, music, etc.) and additional information from the outside of the reference electronic device 100 under the control of the processor 130. (eg, EPG, etc.) and the like are received.
  • the input/output unit 170 includes at least one of a High-Definition Multimedia Interface port (HDMI) port 171, a component jack 172, a PC port 173, and a USB port 174, or these may include a combination of
  • the input/output unit 170 may include at least any combination of an HDMI port 171, a component jack 172, a PC port 173, or a USB port 174.
  • An external video providing device (not shown) may be connected through the HDMI port 171 .
  • the video processor 180 processes video data received by the reference electronic device 100 .
  • the video processing unit 180 may perform various image processing such as decoding, scaling, noise filtering, rate conversion, and resolution conversion on video data.
  • the graphic processing unit 181 uses a calculation unit (not shown) and a rendering unit (not shown) to create a screen including various objects such as icons, images, and text.
  • the calculation unit (not shown) calculates attribute values such as coordinate values, shapes, sizes, colors, and the like of each object to be displayed according to the layout of the screen using the user input sensed through the sensing unit 160 .
  • the rendering unit (not shown) creates screens of various layouts including objects based on the attribute values calculated by the calculation unit (not shown).
  • the screen created by the rendering unit (not shown) is displayed within the display area of the display 110 .
  • the audio processing unit 115 processes audio data.
  • the audio processor 115 may perform various processes such as decoding or amplifying audio data and filtering noise. Meanwhile, the audio processing unit 115 may include a plurality of audio processing modules to process audio corresponding to a plurality of contents.
  • the audio output unit 126 outputs audio included in the broadcast signal received through the tuner unit 140 under the control of the processor 130 .
  • the audio output unit 126 may output audio (eg, voice, sound) input through the communication unit 150 or the input/output unit 170 .
  • the audio output unit 126 may output audio stored in the memory 120 under the control of the processor 130 .
  • the audio output unit 126 may include at least one of a speaker 127, a headphone output terminal 128, or a Sony/Philips Digital Interface (S/PDIF) output terminal 129, or a combination thereof.
  • the audio output unit 126 may include at least any combination of a speaker 127, a headphone output terminal 128, or a S/PDIF output terminal 129.
  • the power supply unit 190 supplies power input from an external power source to components inside the reference electronic device 100 under the control of the processor 130 .
  • the power supply unit 190 may supply power output from one or more batteries (not shown) located inside the reference electronic device 100 to internal components under the control of the processor 130 .
  • the sensing unit 191 may detect a state of the reference electronic device 100 or a state around the reference electronic device 100 and transmit the sensed information to the processor 130 .
  • the sensing unit 191 includes a magnetic sensor 192, an acceleration sensor 193, a temperature/humidity sensor 194, an infrared sensor 195, a gyroscope sensor 196, and a position sensor. (eg, GPS) 197, an air pressure sensor 198, a proximity sensor 199, or an RGB sensor (illuminance sensor) 201, but may include at least one or a combination thereof, but the included sensors are shown in FIG. 1B It is not limited to what is shown in.
  • the sensing unit 191 may include a hall sensor (not shown).
  • the Hall sensor may be a transducer that generates an electrical signal (eg, voltage) in response to a magnetic field.
  • the hall sensor may generate an electrical signal of relatively high intensity when the intensity of the magnetic field is high, and may generate an electrical signal of relatively low intensity when the intensity of the magnetic field is low.
  • the processor 130 may receive an electrical signal according to magnetic field detection from a hall sensor.
  • the sensing unit 191 may be an electronic compass (E-compass) capable of detecting the angle of the reference electronic device 100 using the geomagnetic sensor 192, the acceleration sensor 193, and the hall sensor, or It may include a fluxgate compass.
  • E-compass electronic compass
  • the geomagnetic sensor 192 may measure the direction using a magnetic field and lines of force
  • the hall sensor may measure the angle of the reference electronic device 100 by detecting the strength of the magnetic field.
  • the processor 130 may measure values of a yaw, pitch angle, and roll angle of the reference electronic device 100 through motion data obtained from the sensing unit 191.
  • Motion data includes 3-axis motion data (x1, y1, z1) obtained from the acceleration sensor 193 or obtained by additionally using the gyroscope sensor 196 and the geomagnetic sensor 192. It can include 9-axis motion data.
  • the processor 130 may obtain value information of a yaw, pitch angle, and/or roll angle measured from 9-axis motion data.
  • the sensing unit 191 may detect an external impact or touch applied to the reference electronic device 100 .
  • the sensing unit 191 of the reference electronic device 100 may output a sensed value.
  • the reference electronic device 100 including the display 110 may be electrically connected to a separate external device (eg, a set-top box, not shown) including the tuner unit 140 .
  • a separate external device eg, a set-top box, not shown
  • the reference electronic device 100 may be implemented as an analog TV, digital TV, 3D-TV, smart TV, LED TV, OLED TV, plasma TV, monitor, and the like. However, it will be easily understood by those skilled in the art that the reference electronic device is not limited to these examples.
  • the block diagram of the illustrated reference electronic device 100 is a block diagram for one embodiment.
  • Each component of the block diagram may be integrated, added, or omitted according to specifications of the reference electronic device 100 that is actually implemented. That is, if necessary, two or more components may be combined into one component, or one component may be subdivided into two or more components.
  • the functions performed in each block are for explaining the embodiments, and the specific operation or device does not limit the scope of the present invention.
  • FIGS. 2A and 2B are diagrams for explaining an example of a remote control device according to various embodiments.
  • the remote control device 200 includes a plurality of antennas (eg, a first antenna 251 and a second antenna 251) for performing communication (eg, UWB communication) with the reference electronic device 100.
  • An antenna 253 may be included.
  • the directing direction 255 of the remote control device 200 may be determined based on the first antenna 251 and the second antenna 253. According to an embodiment, when viewing an indoor environment in which the reference electronic device 100 and the remote control device 200 operate from above, the indoor environment may be expressed as a plane (eg, an X-Y plane viewed from the +Z axis). and the directing direction 255 of the remote control device 200 may be determined as a direction on a plane.
  • a plane eg, an X-Y plane viewed from the +Z axis
  • the directing direction 255 may be determined in a direction perpendicular to the straight line 257 corresponding to the first antenna 251 and the second antenna 253, but is not limited thereto, and the straight line 257 It may be a direction of a certain angle ⁇ d with According to one embodiment, the angle ⁇ d may be about 90°.
  • the remote control device 200 may include at least some of the device configurations disclosed in FIGS. 1A and 1B.
  • the remote control device 200 includes a display 210, a memory 220, a communication unit 250 (eg, including a communication circuit), a sensing unit 291 (eg: including one or more sensors) and a processor 230 (eg, including processing circuitry).
  • the remote control device 200 need not include all of the components shown in FIG. 2B.
  • the remote control device 200 may be implemented with more or less components than those shown in FIG. 2B.
  • the display 210 of the remote control device 200 converts the image signal, data signal, OSD signal, and/or control signal processed by the processor 230 to generate a driving signal.
  • the display 210 may display content (eg, video) input through the communication unit 250 or an input/output unit (not shown).
  • the display 210 may output an image stored in the memory 220 under the control of the processor 230 .
  • the memory 220 of the remote control device 200 may store a program for processing and control of the processor 230, and may be input to the remote control device 200 or stored in the remote control device 200. You can also store data output from .
  • the processor 230 typically controls the overall operation of the remote control device 200 .
  • the processor 230 may generally control the sensing unit 291 and the communication unit 250 by executing programs stored in the memory 220 .
  • the processor 230 may control the operation of the remote control device 200 to be described with reference to FIGS. 3 to 10 .
  • the processor 230 may be composed of one or a plurality of processors.
  • the one or more processors may be a general-purpose processor such as a CPU, AP, digital signal processor (DSP), or the like, or a graphics-only processor such as a GPU or a vision processing unit (VPU).
  • DSP digital signal processor
  • One or more processors control input data to be processed according to predefined operation rules stored in the memory 220 .
  • the processor 230 may receive a radio signal transmitted by the reference electronic device 100 through the communication unit 250 .
  • the processor 230 may receive a request for identification information of the remote control device 200 from the reference electronic device 100 through the communication unit 250 .
  • the processor 230 may control identification information of the remote control device 200 to be transmitted to the reference electronic device 100 through the communication unit 250 .
  • the processor 230 may control the sensing value detected by the sensing unit 291 to be transmitted to the reference electronic device 100 through the communication unit 250 .
  • the processor 230 may receive a request for state information about an operation being executed in the remote control device 200 through the communication unit 250 .
  • the processor 230 may generate state information about the running operation.
  • the processor 230 may control transmission of state information about an operation being executed to the reference electronic device 100 through the communication unit 250 .
  • the memory 220 may be a flash memory type, a hard disk type, a multimedia card micro type, or a card type memory (for example, SD or XD memory).
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • PROM Programmable Read-Only Memory
  • magnetic memory It may include a storage medium of at least one type of a magnetic disk and an optical disk.
  • the communication unit 250 may include one or more components that allow the remote control device 200 to communicate with the outside.
  • the communication unit 250 may include a short-distance communication unit (not shown), a mobile communication unit (not shown), and a broadcast reception unit (not shown).
  • the short-range wireless communication unit includes a Bluetooth communication unit, a Bluetooth Low Energy (BLE) communication unit, a Near Field Communication unit (WLAN) communication unit, a Zigbee communication unit, an infrared (IrDA) It may include a Data Association (Data Association) communication unit, a Wi-Fi Direct (WFD) communication unit, an ultra wideband (UWB) communication unit, an Ant+ communication unit, etc., but the communication unit is not limited to these examples.
  • BLE Bluetooth Low Energy
  • WLAN Near Field Communication unit
  • Zigbee communication unit Zigbee communication unit
  • IrDA infrared
  • Data Association Data Association
  • WFD Wi-Fi Direct
  • UWB ultra wideband
  • Ant+ communication unit etc.
  • the communication unit 250 may include an antenna for performing communication.
  • the remote control device 200 may include a UWB antenna for performing UWB communication.
  • the communication unit 250 of the remote control device 200 may include one or two or more antennas.
  • the mobile communication unit transmits and receives radio signals with at least one or a combination thereof of a base station, an external terminal, or a server on a mobile communication network.
  • the radio signal may include a voice call signal, a video call signal, or various types of data according to text/multimedia message transmission/reception.
  • the broadcast reception unit receives a broadcast signal and/or information related to one or more broadcasts from the outside through a broadcast channel.
  • Broadcast channels may include satellite channels and terrestrial channels.
  • the remote control device 200 does not have to include a broadcast receiver.
  • the sensing unit 291 may detect a state of the remote control device 200 or a state around the remote control device 200 and transmit the sensed information to the processor 230 .
  • the sensing unit 291 may include a magnetic sensor, an acceleration sensor, a temperature/humidity sensor, an infrared sensor, a gyroscope sensor, a location sensor (eg, GPS), an illuminance sensor, a proximity sensor, or an RGB sensor. (illuminance sensor) may include at least one or a combination thereof, but sensors included in the sensing unit are not limited to these examples.
  • the sensing unit 291 according to an embodiment may correspond to the sensing unit 191 described with reference to FIG. 1B , and the description is not repeated here.
  • the processor 230 obtains value information of azimuth angle (yaw), pitch angle, and/or roll angle measured from 9-axis motion data through the sensing unit 291. can do.
  • the sensing unit 291 may detect an external impact or touch applied to the remote control device 200 .
  • an acceleration sensor built into the remote control device 200 may detect an impact caused by a touch operation of the reference electronic device 100, for example.
  • an acceleration sensor built into the remote control device 200 may sense the moving speed and acceleration of the remote control device 200 .
  • FIG. 3 is a diagram for explaining an example of an indoor environment in which a reference electronic device, one or more devices, and an electronic device for controlling the device are located, according to various embodiments of the present disclosure.
  • Operations to be described with reference to FIGS. 3 to 8 may be performed by the processor 230 of the remote control device 200 and/or the processor 130 of the reference electronic device 100 .
  • related data may be transmitted to an external server through the reference electronic device 100, and specific operations may be performed in the server.
  • an indoor environment includes a reference electronic device 100 (eg, a TV), a remote control device 200, a first device 310 (eg, a refrigerator), and a second device 320. (eg air conditioning) may be present.
  • the remote control device 200 may communicate with the reference electronic device 100 , the first device 310 and the second device 320 , and the user may use the remote control device 200
  • the operation of the reference electronic device 100 , the first device 310 , and the second device 320 may be controlled with the .
  • the remote control apparatus 200 is one or more devices (eg, the first device 310 and the second device 320) and Bluetooth, BLE (Bluetooth Low Energy), near field communication (Near Field Communication) unit), WLAN (Wi-Fi), Zigbee, and infrared (IrDA, Infrared Data Association) communication.
  • BLE Bluetooth Low Energy
  • near field communication Near Field Communication
  • WLAN Wireless-Fi
  • Zigbee Zigbee
  • IrDA Infrared Data Association
  • the reference electronic device 100 may perform ultra wideband (UWB) communication with the remote control device 200, set a virtual coordinate system in an indoor environment based on the UWB communication, and remotely control the coordinate system.
  • An orientation direction 255 of the device 200 may be determined. Examples of a virtual coordinate system setting method and a direction determining method according to various embodiments will be described with reference to FIGS. 5A, 5B, 5C, 6A, and 6B.
  • the coordinate system may be set to 2D or 3D according to the antennas mounted on the reference electronic device 100 and the remote control device 200 .
  • the antenna corresponding to the position of the reference electronic device 100 for setting the coordinate system may be implemented in a form included in a device distinct from the reference electronic device 100 .
  • an antenna corresponding to the location of the reference electronic device 100 may be included in a separate electronic device, and the corresponding device may be attached to or mounted on the reference electronic device 100 .
  • the indoor environment can be expressed as a plane (eg, an X-Y plane viewed from the +Z axis), and each device (100, 200, 310, 320) may be determined as a point, line, or region on the coordinate system, and the orientation direction 255 of the remote control device 200 may be determined as one direction on the coordinate system.
  • a plane eg, an X-Y plane viewed from the +Z axis
  • each device 100, 200, 310, 320
  • the orientation direction 255 of the remote control device 200 may be determined as one direction on the coordinate system.
  • setting the coordinate system may be performed by the processor 130 of the reference electronic device 100 and/or the processor 230 of the remote control device 200 .
  • angle of arrival AoA
  • time of flight TOF
  • TDOA Time of flight
  • the information on the distance and angle can be measured by a method such as time difference of arrival
  • the coordinate system can be set in the server by transmitting the information on the distance or angle to an external server.
  • Information on the set coordinate system is stored in the memory 120 of the reference electronic device 100 and/or the memory 230 of the remote control device 200, or is stored in an external server and stored in the processor 130 of the reference electronic device 100. ) or may be transmitted according to the request of the processor 230 of the remote control device 200.
  • a distance measurement method based on UWB communication will be described with reference to FIG. 4 .
  • the user before controlling the devices 310 and 320 with the remote control device 200, the user sets a virtual envelope detectable by the remote control device 200 for each device on the coordinate system. can register. For example, the user may register the detectable region of the device on the coordinate system through a user input through the remote control apparatus 200 at the location of the device to register the detectable region.
  • the processor 130 of the reference electronic device 100 selects the control target device based on the detectable area on the coordinate system of each device 310 320, the position of the remote control device 200 on the coordinate system, and the heading direction 255. can decide
  • a process of determining relative location information of the remote control device 200 with respect to the reference electronic device 100 according to an embodiment will be described with reference to FIGS. 5A, 5B, and 5C.
  • a process of determining the directing direction 255 of the remote control device 200 on the global coordinate system based on the reference electronic device 100 according to an embodiment will be described with reference to FIGS. 6A and 6B.
  • FIG. 4 is a diagram for explaining an example of a method of measuring a distance between a reference electronic device and a remote control device according to various embodiments.
  • the reference electronic device 100 may calculate a distance to an external electronic device through a UWB signal.
  • the reference electronic device 100 may include a UWB antenna for performing UWB communication.
  • the UWB antenna of the reference electronic device 100 may include at least one processor distinct from the processor 130, and a distance to the external electronic device may be calculated based on the UWB signal.
  • At least one processor included in the UWB antenna may generate data or information including time information based on the UWB signal, and may provide the generated data or information to the processor 130 of the reference electronic device 100. there is.
  • the processor 130 may calculate a distance to an external electronic device based on the provided data or information.
  • the distance determination (eg, calculation) method described later has been described based on the reference electronic device 100 or the processor 130 of the reference electronic device 100, but by at least one processor of an antenna distinct from the processor 130. can be performed
  • the processor 130 of the reference electronic device 100 calculates an angle of arrival (AoA), a time of arrival (ToA), a time difference of arrival (TDoA), etc. to calculate a distance to an external electronic device.
  • AoA angle of arrival
  • ToA time of arrival
  • TDoA time difference of arrival
  • the processor 130 of the reference electronic device 100 calculates an angle of arrival (AoA), a time of arrival (ToA), a time difference of arrival (TDoA), etc.
  • AoA angle of arrival
  • ToA time of arrival
  • TDoA time difference of arrival
  • the processor 130 of the reference electronic device 100 uses a two way ranging (TWR) method for exchanging signals between the reference electronic device 100 and the remote control device 200, The distance between the device 100 and the remote control device 200 can be calculated.
  • the remote control device 200 may be a UWB tag device, and the reference electronic device 100 may be a UWB anchor device.
  • the remote control device 200 may transmit a poll signal to the reference electronic device 100 .
  • the reference electronic device 100 may transmit a response signal to the remote control device 200 .
  • the remote control device 200 may transmit a final signal to the reference electronic device 100 .
  • T round T which is a round trip time (RTT) of a signal transmitted from the remote control device 200 , may be measured through a poll signal transmission time T SP and a response signal reception time T RR .
  • T reply A which is the response delay time of the reference electronic device 100, may be measured through the poll signal reception time T RP and the response signal transmission time T SR .
  • T round A which is the RTT of the signal transmitted from the reference electronic device 100
  • T SR at which the response signal is transmitted
  • T RF time of arrival
  • TOA time of arrival
  • a distance between the remote control device 200 and the reference electronic device 100 may be calculated using T p and the speed of the signal.
  • the reference electronic device 100 may further transmit a report optional signal to the remote control device 200 .
  • the distance between the reference electronic device and the remote control device may be measured based on various communication methods other than the UWB communication method described with reference to FIG. 4 .
  • the distance between the reference electronic device and the remote control device may be measured based on Bluetooth or WiFi.
  • FIGS. 5A, 5B, 5C, 6A, and 6B illustrate a process of setting a global coordinate system based on the reference electronic device 100 in an indoor environment (eg, the indoor environment of FIG. 3) according to an embodiment. It is a drawing for explaining aspects of an example of.
  • FIGS. 5A, 5B, 5C, 6A, and 6B show the reference electronic device 100 and the remote control device 200 It may be based on viewing the indoor environment in which is operated from above.
  • FIGS. 5A, 5B, 5C, 6A, and 6B may represent an X-Y plane looking down at an indoor environment from the +Z axis of FIG. 2A.
  • 5A, 5B, and 5C are views for explaining aspects of an example of an operation of determining relative location information of a remote control device with respect to a reference electronic device according to various embodiments.
  • the processor 130 of the reference electronic device 100 may determine relative position information of the remote control device 200 with respect to the reference electronic device 100 .
  • the relative location information includes the distance d from the remote control device 200 to the reference electronic device 100, the direction from the remote control device 200 to the reference electronic device 100 (the direction of the dotted line corresponding to d), and the remote control device.
  • An angle ⁇ 1 generated with respect to a direction (the direction of the straight line 257) based on the positions of the plurality of antennas 251 and 253 in (200) may be included.
  • the reference electronic device 100 may include a UWB antenna 155, and as described with reference to FIGS. 2A and 2B, the remote control device 200 includes a UWB antenna. Antennas 251 and 253 may be included. As described with reference to FIG. 4 , information about the distance “b”, the distance d1, and the distance d2 between the UWB antennas 155, 251, and 253 may be calculated. Information on the distance “b”, the distance d1 and the distance d2 is obtained from the processor 130 of the reference electronic device 130 or obtained from the processor 230 of the remote control device 200 and transferred to the reference electronic device 100. can be transmitted
  • a distance “d” and an angle ⁇ 1 may be determined based on the distance “b”, the distance d1 and the distance d2.
  • the distances d1 and d2 are larger than the distance “b” by a threshold level or more, it can be said that the straight line corresponding to the distance d1 and the straight line corresponding to the distance d2 are parallel.
  • the angle ⁇ 1 may be determined using [Equation 2] below.
  • a distance d and an angle ⁇ 1 may be determined in a method different from that of FIG. 5B.
  • Triangle ABC in FIG. 5C shows a triangle composed of antenna 155, antenna 251, and antenna 253 in FIG. 5A, point A is antenna 155, point B is antenna 251, and point C is It may correspond to the antenna 253.
  • Relative position information of the remote control device 200 with respect to the reference electronic device 100 may include a distance “d” and an angle ⁇ 1 based on midpoints M of the antennas 251 and 253.
  • the processor 130 of the reference electronic device 100 may acquire information about the lengths d1, "b", and d2 of the three sides of the triangle ABC, for example, the angle ⁇ of the triangle ABC according to the cosine law.
  • Information about C can be calculated.
  • the processor 130 since the processor 130 may also obtain information about the lengths b/2 and d2 of the two sides of the triangle AMC, the processor 130 calculates the length information and the angle ⁇ C of the two sides of the triangle AMC. Based on the information about angle ⁇ 1 , for example, according to the cosine law, information about angle ⁇ 1 can be calculated.
  • the processor 130 A global coordinate system based on the reference electronic device 100 may be set. A process of setting a global coordinate system based on the reference electronic device 100 will be described with reference to FIGS. 6A and 6B.
  • 6A and 6B are views for explaining aspects of an example of an operation of determining a direction of a remote control device on a global coordinate system based on a reference electronic device according to various embodiments.
  • the reference electronic device 100 and the remote control device 200 are located based on magnetic north (N in FIG. 6A) (eg, an indoor environment in FIG. 3). indoor environment) is shown.
  • the processor 130 of the reference electronic device 100 obtains or calculates information about the distance d1, the distance d2, the distance “d”, and the angle ⁇ 1 as described with reference to FIGS. 4 and 5A.
  • the directing direction 255 of the remote control device 200 is an angle ⁇ d direction with respect to a straight line 257 corresponding to the plurality of antennas 251 and 253.
  • the processor 130 determines the azimuth (yaw) ⁇ of the reference electronic device 100 corresponding to the straight line 610 along the magnetic north direction based on the sensing unit 191 . Information on 3 can be obtained.
  • the processor 230 of the remote control device 200 determines the azimuth angle ⁇ 2 of the remote control device 200 corresponding to the straight line 650 along the magnetic north direction based on the sensing unit 291 . information can be obtained.
  • the processor 130 of the reference electronic device 100 may receive information about the azimuth ⁇ 2 of the remote control device 200 from the remote control device 200 .
  • FIG. 6B is a diagram in which FIG. 6A is rotated based on the reference electronic device 100 in an indoor environment (eg, the indoor environment of FIG. 3 ), and a global view based on the reference electronic device 100 according to an embodiment.
  • It can be a coordinate system.
  • the processor 130 of the reference electronic device 100 may obtain information about the coordinates 670 of the remote control device 200 on the global coordinate system based on the reference electronic device 100.
  • the coordinates 670 may be determined as (-d ⁇ cos ( ⁇ 1 + ⁇ 2 + ⁇ 3 ), -d ⁇ sin( ⁇ 1 + ⁇ 2 + ⁇ 3 )).
  • the processor 130 may calculate the angle of the pointing direction 255 of the remote control device 200 on the global coordinate system based on the reference electronic device 100 .
  • the angle of the orientation direction 255 of the remote control device 200 on the global coordinate system based on the reference electronic device 100 may be ⁇ d + ⁇ 2 + ⁇ 3 .
  • the angle of the directing direction 255 of the remote control device 200 on the global coordinate system based on the reference electronic device 100 is an angle (yaw) on the X-Y plane as described with reference to FIG. 2A.
  • the processor 230 of the remote control device 200 controls the pitch angle and/or roll of the remote control device 200 through the sensing unit 291 ( roll) information on an angle value may be obtained, and the acquired information may be transmitted to the reference electronic device 100 .
  • the processor 130 of the reference electronic device 100 corrects orientation information of the remote control device 200 based on the received information on the pitch angle and roll angle values of the remote control device 200. can do.
  • the processor 120 of the reference electronic device 100 may determine a control target device based on an angle between the coordinates 670 of the remote control device 200 and the pointing direction 255 on the global coordinate system. there is.
  • a coordinate system of devices eg, the first device 310 and the second device 320 of FIG. 3
  • an indoor environment eg, the indoor environment of FIG. 3
  • An image detectable region may be pre-registered.
  • the sensing area 690 of the device is shown in the form of a device for convenience of description, but the sensing area on the coordinate system may be registered in an arbitrary shape.
  • a device control input (eg, power ON) through the remote control device 200 may be transmitted to the reference electronic device 100, and the processor 130 may be configured to perform the operation of FIGS. 5A and 5A.
  • information about the location (eg, coordinates 670) of the remote control apparatus 200 on the coordinate system at the time of receiving the device control input and the orientation direction ( 255) can be calculated.
  • the processor 130 pre-registers devices in an indoor environment (eg, the first device 310 and the second device 320 of FIG. 3 ) based on the coordinates 670 and the angle.
  • a device corresponding to an overlapping detectable region among the detectable regions may be determined as a control target device.
  • the processor 130 may control a control target device according to a user input.
  • the processor 130 may turn on the power of the controlled device according to a power-on input to the remote control device 200 .
  • the user controls the target device through the remote control device 200 without a separate space setting process for determining the location of the remote control device 200. can control.
  • FIG. 7 is a flowchart illustrating an example of an operation of a reference electronic device according to various embodiments.
  • Operations to be described with reference to FIGS. 7 to 8 include the processor 130 and/or the reference electronic device 100 described above with reference to FIGS. 1A and 1B. It may be performed by the processor 230 of the remote control device 200 described above with reference to FIGS. 2A and 2B. For convenience of description, the following operation will be described based on the processor 130 of the reference electronic device 100 . For concise description, the contents redundant with those described with reference to FIGS. 1A to 6B may be omitted here.
  • the processor 130 may determine relative position information of the remote control device 200 with respect to the reference electronic device 100.
  • the relative position information includes a distance “d” from the remote control device 200 to the reference electronic device 100, and a distance “d” from the remote control device 200 to the reference electronic device 100.
  • An angle ⁇ 1 generated in a direction based on the direction and the positions of the plurality of antennas of the remote control device 200 may be included.
  • a method of determining relative position information of a remote control device with respect to a reference electronic device will be described in detail with reference to FIG. 8 .
  • the processor 130 determines the reference electronic device 100 based on the relative position information determined in operation 710, the azimuth information of the reference electronic device 100, and the azimuth information of the remote control device 200. It is possible to calculate the coordinates of the remote control device 200 on the global coordinate system based on , and the angle of the pointing direction of the remote control device 200 .
  • the processor 130 may obtain information about the azimuth angle ⁇ 3 of the reference electronic device 100 and information about the azimuth angle ⁇ 2 of the remote control device 200 .
  • the processor 130 transmits information about the coordinates of the remote control device 200 (eg, coordinates 670 of FIG. 6B ) on the global coordinate system based on the reference electronic device 100 .
  • the coordinates are (-d ⁇ cos( ⁇ 1 + ⁇ 2 + ⁇ 3 ), -d ⁇ It can be determined as sin( ⁇ 1 + ⁇ 2 + ⁇ 3 )).
  • the processor 130 may calculate the angle of the pointing direction 255 of the remote control device 200 on the global coordinate system based on the reference electronic device 100 .
  • the angle of the orientation direction 255 of the remote control device 200 on the global coordinate system based on the reference electronic device 100 may be ⁇ d + ⁇ 2 + ⁇ 3 .
  • the processor 130 determines the remote control device 200 based on the coordinates of the remote control device 200 on the global coordinate system and the angle of the pointing direction 255 of the remote control device 200.
  • a control target device to be controlled can be determined with
  • a device control input (eg, power ON) through the remote control device 200 may be transmitted to the reference electronic device 100, and the processor 130 may Information about the coordinates on the coordinate system of the remote control device 200 at the time of receiving the control input and the angle of the heading direction 255 may be calculated. Based on the coordinates and angles, the processor 130 may detect an overlap among pre-registered detectable regions of devices in an indoor environment (eg, the first device 310 and the second device 320 of FIG. 3 ). A device corresponding to the region may be determined as a control target device.
  • the processor 130 may control a control target device according to a user input.
  • the processor 130 may turn on the power of the controlled device according to a power-on input to the remote control device 200 .
  • FIG. 8 is a flowchart illustrating an example of an operation of determining relative position information of a remote control device with respect to a reference electronic device according to various embodiments of the present disclosure.
  • operations 810 to 830 may correspond to, for example, operation 710 of FIG. 7 for determining relative location information of the remote control device with respect to the reference electronic device described with reference to FIG. 7 .
  • the processor 130 may obtain information about a distance from each of the plurality of antennas of the remote control device 200 to the reference electronic device 100.
  • the processor 130 may obtain information about distances between a plurality of antennas of the remote control device 200.
  • the distance d1, the distance d2, and the distance b of FIG. 5A may be obtained or measured based on, for example, the ToA method of UWB communication, and in operations 810 and 820, the processor 130 Information about distance can be obtained.
  • the processor 130 may determine relative location information of the remote control device 200 with respect to the reference electronic device 100. As described with reference to FIGS. 5B and 5C , the processor 130 determines the distance from each of the plurality of antennas of the remote control device 200 to the reference electronic device 100 (eg, distance d1 and distance d2 of FIG. 5A ). ) and the distance between the plurality of antennas (eg, the distance “b” in FIG. 5A), the distance from the remote control device 200 to the reference electronic device 100 “d”, Information about an angle ⁇ 1 generated from a direction from the remote control device 200 to the reference electronic device 100 and a direction based on positions of a plurality of antennas of the remote control device 200 may be determined.
  • the processor 130 determines the distance from each of the plurality of antennas of the remote control device 200 to the reference electronic device 100 (eg, distance d1 and distance d2 of FIG. 5A ). ) and the distance between the plurality of antennas (eg, the distance “b” in FIG.
  • 9A, 9B, and 9C are diagrams for explaining an example of an operation of determining the orientation direction of the remote control device 200 on the global coordinate system based on the reference electronic device 100 according to various embodiments. .
  • the reference electronic device 100 may include at least some of the components described above with reference to FIGS. 1A and 1B , and the remote control device 200 includes the descriptions described above with reference to FIGS. 2A and 2B can be applied.
  • the exemplary operations described with reference to FIGS. 9A to 9C may be performed by the processor 130 of the reference electronic device 100 in the indoor environment described above with reference to FIG. 3 .
  • FIGS. 9A, 9B, and 9C illustrate aspects of an example of a process of setting a global coordinate system based on the reference electronic device 100 in an indoor environment (eg, the indoor environment of FIG. 3) according to various embodiments. It may be a drawing for As described for the direction 255 of the remote control device 200 of FIG. 2A, FIGS. 9A, 9B, and 9C illustrate an indoor environment in which the reference electronic device 100 and the remote control device 200 operate. It can be based on the view from above. For example, FIGS. 9A to 9C may correspond to an X-Y plane looking down at an indoor environment from the +Z axis of FIG. 2A.
  • the embodiment described with reference to FIGS. 9A to 9C may differ from the method described above with reference to FIGS. 5A, 5B, 5C, 6A, and 6B.
  • one antenna of the reference electronic device 100 eg, the antenna 155 of FIGS. 5A, 6A, and 6B
  • the reference electronic device 100 may have two antennas 951 and 953. there is.
  • the number of antennas of the reference electronic device 100 is not limited to two, and, for example, more than two antennas may be used to improve positioning accuracy.
  • azimuth information of the reference electronic device 100 eg, ⁇ 3 in FIGS. 6A and 6B
  • azimuth information of the remote control device 200 eg, FIG. 6A
  • ⁇ 2 of FIG. 6B azimuth information may not be used in the embodiment to be described with reference to FIGS. 9A to 9C .
  • the operation is described based on the processor 130 of the reference electronic device 100, but the processor 230 of the remote control device 200 or the server based on communication Actions can be performed in 9A to 9C, the reference electronic device 100 includes a plurality of antennas 951 and 953 for UWB communication, and the remote control device 200 includes a plurality of antennas 251 and 253 for UWB communication.
  • the communication method is not limited to UWB communication, and various communication methods such as Bluetooth and WiFi may be used.
  • Figure 9a describes aspects of the process of obtaining the distance d A and the angle ⁇ A.
  • Figure 9B describes aspects of the process of obtaining the distance d B and the angle ⁇ B.
  • the processor 130 of the reference electronic device 100 determines the distance d A from the reference electronic device 100 to the remote control device 200 , the distance d A from the reference electronic device 100 to the remote control device 200 Information on an angle ⁇ A generated by a straight line (a straight line corresponding to d A ) and a straight line 957 based on the positions of the plurality of antennas 951 and 953 of the reference electronic device 100 may be obtained.
  • information on d A may be obtained based on the above with reference to FIG. 4 .
  • Information on the distance d A and the angle ⁇ A may be acquired by the processor 130 of the reference electronic device 100 or obtained by the processor 230 of the remote control device 200 and transmitted to the reference electronic device 100.
  • the processor 130 of the reference electronic device 100 determines the distance d B from the remote control device 200 to the reference electronic device 100 , the distance d B from the remote control device 200 to the reference electronic device 100 Information on an angle ⁇ B generated by a straight line (a straight line corresponding to d B ) and a straight line 257 based on the positions of the plurality of antennas 251 and 253 of the remote control device 200 can be obtained.
  • information on d B may be obtained based on the above with reference to FIG. 4 .
  • Information on the distance d B and the angle ⁇ B may be acquired by the processor 130 of the reference electronic device 100 or obtained by the processor 230 of the remote control device 200 and transmitted to the reference electronic device 100.
  • FIG. 9C describes aspects of an example of a method for determining the orientation of the remote control device 200 on a global coordinate system based on the reference electronic device 100 .
  • the processor 130 of the reference electronic device 100 may obtain information about distances d A and d B and angles ⁇ A and ⁇ B as described with reference to FIGS. 9A and 9B .
  • the distance from the midpoint 900 of the two antennas 951 and 953 of the reference electronic device 100 to the midpoint 910 of the two antennas 251 and 253 of the remote control device 200 is distance D
  • the distance D is the distance d A described above with reference to FIGS. 9A and 9B.
  • the directing direction 255 of the remote control device 200 is an angle ⁇ d with respect to a straight line 257 corresponding to the plurality of antennas 251 and 253,
  • it may be a direction forming 90 degrees.
  • 9C may be a global coordinate system based on the reference electronic device 100 according to an embodiment, and the processor 130 of the reference electronic device 100 is based on distance D and angles ⁇ A, ⁇ B, and ⁇ d .
  • the directing direction 255 of the remote control device 200 may be determined.
  • the processor 130 of the reference electronic device 100 provides information about the coordinates 910 of the remote control device 200 on the global coordinate system whose origin is the center 900 of the reference electronic device 100. can be obtained.
  • the coordinates 910 may be determined as (-D ⁇ cos( ⁇ A ), -D ⁇ sin( ⁇ A )).
  • the processor 130 may calculate the angle of the pointing direction 255 of the remote control device 200 on the global coordinate system based on the reference electronic device 100 .
  • the angle of the pointing direction 255 of the remote control device 200 on the global coordinate system based on the reference electronic device 100 may be ⁇ A - ⁇ B + ⁇ d .
  • the angle of the directing direction 255 of the remote control device 200 on the global coordinate system based on the reference electronic device 100 is an angle (yaw) on the X-Y plane as described with reference to FIG. 2A.
  • the processor 230 of the remote control device 200 controls the pitch angle and/or roll of the remote control device 200 through the sensing unit 291 ( roll) information on an angle value may be obtained, and the obtained information may be transmitted to the reference electronic device 100 .
  • the processor 130 of the reference electronic device 100 may correct orientation information of the remote control device 200 based on the received information on pitch and roll values of the remote control device 200. there is.
  • the processor 120 of the reference electronic device 100 may determine a control target device based on an angle between the coordinates 670 of the remote control device 200 and the pointing direction 255 on the global coordinate system. there is.
  • a detectable region may be pre-registered.
  • a device control input (eg, power on) through the remote control device 200 may be transmitted to the reference electronic device 100, and the processor 130 may perform the operation of FIGS. 9A to 9
  • information about the location (eg, coordinates 910) of the remote control device 200 on the coordinate system at the time of receiving the device control input and the angle of the direction 255 may be calculated.
  • the processor 130 pre-registers devices in an indoor environment (eg, the first device 310 and the second device 320 of FIG. 3 ) based on the coordinates 910 and the angle.
  • a device 990 corresponding to an overlapping detectable region may be determined as a control target device.
  • the processor 130 may control a control target device according to a user input.
  • the processor 130 may turn on the power of the controlling device 990 according to a power-on input to the remote control apparatus 200 .
  • the user controls the target device through the remote control device 200 without a separate space setting process for determining the location of the remote control device 200. can control.
  • the embodiments described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components.
  • the devices, methods and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA). array), programmable logic units (PLUs), microprocessors, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and software applications running on the operating system.
  • a processing device may also access, store, manipulate, process, and generate data in response to execution of software.
  • the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it can include.
  • a processing device may include a plurality of processors or a processor and a controller. Other processing configurations are also possible, such as parallel processors.
  • Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively. You can command the device.
  • Software and/or data may be any tangible machine, component, physical device, virtual equipment, computer storage medium or device, intended to be interpreted by or provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave.
  • Software may be distributed on networked computer systems and stored or executed in a distributed manner.
  • Software and data may be stored on computer readable media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination, and the program instructions recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in the art of computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like.
  • Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.
  • the hardware device described above may be configured to operate as one or a plurality of software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Selective Calling Equipment (AREA)

Abstract

일 실시 예에 따른 전자 장치는 전자 장치에 대한 원격 제어 장치의 상대 위치 정보를 결정하고, 상대 위치 정보, 센서 모듈로 측정된 전자 장치의 방위각 정보 및 원격 제어 장치의 방위각 정보에 기초하여 원격 제어 장치의 좌표 및 전자 장치를 기준으로 하는 전역 좌표계(global coordinate system) 상 원격 제어 장치의 지향 방향의 각도(yaw)를 계산하고, 좌표 및 각도에 기초하여 원격 제어 장치로 제어하고자 하는 제어 대상 디바이스를 결정할 수 있다.

Description

외부 전자 장치를 제어하는 전자 장치 및 그의 동작 방법
아래의 실시 예들은 외부 전자 장치를 제어하는 전자 장치 및 그의 동작 방법에 관한 것이다.
UWB 통신은 기존 통신에 비해 넓은 대역에 걸쳐 낮은 전력으로 매우 짧은 펄스(수 나노초)를 이용하여 신호를 전송하는 통신 기술이다. 과거에는 군용 레이더 및 원격 탐지 등 군사적 목적으로 사용되었으나 2002년 미국 FCC(federal communications commission)에서 실내 무선통신분야에 대한 상업적 사용을 허가한 이래로 다양한 분야에서 활동 영역을 넓히고 있다. UWB 통신을 통하여, 펄스가 목표물에 도달하는 시간인 TOA(time of arrive), 송신 장치에서의 펄스 도래각(AOA, angle of arrival)이 정확히 측정될 수 있으며, 이에 따라 실내에서 수십 cm 오차의 정밀한 거리 및 위치 인식이 가능해졌다.
실내에서 UWB를 활용해 지향 방향에 따라 제어할 디바이스를 결정하는 장치에 있어서, 원격 제어 장치의 지향 방향에 따라 제어할 디바이스가 결정될 수 있다. 원격 제어 장치의 지향 방향에 대한 정보를 획득하기 위해, 가상 좌표계(coordinate system)가 설정될 수 있다.
다양한 실시 예에 따르면, 실내 환경에서 기준 전자 장치를 기준으로 하는 전역 좌표계(global coordinate system)를 설정하여 원격 제어 장치의 지향 방향에 대한 정보를 획득하는 전자 장치가 제공될 수 있다.
일 실시 예에 따른 전자 장치는, 하나 이상의 안테나를 통해 통신을 수행하는 통신 모듈; 상기 전자 장치의 방위각(yaw)을 측정하기 위한 센서 모듈; 컴퓨터로 실행 가능한 명령어들(computer-executable instructions)이 저장된 메모리; 및 상기 메모리에 억세스(access)하여 상기 명령어들을 실행하는 프로세서를 포함하고, 상기 명령어들은, 실행될 때, 상기 전자 장치에 대한 상기 원격 제어 장치의 상대 위치 정보를 결정하고, 상기 상대 위치 정보, 상기 센서 모듈로 측정된 상기 전자 장치의 상기 방위각 정보 및 상기 원격 제어 장치의 방위각 정보에 기초하여 상기 원격 제어 장치의 좌표 및 상기 전자 장치를 기준으로 하는 전역 좌표계(global coordinate system) 상 상기 원격 제어 장치의 지향 방향의 각도(yaw)를 계산하고, 상기 좌표 및 상기 각도에 기초하여 상기 원격 제어 장치로 제어하고자 하는 제어 대상 디바이스를 결정하도록 상기 전자 장치를 구성할 수 있다.
일 실시 예에 따르면, 상기 명령어들은, 상기 제어 대상 디바이스가 결정된 경우, 상기 원격 제어 장치를 통해 상기 제어 대상 디바이스를 제어하도록 상기 전자 장치를 제어하도록 상기 프로세서를 더 구성할 수 있다.
일 실시 예에 따르면, 상기 명령어들은, 상기 전역 좌표계(global coordinate system) 상 상기 원격 제어 장치의 상기 지향 방향의 상기 각도(yaw), 상기 원격 제어 장치의 피치(pitch) 각도 및 상기 원격 제어 장치의 롤(roll) 각도에 기초하여 상기 원격 제어 장치의 지향 정보를 보정하도록 상기 전자 장치를 제어하도록 상기 프로세서를 더 구성할 수 있다.
일 실시 예에 따르면, 상기 상대 위치 정보는, 상기 원격 제어 장치로부터 상기 전자 장치까지의 거리에 대한 정보; 및 상기 원격 제어 장치로부터 상기 전자 장치로의 방향 및 상기 원격 제어 장치의 상기 지향 방향에 대응하는 각도에 대한 정보를 포함할 수 있다.
일 실시 예에 따르면, 상기 전자 장치에 대한 상기 원격 제어 장치의 상기 상대 위치 정보는, 상기 원격 제어 장치에 포함된 복수의 안테나들 각각으로부터 상기 전자 장치까지의 거리에 대한 정보; 및 상기 복수의 안테나들 사이의 거리에 대한 정보에 기초하여 결정될 수 있다.
일 실시 예에 따르면, 상기 원격 제어 장치의 방위각(yaw)은, 상기 원격 제어 장치에 포함된 센서 모듈을 통해 측정될 수 있다.
일 실시 예에 따르면, 상기 전자 장치는 상기 원격 제어 장치와 초광대역(UWB; ultra wide band) 통신을 수행할 수 있다.
일 실시 예에 따르면, 상기 명령어들은, 상기 전역 좌표계(global coordinate system) 상 상기 원격 제어 장치의 상기 좌표, 상기 지향 방향의 상기 각도 및 미리 등록된 감지 가능 영역에 기초하여 상기 제어 대상 디바이스를 결정하도록 상기 전자 장치를 제어하도록 상기 프로세서를 구성할 수 있다.
일 실시 예에 따르면, 상기 원격 제어 장치는 2개의 안테나들을 포함하고, 상기 원격 제어 장치의 상기 지향 방향은 상기 2개의 안테나를 연결한 직선에 수직인 방향으로 결정될 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법은, 상기 전자 장치에 대한 원격 제어 장치의 상대 위치 정보를 결정하는 동작; 상기 상대 위치 정보, 상기 전자 장치의 방위각 정보 및 상기 원격 제어 장치의 방위각 정보에 기초하여, 상기 전자 장치를 기준으로 하는 전역 좌표계(global coordinate system) 상 상기 원격 제어 장치의 좌표 및 상기 원격 제어 장치의 지향 방향의 각도(yaw)를 계산하는 동작; 및 상기 좌표 및 상기 각도에 기초하여 상기 원격 제어 장치로 제어하고자 하는 제어 대상 디바이스를 결정하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 제어 대상 디바이스가 결정된 경우, 상기 방법은 상기 원격 제어 장치를 통해 상기 제어 대상 디바이스를 제어하는 동작을 더 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은, 상기 전역 좌표계(global coordinate system) 상 상기 원격 제어 장치의 상기 지향 방향의 상기 각도(yaw), 상기 원격 제어 장치의 피치(pitch) 각도 및 상기 원격 제어 장치의 롤(roll) 각도에 기초하여 상기 원격 제어 장치의 지향 정보를 보정하는 동작을 더 포함할 수 있다.
일 실시 예에 따르면, 상기 상대 위치 정보는, 상기 원격 제어 장치로부터 상기 전자 장치까지의 거리에 대한 정보; 및 상기 원격 제어 장치로부터 상기 전자 장치로의 방향 및 상기 원격 제어 장치의 상기 지향 방향에 대응하는 각도에 대한 정보를 포함할 수 있다.
일 실시 예에 따르면, 상기 전자 장치에 대한 상기 원격 제어 장치의 상기 상대 위치 정보는, 상기 원격 제어 장치에 포함된 복수의 안테나들 각각으로부터 상기 전자 장치까지의 거리에 대한 정보; 및 상기 복수의 안테나들 사이의 거리에 대한 정보에 기초하여 결정될 수 있다.
일 실시 예에 따르면, 상기 원격 제어 장치의 방위각(yaw)은, 상기 원격 제어 장치에 포함된 센서 모듈을 통해 측정될 수 있다.
일 실시 예에 따르면, 상기 전자 장치는 상기 원격 제어 장치와 초광대역(UWB; ultra wide band) 통신을 수행할 수 있다.
일 실시 예에 따르면, 상기 제어 대상 디바이스를 결정하는 동작은, 상기 전역 좌표계(global coordinate system) 상 상기 원격 제어 장치의 상기 좌표, 상기 지향 방향의 상기 각도 및 미리 등록된 감지 가능 영역에 기초하여 결정하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 원격 제어 장치는 2개의 안테나들을 포함하고, 상기 원격 제어 장치의 상기 지향 방향은 상기 2개의 안테나를 연결한 직선에 수직인 방향으로 결정될 수 있다.
일 실시 예에 따르면, 컴퓨터로 판독 가능한 기록 매체에는, 실행될 때, 상기 전자 장치가, 상기 전자 장치에 대한 원격 제어 장치의 상대 위치 정보를 결정하는 동작; 상기 상대 위치 정보, 상기 전자 장치의 방위각 정보 및 상기 원격 제어 장치의 방위각 정보에 기초하여, 상기 전자 장치를 기준으로 하는 전역 좌표계(global coordinate system) 상 상기 원격 제어 장치의 좌표 및 상기 원격 제어 장치의 지향 방향의 각도(yaw)를 계산하는 동작; 및 상기 좌표 및 상기 각도에 기초하여 상기 원격 제어 장치로 제어하고자 하는 제어 대상 디바이스를 결정하는 동작을 하도록 제어하는 프로그램이 기록되어 있을 수 있다.
일 실시 예에 따르면, 상기 제어 대상 디바이스를 결정하는 동작은, 상기 전역 좌표계(global coordinate system) 상 상기 원격 제어 장치의 상기 좌표, 상기 지향 방향의 상기 각도 및 미리 등록된 감지 가능 영역에 기초하여 결정하는 동작을 포함하고, 상기 제어 대상 디바이스가 결정된 경우, 상기 전자 장치가, 상기 원격 제어 장치를 통해 상기 제어 대상 디바이스를 제어하는 동작을 더 하도록 하는 프로그램이 기록되어 있을 수 있다.
다양한 실시 예에 따르면, 실내 환경에서 기준 전자 장치를 기준으로 하는 전역 좌표계(global coordinate system)를 설정하여 원격 제어 장치의 지향 방향에 대한 정보를 획득하는 전자 장치가 제공될 수 있다.
다양한 실시 예에 따르면, 실내 환경에서 원격 제어 장치의 위치를 파악하기 위한 별도의 공간 설정 과정 없이, 원격 제어 장치를 통해 제어 대상 디바이스를 제어하는 전자 장치가 제공될 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1a 및 도 1b는 다양한 실시 예들에 따른 기준 전자 장치의 일 예의 블록 구성도(block diagram)이다.
도 2a 및 도 2b는 다양한 실시 예들에 따른 원격 제어 장치의 일 예를 설명하기 위한 도면이다.
도 3은 다양한 실시 예들에 따른 기준 전자 장치, 하나 이상의 디바이스 및 디바이스를 제어하기 위한 원격 제어 장치가 위치한 실내 환경의 일 예를 설명하기 위한 도면이다.
도 4는 다양한 실시 예들에 따른 기준 전자 장치와 원격 제어 장치 간 거리를 측정하는 방법의 일 예를 설명하기 위한 도면이다.
도 5a 내지 도 5c는 다양한 실시 예들에 따른 기준 전자 장치에 대한 원격 제어 장치의 상대 위치 정보를 결정하는 동작의 일 예를 설명하기 위한 도면이다.
도 6a 및 도 6b는 다양한 실시 예들에 따른 기준 전자 장치를 기준으로 하는 전역 좌표계 상 원격 제어 장치의 지향 방향을 결정하는 동작의 일 예를 설명하기 위한 도면이다.
도 7은 다양한 실시 예들에 따른 기준 전자 장치의 동작의 일 예를 설명하기 위한 흐름도이다.
도 8은 다양한 실시 예들에 따른 기준 전자 장치에 대한 원격 제어 장치의 상대 위치 정보를 결정하는 동작의 일 예를 설명하기 위한 흐름도이다.
도 9a 내지 도 9c는, 다양한 실시 예들에 따른 기준 전자 장치를 기준으로 전역 좌표계 상 원격 제어 장치의 지향 방향을 결정하는 동작의 일 예를 설명하기 위한 도면이다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 반복되지 않기로 한다.
< 기준 전자 장치 >
도 1a 및 도 1b는 다양한 실시 예들에 따른 기준 전자 장치의 일 예의 블록 구성도(block diagram)이다.
도 1a에 도시된 바와 같이, 일 실시 예에 따른 기준 전자 장치(100)는, 메모리(120), 프로세서(130)(예: 처리 회로를 포함함), 통신부(150)(예: 통신 회로를 포함함) 및 센싱부(191)(예: 하나 이상의 센서들을 포함함)를 포함할 수 있다. 그러나 다양한 실시 예들은 도시된 구성요소 모두를 포함할 필요는 없다. 도시된 구성요소보다 많거나 적은 구성요소에 의해 기준 전자 장치(100)가 구현될 수 있다.
예를 들어, 도 1b에 도시된 바와 같이, 일 실시 예에 따른 기준 전자 장치(100)는, 메모리(120), 프로세서(130), 통신부(150), 센싱부(191) 외에, 디스플레이(110), 튜너부(140), 감지부(160), 입/출력부(170), 비디오 처리부(180), 오디오 처리부(115), 오디오 출력부(126), 전원부(190)를 더 포함할 수도 있다.
이하 상기 구성요소들에 대해 살펴본다.
프로세서(130)는, 데이터 처리는 물론, 기준 전자 장치(100)의 전반적인 동작 및 기준 전자 장치(100)의 내부 구성 요소들 사이의 신호 흐름을 제어하는 기능을 수행한다. 프로세서(130)는 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 메모리(120)에 저장된 OS(Operation System) 및 다양한 애플리케이션을 실행할 수 있다.
프로세서(130)는 기준 전자 장치(100)의 외부로부터 입력되는 신호 또는 데이터를 저장하거나, 기준 전자 장치(100)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램, 기준 전자 장치(100)의 제어를 위한 제어 프로그램이 저장된 롬 및 프로세서를 포함할 수 있다.
프로세서(130)는 비디오에 대응되는 그래픽 처리를 위한 그래픽 프로세서(Graphic Processing Unit, 미도시)를 포함할 수 있다. 프로세서(130)는 코어(core, 미도시)와 GPU(미도시)를 통합한 SoC(System On Chip)로 구현될 수 있다. 프로세서(130)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다.
또한, 프로세서(130)는 복수의 프로세서를 포함할 수 있다. 예를 들어, 프로세서(130)는 메인 프로세서(main processor, 미도시) 및 슬립 모드(sleep mode)에서 동작하는 서브 프로세서(sub processor, 미도시)로 구현될 수 있다.
일 실시 예에 따라, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 적어도 하나의 센서를 포함하는 센싱부(191)를 통해, 적어도 하나의 센서에 대응하는 적어도 하나의 센싱값을 검출할 수 있다.
또한, 일 실시 예에 따라, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 검출된 적어도 하나의 센싱값이 미리 설정된 임계값 이상인 것으로 판단됨에 따라, 원격 제어 장치(200)가 기준 전자 장치(100)에 터치된 것으로 결정할 수 있다.
또한, 일 실시 예에 따라, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 검출된 적어도 하나의 센싱값과 원격 제어 장치(200)로부터 수신한 원격 제어 장치(200)의 센싱값을 비교함으로써, 원격 제어 장치(200)가 기준 전자 장치(100)에 터치된 것으로 결정할 수 있다.
또한, 일 실시 예에 따라, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 원격 제어 장치(200)의 식별 정보를 요청하고, 원격 제어 장치(200)의 식별 정보를 수신할 수 있다. 또한, 프로세서(130)는 원격 제어 장치(200)의 식별 정보에 기초하여, 원격 제어 장치(200)가 기준 전자 장치(100)에 기 등록된 장치임을 확인할 수 있다.
또한, 일 실시 예에 따라, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 적어도 하나의 센싱값에 기초하여, 원격 제어 장치(200)가 기준 전자 장치(100) 상에 터치된 터치 영역을 결정할 수 있다.
또한, 일 실시 예에 따라, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 적어도 하나의 센서에 대응하여 검출된 적어도 하나의 센싱값을 비교하고, 비교 결과에 기초하여, 원격 제어 장치(200)가 기준 전자 장치(100) 상에 터치된 지점에 근접하게 배치된 것으로 판단되는 하나 이상의 센서를 결정할 수 있다. 또한, 프로세서(130)는, 결정된 하나 이상의 센서에 기초하여, 터치 영역을 결정할 수 있다.
또한, 일 실시 예에 따라, 프로세서(130)는, 통신부(150)를 통해, 원격 제어 장치(200)로부터 원격 제어 장치(200)에서 실행 중인 동작에 관한 상태 정보를 수신할 수 있다.
또한, 일 실시 예에 따라, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 수신한 원격 제어 장치(200)로의 상태 정보에 기초하여, 결정된 터치 영역에 대응하는 기 설정된 기능을 수행할 수 있다.
또한, 일 실시 예에 따라, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 적어도 하나의 센싱값에 기초하여, 원격 제어 장치(200)가 기준 전자 장치(100) 상에 터치된 터치 횟수를 결정할 수 있다.
또한, 일 실시 예에 따라, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 터치 횟수에 대응하는 기 설정된 기능을 수행할 수 있다.
또한, 일 실시 예에 따라, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 사용자 입력에 기초하여, 기준 전자 장치(100) 상의 적어도 일 터치 영역에 대응하는 기능을 미리 설정할 수 있다.
또한, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 사용자 입력에 기초하여, 기준 전자 장치(100) 상의 적어도 일 터치 영역에 터치된 터치 횟수에 대응하는 기능을 미리 설정할 수 있다.
메모리(120)는, 프로세서(130)의 제어에 의해 기준 전자 장치(100)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 메모리(120)는 비디오 처리부(180), 디스플레이(110), 오디오 처리부(115), 오디오 출력부(126), 전원부(130), 튜너부(140), 통신부(150), 감지부(160), 입/출력부(170)의 구동에 대응되는 입력/출력되는 신호 또는 데이터를 저장할 수 있다.
메모리(120)는 기준 전자 장치(100) 및 프로세서(130)의 제어를 위한 오퍼레이팅 시스템(121), 제조사에서 최초 제공되거나 외부에서부터 다운로드 받은 어플리케이션(122), 어플리케이션과 관련된 GUI(graphical user interface), GUI를 제공하기 위한 오브젝트(예를 들어, 이미지 텍스트, 아이콘, 버튼 등), 사용자 정보, 문서, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다.
또한, 메모리(120)는 원격 제어 장치(200)로부터의 입력 신호를 수신하고 이에 따라 입력 신호에 대응하는 채널 제어를 수행하거나 또는, 입력 신호가 미리 지정된 입력에 대응하는 경우 채널 스크롤 유저 인터페이스 모드로 진입하기 위한 하나 이상의 인스트럭션을 포함하는 TV 뷰어 모듈(123), 외부 장치(미도시)로부터 수신된 컨텐츠로부터 정보를 인식하기 위한 하나 이상의 인스트럭션을 포함하는 문자 인식 모듈(124), 외부 장치(미도시)로부터의 채널 제어를 위한 하나 이상의 인스트럭션을 포함하는 MBR 모듈(125)를 포함할 수 있다.
메모리(120)는, 롬, 램 또는 기준 전자 장치(100)에 장착되는 메모리 카드(예를 들어, micro SD 카드, USB 메모리, 미도시)를 포함한다. 또한, 메모리(120)는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
일 실시 예에 따라, 메모리(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
디스플레이(110)는 프로세서(130)의 제어에 의해 튜너부(140)를 통해 수신된 방송 신호에 포함된 비디오를 화면에 표시한다. 또한, 디스플레이(110)는 통신부(150) 또는 입/출력부(170)를 통해 입력되는 컨텐츠(예를 들어, 동영상)를 표시할 수 있다. 디스플레이(110)는 프로세서(130)의 제어에 의해 메모리(120)에 저장된 영상을 출력할 수 있다.
디스플레이(110)는, 프로세서(130)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 및/또는 제어 신호 등을 변환하여 구동 신호를 생성한다. 디스플레이(110)는 PDP(Plasma Display Panel), LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), CRT(Cathode Ray Tube), 플렉시블 디스플레이(flexible display)등으로 구현될 수 있으며, 또한, 3차원 디스플레이(3D display)로 구현될 수 있다. 또한, 디스플레이(110)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
튜너부(140)는, 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 기준 전자 장치(100)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 방송 신호는 오디오(audio), 비디오(video) 및 부가 정보(예를 들어, EPG(Electronic Program Guide))를 포함한다.
튜너부(140)는 사용자 입력(예를 들어, 원격 제어 장치(200)로부터 수신되는 제어 신호, 예컨대, 채널 번호 입력, 채널 업다운(up-down) 입력 및 EPG 화면에서 채널 입력)에 따라 채널 번호에 대응되는 주파수 대역에서 방송 신호를 수신할 수 있다.
튜너부(140)는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 신호를 수신할 수 있다. 튜너부(140)는 아날로그 방송 또는 디지털 방송 등과 같은 소스로부터 방송 신호를 수신할 수도 있다. 튜너부(140)를 통해 수신된 방송 신호는 디코딩(decoding, 예를 들어, 오디오 디코딩, 비디오 디코딩 또는 부가 정보 디코딩)되어 오디오, 비디오 및/또는 부가 정보로 분리된다. 분리된 오디오, 비디오 및/또는 부가 정보는 프로세서(130)의 제어에 의해 메모리(120)에 저장될 수 있다.
기준 전자 장치(100)의 튜너부(140)는 하나이거나 복수일 수 있다. 튜너부(140)는 기준 전자 장치(100)와 일체형(all-in-one)으로 구현되거나, 또는 기준 전자 장치(100)와 전기적으로 연결되는 튜너부를 가지는 별개의 장치(예를 들어, 셋톱박스(set-top box, 미도시), 입/출력부(170)에 연결되는 튜너부(미도시))로 구현될 수 있다.
통신부(150)는, 프로세서(130)의 제어에 의해 기준 전자 장치(100)를 외부 장치(예를 들어, 오디오 장치 등)(미도시)와 연결할 수 있다. 프로세서(130)는 통신부(150)를 통해 연결된 외부 장치(미도시)로 컨텐츠를 송/수신, 외부 장치(미도시)에서부터 어플리케이션(application)을 다운로드 하거나 또는 웹 브라우징을 할 수 있다. 통신부(150)는 기준 전자 장치(100)의 성능 및 구조에 대응하여 무선 랜(151), 블루투스(152), 및 유선 이더넷(Ethernet, 153) 중 하나를 포함할 수 있다. 또한, 통신부(150)는 무선랜(151), 블루투스(152), 및 유선 이더넷(Ethernet, 153)의 조합을 포함할 수 있다.
또한, 통신부(150)는 프로세서(130)의 제어에 의해 원격 제어 장치(200)의 제어 신호를 수신할 수 있다. 제어 신호는 블루투스 타입, RF 신호 타입 또는 와이파이 타입으로 구현될 수 있다.
또한, 통신부(150)는 블루투스 외에 다른 근거리 통신(예를 들어, NFC(near field communication, 미도시), BLE(bluetooth low energy, 미도시), UWB 통신 등을 수행할 수 있다.
일 실시 예에 따르면, 통신부(150)에는 통신을 수행하기 위한 안테나가 포함될 수 있다. 예를 들어, 기준 전자 장치(100)는 UWB 통신을 수행하기 위한 UWB 안테나를 포함할 수 있다. 다양한 실시 예들에 따라, 기준 전자 장치(100)의 통신부(150)에는 하나 또는 둘 이상의 안테나가 포함될 수 있다.
감지부(160)는, 사용자의 음성, 사용자의 영상 또는 사용자의 인터랙션을 감지하며, 마이크(161), 카메라부(162)(예: 하나 이상의 카메라들을 포함함) 및 광 수신부(163)를 포함할 수 있다.
마이크(161)는 사용자의 발화(utterance)된 음성을 수신한다. 마이크(161)는 수신된 음성을 전기 신호로 변환하여 전기 신호를 프로세서(130)로 출력할 수 있다. 사용자 음성은 예를 들어, 기준 전자 장치(100)의 메뉴 또는 기능에 대응되는 음성을 포함할 수 있다.
카메라부(162)는 정지영상 또는 동영상 등의 화상을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 프로세서(130) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
카메라부(162)에서 처리된 화상(들)은 메모리(120)에 저장되거나 통신부(150)를 통하여 외부로 전송될 수 있다. 카메라부(162)는 기준 전자 장치(100)의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
광 수신부(163)는 외부의 원격 제어 장치(200)로부터 수신되는 광 신호(제어 신호를 포함)를 수신한다. 광 수신부(163)는 원격 제어 장치(200)로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호로부터 프로세서(130)의 제어에 의해 제어 신호가 추출될 수 있다. 예를 들어, 광 수신부(163)는 원격 제어 장치(200)로부터 채널 전환을 위한 채널 업/다운 버튼에 대응하는 제어 신호를 수신할 수 있다.
입/출력부(170)는, 프로세서(130)의 제어에 의해 기준 전자 장치(100)의 외부로부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신한다. 입/출력부(170)는, HDMI 포트(High-Definition Multimedia Interface port)(171), 컴포넌트 잭(component jack)(172), PC 포트(173), 또는 USB 포트(174) 중 적어도 하나 또는 이들의 조합을 포함할 수 있다. 입/출력부(170)는 HDMI 포트(171), 컴포넌트 잭(172), PC 포트(173), 또는 USB 포트(174) 중 적어도 임의의 조합을 포함할 수 있다. 외부 영상 제공 장치(미도시)는 HDMI 포트(171)을 통해 연결될 수 있다.
비디오 처리부(180)는, 기준 전자 장치(100)가 수신한 비디오 데이터에 대한 처리를 수행한다. 비디오 처리부(180)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
그래픽 처리부(181)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부(미도시)는 감지부(160)를 통해 감지된 사용자 입력을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부(미도시)에서 생성된 화면은 디스플레이(110)의 디스플레이 영역 내에 표시된다.
오디오 처리부(115)는, 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부(115)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 한편, 오디오 처리부(115)는 복수의 컨텐츠에 대응되는 오디오를 처리하기 위해 복수의 오디오 처리 모듈을 구비할 수 있다.
오디오 출력부(126)는, 프로세서(130)의 제어에 의해 튜너부(140)를 통해 수신된 방송 신호에 포함된 오디오를 출력한다. 오디오 출력부(126)는 통신부(150) 또는 입/출력부(170)를 통해 입력되는 오디오(예를 들어, 음성, 사운드)를 출력할 수 있다. 또한, 오디오 출력부(126)는 프로세서(130)의 제어에 의해 메모리(120)에 저장된 오디오를 출력할 수 있다. 오디오 출력부(126)는 스피커(127), 헤드폰 출력 단자(128) 또는 S/PDIF(Sony/Philips Digital Interface) 출력 단자(129) 중 적어도 하나 또는 이들의 조합을 포함할 수 있다. 오디오 출력부(126)는 스피커(127), 헤드폰 출력 단자(128) 또는 S/PDIF 출력 단자(129)의 적어도 임의의 조합을 포함할 수 있다.
전원부(190)는, 프로세서(130)의 제어에 의해 기준 전자 장치(100) 내부의 구성 요소들로 외부의 전원 소스에서부터 입력되는 전원을 공급한다. 또한, 전원부(190)는 프로세서(130)의 제어에 의해 기준 전자 장치(100) 내부에 위치하는 하나 또는 둘 이상의 배터리(미도시)로부터 출력되는 전원을 내부의 구성 요소들에게 공급할 수 있다.
센싱부(191)는, 기준 전자 장치(100)의 상태 또는 기준 전자 장치(100) 주변의 상태를 감지하고, 감지된 정보를 프로세서(130)로 전달할 수 있다.
센싱부(191)는, 지자기 센서(Magnetic sensor)(192), 가속도 센서(Acceleration sensor)(193), 온/습도 센서(194), 적외선 센서(195), 자이로스코프 센서(196), 위치 센서(예컨대, GPS)(197), 기압 센서(198), 근접 센서(199), 또는 RGB 센서(illuminance sensor)(201) 중 적어도 하나 또는 이들의 조합을 포함할 수 있으나, 포함되는 센서들은 도 1b에 도시된 것에 한정되는 것은 아니다.
일 실시 예에 따르면, 센싱부(191)는 홀(hall) 센서(미도시)를 포함할 수 있다. 홀 센서는 자기장에 반응하여 전기적 신호(예: 전압)를 생성하는 트랜스듀서(transducer)일 수 있다. 홀 센서는 자기장의 세기가 세면 상대적으로 큰 세기의 전기적 신호를 생성할 수 있고 자기장의 세기가 약하면 상대적으로 작은 세기의 전기적 신호를 생성할 수 있다. 프로세서(130)는 홀 센서로부터 자기장 감지에 따른 전기적 신호를 수신할 수 있다.
일 실시 예에 따르면, 센싱부(191)는 지자기 센서(192), 가속도 센서(193) 및 홀 센서를 이용하여 기준 전자 장치(100)의 각도를 검출할 수 있는 전자 나침반(E-compass) 또는 플럭스 게이트 나침반(fluxgate compass)을 포함할 수 있다. 예를 들면, 지자기 센서(192)는, 자기장 및 자력선을 이용하여 방위를 측정할 수 있고, 홀 센서는 자기장의 세기를 감지하여, 기준 전자 장치(100)의 각도를 측정할 수 있다.
일 실시 예에 따르면, 프로세서(130)는 센싱부(191)로부터 획득한 모션 데이터를 통해 기준 전자 장치(100)의 방위각(yaw), 피치(pitch) 각도, 롤(roll) 각도 값을 측정할 수 있다. 일 실시 예에 따른 모션 데이터는 가속도 센서(193)로부터 획득된 3축 모션 데이터(x1, y1, z1)를 포함하거나, 자이로스코프 센서(196) 및 지자기 센서(192)를 추가로 이용하여 획득된 9축 모션 데이터를 포함할 수 있다.
일 실시 예에 따르면, 프로세서(130)는 9축 모션 데이터에서 측정된 방위각(yaw), 피치(pitch) 각도 및/또는 롤(roll) 각도 값 정보를 획득할 수 있다.
일 실시 예에 따른 센싱부(191)는 기준 전자 장치(100)에 가해지는 외부 충격 또는 터치를 감지할 수 있다. 예를 들어, 원격 제어 장치(200)가 기준 전자 장치(100)에 터치됨에 따라, 기준 전자 장치(100)의 센싱부(191)는 센싱값을 출력할 수 있다.
일 실시 예에서, 디스플레이(110)를 포함하는 기준 전자 장치(100)는 튜너부(140)를 포함하는 별도의 외부 장치(예를 들어, 셋톱 박스, 미도시)와 전기적으로 연결될 수 있다.
다양한 실시 예들에서, 기준 전자 장치(100)는 아날로그 TV, 디지털 TV, 3D-TV, 스마트 TV, LED TV, OLED TV, 플라즈마 TV, 모니터 등으로 구현될 수 있다. 그러나, 기준 전자 장치가 이 예시들에 한정되지 않는다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
한편, 도시된 기준 전자 장치(100)의 블록도는 일 실시 예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 기준 전자 장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시 예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
< 원격 제어 장치 >
도 2a 및 도 2b는 다양한 실시 예들에 따른 원격 제어 장치의 일 예를 설명하기 위한 도면이다.
도 2a를 참조하면, 다양한 실시 예들에 따른 원격 제어 장치(200)의 일 예의 구성도가 도시되어 있다. 일 실시 예에 따르면, 원격 제어 장치(200)에는 기준 전자 장치(100)와의 통신(예를 들어, UWB 통신)을 수행하기 위한 복수의 안테나(예를 들어, 제1 안테나(251) 및 제2 안테나(253))가 포함될 수 있다.
일 실시 예에 따르면, 원격 제어 장치(200)의 지향 방향(255)은 제1 안테나(251) 및 제2 안테나(253)에 기초하여 결정될 수 있다. 일 실시 예에 따르면, 기준 전자 장치(100), 원격 제어 장치(200)가 동작하는 실내 환경을 위에서 바라보는 경우, 실내 환경은 평면(예를 들어, +Z축에서 바라본 X-Y평면)으로 표현될 수 있고, 원격 제어 장치(200)의 지향 방향(255)은 평면 상 방향으로 결정될 수 있다.
일 실시 예에 따르면, 지향 방향(255)은 제1 안테나(251) 및 제2 안테나(253)에 대응하는 직선(257)에 수직인 방향으로 결정될 수 있으나, 이에 제한되는 것은 아니고 직선(257)과 일정 각도 ψd의 방향일 수 있다. 일 실시 예에 따르면, 각도 ψd는 약 90°일 수 있다.
도 2b를 참조하면, 다양한 실시 예들에 따른 원격 제어 장치(200)의 일 예의 구성도가 도시되어 있다. 일 실시 예에 따르면, 원격 제어 장치(200)는 도 1a 및 도 1b에 개시된 장치 구성 중 적어도 일부를 포함할 수 있다.
도 2b에 도시된 바와 같이, 일 실시 예에 따른 원격 제어 장치(200)는 디스플레이(210), 메모리(220), 통신부(250)(예: 통신 회로를 포함함), 센싱부(291)(예: 하나 이상의 센서들을 포함함) 및 프로세서(230)(예: 처리 회로를 포함함)를 포함할 수 있다. 그러나, 원격 제어 장치(200)는 도 2b에 도시된 구성 요소 모두를 포함할 필요는 없다. 도 2b에 도시된 구성 요소보다 많거나 적은 구성 요소에 의해 원격 제어 장치(200)가 구현될 수 있다.
일 실시 예에 따라, 원격 제어 장치(200)의 디스플레이(210)는 프로세서(230)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 및/또는 제어 신호 등을 변환하여 구동 신호를 생성한다.
또한, 디스플레이(210)는 통신부(250) 또는 입/출력부(미도시)를 통해 입력되는 컨텐츠(예를 들어, 동영상)를 표시할 수 있다. 디스플레이(210)는 프로세서(230)의 제어에 의해 메모리(220)에 저장된 영상을 출력할 수 있다.
일 실시 예에 따라, 원격 제어 장치(200)의 메모리(220)는, 프로세서(230)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 원격 제어 장치(200)로 입력되거나 원격 제어 장치(200)로부터 출력되는 데이터를 저장할 수도 있다.
일 실시 예에 따라, 프로세서(230)는, 통상적으로 원격 제어 장치(200)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(230)는, 메모리(220)에 저장된 프로그램들을 실행함으로써, 센싱부(291), 통신부(250) 등을 전반적으로 제어할 수 있다. 프로세서(230)는, 도 3 내지 도 10을 참조하여 설명할 원격 제어 장치(200)의 동작을 제어할 수 있다.
프로세서(230)는, 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리(220)에 저장된 기 정의된 동작 규칙에 따라, 입력 데이터를 처리하도록 제어한다.
일 실시 예에 따라, 프로세서(230)는, 통신부(250)를 통해, 기준 전자 장치(100)가 송출하는 무선 신호를 수신할 수 있다.
또한, 프로세서(230)는 통신부(250)를 통해, 기준 전자 장치(100)로부터 원격 제어 장치(200)의 식별 정보 요청을 수신할 수 있다. 프로세서(230)는 통신부(250)를 통해, 원격 제어 장치(200)의 식별 정보를 기준 전자 장치(100)로 전송하도록 제어할 수 있다.
또한, 프로세서(230)는 센싱부(291)에 의해 검출된 센싱값을 통신부(250)를 통해 기준 전자 장치(100)로 전송하도록 제어할 수 있다.
또한, 프로세서(230)는 통신부(250)를 통해, 원격 제어 장치(200)에서 실행 중인 동작에 관한 상태 정보 요청을 수신할 수 있다. 프로세서(230)는 실행 중인 동작에 관한 상태 정보를 생성할 수 있다. 또한, 프로세서(230)는 통신부(250)를 통해, 실행 중인 동작에 관한 상태 정보를 기준 전자 장치(100)로 전송하도록 제어할 수 있다.
또한, 메모리(220)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
또한, 일 실시 예에 따라, 통신부(250)는, 원격 제어 장치(200)가 외부와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(250)는, 근거리 통신부(미도시), 이동 통신부(미도시), 방송 수신부(미도시)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 통신부가 이 예시들에 한정되는 것은 아니다.
일 실시 예에 따르면, 통신부(250)에는 통신을 수행하기 위한 안테나가 포함될 수 있다. 예를 들어, 원격 제어 장치(200)는 UWB 통신을 수행하기 위한 UWB 안테나를 포함할 수 있다. 실시 예에 따라, 원격 제어 장치(200)의 통신부(250)에는 하나 또는 둘 이상의 안테나가 포함될 수 있다.
이동 통신부는, 이동 통신망 상에서 기지국, 외부의 단말, 또는 서버 중 적어도 하나 또는 이들의 조합과 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 하나 이상의 방송들과 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 다양한 실시 예들에 따르면, 원격 제어 장치(200)가 방송 수신부를 포함하지 않아도 된다.
센싱부(291)는, 원격 제어 장치(200)의 상태 또는 원격 제어 장치(200) 주변의 상태를 감지하고, 감지된 정보를 프로세서(230)로 전달할 수 있다.
센싱부(291)는, 지자기 센서(Magnetic sensor), 가속도 센서(Acceleration sensor), 온/습도 센서, 적외선 센서, 자이로스코프 센서, 위치 센서(예컨대, GPS), 조도 센서, 근접 센서, 또는 RGB 센서(illuminance sensor) 중 적어도 하나 또는 이들의 조합을 포함할 수 있으나, 센싱부에 포함되는 센서들은 이 예시들에 한정되는 것은 아니다. 일 실시 예에 따른 센싱부(291)는 도 1b를 참조하여 설명한 센싱부(191)에 대응될 수 있고, 그 설명은 여기서 반복되지 않는다. 도 1b를 참조하여 설명한 바와 같이, 프로세서(230)는 센싱부(291)를 통해 9축 모션 데이터에서 측정된 방위각(yaw), 피치(pitch) 각도 및/또는 롤(roll) 각도 값 정보를 획득할 수 있다.
일 실시 예에 따라, 센싱부(291)는 원격 제어 장치(200)에 가해진 외부 충격 또는 터치를 감지할 수 있다. 일 실시 에에 따라, 원격 제어 장치(200)에 내장된 가속도 센서(Acceleration sensor)는 예를 들어, 기준 전자 장치(100)에 의한 터치 동작에 의한 충격을 감지할 수 있다. 또한, 원격 제어 장치(200)에 내장된 가속도 센서(Acceleration sensor)는 원격 제어 장치(200)의 이동 속도, 가속도를 센싱할 수 있다.
원격 제어 장치(200)의 디스플레이(210), 메모리(220), 통신부(250), 센싱부(291) 및 프로세서(230)의 추가적인 설명은 도 1a 및 도 1b에서 설명한 기준 전자 장치(100)의 디스플레이(110), 메모리(120), 통신부(150), 센싱부(191) 및 프로세서(130)에 관한 설명을 참조할 수 있다.
도 3은 다양한 실시 예들에 따른 기준 전자 장치, 하나 이상의 디바이스 및 디바이스를 제어하기 위한 전자 장치가 위치한 실내 환경의 일 예를 설명하기 위한 도면이다.
도 3 내지 도 8을 참조하여 설명할 동작들은, 원격 제어 장치(200)의 프로세서(230) 및/또는 기준 전자 장치(100)의 프로세서(130)에 의해 수행될 수 있다. 또는, 관련 데이터가 기준 전자 장치(100)를 통해 외부 서버로 전달되고, 서버에서 특정 동작들이 수행될 수 있다.
도 3을 참조하면, 실내 환경에는 기준 전자 장치(100)(예를 들어, TV), 원격 제어 장치(200), 제1 디바이스(310)(예를 들어, 냉장고) 및 제2 디바이스(320)(예를 들어, 에어컨)가 존재할 수 있다. 도 2b를 참조하여 설명한 바와 같이, 원격 제어 장치(200)는 기준 전자 장치(100), 제1 디바이스(310) 및 제2 디바이스(320)와 통신할 수 있고, 사용자는 원격 제어 장치(200)로 기준 전자 장치(100), 제1 디바이스(310) 및 제2 디바이스(320)의 동작을 제어할 수 있다.
일 실시 예에 따르면, 원격 제어 장치(200)는 하나 이상의 디바이스(예: 제1 디바이스(310) 및 제2 디바이스(320))와 블루투스, BLE(Bluetooth Low Energy), 근거리 무선 통신(Near Field Communication unit), WLAN(와이파이), 지그비(Zigbee) 및 적외선(IrDA, infrared Data Association) 통신 등을 수행할 수 있다.
일 실시 예에 따르면, 기준 전자 장치(100)는 원격 제어 장치(200)와 UWB(ultra wideband) 통신을 수행할 수 있고, UWB 통신에 기초하여 실내 환경에서 가상 좌표계를 설정하고, 좌표계 상 원격 제어 장치(200)의 지향 방향(255)을 결정할 수 있다. 다양한 실시 예들에 따른 가상 좌표계 설정 방법 및 지향 방향 결정 방법의 예를 도 5a, 도5b, 도5c, 도 6a, 및 도 6b를 참조하여 설명한다.
일 실시 예에 따르면, 기준 전자 장치(100) 및 원격 제어 장치(200)에 탑재된 안테나에 따라 좌표계는 2차원 또는 3차원으로 설정될 수 있다. 일 실시 예에 따르면, 좌표계 설정을 위한 기준 전자 장치(100)의 위치에 대응하는 안테나는 기준 전자 장치(100)와 구분되는 장치에 포함되는 형태로 구현될 수 있다. 예를 들어, 기준 전자 장치(100) 위치에 대응하는 안테나는 별도의 전자 장치에 포함되고, 해당 장치가 기준 전자 장치(100)에 부착 또는 탑재될 수 있다.
좌표계가 2차원 좌표계로 설정되는 경우, 도 2a를 참조하여 설명한 바와 같이 실내 환경은 평면(예를 들어, +Z축에서 바라본 X-Y평면)으로 표현될 수 있고, 각 장치(100, 200, 310, 320)의 위치는 좌표계 상 점, 선 또는 영역으로, 원격 제어 장치(200)의 지향 방향(255)은 좌표계 상 하나의 방향으로 결정될 수 있다.
일 실시 예에 따르면, 좌표계 설정은 기준 전자 장치(100)의 프로세서(130) 및/또는 원격 제어 장치(200)의 프로세서(230)에 의해 수행될 수 있다. 다른 실시 예에 따르면, 기준 전자 장치(100) 및 원격 제어 장치(200) 간 UWB 통신(또는, WiFi, 블루투스, BLE)을 통해 AoA(angle of arrival), TOF(time of flight), 또는 TDOA(time difference of arrival) 등의 방법으로 거리, 각도에 대한 정보가 측정될 수 있고, 거리나 각도에 대한 정보가 외부 서버로 전송되어 서버에서 좌표계가 설정될 수 있다. 설정된 좌표계에 대한 정보는 기준 전자 장치(100)의 메모리(120) 및/또는 원격 제어 장치(200)의 메모리(230)에 저장되거나, 외부 서버에 저장되어 기준 전자 장치(100)의 프로세서(130) 또는 원격 제어 장치(200)의 프로세서(230)의 요청에 따라 전송될 수 있다. 다양한 실시 예들에 따른 UWB 통신에 기초한 거리 측정 방법을 도 4를 참조하여 설명한다.
일 실시 예에 따르면, 사용자는 원격 제어 장치(200)로 디바이스들(310, 320)을 제어하기 전에, 각 디바이스에 대해 원격 제어 장치(200)로 감지 가능한 가상의 영역(virtual envelope)을 좌표계 상에서 등록할 수 있다. 예를 들어, 사용자는 감지 가능 영역을 등록할 디바이스의 위치에서 원격 제어 장치(200)를 통한 사용자 입력을 통해 좌표계 상 디바이스의 감지 가능 영역을 등록할 수 있다.
기준 전자 장치(100)의 프로세서(130)는 각 디바이스들(310 320)의 좌표계 상 감지 가능 영역과, 원격 제어 장치(200)의 좌표계 상 위치, 지향 방향(255)에 기초하여 제어 대상 디바이스를 결정할 수 있다.
일 실시 예에 따른 기준 전자 장치(100)에 대한 원격 제어 장치(200)의 상대 위치 정보를 결정하는 과정은 도 5a, 도5b, 및 도 5c를 참조하여 설명한다. 일 실시 예에 따른 기준 전자 장치(100)를 기준으로 하는 전역 좌표계 상 원격 제어 장치(200)의 지향 방향(255)을 결정하는 과정은 도 6a 및 도 6b를 참조하여 설명한다.
도 4는 다양한 실시 예들에 따른 기준 전자 장치와 원격 제어 장치 간 거리를 측정하는 방법의 일 예를 설명하기 위한 도면이다.
다양한 실시예에 따르면, 기준 전자 장치(100)(또는 기준 전자 장치(100)의 프로세서(130))는 UWB 신호를 통해 외부 전자 장치와의 거리를 계산할 수 있다. 도 1b를 참조하여 설명한 바와 같이, 기준 전자 장치(100)는 UWB 통신을 수행하기 위한 UWB 안테나를 포함할 수 있다. 기준 전자 장치(100)의 UWB 안테나에는 프로세서(130)와 구별되는 적어도 하나의 프로세서가 포함될 수 있고, UWB 신호에 기반하여 외부 전자 장치와의 거리가 계산될 수 있다. UWB 안테나에 포함되는 적어도 하나의 프로세서는 UWB 신호에 기반하여 시간 정보를 포함하는 데이터 또는 정보를 생성할 수 있고, 생성된 데이터 또는 정보를 기준 전자 장치(100)의 프로세서(130)로 제공할 수 있다. 프로세서(130)는 제공받은 데이터 또는 정보에 기반하여 외부 전자 장치와의 거리를 계산할 수 있다.
후술되는 거리 결정(예: 계산) 방법은 기준 전자 장치(100) 또는 기준 전자 장치(100)의 프로세서(130)를 기준으로 설명하였으나, 프로세서(130)와 구별되는 안테나의 적어도 하나의 프로세서에 의해 수행될 수 있다.
일 실시 예 따르면, 기준 전자 장치(100)의 프로세서(130)는 외부 전자 장치와의 거리 계산을 위해, AoA(angle of arrival), ToA(time of arrival), TDoA(time difference of arrival) 등의 방식을 사용할 수 있다. 도 4를 참조하여, 일 실시 예에 따른 ToA 방식에 기초한 기준 전자 장치(100)와 원격 제어 장치(200) 사이의 거리 계산 과정을 설명한다.
도 4를 참조하면, 기준 전자 장치(100)의 프로세서(130)는 기준 전자 장치(100) 및 원격 제어 장치(200) 사이에 서로 신호를 주고받는 TWR(two way ranging) 방식을 이용하여 기준 전자 장치(100)와 원격 제어 장치(200) 사이의 거리를 계산할 수 있다. 원격 제어 장치(200)는 UWB 태그(tag) 장치, 기준 전자 장치(100)는 UWB 앵커(anchor) 장치일 수 있다.
일 실시 예에 따르면, 원격 제어 장치(200)는 기준 전자 장치(100)로 poll 신호를 전송할 수 있다. poll 신호를 수신한 기준 전자 장치(100)는 원격 제어 장치(200)로 response 신호를 전송할 수 있다. response 신호를 수신한 원격 제어 장치(200)는 기준 전자 장치(100)로 final 신호를 전송할 수 있다. 원격 제어 장치(200)에서 송신된 신호의 RTT(round trip time)인 Tround T는 poll 신호를 송신한 시각 TSP와 response 신호를 수신한 시각 TRR을 통해 측정될 수 있다. 기준 전자 장치(100)의 응답 지연 시간인 Treply A는, poll 신호를 수신한 시각 TRP와 response 신호를 송신한 시각 TSR을 통해 측정될 수 있다. 기준 전자 장치(100)가 TRP 및 TSR의 값을 response 신호와 함께 송신할 수 있으므로, 원격 제어 장치(200)는 기준 전자 장치(100)의 Treply A를 계산할 수 있다. 기준 전자 장치(100)에서 송신된 신호의 RTT인 Tround A는 response 신호를 송신한 시각 TSR과 final 신호를 수신한 시각 TRF를 통해 측정될 수 있다. 원격 제어 장치(200)와 기준 전자 장치(100) 간의 신호의 도달 시간(TOA, time of arrival)인 TP는 아래 [수학식 1]을 통해 계산될 수 있다.
Figure PCTKR2022012241-appb-img-000001
원격 제어 장치(200)와 기준 전자 장치(100) 사이의 거리는, Tp 및 신호의 속도를 이용하여 계산될 수 있다. 또한, 기준 전자 장치(100)는 원격 제어 장치(200)로 report optional 신호를 더 전송할 수 있다.
다만 도 4를 참조하여 설명한 UWB 통신 방법 외에도, 다양한 통신 방법에 기초하여 기준 전자 장치와 원격 제어 장치 간 거리가 측정될 수 있다. 예를 들어, 블루투스 또는 WiFi에 기초하여 기준 전자 장치와 원격 제어 장치 간 거리가 측정될 수 있다.
도 5a, 도5b, 도5c, 도 6a, 및 도 6b는, 일 실시 예에 따른 실내 환경(예: 도 3의 실내 환경)에서 기준 전자 장치(100)를 기준으로 하는 전역 좌표계가 설정되는 과정의 일 예의 측면들을 설명하기 위한 도면이다. 도 2a의 원격 제어 장치(200)의 지향 방향(255)에 대해 설명한 바와 같이, 도 5a, 도5b, 도5c, 도 6a, 및 도 6b는 기준 전자 장치(100), 원격 제어 장치(200)가 동작하는 실내 환경을 위에서 바라보는 것을 기준으로 할 수 있다. 예를 들어, 도 5a, 도5b, 도5c, 도 6a, 및 도 6b는 도 2a의 +Z축에서 실내 환경을 내려다본 X-Y평면을 나타낼 수 있다.
도 5a, 도 5b, 및 도 5c는 다양한 실시 예들에 따른 기준 전자 장치에 대한 원격 제어 장치의 상대 위치 정보를 결정하는 동작의 일 예의 측면들을 설명하기 위한 도면이다.
도 5a를 참조하면, 기준 전자 장치(100)의 프로세서(130)는 기준 전자 장치(100)에 대한 원격 제어 장치(200)의 상대 위치 정보를 결정할 수 있다. 상대 위치 정보에는 원격 제어 장치(200)로부터 기준 전자 장치(100)까지의 거리 d, 원격 제어 장치(200)로부터 기준 전자 장치(100)로의 방향(d에 대응하는 점선의 방향)과 원격 제어 장치(200)의 복수의 안테나들(251, 253)의 위치에 기초한 방향(직선(257)의 방향)에 대해 생성된 각도 ψ1이 포함될 수 있다.
일 실시 예에 따르면, 도 1b를 참조하여 설명한 바와 같이 기준 전자 장치(100)에는 UWB 안테나(155)가 포함될 수 있고, 도 2a 및 도 2b를 참조하여 설명한 바와 같이 원격 제어 장치(200)에는 UWB 안테나(251, 253)가 포함될 수 있다. 도 4를 참조하여 설명한 바와 같이, UWB 안테나(155, 251, 253) 간 거리 "b", 거리 d1 및 거리 d2에 대한 정보가 계산될 수 있다. 거리 "b", 거리 d1 및 거리 d2에 대한 정보는 기준 전자 장치(130)의 프로세서(130)에서 획득되거나, 원격 제어 장치(200)의 프로세서(230)에서 획득되어 기준 전자 장치(100)로 전송될 수 있다.
도 5b를 참조하면, 거리 "d" 및 각도 ψ1은 거리 "b", 거리 d1 및 거리 d2에 기초하여 결정될 수 있다. 일 실시 예에 따르면, 거리 d1 및 거리 d2가 거리 "b"보다 임계 수준 이상 크기 때문에, 거리 d1에 대응하는 직선과 거리 d2에 대응하는 직선이 평행하다고 할 수 있다. 따라서 거리 "a"는 "a" = d1-d2일 수 있고, 거리 "d"는 d1 또는 d2와 동일하다고 결정될 수 있다. 또한, 각도 ψ1은 아래 [수학식 2]를 이용하여 결정될 수 있다.
Figure PCTKR2022012241-appb-img-000002
도 5c를 참조하면, 일 실시 예에서, 도 5b와 다른 방법으로 거리 d 및 각도 ψ1 이 결정될 수 있다. 도 5c의 삼각형 ABC는 도 5a의 안테나(155), 안테나(251) 및 안테나(253)로 구성된 삼각형을 도시한 것으로, 점 A는 안테나(155), 점 B는 안테나(251), 점 C는 안테나(253)에 대응될 수 있다.
원격 제어 장치(200)의 기준 전자 장치(100)에 대한 상대 위치 정보는, 안테나(251)와 안테나(253)의 중점 M을 기준으로 하는 거리 "d" 및 각도 ψ1을 포함할 수 있다. 전술한 바와 같이 기준 전자 장치(100)의 프로세서(130)는 삼각형 ABC의 세 변의 길이 d1, "b", d2에 대한 정보를 획득할 수 있으므로, 예를 들어 코사인 법칙에 따라 삼각형 ABC의 각도 ∠C에 대한 정보를 계산할 수 있다.
일 실시 예에 따르면, 프로세서(130)는 삼각형 AMC의 두 변의 길이 b/2, d2에 대한 정보 또한 획득할 수 있으므로, 프로세서(130)는 삼각형 AMC의 두 변에 대한 길이 정보 및 각도 ∠C에 대한 정보에 기초하여, 예를 들어코사인 법칙에 따라 각도 ψ1에 대한 정보를 계산할 수 있다.
도 5a 내지 도 5c를 참조하여 설명한 바와 같이 원격 제어 장치(200)의 기준 전자 장치(100)에 대한 상대 위치 정보(예를 들어, 거리 d 및 각도 ψ1)가 결정되면, 프로세서(130)는 기준 전자 장치(100)를 기준으로 하는 전역 좌표계를 설정할 수 있다. 도 6a 및 도 6b를 참조하여 기준 전자 장치(100)를 기준으로 하는 전역 좌표계 설정 과정을 설명한다.
도 6a 및 도 6b는 다양한 실시 예들에 따른 기준 전자 장치를 기준으로 하는 전역 좌표계 상 원격 제어 장치의 지향 방향을 결정하는 동작의 일 예의 측면들을 설명하기 위한 도면이다.
도 6a를 참조하면, 위에서 내려다보았을 때 자북(magnetic north, 도 6a의 N)을 기준으로 도시한 기준 전자 장치(100), 원격 제어 장치(200)가 위치한 실내 환경(예를 들어, 도 3의 실내 환경)이 도시된다.
일 실시 예에 따르면, 기준 전자 장치(100)의 프로세서(130)는 도 4 및 도 5a를 참조하여 설명한 바와 같이 거리 d1, 거리 d2, 거리 "d", 각도 ψ1에 대한 정보를 획득 또는 계산할 수 있다. 일 실시 예에 따르면, 도 2a를 참조하여 설명한 바와 같이 원격 제어 장치(200)의 지향 방향(255)은 복수의 안테나들(251, 253)에 대응하는 직선(257)에 대해, 각도 ψd 방향일 수 있다.
일 실시 예에 따르면, 도 1b를 참조하여 설명한 바와 같이 프로세서(130)는 센싱부(191)에 기초하여 자북 방향에 따른 직선(610)에 대응하는 기준 전자 장치(100)의 방위각(yaw) ψ3에 대한 정보를 획득할 수 있다. 도 2b를 참조하여 설명한 바와 같이, 원격 제어 장치(200)의 프로세서(230)는 센싱부(291)에 기초하여 자북 방향에 따른 직선(650)에 대응하는 원격 제어 장치(200)의 방위각 ψ2에 대한 정보를 획득할 수 있다. 기준 전자 장치(100)의 프로세서(130)는 원격 제어 장치(200)로부터 원격 제어 장치(200)의 방위각 ψ2에 대한 정보를 수신할 수 있다.
도 6b는 도 6a를 실내 환경(예를 들어, 도 3의 실내 환경)에서 기준 전자 장치(100)를 기준으로 회전한 도면으로, 일 실시 예에 따른 기준 전자 장치(100)를 기준으로 하는 전역 좌표계일 수 있다. 일 실시 예에 따르면, 기준 전자 장치(100)의 프로세서(130)는 기준 전자 장치(100)를 기준으로 하는 전역 좌표계 상 원격 제어 장치(200)의 좌표(670)에 대한 정보를 획득할 수 있다. 예를 들어, 좌표(670)는 (-d×cos (ø1+ø2+ø3), -d×sin(ø1+ø2+ø3))로 결정될 수 있다.
일 실시 예에 따르면, 프로세서(130)는 기준 전자 장치(100)를 기준으로 하는 전역 좌표계 상 원격 제어 장치(200)의 지향 방향(255)의 각도를 계산할 수 있다. 예를 들어, 기준 전자 장치(100)를 기준으로 하는 전역 좌표계 상 원격 제어 장치(200)의 지향 방향(255)의 각도는 ød+ø2+ø3일 수 있다.
일 실시 예에 따르면, 기준 전자 장치(100)를 기준으로 하는 전역 좌표계 상 원격 제어 장치(200)의 지향 방향(255)의 각도는 도 2a를 참조하여 설명한 바와 같이 X-Y평면 상의 각도(yaw)일 수 있다. 일 실시 예에 따르면, 도 2b를 참조하여 설명한 바와 같이 원격 제어 장치(200)의 프로세서(230)는 센싱부(291)를 통해 원격 제어 장치(200)의 피치(pitch) 각도 및/또는 롤(roll) 각도 값에 대한 정보를 획득할 수 있고, 획득한 정보를 기준 전자 장치(100)로 전송할 수 있다. 일 실시 예에 따르면, 기준 전자 장치(100)의 프로세서(130)는 수신한 원격 제어 장치(200)의 피치 각도 및 롤 각도 값에 대한 정보에 기초하여 원격 제어 장치(200)의 지향 정보를 보정할 수 있다.
일 실시 예에 따르면, 기준 전자 장치(100)의 프로세서(120)는 전역 좌표계 상 원격 제어 장치(200)의 좌표(670) 및 지향 방향(255) 사이의 각도에 기초하여 제어 대상 디바이스를 결정할 수 있다.
일 실시 예에 따르면, 도 3을 참조하여 설명한 바와 같이 실내 환경(예: 도 3의 실내 환경)의 디바이스들(예: 도 3의 제1 디바이스(310), 제2 디바이스(320))의 좌표계 상 감지 가능 영역이 미리 등록되어 있을 수 있다. 도 6a 및 도 6b에서 디바이스의 감지 영역(690)은 설명의 편의를 위해 디바이스 형태로 도시되었으나, 좌표계 상 감지 가능 영역은 임의의 모양으로 등록되어 있을 수 있다.
일 실시 예에 따르면, 원격 제어 장치(200)를 통한 디바이스 제어 입력(예를 들어, 전원 온(ON))이 기준 전자 장치(100)로 전송될 수 있고, 프로세서(130)는 도 5a, 도 5b, 도 5c, 도 6a, 및 도 6b를 참조하여 설명한 바와 같이 디바이스 제어 입력을 수신한 시점의 원격 제어 장치(200)의 좌표계 상 위치(예: 좌표(670))에 대한 정보 및 지향 방향(255)의 각도를 계산할 수 있다. 일 실시 예에 따르면, 프로세서(130)는 좌표(670) 및 각도에 기초하여, 실내 환경의 디바이스들(예: 도 3의 제1 디바이스(310), 제2 디바이스(320))의 미리 등록된 감지 가능 영역들 중 중첩되는 감지 가능 영역에 대응하는 디바이스를 제어 대상 디바이스로 결정할 수 있다.
일 실시 예에 따르면, 프로세서(130)는 사용자 입력에 따라 제어 대상 디바이스를 제어할 수 있다. 예를 들어, 프로세서(130)는 원격 제어 장치(200)로 입력된 전원 온 입력에 따라 제어 대상 디바이스의 전원을 켤 수 있다.
실내 환경에서 기준 전자 장치(100)를 기준으로 하는 전역 좌표계를 설정함으로써, 사용자는 원격 제어 장치(200)의 위치를 파악하기 위한 별도의 공간 설정 과정 없이 원격 제어 장치(200)를 통해 제어 대상 디바이스를 제어할 수 있다.
< 기준 전자 장치의 동작방법 >
도 7은 다양한 실시 예들에 따른 기준 전자 장치의 동작의 일 예를 설명하기 위한 흐름도이다.
도 7 내지 도 8을 참조하여 설명할 동작들(동작 710 내지 동작 730, 동작 810 내지 동작 830)은 도 1a 및 도 1b를 참조하여 전술된 기준 전자 장치(100)의 프로세서(130) 및/또는 도 2a 및 도 2b를 참조하여 전술된 원격 제어 장치(200)의 프로세서(230)에 의해 수행될 수 있다. 설명의 편의를 위해 기준 전자 장치(100)의 프로세서(130)를 기준으로 이하 동작을 설명한다. 간명한 설명을 위해 도 1a 내지 도 6b를 참조하여 설명한 내용과 중복되는 내용은 여기에서 생략될 수 있다.
일 실시 예에 따르면, 동작 710에서 프로세서(130)는 기준 전자 장치(100)에 대한 원격 제어 장치(200)의 상대 위치 정보를 결정할 수 있다. 도 5a 내지 도 5c를 참조하여 설명한 바와 같이, 상대 위치 정보에는 원격 제어 장치(200)로부터 기준 전자 장치(100)까지의 거리 "d", 원격 제어 장치(200)로부터 기준 전자 장치(100)로의 방향과 원격 제어 장치(200)의 복수의 안테나들의 위치에 기초한 방향으로 생성된 각도 ψ1이 포함될 수 있다. 기준 전자 장치에 대한 원격 제어 장치의 상대 위치 정보를 결정하는 방법을 도 8을 참조하여 상세히 설명한다.
일 실시 예에 따르면, 동작 720에서 프로세서(130)는 동작 710에서 결정한 상대 위치 정보, 기준 전자 장치(100)의 방위각 정보, 원격 제어 장치(200)의 방위각 정보에 기초하여 기준 전자 장치(100)를 기준으로 하는 전역 좌표계 상 원격 제어 장치(200)의 좌표 및 원격 제어 장치(200)의 지향 방향의 각도를 계산할 수 있다.
도 6a를 참조하여 설명한 바와 같이, 프로세서(130)는 기준 전자 장치(100)의 방위각 ψ3에 대한 정보 및 원격 제어 장치(200)의 방위각 ψ2에 대한 정보를 획득할 수 있다.
도 6b를 참조하여 설명한 바와 같이, 프로세서(130)는 기준 전자 장치(100)를 기준으로 하는 전역 좌표계 상 원격 제어 장치(200)의 좌표(예: 도 6b의 좌표(670))에 대한 정보를 획득할 수 있다. 예를 들어, 좌표는 기준 전자 장치(100)의 안테나(예: 도 6b의 안테나(155))를 원점으로 하는 좌표계 상 (-d×cos(ø1+ø2+ø3), -d×sin(ø1+ø2+ø3))로 결정될 수 있다. 도 6b를 참조하여 설명한 바와 같이, 프로세서(130)는 기준 전자 장치(100)를 기준으로 하는 전역 좌표계 상 원격 제어 장치(200)의 지향 방향(255)의 각도를 계산할 수 있다. 예를 들어, 기준 전자 장치(100)를 기준으로 하는 전역 좌표계 상 원격 제어 장치(200)의 지향 방향(255)의 각도는 ød+ø2+ø3일 수 있다.
일 실시 예에 따르면, 동작 730에서 프로세서(130)는 전역 좌표계 상 원격 제어 장치(200)의 좌표 및 원격 제어 장치(200)의 지향 방향(255)의 각도에 기초하여, 원격 제어 장치(200)로 제어하고자 하는 제어 대상 디바이스를 결정할 수 있다.
도 6b를 참조하여 설명한 바와 같이, 원격 제어 장치(200)를 통한 디바이스 제어 입력(예를 들어, 전원 온(ON))이 기준 전자 장치(100)로 전송될 수 있고, 프로세서(130)는 디바이스 제어 입력을 수신한 시점의 원격 제어 장치(200)의 좌표계 상 좌표에 대한 정보 및 지향 방향(255)의 각도를 계산할 수 있다. 프로세서(130)는 좌표 및 각도에 기초하여, 실내 환경의 디바이스들(예: 도 3의 제1 디바이스(310), 제2 디바이스(320))의 미리 등록된 감지 가능 영역들 중 중첩되는 감지 가능 영역에 대응하는 디바이스를 제어 대상 디바이스로 결정할 수 있다.
일 실시 예에 따르면, 프로세서(130)는 사용자 입력에 따라 제어 대상 디바이스를 제어할 수 있다. 예를 들어, 프로세서(130)는 원격 제어 장치(200)로 입력된 전원 온 입력에 따라 제어 대상 디바이스의 전원을 켤 수 있다.
도 8은 다양한 실시 예들에 따른 기준 전자 장치에 대한 원격 제어 장치의 상대 위치 정보를 결정하는 동작의 일 예를 설명하기 위한 흐름도이다.
일 실시 예에 따르면, 동작 810 내지 830은, 예를 들어, 도 7을 참조하여 설명한 기준 전자 장치에 대한 원격 제어 장치의 상대 위치 정보를 결정하는 동작(예: 도 7의 동작 710)에 대응될 수 있다.
일 실시 예에 따르면, 동작 810에서 프로세서(130)는 원격 제어 장치(200)의 복수의 안테나들 각각으로부터 기준 전자 장치(100)까지의 거리에 대한 정보를 획득할 수 있다.
일 실시 예에 따르면, 동작 820에서 프로세서(130)는 원격 제어 장치(200)의 복수의 안테나들 사이의 거리에 대한 정보를 획득할 수 있다.
도 4를 참조하여 설명한 바와 같이, 예를 들어 UWB 통신의 ToA 방식에 기초하여 도 5a의 거리 d1, 거리 d2 및 거리 b가 획득되거나 측정될 수 있고, 동작 810 및 동작 820에서 프로세서(130)는 거리에 대한 정보를 획득할 수 있다.
일 실시 예에 따르면, 동작 830에서 프로세서(130)는 기준 전자 장치(100)에 대한 원격 제어 장치(200)의 상대 위치 정보를 결정할 수 있다. 도 5b 및 도 5c를 참조하여 설명한 바와 같이, 프로세서(130)는 원격 제어 장치(200)의 복수의 안테나들 각각으로부터 기준 전자 장치(100)까지의 거리(예: 도 5a의 거리 d1 및 거리 d2)에 대한 정보 및 복수의 안테나들 사이의 거리(예: 도 5a의 거리 "b")에 대한 정보에 기초하여, 원격 제어 장치(200)로부터 기준 전자 장치(100)까지의 거리 "d", 원격 제어 장치(200)로부터 기준 전자 장치(100)로의 방향과 원격 제어 장치(200)의 복수의 안테나들의 위치에 기초한 방향으로 생성된 각도 ψ1에 대한 정보를 결정할 수 있다.
도 9a, 도 9b, 및 도 9c는, 다양한 실시 예들에 따른 기준 전자 장치(100)를 기준으로 전역 좌표계 상 원격 제어 장치(200)의 지향 방향을 결정하는 동작의 일 예를 설명하기 위한 도면이다.
도 1 내지 도 8을 참조하여 전술한 내용과 중복되는 설명은 여기에서 생략한다. 일 례로, 기준 전자 장치(100)는 도 1a 및 도 1b를 참조하여 전술한 구성 요소들의 적어도 일부를 포함할 수 있고, 원격 제어 장치(200)에는 도 2a 및 도 2b를 참조하여 전술한 설명이 적용될 수 있다. 다른 일 례로, 도 9a 내지 도 9c를 참조하여 설명하는 예시 동작들은 도 3을 참조하여 전술한 실내 환경에서 기준 전자 장치(100)의 프로세서(130)에 의해 수행될 수 있다.
도 9a, 도 9b, 및 도 9c는, 다양한 실시 예들에 따른 실내 환경(예: 도 3의 실내 환경)에서 기준 전자 장치(100)를 기준으로 하는 전역 좌표계가 설정되는 과정의 일 예의 측면들을 설명하기 위한 도면일 수 있다. 도 2a의 원격 제어 장치(200)의 지향 방향(255)에 대해 설명한 바와 같이, 도 9a, 도 9b, 및 도 9c는 기준 전자 장치(100), 원격 제어 장치(200)가 동작하는 실내 환경을 위에서 바라보는 것을 기준으로 할 수 있다. 예를 들어, 도 9a 내지 도 9c는 도 2a의 +Z축에서 실내 환경을 내려다본 X-Y평면에 대응할 수 있다.
도 9a 내지 도 9c를 참조하여 설명하는 실시 예는, 도 5a, 도 5b, 도 5c, 도 6a, 및 도 6b를 참조하여 전술한 방법과 차이가 있을 수 있다. 예를 들어 도 5a, 도 5b, 도 5c, 도 6a, 및 도 6b를 참조하여 전술한 원격 제어 장치(200)의 지향 방향을 결정하는 방법에서는 기준 전자 장치(100)의 안테나가 1개(예를 들어, 도 5a, 도 6a 및 도 6b의 안테나(155))였지만, 도 9a 내지 도 9c를 참조하여 설명하는 실시 예에서는 기준 전자 장치(100)의 안테나가 2개(951, 953)일 수 있다. 다만 도 9a 내지 도 9c를 참조하여 설명하는 실시 예에서 기준 전자 장치(100)의 안테나 개수가 2개로 제한되는 것은 아니고, 예를 들어, 측위 정확성 향상을 위해 2개보다 많은 안테나가 사용될 수 있다.
또한, 도 5a 내지 도 6b를 참조하여 전술한 방법에서는 기준 전자 장치(100)의 방위각 정보(예: 도 6a 및 도 6b의 ψ3) 및 원격 제어 장치(200)의 방위각 정보(예: 도 6a 및 도 6b의 ψ2)를 활용하지만, 도 9a 내지 도 9c를 참조하여 설명할 실시 예에서는 방위각 정보를 활용하지 않을 수 있다.
도 9a 내지 도 9c를 참조하여 설명하는 실시 예에서, 기준 전자 장치(100)의 프로세서(130)를 기준으로 동작을 설명하지만, 통신에 기초하여 원격 제어 장치(200)의 프로세서(230) 또는 서버에서 동작이 수행될 수 있다. 도 9a 내지 도 9c를 참조하면, 기준 전자 장치(100)에는 UWB 통신을 위한 복수의 안테나(951, 953)가, 원격 제어 장치(200)에는 UWB 통신을 위한 복수의 안테나(251, 253)가 포함될 수 있다. 다만 통신 방법이 UWB 통신으로 제한되는 것은 아니고, 블루투스, WiFi 등 다양한 통신 방법이 활용될 수 있다.
도 9a는 거리 dA 및 각도 ψA를 획득하는 과정의 측면들을 설명한다. 도 9b는 거리 dB 및 각도 ψB를 획득하는 과정의 측면들을 설명한다.
도 9a를 참조하면, 기준 전자 장치(100)의 프로세서(130)는 기준 전자 장치(100)로부터 원격 제어 장치(200)까지의 거리 dA, 기준 전자 장치(100)로부터 원격 제어 장치(200)로의 직선(dA에 대응하는 직선)과 기준 전자 장치(100)의 복수의 안테나들(951, 953)의 위치에 기초한 직선(957)으로 생성된 각도 ψA에 대한 정보를 획득할 수 있다. 거리 정보가 UWB 통신에 기초하여 획득되는 경우, 도 4를 참조하여 전술한 바에 기초하여 dA에 대한 정보가 획득될 수 있다.
거리 dA 및 각도 ψA에 대한 정보를 획득하는 과정은 도 5a 내지 도 5c를 참조하여 설명한 바와 중복되므로, 상세한 설명을 생략한다. 거리 dA 및 각도 ψA에 대한 정보는 기준 전자 장치(100)의 프로세서(130)에 의해 획득되거나, 원격 제어 장치(200)의 프로세서(230)가 획득하여 기준 전자 장치(100)로 전송될 수 있다.
도 9b를 참조하면, 기준 전자 장치(100)의 프로세서(130)는 원격 제어 장치(200)로부터 기준 전자 장치(100)까지의 거리 dB, 원격 제어 장치(200)로부터 기준 전자 장치(100)로의 직선(dB에 대응하는 직선)과 원격 제어 장치(200)의 복수의 안테나들(251, 253)의 위치에 기초한 직선(257)으로 생성된 각도 ψB에 대한 정보를 획득할 수 있다. 거리 정보가 UWB 통신에 기초하여 획득되는 경우, 도 4를 참조하여 전술한 바에 기초하여 dB에 대한 정보가 획득될 수 있다.
거리 dB 및 각도 ψB에 대한 정보를 획득하는 과정은 도 5a 내지 도 5c를 참조하여 설명한 바와 중복되므로, 상세한 설명을 생략한다. 거리 dB 및 각도 ψB에 대한 정보는 기준 전자 장치(100)의 프로세서(130)에 의해 획득되거나, 원격 제어 장치(200)의 프로세서(230)가 획득하여 기준 전자 장치(100)로 전송될 수 있다.
도 9c는 기준 전자 장치(100)를 기준으로 하는 전역 좌표계 상에서 원격 제어 장치(200)의 지향 방향을 결정하는 방법의 일 예의 측면들을 설명한다.
일 실시 예에 따르면, 기준 전자 장치(100)의 프로세서(130)는 도 9a 및 도 9b를 참조하여 설명한 바와 같이 거리 dA, dB 및 각도 ψA, ψB에 대한 정보를 획득할 수 있다. 일 실시 예에 따르면, 기준 전자 장치(100)의 두 안테나(951, 953)의 중점(900)으로부터 원격 제어 장치(200)의 두 안테나(251, 253)의 중점(910) 까지의 거리는 거리 D일 수 있고, 두 안테나(951, 953) 또는 두 안테나(251, 253) 사이의 거리가 거리 D에 비해 무시할 수 있을 정도로 작기 때문에, 거리 D는 도 9a 및 도 9b를 참조하여 전술한 거리 dA 또는 거리 dB와 동일할 수 있다.
일 실시 예에 따르면, 도 2a를 참조하여 설명한 바와 같이 원격 제어 장치(200)의 지향 방향(255)은 복수의 안테나들(251, 253)에 대응하는 직선(257)에 대해, 각도 ψd, 예를 들어 90도를 이루는 방향일 수 있다.
도 9c는 일 실시 예에 따른 기준 전자 장치(100)를 기준으로 하는 전역 좌표계일 수 있고, 기준 전자 장치(100)의 프로세서(130)는 거리 D, 각도 ψA, ψB,ψd에 기초하여 원격 제어 장치(200)의 지향 방향(255)을 결정할 수 있다.
도 9c를 참조하면, 기준 전자 장치(100)의 프로세서(130)는 기준 전자 장치(100)의 중심(900)을 원점으로 하는 전역 좌표계 상 원격 제어 장치(200)의 좌표(910)에 대한 정보를 획득할 수 있다. 예를 들어, 좌표(910)는 (-D×cos(øA), -D×sin(øA))로 결정될 수 있다.
일 실시 예에 따르면, 프로세서(130)는 기준 전자 장치(100)를 기준으로 하는 전역 좌표계 상 원격 제어 장치(200)의 지향 방향(255)의 각도를 계산할 수 있다. 예를 들어, 기준 전자 장치(100)를 기준으로 하는 전역 좌표계 상 원격 제어 장치(200)의 지향 방향(255)의 각도는 øA-øB+ød일 수 있다.
일 실시 예에 따르면, 기준 전자 장치(100)를 기준으로 하는 전역 좌표계 상 원격 제어 장치(200)의 지향 방향(255)의 각도는 도 2a를 참조하여 설명한 바와 같이 X-Y평면 상의 각도(yaw)일 수 있다. 일 실시 예에 따르면, 도 2b를 참조하여 설명한 바와 같이 원격 제어 장치(200)의 프로세서(230)는 센싱부(291)를 통해 원격 제어 장치(200)의 피치(pitch) 각도 및/또는 롤(roll) 각도 값에 대한 정보를 획득할 수 있고, 기준 전자 장치(100)로 획득된 정보를 전송할 수 있다. 일 실시 예에 따르면, 기준 전자 장치(100)의 프로세서(130)는 수신한 원격 제어 장치(200)의 피치 및 롤 값에 대한 정보에 기초하여 원격 제어 장치(200)의 지향 정보를 보정할 수 있다.
일 실시 예에 따르면, 기준 전자 장치(100)의 프로세서(120)는 전역 좌표계 상 원격 제어 장치(200)의 좌표(670) 및 지향 방향(255) 사이의 각도에 기초하여 제어 대상 디바이스를 결정할 수 있다.
도 6a 및 도 6b를 참조하여 전술한 바와 같이, 실내 환경(예: 도 3의 실내 환경)의 디바이스들(예: 도 3의 제1 디바이스(310), 제2 디바이스(320))의 좌표계 상 감지 가능 영역이 미리 등록되어 있을 수 있다.
일 실시 예에 따르면, 원격 제어 장치(200)를 통한 디바이스 제어 입력(예를 들어, 전원 온(ON))이 기준 전자 장치(100)로 전송될 수 있고, 프로세서(130)는 도 9a 내지 도 9c를 참조하여 설명한 바와 같이 디바이스 제어 입력을 수신한 시점의 원격 제어 장치(200)의 좌표계 상 위치(예: 좌표(910))에 대한 정보 및 지향 방향(255)의 각도를 계산할 수 있다.
일 실시 예에 따르면, 프로세서(130)는 좌표(910) 및 각도에 기초하여, 실내 환경의 디바이스들(예: 도 3의 제1 디바이스(310), 제2 디바이스(320))의 미리 등록된 감지 가능 영역들 중 중첩되는 감지 가능 영역에 대응하는 디바이스(990)를 제어 대상 디바이스로 결정할 수 있다.
일 실시 예에 따르면, 프로세서(130)는 사용자 입력에 따라 제어 대상 디바이스를 제어할 수 있다. 예를 들어, 프로세서(130)는 원격 제어 장치(200)로 입력된 전원 온 입력에 따라 제어 대상 디바이스(990)의 전원을 켤 수 있다.
실내 환경에서 기준 전자 장치(100)를 기준으로 하는 전역 좌표계를 설정함으로써, 사용자는 원격 제어 장치(200)의 위치를 파악하기 위한 별도의 공간 설정 과정 없이 원격 제어 장치(200)를 통해 제어 대상 디바이스를 제어할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
본 개시가 다양한 실시 예들을 참조하여 예시되고 설명되었지만, 다양한 실시 예들은 제한이 아니라 예시적인 것으로 의도된다는 것이 이해될 것이다. 첨부된 특허청구범위 및 그 균등물들을 포함하는 본 개시의 진정한 사상 및 전체 범위를 벗어나지 않고 형태 및 세부사항의 다양한 변경이 이루어질 수 있다는 것이 당업자에 의해 추가로 이해될 것이다. 여기에 설명된 임의의 실시 예(들)는 여기에 설명된 임의의 다른 실시 예(들)와 함께 사용될 수 있음이 또한 이해될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    하나 이상의 안테나를 통해 통신을 수행하는, 통신 회로를 포함하는 통신 모듈;
    상기 전자 장치의 방위각(yaw)을 측정하기 위한 센서 모듈;
    컴퓨터로 실행 가능한 명령어들(computer-executable instructions)이 저장된 메모리; 및
    상기 메모리에 억세스(access)하여 상기 명령어들을 실행하는 프로세서
    를 포함하고,
    상기 명령어들은, 실행될 때,
    상기 전자 장치에 대한 원격 제어 장치의 상대 위치 정보를 결정하고,
    상기 상대 위치 정보, 상기 센서 모듈로 측정된 상기 전자 장치의 상기 방위각 정보 및 상기 원격 제어 장치의 방위각 정보에 기초하여 상기 원격 제어 장치의 좌표 및 상기 전자 장치를 기준으로 하는 전역 좌표계(global coordinate system) 상 상기 원격 제어 장치의 지향 방향의 각도(yaw)를 계산하고,
    상기 좌표 및 상기 각도에 기초하여 상기 원격 제어 장치로 제어하고자 하는 제어 대상 디바이스를 결정
    하도록 상기 전자 장치를 제어하도록 상기 프로세서를 구성하는,
    전자 장치.
  2. 제1항에 있어서,
    상기 명령어들은,
    상기 제어 대상 디바이스가 결정된 경우,
    상기 원격 제어 장치를 통해 상기 제어 대상 디바이스를 제어
    하도록 상기 전자 장치를 제어하도록 상기 프로세서를 더 구성하는,
    전자 장치.
  3. 제1항에 있어서,
    상기 명령어들은,
    상기 전역 좌표계(global coordinate system) 상 상기 원격 제어 장치의 상기 지향 방향의 상기 각도(yaw), 상기 원격 제어 장치의 피치(pitch) 각도 및 상기 원격 제어 장치의 롤(roll) 각도에 기초하여 상기 원격 제어 장치의 지향 정보를 보정
    하도록 상기 전자 장치를 제어하도록 상기 프로세서를 더 구성하는,
    전자 장치.
  4. 제1항에 있어서,
    상기 상대 위치 정보는,
    상기 원격 제어 장치로부터 상기 전자 장치까지의 거리에 대한 정보; 및
    상기 원격 제어 장치로부터 상기 전자 장치로의 방향 및 상기 원격 제어 장치의 상기 지향 방향에 대응하는 각도에 대한 정보
    를 포함하는,
    전자 장치.
  5. 제1항에 있어서,
    상기 전자 장치에 대한 상기 원격 제어 장치의 상기 상대 위치 정보는,
    상기 원격 제어 장치에 포함된 복수의 안테나들 각각으로부터 상기 전자 장치까지의 거리에 대한 정보; 및
    상기 복수의 안테나들 사이의 거리에 대한 정보
    에 기초하여 결정되는,
    전자 장치.
  6. 제1항에 있어서,
    상기 원격 제어 장치의 방위각(yaw)은,
    상기 원격 제어 장치에 포함된 센서 모듈을 통해 측정되는,
    전자 장치.
  7. 제1항에 있어서,
    상기 전자 장치는 상기 원격 제어 장치와 초광대역(UWB; ultra wide band) 통신을 수행하는,
    전자 장치.
  8. 제1항에 있어서,
    상기 명령어들은,
    상기 전역 좌표계(global coordinate system) 상 상기 원격 제어 장치의 상기 좌표, 상기 지향 방향의 상기 각도 및 미리 등록된 감지 가능 영역에 기초하여 상기 제어 대상 디바이스를 결정
    하도록 상기 전자 장치를 제어하도록 상기 프로세서를 더 구성하는,
    전자 장치.
  9. 제1항에 있어서,
    상기 원격 제어 장치는 2개의 안테나들을 포함하고,
    상기 원격 제어 장치의 상기 지향 방향은 상기 2개의 안테나를 연결한 직선에 수직인 방향으로 결정되는,
    전자 장치.
  10. 전자 장치의 동작 방법에 있어서,
    상기 전자 장치에 대한 원격 제어 장치의 상대 위치 정보를 결정하는 동작;
    상기 상대 위치 정보, 상기 전자 장치의 방위각 정보 및 상기 원격 제어 장치의 방위각 정보에 기초하여, 상기 전자 장치를 기준으로 하는 전역 좌표계(global coordinate system) 상 상기 원격 제어 장치의 좌표 및 상기 원격 제어 장치의 지향 방향의 각도(yaw)를 계산하는 동작; 및
    상기 좌표 및 상기 각도에 기초하여 상기 원격 제어 장치로 제어하고자 하는 제어 대상 디바이스를 결정하는 동작
    을 포함하는,
    전자 장치의 동작 방법.
  11. 제10항에 있어서,
    상기 제어 대상 디바이스가 결정된 경우,
    상기 원격 제어 장치를 통해 상기 제어 대상 디바이스를 제어하는 동작
    을 더 포함하는,
    전자 장치의 동작 방법.
  12. 제10항에 있어서,
    상기 전역 좌표계(global coordinate system) 상 상기 원격 제어 장치의 상기 지향 방향의 상기 각도(yaw), 상기 원격 제어 장치의 피치(pitch) 각도 및 상기 원격 제어 장치의 롤(roll) 각도에 기초하여 상기 원격 제어 장치의 지향 정보를 보정하는 동작
    을 더 포함하는,
    전자 장치의 동작 방법.
  13. 제10항에 있어서,
    상기 상대 위치 정보는,
    상기 원격 제어 장치로부터 상기 전자 장치까지의 거리에 대한 정보; 및
    상기 원격 제어 장치로부터 상기 전자 장치로의 방향 및 상기 원격 제어 장치의 상기 지향 방향에 대응하는 각도에 대한 정보
    를 포함하는,
    전자 장치의 동작 방법.
  14. 컴퓨터로 판독 가능한 비일시적 기록 매체에 있어서,
    전자 장치의 프로세서에 의해 실행될 때,
    상기 전자 장치에 대한 원격 제어 장치의 상대 위치 정보를 결정하는 동작;
    상기 상대 위치 정보, 상기 전자 장치의 방위각 정보 및 상기 원격 제어 장치의 방위각 정보에 기초하여, 상기 전자 장치를 기준으로 하는 전역 좌표계(global coordinate system) 상 상기 원격 제어 장치의 좌표 및 상기 원격 제어 장치의 지향 방향의 각도(yaw)를 계산하는 동작; 및
    상기 좌표 및 상기 각도에 기초하여 상기 원격 제어 장치로 제어하고자 하는 제어 대상 디바이스를 결정하는 동작
    을 하도록 상기 전자 장치를 제어하도록 상기 프로세서를 구성하는 프로그램이 기록되어 있는,
    컴퓨터로 판독 가능한 비일시적 기록 매체.
  15. 제14항에 있어서,
    상기 제어 대상 디바이스를 결정하는 동작은,
    상기 전역 좌표계(global coordinate system) 상 상기 원격 제어 장치의 상기 좌표, 상기 지향 방향의 상기 각도 및 미리 등록된 감지 가능 영역에 기초하여 결정하는 동작
    을 포함하고,
    상기 제어 대상 디바이스가 결정된 경우,
    상기 전자 장치가,
    상기 원격 제어 장치를 통해 상기 제어 대상 디바이스를 제어하는 동작
    을 더 하도록 하는 프로그램이 기록되어 있는,
    컴퓨터로 판독 가능한 비일시적 기록 매체.
PCT/KR2022/012241 2021-08-23 2022-08-17 외부 전자 장치를 제어하는 전자 장치 및 그의 동작 방법 WO2023027411A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280057281.7A CN117836650A (zh) 2021-08-23 2022-08-17 用于控制外部电子设备的电子设备及其操作方法
EP22861621.5A EP4290266A1 (en) 2021-08-23 2022-08-17 Electronic device for controlling external electronic device and operation method thereof
US17/961,280 US11914803B2 (en) 2021-08-23 2022-10-06 Electronic device for controlling external electronic devices using relative position information and operating method thereof

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2021-0110695 2021-08-23
KR20210110695 2021-08-23
KR10-2022-0015253 2022-02-07
KR1020220015253A KR20230029487A (ko) 2021-08-23 2022-02-07 외부 전자 장치를 제어하는 전자 장치 및 그의 동작 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/961,280 Continuation US11914803B2 (en) 2021-08-23 2022-10-06 Electronic device for controlling external electronic devices using relative position information and operating method thereof

Publications (1)

Publication Number Publication Date
WO2023027411A1 true WO2023027411A1 (ko) 2023-03-02

Family

ID=85323295

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/012241 WO2023027411A1 (ko) 2021-08-23 2022-08-17 외부 전자 장치를 제어하는 전자 장치 및 그의 동작 방법

Country Status (1)

Country Link
WO (1) WO2023027411A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050099585A (ko) * 2004-04-10 2005-10-13 삼성전자주식회사 3차원 포인팅 기기 제어 방법 및 장치
KR20170001435A (ko) * 2015-06-26 2017-01-04 엘지전자 주식회사 복수의 디바이스에 대한 원격제어를 수행할 수 있는 이동 단말기
KR20170037618A (ko) * 2014-07-25 2017-04-04 7허그 랩스 제어될 설비의 부분을 결정하고 제어하기 위한 방법, 이들 방법을 실행하는 장치, 용도 및 시스템
WO2020049527A1 (en) * 2018-09-07 2020-03-12 7Hugs Labs System and method for a smart remote carousel
KR20210048959A (ko) * 2019-10-24 2021-05-04 삼성전자주식회사 안테나를 포함하는 전자 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050099585A (ko) * 2004-04-10 2005-10-13 삼성전자주식회사 3차원 포인팅 기기 제어 방법 및 장치
KR20170037618A (ko) * 2014-07-25 2017-04-04 7허그 랩스 제어될 설비의 부분을 결정하고 제어하기 위한 방법, 이들 방법을 실행하는 장치, 용도 및 시스템
KR20170001435A (ko) * 2015-06-26 2017-01-04 엘지전자 주식회사 복수의 디바이스에 대한 원격제어를 수행할 수 있는 이동 단말기
WO2020049527A1 (en) * 2018-09-07 2020-03-12 7Hugs Labs System and method for a smart remote carousel
KR20210048959A (ko) * 2019-10-24 2021-05-04 삼성전자주식회사 안테나를 포함하는 전자 장치

Similar Documents

Publication Publication Date Title
WO2015002380A1 (en) Electronic device and method for controlling multi-windows in the electronic device
WO2019093852A1 (ko) 복수개의 전자 장치들 간의 거리 측정 방법 및 그에 따른 전자 장치
WO2015041405A1 (en) Display apparatus and method for motion recognition thereof
WO2017099331A1 (ko) 전자 장치 및 전자 장치의 사용자 인터페이스 제공 방법
EP2979364A1 (en) Portable terminal, hearing aid, and method of indicating positions of sound sources in the portable terminal
EP3357254A1 (en) Electronic apparatus and controlling method thereof
WO2021101327A1 (en) Display device and operating method thereof
WO2021118278A1 (en) Display device and operating method of the same
WO2020256458A1 (en) Electronic device for determining location information of external device
WO2017183888A2 (en) Positioning method and apparatus
WO2018097421A2 (ko) 이동 단말기 및 그의 동작 방법
WO2020080675A1 (en) Remote control apparatus and control method thereof
WO2023027411A1 (ko) 외부 전자 장치를 제어하는 전자 장치 및 그의 동작 방법
WO2019212144A1 (en) Electronic device and operating method thereof
WO2020116845A1 (ko) 원격 제어 장치, 디스플레이 장치 및 이를 포함하는 원격 제어 시스템
WO2023027339A1 (ko) 외부 전자 장치의 위치 정보를 결정하기 위한 전자 장치 및 그의 동작방법
WO2019143072A1 (ko) 안테나의 위상을 스윕하기 위한 전자 장치
WO2022010115A1 (ko) Uwb 서비스를 제공하기 위한 안테나 제어 방법 및 이를 지원하는 전자 장치
KR20230029487A (ko) 외부 전자 장치를 제어하는 전자 장치 및 그의 동작 방법
WO2021215815A1 (ko) 무선 통신 채널을 수립하는 전자 장치 및 이의 동작 방법
WO2024117518A1 (ko) 복수의 외부 전자 장치들에 기반하여 위치를 식별하기 위한 전자 장치 및 방법
WO2023058879A1 (ko) 측위 각도 조정을 통해 외부 장치 검색 방법 및 전자 장치
WO2024071625A1 (ko) 가상 현실 영상을 표시하는 영상 표시 장치 및 그 표시 방법
WO2022139456A1 (ko) 전자 장치 및 그 동작 방법
WO2023080434A1 (ko) 지오펜스를 이용하는 전자 장치 및 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22861621

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022861621

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022861621

Country of ref document: EP

Effective date: 20230908

WWE Wipo information: entry into national phase

Ref document number: 202280057281.7

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE