WO2021002681A1 - 객체를 인식하기 위한 전자 장치 및 그의 동작 방법 - Google Patents

객체를 인식하기 위한 전자 장치 및 그의 동작 방법 Download PDF

Info

Publication number
WO2021002681A1
WO2021002681A1 PCT/KR2020/008609 KR2020008609W WO2021002681A1 WO 2021002681 A1 WO2021002681 A1 WO 2021002681A1 KR 2020008609 W KR2020008609 W KR 2020008609W WO 2021002681 A1 WO2021002681 A1 WO 2021002681A1
Authority
WO
WIPO (PCT)
Prior art keywords
channel
processor
sequence
signal
electronic device
Prior art date
Application number
PCT/KR2020/008609
Other languages
English (en)
French (fr)
Inventor
최준수
김치호
이정훈
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2021002681A1 publication Critical patent/WO2021002681A1/ko
Priority to US17/565,735 priority Critical patent/US20220120885A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/04—Systems determining presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/023—Interference mitigation, e.g. reducing or avoiding non-intentional interference with other HF-transmitters, base station transmitters for mobile communication or other radar systems, e.g. using electro-magnetic interference [EMI] reduction techniques
    • G01S7/0234—Avoidance by code multiplex
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/292—Extracting wanted echo-signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/295—Means for transforming co-ordinates or for evaluating data, e.g. using computers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target

Definitions

  • Various embodiments relate to an electronic device that recognizes an object and a method of operating the same.
  • Electronic devices may provide various functions.
  • the electronic device is a short-range wireless communication function, a mobile communication (3G (generation), 4G, or 5G) function, a music playback function, a video playback function, a shooting function, a navigation function, or an object.
  • 3G (generation), 4G, or 5G) function e.g., a mobile communication (3G (generation), 4G, or 5G) function, a music playback function, a video playback function, a shooting function, a navigation function, or an object.
  • Electronic devices provide various functions through object recognition.
  • the electronic device may provide a function of performing user authentication by recognizing an object using data obtained from a camera or a sensor.
  • user authentication is performed by recognizing an object using a camera or a sensor, a problem may arise that is vulnerable to security.
  • An electronic device supporting the IEEE 802.11ay system can recognize an object with high precision by transmitting and receiving a signal for object recognition using a wide bandwidth of several GHz in a millimeter frequency band (eg, 60 GHz).
  • a millimeter frequency band eg, 60 GHz
  • object recognition performance in each of the plurality of electronic devices may be degraded due to interference of signals transmitted and received by the adjacent electronic devices.
  • Various embodiments of the present disclosure disclose a method and apparatus for recognizing an object capable of removing interference caused by another adjacent electronic device in an electronic device.
  • an electronic device includes a memory storing reference data for at least one object, a communication interface capable of performing beamforming, the memory, and a processor operatively connected to the communication interface, ,
  • the processor selects at least one channel from among a plurality of channels in a plurality of frequency bands, and controls the communication interface, so that one of a plurality of sequences having mutual orthogonality in the selected at least one channel Transmitting at least one signal including, and controlling the communication interface to receive at least one signal reflected by an object in the selected at least one channel, the transmitted at least one signal and the received at least one It may be set to acquire data related to the object based on a signal of and recognize the object using data related to the object and reference data for the at least one object.
  • a method of operating an electronic device includes an operation of selecting at least one channel among a plurality of channels in a plurality of frequency bands, and controlling a communication interface capable of performing beamforming, and the selected at least one In the channel of, transmitting at least one signal including one of a plurality of sequences having mutually orthogonality, by controlling the communication interface, at least one signal reflected by the object in the selected at least one channel
  • An operation of receiving, acquiring data related to the object based on the transmitted at least one signal and the received at least one signal, and using data related to the object and reference data for at least one object It may include an operation of recognizing the object.
  • the electronic device selects at least one combination of channels of a plurality of frequency bands and combinations of a plurality of sequences having orthogonality to each other, and generates a signal using a combination of the selected at least one channel and sequence.
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to various embodiments.
  • FIG. 2 is an exemplary diagram illustrating a data format of a signal for object recognition according to various embodiments.
  • FIG. 3 is an exemplary diagram illustrating a method of transmitting and receiving a signal for object recognition in an electronic device according to various embodiments of the present disclosure.
  • FIG. 4 is a flowchart for recognizing an object in an electronic device according to various embodiments of the present disclosure.
  • FIG. 5 is an exemplary diagram illustrating a combination of channels and a plurality of sequences of a plurality of frequency bands according to various embodiments.
  • FIG. 6 is an exemplary diagram illustrating a method of collecting data required for object recognition by transmitting and receiving a signal for object recognition in an electronic device according to various embodiments of the present disclosure.
  • FIG. 7 is a flowchart for collecting reference data for object recognition in an electronic device according to various embodiments of the present disclosure.
  • FIG. 8 is an exemplary diagram for collecting reference data for object recognition by using a channel and sequence combination in an electronic device according to various embodiments of the present disclosure.
  • FIG. 9 is a flowchart for transmitting/receiving a signal using a selected channel and sequence combination in an electronic device according to various embodiments of the present disclosure.
  • FIG. 10 is an exemplary diagram for transmitting and receiving a signal using a selected channel and sequence combination in an electronic device according to various embodiments of the present disclosure.
  • 11 is a flowchart for selecting a channel and sequence combination based on whether interference occurs in an electronic device according to various embodiments of the present disclosure.
  • FIG. 12 is a flowchart for recognizing an object based on data collected by an electronic device according to various embodiments of the present disclosure.
  • FIG. 13 is an exemplary diagram for recognizing an object based on data collected by an electronic device according to various embodiments of the present disclosure.
  • FIG. 14 is a flowchart for recognizing an object based on data collected by an electronic device according to various embodiments of the present disclosure.
  • 15 is an exemplary diagram for recognizing an object based on data collected by an electronic device according to various embodiments of the present disclosure.
  • 16 is a flowchart for performing object recognition training using a neural network in an electronic device according to various embodiments of the present disclosure.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100 according to various embodiments.
  • 2 is an exemplary diagram illustrating a data format of a signal for object recognition according to various embodiments.
  • 3 is an exemplary diagram illustrating a method of transmitting and receiving a signal for object recognition in an electronic device according to various embodiments of the present disclosure.
  • 6 is an exemplary diagram illustrating a method of collecting data required for object recognition by transmitting and receiving a signal for object recognition in an electronic device according to various embodiments of the present disclosure.
  • the electronic device 101 communicates with the electronic device 102 through a first network 198 (eg, a short-range wireless communication network), or a network 199 (eg : It is possible to communicate with the electronic device 104 or the server 108 through a long-distance wireless communication network).
  • the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input device 150, an audio output device 155, a display device 160, an audio module 170, and a sensor module ( 176, interface 177, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196, or antenna module 197 ) Can be included.
  • a sensor module 176, interface 177, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196, or antenna module 197
  • at least one of these components may be omitted or one or more other components may be added to the electronic device 101.
  • some of these components may be implemented as one integrated circuit.
  • the sensor module 176 eg, a fingerprint sensor, an iris sensor, or an illuminance sensor
  • the display device 160 eg, a display.
  • the processor 120 for example, executes software (eg, a program 140) to implement at least one other component (eg, a hardware or software component) of the electronic device 101 connected to the processor 120. It can be controlled and can perform various data processing or operations. According to an embodiment, as at least a part of data processing or operation, the processor 120 stores commands or data received from other components (eg, the sensor module 176 or the communication module 190) to the volatile memory 132 The command or data stored in the volatile memory 132 may be processed, and result data may be stored in the nonvolatile memory 134.
  • software eg, a program 140
  • the processor 120 stores commands or data received from other components (eg, the sensor module 176 or the communication module 190) to the volatile memory 132
  • the command or data stored in the volatile memory 132 may be processed, and result data may be stored in the nonvolatile memory 134.
  • the processor 120 includes a main processor 121 (eg, a central processing unit or an application processor), and an auxiliary processor 123 (eg, a graphics processing unit, an image signal processor) that can be operated independently or together. , A sensor hub processor, or a communication processor). Additionally or alternatively, the coprocessor 123 may be set to use lower power than the main processor 121 or to be specialized for a designated function. The secondary processor 123 may be implemented separately from the main processor 121 or as a part thereof.
  • a main processor 121 eg, a central processing unit or an application processor
  • an auxiliary processor 123 eg, a graphics processing unit, an image signal processor
  • the coprocessor 123 may be set to use lower power than the main processor 121 or to be specialized for a designated function.
  • the secondary processor 123 may be implemented separately from the main processor 121 or as a part thereof.
  • the coprocessor 123 is, for example, on behalf of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is active (eg, an application is executed). ) While in the state, together with the main processor 121, at least one of the components of the electronic device 101 (for example, the display device 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the functions or states related to. According to an embodiment, the coprocessor 123 (eg, an image signal processor or a communication processor) may be implemented as a part of other functionally related components (eg, the camera module 180 or the communication module 190). have.
  • the memory 130 may store various data used by at least one component of the electronic device 101 (eg, the processor 120 or the sensor module 176).
  • the data may include, for example, software (eg, the program 140) and input data or output data for commands related thereto.
  • the memory 130 may include a volatile memory 132 or a nonvolatile memory 134.
  • the program 140 may be stored as software in the memory 130, and may include, for example, an operating system 142, middleware 144, or an application 146.
  • the input device 150 may receive a command or data to be used for a component of the electronic device 101 (eg, the processor 120) from an outside (eg, a user) of the electronic device 101.
  • the input device 150 may include, for example, a microphone, a mouse, a keyboard, or a digital pen (eg, a stylus pen).
  • the sound output device 155 may output an sound signal to the outside of the electronic device 101.
  • the sound output device 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback, and the receiver can be used to receive incoming calls.
  • the receiver may be implemented separately from or as a part of the speaker.
  • the display device 160 may visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display device 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display device 160 may include a touch circuitry set to sense a touch, or a sensor circuit (eg, a pressure sensor) set to measure the strength of a force generated by the touch. have.
  • the audio module 170 may convert sound into an electric signal or, conversely, convert an electric signal into sound. According to an embodiment, the audio module 170 obtains sound through the input device 150, the sound output device 155, or an external electronic device (for example, an external electronic device directly or wirelessly connected to the electronic device 101). Sound may be output through the electronic device 102 (for example, a speaker or headphones).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101, or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 is, for example, a gesture sensor, a gyro sensor, an atmospheric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared (IR) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 177 may support one or more designated protocols that may be used for the electronic device 101 to directly or wirelessly connect with an external electronic device (eg, the electronic device 102 ).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • the connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102 ).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that a user can perceive through a tactile or motor sense.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture a still image and a video.
  • the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101.
  • the power management module 188 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101.
  • the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, electronic device 102, electronic device 104, or server 108). It is possible to support establishment and communication through the established communication channel.
  • the communication module 190 operates independently of the processor 120 (eg, an application processor), and may include one or more communication processors that support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg : A LAN (local area network) communication module, or a power line communication module) may be included.
  • a corresponding communication module is a first network 198 (for example, a short-range communication network such as Bluetooth, WiFi direct or IrDA (infrared data association)) or a network 199 (for example, a cellular network, the Internet, or a computer network).
  • the wireless communication module 192 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 to provide an electronic device within a communication network such as the first network 198 or the network 199. (101) can be checked and authenticated.
  • subscriber information eg, International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the antenna module 197 may transmit a signal or power to the outside (eg, an external electronic device) or receive from the outside.
  • the antenna module 197 may include one antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 197 may include a plurality of antennas. In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the network 199 may be selected from the plurality of antennas, for example, by the communication module 190. I can.
  • the signal or power may be transmitted or received between the communication module 190 and an external electronic device through the at least one selected antenna.
  • other components eg, RFIC
  • other than the radiator may be additionally formed as a part of the antenna module 197.
  • At least some of the components are connected to each other through a communication method (e.g., a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI))) between peripheral devices and signals ( E.g. commands or data) can be exchanged with each other.
  • a communication method e.g., a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the network 199.
  • Each of the external electronic devices 102 and 104 may be a device of the same or different type as the electronic device 101.
  • all or some of the operations executed by the electronic device 101 may be executed by one or more of the external electronic devices 102, 104, or 108.
  • the electronic device 101 needs to perform a function or service automatically or in response to a request from a user or another device, the electronic device 101 does not execute the function or service by itself.
  • One or more external electronic devices receiving the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit the execution result to the electronic device 101.
  • the electronic device 101 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing, distributed computing, or client-server computing technology may be used.
  • the wireless communication module 192 may support a communication system in a millimeter wave band (eg, a frequency band of about 60 GHz).
  • the wireless communication module 192 may support an IEEE 802.11ad system or an IEEE 802.11ay system using a 60 GHz frequency band.
  • the wireless communication module 192 controls at least a portion of the first antenna (for example, the first antenna 601 of FIG. 6) under the control of the processor 120 to provide at least one in the millimeter wave band.
  • a signal including a specified sequence may be transmitted on a frequency channel of.
  • the designated sequence may be a sequence selected by the processor 120 from among a plurality of sequences having orthogonality to each other.
  • the designated sequence may be an Nth Golay sequence selected by the processor 120 among a plurality of Golay sequences having mutual orthogonality.
  • the Golay sequence when the delay time is 0, auto-correlation becomes a maximum value, and when the delay time is not 0, the auto-correlation becomes 0 or less than the maximum value.
  • the wireless communication module 192 may use the autocorrelation property of the Golay sequence to obtain a delay time taken until a signal including the designated Golay sequence is transmitted and reflected by the object to return.
  • the signal including the designated sequence is a signal for object recognition, and may be, for example, a radar signal conforming to the standard standard of the IEEE 802.11ay system.
  • the first antenna 601 may include an array antenna supporting beamforming.
  • the wireless communication module 192 may transmit a signal including a specified sequence in at least one frequency channel using a data format conforming to the standard standard of the IEEE 802.11ay system.
  • the wireless communication module 192 may transmit a signal configured in the format of a physical layer protocol data unit (PPDU) 200 as shown in FIG. 2.
  • the wireless communication module 192 may transmit a signal including a sequence specified in the EDMG-CEF (channel estimation filed) 201 of the PPDU 200.
  • PPDU physical layer protocol data unit
  • the signal for object recognition may be a signal of another format including a specified sequence.
  • the wireless communication module 192 is controlled by the processor 120 at least a part of the first antenna 601 or a second antenna (for example, the second antenna 603 in FIG. 6) (the first By controlling the antenna 601 and an antenna that is logically and/or physically separated), a signal including a specified sequence in at least one frequency channel in the millimeter wave band may be received.
  • the received signal including the specified sequence may be a signal transmitted from the wireless communication module 192 and then reflected by at least one object.
  • the object may include an object recognizable through visual and/or tactile sense, for example, at least one of a person, an object, or a living body.
  • the second antenna 603 may include an array antenna supporting beamforming.
  • the first antenna 601 and the second antenna 603 may be logically and/or physically separated different antenna modules, and may be logically and/or physically integrated one antenna module. have.
  • the wireless communication module 192 may obtain object-related data by performing auto-correlation on a received signal.
  • Object-related data may be a data subset including a channel impulse response.
  • the channel impulse response may include, for example, at least one of time delay information, phase information, angle of arrival (AoA) information, or angle of departure (AoD) of the received signal. .
  • the wireless communication module 192 includes a sequence designated through each of a plurality of bursts included in one frame (for example, the radar frame 311 in FIG. 3) under the control of the processor 120 It is possible to repeatedly perform an operation of transmitting and receiving a signal in a designated channel. For example, as shown in FIG. 3, the wireless communication module 192 transmits a signal R Nk having a kth sequence through a designated channel N in the ith burst 301 and has a kth sequence. The operation of receiving the reflected signal may be repeatedly performed a plurality of times during the specified time period 303.
  • the designated time period 303, or the number of times, in which the signal R Nk transmission and the reception operation for the reflected signal are performed may be changed under the control of the processor 120.
  • the wireless communication module 192 transmits a signal R Nk and performs a reception operation on the reflected signal according to the control of the processor 120. During the time period, it may be repeatedly performed a first specified number of times.
  • the wireless communication module 192 transmits a signal R Nk and performs a reception operation for the reflected signal during a second designated time period under the control of the processor 120. It can be repeatedly performed a second specified number of times.
  • the second designated time interval may be longer than the first designated time interval.
  • the second designated number of times may be a value greater than the first designated number of times.
  • the wireless communication module 192 may acquire object-related data using signals transmitted during a specified time period and reflected and received signals, and provide the obtained object-related data to the processor 120. For example, the wireless communication module 192 acquires channel impulse responses for each of the signals transmitted during a specified time period and signals reflected by the object and received, and transmits the acquired channel impulse responses to the processor 120. Can provide.
  • the processor 120 may detect a reference data collection event for object recognition, transmit and receive signals for object recognition, and obtain reference data for an object.
  • the reference data collection event for object recognition may include an event for registering object recognition information.
  • the event for registering object recognition information may be an event for registering reference data necessary for object recognition in the memory 130 by recognizing at least one of a user's face, a user's gesture, or a model of an object. have.
  • the processor 120 may execute an application providing at least one function using object recognition, and detect an event for registering object recognition information through the executed application.
  • the processor 120 controls the display device 160 to display a user interface requesting input of object identification information of an object to be registered, and object identification information (eg, user ID, Gesture ID or object ID) can be input.
  • object identification information eg, user ID, Gesture ID or object ID
  • the processor 120 recognizes and registers an object corresponding to the input object identification information, at least one channel among a plurality of channels in a plurality of usable frequency bands, and at least one of a plurality of sequences having mutual orthogonality. Select a sequence of, and transmit and receive signals for object recognition (R 1k , R 2k , R 3k , ..., R Nk ) based on a combination of the selected at least one channel and at least one sequence.
  • the module 192 can be controlled.
  • the processor 120 may receive object-related data on an object to be registered from the wireless communication module 192. According to an embodiment, the processor 120 acquires reference data for an object based on object-related data for an object to be registered, and stores the reference data for the object in association with object identification information. Object recognition information can be registered.
  • the reference data for the object may include object-related data obtained based on a combination of at least one channel selected from the first to Nth channels and at least one sequence selected from the first to Kth sequences. have.
  • the reference data for an object may include object-related data obtained by transmitting and receiving a signal including a Kth sequence in at least one selected channel from a first channel to an Nth channel.
  • the reference data for the object may include object-related data obtained by transmitting and receiving a signal including a Kth sequence in each of the first channel to the Nth channel.
  • the processor 120 may perform learning (or training) to recognize a corresponding object by inputting reference data for an object of an object to be registered into a designated neural network.
  • the neural network may be stored in an external device (for example, the server 108 or other electronic device 102) or the electronic device 101.
  • a neural network stored in an external device eg, the server 108 or other electronic device 102 may be shared with the electronic device 101.
  • the processor 120 may display a result of recognizing the object using a neural network on the display device 160 and determine whether the object has been successfully recognized based on a user input. When it is determined that the object has been successfully recognized based on a user input, the processor 120 associates and stores the reference data used as an input of the neural network, the output data of the neural network, and the object identification information. You can register object recognition information for. According to an embodiment, the processor 120 may acquire a plurality of neural networks (or neural network models) for each of the plurality of channels by performing neural network training on each of the plurality of channels.
  • the processor 120 generates a neural network model learned for the first channel by inputting reference data on an object obtained from a first channel among a plurality of channels to a designated neural network, and The reference data for the object acquired in the second channel is input to the designated neural network to generate a neural network model learned for the second channel, and the reference data for the object acquired in the Nth channel among the plurality of channels
  • a neural network model trained for the Nth channel may be generated by inputting it to a designated neural network.
  • the processor 120 may register object recognition information for a corresponding object for each neural network model.
  • the processor 120 may acquire one neural network (or neural network model) for all of the plurality of channels by performing neural network training on all of the plurality of channels. For example, the processor 120 may generate one neural network model for a plurality of channels by inputting reference data for an object acquired from a plurality of channels into a designated neural network.
  • the processor 120 may transmit and receive a signal for object recognition.
  • the designated event may include an event requesting object recognition.
  • Object recognition may include at least one of a user's face recognition, a user's gesture recognition, or an object model recognition.
  • the processor 120 may execute an application that provides at least one function using object recognition, and detect an event requesting object recognition through the executed application.
  • the processor 120 may transmit and receive signals for object recognition by controlling the wireless communication module 192 in response to the detection of an event requesting object recognition.
  • the signal for object recognition may be a signal including a designated sequence from among a plurality of sequences having mutual orthogonality.
  • the processor 120 when detecting a specified event, selects at least one channel among a plurality of channels within a plurality of frequency bands available in the millimeter wave band, and selects at least one of a plurality of sequences having mutually orthogonality. You can select one sequence.
  • the processor 120 may control the wireless communication module 192 to transmit and receive signals for object recognition while changing a channel and/or sequence based on a combination of at least one selected channel and at least one selected sequence. have.
  • the processor 120 selects one channel and one sequence, and the wireless communication module 192 transmits and receives a signal for object recognition including a sequence selected from the selected one channel. Can be controlled.
  • the processor 120 selects a first channel and a first sequence, transmits a signal R 11 including the first sequence in the first channel, and transmits a reflected signal including the first sequence.
  • the wireless communication module 192 may be controlled so that the receiving operation is performed.
  • the processor 120 selects one channel and a plurality of sequences, and controls the wireless communication module 192 to transmit and receive signals for object recognition while changing the sequence in the selected one channel. I can.
  • the processor 120 selects a first channel, a first sequence, and a third sequence, transmits and receives a signal R 13 including a third sequence in a first channel, and transmits and receives a signal R 13 in the first channel.
  • the wireless communication module 192 may be controlled to transmit and receive a signal R 11 including the first sequence.
  • the processor 120 may select a plurality of channels and one sequence, and control the wireless communication module 192 to transmit and receive a signal including a selected sequence while changing a channel.
  • the processor 120 selects a first channel and a fourth channel and a first sequence, transmits and receives a signal R 41 including a first sequence in a fourth channel, and transmits and receives a signal R 41 in the first channel.
  • the wireless communication module 192 may be controlled to transmit and receive signals R 11 including one sequence.
  • the processor 120 selects a plurality of channels and a plurality of sequences, and changes a channel and sequence based on a combination of the plurality of channels and a plurality of sequences, so that signals for object recognition are transmitted and received.
  • the wireless communication module 192 can be controlled.
  • the processor 120 selects a first channel and a third channel and a second sequence and a fifth sequence, transmits and receives a signal R 12 including a second sequence in the first channel, and Transmitting and receiving a signal (R 15 ) including a fifth sequence in a channel 1, transmitting and receiving a signal (R 35 ) including a fifth sequence in a third channel, and including a second sequence in a third channel
  • the wireless communication module 192 may be controlled to transmit and receive the signal R 32 .
  • the processor 120 selects a plurality of combinations of channels and sequences, and changes channels and/or sequences based on the combination of the selected channels and sequences, so that signals for object recognition are transmitted and received.
  • the wireless communication module 192 can be controlled.
  • the processor 120 selects a first channel and a fourth sequence combination, a third channel and a second sequence combination, and a second channel and a fifth sequence combination, and includes a fourth sequence in the first channel. Transmitting and receiving a signal (R 14 ), transmitting and receiving a signal (R 32 ) including a second sequence in a third channel, and transmitting a signal (R 25 ) including a fifth sequence in a second channel, and The wireless communication module 192 can be controlled to receive.
  • the processor 120 randomly changes the channel and/or sequence within the selected at least one channel and at least one sequence, so that the same as other adjacent electronic devices. It is possible to reduce the probability of using a channel and/or sequence. Accordingly, the electronic device may reduce a probability that interference is generated by a signal transmitted from another adjacent electronic device.
  • the processor 120 may detect whether interference has occurred based on a signal reception result. For example, the processor 120 is based on at least one of whether an error occurs in the received signal, a received signal strength indication (RSSI), or a signal-to-interference-plus-noise ratio (SINR). It is possible to detect whether or not interference by When an error exists in the received signal, an RRSI is less than a designated value, or an SINR is greater than a designated value, the processor 120 may determine that interference by another adjacent electronic device has occurred. When it is determined that interference has occurred, the processor 120 additionally selects at least one channel and/or at least one sequence, and changes the channel and/or sequence based on the combination of the additionally selected channel and/or sequence.
  • the wireless communication module 192 may be controlled so that signals for object recognition are transmitted and received.
  • the processor 120 may obtain object-related data from the wireless communication module 192 and recognize at least one object based on the acquired data.
  • the object-related data may include a channel impulse response obtained based on a result of transmitting and receiving a signal for object recognition through the wireless communication module 192.
  • the channel impulse response may be obtained by performing auto-correlation on the received signal.
  • the processor 120 may obtain object-related data for each combination of at least one channel and sequence, and recognize the object based on the obtained object-related data.
  • the processor 120 may recognize an object by comparing object-related data acquired for each combination of at least one channel and sequence with previously stored reference data for each object.
  • the processor 120 may compare the acquired object-related data with pre-stored reference data for each object to determine a similarity, and recognize the object based on whether the similarity is greater than a specified reference value. For example, the processor 120 compares object-related data acquired for a combination of a first channel and a third sequence with reference data for a first object (eg, a first user or a first gesture), "A”, the similarity is "B” by comparing the object-related data obtained for the combination of the second channel and the first sequence with the reference data for the first object, and for the combination of the first channel and the third sequence Comparing the acquired object-related data with reference data for a second object (eg, a second user or a second gesture), the similarity is “a”, and the object-related data obtained for the combination of the second channel and the first sequence By comparing the data and reference data for the second object, it may be determined that the similarity is "b".
  • the processor 120 may determine that object recognition has failed.
  • the processor 120 may recognize an object by using object-related data acquired for each combination of at least one channel and sequence as an input of a pre-learned neural network.
  • the processor 120 may recognize an object based on output data of a neural network that has been learned in advance.
  • the output data of the pre-learned neural network is information indicating whether or not a recognized object exists (or whether recognition is successful) among pre-registered objects, and identification information of the object (e.g., user identification information, gesture identification information, object identification). Information), or reliability information.
  • the processor 120 may recognize an object based on output data of a neural network that has been learned in advance.
  • the processor 120 may recognize the object based on the reliability included in the output data.
  • the processor 120 output data for the combination of the first channel and the second sequence is "recognized object: first object, reliability: “C”", and the combination of the first channel and the fourth sequence
  • the output data for is “recognized object: first object, reliability: “D””
  • output data for the combination of the fourth channel and the fifth sequence is "recognized object: second object, reliability: “E””
  • the output data for the combination of the second channel and the third sequence is "recognized object: none"
  • the reliability "C" having the highest value among reliability "C", "D", and "E”
  • the processor 120 may perform at least one data related to the acquired object-related data. At least one neural network corresponding to the channel may be selected, and an object may be recognized using the selected at least one neural network. For example, there are N neural networks learned in advance for each of the N channels, a combination of a first channel and a second sequence, a combination of a second channel and a fourth sequence, and a fourth channel and a first sequence
  • the processor 120 pre-learns the first neural network for the first channel, the second neural network for the second channel, and the fourth channel in advance.
  • the learned fourth neural network may be selected.
  • the processor 120 inputs object-related data obtained for a combination of a first channel and a second sequence into a first neural network, and receives object-related data obtained for a combination of a second channel and a fourth sequence to a second neural network.
  • Input to the network, and input object-related data obtained for the combination of the fourth channel and the first sequence to the fourth neural network, and to the output data of each of the first neural network, the second neural network, and the fourth neural network Objects can be recognized based on them.
  • the processor 120 may recognize the object based on the reliability included in the output data of each neural network.
  • the processor 120 may recognize an object using one neural network.
  • the processor 120 uses one selected neural network to generate output data for the combination of the first channel and the second sequence, output data for the combination of the second channel and the fourth sequence, and the fourth channel and the first sequence.
  • the object can be recognized based on the output data for the combination.
  • the processor 120 may recognize an object based on the reliability included in each output data.
  • the processor 120 when object recognition fails, the processor 120 additionally selects at least one channel and/or at least one sequence, and uses the selected channel and/or sequence to obtain object-related data. You can perform the operation again.
  • the processor 120 may provide an object recognition result through at least one of the display device 160 and the sound output device 155.
  • the processor 120 may provide an object recognition result including at least one of whether or not object recognition is successful, recognized object identification information, and an image corresponding to the recognized object through the running application.
  • the IEEE 802.11y system has been described as an example, but this is only an example for convenience of description, and the present disclosure will not be limited thereto.
  • various embodiments may be applied to other communication systems supporting the millimeter wave band.
  • the electronic device includes a memory for storing reference data for at least one object (eg, the memory 130 of FIG. 1), and a communication interface capable of performing beamforming (eg, a wireless device of FIG. 1).
  • a communication module 192 the memory, and a processor operatively connected to the communication interface (eg, the processor 120 of FIG. 1), wherein the processor 120 includes a plurality of frequency bands within a plurality of frequency bands.
  • the data related to the object may include a channel impulse response.
  • the processor 120 may obtain data related to the object by performing auto-correlation on the received signal.
  • the processor 120 compares the data related to the object with reference data for the at least one object to determine a similarity for each object with respect to the at least one object, and calculates the similarity for each object. Based on the basis, one of the at least one object may be determined as an object reflecting the signal.
  • the processor 120 detects a reference data collection event for object recognition, controls the communication interface in response to the event detection, and controls the plurality of channels in each of the plurality of channels. Transmitting and receiving at least one signal including a specified sequence among sequences, and obtaining a channel impulse response for each of combinations of the plurality of channels and the specified sequence based on the at least one transmitted and received signal And, the channel impulse response for each of the combinations of the plurality of channels and the designated sequence may be stored as reference data for the object.
  • the processor 120 acquires object recognition information using a neural network that receives reference data for the object as an input, provides the object recognition information through a user interface, and , Based on a user input, whether or not object recognition is successful for the object recognition information is determined, and when the object recognition success is determined, the object recognition information may be mapped with the identification information for the object to be registered as reference recognition information. .
  • the processor 120 obtains output data by inputting data related to the object to the neural network, and recognizes the object by comparing the obtained output data with the registered reference recognition information. can do.
  • the processor 120 selects at least one sequence from among the plurality of sequences, determines a combination of the selected at least one channel and the selected at least one sequence, and the determined combination Based on this, the at least one signal may be transmitted while changing at least one of a channel to transmit the at least one signal or a sequence to be included in the at least one signal.
  • the processor 120 determines whether interference occurs based on the received at least one signal, and when interference occurs based on the determination, adds at least one channel and sequence combination It may be set to recognize the object based on a combination of the additionally selected channel and sequence by selecting and controlling the communication interface.
  • the processor 120 when recognition of the object fails, the processor 120 additionally selects at least one channel and sequence combination, and controls the communication interface based on the additionally selected channel and sequence combination. Thus, it may be set to recognize the object.
  • the plurality of sequences having mutual orthogonality may include a Golay sequence.
  • the electronic device includes a communication interface capable of performing beamforming (eg, a wireless communication module 192 of FIG. 1), and a processor operatively connected to the communication interface (eg, a processor of FIG. 1 ). 120), wherein the processor controls the communication interface to generate at least one signal including one of a plurality of sequences having orthogonality to each other in each of a plurality of channels in a plurality of frequency bands.
  • a communication interface capable of performing beamforming
  • a processor operatively connected to the communication interface (eg, a processor of FIG. 1 ). 120)
  • the processor controls the communication interface to generate at least one signal including one of a plurality of sequences having orthogonality to each other in each of a plurality of channels in a plurality of frequency bands.
  • the processor 120 inputs data including a channel impulse response for each of the plurality of channels into the designated neural network, and a plurality of neurals trained for each of the plurality of channels It may be configured to acquire networks or one neural network trained on the plurality of channels.
  • the processor 120 acquires object recognition information using the designated neural network, provides the object recognition result through a user interface, and based on a user input, the object recognition information It may be set to determine whether or not to recognize the object for success, and to register the object recognition information as reference recognition information by mapping the object recognition information with the identification information for the object when the object recognition success is determined.
  • the processor 120 when detecting a specified event, selects at least one channel from among the plurality of channels, and controls the communication interface, so that the plurality of Transmitting and receiving at least one signal including one of the sequences, and acquiring data including a channel impulse response for the at least one channel based on the at least one transmitted and received signal, and the It may be configured to input the acquired data into at least one neural network model acquired by the training, and to recognize the object based on output data of the at least one neural network model and the registered reference recognition information.
  • the processor 120 selects at least one sequence from among the plurality of sequences, determines a combination of the selected at least one channel and the selected at least one sequence, and the determined combination Based on this, the at least one signal may be transmitted and received while changing at least one of a channel to transmit the at least one signal or a sequence to be included in the at least one signal.
  • the processor 120 determines whether or not interference occurs based on the at least one received signal, and if interference occurs, based on the determination, the at least one channel and sequence combination It may be set to recognize the object based on the additionally selected channel and sequence combination by additionally selecting and controlling the communication interface.
  • the processor 120 when recognition of the object fails, the processor 120 additionally selects at least one channel and sequence combination, and controls the communication interface based on the additionally selected channel and sequence combination. Thus, it may be set to recognize the object.
  • FIG. 4 is a flowchart 400 for recognizing an object in an electronic device according to various embodiments.
  • each of the operations may be sequentially performed, but not necessarily sequentially. For example, the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the electronic device may be the electronic device 101 of FIG. 1.
  • FIGS. 5 and 6 5 is an exemplary diagram illustrating a combination of channels and a plurality of sequences of a plurality of frequency bands according to various embodiments.
  • 6 is an exemplary diagram illustrating a method of collecting data required for object recognition by transmitting and receiving a signal for object recognition in an electronic device according to various embodiments of the present disclosure.
  • an electronic device may select at least one channel from among a plurality of frequency bands in operation 401.
  • the processor 120 may select at least one channel for transmitting a signal for object recognition.
  • the designated event may include, for example, an event that requests object recognition such as user face recognition, gesture recognition, or object model recognition.
  • the processor 120 may detect execution of an application that provides at least one function using object recognition, and detect an event requesting object recognition through the executed application.
  • the processor 120 may select at least one channel from among a plurality of channels in a plurality of frequency bands usable for object recognition.
  • the processor 120 may additionally select at least one sequence from among a plurality of sequences having mutual orthogonality. According to an embodiment, the processor 120 may select at least one channel and sequence combination from among combinations of a plurality of channels and a plurality of sequences. For example, as shown in FIG. 5, when there are N channels 501 in a plurality of usable frequency bands, and there are K Golay sequences 511 having mutual orthogonality, A total of NXK channel and sequence combinations can be made. The processor 120 may select at least one combination of NXK channel and sequence combinations.
  • the electronic device (eg, the processor 120, and/or the wireless communication module 192 of FIG. 1) generates a signal including one sequence from among a plurality of sequences having mutually orthogonality in operation 403. It can transmit on at least one selected channel.
  • the processor 120 wirelessly transmits and receives a signal for object recognition while setting and/or changing a channel and/or sequence based on a combination of at least one selected channel and at least one sequence. It is possible to control the communication module 192. For example, when one channel and one sequence are selected, the processor 120 may control the wireless communication module 192 so that a signal for object recognition including the selected sequence is transmitted through the selected one channel.
  • the processor 120 may control the wireless communication module 192 to transmit a signal for object recognition while changing a sequence in one selected channel.
  • the processor 120 may control the wireless communication module 192 to transmit a signal for object recognition including one selected sequence while changing a channel.
  • the processor 120 wirelessly communicates so that a signal for object recognition is transmitted while changing a channel and/or a sequence based on a combination of a plurality of channels and a plurality of sequences.
  • the module 192 can be controlled.
  • the processor 120 changes the channel and/or sequence based on the combination of the selected channels and sequences, and transmits a signal for object recognition. 192) can be controlled.
  • the processor 120 may arbitrarily change a channel and/or sequence based on at least one selected channel and at least one sequence in a situation where a channel and/or sequence needs to be changed for object recognition.
  • the electronic device may reduce a probability of using the same channel and/or sequence as another adjacent electronic device, thereby reducing a probability of interference occurring by a signal transmitted from another adjacent electronic device.
  • the electronic device may receive a signal reflected by the object in at least one channel selected in operation 405.
  • the processor 120 controls the wireless communication module 192 to receive the reflected signal by hitting the object after being transmitted from the electronic device 101 on the same channel as the channel where the signal for object recognition is transmitted. can do.
  • the object may include, for example, at least one of a user's face, a gesture, or an object.
  • the reflected signal may include the same sequence as the sequence included in the signal transmitted in operation 403.
  • the wireless communication module 192 transmits a signal 611 including a Golay sequence on a selected channel, and receives a signal 613 reflected by hitting the object 621 can do.
  • the electronic device may obtain object-related data based on the transmission signal and the reception signal in operation 407.
  • the wireless communication module 192 performs auto-correlation on a received signal under the control of the processor 120, so that the object-related data on the object reflecting the signal is Can be obtained.
  • the object-related data may include a channel impulse response.
  • the channel impulse response may include, for example, at least one of time delay information, phase information, angle of arrival (AoA) information, or angle of departure (AoD) of the received signal. .
  • Object-related data may be obtained for each combination of at least one channel and sequence.
  • the wireless communication module 192 performs an auto-correlation on the received signal (615), as shown in FIG. 6, so that a channel impulse response 617 to the object 621 is performed. ) Can be obtained.
  • the electronic device may recognize an object using object-related data and reference data for at least one object.
  • the processor 120 may recognize an object by comparing object-related data with pre-stored reference data for each object. For example, the processor 120 may compare object-related data with pre-stored reference data for each object to determine a similarity, and recognize an object based on the similarity.
  • the processor 120 may recognize an object by using object-related data as an input of a neural network. The neural network may be learned in advance by using reference data for at least one object.
  • the processor 120 may input object-related data to a pre-learned neural network and recognize the object based on the pre-learned output data of the neural network.
  • the output data of the pre-learned neural network is information indicating whether or not a recognized object exists (or whether recognition is successful) among pre-registered objects, and identification information of the object (eg, user identification information, gesture identification information, or object Identification information), or reliability information.
  • the processor 120 may recognize the object based on the reliability included in the output data.
  • the processor 120 may perform object recognition 623 by using the obtained channel impulse response 617 as shown in FIG. 6.
  • the object 621 may recognize which user's face is among the previously registered user faces (625), or which of the previously registered gestures, or a change in the gesture may be recognized (627). .
  • FIG. 7 is a flowchart 700 for collecting reference data for object recognition in an electronic device according to various embodiments of the present disclosure.
  • each of the operations may be sequentially performed, but not necessarily sequentially.
  • the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the operation indicated by the dotted line may be omitted depending on the embodiment.
  • the electronic device may be the electronic device 101 of FIG. 1.
  • FIG. 8. 8 is an exemplary diagram for collecting reference data for object recognition by using a channel and sequence combination in an electronic device according to various embodiments of the present disclosure.
  • an electronic device may detect a reference data collection event for object recognition in operation 701.
  • the reference data collection event for object recognition may include an event for registering object recognition information.
  • the event for registering object recognition information is a criterion required for object recognition in a memory (for example, the memory 130 of FIG. 1) by recognizing at least one of a user's face, a user's gesture, or a model of an object. It may be an event for registering data.
  • the processor 120 may execute an application providing at least one function using object recognition, and detect an event for registering object recognition information through the executed application.
  • the processor 120 controls the display device 160 to display a user interface requesting input of object identification information of an object to be registered.
  • object identification information eg, user ID, gesture ID, or object ID
  • object ID for the object to be registered may be input from the user.
  • the electronic device may select a plurality of channels in operation 703.
  • the processor 120 may select all channels within a plurality of usable frequency bands. Selecting a plurality of channels is to improve an object recognition rate. For example, since the channel impulse response obtained for each channel is different, this is to obtain the channel impulse response for all possible channels.
  • selecting all channels in a plurality of usable frequency bands is exemplary, and various embodiments are not limited thereto. For example, the same can be applied to the case of selecting at least one channel.
  • the electronic device may select at least one sequence in operation 705.
  • the processor 120 may select at least one sequence from among a plurality of sequences having orthogonality to each other.
  • the electronic device transmits signals including one sequence selected from each of a plurality of channels in operation 707. And receive.
  • the processor 120 may transmit a signal including one sequence selected from each channel while changing channels from the first channel to the Nth channel.
  • the processor 120 transmits a signal including a sequence selected from the first channel, and selects the signal transmission channel from the first channel. Transmitting a signal including one sequence selected from the second channel by changing to channel 2, and transmitting a signal including one sequence selected from the third channel by changing the signal transmission channel from the second channel to the third channel.
  • I can.
  • an operation of transmitting and receiving a signal including the sequence may be performed in each of a plurality of channels.
  • the electronic device may collect reference data for object recognition based on the signal transmission and reception results in operation 709.
  • the wireless communication module 192 may acquire object-related data including a channel impulse response by performing auto-correlation on a received signal based on the control of the processor 120.
  • the processor 120 may obtain object-related data for a combination of each channel and sequence from the wireless communication module 192.
  • the processor 120 may collect reference data for a corresponding object by using object-related data for a combination of each channel and sequence. For example, as shown in FIG.
  • the reference data 801 of the object having the object identification information "ID l" transmits and receives signals including the Kth sequence in each of the first channel to the Nth channel.
  • the N data subsets 811, 813, and 815 including object-related data obtained by doing so may be included.
  • the first data subset 811 may include object-related data obtained by transmitting and receiving a signal R 1K including a K-th sequence in a first channel.
  • the second data subset 813 may include object-related data obtained by transmitting and receiving a signal R 2K including a K-th sequence in a second channel.
  • the Nth data subset 815 may include object-related data obtained by transmitting and receiving a signal R NK including a Kth sequence in an Nth channel.
  • the reference data 801 of the object includes data subsets obtained by transmitting and receiving signals including the Kth sequence in each of the first channel to the Nth channel.
  • the reference data of the object is obtained by transmitting and receiving at least one other sequence (eg, at least one of the first sequence to the K-1th sequence) in at least one channel from the first channel to the Nth channel It may include at least one data subset.
  • the electronic device may acquire reference recognition information for an object by using the reference data collected in operation 711.
  • the processor 120 may acquire reference recognition information by inputting reference data collected for a corresponding object into a designated neural network.
  • the processor 120 may perform learning (or training) for recognizing the object by inputting the reference data collected for the object into a designated neural network.
  • the processor 120 may control a result of recognizing a corresponding object to be displayed on the display device 160 using a neural network, and determine whether the object has been successfully recognized based on a user input.
  • the processor 120 associates and stores the reference data used as an input of the neural network, the output data of the neural network, and the object identification information. It is possible to acquire object recognition information for.
  • the processor 120 may register reference data used as an input of a neural network, output data of a neural network, and object identification information as reference recognition information for a corresponding object.
  • the output data of the neural network may include data representing at least one of a shape or characteristic of an object.
  • the processor 120 performs neural network training for each of the plurality of channels by using object-related data obtained based on signals transmitted and received from each of the plurality of channels.
  • a plurality of neural networks (or neural network models) for each of them may be obtained.
  • the processor 120 performs neural network training on all of the plurality of channels by using object-related data acquired based on signals transmitted and received from each of the plurality of channels, One neural network (or neural network model) for all channels may be obtained.
  • the processor 120 controls the display device 160 to display a result of recognizing a corresponding object using a plurality of neural networks for each of a plurality of channels or one neural network for a plurality of channels, It may be determined whether the object has been successfully recognized based on the user input.
  • FIG. 9 is a flowchart 900 for transmitting and receiving a signal using a selected channel and sequence combination in an electronic device according to various embodiments of the present disclosure.
  • the operations of FIG. 9 described below may be at least some of the detailed operations of operations 401 to 407 of FIG. 4. In the following embodiments, each of the operations may be sequentially performed, but not necessarily sequentially. For example, the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the electronic device may be the electronic device 101 of FIG. 1.
  • FIG. 10 is an exemplary diagram for transmitting and receiving a signal using a selected channel and sequence combination in an electronic device according to various embodiments of the present disclosure.
  • an electronic device may select at least one channel and sequence combination in operation 901.
  • the processor 120 may select at least one channel and a combination of a sequence based on a plurality of channels in a plurality of usable frequency bands and a plurality of sequences having mutually orthogonality. For example, when there are N channels in a plurality of usable frequency bands and K Golay sequences having mutual orthogonality exist, a total of NXK channels and sequence combinations can be made.
  • the processor 120 may select at least one channel and sequence combination from among NXK channel and sequence combinations.
  • the electronic device uses one channel and sequence combination among at least one channel and sequence combination selected in operation 903. So that the signal can be transmitted.
  • the processor 120 identifies one channel and sequence combination among at least one selected channel and sequence combination, and controls the wireless communication module 192 to generate a signal based on the identified channel and combination. Can send.
  • the electronic device may receive a signal reflected by the object in operation 905.
  • the processor 120 may receive a signal reflected by hitting an object after being transmitted from the wireless communication module 192 of the electronic device 101 on the identified channel.
  • the received signal may include the same sequence as the sequence included in the signal transmitted in operation 903.
  • the electronic device may acquire a channel impulse response based on a transmission signal and a reception signal in operation 907.
  • the processor 120 controls the wireless communication module 192 to perform auto-correlation on the received signal, thereby obtaining a channel impulse response for the identified channel and sequence among at least one selected channel and sequence combination. can do.
  • the electronic device may determine whether the operation of transmitting and receiving a signal and obtaining a channel impulse response using a combination of a channel and sequence identified in operation 909 has been performed multiple times.
  • the processor 120 may determine whether operations 903 to 907 are performed multiple times for the identified channel and sequence combination. For example, when attempting to recognize a user's face or gesture, the processor 120 repeatedly performs a signal transmission/reception operation based on the identified channel and sequence combination a first specified number of times during a first specified time period, It can be determined whether channel impulse responses have been obtained.
  • the signal transmission and reception operation based on the identified channel and sequence combination is repeatedly performed a second specified number of times during a second specified time period, and the corresponding channel It can be determined whether impulse responses have been obtained.
  • the electronic device eg, the processor 120
  • the electronic device does not change the channel and/or sequence.
  • Operations 903 to 907 may be performed again.
  • the electronic device eg, the processor 120 transmits and receives signals for all combinations selected in operation 911. And whether an operation for obtaining a channel impulse response has been performed.
  • the processor 120 may determine whether operations 903 to 909 have been performed for each combination of all channels and sequences selected in operation 901.
  • the electronic device eg, the processor 120
  • the processor 120 may change a channel and/or a sequence for signal transmission/reception based on a combination of at least one channel and sequence for which signal transmission/reception and channel impulse response acquisition operations are not performed. For example, as shown in FIG. 10, the processor 120 acquires a channel impulse response by transmitting and receiving a signal R 31 including a first sequence in a third channel a plurality of times during a first burst period (1001), and , During the i-th burst period (1003), a channel impulse response is obtained by transmitting and receiving a signal (R 12 ) including the second sequence in the first channel multiple times, and during the last burst period (1005), the fourth channel is
  • the wireless communication module 192 may be controlled to obtain a channel impulse response by transmitting and receiving a signal R 43 including a three sequence multiple times. In this way, the processor 120 randomly selects one channel and sequence combination from among a plurality of selected channel and sequence combinations to change the channel and/or sequence, thereby using the same channel and/or sequence as the adjacent
  • FIG. 11 is a flowchart 1100 for selecting a channel and sequence combination based on whether interference occurs in an electronic device according to various embodiments of the present disclosure.
  • the operations of FIG. 9 described below may be at least some of the detailed operations of operations 401 to 407 of FIG. 4.
  • each of the operations may be sequentially performed, but not necessarily sequentially.
  • the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the electronic device may be the electronic device 101 of FIG. 1.
  • an electronic device may select one frequency channel and sequence in operation 1101.
  • the processor 120 may select one channel and a combination of a sequence based on a plurality of channels in a plurality of usable frequency bands and a plurality of sequences having mutually orthogonality.
  • the electronic device (eg, the processor 120, and/or the wireless communication module 192 of FIG. 1) transmits a signal including a sequence selected from the frequency channel selected in operation 1103, and in operation 1105 A reflected signal including a selected sequence may be received from the selected frequency channel.
  • the received signal may include a signal reflected by hitting an object after being transmitted from the wireless communication module 192 of the electronic device.
  • the electronic device may determine whether interference has occurred at 1107. For example, the processor 120 may detect whether interference by another adjacent electronic device has occurred, based on at least one of whether an error occurs in the received signal, RSSI, or SINR. When an error exists in the received signal, the RRSI is less than the designated value, or the SINR is greater than the designated value, the processor 120 may determine that interference by another adjacent electronic device has occurred.
  • the electronic device may acquire a channel impulse response based on the transmission signal and the reception signal at 1109.
  • the processor 120 may obtain a channel impulse response by performing auto-correlation on a received signal.
  • the electronic device when interference occurs, the electronic device (for example, the processor 120) may additionally select a combination of a number of channels and sequences specified in 1121 and perform operation 1103. For example, the processor 120 may additionally select at least one channel and sequence combination in addition to the channel and sequence combination selected in operation 1101. For example, the processor 120 may additionally select a specified number of channel and sequence combinations in order to transmit and receive signals in a situation where there is no interference from other adjacent electronic devices.
  • FIG. 12 is a flowchart 1200 for recognizing an object based on data collected by an electronic device according to various embodiments of the present disclosure.
  • the operations of FIG. 12 described below may be an example of various embodiments of operation 409 of FIG. 4.
  • each of the operations may be sequentially performed, but not necessarily sequentially.
  • the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the electronic device may be the electronic device 101 of FIG. 1.
  • FIG. 13 is an exemplary diagram for recognizing an object based on data collected by an electronic device according to various embodiments of the present disclosure.
  • an electronic device may compare pre-stored reference data with collected object-related data in operation 1201.
  • the processor 120 may compare pre-stored object-specific reference data with object-related data acquired using a selected channel and sequence combination to identify reference data that is most similar to the acquired object-related data.
  • the processor 120 compares the first data subset 1301-1 obtained by using the first sequence in the third channel with the previously stored reference data for each object (1311- 1)
  • the processor 120 may obtain a similarity between the first data subset 1301-1 and the reference data of the first object based on the comparison result.
  • the electronic device eg, the processor 120 may determine whether the obtained similarity is greater than the first designated reference value by comparing the previously stored reference data with the collected object-related data.
  • the electronic device eg, the processor 120 may determine whether the similarity obtained in operation 1204 is greater than the second designated reference value.
  • the second designated reference value may be a value greater than the first designated reference value.
  • the electronic device determines the object recognition success in operation 1206 and recognizes the object based on the similarity in operation 1215. It can provide one result. For example, if the obtained similarity is greater than the second designated reference value, the processor 120 may determine that it is not necessary to obtain an object recognition result for another channel and sequence combination, and proceed to operation 1215 immediately.
  • the electronic device determines that object recognition is successful in operation 1205, and You can proceed to operation 1209. For example, when the similarity between the object-related data acquired for the selected channel and sequence combination and the reference data for the first object is greater than the first designated reference value, the object of the corresponding reference data is recognized. In order to obtain a more accurate object recognition result, it is determined that it is necessary to obtain an object recognition result for another channel and sequence combination, and operation 1209 may proceed.
  • the electronic device when the obtained similarity is less than or equal to the first designated reference value, the electronic device (eg, the processor 120) may determine that object recognition has failed in operation 1207. For example, the processor 120 may determine that object recognition has failed when the similarity between the object-related data acquired for the selected channel and sequence combination and the reference data for the first object is less than or equal to a specified reference value. .
  • the electronic device may determine whether object recognition results have been obtained for all combinations of channels and sequences selected in operation 1209.
  • the electronic device when object recognition results are not obtained for all combinations of channels and sequences selected in operation 1209, the electronic device (for example, the processor 120) returns to operation 1201, and the object recognition results are not obtained.
  • Object-related data collected for a channel and sequence combination can be compared with previously stored reference data.
  • the electronic device when object recognition results are obtained for all selected channel and sequence combinations, the electronic device (for example, the processor 120) is selected from among object recognition results for at least one channel and sequence combination in operation 1211. It is possible to determine whether there is an object recognition success result. For example, when one channel and sequence combination is selected, the processor 120 may determine whether object recognition using the selected one channel and sequence combination is successful. As another example, when a plurality of channel and sequence combinations are selected, the processor 120 may determine whether object recognition for at least one channel and sequence combination from among the selected plurality of channel and sequence combinations is successful.
  • the electronic device may provide a result of recognizing the object based on the similarity in operation 1215.
  • the processor 120 may determine an object corresponding to the object recognition result having the highest similarity among object recognition results determined as the object recognition success as the final object recognition result. For example, as shown in FIG.
  • the electronic device eg, the processor 120 additionally selects at least one combination of channels and sequences in operation 1213, and performs operation 403 of FIG. 4. can do.
  • operations 1204 and 1206 of FIG. 12 may be omitted.
  • the electronic device eg, the processor 120
  • the electronic device may perform an operation of obtaining recognition results for all selected combinations of channels and sequences.
  • FIG. 14 is a flowchart 1400 for recognizing an object based on data collected by an electronic device according to various embodiments of the present disclosure.
  • the operations of FIG. 14 described below may be an example of various embodiments of operation 409 of FIG. 4.
  • each of the operations may be sequentially performed, but not necessarily sequentially.
  • the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the electronic device may be the electronic device 101 of FIG. 1.
  • FIG. 15 is an exemplary diagram for recognizing an object based on data collected by an electronic device according to various embodiments of the present disclosure.
  • an electronic device may provide object-related data as an input of a neural network in operation 1401.
  • the processor 120 may provide object-related data acquired using a selected channel and sequence combination as an input of a pre-trained neural network. For example, as shown in FIG. 15, the processor 120 may determine the first data subset 1501-1 obtained by using the first sequence in the third channel of the previously learned neural network 1511-1. Can be provided as input.
  • the processor 120 may perform at least one data related to the acquired object-related data.
  • At least one neural network corresponding to the channel may be selected, and object related data may be provided to the selected at least one neural network as an input.
  • object related data may be provided to the selected at least one neural network as an input.
  • the processor 120 may perform a first neural network pre-learned for the first channel, a second neural network pre-learned for the second channel, and a fourth channel. It is possible to select a fourth neural network that has been learned in advance.
  • the processor 120 inputs object-related data obtained for a combination of a first channel and a second sequence into a first neural network, and receives object-related data obtained for a combination of a second channel and a fourth sequence to a second neural network.
  • the object-related data obtained for a combination of the fourth channel and the first sequence may be input to the network and may be input to the fourth neural network.
  • the processor 120 stores object-related data obtained for the selected channel and sequence combination. , Can be input to one neural network.
  • the electronic device may obtain an object recognition result corresponding to object-related data in operation 1403.
  • the processor 120 may obtain an object recognition result corresponding to object-related data obtained using a selected channel and sequence combination from at least one pre-learned neural network.
  • the processor 120 may obtain output data of at least one pre-learned neural network as an object recognition result for a selected channel and sequence combination.
  • the output data is information indicating whether or not a recognized object exists (or whether recognition is successful) among previously registered objects, identification information of the object (eg, user identification information, gesture identification information, object identification information), or reliability information It may include at least one of.
  • the identification information of the corresponding object may be obtained by comparing at least some of the output data of the neural network with pre-registered reference recognition information.
  • the output data of the neural network may additionally include data indicating at least one of a shape or characteristic of an object reflecting a signal.
  • the electronic device eg, the processor 120
  • the electronic device when an object recognition result is not obtained for all selected combinations of channels and sequences, the electronic device (for example, the processor 120) returns to operation 1401, and the channel and sequence for which the object recognition result is not obtained.
  • the channel impulse response to the combination can be provided as an input to the neural network.
  • the processor 120 may obtain a second data subset 1501-2 obtained by using a second sequence in a first channel of the previously learned neural network 1511-2.
  • the N-th data subset 1501-N which is provided as an input and obtained by using the third sequence in the fourth channel, may be provided as an input of the pre-learned neural network 1551 -N.
  • each of the pre-trained neural networks 151-1 to 1511-N may be different neural network models that are separately learned for each of a plurality of channels, and at least some of them are differently configured.
  • each of the pre-trained neural networks 151-1 to 1511-N may be the same neural network models learned for a plurality of channels.
  • the electronic device when object recognition results are obtained for all selected channel and sequence combinations, the electronic device (for example, the processor 120) is an object among object recognition results for all channel and sequence combinations selected in operation 1407. It is possible to determine whether or not a recognition success result exists. For example, when one channel and sequence combination is selected, the processor 120 may determine whether object recognition using the selected one channel and sequence combination is successful. As another example, when a plurality of channel and sequence combinations are selected, the processor 120 may determine whether object recognition for at least one channel and sequence combination from among the selected plurality of channel and sequence combinations is successful.
  • the electronic device may provide a result of recognizing the object based on the reliability included in the object recognition success result in operation 1409. .
  • the processor 120 may determine an object corresponding to the object recognition result having the highest reliability among object recognition results determined as the object recognition success as the final object recognition result. For example, as shown in FIG.
  • the processor 120 controls at least one of the display (eg, the display device 160 of FIG. 1 or the sound output device (eg, the sound output device 155 of FIG. 1)) to provide a final object recognition result to the user I can.
  • the display eg, the display device 160 of FIG. 1 or the sound output device (eg, the sound output device 155 of FIG. 1)
  • the electronic device eg, the processor 120 additionally selects at least one combination of channels and sequences in operation 1411, and performs operation 403 of FIG. 4. can do.
  • FIG. 16 is a flowchart 1600 for performing object recognition training using a neural network in an electronic device according to various embodiments of the present disclosure.
  • each of the operations may be sequentially performed, but not necessarily sequentially.
  • the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the electronic device may be the electronic device 101 of FIG. 1.
  • an electronic device eg, the processor 120 of FIG. 1 and/or the wireless communication module 192 of FIG. 1
  • at least one signal including one of a plurality of sequences orthogonal to each other may be transmitted, and at least one signal in which at least one transmitted signal is reflected and returned by an object may be received.
  • operation 1601 may include at least some of operation 701, operation 703, operation 705, and operation 707 of FIG. 7.
  • the electronic device eg, the processor 120 and/or the wireless communication module 192 includes a channel impulse response based on a transmission signal and a reception signal in operation 1603.
  • Data can be acquired.
  • the wireless communication module 192 may acquire object-related data including a channel impulse response by performing auto-correlation on a received signal under the control of the processor 120. I can.
  • operation 1603 may include at least a part of operation 709.
  • the electronic device may perform object recognition training by inputting acquired data including a channel impulse response into a neural network in operation 1605.
  • the neural network may be stored in an external device (for example, the server 108 or other electronic device 102) or the electronic device 101.
  • a neural network stored in an external device eg, the server 108 or other electronic device 102) may be shared with the electronic device 101.
  • operation 1605 may include at least a part of operation 711.
  • the processor 120 may acquire a plurality of neural networks (or neural network models) for each of the plurality of channels by performing neural network training on each of the plurality of channels.
  • the processor 120 generates a neural network model learned for the first channel by inputting reference data on an object obtained from a first channel among a plurality of channels to a designated neural network, and The reference data for the object acquired in the second channel is input to the designated neural network to generate a neural network model learned for the second channel, and the reference data for the object acquired in the Nth channel among the plurality of channels
  • a neural network model trained for the Nth channel may be generated by inputting it to a designated neural network.
  • the processor 120 may acquire one neural network (or neural network model) for all of the plurality of channels by performing neural network training on all of the plurality of channels.
  • the processor 120 may generate one neural network model for a plurality of channels by inputting reference data for an object acquired from a plurality of channels into a designated neural network.
  • a method of operating the electronic device 101 includes an operation of selecting at least one channel from among a plurality of channels in a plurality of frequency bands, and a communication interface capable of performing beamforming (eg, FIG. 1 ). Controlling the wireless communication module (192)) of the selected at least one channel, transmitting at least one signal including one of a plurality of sequences having mutual orthogonality, controlling the communication interface, the Receiving at least one signal reflected by the object in at least one selected channel, obtaining data related to the object based on the transmitted at least one signal and the received at least one signal, and the It may include an operation of recognizing the object using data related to the object and reference data for the at least one object.
  • the data related to the object may include a channel impulse response.
  • data related to the object may be obtained by performing auto-correlation on the received signal.
  • the operation of recognizing the object using data related to the object and reference data for the at least one object comprises comparing data related to the object and reference data for the at least one object, An operation of determining a similarity of each object with respect to the at least one object, and an operation of determining one of the at least one object as an object reflecting the signal based on the similarity of each object.
  • the method of the electronic device includes an operation of detecting a reference data collection event for object recognition, and controlling the communication interface in response to the event detection, Transmitting and receiving at least one signal including a specified sequence from among the sequences of, channel impulse response for each of combinations of the plurality of channels and the specified sequence based on the at least one transmitted and received signal
  • the operation of acquiring and storing a channel impulse response for each of combinations of the plurality of channels and the specified sequence as reference data for the object may be further included.
  • the method of operating the electronic device includes an operation of acquiring object recognition information using a neural network for inputting reference data for the object, and the object recognition information through a user interface.
  • the operation of recognizing the object by using data related to the object and reference data for the at least one object may further include the operation of recognizing the object.
  • the operation of transmitting at least one signal including one of a plurality of sequences having mutual orthogonality in the selected at least one channel includes selecting at least one sequence from among the plurality of sequences. At least one of an operation, an operation of determining a combination of the selected at least one channel and the selected at least one sequence, a channel to transmit the at least one signal, or a sequence to be included in the at least one signal based on the determined combination The operation of transmitting the at least one signal while changing one may be included.
  • the plurality of sequences having mutual orthogonality may include a Golay sequence.
  • the method of operating the electronic device 101 is to transmit and receive at least one signal including one of a plurality of sequences having mutually orthogonality in each of a plurality of channels in a plurality of frequency bands.
  • the received at least one signal is a signal reflected and returned by an object after the at least one signal is transmitted, and based on the at least one transmitted and received signal, each of the plurality of channels It may include an operation of obtaining data including a channel impulse response for, and performing training to recognize the object by inputting the obtained data to a designated neural network.
  • the operation of performing the training includes an operation of acquiring a plurality of neural networks trained on each of the plurality of channels, or one neural network trained on the plurality of channels. can do.
  • the operation of performing the training for recognizing the object includes an operation of acquiring object recognition information using the designated neural network, an operation of providing the object recognition result through a user interface, and a user input. On the basis of, an operation of determining whether object recognition is successful with respect to the object recognition information, and when the object recognition success is determined, an operation of mapping the object recognition information with the identification information of the object and registering it as reference recognition information. I can.
  • the method of operating the electronic device includes an operation of selecting at least one channel from among the plurality of channels when a specified event is detected, and by controlling the communication interface, in the selected at least one channel, the Transmitting and receiving at least one signal including one of a plurality of sequences, based on the at least one transmitted and received signal, acquiring data including a channel impulse response for the at least one channel An operation, an operation of inputting the obtained data into at least one neural network model obtained by the training, and recognition of the object based on output data of the at least one neural network model and the registered reference recognition information It may further include an operation to perform.
  • the operation of transmitting and receiving at least one signal including one of the plurality of sequences in the selected at least one channel is an operation of selecting at least one sequence from among the plurality of sequences. , Determining a combination of the selected at least one channel and the selected at least one sequence, at least one of a channel to transmit the at least one signal, or a sequence to be included in the at least one signal based on the determined combination It may include an operation of transmitting and receiving the at least one signal while changing the.
  • an operation of determining whether interference occurs based on the at least one received signal, an operation of additionally selecting at least one channel and sequence combination when interference occurs based on the determination, the It may further include an operation of recognizing the object based on the additionally selected channel and sequence combination by controlling the communication interface.
  • the operation of additionally selecting at least one channel and sequence combination, and controlling the communication interface to recognize the object based on the additionally selected channel and sequence combination may further include an operation to perform.
  • Electronic devices may be devices of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a wearable device e.g., a portable medical device
  • a home appliance e.g., a smart bracelet
  • phrases such as “at least one of, B, or C” may include any one of the items listed together in the corresponding one of the phrases, or all possible combinations thereof.
  • Terms such as “first”, “second”, or “first” or “second” may be used simply to distinguish the component from other corresponding components, and the components may be referred to in other aspects (eg, importance or Order) is not limited.
  • a first component is referred to as “coupled” or “connected” to another (eg, a second) component, with or without the terms “functionally” or “communicatively”.
  • a second component is referred to as “coupled” or “connected” to another (eg, a second) component, with or without the terms “functionally” or “communicatively”.
  • any of the above components may be connected to the other components directly (eg by wire), wirelessly, or via a third component.
  • module used in this document may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic blocks, parts, or circuits.
  • the module may be an integrally configured component or a minimum unit of the component or a part thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document include one or more commands stored in a storage medium (eg, internal memory 136 or external memory 138) that can be read by a machine (eg, electronic device 101). It may be implemented as software (for example, the program 140) including them.
  • the processor eg, the processor 120 of the device (eg, the electronic device 101) may call and execute at least one command among one or more commands stored from a storage medium. This makes it possible for the device to be operated to perform at least one function according to the at least one command invoked.
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • non-transient only means that the storage medium is a tangible device and does not contain a signal (e.g., electromagnetic wave), and this term refers to the case where data is semi-permanently stored in the storage medium. It does not distinguish between temporary storage cases.
  • a signal e.g., electromagnetic wave
  • a method according to various embodiments disclosed in this document may be provided in a computer program product.
  • Computer program products can be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a device-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play Store TM ) or two user devices ( It can be distributed (e.g., downloaded or uploaded) directly between, e.g. smartphones).
  • a device e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play Store TM
  • two user devices It can be distributed (e.g., downloaded or uploaded) directly between, e.g. smartphones).
  • at least a portion of the computer program product may be temporarily stored or temporarily generated in a storage medium that can be read by a device such as a server of a manufacturer, a server of an application store, or a memory of a relay server.
  • each component (eg, module or program) of the above-described components may include a singular number or a plurality of entities.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components in the same or similar to that performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be sequentially, parallel, repeatedly, or heuristically executed, or one or more of the operations may be executed in a different order or omitted. , Or one or more other actions may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

다양한 실시 예들은 객체를 인식하기 위한 방법 및 그 전자 장치에 관한 것이다. 전자 장치는, 적어도 하나의 객체에 대한 기준 데이터를 저장하는 메모리, 빔포밍을 수행할 수 있는 통신 인터페이스, 및 상기 메모리, 및 상기 통신 인터페이스와 작동적으로 연결된 프로세서를 포함하며, 상기 프로세서는, 복수의 주파수 대역들 내 복수의 채널들 중에서 적어도 하나의 채널을 선택하고, 상기 통신 인터페이스를 제어하여, 상기 선택된 적어도 하나의 채널에서, 서로 직교성을 갖는 복수의 시퀀스들 중 하나를 포함하는 적어도 하나의 신호를 송신하고, 상기 통신 인터페이스를 제어하여, 상기 선택된 적어도 하나의 채널에서 객체에 의해 반사된 적어도 하나의 신호를 수신하고, 상기 송신된 적어도 하나의 신호와 상기 수신된 적어도 하나의 신호를 기반으로 상기 객체에 관련된 데이터를 획득하고, 및 상기 객체에 관련된 데이터와 상기 적어도 하나의 객체에 대한 기준 데이터를 이용하여 상기 객체를 인식하도록 설정될 수 있다. 다른 실시 예들도 가능할 수 있다.

Description

객체를 인식하기 위한 전자 장치 및 그의 동작 방법
다양한 실시 예들은 객체를 인식하는 전자 장치 및 그의 동작 방법에 관한 것이다.
전자 장치들(예: 이동 단말기, 스마트 폰, 또는 착용형(wearable) 장치)은 다양한 기능을 제공할 수 있다. 예를 들어, 전자 장치는 기본적인 음성 통신 기능에 추가적으로, 근거리 무선 통신 기능, 이동 통신(3G(generation), 4G, 또는 5G) 기능, 음악 재생 기능, 동영상 재생 기능, 촬영 기능, 네비게이션 기능, 또는 객체 인식 기능을 제공할 수 있다.
전자 장치는 객체 인식을 통해 다양한 기능을 제공한다. 예를 들어, 전자 장치는 카메라로, 또는 센서로부터 획득된 데이터를 이용하여 객체를 인식하여 사용자 인증을 수행하는 기능을 제공할 수 있다. 그러나, 카메라, 또는 센서를 이용하여 객체를 인식하는 방식으로 사용자 인증을 수행하는 경우 보안에 취약한 문제점이 발생될 수 있다.
IEEE 802.11ay 시스템을 지원하는 전자 장치는 밀리미터 주파수 대역(예: 60GHz)에서 수 GHz 대의 넓은 대역폭을 이용하여 객체 인식을 위한 신호를 송수신함으로써, 높은 정밀도로 객체를 인식할 수 있다. 그러나, 서로 인접한 복수의 전자 장치들이 동시에 객체 인식을 위한 신호를 송수신하는 경우, 인접한 전자 장치에서 송수신된 신호의 간섭으로 인해 복수의 전자 장치들 각각에서의 객체 인식 성능이 저하될 수 있다.
본 개시의 다양한 실시 예들은 전자 장치에서 인접한 다른 전자 장치에 의한 간섭을 제거할 수 있는 객체 인식 방법 및 장치에 대해 개시한다.
다양한 실시 예에 따르면, 전자 장치는, 적어도 하나의 객체에 대한 기준 데이터를 저장하는 메모리, 빔포밍을 수행할 수 있는 통신 인터페이스, 및 상기 메모리, 및 상기 통신 인터페이스와 작동적으로 연결된 프로세서를 포함하며, 상기 프로세서는, 복수의 주파수 대역들 내 복수의 채널들 중에서 적어도 하나의 채널을 선택하고, 상기 통신 인터페이스를 제어하여, 상기 선택된 적어도 하나의 채널에서, 서로 직교성을 갖는 복수의 시퀀스들 중 하나를 포함하는 적어도 하나의 신호를 송신하고, 상기 통신 인터페이스를 제어하여, 상기 선택된 적어도 하나의 채널에서 객체에 의해 반사된 적어도 하나의 신호를 수신하고, 상기 송신된 적어도 하나의 신호와 상기 수신된 적어도 하나의 신호를 기반으로 상기 객체에 관련된 데이터를 획득하고, 및 상기 객체에 관련된 데이터와 상기 적어도 하나의 객체에 대한 기준 데이터를 이용하여 상기 객체를 인식하도록 설정될 수 있다.
다양한 실시 예에 따르면, 전자 장치의 동작 방법은, 복수의 주파수 대역들 내 복수의 채널들 중에서 적어도 하나의 채널을 선택하는 동작, 빔포밍을 수행할 수 있는 통신 인터페이스를 제어하여, 상기 선택된 적어도 하나의 채널에서, 서로 직교성을 갖는 복수의 시퀀스들 중 하나를 포함하는 적어도 하나의 신호를 송신하는 동작, 상기 통신 인터페이스를 제어하여, 상기 선택된 적어도 하나의 채널에서 객체에 의해 반사된 적어도 하나의 신호를 수신하는 동작, 상기 송신된 적어도 하나의 신호와 상기 수신된 적어도 하나의 신호를 기반으로 상기 객체에 관련된 데이터를 획득하는 동작, 및 상기 객체에 관련된 데이터와 적어도 하나의 객체에 대한 기준 데이터를 이용하여 상기 객체를 인식하는 동작을 포함할 수 있다.
다양한 실시 예들에 따르면, 전자 장치는 복수의 주파수 대역들의 채널들 및 서로 직교성을 갖는 복수의 시퀀스들의 조합들 중 적어도 하나의 조합을 선택하고, 선택된 적어도 하나의 채널 및 시퀀스의 조합을 이용하여 신호를 송수신함으로써, 인접한 다른 전자 장치의 밀리미터파(millimeter-wave) 송수신 신호로 인해 간섭이 발생될 확률을 감소시키면서 객체 인식률이 저하되는 것을 방지할 수 있다.
도 1은 다양한 실시 예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 다양한 실시 예들에 따른 객체 인식을 위한 신호의 데이터 포맷을 나타내는 예시도이다.
도 3은 다양한 실시 예들에 따른 전자 장치에서 객체 인식을 위한 신호를 송수신하는 방식을 나타내는 예시도이다.
도 4는 다양한 실시 예들에 따른 전자 장치에서 객체를 인식하기 위한 흐름도이다.
도 5는 다양한 실시 예들에 따른 복수의 주파수 대역들의 채널들 및 복수의 시퀀스들의 조합을 나타내는 예시도이다.
도 6은 다양한 실시 예들에 따른 전자 장치에서 객체 인식을 위한 신호를 송수신하여 객체 인식에 필요한 데이터를 수집하는 방식을 나타내는 예시도이다.
도 7은 다양한 실시 예들에 따른 전자 장치에서 객체 인식을 위한 기준 데이터를 수집하기 위한 흐름도이다.
도 8은 다양한 실시 예들에 따른 전자 장치에서 채널 및 시퀀스 조합을 이용하여 객체 인식을 위한 기준 데이터를 수집하는 예시도이다.
도 9는 다양한 실시 예들에 따른 전자 장치에서 선택된 채널 및 시퀀스 조합을 이용하여 신호를 송수신하기 위한 흐름도이다.
도 10은 다양한 실시 예들에 따른 전자 장치에서 선택된 채널 및 시퀀스 조합을 이용하여 신호를 송수신하는 예시도이다.
도 11은 다양한 실시 예들에 따른 전자 장치에서 간섭 발생 여부에 기초하여 채널 및 시퀀스 조합을 선택하기 위한 흐름도이다.
도 12는 다양한 실시 예들에 따른 전자 장치에서 수집된 데이터에 기초하여 객체를 인식하기 위한 흐름도이다.
도 13은 다양한 실시 예들에 따른 전자 장치에서 수집된 데이터에 기초하여 객체를 인식하는 예시도이다.
도 14는 다양한 실시 예들에 따른 전자 장치에서 수집된 데이터에 기초하여 객체를 인식하기 위한 흐름도이다.
도 15는 다양한 실시 예들에 따른 전자 장치에서 수집된 데이터에 기초하여 객체를 인식하는 예시도이다.
도 16은 다양한 실시 예들에 따른 전자 장치에서 뉴럴 네트워크를 이용하여 객체 인식 훈련을 수행하기 위한 흐름도이다.
이하 다양한 실시 예들이 첨부된 도면을 참고하여 상세히 설명된다. 실시 예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
도 1은 다양한 실시 예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 이하에서 도 1의 적어도 일부 구성 요소의 동작은, 도 2, 도 3, 및 도 6을 참조하여 설명할 것이다. 도 2는 다양한 실시 예들에 따른 객체 인식을 위한 신호의 데이터 포맷을 나타내는 예시도이다. 도 3은 다양한 실시 예들에 따른 전자 장치에서 객체 인식을 위한 신호를 송수신하는 방식을 나타내는 예시도이다. 도 6은 다양한 실시 예들에 따른 전자 장치에서 객체 인식을 위한 신호를 송수신하여 객체 인식에 필요한 데이터를 수집하는 방식을 나타내는 예시도이다.
도 1을 참고하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시 예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(160)(예: 디스플레이)에 임베디드된 채 구현될 수 있다
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시 예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)는, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시 예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(160)는 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(160)는, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시 예에 따르면, 표시 장치(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시 예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시 예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시 예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시 예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시 예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시 예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시 예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시 예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일 실시 예에 따르면, 안테나 모듈(197)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시 예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 장치들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시 예에 따르면, 명령 또는 데이터는 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104) 간에 송신 또는 수신될 수 있다. 외부 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시 예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
다양한 실시 예들에 따르면, 무선 통신 모듈(192)은 밀리미터파 대역(예: 약 60GHz의 주파수 대역)의 통신 시스템을 지원할 수 있다. 예를 들어, 무선 통신 모듈(192)은 60GHz 주파수 대역을 이용하는 IEEE 802.11ad 시스템, 또는 IEEE 802.11ay 시스템을 지원할 수 있다. 일 실시 예에 따르면, 무선 통신 모듈(192)은 프로세서(120)의 제어에 의해 제1 안테나(예: 도 6의 제1 안테나(601))의 적어도 일부를 제어하여, 밀리미터파 대역 내 적어도 하나의 주파수 채널에서 지정된 시퀀스를 포함하는 신호를 송신할 수 있다. 지정된 시퀀스는 서로 직교성을 갖는 복수의 시퀀스들 중 프로세서(120)에 의해 선택된 시퀀스 일 수 있다. 예를 들어, 지정된 시퀀스는 서로 직교성을 갖는 복수의 골레이 시퀀스(Golay sequence) 중 프로세서(120)에 의해 선택된 제N 골레이 시퀀스 일 수 있다. 골레이 시퀀스는, 지연 시간이 0인 경우에 자기 상관(auto-correlation)이 최대값이 되고, 지연 시간이 0이 아닌 경우에는 자기 상관이 0 또는 최대값 보다 작은 값이 되는 특성을 가진다. 무선 통신 모듈(192)은 골레이 시퀀스의 자기 상관 특성을 이용하여, 지정된 골레이 시퀀스를 포함하는 신호가 송신된 후 객체에 의해 반사되어 되돌아오는 데까지 걸리는 지연 시간을 획득할 수 있다. 지정된 시퀀스를 포함하는 신호는 객체 인식을 위한 신호로, 예를 들어, IEEE 802.11ay 시스템의 표준 규격을 따르는 레이더(radar) 신호일 수 있다. 제1 안테나(601)는, 빔포밍을 지원하는 어레이(array) 안테나를 포함할 수 있다. 일 실시 예에 따르면, 무선 통신 모듈(192)은 IEEE 802.11ay 시스템의 표준 규격을 따르는 데이터 포맷을 이용하여, 적어도 하나의 주파수 채널에서 지정된 시퀀스를 포함하는 신호를 송신할 수 있다. 예를 들어, 무선 통신 모듈(192)은 도 2에 도시된 바와 같은 PPDU(physical layer protocol data unit)(200) 포맷으로 구성된 신호를 송신할 수 있다. 무선 통신 모듈(192)은 PPDU(200)의 EDMG-CEF(channel estimation filed)(201)에 지정된 시퀀스를 포함하는 신호를 송신할 수 있다. 이는 예시적인 것으로서, 다양한 실시 예들은 이에 한정되지 않는다. 예를 들어, 객체 인식을 위한 신호는, 지정된 시퀀스를 포함하는 다른 포맷의 신호일 수 있다.
일 실시 예에 따르면, 무선 통신 모듈(192)은 프로세서(120)의 제어에 따라 제1 안테나(601)의 적어도 일부 또는 제2 안테나(예: 도 6의 제2 안테나(603))(제1 안테나(601)와 논리적 및/또는 물리적으로 구분된 안테나)를 제어하여, 밀리미터파 대역 내 적어도 하나의 주파수 채널에서 지정된 시퀀스를 포함하는 신호를 수신할 수 있다. 지정된 시퀀스를 포함하는 수신된 신호는, 무선 통신 모듈(192)에서 송신된 후 적어도 하나의 객체에 의해 반사된 신호일 수 있다. 객체는 시각 및/또는 촉각을 통해 인지할 수 있는 객체, 예를 들어, 사람, 사물, 또는 생명체 중 적어도 하나를 포함할 수 있다. 제2 안테나(603)는, 빔포밍을 지원하는 어레이(array) 안테나를 포함할 수 있다. 일 실시 예에 따르면, 제1 안테나(601) 및 제2 안테나(603)는 논리적 및/또는 물리적으로 구분된 서로 다른 안테나 모듈일 수 있으며, 논리적 및/또는 물리적으로 통합된 하나의 안테나 모듈일 수 있다. 일 실시 예에 따르면, 무선 통신 모듈(192)은 수신된 신호에 대한 자기 상관(auto-correlation)을 수행하여 객체 관련 데이터를 획득할 수 있다. 객체 관련 데이터는, 채널 임펄스 응답(channel impulse response)을 포함하는 데이터 서브셋일 수 있다. 채널 임펄스 응답은, 예를 들어, 수신된 신호의 시간 지연(time delay) 정보, 위상(phase) 정보, AoA(angle of arrival) 정보, 또는 AoD(angle of departure) 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 무선 통신 모듈(192)은 프로세서(120)의 제어에 따라 하나의 프레임(예: 도 3의 Radar frame(311)) 내에 포함되는 복수의 버스트들 각각을 통해 지정된 시퀀스를 포함하는 신호를 지정된 채널에서 송신 및 수신하는 동작을 반복적으로 수행할 수 있다. 예를 들어, 무선 통신 모듈(192)은 도 3에 도시된 바와 같이, i번째 버스트(301)에서, 지정된 채널 N을 통해 제k 시퀀스를 갖는 신호(RNk)를 송신하고 제k 시퀀스를 갖는 반사된 신호를 수신하는 동작을 지정된 시간 구간(303) 동안 복수 번 반복적으로 수행할 수 있다. 일 실시 예에 따르면, 신호(RNk) 송신, 및 반사된 신호에 대한 수신 동작이 수행되는 지정된 시간 구간(303), 또는 횟수는 프로세서(120)의 제어에 의해 변경될 수 있다. 예를 들어, 사용자 얼굴, 또는 제스처를 인식하고자 하는 경우, 무선 통신 모듈(192)은, 신호(RNk) 송신, 및 반사된 신호에 대한 수신 동작을 프로세서(120)의 제어에 따라 제1 지정된 시간 구간 동안에 제1 지정된 횟수만큼 반복적으로 수행할 수 있다. 다른 예로, 제스처의 변화를 인식하고자 하는 경우, 무선 통신 모듈(192)은, 신호(RNk) 송신, 및 반사된 신호에 대한 수신 동작을 프로세서(120)의 제어에 따라 제2 지정된 시간 구간 동안 제2 지정된 횟수만큼 반복적으로 수행할 수 있다. 제2 지정된 시간 구간은 제1 지정된 시간 구간보다 길 수 있다. 제2 지정된 횟수는, 제1 지정된 횟수보다 큰 값일 수 있다. 무선 통신 모듈(192)은 지정된 시간 구간 동안 송신된 신호들 및 반사되어 수신된 신호들을 이용하여 객체 관련 데이터를 획득하고, 획득된 객체 관련 데이터를 프로세서(120)로 제공할 수 있다. 예를 들어, 무선 통신 모듈(192)은 지정된 시간 구간 동안 송신된 신호들 및 객체에 의해 반사되어 수신된 신호들 각각에 대한 채널 임펄스 응답들을 획득하고, 획득된 채널 임펄스 응답들을 프로세서(120)로 제공할 수 있다.
다양한 실시 예들에 따르면, 프로세서(120)는 객체 인식을 위한 기준 데이터 수집 이벤트를 감지하고, 객체 인식을 위한 신호를 송신 및 수신하여 객체에 대한 기준 데이터를 획득할 수 있다. 객체 인식을 위한 기준 데이터 수집 이벤트는, 객체 인식 정보를 등록하기 위한 이벤트를 포함할 수 있다. 예를 들어, 객체 인식 정보를 등록하기 위한 이벤트는, 사용자의 얼굴, 사용자의 제스처, 또는 사물의 모형 중 적어도 하나를 인식하여 메모리(130)에 객체 인식에 필요한 기준 데이터를 등록하기 위한 이벤트일 수 있다. 예를 들어, 프로세서(120)는 객체 인식을 이용한 적어도 하나의 기능을 제공하는 어플리케이션을 실행하고, 실행된 어플리케이션을 통해 객체 인식 정보를 등록하기 위한 이벤트를 감지할 수 있다. 프로세서(120)는 등록하고자 하는 객체의 객체 식별 정보를 입력해줄 것을 요청하는 사용자 인터페이스가 표시되도록 표시 장치(160)를 제어하고, 사용자로부터 등록하고자 하는 객체에 대한 객체 식별 정보(예: 사용자 ID, 제스처 ID, 또는 사물 ID)를 입력 받을 수 있다. 프로세서(120)는 입력된 객체 식별 정보에 대응되는 객체를 인식하여 등록하기 위해, 사용 가능한 복수의 주파수 대역 내 복수의 채널들 중 적어도 하나의 채널, 및 서로 직교성을 갖는 복수의 시퀀스들 중 적어도 하나의 시퀀스를 선택하고, 선택된 적어도 하나의 채널과 적어도 하나의 시퀀스의 조합에 기초하여 객체 인식을 위한 신호(R1k, R2k, R3k, ..., RNk)를 송신 및 수신하도록 무선 통신 모듈(192)을 제어할 수 있다. 프로세서(120)는 무선 통신 모듈(192)로부터 등록하고자 하는 객체에 대한 객체 관련 데이터를 제공받을 수 있다. 일 실시 예에 따르면, 프로세서(120)는 등록하고자 하는 객체에 대한 객체 관련 데이터를 기반으로 객체에 대한 기준 데이터를 획득하고, 객체에 대한 기준 데이터와 객체 식별 정보를 연관시켜 저장함으로써 해당 객체에 대한 객체 인식 정보를 등록할 수 있다. 예를 들어, 객체에 대한 기준 데이터는, 제1 내지 제N 채널 중 선택된 적어도 하나의 채널과 제1 내지 제K 시퀀스 중 선택된 적어도 하나의 시퀀스의 조합에 기초하여 획득된 객체 관련 데이터를 포함할 수 있다. 예컨대, 객체에 대한 기준 데이터는, 제1 채널부터 제N 채널 중 적어도 하나의 선택된 채널에서 제K 시퀀스를 포함하는 신호를 송신 및 수신하여 획득된 객체 관련 데이터를 포함할 수 있다. 다른 예로, 객체에 대한 기준 데이터는, 제1 채널부터 제N 채널 각각에서 제K 시퀀스를 포함하는 신호를 송신 및 수신하여 획득된 객체 관련 데이터를 포함할 수 있다. 이는 예시적인 것일 뿐, 다양한 실시 예들에 따른 객체에 대한 기준 데이터는 이에 한정되지 않을 것이다. 일 실시 예에 따르면, 프로세서(120)는 등록하고자 하는 객체의 객체에 대한 기준 데이터를 지정된 뉴럴 네트워크(neural network)에 입력하여 해당 객체를 인식하기 위한 학습(또는 훈련)을 수행할 수 있다. 뉴럴 네트워크는, 외부 장치(예: 서버(108), 또는 다른 전자 장치(102)), 또는 전자 장치(101)에 저장될 수 있다. 외부 장치(예: 서버(108), 또는 다른 전자 장치(102))에 저장된 뉴럴 네트워크는, 전자 장치(101)와 공유될 수 있다. 프로세서(120)는 뉴럴 네트워크를 이용하여 해당 객체를 인식한 결과를 표시 장치(160)에 표시하고, 사용자 입력에 기초하여 해당 객체가 성공적으로 인식되었는지 여부를 결정할 수 있다. 프로세서(120)는 사용자 입력에 기초하여 해당 객체가 성공적으로 인식된 것으로 결정된 경우, 뉴럴 네트워크의 입력으로 이용된 기준 데이터, 뉴럴 네트워크의 출력 데이터, 및 객체 식별 정보를 연관시켜 저장함으로써, 해당 객체에 대한 객체 인식 정보를 등록할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 복수의 채널들 각각에 대해 뉴럴 네트워크 훈련을 수행함으로써 복수의 채널들 각각에 대한 복수의 뉴럴 네트워크(또는 뉴럴 네트워크 모델)를 획득할 수 있다. 예를 들어, 프로세서(120)는 복수의 채널들 중 제1 채널에서 획득된 객체에 대한 기준 데이터를 지정된 뉴럴 네트워크에 입력하여 제1 채널에 대해 학습된 뉴럴 네트워크 모델을 생성하고, 복수의 채널들 중 제2 채널에서 획득된 객체에 대한 기준 데이터를 지정된 뉴럴 네트워크에 입력하여 제2 채널에 대해 학습된 뉴럴 네트워크 모델을 생성하고, 복수의 채널들 중 제N 채널에서 획득된 객체에 대한 기준 데이터를 지정된 뉴럴 네트워크에 입력하여 제N 채널에 대해 학습된 뉴럴 네트워크 모델을 생성할 수 있다. 프로세서(120)는 복수의 채널들에 대한 복수의 뉴럴 네트워크 모델들을 생성하는 경우, 뉴럴 네트워크 모델 별로 해당 객체에 대한 객체 인식 정보를 등록할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 복수의 채널들 전체에 대해 뉴럴 네트워크 훈련을 수행함으로써, 복수의 채널들 전체에 대한 하나의 뉴럴 네트워크(또는 뉴럴 네트워크 모델)을 획득할 수 있다. 예를 들어, 프로세서(120)는 복수의 채널들에서 획득된 객체에 대한 기준 데이터를 지정된 뉴럴 네트워크에 입력하여 복수의 채널들에 대한 하나의 뉴럴 네트워크 모델을 생성할 수 있다.
다양한 실시 예들에 따르면, 프로세서(120)는 지정된 이벤트 감지 시, 객체 인식을 위한 신호를 송신 및 수신할 수 있다. 지정된 이벤트는, 객체 인식을 요청하는 이벤트를 포함할 수 있다. 객체 인식은, 사용자의 얼굴 인식, 사용자의 제스처 인식, 또는 사물의 모형 인식 중 적어도 하나를 포함할 수 있다. 예를 들어, 프로세서(120)는 객체 인식을 이용한 적어도 하나의 기능을 제공하는 어플리케이션을 실행하고, 실행된 어플리케이션을 통해 객체 인식을 요청하는 이벤트를 감지할 수 있다. 프로세서(120)는 객체 인식을 요청하는 이벤트가 감지된 것에 대한 응답으로, 무선 통신 모듈(192)을 제어하여 객체 인식을 위한 신호를 송신 및 수신할 수 있다. 객체 인식을 위한 신호는 서로 직교성을 갖는 복수의 시퀀스들 중에서 지정된 시퀀스를 포함하는 신호일 수 있다.
다양한 실시 예에 따르면, 프로세서(120)는 지정된 이벤트 감지 시, 밀리미터파 대역에서 사용 가능한 복수의 주파수 대역 내 복수의 채널들 중 적어도 하나의 채널을 선택하고, 서로 직교성을 갖는 복수의 시퀀스들 중 적어도 하나의 시퀀스를 선택할 수 있다. 프로세서(120)는 선택된 적어도 하나의 채널과 선택된 적어도 하나의 시퀀스의 조합에 기초하여, 채널 및/또는 시퀀스를 변경하면서 객체 인식을 위한 신호가 송신 및 수신되도록 무선 통신 모듈(192)을 제어할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 하나의 채널 및 하나의 시퀀스를 선택하고, 선택된 하나의 채널에서 선택된 하나의 시퀀스를 포함하는 객체 인식을 위한 신호가 송신 및 수신되도록 무선 통신 모듈(192)을 제어할 수 있다. 예를 들어, 프로세서(120)는 제1 채널, 및 제1 시퀀스를 선택하고, 제1 채널에서 제1 시퀀스를 포함하는 신호(R11)를 송신하고, 제1 시퀀스를 포함하는 반사된 신호를 수신하는 동작이 수행되도록 무선 통신 모듈(192)을 제어할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 하나의 채널 및 복수의 시퀀스를 선택하고, 선택된 하나의 채널에서 시퀀스를 변경하면서 객체 인식을 위한 신호가 송신 및 수신되도록 무선 통신 모듈(192)을 제어할 수 있다. 예를 들어, 프로세서(120)는 제1 채널과 제1 시퀀스, 및 제3 시퀀스를 선택하고, 제1 채널에서 제3 시퀀스를 포함하는 신호(R13)를 송신 및 수신하고, 제1 채널에서 제1 시퀀스를 포함하는 신호(R11)를 송신 및 수신하도록 무선 통신 모듈(192)을 제어할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 복수의 채널 및 하나의 시퀀스를 선택하고, 채널을 변경하면서 선택된 하나의 시퀀스를 포함하는 신호가 송신 및 수신되도록 무선 통신 모듈(192)을 제어할 수 있다. 예를 들어, 프로세서(120)는 제1 채널 및 제4 채널과 제1 시퀀스를 선택하고, 제4 채널에서 제1 시퀀스를 포함하는 신호(R41)를 송신 및 수신하고, 제1 채널에서 제1 시퀀스를 포함하는 신호(R11)를 송신 및 수신하도록 무선 통신 모듈(192)을 제어할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 복수의 채널 및 복수의 시퀀스를 선택하고, 복수의 채널 및 복수의 시퀀스의 조합에 기초하여 채널 및 시퀀스를 변경하면서 객체 인식을 위한 신호가 송신 및 수신되도록 무선 통신 모듈(192)을 제어할 수 있다. 예를 들어, 프로세서(120)는 제1 채널 및 제3 채널과 제2 시퀀스 및 제5 시퀀스를 선택하고, 제1 채널에서 제2 시퀀스를 포함하는 신호(R12)를 송신 및 수신하고, 제1 채널에서 제5 시퀀스를 포함하는 신호(R15)를 송신 및 수신하고, 제3 채널에서 제5 시퀀스를 포함하는 신호(R35)를 송신 및 수신하고, 제3 채널에서 제2 시퀀스를 포함하는 신호(R32)를 송신 및 수신하도록 무선 통신 모듈(192)을 제어할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 채널 및 시퀀스의 조합을 복수 개 선택하고, 선택된 채널 및 시퀀스의 조합에 기초하여 채널 및/또는 시퀀스를 변경하면서, 객체 인식을 위한 신호가 송신 및 수신되도록 무선 통신 모듈(192)을 제어할 수 있다. 예를 들어, 프로세서(120)는 제1 채널 및 제4 시퀀스 조합, 제3 채널 및 제2 시퀀스 조합, 및 제2 채널 및 제5 시퀀스 조합을 선택하고, 제1 채널에서 제4 시퀀스를 포함하는 신호(R14)를 송신 및 수신하고, 제3 채널에서 제2 시퀀스를 포함하는 신호(R32)를 송신 및 수신하고, 제2 채널에서 제5 시퀀스를 포함하는 신호(R25)를 송신 및 수신하도록 무선 통신 모듈(192)을 제어할 수 있다. 프로세서(120)는 객체 인식을 위해 채널 및/또는 시퀀스의 변경이 필요한 상황에서, 선택된 적어도 하나의 채널 및 적어도 하나의 시퀀스 내에서 임의적으로 채널 및/또는 시퀀스를 변경함으로써, 인접한 다른 전자 장치와 동일한 채널 및/또는 시퀀스를 이용할 확률을 감소시킬 수 있다. 이로 인해, 전자 장치는 인접한 다른 전자 장치로부터 송신된 신호에 의해 간섭이 발생될 확률을 감소시킬 수 있다.
다양한 실시 예들에 따르면, 프로세서(120)는 신호 수신 결과에 기초하여 간섭 발생 여부를 검출할 수 있다. 예를 들어, 프로세서(120)는 수신된 신호의 오류 발생 여부, RSSI(received signal strength indication), 또는 SINR(signal-to-interference-plus-noise ratio) 중 적어도 하나에 기초하여, 인접한 다른 전자 장치에 의한 간섭이 발생되었는지 여부를 검출할 수 있다. 프로세서(120)는 수신 신호에 오류가 존재하거나, RRSI가 지정된 값보다 작거나, SINR이 지정된 값보다 큰 경우, 인접한 다른 전자 장치에 의한 간섭이 발생된 것으로 결정할 수 있다. 프로세서(120)는 간섭이 발생된 것으로 결정된 경우, 적어도 하나의 채널 및/또는 적어도 하나의 시퀀스를 추가적으로 선택하고, 추가 선택된 채널 및/또는 시퀀스의 조합에 기초하여, 채널 및/또는 시퀀스를 변경하면서 객체 인식을 위한 신호가 송신 및 수신되도록 무선 통신 모듈(192)을 제어할 수 있다.
다양한 실시 예에 따르면, 프로세서(120)는 무선 통신 모듈(192)로부터 객체 관련 데이터를 획득하고, 획득된 데이터에 기초하여 적어도 하나의 객체를 인식할 수 있다. 객체 관련 데이터는, 무선 통신 모듈(192)을 통해 객체 인식을 위한 신호를 송신 및 수신한 결과에 기반하여 획득된 채널 임펄스 응답을 포함할 수 있다. 채널 임펄스 응답은, 수신된 신호에 대한 자기 상관(auto-correlation)을 수행하여 획득될 수 있다. 프로세서(120)는 적어도 하나의 채널 및 시퀀스의 조합 별로 객체 관련 데이터를 획득하고, 획득된 객체 관련 데이터에 기초하여 객체를 인식할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 적어도 하나의 채널 및 시퀀스의 조합 각각에 대해 획득된 객체 관련 데이터와 기 저장된 객체 별 기준 데이터를 비교하여 객체를 인식할 수 있다. 프로세서(120)는 획득된 객체 관련 데이터를 기 저장된 객체 별 기준 데이터와 비교하여 유사도를 결정하고, 유사도가 지정된 기준 값보다 큰 지 여부에 기초하여 객체를 인식할 수 있다. 예를 들어, 프로세서(120)는 제1 채널 및 제3 시퀀스의 조합에 대해 획득된 객체 관련 데이터와 제1 객체(예: 제1 사용자, 또는 제1 제스처)에 대한 기준 데이터를 비교하여 유사도가 "A"이고, 제2 채널 및 제1 시퀀스의 조합에 대해 획득된 객체 관련 데이터와 제1 객체에 대한 기준 데이터를 비교하여 유사도가 "B"이고, 제1 채널 및 제3 시퀀스의 조합에 대해 획득된 객체 관련 데이터와 제2 객체(예: 제2 사용자, 또는 제2 제스처)에 대한 기준 데이터를 비교하여 유사도가 "a"이고, 제2 채널 및 제1 시퀀스의 조합에 대해 획득된 객체 관련 데이터와 제2 객체에 대한 기준 데이터를 비교하여 유사도가 "b"임을 결정할 수 있다. 프로세서(120)는 유사도 "A", "B", "a", 및 "b" 중에서 유사도 "B"가 가장 큰 값을 가지고, 유사도 "B"가 지정된 기준 값보다 큰 경우, 해당 객체가 제1 객체인 것으로 인식할 수 있다. 프로세서(120)는 유사도 "A", "B", "a", 및 "b"가 모두 지정된 기준 값보다 작은 경우, 객체 인식에 실패한 것으로 결정할 수 있다.
일 실시 예에 따르면, 프로세서(120)는 적어도 하나의 채널 및 시퀀스의 조합 각각에 대해 획득된 객체 관련 데이터를 미리 학습된 뉴럴 네트워크(neural network)의 입력으로 이용하여 객체를 인식할 수 있다. 프로세서(120)는 미리 학습된 뉴럴 네트워크의 출력 데이터에 기초하여 객체를 인식할 수 있다. 미리 학습된 뉴럴 네트워크의 출력 데이터는 미리 등록된 객체들 중 인식된 객체가 존재하는지 여부(또는 인식 성공 여부)를 나타내는 정보, 해당 객체의 식별 정보(예: 사용자 식별 정보, 제스처 식별 정보, 사물 식별 정보), 또는 신뢰도 정보 중 적어도 하나를 포함할 수 있다. 프로세서(120)는 미리 학습된 뉴럴 네트워크의 출력 데이터에 기초하여 객체를 인식할 수 있다. 프로세서(120)는 출력 데이터에 포함된 신뢰도에 기초하여 객체를 인식할 수 있다. 예를 들어, 프로세서(120)는 제1 채널 및 제2 시퀀스의 조합에 대한 출력 데이터가 "인식된 객체: 제1 객체, 신뢰도:"C""이고, 제1 채널 및 제4 시퀀스의 조합에 대한 출력 데이터가 "인식된 객체: 제1 객체, 신뢰도:"D""이고, 제4 채널 및 제5 시퀀스의 조합에 대한 출력 데이터가 "인식된 객체: 제2 객체, 신뢰도: "E""인 경우, 제2 채널 및 제3 시퀀스의 조합에 대한 출력 데이터가 "인식된 객체: 없음"인 경우, 신뢰도 "C", "D", 및 "E" 중에서 가장 높은 값을 갖는 신뢰도 "C"를 선택하고, 해당 객체가 신뢰도 "C"에 대응되는 제1 객체인 것으로 인식할 수 있다.
일 실시 예에 따르면, 복수의 채널들 각각에 대해 미리 학습된 복수의 뉴럴 네트워크들(또는 복수의 뉴럴 네트워크 모델들)이 존재하는 경우, 프로세서(120)는 획득된 객체 관련 데이터에 연관된 적어도 하나의 채널에 대응되는 적어도 하나의 뉴럴 네트워크를 선택하고, 선택된 적어도 하나의 뉴럴 네트워크를 이용하여 객체를 인식할 수 있다. 예를 들어, N개의 채널들 각각에 대해 미리 학습된 N개의 뉴럴 네트워크들이 존재하고, 제1 채널 및 제2 시퀀스의 조합, 제2 채널 및 제4 시퀀스의 조합, 및 제 4 채널 및 제1시퀀스의 조합에 대해 객체 관련 데이터가 획득된 경우, 프로세서(120)는 제1 채널에 대해 미리 학습된 제1 뉴럴 네트워크, 제2 채널에 대해 미리 학습된 제2 뉴럴 네트워크, 및 제4 채널에 대해 미리 학습된 제4 뉴럴 네트워크를 선택할 수 있다. 프로세서(120)는 제1 채널 및 제2 시퀀스의 조합에 대해 획득된 객체 관련 데이터를 제1 뉴럴 네트워크에 입력하고, 제2 채널 및 제4 시퀀스의 조합에 대해 획득된 객체 관련 데이터를 제2 뉴럴 네트워크에 입력하고, 제4 채널 및 제1 시퀀스의 조합에 대해 획득된 객체 관련 데이터를 제4 뉴럴 네트워크에 입력하고, 제1 뉴럴 네트워크, 제2 뉴럴 네트워크, 및 제4 뉴럴 네트워크 각각의 출력 데이터에 기초하여 객체를 인식할 수 있다. 예컨대, 프로세서(120)는 각 뉴럴 네트워크의 출력 데이터에 포함된 신뢰도에 기초하여 객체를 인식할 수 있다. 일 실시 예에 따르면, 복수의 채널들에 대해 미리 학습된 하나의 뉴럴 네트워크(또는 하나의 뉴럴 네트워크 모델)가 존재하는 경우, 프로세서(120)는 하나의 뉴럴 네트워크를 이용하여 객체를 인식할 수 있다. 예를 들어, 제1 채널 및 제2 시퀀스의 조합, 제2 채널 및 제4 시퀀스의 조합, 및 제 4 채널 및 제1시퀀스의 조합에 대해 객체 관련 데이터가 획득된 경우, 프로세서(120)는 하나의 뉴럴 네트워크를 선택할 수 있다. 프로세서(120)는 선택된 하나의 뉴럴 네트워크를 이용하여 제1 채널 및 제2 시퀀스의 조합에 대한 출력 데이터, 제2 채널 및 제4 시퀀스의 조합에 대한 출력 데이터, 및 제4 채널 및 제1 시퀀스의 조합에 대한 출력 데이터에 기초하여 객체를 인식할 수 있다. 예컨대, 프로세서(120)는 각 출력 데이터에 포함된 신뢰도에 기초하여 객체를 인식할 수 있다.
다양한 실시 예들에 따르면, 프로세서(120)는 객체 인식에 실패된 경우, 적어도 하나의 채널 및/또는 적어도 하나의 시퀀스를 추가적으로 선택하고, 선택된 채널 및/또는 시퀀스를 이용하여 객체 관련 데이터를 획득하기 위한 동작을 재수행할 수 있다.
다양한 실시 예들에 따르면, 프로세서(120)는, 표시 장치(160), 또는 음향 출력 장치(155) 중 적어도 하나를 통해 객체 인식 결과를 제공할 수 있다. 예를 들어, 프로세서(120)는 실행 중인 어플리케이션을 통해, 객체 인식 성공 여부, 인식된 객체 식별 정보, 인식된 객체에 대응되는 이미지 중 적어도 하나를 포함하는 객체 인식 결과를 제공할 수 있다.
상술한 설명에서는, IEEE 802.11y 시스템을 예를 들어 설명하였으나, 이는 설명의 편의를 위한 예시적인 것일 뿐, 본 개시는 이에 한정되지 않을 것이다. 예를 들어, 다양한 실시 예들은 밀리미터파 대역을 지원하는 다른 통신 시스템에도 적용될 수 있다.
다양한 실시 예들에 따르면, 전자 장치는, 적어도 하나의 객체에 대한 기준 데이터를 저장하는 메모리(예: 도 1의 메모리(130)), 빔포밍을 수행할 수 있는 통신 인터페이스(예: 도 1의 무선 통신 모듈(192)) 및 상기 메모리, 및 상기 통신 인터페이스와 작동적으로 연결된 프로세서(예: 도 1의 프로세서(120))를 포함하며, 상기 프로세서(120)는, 복수의 주파수 대역들 내 복수의 채널들 중에서 적어도 하나의 채널을 선택하고, 상기 통신 인터페이스를 제어하여, 상기 선택된 적어도 하나의 채널에서, 서로 직교성을 갖는 복수의 시퀀스들 중 하나를 포함하는 적어도 하나의 신호를 송신하고, 상기 통신 인터페이스를 제어하여, 상기 선택된 적어도 하나의 채널에서 객체에 의해 반사된 적어도 하나의 신호를 수신하고, 상기 송신된 적어도 하나의 신호와 상기 수신된 적어도 하나의 신호를 기반으로 상기 객체에 관련된 데이터를 획득하고, 및 상기 객체에 관련된 데이터와 상기 적어도 하나의 객체에 대한 기준 데이터를 이용하여 상기 객체를 인식하도록 설정될 수 있다.
다양한 실시 예들에 따르면, 상기 객체에 관련된 데이터는, 채널 임펄스 응답(channel impulse response)을 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 프로세서(120)는, 상기 수신된 신호에 대한 자기 상관(auto-correlation)을 수행하여 상기 객체에 관련된 데이터를 획득할 수 있다.
다양한 실시 예들에 따르면, 상기 프로세서(120)는, 상기 객체에 관련된 데이터와 상기 적어도 하나의 객체에 대한 기준 데이터를 비교하여 상기 적어도 하나의 객체에 대한 객체 별 유사도를 결정하고, 상기 객체 별 유사도에 기초하여, 상기 적어도 하나의 객체 중에서 하나의 객체를 상기 신호를 반사시킨 객체로 결정할 수 있다.
다양한 실시 예들에 따르면, 상기 프로세서(120)는, 객체 인식을 위한 기준 데이터 수집 이벤트를 감지하고, 상기 이벤트 감지에 대한 응답으로, 상기 통신 인터페이스를 제어하여, 상기 복수의 채널들 각각에서 상기 복수의 시퀀스들 중 지정된 시퀀스를 포함하는 적어도 하나의 신호를 송신 및 수신하고, 상기 적어도 하나의 송신 및 수신된 신호를 기반으로 상기 복수의 채널들과 상기 지정된 시퀀스의 조합들 각각에 대한 채널 임펄스 응답을 획득하고, 상기 복수의 채널들과 상기 지정된 시퀀스의 조합들 각각에 대한 채널 임펄스 응답을 상기 객체에 대한 기준 데이터로 저장할 수 있다.
다양한 실시 예들에 따르면, 상기 프로세서(120)는, 상기 객체에 대한 기준 데이터를 입력으로 하는 뉴럴 네트워크(neural network)를 이용하여 객체 인식 정보를 획득하고, 사용자 인터페이스를 통해 상기 객체 인식 정보를 제공하고, 사용자 입력에 기초하여 상기 객체 인식 정보에 대한 객체 인식 성공 여부를 결정하고, 상기 객체 인식 성공이 결정된 경우, 상기 객체 인식 정보를 상기 객체에 대한 식별 정보와 매핑하여 기준 인식 정보로 등록할 수 있다.
다양한 실시 예들에 따르면, 상기 프로세서(120)는, 상기 객체에 관련된 데이터를 상기 뉴럴 네트워크에 입력하여 출력 데이터를 획득하고, 상기 획득된 출력 데이터를 상기 등록된 기준 인식 정보와 비교하여 상기 객체를 인식할 수 있다.
다양한 실시 예들에 따르면, 상기 프로세서(120)는, 상기 복수의 시퀀스들 중에서 적어도 하나의 시퀀스를 선택하고, 상기 선택된 적어도 하나의 채널과 상기 선택된 적어도 하나의 시퀀스의 조합을 결정하고, 상기 결정된 조합에 기초하여, 상기 적어도 하나의 신호를 송신할 채널, 또는 상기 적어도 하나의 신호에 포함될 시퀀스 중 적어도 하나를 변경하면서 상기 적어도 하나의 신호를 송신할 수 있다.
다양한 실시 예들에 따르면, 상기 프로세서(120)는, 상기 수신된 적어도 하나의 신호에 기초하여 간섭 발생 여부를 결정하고, 상기 결정에 기반하여 간섭이 발생된 경우, 적어도 하나의 채널 및 시퀀스 조합을 추가 선택하고, 상기 통신 인터페이스를 제어하여 상기 추가 선택된 채널 및 시퀀스 조합에 기초하여 상기 객체를 인식하도록 설정될 수 있다.
다양한 실시 예들에 따르면, 상기 프로세서(120)는, 상기 객체에 대한 인식이 실패된 경우, 적어도 하나의 채널 및 시퀀스 조합을 추가 선택하고, 상기 통신 인터페이스를 제어하여 상기 추가 선택된 채널 및 시퀀스 조합에 기초하여 상기 객체를 인식하도록 설정될 수 있다.
다양한 실시 예들에 따르면, 상기 서로 직교성을 갖는 복수의 시퀀스들은, 골레이 시퀀스를 포함할 수 있다.
다양한 실시 예들에 따르면, 전자 장치는, 빔포밍을 수행할 수 있는 통신 인터페이스(예: 도 1의 무선 통신 모듈(192)), 및 상기 통신 인터페이스와 작동적으로 연결된 프로세서(예: 도 1의 프로세서(120))를 포함하며, 상기 프로세서는, 상기 통신 인터페이스를 제어하여, 복수의 주파수 대역들 내 복수의 채널들 각각에서, 서로 직교성을 갖는 복수의 시퀀스들 중 하나를 포함하는 적어도 하나의 신호를 송신하고, 상기 통신 인터페이스를 제어하여, 상기 적어도 하나의 송신된 신호가 객체에 의해 반사되어 되돌아오는 적어도 하나의 신호를 수신하고, 상기 적어도 하나의 송신된 신호 및 상기 적어도 하나의 수신된 신호를 기반으로, 상기 복수의 채널들 각각에 대한 채널 임펄스 응답(channel impulse response)을 포함하는 데이터를 획득하고, 및 상기 획득된 데이터를 지정된 뉴럴 네트워크에 입력하여 상기 객체를 인식하기 위한 훈련을 수행하도록 설정될 수 있다.
다양한 실시 예들에 따르면, 상기 프로세서(120)는, 상기 복수의 채널들 각각에 대한 채널 임펄스 응답을 포함하는 데이터를 상기 지정된 뉴럴 네트워크에 입력하여, 상기 복수의 채널들 각각에 대해 훈련된 복수의 뉴럴 네트워크들, 또는 상기 복수의 채널들에 대해 훈련된 하나의 뉴럴 네트워크를 획득하도록 설정될 수 있다.
다양한 실시 예들에 따르면, 상기 프로세서(120)는, 상기 지정된 뉴럴 네트워크를 이용하여 객체 인식 정보를 획득하고, 사용자 인터페이스를 통해 상기 객체 인식 결과를 제공하고, 사용자 입력에 기초하여, 상기 객체 인식 정보에 대한 객체 인식 성공 여부를 결정하고, 상기 객체 인식 성공이 결정된 경우, 상기 객체 인식 정보를 상기 객체에 대한 식별 정보와 매핑하여 기준 인식 정보로 등록하도록 설정될 수 있다.
다양한 실시 예들에 따르면, 상기 프로세서(120)는, 지정된 이벤트 감지 시, 상기 복수의 채널들 중에서 적어도 하나의 채널을 선택하고, 상기 통신 인터페이스를 제어하여, 상기 선택된 적어도 하나의 채널에서, 상기 복수의 시퀀스들 중 하나를 포함하는 적어도 하나의 신호를 송신 및 수신하고, 상기 적어도 하나의 송신 및 수신된 신호를 기반으로, 상기 적어도 하나의 채널에 대한 채널 임펄스 응답을 포함하는 데이터를 획득하고, 및 상기 획득된 데이터를 상기 훈련에 의해 획득된 적어도 하나의 뉴럴 네트워크 모델에 입력하고, 상기 적어도 하나의 뉴럴 네트워크 모델의 출력 데이터와 상기 등록된 기준 인식 정보에 기반하여 상기 객체를 인식하도록 설정될 수 있다.
다양한 실시 예들에 따르면, 상기 프로세서(120)는, 상기 복수의 시퀀스들 중에서 적어도 하나의 시퀀스를 선택하고, 상기 선택된 적어도 하나의 채널과 상기 선택된 적어도 하나의 시퀀스의 조합을 결정하고, 상기 결정된 조합에 기초하여, 상기 적어도 하나의 신호를 송신할 채널, 또는 상기 적어도 하나의 신호에 포함될 시퀀스 중 적어도 하나를 변경하면서 상기 적어도 하나의 신호를 송신 및 수신할 수 있다.
다양한 실시 예들에 따르면, 상기 프로세서(120)는, 상기 적어도 하나의 수신된 신호에 기초하여 간섭 발생 여부를 결정하고, 상기 결정에 기반하여, 간섭이 발생된 경우, 적어도 하나의 채널 및 시퀀스 조합을 추가 선택하고, 상기 통신 인터페이스를 제어하여 상기 추가 선택된 채널 및 시퀀스 조합에 기초하여 상기 객체를 인식하도록 설정될 수 있다.
다양한 실시 예들에 따르면, 상기 프로세서(120)는, 상기 객체에 대한 인식이 실패된 경우, 적어도 하나의 채널 및 시퀀스 조합을 추가 선택하고, 상기 통신 인터페이스를 제어하여 상기 추가 선택된 채널 및 시퀀스 조합에 기초하여 상기 객체를 인식하도록 설정될 수 있다.
도 4는 다양한 실시 예들에 따른 전자 장치에서 객체를 인식하기 위한 흐름도(400)이다. 이하 실시 예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 여기에서, 전자 장치는 도 1의 전자 장치(101) 일 수 있다. 이하에서 도 4의 적어도 일부 동작은 도 5 및 도 6을 참조하여 설명할 것이다. 도 5는 다양한 실시 예들에 따른 복수의 주파수 대역들의 채널들 및 복수의 시퀀스들의 조합을 나타내는 예시도이다. 도 6은 다양한 실시 예들에 따른 전자 장치에서 객체 인식을 위한 신호를 송수신하여 객체 인식에 필요한 데이터를 수집하는 방식을 나타내는 예시도이다.
도 4를 참조하면, 다양한 실시 예들에 따른, 전자 장치(예: 도 1의 프로세서(120))는 동작 401에서 복수의 주파수 대역 중 적어도 하나의 채널을 선택할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 지정된 이벤트가 감지되는 경우, 객체 인식을 위한 신호를 전송하기 위한 적어도 하나의 채널을 선택할 수 있다. 지정된 이벤트는, 예를 들어, 사용자 얼굴 인식, 제스처 인식, 또는 사물의 모형 인식과 같은 객체 인식을 요청하는 이벤트를 포함할 수 있다. 프로세서(120)는 객체 인식을 이용한 적어도 하나의 기능을 제공하는 어플리케이션의 실행을 감지하고, 실행된 어플리케이션을 통해 객체 인식을 요청하는 이벤트를 감지할 수 있다. 프로세서(120)는 객체 인식을 위해 사용 가능한 복수의 주파수 대역 내 복수의 채널들 중에서 적어도 하나의 채널을 선택할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 서로 직교성을 갖는 복수의 시퀀스들 중에서 적어도 하나의 시퀀스를 추가적으로 선택할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 복수의 채널들과 복수의 시퀀스들의 조합들 중에서 적어도 하나의 채널 및 시퀀스의 조합을 선택할 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 사용 가능한 복수의 주파수 대역 내 복수의 채널들(501)이 N개 존재하고, 서로 직교성을 가지는 골레이 시퀀스들(511)이 K개 존재하는 경우, 총 NXK 개의 채널 및 시퀀스 조합을 만들 수 있다. 프로세서(120)는 NXK 개의 채널 및 시퀀스 조합 중 적어도 하나의 조합을 선택할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(예: 프로세서(120), 및/또는 도 1의 무선 통신 모듈(192))는 동작 403에서 서로 직교성을 갖는 복수의 시퀀스들 중에서 하나의 시퀀스를 포함하는 신호를 선택된 적어도 하나의 채널에서 송신할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 선택된 적어도 하나의 채널과 적어도 하나의 시퀀스의 조합을 기반으로, 채널 및/또는 시퀀스를 설정 및/또는 변경하면서 객체 인식을 위한 신호가 송신 및 수신되도록 무선 통신 모듈(192)을 제어할 수 있다. 예를 들어, 프로세서(120)는 하나의 채널 및 하나의 시퀀스가 선택된 경우, 선택된 시퀀스를 포함하는 객체 인식을 위한 신호가 선택된 하나의 채널에서 송신되도록 무선 통신 모듈(192)을 제어할 수 있다. 다른 예로, 프로세서(120)는 하나의 채널 및 복수의 시퀀스가 선택된 경우, 선택된 하나의 채널에서 시퀀스를 변경하면서 객체 인식을 위한 신호가 송신되도록 무선 통신 모듈(192)을 제어할 수 있다. 또 다른 예로, 프로세서(120)는 복수의 채널 및 하나의 시퀀스가 선택된 경우, 채널을 변경하면서 선택된 하나의 시퀀스를 포함하는 객체 인식을 위한 신호가 송신되도록 무선 통신 모듈(192)을 제어할 수 있다. 또 다른 예로, 프로세서(120)는 복수의 채널 및 복수의 시퀀스가 선택된 경우, 복수의 채널 및 복수의 시퀀스의 조합에 기초하여 채널 및/또는 시퀀스를 변경하면서 객체 인식을 위한 신호가 송신되도록 무선 통신 모듈(192)을 제어할 수 있다. 또 다른 예로, 프로세서(120)는 채널 및 시퀀스의 조합이 복수 개 선택된 경우, 선택된 채널 및 시퀀스의 조합에 기초하여 채널 및/또는 시퀀스를 변경하면서, 객체 인식을 위한 신호가 송신되도록 무선 통신 모듈(192)을 제어할 수 있다. 프로세서(120)는 객체 인식을 위해 채널 및/또는 시퀀스의 변경이 필요한 상황에서, 선택된 적어도 하나의 채널 및 적어도 하나의 시퀀스를 기반으로 임의적으로 채널 및/또는 시퀀스를 변경할 수 있다. 전자 장치는 인접한 다른 전자 장치와 동일한 채널 및/또는 시퀀스를 이용할 확률을 감소시켜, 인접한 다른 전자 장치로부터 송신된 신호에 의해 간섭이 발생될 확률을 감소시킬 수 있다.
다양한 실시 예들에 따르면, 전자 장치(예: 프로세서(120), 및/또는 무선 통신 모듈(192))는 동작 405에서 선택된 적어도 하나의 채널에서, 객체에 의해 반사된 신호를 수신할 수 있다. 예를 들어, 프로세서(120)는 무선 통신 모듈(192)을 제어하여, 객체 인식을 위한 신호가 송신된 채널과 동일한 채널에서, 전자 장치(101)로부터 송신된 후 객체에 부딪혀서 반사된 신호를 수신할 수 있다. 객체는, 예를 들어, 사용자 얼굴, 제스처, 또는 사물 중 적어도 하나를 포함할 수 있다. 반사된 신호는, 동작 403에서 송신한 신호에 포함된 시퀀스와 동일한 시퀀스를 포함할 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 무선 통신 모듈(192)은 선택된 채널에서 골레이 시퀀스를 포함하는 신호(611)를 송신하고, 객체(621)에 부딪혀서 반사되는 신호(613)를 수신할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(예: 프로세서(120), 및/또는 무선 통신 모듈(192))는 동작 407에서 송신 신호와 수신 신호에 기초하여, 객체 관련 데이터를 획득할 수 있다. 일 실시 예에 따르면, 무선 통신 모듈(192)은 프로세서(120)의 제어에 따라, 수신된 신호에 대한 자기 상관(auto-correlation)을 수행함으로써, 신호를 반사시킨 해당 객체에 대한 객체 관련 데이터를 획득할 수 있다. 객체 관련 데이터는, 채널 임펄스 응답(channel impulse response)을 포함할 수 있다. 채널 임펄스 응답은, 예를 들어, 수신된 신호의 시간 지연(time delay) 정보, 위상(phase) 정보, AoA(angle of arrival) 정보, 또는 AoD(angle of departure) 중 적어도 하나를 포함할 수 있다. 객체 관련 데이터는, 적어도 하나의 채널 및 시퀀스의 조합 각각에 대해 획득될 수 있다. 예를 들어, 무선 통신 모듈(192)은 도 6에 도시된 바와 같이, 수신된 신호에 대한 자기 상관(auto-correlation)을 수행(615)함으로써, 해당 객체(621)에 대한 채널 임펄스 응답(617)을 획득할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(예: 프로세서(120))는 동작 409에서 객체 관련 데이터와 적어도 하나의 객체에 대한 기준 데이터를 이용하여 객체를 인식할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 객체 관련 데이터와 기 저장된 객체별 기준 데이터를 비교하여 객체를 인식할 수 있다. 예를 들어, 프로세서(120)는 객체 관련 데이터를 기 저장된 객체별 기준 데이터와 비교하여 유사도를 결정하고, 유사도에 기초하여 객체를 인식할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 객체 관련 데이터를 뉴럴 네트워크의 입력으로 이용하여 객체를 인식할 수 있다. 뉴럴 네트워크는, 적어도 하나의 객체에 대한 기준 데이터를 이용하여 미리 학습될 수 있다. 예를 들어, 프로세서(120)는 미리 학습된 뉴럴 네트워크에 객체 관련 데이터를 입력하고, 미리 학습된 뉴럴 네트워크의 출력 데이터에 기초하여 객체를 인식할 수 있다. 미리 학습된 뉴럴 네트워크의 출력 데이터는 미리 등록된 객체들 중 인식된 객체가 존재하는지 여부(또는 인식 성공 여부)를 나타내는 정보, 해당 객체의 식별 정보(예: 사용자 식별 정보, 제스처 식별 정보, 또는 사물 식별 정보), 또는 신뢰도 정보 중 적어도 하나를 포함할 수 있다. 프로세서(120)는 출력 데이터에 포함된 신뢰도에 기초하여 객체를 인식할 수 있다. 예를 들어, 프로세서(120)는 도 6에 도시된 바와 같이 획득된 채널 임펄스 응답(617)을 이용하여 객체 인식(623)을 수행할 수 있다. 예컨대, 해당 객체(621)가 미리 등록된 사용자 얼굴들 중 어떤 사용자의 얼굴인지 인식(625)하거나, 미리 등록된 제스처들 중에서 어떤 제스처에 해당하는지, 또는 제스처의 변화를 인식(627)할 수 있다.
도 7은 다양한 실시 예들에 따른 전자 장치에서 객체 인식을 위한 기준 데이터를 수집하기 위한 흐름도(700)이다. 이하 실시 예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 점선으로 표시된 동작은 실시 예에 따라 생략될 수 있다. 여기에서, 전자 장치는 도 1의 전자 장치(101) 일 수 있다. 이하에서 도 7의 적어도 일부 동작은 도 8을 참조하여 설명할 것이다. 도 8은 다양한 실시 예들에 따른 전자 장치에서 채널 및 시퀀스 조합을 이용하여 객체 인식을 위한 기준 데이터를 수집하는 예시도이다.
도 7을 참조하면, 다양한 실시 예들에 따른, 전자 장치(예: 도 1의 프로세서(120))는 동작 701에서 객체 인식을 위한 기준 데이터 수집 이벤트를 감지할 수 있다. 객체 인식을 위한 기준 데이터 수집 이벤트는, 객체 인식 정보를 등록하기 위한 이벤트를 포함할 수 있다. 예를 들어, 객체 인식 정보를 등록하기 위한 이벤트는, 사용자의 얼굴, 사용자의 제스처, 또는 사물의 모형 중 적어도 하나를 인식하여 메모리(예: 도 1의 메모리(130))에 객체 인식에 필요한 기준 데이터를 등록하기 위한 이벤트일 수 있다. 예를 들어, 프로세서(120)는 객체 인식을 이용한 적어도 하나의 기능을 제공하는 어플리케이션을 실행하고, 실행된 어플리케이션을 통해 객체 인식 정보를 등록하기 위한 이벤트를 감지할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 객체 인식을 위한 기준 데이터 수집 이벤트가 감지될 시, 등록하고자 하는 객체의 객체 식별 정보를 입력해줄 것을 요청하는 사용자 인터페이스가 표시되도록 표시 장치(160)를 제어하고, 사용자로부터 등록하고자 하는 객체에 대한 객체 식별 정보(예: 사용자 ID, 제스처 ID, 또는 사물 ID)를 입력 받을 수 있다.
다양한 실시 예들에 따르면, 전자 장치(예: 프로세서(120))는 동작 703에서 복수의 채널을 선택할 수 있다. 예를 들어, 프로세서(120)는 사용 가능한 복수의 주파수 대역 내 모든 채널들을 선택할 수 있다. 복수의 채널들은 선택하는 것은, 객체 인식률을 향상시키기 위함이다. 예를 들어, 각 채널마다 획득되는 채널 임펄스 응답이 다르므로, 가능한 모든 채널에 대한 채널 임펄스 응답을 획득하기 위함이다. 여기서, 사용 가능한 복수의 주파수 대역 내 모든 채널들을 선택하는 것은 예시적인 것으로서, 다양한 실시 예들은 이에 한정되지 않는다. 예를 들어, 적어도 하나의 채널을 선택하는 경우에도 동일하게 적용될 수 있다.
다양한 실시 예들에 따르면, 전자 장치(예: 프로세서(120))는 동작 705에서 적어도 하나의 시퀀스를 선택할 수 있다. 예를 들어, 프로세서(120)는 서로 직교성을 갖는 복수의 시퀀스들 중에서 적어도 하나의 시퀀스를 선택할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(예: 프로세서(120), 및/또는 도 1의 무선 통신 모듈(192))는 동작 707에서 복수의 채널들 각각에서, 선택된 하나의 시퀀스를 포함하는 신호들을 송신 및 수신할 수 있다. 예를 들어, 프로세서(120)는 제1 채널부터 제N 채널까지 채널을 변경하면서, 각 채널에서 선택된 하나의 시퀀스를 포함하는 신호를 송신할 수 있다. 예컨대, 프로세서(120)는 선택된 채널이 제1 채널, 제2 채널, 및 제 3 채널인 경우, 제1 채널에서 선택된 하나의 시퀀스를 포함하는 신호를 송신하고, 신호 송신 채널을 제1 채널에서 제2 채널로 변경하여 제2 채널에서 선택된 하나의 시퀀스를 포함하는 신호를 송신하고, 신호 송신 채널을 제2 채널에서 제3 채널로 변경하여 제3 채널에서 선택된 하나의 시퀀스를 포함하는 신호를 송신할 수 있다.
일 실시 예에 따르면, 선택된 시퀀스가 복수개인 경우, 복수의 시퀀스 각각에 대해, 복수의 채널들 각각에서 해당 시퀀스를 포함하는 신호를 송수신하는 동작을 수행할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(예: 프로세서(120), 및/또는 도 1의 무선 통신 모듈(192))는 동작 709에서 신호 송신 및 수신 결과에 기초하여 객체 인식을 위한 기준 데이터를 수집할 수 있다. 일 실시 예에 따르면, 무선 통신 모듈(192)은 프로세서(120)의 제어에 기초하여, 수신 신호에 대한 자기 상관을 수행함으로써, 채널 임펄스 응답을 포함하는 객체 관련 데이터를 획득할 수 있다. 프로세서(120)는 무선 통신 모듈(192)로부터 각 채널 및 시퀀스의 조합에 대한 객체 관련 데이터를 획득할 수 있다. 프로세서(120)는 각 채널 및 시퀀스의 조합에 대한 객체 관련 데이터를 이용하여 해당 객체에 대한 기준 데이터를 수집할 수 있다. 예를 들어, 도 8에 도시된 바와 같이, 객체 식별 정보가 "ID l" 인 객체의 기준 데이터(801)는, 제1 채널 내지 제N 채널 각각에서 제K 시퀀스를 포함하는 신호를 송신 및 수신하여 획득된 객체 관련 데이터를 포함하는 N개의 데이터 서브셋들(811, 813, 815)을 포함할 수 있다. 제1 데이터 서브셋(811)은, 제1 채널에서 제K 시퀀스를 포함하는 신호(R1K)를 송신 및 수신하여 획득된 객체 관련 데이터를 포함할 수 있다. 제2 데이터 서브셋(813)은, 제2 채널에서 제K 시퀀스를 포함하는 신호(R2K)를 송신 및 수신하여 획득된 객체 관련 데이터를 포함할 수 있다. 제N 데이터 서브셋(815)은, 제N 채널에서 제K 시퀀스를 포함하는 신호(RNK)를 송신 및 수신하여 획득된 객체 관련 데이터를 포함할 수 있다. 도 8의 예시에서는, 객체의 기준 데이터(801)가 제1 채널부터 제N 채널 각각에서 제K 시퀀스를 포함하는 신호를 송신 및 수신하여 획득된 데이터 서브 셋들을 포함하는 것을 개시하였으나, 이는 예시적인 것으로서 다양한 실시 예들은 이에 한정되지 않는다. 예를 들어, 객체의 기준 데이터는 제1 채널부터 제N 채널 중 적어도 하나의 채널에서 적어도 하나의 다른 시퀀스(예: 제1 시퀀스 내지 제K-1번째 시퀀스 중 적어도 하나)를 송신 및 수신하여 획득된 적어도 하나의 데이터 서브 셋을 포함할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(예: 프로세서(120))는 동작 711에서 수집된 기준 데이터를 이용하여 객체에 대한 기준 인식 정보를 획득할 수 있다. 프로세서(120)는 해당 객체에 대해 수집된 기준 데이터를 지정된 뉴럴 네트워크에 입력하여 기준 인식 정보를 획득할 수 있다. 예를 들어, 프로세서(120)는 해당 객체에 대해 수집된 기준 데이터를 지정된 뉴럴 네트워크에 입력하여 해당 객체를 인식하기 위한 학습(또는 훈련)을 수행할 수 있다. 프로세서(120)는 뉴럴 네트워크를 이용하여 해당 객체를 인식한 결과가 표시 장치(160)에 표시되도록 제어하고, 사용자 입력에 기초하여 해당 객체가 성공적으로 인식되었는지 여부를 결정할 수 있다. 프로세서(120)는 사용자 입력에 기초하여 해당 객체가 성공적으로 인식된 것으로 결정된 경우, 뉴럴 네트워크의 입력으로 이용된 기준 데이터, 뉴럴 네트워크의 출력 데이터, 및 객체 식별 정보를 연관시켜 저장함으로써, 해당 객체에 대한 객체 인식 정보를 획득할 수 있다. 예를 들어, 프로세서(120)는 뉴럴 네트워크의 입력으로 이용된 기준 데이터, 뉴럴 네트워크의 출력 데이터, 및 객체 식별 정보를, 해당 객체에 대한 기준 인식 정보로 등록할 수 있다. 뉴럴 네트워크의 출력 데이터는, 객체의 형태, 또는 특징 중 적어도 하나를 나타내는 데이터를 포함할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 복수의 채널들 각각에서 송신 및 수신된 신호에 기초하여 획득된 객체 관련 데이터를 이용하여, 복수의 채널들 각각에 대한 뉴럴 네트워크 훈련을 수행함으로써 복수의 채널들 각각에 대한 복수의 뉴럴 네트워크(또는 뉴럴 네트워크 모델)를 획득할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 복수의 채널들 각각에서 송신 및 수신된 신호에 기초하여 획득된 객체 관련 데이터를 이용하여, 복수의 채널들 전체에 대해 뉴럴 네트워크 훈련을 수행함으로써, 복수의 채널들 전체에 대한 하나의 뉴럴 네트워크(또는 뉴럴 네트워크 모델)을 획득할 수 있다. 프로세서(120)는 복수의 채널들 각각에 대한 복수의 뉴럴 네트워크들, 또는 복수의 채널들에 대한 하나의 뉴럴 네트워크를 이용하여 해당 객체를 인식한 결과가 표시 장치(160)에 표시되도록 제어하고, 사용자 입력에 기초하여 해당 객체가 성공적으로 인식되었는지 여부를 결정할 수 있다.
도 9는 다양한 실시 예들에 따른 전자 장치에서 선택된 채널 및 시퀀스 조합을 이용하여 신호를 송수신하기 위한 흐름도(900)이다. 이하 설명되는 도 9의 동작들은 도 4의 동작 401 내지 407의 상세한 동작 중 적어도 일부일 수 있다. 이하 실시 예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 여기에서, 전자 장치는 도 1의 전자 장치(101) 일 수 있다. 이하에서 도 9의 적어도 일부 동작은 도 10을 참조하여 설명할 것이다. 도 10은 다양한 실시 예들에 따른 전자 장치에서 선택된 채널 및 시퀀스 조합을 이용하여 신호를 송수신하는 예시도이다.
도 9를 참조하면, 다양한 실시 예들에 따른, 전자 장치(예: 도 1의 프로세서(120))는 동작 901에서 적어도 하나의 채널 및 시퀀스 조합을 선택할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 사용 가능한 복수의 주파수 대역 내 복수의 채널들과 서로 직교성을 갖는 복수의 시퀀스들에 기초하여, 적어도 하나의 채널 및 시퀀스의 조합을 선택할 수 있다. 예를 들어, 사용 가능한 복수의 주파수 대역 내 복수의 채널들이 N개 존재하고, 서로 직교성을 가지는 골레이 시퀀스들이 K개 존재하는 경우, 총 NXK 개의 채널 및 시퀀스 조합을 만들 수 있다. 프로세서(120)는 NXK 개의 채널 및 시퀀스 조합 중 적어도 하나의 채널 및 시퀀스 조합을 선택할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(예: 프로세서(120), 및/또는 도 1의 무선 통신 모듈(192))는 동작 903에서 선택된 적어도 하나의 채널 및 시퀀스 조합 중 하나의 채널 및 시퀀스 조합을 이용하여 신호를 송신할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 적어도 하나의 선택된 채널 및 시퀀스 조합 중 하나의 채널 및 시퀀스 조합을 식별하고, 무선 통신 모듈(192)을 제어하여, 식별된 채널 및 조합에 기초하여 신호를 송신할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(예: 프로세서(120), 및/또는 무선 통신 모듈(192))는 동작 905에서 객체에 의해 반사된 신호를 수신할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 식별된 채널에서 전자 장치(101)의 무선 통신 모듈(192)로부터 송신된 후에 객체에 부딪혀 반사된 신호를 수신할 수 있다. 수신된 신호는 동작 903에서 송신된 신호에 포함된 시퀀스와 동일한 시퀀스를 포함할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(예: 프로세서(120), 및/또는 무선 통신 모듈(192))는 동작 907에서 송신 신호와 수신 신호에 기초하여 채널 임펄스 응답을 획득할 수 있다. 예를 들어, 프로세서(120)는 무선 통신 모듈(192)을 제어하여 수신된 신호에 대한 자기 상관을 수행함으로써, 적어도 하나의 선택된 채널 및 시퀀스 조합 중 식별된 채널 및 시퀀스에 대한 채널 임펄스 응답을 획득할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(예: 프로세서(120))는 동작 909에서 식별된 채널 및 시퀀스 조합을 이용한 신호 송수신 및 채널 임펄스 응답 획득 동작이 복수 번 수행되었는지 여부를 결정할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 식별된 채널 및 시퀀스 조합에 대해 동작 903 내지 동작 907이 복수 번 수행되었는지 여부를 결정할 수 있다. 예를 들어, 프로세서(120)는 사용자 얼굴, 또는 제스처를 인식하고자 하는 경우, 식별된 채널 및 시퀀스 조합에 기초한 신호 송수신 동작이 제1 지정된 시간 구간 동안에 제1 지정된 횟수만큼 반복적으로 수행되어, 이에 대한 채널 임펄스 응답들이 획득되었는지 여부를 결정할 수 있다. 다른 예로, 프로세서(120)는 제스처의 변화를 인식하고자 하는 경우, 식별된 채널 및 시퀀스 조합에 기초한 신호 송신 및 수신 동작이 제2 지정된 시간 구간 동안에 제2 지정된 횟수만큼 반복적으로 수행되어, 이에 대한 채널 임펄스 응답들이 획득되었는지 여부를 결정할 수 있다.
다양한 실시 예들에 따르면, 식별된 채널 및 시퀀스 조합을 이용한 신호 송수신 및 채널 임펄스 응답 획득 동작이 복수 번 수행되지 않은 경우, 전자 장치(예: 프로세서(120))는 채널 및/또는 시퀀스를 변경하지 않고, 동작 903 내지 동작 907을 재수행할 수 있다.
다양한 실시 예들에 따르면, 식별된 채널 및 시퀀스 조합을 이용한 신호 송수신 및 채널 임펄스 응답 획득 동작이 복수 번 수행된 경우, 전자 장치(예: 프로세서(120))는 동작 911에서 선택된 모든 조합에 대해 신호 송수신 및 채널 임펄스 응답 획득 동작이 수행되었는지 여부를 결정할 수 있다. 예를 들어, 프로세서(120)는 동작 901에서 선택된 모든 채널 및 시퀀스 조합 각각에 대해 동작 903 내지 동작 909가 수행되었는지 여부를 결정할 수 있다.
다양한 실시 예들에 따르면, 선택된 모든 조합에 대해 신호 송수신 및 채널 임펄스 응답 획득 동작이 수행되지 않은 경우, 전자 장치(예: 프로세서(120))는 동작 913에서 채널 및/또는 시퀀스를 변경하고, 변경된 채널 및/또는 시퀀스에 기초하여 동작 903 내지 동작 907을 수행할 수 있다. 예를 들어, 프로세서(120)는 동작 901에서 복수의 채널 및 시퀀스 조합들이 선택되었고, 선택된 복수의 채널 및 시퀀스 조합 각각에 대해 신호 송수신 및 채널 임펄스 응답 획득 동작이 수행되지 않은 경우, 선택된 복수의 채널 및 시퀀스 조합들 중에서 신호 송수신 및 채널 임펄스 응답 획득 동작이 수행되지 않은 적어도 하나의 채널 및 시퀀스 조합을 식별할 수 있다. 프로세서(120)는 신호 송수신 및 채널 임펄스 응답 획득 동작이 수행되지 않은 적어도 하나의 채널 및 시퀀스 조합에 기초하여, 신호 송수신을 위한 채널 및/또는 시퀀스를 변경할 수 있다. 예컨대, 도 10에 도시된 바와 같이, 프로세서(120)는 첫 번째 버스트 구간 동안(1001)에 제3 채널에서 제1 시퀀스를 포함하는 신호(R31)를 복수 번 송수신하여 채널 임펄스 응답을 획득하고, i번째 버스트 구간 동안(1003)에 제1 채널에서 제2 시퀀스를 포함하는 신호(R12)를 복수 번 송수신하여 채널 임펄스 응답을 획득하고, 마지막 버스트 구간 동안(1005)에 제4 채널에서 제3 시퀀스를 포함하는 신호(R43)를 복수 번 송수신하여 채널 임펄스 응답을 획득하도록 무선 통신 모듈(192)을 제어할 수 있다. 이와 같이, 프로세서(120)는 선택된 복수의 채널 및 시퀀스 조합들 중에서 임의적으로 하나의 채널 및 시퀀스 조합을 선택하여 채널 및/또는 시퀀스를 변경함으로써, 인접한 다른 전자 장치와 동일한 채널 및/또는 시퀀스를 이용할 확률을 감소시킬 수 있다.
도 11은 다양한 실시 예들에 따른 전자 장치에서 간섭 발생 여부에 기초하여 채널 및 시퀀스 조합을 선택하기 위한 흐름도(1100)이다. 이하 설명되는 도 9의 동작들은 도 4의 동작 401 내지 407의 상세한 동작 중 적어도 일부일 수 있다. 이하 실시 예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 여기에서, 전자 장치는 도 1의 전자 장치(101) 일 수 있다.
도 11을 참조하면, 다양한 실시 예들에 따른, 전자 장치(예: 도 1의 프로세서(120))는 동작 1101에서 하나의 주파수 채널 및 시퀀스를 선택할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 사용 가능한 복수의 주파수 대역 내 복수의 채널들과 서로 직교성을 갖는 복수의 시퀀스들에 기초하여, 하나의 채널 및 시퀀스의 조합을 선택할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(예: 프로세서(120), 및/또는 도 1의 무선 통신 모듈(192))는 동작 1103에서 선택된 주파수 채널에서 선택된 시퀀스를 포함하는 신호를 송신하고, 동작 1105에서 선택된 주파수 채널에서 선택된 시퀀스를 포함하는 반사 신호를 수신할 수 있다. 수신된 신호는, 전자 장치의 무선 통신 모듈(192)에서 송신된 후에 객체에 부딪혀 반사된 신호를 포함할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(예: 프로세서(120))는 1107에서 간섭이 발생되었는지 여부를 결정할 수 있다. 예를 들어, 프로세서(120)는 수신된 신호의 오류 발생 여부, RSSI, 또는 SINR 중 적어도 하나에 기초하여, 인접한 다른 전자 장치에 의한 간섭이 발생되었는지 여부를 검출할 수 있다. 프로세서(120)는 수신 신호에 오류가 존재하거나, RRSI가 지정된 값보다 작거나, 또는 SINR이 지정된 값보다 큰 경우, 인접한 다른 전자 장치에 의한 간섭이 발생된 것으로 결정할 수 있다.
다양한 실시 예들에 따르면, 간섭이 발생되지 않은 경우, 전자 장치(예: 프로세서(120))는 1109에서 송신 신호와 수신 신호에 기초하여 채널 임펄스 응답을 획득할 수 있다. 예를 들어, 프로세서(120)는 수신 신호에 대한 자기 상관을 수행함으로써, 채널 임펄스 응답을 획득할 수 있다.
다양한 실시 예들에 따르면, 간섭이 발생된 경우, 전자 장치(예: 프로세서(120))는 1121에서 지정된 개수의 채널 및 시퀀스 조합을 추가적으로 선택하고, 동작 1103을 수행할 수 있다. 예를 들어, 프로세서(120)는 동작 1101에서 선택된 채널 및 시퀀스 조합 이외에 적어도 하나의 채널 및 시퀀스 조합을 추가적으로 선택할 수 있다. 예컨대, 프로세서(120)는 인접한 다른 전자 장치의 간섭이 없는 상황에서 신호를 송수신하기 위해, 지정된 개수의 채널 및 시퀀스 조합을 추가적으로 선택할 수 있다.
도 12는 다양한 실시 예들에 따른 전자 장치에서 수집된 데이터에 기초하여 객체를 인식하기 위한 흐름도(1200)이다. 이하 설명되는 도 12의 동작들은 도 4의 동작 409의 다양한 실시 예들 중 일 예일 수 있다. 이하 실시 예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 여기에서, 전자 장치는 도 1의 전자 장치(101) 일 수 있다. 이하에서 도 12의 적어도 일부 동작은 도 13을 참조하여 설명할 것이다. 도 13은 다양한 실시 예들에 따른 전자 장치에서 수집된 데이터에 기초하여 객체를 인식하는 예시도이다.
도 12를 참조하면, 다양한 실시 예들에 따른, 전자 장치(예: 도 1의 프로세서(120))는 동작 1201에서 기 저장된 기준 데이터와 수집된 객체 관련 데이터를 비교할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 기 저장된 객체 별 기준 데이터와 선택된 채널 및 시퀀스 조합을 이용하여 획득된 객체 관련 데이터를 비교하여, 획득된 객체 관련 데이터와 가장 유사한 기준 데이터를 식별할 수 있다. 예를 들어, 프로세서(120)는 도 13에 도시된 바와 같이, 제3 채널에서 제1 시퀀스를 이용하여 획득된 제1 데이터 서브셋(1301-1)과 기 저장된 객체 별 기준 데이터를 비교(1311-1)하여, 기 저장된 객체별 기준 데이터 중에서 제1 데이터 서브셋(1301-1)과 제1 객체의 기준 데이터가 가장 유사함을 결정할 수 있다. 프로세서(120)는 비교 결과에 기초하여 제1 데이터 서브셋(1301-1)과 제1 객체의 기준 데이터의 유사도를 획득할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(예: 프로세서(120))는 동작 1203에서 기 저장된 기준 데이터와 수집된 객체 관련 데이터를 비교하여 획득된 유사도가 제1 지정된 기준 값보다 큰지 여부를 결정할 수 있다.
다양한 실시 예들에 따르면, 획득된 유사도가 제1 지정된 기준 값보다 큰 경우, 전자 장치(예: 프로세서(120))는 동작 1204에서 획득된 유사도가 제2 지정된 기준 값보다 큰지 여부를 결정할 수 있다. 제2 지정된 기준 값은, 제1 지정된 기준 값보다 큰 값일 수 있다.
다양한 실시 예들에 따르면, 획득된 유사도가 제2 지정된 기준 값보다 큰 경우, 전자 장치(예: 프로세서(120))는 동작 1206에서 객체 인식 성공을 결정하고, 동작 1215에서 유사도에 기초하여 객체를 인식한 결과를 제공할 수 있다. 예를 들어, 프로세서(120)는 획득된 유사도가 제2 지정된 기준 값보다 큰 경우, 다른 채널 및 시퀀스 조합에 대한 객체 인식 결과를 획득할 필요가 없다고 판단하고 바로 동작 1215로 진행할 수 있다.
다양한 실시 예들에 따르면, 획득된 유사도가 제1 지정된 기준 값보다 크고 제2 지정된 기준 값보다 작거나 같은 경우, 전자 장치(예: 프로세서(120))는 동작 1205에서 객체 인식이 성공된 것으로 결정하고 동작 1209로 진행할 수 있다. 예를 들어, 프로세서(120)는 선택된 채널 및 시퀀스 조합에 대해 획득된 객체 관련 데이터와 제1 객체에 대한 기준 데이터의 유사도가 제1 지정된 기준 값보다 큰 경우, 해당 기준 데이터의 객체가 인식되었으나, 보다 정확한 객채 인식 결과를 획득하기 위해 다른 채널 및 시퀀스 조합에 대한 객체 인식 결과를 획득할 필요가 있다고 판단하고 동작 1209로 진행할 수 있다.
다양한 실시 예들에 따르면, 획득된 유사도가 제1 지정된 기준 값보다 작거나 같은 경우, 전자 장치(예: 프로세서(120))는 동작 1207에서 객체 인식이 실패된 것으로 결정할 수 있다. 예를 들어, 프로세서(120)는 선택된 채널 및 시퀀스 조합에 대해 획득된 객체 관련 데이터와 제1 객체에 대한 기준 데이터의 유사도가 지정된 기준 값보다 작거나 같은 경우, 객체 인식이 실패된 것으로 결정할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(예: 프로세서(120))는 동작 1209에서 선택된 모든 채널 및 시퀀스 조합에 대해 객체 인식 결과가 획득되었는지 여부를 결정할 수 있다.
다양한 실시 예들에 따르면, 동작 1209에서 선택된 모든 채널 및 시퀀스 조합에 대해 객체 인식 결과가 획득되지 않은 경우, 전자 장치(예: 프로세서(120))는 동작 1201로 되돌아가, 객체 인식 결과가 획득되지 않은 채널 및 시퀀스 조합에 대해 수집된 객체 관련 데이터와 기 저장된 기준 데이터를 비교할 수 있다.
다양한 실시 예들에 따르면, 선택된 모든 채널 및 시퀀스 조합에 대해 객체 인식 결과가 획득된 경우, 전자 장치(예: 프로세서(120))는 동작 1211에서 적어도 하나의 채널 및 시퀀스 조합에 대한 객체 인식 결과들 중에서 객체 인식 성공 결과가 존재하는지 여부를 결정할 수 있다. 예를 들어, 프로세서(120)는 하나의 채널 및 시퀀스 조합이 선택된 경우, 선택된 하나의 채널 및 시퀀스 조합을 이용한 객체 인식이 성공되었는지 여부를 결정할 수 있다. 다른 예로, 프로세서(120)는 복수의 채널 및 시퀀스 조합이 선택된 경우, 선택된 복수의 채널 및 시퀀스 조합들 중에서 적어도 하나의 채널 및 시퀀스 조합에 대한 객체 인식이 성공되었는지 여부를 결정할 수 있다.
다양한 실시 예들에 따르면, 객체 인식 성공 결과가 존재하는 경우, 전자 장치(예: 프로세서(120))는 동작 1215에서 유사도에 기초하여 객체를 인식한 결과를 제공할 수 있다. 예를 들어, 프로세서(120)는 객체 인식 성공으로 결정된 객체 인식 결과들 중에서 유사도가 가장 높은 객체 인식 결과에 대응되는 객체를 최종 객체 인식 결과로 결정할 수 있다. 예를 들어, 도 13에 도시된 바와 같이, 제1 데이터 서브셋(1301-1)과 기 저장된 객체 별 기준 데이터를 비교(1311-1)하여 획득된 객체 인식 결과, 제2 데이터 서브셋(1301-2)과 기 저장된 객체 별 기준 데이터를 비교(1311-2)하여 획득된 객체 인식 결과, 및 제N 데이터 서브셋(1301-N)과 기 저장된 객체 별 기준 데이터를 비교(1311-N)하여 획득된 객체 인식 결과 중에서 가장 높은 유사도를 갖는 객체 인식 결과를 선택하고, 선택된 객체 인식 결과를 최종 객체 인식 결과로 결정할 수 있다.
다양한 실시 예들에 따르면, 객체 인식 성공 결과가 존재하지 않는 경우, 전자 장치(예: 프로세서(120))는 동작 1213에서 적어도 하나의 채널 및 시퀀스의 조합을 추가적으로 선택하고, 도 4의 동작 403을 수행할 수 있다.
일 실시 예에 따르면, 도 12의 동작 1204 및 동작 1206은 생략될 수 있다. 도 12의 동작 1204 및 동작 1206이 생략되는 경우, 전자 장치(예: 프로세서(120))는 선택된 모든 채널 및 시퀀스 조합에 대해 인식 결과를 획득하는 동작을 수행할 수 있다.
도 14는 다양한 실시 예들에 따른 전자 장치에서 수집된 데이터에 기초하여 객체를 인식하기 위한 흐름도(1400)이다. 이하 설명되는 도 14의 동작들은 도 4의 동작 409의 다양한 실시 예들 중 일 예일 수 있다. 이하 실시 예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 여기에서, 전자 장치는 도 1의 전자 장치(101) 일 수 있다. 이하에서 도 14의 적어도 일부 동작은 도 15를 참조하여 설명할 것이다. 도 15는 다양한 실시 예들에 따른 전자 장치에서 수집된 데이터에 기초하여 객체를 인식하는 예시도이다.
도 14를 참조하면, 다양한 실시 예들에 따른, 전자 장치(예: 도 1의 프로세서(120))는 동작 1401에서 객체 관련 데이터를 뉴럴 네트워크의 입력으로 제공할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 선택된 채널 및 시퀀스 조합을 이용하여 획득된 객체 관련 데이터를 미리 학습된 뉴럴 네트워크의 입력으로 제공할 수 있다. 예를 들어, 프로세서(120)는 도 15에 도시된 바와 같이, 제3 채널에서 제1 시퀀스를 이용하여 획득된 제1 데이터 서브셋(1501-1)을 미리 학습된 뉴럴 네트워크(1511-1)의 입력으로 제공할 수 있다. 일 실시 예에 따르면, 복수의 채널들 각각에 대해 미리 학습된 복수의 뉴럴 네트워크들(또는 복수의 뉴럴 네트워크 모델들)이 존재하는 경우, 프로세서(120)는 획득된 객체 관련 데이터에 연관된 적어도 하나의 채널에 대응되는 적어도 하나의 뉴럴 네트워크를 선택하고, 선택된 적어도 하나의 뉴럴 네트워크에 객체 관련 데이터를 입력으로 제공할 수 있다. 예를 들어, N개의 채널들 각각에 대해 미리 학습된 N개의 뉴럴 네트워크들이 존재하는 상황에서, 제1 채널 및 제2 시퀀스의 조합, 제2 채널 및 제4 시퀀스의 조합, 및 제 4 채널 및 제1시퀀스의 조합에 대해 객체 관련 데이터가 획득된 경우, 프로세서(120)는 제1 채널에 대해 미리 학습된 제1 뉴럴 네트워크, 제2 채널에 대해 미리 학습된 제2 뉴럴 네트워크, 및 제4 채널에 대해 미리 학습된 제4 뉴럴 네트워크를 선택할 수 있다. 프로세서(120)는 제1 채널 및 제2 시퀀스의 조합에 대해 획득된 객체 관련 데이터를 제1 뉴럴 네트워크에 입력하고, 제2 채널 및 제4 시퀀스의 조합에 대해 획득된 객체 관련 데이터를 제2 뉴럴 네트워크에 입력하고, 제4 채널 및 제1 시퀀스의 조합에 대해 획득된 객체 관련 데이터를 제4 뉴럴 네트워크에 입력할 수 있다. 일 실시 예에 따르면, 복수의 채널들에 대해 미리 학습된 하나의 뉴럴 네트워크(또는 하나의 뉴럴 네트워크 모델)가 존재하는 경우, 프로세서(120)는 선택된 채널 및 시퀀스 조합에 대해 획득된 객체 관련 데이터를, 하나의 뉴럴 네트워크에 입력할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(예: 프로세서(120))는 동작 1403에서 객체 관련 데이터에 대응되는 객체 인식 결과를 획득할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 적어도 하나의 미리 학습된 뉴럴 네트워크로부터, 선택된 채널 및 시퀀스 조합을 이용하여 획득된 객체 관련 데이터에 대응되는 객체 인식 결과를 획득할 수 있다. 예를 들어, 프로세서(120)는 적어도 하나의 미리 학습된 뉴럴 네트워크의 출력 데이터를, 선택된 채널 및 시퀀스 조합에 대한 객체 인식 결과로서 획득할 수 있다. 출력 데이터는 미리 등록된 객체들 중 인식된 객체가 존재하는지 여부(또는 인식 성공 여부)를 나타내는 정보, 해당 객체의 식별 정보(예: 사용자 식별 정보, 제스처 식별 정보, 사물 식별 정보), 또는 신뢰도 정보 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 해당 객체의 식별 정보는, 뉴럴 네트워크의 출력 데이터 중 적어도 일부를 미리 등록된 기준 인식 정보와 비교한 결과에 의해 획득될 수 있다. 일 실시 예에 따르면, 뉴럴 네트워크의 출력 데이터는, 신호를 반사시킨 객체의 형태, 또는 특징 중 적어도 하나를 나타내는 데이터를 추가적으로 포함할 수 있다. 다양한 실시 예들에 따르면, 전자 장치(예: 프로세서(120))는 동작 1405에서 선택된 모든 채널 및 시퀀스 조합에 대해 객체 인식 결과가 획득되었는지 여부를 결정할 수 있다.
다양한 실시 예들에 따르면, 선택된 모든 채널 및 시퀀스 조합에 대해 객체 인식 결과가 획득되지 않은 경우, 전자 장치(예: 프로세서(120))는 동작 1401로 되돌아가, 객체 인식 결과가 획득되지 않은 채널 및 시퀀스 조합에 대한 채널 임펄스 응답을 뉴럴 네트워크의 입력으로 제공할 수 있다. 예를 들어, 프로세서(120)는 도 15에 도시된 바와 같이, 제1 채널에서 제2 시퀀스를 이용하여 획득된 제2 데이터 서브셋(1501-2)을 미리 학습된 뉴럴 네트워크(1511-2)의 입력으로 제공하고, 제4 채널에서 제3 시퀀스를 이용하여 획득된 제N 데이터 서브셋(1501-N)을 미리 학습된 뉴럴 네트워크(1511-N)의 입력으로 제공할 수 있다. 일 실시 예에 따르면, 도 15에 도시된, 미리 학습된 뉴럴 네트워크들(1511-1 내지 1511-N)은 서로 상이할 수도 있고, 동일할 수도 있다. 예를 들어, 미리 학습된 뉴럴 네트워크들(1511-1 내지 1511-N) 각각은 복수의 채널들 각각에 대해 별도로 학습되어 적어도 일부가 상이하게 구성된 서로 다른 뉴럴 네트워크 모델들일 수 있다. 다른 예로, 미리 학습된 뉴럴 네트워크들(1511-1 내지 1511-N) 각각은 복수의 채널들에 대해 학습된 동일한 뉴럴 네트워크 모델들일 수 있다.
다양한 실시 예들에 따르면, 선택된 모든 채널 및 시퀀스 조합에 대해 객체 인식 결과가 획득된 경우, 전자 장치(예: 프로세서(120))는 동작 1407에서 선택된 모든 채널 및 시퀀스 조합에 대한 객체 인식 결과들 중에서 객체 인식 성공 결과가 존재하는지 여부를 결정할 수 있다. 예를 들어, 프로세서(120)는 하나의 채널 및 시퀀스 조합이 선택된 경우, 선택된 하나의 채널 및 시퀀스 조합을 이용한 객체 인식이 성공되었는지 여부를 결정할 수 있다. 다른 예로, 프로세서(120)는 복수의 채널 및 시퀀스 조합이 선택된 경우, 선택된 복수의 채널 및 시퀀스 조합들 중에서 적어도 하나의 채널 및 시퀀스 조합에 대한 객체 인식이 성공되었는지 여부를 결정할 수 있다.
다양한 실시 예들에 따르면, 객체 인식 성공 결과가 존재하는 경우, 전자 장치(예: 프로세서(120))는 동작 1409에서 객체 인식 성공 결과에 포함된 신뢰도에 기초하여 객체를 인식한 결과를 제공할 수 있다. 예를 들어, 프로세서(120)는 객체 인식 성공으로 결정된 객체 인식 결과들 중에서 신뢰도가 가장 높은 객체 인식 결과에 대응되는 객체를 최종 객체 인식 결과로 결정할 수 있다. 예를 들어, 도 15에 도시된 바와 같이, 제1 데이터 서브셋(1501-1)을 뉴럴 네트워크(1511-1)의 입력으로 제공하여 획득한 출력 데이터의 신뢰도, 제2 데이터 서브셋(1501-2)을 뉴럴 네트워크(1511-2)의 입력으로 제공하여 획득한 출력 데이터의 신뢰도, 및 제N 데이터 서브셋(1501-N)을 뉴럴 네트워크(1511-N)의 입력으로 제공하여 획득한 출력 데이터의 신뢰도를 각각 확인하고, 신뢰도가 가장 높은 출력 데이터를 최종 객체 인식 결과로 선택할 수 있다. 프로세서(120)는 디스플레이(예: 도 1의 표시 장치(160), 또는 음향 출력 장치(예: 도 1의 음향 출력 장치(155)) 중 적어도 하나를 제어하여 사용자에게 최종 객체 인식 결과를 제공할 수 있다.
다양한 실시 예들에 따르면, 객체 인식 성공 결과가 존재하지 않는 경우, 전자 장치(예: 프로세서(120))는 동작 1411에서 적어도 하나의 채널 및 시퀀스의 조합을 추가적으로 선택하고, 도 4의 동작 403을 수행할 수 있다.
도 16은 다양한 실시 예들에 따른 전자 장치에서 뉴럴 네트워크를 이용하여 객체 인식 훈련을 수행하기 위한 흐름도(1600)이다. 이하 실시 예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 여기에서, 전자 장치는 도 1의 전자 장치(101) 일 수 있다.
도 16을 참조하면, 다양한 실시 예들에 따른, 전자 장치(예: 도 1의 프로세서(120), 및/또는 도 1의 무선 통신 모듈(192))는 동작 1601에서 복수의 주파수 대역들 내 복수의 채널들 각각에서, 서로 직교성을 갖는 복수의 시퀀스들 중 하나를 포함하는 적어도 하나의 신호를 송신하고, 적어도 하나의 송신된 신호가 객체에 의해 반사되어 되돌아오는 적어도 하나의 신호를 수신할 수 있다. 일 실시 예에 따르면, 동작 1601은 도 7의 동작 701, 동작 703, 동작 705, 및 동작 707 중 적어도 일부를 포함할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(예: 프로세서(120), 및/또는 무선 통신 모듈(192))는 동작 1603에서 송신 신호와 수신 신호를 기반으로, 채널 임펄스 응답(channel impulse response)을 포함하는 데이터를 획득할 수 있다. 일 실시 예에 따르면, 무선 통신 모듈(192)은 프로세서(120)의 제어에 따라, 수신된 신호에 대한 자기 상관(auto-correlation)을 수행함으로써, 채널 임펄스 응답을 포함하는 객체 관련 데이터를 획득할 수 있다. 일 실시 예에 따르면, 동작 1603은 동작 709의 적어도 일부를 포함할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(예: 프로세서(120))는 동작 1605에서 채널 임펄스 응답을 포함하는 획득된 데이터를 뉴럴 네트워크에 입력하여 객체 인식 훈련을 수행할 수 있다. 뉴럴 네트워크는, 외부 장치(예: 서버(108), 또는 다른 전자 장치(102)), 또는 전자 장치(101)에 저장될 수 있다. 외부 장치(예: 서버(108), 또는 다른 전자 장치(102))에 저장된 뉴럴 네트워크는, 전자 장치(101)와 공유될 수 있다. 일 실시 예에 따르면, 동작 1605는 동작 711의 적어도 일부를 포함할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 복수의 채널들 각각에 대해 뉴럴 네트워크 훈련을 수행함으로써 복수의 채널들 각각에 대한 복수의 뉴럴 네트워크(또는 뉴럴 네트워크 모델)를 획득할 수 있다. 예를 들어, 프로세서(120)는 복수의 채널들 중 제1 채널에서 획득된 객체에 대한 기준 데이터를 지정된 뉴럴 네트워크에 입력하여 제1 채널에 대해 학습된 뉴럴 네트워크 모델을 생성하고, 복수의 채널들 중 제2 채널에서 획득된 객체에 대한 기준 데이터를 지정된 뉴럴 네트워크에 입력하여 제2 채널에 대해 학습된 뉴럴 네트워크 모델을 생성하고, 복수의 채널들 중 제N 채널에서 획득된 객체에 대한 기준 데이터를 지정된 뉴럴 네트워크에 입력하여 제N 채널에 대해 학습된 뉴럴 네트워크 모델을 생성할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 복수의 채널들 전체에 대해 뉴럴 네트워크 훈련을 수행함으로써, 복수의 채널들 전체에 대한 하나의 뉴럴 네트워크(또는 뉴럴 네트워크 모델)을 획득할 수 있다. 예를 들어, 프로세서(120)는 복수의 채널들에서 획득된 객체에 대한 기준 데이터를 지정된 뉴럴 네트워크에 입력하여 복수의 채널들에 대한 하나의 뉴럴 네트워크 모델을 생성할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(101)의 동작 방법은, 복수의 주파수 대역들 내 복수의 채널들 중에서 적어도 하나의 채널을 선택하는 동작, 빔포밍을 수행할 수 있는 통신 인터페이스(예: 도 1의 무선 통신 모듈(192))를 제어하여, 상기 선택된 적어도 하나의 채널에서, 서로 직교성을 갖는 복수의 시퀀스들 중 하나를 포함하는 적어도 하나의 신호를 송신하는 동작, 상기 통신 인터페이스를 제어하여, 상기 선택된 적어도 하나의 채널에서 객체에 의해 반사된 적어도 하나의 신호를 수신하는 동작, 상기 송신된 적어도 하나의 신호와 상기 수신된 적어도 하나의 신호를 기반으로 상기 객체에 관련된 데이터를 획득하는 동작, 및 상기 객체에 관련된 데이터와 상기 적어도 하나의 객체에 대한 기준 데이터를 이용하여 상기 객체를 인식하는 동작을 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 객체에 관련된 데이터는, 채널 임펄스 응답(channel impulse response)을 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 객체에 관련된 데이터는, 상기 수신된 신호에 대한 자기 상관(auto-correlation)을 수행하여 획득할 수 있다.
다양한 실시 예들에 따르면, 상기 객체에 관련된 데이터와 상기 적어도 하나의 객체에 대한 기준 데이터를 이용하여 상기 객체를 인식하는 동작은, 상기 객체에 관련된 데이터와 상기 적어도 하나의 객체에 대한 기준 데이터를 비교하여 상기 적어도 하나의 객체에 대한 객체 별 유사도를 결정하는 동작, 및 상기 객체 별 유사도에 기초하여, 상기 적어도 하나의 객체 중에서 하나의 객체를 상기 신호를 반사시킨 객체로 결정하는 동작을 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 전자 장치의 방법은, 객체 인식을 위한 기준 데이터 수집 이벤트를 감지하는 동작, 상기 이벤트 감지에 대한 응답으로, 상기 통신 인터페이스를 제어하여, 상기 복수의 채널들 각각에서 상기 복수의 시퀀스들 중 지정된 시퀀스를 포함하는 적어도 하나의 신호를 송신 및 수신하는 동작, 상기 적어도 하나의 송신 및 수신된 신호를 기반으로 상기 복수의 채널들과 상기 지정된 시퀀스의 조합들 각각에 대한 채널 임펄스 응답을 획득하는 동작, 및 상기 복수의 채널들과 상기 지정된 시퀀스의 조합들 각각에 대한 채널 임펄스 응답을 상기 객체에 대한 기준 데이터로 저장하는 동작을 더 포함할 수 있다. 다양한 실시 예들에 따르면, 상기 전자 장치의 동작 방법은, 상기 객체에 대한 기준 데이터를 입력으로 하는 뉴럴 네트워크(neural network)를 이용하여 객체 인식정보를 획득하는 동작, 사용자 인터페이스를 통해 상기 객체 인식 정보를 제공하는 동작, 사용자 입력에 기초하여 상기 객체 인식 정보에 대한 객체 인식 성공 여부를 결정하는 동작, 및 상기 객체 인식 성공이 결정된 경우, 상기 객체 인식 정보를 상기 객체에 대한 식별 정보와 매핑하여 기준 인식 정보로 등록하는 동작을 더 포함할 수 있다.다양한 실시 예들에 따르면, 상기 객체에 관련된 데이터와 상기 적어도 하나의 객체에 대한 기준 데이터를 이용하여 상기 객체를 인식하는 동작은, 상기 객체에 관련된 데이터를 상기 뉴럴 네트워크에 입력하여 출력 데이터를 획득하는 동작, 및 상기 획득된 출력 데이터를 상기 등록된 기준 인식 정보와 비교하여 상기 객체를 인식하는 동작을 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 선택된 적어도 하나의 채널에서, 서로 직교성을 갖는 복수의 시퀀스들 중 하나를 포함하는 적어도 하나의 신호를 송신하는 동작은, 상기 복수의 시퀀스들 중에서 적어도 하나의 시퀀스를 선택하는 동작, 상기 선택된 적어도 하나의 채널과 상기 선택된 적어도 하나의 시퀀스의 조합을 결정하는 동작, 상기 결정된 조합에 기초하여, 상기 적어도 하나의 신호를 송신할 채널, 또는 상기 적어도 하나의 신호에 포함될 시퀀스 중 적어도 하나를 변경하면서 상기 적어도 하나의 신호를 송신하는 동작을 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 수신된 적어도 하나의 신호에 기초하여 간섭 발생 여부를 결정하는 동작, 상기 결정에 기반하여 간섭이 발생된 경우, 적어도 하나의 채널 및 시퀀스 조합을 추가 선택하는 동작, 및 상기 통신 인터페이스를 제어하여 상기 추가 선택된 채널 및 시퀀스 조합을 이용하여 상기 객체에 관련된 데이터를 추가 획득하는 동작, 상기 추가 획득된 객체에 관련된 데이터를 이용하여 상기 객체를 인식하는 동작을 더 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 서로 직교성을 갖는 복수의 시퀀스들은, 골레이 시퀀스를 포함할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(101)의 동작 방법은, 복수의 주파수 대역들 내 복수의 채널들 각각에서, 서로 직교성을 갖는 복수의 시퀀스들 중 하나를 포함하는 적어도 하나의 신호를 송신 및 수신하는 동작, 상기 수신된 적어도 하나의 신호는, 상기 적어도 하나의 신호가 송신된 이후 객체에 의해 반사되어 되돌아오는 신호이며, 상기 적어도 하나의 송신 및 수신된 신호를 기반으로, 상기 복수의 채널들 각각에 대한 채널 임펄스 응답(channel impulse response)을 포함하는 데이터를 획득하는 동작, 및 상기 획득된 데이터를 지정된 뉴럴 네트워크에 입력하여 상기 객체를 인식하기 위한 훈련을 수행하는 동작을 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 훈련을 수행하는 동작은, 상기 복수의 채널들 각각에 대해 훈련된 복수의 뉴럴 네트워크들, 또는 상기 복수의 채널들에 대해 훈련된 하나의 뉴럴 네트워크를 획득하는 동작을 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 객체를 인식하기 위한 훈련을 수행하는 동작은, 상기 지정된 뉴럴 네트워크를 이용하여 객체 인식 정보를 획득하는 동작, 사용자 인터페이스를 통해 상기 객체 인식 결과를 제공하는 동작, 사용자 입력에 기초하여, 상기 객체 인식 정보에 대한 객체 인식 성공 여부를 결정하는 동작, 상기 객체 인식 성공이 결정된 경우, 상기 객체 인식 정보를 상기 객체에 대한 식별 정보와 매핑하여 기준 인식 정보로 등록하는 동작을 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 전자 장치의 동작 방법은, 지정된 이벤트 감지 시, 상기 복수의 채널들 중에서 적어도 하나의 채널을 선택하는 동작, 상기 통신 인터페이스를 제어하여, 상기 선택된 적어도 하나의 채널에서, 상기 복수의 시퀀스들 중 하나를 포함하는 적어도 하나의 신호를 송신 및 수신하는 동작, 상기 적어도 하나의 송신 및 수신된 신호를 기반으로, 상기 적어도 하나의 채널에 대한 채널 임펄스 응답을 포함하는 데이터를 획득하는 동작, 및 상기 획득된 데이터를 상기 훈련에 의해 획득된 적어도 하나의 뉴럴 네트워크 모델에 입력하는 동작, 및 상기 적어도 하나의 뉴럴 네트워크 모델의 출력 데이터와 상기 등록된 기준 인식 정보에 기반하여 상기 객체를 인식하는 동작을 더 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 선택된 적어도 하나의 채널에서, 상기 복수의 시퀀스들 중 하나를 포함하는 적어도 하나의 신호를 송신 및 수신하는 동작은, 상기 복수의 시퀀스들 중에서 적어도 하나의 시퀀스를 선택하는 동작, 상기 선택된 적어도 하나의 채널과 상기 선택된 적어도 하나의 시퀀스의 조합을 결정하는 동작, 상기 결정된 조합에 기초하여, 상기 적어도 하나의 신호를 송신할 채널, 또는 상기 적어도 하나의 신호에 포함될 시퀀스 중 적어도 하나를 변경하면서 상기 적어도 하나의 신호를 송신 및 수신하는 동작을 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 적어도 하나의 수신된 신호에 기초하여 간섭 발생 여부를 결정하는 동작, 상기 결정에 기반하여, 간섭이 발생된 경우, 적어도 하나의 채널 및 시퀀스 조합을 추가 선택하는 동작, 상기 통신 인터페이스를 제어하여 상기 추가 선택된 채널 및 시퀀스 조합에 기초하여 상기 객체를 인식하는 동작을 더 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 객체에 대한 인식이 실패된 경우, 적어도 하나의 채널 및 시퀀스 조합을 추가 선택하는 동작, 및 상기 통신 인터페이스를 제어하여 상기 추가 선택된 채널 및 시퀀스 조합에 기초하여 상기 객체를 인식하는 동작을 더 포함할 수 있다.
본 문서에 개시된 다양한 실시 예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시 예들로 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나","A 또는 B 중 적어도 하나","A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    적어도 하나의 객체에 대한 기준 데이터를 저장하는 메모리;
    빔포밍을 수행할 수 있는 통신 인터페이스; 및
    상기 메모리, 및 상기 통신 인터페이스와 작동적으로 연결된 프로세서를 포함하며, 상기 프로세서는,
    복수의 주파수 대역들 내 복수의 채널들 중에서 적어도 하나의 채널을 선택하고,
    상기 통신 인터페이스를 제어하여, 상기 선택된 적어도 하나의 채널에서, 서로 직교성을 갖는 복수의 시퀀스들 중 하나를 포함하는 적어도 하나의 신호를 송신하고,
    상기 통신 인터페이스를 제어하여, 상기 선택된 적어도 하나의 채널에서 객체에 의해 반사된 적어도 하나의 신호를 수신하고,
    상기 송신된 적어도 하나의 신호와 상기 수신된 적어도 하나의 신호를 기반으로 상기 객체에 관련된 데이터를 획득하고, 및
    상기 객체에 관련된 데이터와 상기 적어도 하나의 객체에 대한 기준 데이터를 이용하여 상기 객체를 인식하도록 설정된 전자 장치.
  2. 청구항 1에 있어서,
    상기 객체에 관련된 데이터는, 채널 임펄스 응답(channel impulse response)을 포함하는 전자 장치.
  3. 청구항 1에 있어서,
    상기 프로세서는, 상기 수신된 신호에 대한 자기 상관(auto-correlation)을 수행하여 상기 객체에 관련된 데이터를 획득하는 전자 장치.
  4. 청구항 1에 있어서,
    상기 프로세서는, 상기 객체에 관련된 데이터와 상기 적어도 하나의 객체에 대한 기준 데이터를 비교하여 상기 적어도 하나의 객체에 대한 객체 별 유사도를 결정하고,
    상기 객체 별 유사도에 기초하여, 상기 적어도 하나의 객체 중에서 하나의 객체를 상기 신호를 반사시킨 객체로 결정하는 전자 장치.
  5. 청구항 1에 있어서,
    상기 프로세서는, 상기 기준 데이터 수집 이벤트를 감지하고,
    상기 수집 이벤트 감지에 대한 응답으로, 상기 통신 인터페이스를 제어하여, 상기 복수의 채널들 각각에서 상기 복수의 시퀀스들 중 지정된 시퀀스를 포함하는 적어도 하나의 신호를 송신 및 수신하고,
    상기 적어도 하나의 송신 및 수신된 신호를 기반으로, 상기 복수의 채널들과 상기 지정된 시퀀스의 조합들 각각에 대한 채널 임펄스 응답을 획득하고,
    상기 복수의 채널들과 상기 지정된 시퀀스의 조합들 각각에 대한 채널 임펄스 응답을 상기 기준 데이터로 저장하는 전자 장치.
  6. 청구항 4에 있어서,
    상기 프로세서는, 상기 객체에 대한 기준 데이터를 입력으로 하는 뉴럴 네트워크(neural network)를 이용하여 객체 인식 정보를 획득하고,
    사용자 인터페이스를 통해 상기 객체 인식 정보를 제공하고,
    사용자 입력에 기초하여 상기 객체 인식 정보에 대한 객체 인식 성공 여부를 결정하고,
    상기 객체 인식 성공이 결정된 경우, 상기 객체 인식 정보를 상기 객체에 대한 식별 정보와 매핑하여 기준 인식 정보로 등록하는 전자 장치.
  7. 청구항 6에 있어서,
    상기 프로세서는, 상기 객체에 관련된 데이터를 상기 뉴럴 네트워크에 입력하여 출력 데이터를 획득하고,
    상기 획득된 출력 데이터를 상기 등록된 기준 인식 정보와 비교하여 상기 객체를 인식하는 전자 장치.
  8. 청구항 1에 있어서,
    상기 프로세서는,
    상기 복수의 시퀀스들 중에서 적어도 하나의 시퀀스를 선택하고,
    상기 선택된 적어도 하나의 채널과 상기 선택된 적어도 하나의 시퀀스의 조합을 결정하고,
    상기 결정된 조합에 기초하여, 상기 적어도 하나의 신호를 송신할 채널, 또는 상기 적어도 하나의 신호에 포함될 시퀀스 중 적어도 하나를 변경하면서 상기 적어도 하나의 신호를 송신하는 전자 장치.
  9. 청구항 1에 있어서,
    상기 프로세서는,
    상기 수신된 적어도 하나의 신호에 기초하여 간섭 발생 여부를 결정하고,
    상기 결정에 기반하여, 간섭이 발생된 경우, 적어도 하나의 채널 및 시퀀스 조합을 추가 선택하고,
    상기 통신 인터페이스를 제어하여 상기 추가 선택된 채널 및 시퀀스 조합에 기초하여 상기 객체를 인식하도록 설정된 전자 장치.
  10. 청구항 1에 있어서,
    상기 프로세서는, 상기 객체에 대한 인식이 실패된 경우, 적어도 하나의 채널 및 시퀀스 조합을 추가 선택하고,
    상기 통신 인터페이스를 제어하여 상기 추가 선택된 채널 및 시퀀스 조합에 기초하여 상기 객체를 인식하도록 설정된 전자 장치.
  11. 청구항 1에 있어서,
    상기 서로 직교성을 갖는 복수의 시퀀스들은, 골레이 시퀀스를 포함하는 전자 장치.
  12. 전자 장치의 동작 방법에 있어서,
    복수의 주파수 대역들 내 복수의 채널들 중에서 적어도 하나의 채널을 선택하는 동작;
    빔포밍을 수행할 수 있는 통신 인터페이스를 제어하여, 상기 선택된 적어도 하나의 채널에서, 서로 직교성을 갖는 복수의 시퀀스들 중 하나를 포함하는 적어도 하나의 신호를 송신하는 동작;
    상기 통신 인터페이스를 제어하여, 상기 선택된 적어도 하나의 채널에서 객체에 의해 반사된 적어도 하나의 신호를 수신하는 동작;
    상기 송신된 적어도 하나의 신호와 상기 수신된 적어도 하나의 신호를 기반으로 상기 객체에 관련된 데이터를 획득하는 동작; 및
    상기 객체에 관련된 데이터와 기 저장된 적어도 하나의 객체에 대한 기준 데이터를 이용하여 상기 객체를 인식하는 동작을 포함하는 방법.
  13. 청구항 12에 있어서,
    상기 객체에 관련된 데이터는, 채널 임펄스 응답(channel impulse response)을 포함하고, 및
    상기 객체에 관련된 데이터는, 상기 수신된 신호에 대한 자기 상관(auto-correlation)을 수행하여 획득하는 방법.
  14. 청구항 12에 있어서,
    상기 객체에 관련된 데이터와 상기 적어도 하나의 객체에 대한 기준 데이터를 비교하여 상기 적어도 하나의 객체에 대한 객체 별 유사도를 결정하는 동작; 및
    상기 객체 별 유사도에 기초하여, 상기 적어도 하나의 객체 중에서 하나의 객체를 상기 신호를 반사시킨 객체로 결정하는 동작을 더 포함하는 방법.
  15. 청구항 12에 있어서,
    상기 기준 데이터 수집 이벤트를 감지하는 동작;
    상기 수집 이벤트 감지에 대한 응답으로, 상기 통신 인터페이스를 제어하여, 상기 복수의 채널들 각각에서 상기 복수의 시퀀스들 중 지정된 시퀀스를 포함하는 적어도 하나의 신호를 송신 및 수신하는 동작;
    상기 적어도 하나의 송신 및 수신된 신호를 기반으로, 상기 복수의 채널들과 상기 지정된 시퀀스의 조합들 각각에 대한 채널 임펄스 응답을 획득하는 동작; 및
    상기 복수의 채널들과 상기 지정된 시퀀스의 조합들 각각에 대한 채널 임펄스 응답을 상기 기준 데이터로 저장하는 동작을 더 포함하는 방법.
PCT/KR2020/008609 2019-07-01 2020-07-01 객체를 인식하기 위한 전자 장치 및 그의 동작 방법 WO2021002681A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/565,735 US20220120885A1 (en) 2019-07-01 2021-12-30 Electronic device for recognizing object, and operating method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0078755 2019-07-01
KR1020190078755A KR20210002906A (ko) 2019-07-01 2019-07-01 객체를 인식하기 위한 전자 장치 및 그의 동작 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/565,735 Continuation US20220120885A1 (en) 2019-07-01 2021-12-30 Electronic device for recognizing object, and operating method thereof

Publications (1)

Publication Number Publication Date
WO2021002681A1 true WO2021002681A1 (ko) 2021-01-07

Family

ID=74100921

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/008609 WO2021002681A1 (ko) 2019-07-01 2020-07-01 객체를 인식하기 위한 전자 장치 및 그의 동작 방법

Country Status (3)

Country Link
US (1) US20220120885A1 (ko)
KR (1) KR20210002906A (ko)
WO (1) WO2021002681A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230074421A1 (en) * 2021-09-06 2023-03-09 Samsung Electronics Co., Ltd. Electronic device, method, and computer readable storage medium for obtaining information related to external object
WO2023033312A1 (ko) * 2021-09-06 2023-03-09 삼성전자 주식회사 외부 객체에 대한 정보를 획득하기 위한 전자 장치, 방법, 및 컴퓨터 판독가능 저장 매체
KR20230058892A (ko) * 2021-10-25 2023-05-03 삼성전자주식회사 객체를 검출하기 위한 전자 장치 및 그 방법
KR20230074939A (ko) * 2021-11-22 2023-05-31 삼성전자주식회사 전자 장치 및 cir 추정 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090025873A (ko) * 2007-09-07 2009-03-11 삼성전자주식회사 무선 주파수 인식 리더기 및 그것의 무선 주파수 전송 방법
KR20160034814A (ko) * 2014-09-22 2016-03-30 삼성전자주식회사 뉴럴 네트워크를 수반한 클라이언트 장치 및 그것을 포함하는 시스템
KR20160132370A (ko) * 2014-01-07 2016-11-18 프리사이즈 바이오메트릭스 에이비 생체인식데이터 템플릿의 집합을 저장 방법, 생체인식을 위한 매칭 방법, 생체 매칭 장치 및 컴퓨터 프로그램
KR101889025B1 (ko) * 2017-05-22 2018-08-16 동서대학교산학협력단 R-cnn 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템 및 출력방법
KR20180130900A (ko) * 2017-05-30 2018-12-10 한국전자통신연구원 협대역 레이더 장치 및 그것의 동작 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9552069B2 (en) * 2014-07-11 2017-01-24 Microsoft Technology Licensing, Llc 3D gesture recognition
EP3387849B1 (en) * 2015-12-09 2024-08-28 Origin Research Wireless, Inc. Method, apparatus, and systems for wireless event detection and monitoring

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090025873A (ko) * 2007-09-07 2009-03-11 삼성전자주식회사 무선 주파수 인식 리더기 및 그것의 무선 주파수 전송 방법
KR20160132370A (ko) * 2014-01-07 2016-11-18 프리사이즈 바이오메트릭스 에이비 생체인식데이터 템플릿의 집합을 저장 방법, 생체인식을 위한 매칭 방법, 생체 매칭 장치 및 컴퓨터 프로그램
KR20160034814A (ko) * 2014-09-22 2016-03-30 삼성전자주식회사 뉴럴 네트워크를 수반한 클라이언트 장치 및 그것을 포함하는 시스템
KR101889025B1 (ko) * 2017-05-22 2018-08-16 동서대학교산학협력단 R-cnn 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템 및 출력방법
KR20180130900A (ko) * 2017-05-30 2018-12-10 한국전자통신연구원 협대역 레이더 장치 및 그것의 동작 방법

Also Published As

Publication number Publication date
US20220120885A1 (en) 2022-04-21
KR20210002906A (ko) 2021-01-11

Similar Documents

Publication Publication Date Title
WO2021002681A1 (ko) 객체를 인식하기 위한 전자 장치 및 그의 동작 방법
WO2021049749A1 (en) Electronic device and method for position determination using uwb signal
WO2021033927A1 (ko) 위치를 연산하기 위한 방법 및 그 전자 장치
WO2020067639A1 (en) Electronic device for pairing with stylus pen and method thereof
WO2021002647A1 (en) Electronic device for performing ranging and method thereof
WO2020159217A1 (en) Electronic device and method for determining task including plural actions
WO2019151794A1 (ko) 블루투스 프로토콜에 기반한 측위 방법 및 전자 장치
WO2019164079A1 (ko) 생체 인증과 관련된 객체의 표시에 따라 생체 인증을 수행하는 방법 및 이를 위한 전자 장치
WO2021060943A1 (en) Electronic device for identifying external electronic device and method of operating same
WO2019107975A1 (en) Electronic device shooting image and method for displaying the image
WO2023277374A1 (ko) Uwb 신호를 이용하는 전자 장치 및 방법
WO2022139164A1 (ko) 전자 장치 및 전자 장치에서 외부 장치들을 공간별로 그룹핑 하는 방법
WO2022169085A1 (ko) 전자 장치 및 전자 장치에서 촬영 구도 유지 방법
WO2021206354A1 (ko) 지문 인식을 위한 전자 장치 및 그의 동작 방법
WO2022030943A1 (ko) 딥러닝에 기반한 이미지 분할 장치 및 방법
WO2022035034A1 (ko) 지문 센서를 구비한 전자 장치 및 그 제어 방법
WO2021215678A1 (ko) 초광대역 신호에 기초하여 측위 동작을 수행하는 방법 및 이를 지원하는 전자 장치
WO2021101316A1 (en) Electronic device and method for recognizing fingerprint by the same
WO2021101173A1 (ko) 전자 장치 및 이를 이용한 근거리 통신 장치의 사용자 식별 정보 획득 방법
WO2021201593A1 (ko) 데이터의 제공 방법 및 이를 지원하는 전자 장치
WO2020171607A1 (ko) 온도 변화에 따른 오류 터치를 방지하는 터치 회로, 터치 회로를 포함하는 전자 장치 및 그 동작 방법
WO2020159255A1 (en) System for processing user data and controlling method thereof
WO2020040528A1 (en) Electronic device for controlling specified functions based on electromagnetic signal detection and method thereof
WO2021235798A1 (ko) 전자 장치 및 전자 장치에서 키보드의 입력을 이용하여 사용자 인증을 수행하는 방법
WO2023075399A1 (ko) 위치 측위를 수행하는 전자 장치 및 이의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20834991

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20834991

Country of ref document: EP

Kind code of ref document: A1